JP3319399B2

JP3319399B2 - 走行路認識装置

Info

Publication number: JP3319399B2
Application number: JP21980298A
Authority: JP
Inventors: 新高橋; 芳樹二宮
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 1998-07-16
Filing date: 1998-07-16
Publication date: 2002-08-26
Anticipated expiration: 2018-07-16
Also published as: JP2000036037A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動車を自立走行
させるための走行路認識装置であって、特に車輌に画像
処理システムを搭載し、撮像された路面画像から走行路
を精度よく検出し、安全な自立走行を可能とする走行路
認識装置に関する。

【０００２】

【従来の技術】従来から、画像処理を利用した自立走行
車用の走行路検出装置がある。例えば、特開平５−３１
４３９６号公報に開示の移動車の走行路検出装置はその
一つである。それは、車輌に搭載されたカメラを用いて
リアルタイムに画像処理をし、誘導線を検出するシステ
ムである。その特徴は、走行中に路面に描かれた誘導線
を撮像し、撮像された画像を複数の探索領域（以下、ウ
インド。）で分割処理し、総合的に誘導線を認識するの
が特徴である。撮像される画像は、図９のような、遠方
で交差する２本の直線（Ｌ，Ｒ）であり、その画像が出
現すると予想される箇所に、複数のウインド（ｒ１，ｌ
１、ｒ２，ｌ２、・・・・）が設定される。ｌ，ｒは左
右を意味し、そのウインドの設定方法は、左右同じであ
るので、ここでは右のウインド（ｒ１、ｒ２、・・・）
の設定方法について説明する。

【０００３】先ずウインドｒ１が、右下に初期ウインド
として所定の大きさで設定される。初期ウインドは、大
きく設定されるので確実に誘導線を捉える。その領域内
で、平滑化演算、２値化演算、ソーベル演算等の画像処
理が行われて微分画像が求められる。微分画像は、強度
の変化点を強調するので、誘導線が左右のエッジペアと
して得られる。これらのエッジペアの座標は、微分画像
上を水平方向に急峻な強度変化を探査することによって
得られ、さらにこの複数のエッジペアの中心点を取るこ
とにより誘導線の代表点が求められる。そして、この延
長線上に次回のウインド（例えばｒ２）の中心が来るよ
うに設定し、同じ操作を数回繰り返す。この繰り返しに
より、最終的にエッジペアの中心点からなる点列を誘導
線と認識することが第１の特徴である。

【０００４】しかしながら、実際の路面には縁石、轍、
路面キズなどがあるため、画像上では様々なエッジが現
れる。このような場合には、真正の誘導線か否かを判定
するため、先ず各々のエッジペア間の距離が計算され
る。そのエッジペア間距離は予め登録されている誘導線
幅と比較され、所定の範囲外であれば除外され、所定の
範囲に入れば誘導線候補として判断される。そして、そ
の中点が誘導線の代表点として選択される。従って、こ
の代表点はノイズの量によって増減する。例えば３点で
誘導線が認識される場合や、１０数点で誘導線が認識さ
れる場合がある。

【０００５】この代表点数の大きさを利用し、ウインド
の大きさを変化させたのが第２の特徴である。すなわ
ち、特開平５−３１４３９６号公報に開示の移動車の走
行路検出装置では、次式の指標によって誘導線の信頼度
を評価し、次回のウインドの大きさを決定している。

【数１】信頼度＝候補点の数／各ウインド内での走査回数（１）例えば、あるウインド内にノイズがなく誘導線のみが観
測された場合は、候補点数と走査回数は一致し、その信
頼度は１である。また、欠落ノイズがある場合は、候補
点の数は走査回数より小さくなるため信頼度は１より小
さくなる。つまり、ノイズが多い場合は信頼度が小さく
なり、ノイズが少ない場合は信頼度は大きくなる。そし
て、この式（１）の表す指標に従って次回のウインドｒ
２の大きさを決定している。すなわち、信頼度が大きい
と次回もノイズが少ないと仮定し、次回のウインドの大
きさを小さく設定する。逆に、信頼度が小さいとノイズ
を捉えた可能性があり、次回に確実に誘導線を捕捉する
ため、そのウインドの大きさを大きく設定している。

【０００６】このような操作を繰り返すことにより、以
降に大きさの異なるウインドｒ３，ｒ５，・・・を求め
最終的に誘導線を認識している。従って、ノイズの多い
場合は確実に誘導線を検出し、ノイズの少ない場合は効
率的に誘導線を検出でき、安全な自立走行が可能として
いる。

【０００７】

【発明が解決しようする課題】しかしながら、実際の道
路には標識、路面マーク等は誘導線と同じ幅で描かれて
いる場合がある。また、追い越し禁止線（黄色）と中央
線（白色）が２重に描かれている場合がある。さらに雨
天後の轍なども同様のエッジペアを発生させる。このよ
うな場合は上記数式（１）での指標が１を越え、ノイズ
があるにもかかわらず次回のウインド幅を小さくし、間
違った線分を誘導線と認識する可能性がある。すなわ
ち、誘導線の欠損には有効に働くが、誘導線の類似物が
多数存在する場合は、対応できるものではない。

【０００８】また、上記従来の方法では、誘導線に対し
ては連続性を、ノイズに対しては不連続性を仮定し、そ
れに基づいてアルゴリズムが組み立てられている。しか
しながら、道路を撮影した場合、例えば斜線で描かれた
侵入禁止帯等があり、ノイズが連続的に現れる場合があ
る。このような場合、上記方法ではウインド幅を拡張し
続け、さらに多くのノイズを捉える可能性がある。この
ような場合にも、上記方法では誘導線認識装置としては
機能しない。従って、常に適正な自立走行が保証される
ものではなかった。

【０００９】本発明は、上述した問題点を解決するため
になされたものであり、走行路認識問題は類似パターン
が混在している走行路画像データと走行路モデルパター
ンとの照合問題であると捉え、誘導線候補を複数のウイ
ンドによって複数の部分線に分割し、その部分線間の関
連値から再度組み合わせ、構成要素の総数を比較するこ
とによって総合的にそれを判別し、誘導線の欠落あるい
は轍等誘導線に類似する紛らわしい線が多い道路でも適
正な走行を可能にする走行路認識装置を提供することを
目的とする。

【００１０】

【課題を解決するための手段】この目的を達成するため
に、本発明の走行路認識装置は、自動車に搭載されるな
どした撮像装置により走行路を撮像し、得られた路面画
像から走行指標となる誘導線を認識する走行路認識装置
であって、路面画像から誘導線の候補を抽出する候補線
抽出手段と、その候補線抽出手段によって抽出された類
似物を含む複数の候補線を画像データとして記憶する候
補線記憶手段と、その候補線記憶手段から誘導線を効率
よく探索するため誘導線モデルとそのパラメータに基づ
いて探索領域を設定し、複数の候補線を複数の部分線に
分割する探索領域設定手段と、その探索領域設定手段に
よって設定された各探索領域から部分線を抽出し、その
部分線と誘導線モデルとの誤差から拡張カルマンフィル
タを用いて次のパラメータと誤差共分散を演算し、その
演算されたパラメータと誤差共分散を用いて、次の探索
領域における探索範囲を制限して、誘導線モデルに最も
近い部分線を抽出するという演算を逐次実行すること
で、誘導線モデルに対応する部分線の組み合わせから成
る複数の誘導線候補を形成する組み合わせ手段と、その
組み合わせ手段によって算出された複数の誘導線候補か
ら最も多い部分線を有する誘導線候補を真正の誘導線と
する誘導線決定手段とを備えている。

【００１１】

【発明の作用及び効果】本発明の構成要素である候補線
抽出手段は、自動車に搭載された撮像装置により取り込
まれた路面画像から誘導線の候補を抽出する。この抽出
には、例えば２値化処理、エッジ抽出のためのソーベル
演算処理、連続直線成分を抽出するＨｏｕｇｈ変換処理
等の一般的な画像処理がなされる。この抽出された誘導
線の候補には、誘導線のみならずその類似物も含まれ画
像データとして、候補線記憶手段に記憶される。

【００１２】この候補線記憶手段に記憶された複数の候
補線の画像データには無関係な背景がある。それを取り
除き効率よく誘導線を探索するため、探索領域設定手段
によってその画像データに対して探索領域が設定され
る。その結果、複数の候補線が複数の部分線に分割され
る。その設定は、誘導線モデルとそのパラメータに基づ
いて行われる。例えばその探索領域の中心座標をｙとす
ると、誘導線モデル式に基づいてその標準偏差σ［ｙ］
の±σ〜±３σの範囲を探索領域に設定する。

【００１３】そして、分割された複数の部分線間の関連
を求めるため組み合わせ手段は、各探索領域から部分線
を抽出し、その部分線と誘導線モデルとの誤差から拡張
カルマンフィルタを用いて次のパラメータと誤差共分散
を演算し、その演算されたパラメータと誤差共分散を用
いて、次の探索領域における探索範囲を制限して、誘導
線モデルに最も近い部分線を抽出するという演算を逐次
実行することで、誘導線モデルに対応する部分線の組み
合わせから成る複数の誘導線候補を形成する。誘導線決
定手段は、その組み合わせ手段によって算出された複数
の誘導線候補から最も多い部分線を有する誘導線候補を
真正の誘導線として決定する。

【００１４】このように、複数の探索領域によって一旦
分割された部分線を、拡張カルマンフィルタによって探
索範囲を制限しながら互いに関連性の高い部分線を選択
し、再集合させている。そして、最も部分線の多い誘導
線候補を真正の誘導線と判定している。従って、誘導線
の欠落や類似物によるノイズが存在しても、最後に構成
要素である部分線の総数で総合的に判断しているので、
途中でその影響を受けることはない。従って、確実に真
正の誘導線を得ることができ、より安全な走行路認識装
置となる。また、拡張カルマンフィルタによるパラメー
タと誤差共分散の更新は、その誤差共分散すなわち探索
範囲を縮小させる性質がある。そのため、効率のよい探
索とその組み合わせが行われる。よって、リアルタイム
に誘導線判定が可能な実用的な走行路認識装置となる。

【００１５】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。図１は本実施形態の１例を
示す構成図であり、本発明の走行路認識装置は、ＣＰＵ
１００、認識プログラムが書かれたＲＯＭ１１０、その
プログラム実行時の作業領域メモリであるＲＡＭ１２
０、図示しない制御機器との入出力を行うＩ／Ｏインタ
−フェ−ス１３０、カメラから送出される映像信号を高
速Ａ／Ｄ変換し、画像専用のフレームメモリ１６５に取
り込む画像入力装置１６０から構成されている。これら
の構成要素は全てアドレスバス、デ−タバス、各種信号
線からなるシステムバス１４０によりつながれており、
ＣＰＵ１００とＲＯＭ１１０に書かれた各種プログラム
によって、データが授受され、コントロ−ルされる。本
発明を構成する全ての手段は、このＲＯＭ１１０に記憶
された走行路認識処理プログラムとそれを実行する上記
コンピュータシステムによって形成される。

【００１６】次に、本発明である走行路認識装置の動作
を、図２に示す走行路認識プログラムのフローチャート
に従って説明する。ここでは、誘導線は走行路の両側に
引かれた白線である。図示しない誘導線認識開始スイッ
チにより、画像処理装置がＯＮされステップＳ１００か
ら実行される。ステップＳ１００では、画像入力装置１
６０によって、撮像装置であるカメラ１５０から路面画
像がフレームメモリ１６５に取り込まれる。フレームメ
モリ１６５は、複数のＲＡＭから構成されるものであ
り、その１単位（１枚）は、ＣＣＤ撮像素子の各画素に
対応した、総数５１２×５１２のＲＡＭである。任意の
画素は座標（ｘ、ｙ）と、強度Ｉで表され、その強度Ｉ
は０〜２５５段階にデジタル化されている。又、画面の
中心がｘｙ座標系の原点であり、垂直方向にｘ軸、水平
方向にｙ軸が設定される。

【００１７】次にステップＳ１１０に移る。ステップＳ
１１０は後述の画像処理のための前処理であり、路面画
像から複数の誘導線候補が抽出される。ここでは、フレ
ームメモリ１６５に取り込まれた画像に対して、まずマ
トリクス重み付け演算であるソーベル演算等で画像処理
等が行われ、それぞれ強度画像と濃度勾配を表わす微分
画像（角度画像）が算出される。微分画像は、強度の変
化点を強調するので、誘導線が左右のエッジペアとして
得られる。そのエッジペアは、例えば左側がプラスのピ
−クを有し右側がマイナスのピ−クを有する。それらの
エッジペアの座標は、微分画像上を水平方向に正負のピ
ークを探索することによって得られる。そして、次式を
満たすエッジペアを有する点列あるいは線分が誘導線候
補として抽出される。

【数２】Ｄmin ＜distｗ＜Ｄmax （２）ここで、distｗはエッジペア間の距離である。これは、
誘導線の線幅は、遠くでは小さく近くでは大きく撮像面
に投影されるからである。この式（２）により誘導線候
補が選択される。

【００１８】ステップＳ１２０では、その結果が候補線
記憶手段であるＲＡＭ１２０に記憶される。その記憶さ
れる内容は、複数のエッジペアの中心点座標、右側エッ
ジ座標あるいは左側エッジ座標および中心点を結ぶ候補
線の画像データである。例えば、図３に示されるように
左側に誘導線Ａ１が、右側に誘導線Ａ２が略曲線として
記憶される。また、轍等も画像処理の結果ノイズとして
共に記憶される。

【００１９】ここで、カメラ座標系に投影される誘導線
Ａ１，Ａ２のモデル式について説明する。道路座標系
（ＸＹＺ）における誘導線は、カメラの位置、姿勢、焦
点距離等のカメラパラメータを用いたカメラ座標系（ｘ
ｙ）へ投影変換される。カメラ座標系での誘導線Ａ１，
Ａ２は次のモデル式で表される。

【数３】ｘ＝−ｆｈ／ｓ−ｆφ （３）

【数４】ｙ＝ｆ（ｃｓ²／２＋κｗ／２−ｅ）／ｓ−ｆθ （４）但し、ｆはレンズ焦点距離、ｈはカメラの高さ、ｓはカ
メラから誘導線の注目位置までの距離、ｃは誘導線の曲
率、ｗは２本の誘導線Ａ１とＡ２の間隔（走行路の
幅）、ｅはカメラ原点の中央線に対する位置偏差であ
る。係数κは左右の誘導線を区別し、右側の誘導線Ａ２
時にはκ＝１、左側の誘導線Ａ２時にはκ＝−１であ
る。また、θはヨー角、φはピッチ角である。これらの
変数は道路座標系（ＸＹＺ）の各軸を基準として定義さ
れる変数であり、カメラの姿勢を表す。

【００２０】また、カメラ座標系での誘導線モデル式
は、（３）式および（４）式から媒介変数ｓを除去する
ことにより得られ、（５）式によって表される。

【数５】ｙ＝−ｃｆ²ｈ／（２（ｘ＋ｆφ）） −（κｗ／２−ｅ）（ｘ＋ｆφ）／ｈ−ｆθ （５）

【００２１】さらに、式（５）をｘで微分することによ
り任意の点（ｘ、ｙ）での誘導線の傾きが求まる。それ
を式（６）に示す。これは、傾きによって候補線が誘導
線候補か否かを判断する指標に使用される。

【数６】ｄｙ／ｄｘ＝ｃｆ²ｈ／（２（ｘ＋ｆφ）²）−（κｗ／２−ｅ）／ｈ（６）上記誘導線Ａ１，Ａ２およびその各点における傾きはこ
のような数式で表現される。

【００２２】続いて、ステップＳ１３０では、ステップ
Ｓ１２０で得られた候補線画像データに対して、図４に
示すような候補線を探索する探索領域およびウインドＷ
ｋ（ｋ＝１，・・・，１０）を設定する。それは、拡張
カルマンフィルタによって更新された、上記誘導線モデ
ル式のパラメータｐ＝〔ｅ，θ，φ，ｃ，ｗ〕^Tとその
誤差共分散行列Ｖ［ｐ］に基づいて求められる。スイッ
チオン後の第１回目のルーチンでは所定の初期値が、第
２回目のルーチン以降では、前回のセンシング結果の誘
導線のパラメータｐおよび誤差共分散行列Ｖ［ｐ］が使
用される。尚、上記パラメータのｅ，θ，φ，ｃ，ｗは
本来時間の関数であるが、ここでは省略するとともに以
降まとめてｐで表す。

【００２３】拡張カルマンフィルタによって、図４の探
索領域およびウインドＷｋ（ｋ＝１，・・，１０）が決
定されるステップＳ１３０の詳細を図５のフローチャー
トに示す。ウインドＷｋが設定される探索領域はステッ
プＳ１３１〜ステップＳ１３６の手順によって求められ
る。

【００２４】ステップＳ１３１ではウインド番号を表す
インデックスｋが初期化され、ステップＳ１３２ではそ
のｋが更新される。ステップＳ１３３では、誘導線モデ
ル式（５）より予測位置（ｘ_pk，ｙ_pk）が求められ、続
いてステップＳ１３４ではｘ＝ｘ_pkにおけるｙ値の標準
偏差σ［ｙ］が求められる。標準偏差σ［ｙ］は下記の
数式によって求められる。

【数７】 σ［ｙ］＝〔Ｖ［ｙ］〕^1/2 （７）

【数８】Ｖ［ｙ］＝〔∂ｙ／∂ｐ〕^TＶ［ｐ］〔∂ｙ／∂ｐ〕＋Ｖ［ｖ］（８）但し、〔∂ｙ／∂ｐ〕^Tは、ｙのパラメータｐの各成分
での偏微分からなる行列の転置行列、すなわち〔∂ｙ／
∂ｐ〕＝〔∂ｙ／∂ｅ，∂ｙ／∂θ，∂ｙ／∂φ，∂ｙ
／∂ｃ，∂ｙ／∂ｗ〕^Tであり、Ｖ［ｙ］は分散行列、
Ｖ［ｐ］はパラメータの誤差共分散行列、Ｖ［ｖ］は観
測ノイズの分散である。Ｖ［ｖ］はカメラの画素分解能
に基づいて決定される。パラメータｐには平均０で共分
散Ｑで表現されるシステムノイズが付加され、このシス
テムノイズは各パラメータの時間変動分の大きさに基づ
いて設定される。パラメータｐの初期値は、車両がレー
ンの中央にいると仮定して設定され、誤差共分散Ｖ
［ｐ］の初期値は大きめの値に設定される。

【００２５】続いてステップＳ１３５では、例えば±３
σ［ｙ］がウインド番号ｋのｙ方向の探索範囲として設
定される。また、ｘ方向の幅は任意に設定され、ウイン
ドＷｋが形成される。

【００２６】最後に、ステップＳ１３６ではインデック
スｋと所定のウインド数Ｎ（例えばＮ＝１０）が比較さ
れ、全てのウインドＷｋ（ｋ＝１〜１０）が設定される
までステップＳ１３２に戻り繰り返される。このように
して、例えば図４のウインドＷｋ（ｋ＝１〜１０）は設
定される。尚、ｘ_pkは離散的に選ばれたが、これを連続
的に変化させた場合は、連続的に変化する探索領域とな
る。このように探索領域は設定される。

【００２７】このようにステップＳ１３０でウインドＷ
ｋが設定された後、初期値設定であるステップＳ１４
０，ステップＳ１５０を経て，本発明の要旨であるステ
ップＳ１６０に移行する。（図２，図６）

【００２８】本発明の要旨は、最も多くの部分線を有す
る候補線を真正の誘導線とすることである。そのためス
テップＳ１４０では、候補線インデックスｊおよびその
部分線の構成総数を表す構成総数カウンタＣ_jが０に設
定される。また、ステップＳ１５０ではウインドＷｋの
インデックスであるｋが１に初期化される。その後、ス
テップＳ１６０に進む。

【００２９】図６にステップＳ１６０の詳細を示す。ス
テップＳ１６０は、組み合わせによって誘導線候補を決
定するルーチンである。先ず、ステップＳ１６１にてウ
インドＷｋ内での未選択部分線を探索する。初回なら
ば、ウインドＷ１が選択される。ウインドＷｋ内で未選
択部分線が検出されなければ次のウインドをチェックす
るため、Ｓ１６６でインデックスｋの更新が行なわれス
テップＳ１６５に進む。一方、ステップＳ１６１にてウ
インドＷｋ内に未選択部分線があればそれを組み合わせ
開始点とする。そしてステップＳ１６２で候補線インデ
ックスｊを更新する。このインデクスは候補線ｊを示す
とともにそれを構成する部分線の総数を示す構成総数カ
ウンタＣ_jのインデックスとしても使用される。次に、
ステップＳ１６３に進み、探索開始点における部分線と
パラメータの初期値によって決定される誘導線との誤差
Δｙを用いて、拡張カルマンフィルタによってモデルパ
ラメータｐとその誤差共分散行列Ｖ［ｐ］が更新され
る。

【００３０】拡張カルマンフィルタとは、現在の△ｙを
観測をしながら次のパラメータｐを予測演算する因果的
な手法である。ここで、△ｙは選択されたウインドＷｋ
の部分線データとモデル式（５）による予測位置
（ｘ_p，ｙ_p）との距離であり、△ｐはその時の変化量
である。△ｙとΔｐの間には式（９）に表す関係があ
る。この場合、Δｙの観測により、パラメータｐとその
誤差共分散Ｖ［ｐ］は、式（１０）の拡張カルマンフィ
ルタの更新式によって、誤差共分散行列Ｖ［ｐ｜△ｙ］
は式（１１）によって更新される。なお、Ｖ［ｐ｜Δ
ｙ］はΔｙを観測した後のＶ［ｐ］を示す。またΔｐ＾
はΔｐの推定値を示す。

【数９】△ｙ＝〔∂ｙ／∂ｐ〕^T△ｐ＋ｖ但し △ｙ：ｙ軸方向の誘導線の変化量 △ｐ：パラメータの変化量ｖ：観測ノイズ（９）

【数１０】 Δｐ＾＝Ｖ［ｐ］〔∂ｙ／∂ｐ〕［〔∂ｙ／∂ｐ〕Ｖ［ｐ］〔∂ｙ／∂ｐ〕＋Ｖ［ｖ］］^-1 Δｙ（１０）

【数１１】Ｖ［ｐ｜Δｙ］＝［Ｖ［ｐ］^-1＋〔∂ｙ／∂ｐ〕Ｖ［ｖ］^-1〔∂ｙ／∂ｐ〕^T］^-1 （１１）但しＶ［ｐ］：誤差共分散分散〔∂ｙ／∂ｐ〕^T：ｙのｐによる偏微分行列の転置行列Ｖ［ｖ］：観測ノイズの分散このように組み合わせ開始点があるウインドＷｋのイン
デックスｋ、候補線を表すインデックスｊおよび上記更
新されたモデルパラメータｐ，誤差共分散行列Ｖ［ｐ］
が引数として用意されステップＳ１９０の組み合わせ探
索に移行する。

【００３１】図７に、ステップＳ１９０の詳細を示す。
このルーチンは、上記組み合わせ開始点から拡張カルマ
ンフィルタを適用し、逐次ウインドＷｋを更新するとと
もにその探索範囲を限定し、そしてその中から一連の部
分線を選択し、かつその構成総数を算出するルーチンで
ある。また同時に各点で傾きを求め、モデル式で求めた
それと比較し、所定の範囲外の部分線を除外することも
行われる。ステップＳ１９０は、上述の引数をもって駆
動される。

【００３２】先ずステップＳ１９１でウインドインデッ
クスｋの更新が行われ、次の次数のウインドＷ（ｋ＋
１）が選択される。このルーチンは（Ｎ−ｋ）回繰り返
されるルーチンであり、ステップＳ１９２では、最終次
数のウインドＷN まで探索がなされたか否かがチェック
され、ＹＥＳならばこのルーチンを終了する。

【００３３】ステップＳ１９３ではパラメータｐと誘導
線モデル式（５）およびｙの標準偏差式（７）により標
準偏差σ［ｙ］を求め、（ｘ_p、ｙ_p−ασ）〜
（ｘ_p、ｙ_p＋ασ）を探索範囲とする。この時αは通
常１〜３が選ばれる。Δｙの観測と式（１１）によるＶ
［ｐ］の更新により、Ｖ［ｐ］は減少していく。式
（７）と式（８）より、Ｖ［ｐ］とσ［ｙ］との間には
比例関係がある。従って、初期設定された探索領域より
狭い限定された探索範囲がΔｙの観測と共に順次決定さ
れていくことになる。また、予測点（ｘ_p，ｙ_p）にお
ける傾きθ_kを式（６）によって求める。これは、続く
ステップＳ１９４で使用される。

【００３４】ステップＳ１９４では、そのウインドＷｋ
内の上記探索範囲で部分線が探索される。そしてその部
分線の傾きθが次式によってチェックされ、以下の範囲
に入らない部分線は除去される。

【数１２】 θ_k−θ_th＜θ＜ θ_k＋θ_th （１２）この条件を満たす部分線がなければ、拡張カルマンフィ
ルタによってパラメータｐ、誤差共分散行列Ｖ［ｐ］を
更新せずに最初のステップＳ１９１に戻り繰り返され
る。この条件を満たす部分線が存在すれば、候補線の構
成要素となる可能性があるのでステップＳ１９５に移行
する。

【００３５】ステップＳ１９５では、上記ステップＳ１
９４で選択された部分線が複数か否か調べられる。複数
ならば、それぞれの部分線と予測点（ｘ_p、ｙ_p）の距
離△ｙが調べられる。そして、その中から△ｙが最小の
部分線を候補線の構成要素として選択する。逆に単数な
らば、その部分線と予測点（ｘ_p、ｙ_p）の距離△ｙが
求められた後ステップＳ１９８に移行する。この△ｙ
は、次回のパラメータｐの更新に使用される。

【００３６】ステップＳ１９８では、これまでの過程で
選択された部分線が誘導線である可能性があるので候補
線ｊのメモリに登録する。また候補線ｊの構成数である
構成総数カウンタＣ_jを更新する。さらに、これまでの
全ての構成総数カウンタＣ_jの最大値も求めておく。こ
れは、終了判定であるステップＳ１６５で使用される。
その後、ステップＳ１９９に移行する。

【００３７】ステップＳ１９９では、次の次数の高いウ
インドの準備として、上述の拡張カルマンフィルタによ
って現在のパラメータｐおよび誤差共分散行列Ｖ［ｐ］
が更新される。そして、最初のステップＳ１９１に戻
り、同じルーチンがくり返される。このような過程で、
１つの組み合わせ開始点に対して１つの候補線および部
分線の構成総数が得られる。従ってステップＳ１９０の
終了時には、１つの候補線ｊとその構成総数（構成総数
カウンタＣ_jの値）および全ての構成総数カウンタＣ_j
の最大値が得られる。この３つの結果をもって、ステッ
プＳ１６５に進む。（図６）

【００３８】ステップＳ１６５では、その時点での組み
合わせの全ての構成総数カウンタＣ_jの最大値と残りの
ウインド数（Ｎ−ｋ）の比較が行われる。これは、残り
のウインド全てに一連の部分線が存在しても、現在の全
ての構成総数カウンタＣ_jの最大値に及ばない場合は、
それはノイズと見なされるからである。全ての構成総数
カウンタＣ_jの最大値が残りのウインド数（Ｎ−ｋ）よ
り少ない場合、すなわちＮＯの場合はステップＳ１６１
に戻り上記ルーチンが繰り返される。逆に、全ての構成
総数カウンタＣ_jの最大値が残りのウインド数（Ｎ−
Ｋ）より多い場合、すなわちＹＥＳの場合は終了する。
これにより、必要のない探索が省略でき効率のよい誘導
線検出ができる。このステップＳ１６５の終了時には、
複数の候補線ｊと構成総数カウンタＣ_jにその候補線ｊ
の部分線の構成総数が得られている。その後、サブルー
チンを抜け図２のステップＳ１７０に移行する。

【００３９】ステップＳ１７０では、ステップＳ１６０
で得られた複数の候補線ｊの中から、全ての構成総数カ
ウンタＣ_jの中から最大の候補線を選ぶ。これが、真正
の誘導線となる。ステップＳ１８０では、その結果を例
えば自動車制御機器に出力して、次の路面画像を取り込
む。このようにして連続して誘導線が認識される。

【００４０】ステップＳ１００〜ステップＳ１７０まで
の誘導線認識アルゴリズムを実際の走行路に適用した結
果を図８に示す。図８（ａ）は、ステップＳ１００の画
像入力からステップＳ１３０の探索領域設定までのプロ
グラムを作動させた結果である。図において、左側の誘
導線ａ１、右側の誘導線ａ２、そして轍によって生じた
ノイズ線ｂが抽出される。尚、探索領域は誘導線ａ１を
両側の細破線で挟んで形成された領域（探索領域Ａ）
と、同じく、誘導線ａ２およびノイズ線ｂを細破線で挟
んで形成された領域（探索領域Ｂ）である。全ての離散
的なウインドＷｋは図示はしないが、この両探索領域内
に設定される。

【００４１】ステップＳ１３０では、図８（ｂ）に示す
ように上記探索領域ＢにウインドＷ１が設定される。そ
して、ステップＳ１６０内のステップＳ１６１で開始点
が設定される。この場合、ノイズ線ｂの右端が開始点と
なる。次いで、ステップＳ１６３のモデルパラメータｐ
および誤差共分散行列Ｖ［ｐ］の更新を経て、ステップ
Ｓ１９０の組み合わせ探索が行われる。その結果、探索
範囲は狭く絞られた範囲ｄ１となりその探索範囲ｄ１内
には誘導線ａ１が存在しないので、探索領域Ａ内での組
み合わせ数は０となる。一方、探索領域Ｂ内では探索範
囲ｄ１の中にノイズ線ｂが存在するため、部分線が連続
して検出される。従って、組み合わせ開始点をウインド
Ｗ１のノイズ線ｂの右端とした場合、すなわち１回目の
探索（ｋ＝１、ｊ＝１、候補線１）では、その組み合わ
せによる構成総数カウンタＣ₁は、例えばノイズ線ｂの
長さに比例する。

【００４２】次には、図８（ｂ）に示すように、組み合
わせ開始点としてウインドＷ２の誘導線ａの左端が選択
される。そして、同様にステップＳ１９０に進み、組み
合わせ探索が行われる。この場合探索範囲は図８（ｃ）
に示す範囲ｄ２になり、探索領域Ａ内ではこの探索範囲
ｄ２内に誘導線ａが存在する。よって、その組み合わせ
による構成数は、例えば誘導線ａ１の長さに比例する。
一方、探索領域Ｂ内でも探索範囲ｄ２内に誘導線ａ２が
存在する。よって、その組み合わせ数は例えば誘導線ａ
２の長さに比例する。従って、組み合わせ開始点をウイ
ンドＷ２の誘導線ａ１の左端とした場合、すなわち２回
目の探索（ｋ＝２、ｊ＝２、候補線２）では、その構成
総数カウンタＣ₂は例えば誘導線ａ１と誘導線ａ２の長
さの和に比例する。

【００４３】このようにしてステップＳ１６０の終了時
には、候補線１および候補線２が抽出される。そしてス
テップＳ１７０では、それぞれの構成総数カウンタ
Ｃ₁、Ｃ₂が比較され、真正の誘導線として組み合わせ
構成総数の多い誘導線ａ１、ａ２が選択される。

【００４４】以上、本発明を表わす１実施例を示した
が、他にさまざまな変形例が考えられる。また、本実施
例では、誘導線に関するパラメータおよびカメラ姿勢に
関するパラメータの全てを用いて予測したが、カメラ姿
勢、即ち、自動車の姿勢の変化が緩慢な場合、誘導線に
関するパラメータのみを用いても良い。

【００４５】また、本実施例では、１台の撮像装置で画
像処理を行ったが、より高速処理が必要な場合は、左右
の誘導線に対してそれぞれ別の撮像装置を１台づつ設
け、同じ処理を施し、総合的に判断してもよい。また、
誘導線には走行路の両端に引かれている白線を用いた
が、片側の白線でも良い。その他、ガードレール等、車
両を誘導するための指標となるものであれば、任意の誘
導線を用いることが可能である。その他、いろいろな変
形例が考えられるが、路面画像を分割しその分割された
画像データと予測誘導線との誤差から、拡張カルマンフ
ィルタを用いて、予測誘導線のパラメータとその誤差共
分散を更新し、探索する画像データを絞り込んで、予測
線に最も一致する画像を抽出する方法であれば、その方
法は問わない。

【図面の簡単な説明】

【図１】本発明の１実施例に係る走行路認識装置の構成
を示す構成図。

【図２】走行路認識装置のＣＰＵの処理手順を示すフロ
ーチャート。

【図３】候補線抽出手段によって抽出された候補線の画
像データ。

【図４】探索領域設定図。

【図５】探索領域を設定するためのＣＰＵの処理手順を
示したフローチャート。

【図６】組み合わせ生成をするためのＣＰＵの処理手順
を示したフローチャート。

【図７】組み合わせ探索をするためのＣＰＵの処理手順
を示したフローチャート。

【図８】誘導線検出過程の説明図。

【図９】従来の誘導線の確定方法を示した説明図。

【符号の説明】

１００ＣＰＵ１１０ＲＯＭ１２０ＲＡＭ１４０システムバス１５０カメラ１６０画像入力装置１６５フレームメモリａ１，ａ２誘導線ｂノイズ線ｄ１，ｄ２探索範囲Ｗｋウィンドｋ（ｋ＝１，・・・，１０）

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平８−320998（ＪＰ，Ａ) 特開平８−261756（ＪＰ，Ａ) 特開平５−314396（ＪＰ，Ａ) 特開平７−179196（ＪＰ，Ａ) 特開平６−225308（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 330 B60R 21/00 624 G06T 7/60 200 G08G 1/16

Claims

(57)【特許請求の範囲】

【請求項１】撮像装置により走行路を撮像し、得られた
路面画像から走行指標となる誘導線を認識する走行路認
識装置において、前記路面画像から前記誘導線の候補を抽出する候補線抽
出手段と、前記候補線抽出手段によって抽出された類似物を含む複
数の候補線を画像データとして記憶する候補線記憶手段
と、前記候補線記憶手段から誘導線を効率よく探索するため
誘導線モデルとそのパラメータに基づいて探索領域を設
定し、前記複数の候補線を複数の部分線に分割する探索
領域設定手段と、前記探索領域設定手段によって設定された各探索領域か
ら部分線を抽出し、その部分線と誘導線モデルとの誤差
から拡張カルマンフィルタを用いて次のパラメータと誤
差共分散を演算し、その演算されたパラメータと誤差共
分散を用いて、次の探索領域における探索範囲を制限し
て、誘導線モデルに最も近い部分線を抽出するという演
算を逐次実行することで、誘導線モデルに対応する部分
線の組み合わせから成る複数の誘導線候補を形成する組
み合わせ手段と、該組み合わせ手段によって算出された複数の誘導線候補
から最も多い部分線を有する誘導線候補を真正の誘導線
とする誘導線決定手段とを備えたことを特徴とする走行路認識装置。
【請求項２】前記撮像装置は自動車に搭載されたことを
特徴とする請求項１に記載の走行路認識装置。