JP3319401B2

JP3319401B2 - 走行路認識装置

Info

Publication number: JP3319401B2
Application number: JP23007998A
Authority: JP
Inventors: 新高橋; 芳樹二宮
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 1998-07-31
Filing date: 1998-07-31
Publication date: 2002-09-03
Anticipated expiration: 2018-07-31
Also published as: JP2000048183A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動車を自立走行
させるための走行路認識装置であって、車輌に画像処理
システムを搭載し撮像された路面画像から走行路を検出
し、安全な自立走行を可能とする走行路認識装置に関す
る。特に、得られた走行指標と走行路幅の相関分布をと
り、その結果に基づいて総合的に判断する走行路認識装
置に関する。本発明は、自動車が走行路から逸脱した場
合に、運転者に警告を発する走行路認識装置にも適用で
きる。

【０００２】

【従来の技術】従来から、画像処理を利用した自立走行
車用の走行路検出装置がある。例えば、特開平５−３１
４３９６号公報に開示の移動車の走行路検出装置はその
一つである。それは、車輌に搭載されたカメラを用いて
リアルタイムに画像処理をし、誘導線を検出するシステ
ムである。その特徴は、走行中に路面に描かれた誘導線
を撮像し、撮像された画像を複数の探索領域（以下、ウ
インドという）で分割処理し、総合的に誘導線を認識す
るのが特徴である。撮像される画像は、図１１のよう
な、遠方で交差する２本の直線（Ｌ，Ｒ）であり、その
画像が出現すると予想される箇所に、複数のウインド
（ｒ１，ｌ１、ｒ２，ｌ２、・・・・）が設定される。
ｌ，ｒは左右を意味し、そのウインドの設定方法は、左
右同じであるので、ここでは右のウインド（ｒ１、ｒ
２、・・・）の設定方法について説明する。

【０００３】先ずウインドｒ１が、右下に初期ウインド
として所定の大きさで設定される。初期ウインドは、大
きく設定されるので確実に誘導線を捉える。その領域内
で、平滑化演算、２値化演算、ソーベル演算等の画像処
理が行われて微分画像が求められる。微分画像は、強度
の変化点を強調するので、誘導線が左右のエッジペアと
して得られる。これらのエッジペアの座標は、微分画像
上を水平方向に急峻な強度変化を探査することによって
得られ、さらにこの複数のエッジペアの中心点を取るこ
とにより誘導線の代表点が求められる。そして、この延
長線上に次回のウインド（例えばｒ２）の中心が来るよ
うに設定し、同じ操作を数回繰り返す。この繰り返しに
より、最終的にエッジペアの中心点からなる点列を誘導
線と認識することが第１の特徴である。

【０００４】しかしながら、実際の路面には縁石、轍、
路面キズなどがあるため、画像上では様々なエッジが現
れる。このような場合には、真正の誘導線か否かを判定
するため、先ず各々のエッジペア間の距離が計算され
る。そのエッジペア間距離は予め登録されている誘導線
幅と比較され、所定の範囲外であれば除外され、所定の
範囲に入れば誘導線候補として判断される。そして、そ
の中点が誘導線の代表点として選択される。従って、こ
の代表点はノイズの量によって増減する。例えば３点で
誘導線が認識される場合や、１０数点で誘導線が認識さ
れる場合がある。

【０００５】この代表点数の大きさを利用し、ウインド
の大きさを変化させたのが第２の特徴である。すなわ
ち、特開平５−３１４３９６号公報に開示の移動車の走
行路検出装置では、次式の指標によって誘導線の信頼度
を評価し、次回のウインドの大きさを決定している。

【数１】信頼度＝候補点の数／各ウインド内での走査回数（１）例えば、あるウインド内にノイズがなく誘導線のみが観
測された場合は、候補点数と走査回数は一致し、その信
頼度は１である。また、欠落ノイズがある場合は、候補
点の数は走査回数より小さくなるため信頼度は１より小
さくなる。つまり、ノイズが多い場合は信頼度が小さく
なり、ノイズが少ない場合は信頼度は大きくなる。そし
て、この式（１）の表す指標に従って次回のウインドｒ
２の大きさを決定している。すなわち、信頼度が大きい
と次回もノイズが少ないと仮定し、次回のウインドの大
きさを小さく設定する。逆に、信頼度が小さいとノイズ
を捉えた可能性があり、次回に確実に誘導線を捕捉する
ため、そのウインドの大きさを大きく設定している。

【０００６】このような操作を繰り返すことにより、以
降に大きさの異なるウインドｒ３，ｒ５，・・・を求め
最終的に誘導線を認識している。従って、ノイズの多い
場合は確実に誘導線を検出し、ノイズの少ない場合は効
率的に誘導線を検出でき、安全な自立走行が可能として
いる。

【０００７】

【発明が解決しようする課題】しかしながら、実際の道
路には標識、路面マーク等は誘導線と同じ幅で描かれて
いる場合がある。また、追い越し禁止線（黄色）と中央
線（白色）が２重に描かれている場合がある。さらに雨
天後の轍なども同様のエッジペアを発生させる。このよ
うな場合は上記数式（１）での指標が１を越え、ノイズ
があるにもかかわらず次回のウインド幅を小さくし、間
違った線分を誘導線と認識する可能性がある。すなわ
ち、誘導線の欠損には有効に働くが、誘導線の類似物が
多数存在する場合は、対応できるものではない。

【０００８】また、上記従来の方法では、誘導線に対し
ては連続性を、ノイズに対しては不連続性を仮定し、そ
れに基づいてアルゴリズムが組み立てられている。しか
しながら、道路を撮影した場合、例えば、斜線で描かれ
た侵入禁止帯等があり、ノイズが連続的に現れる場合が
ある。このような場合、上記方法ではウインド幅を拡張
し続け、さらに多くのノイズを捉える可能性がある。こ
のような場合にも、上記方法では誘導線認識装置として
は機能しない。従って、常に確実な自立走行が保証され
るものではなかった。

【０００９】本発明は上述した問題点を解決するために
なされたものであり、撮像画面上の真正の誘導線形成点
の垂直方向の座標とその点における水平方向の走行路幅
には所定の相関があることに注目し、その相関に基づい
て真正の誘導線を推定し、誘導線の欠落あるいは轍等誘
導線に類似する紛らわしい線が生じる道路であっても安
全な走行を保証する走行路認識装置を提供することであ
る。

【００１０】

【課題を解決するための手段】この目的を達成するため
に、本発明の走行路認識装置は、撮像装置により走行路
を撮像し、得られた路面画像から走行指標となる誘導線
を認識する走行路認識装置であって、路面画像から誘導
線の候補を複数抽出する誘導線候補抽出手段と、その誘
導線候補線抽出手段によって抽出された複数の誘導線候
補から路面画像の水平方向の離間距離が所定の範囲にあ
る誘導線候補対を抽出する誘導線候補対抽出手段と、そ
の誘導線候補対の何れか一方の誘導線候補を形成する形
成点の路面画像の垂直方向の座標とその形成点における
誘導線候補対の離間距離との相関分布をとり、所定の相
関がある形成点を誘導線形成点とする誘導線形成点抽出
手段と、誘導線形成点抽出手段により抽出された誘導線
形成点を用いて真正の誘導線を推定する誘導線推定手段
とを備えている（請求項１）。撮像装置は自動車に搭載
されたもの（請求項２）、また、所定の相関がある形成
点は、所定の角度の方向にヒストグラムをとり、その最
大度数の集合の形成点とする（請求項３）。尚、画像上
の垂直方向は実空間における車両の進行する方向の位置
と高さとの関数の射影であり、画像上の水平方向は実空
間における水平方向の位置の投影である。よって、画像
上の垂直方向、水平方向はこの意味で用いており、カメ
ラの水平軸を実空間における水平方向から傾斜させてい
る場合には、実空間の水平方向の画像上の射影を画像上
の水平方向、これに垂直な方向を垂直方向と定義され
る。

【００１１】

【発明の作用及び効果】本発明の構成要素である誘導線
候補抽出手段は、自動車に搭載された撮像装置により取
り込まれた路面画像から複数の誘導線候補を抽出する。
この抽出には、例えば２値化処理、エッジ抽出のための
ソーベル演算処理、連続直線成分を抽出するＨｏｕｇｈ
変換処理等が行われる。その結果、１本の誘導線は１対
のエッジペア線に変換され、そのエッジペア線間の距離
が所定範囲にあるものが誘導線候補として抽出される。
この抽出された誘導線候補には、真正の誘導線のみなら
ずその類似物も含まれ、通常複数である。

【００１２】走行路は撮像した画像上において水平方向
の所定の離間距離を有する２本の誘導線で構成される。
誘導線候補対抽出手段は、上記複数の誘導線候補より離
間距離が所定の範囲にある誘導線候補対を抽出する。

【００１３】また、上記誘導線候補対には、例えば轍等
による類似物が混在している。それを判別するため、誘
導線形成点抽出手段は、上記誘導線候補対の何れか一方
の誘導線候補を形成する形成点の画像上の垂直方向の座
標とその点における水平方向の離間距離との相関分布を
とる。なぜなら、撮像画面上に投影された真正の誘導線
対の離間距離（走行路幅）は、画面上垂直方向である下
方（ｙ方向）に向かって大きくなる。つまり、画像上の
水平方向の離間距離と何れか一方の誘導線形成点のｙ座
標には正の相関関係がある。従って、相関分布をとると
その分布はほぼ直線状に分布し、その中心線は、ｙ軸に
対して後述する所定角をとる。この関係を利用し、誘導
線形成点抽出手段は走行中の画像に対しても上記相関分
布を取り、その所定の角度の方向にヒストグラムをと
る。その最大度数の形成点を選ぶことにより、誘導線形
成点を抽出する。

【００１４】誘導線推定手段は、上記誘導線形成点抽出
手段により抽出された誘導線形成点を用いて真正の誘導
線を推定する。この推定は、例えば、最小二乗法あるい
は拡張カルマンフィルタが望ましい。

【００１５】このように、誘導線候補対の何れか一方の
形成点の画面上の垂直方向の座標とその点における水平
方向の離間距離の相関分布をとることにより真正の誘導
線形成点を求め誘導線を判断しているので、誘導線の欠
落あるいは轍等によるノイズが画像処理途中で生じても
その影響をほぼ排除できる。従って、確実に真正の誘導
線を得ることができ、より確実な走行路認識装置とな
る。

【００１６】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。図１は本実施形態の１例を
示す構成図であり、本発明の走行路認識装置は、ＣＰＵ
１００、認識プログラムが書かれたＲＯＭ１１０、その
プログラム実行時の作業領域メモリであるＲＡＭ１２
０、図示しない制御機器との入出力を行うＩ／Ｏインタ
−フェ−ス１３０、カメラから送出される映像信号を高
速Ａ／Ｄ変換し、画像専用のフレームメモリ１６５に取
り込む画像入力装置１６０から構成されている。これら
の構成要素は全てアドレスバス、デ−タバス、各種信号
線からなるシステムバス１４０により連結されており、
ＣＰＵ１００とＲＯＭ１１０に書かれた各種プログラム
によって、データが授受され、コントロ−ルされる。本
発明を構成する全ての手段は、このＲＯＭ１１０に記憶
された走行路認識処理プログラムとそれを実行する上記
コンピュータシステムによって形成される。

【００１７】次に、本発明である走行路認識装置の動作
を、図２に示す走行路認識プログラムのフローチャート
および図３に示すその処理結果に従って説明する。ここ
では、誘導線は走行路の両側に引かれた白線である。図
示しない誘導線認識開始スイッチにより、画像処理装置
がＯＮされステップＳ１００から実行される。

【００１８】ステップＳ１００では、画像入力装置１６
０によって、撮像装置であるカメラ１５０から路面画像
がフレームメモリ１６５に取り込まれる。フレームメモ
リ１６５は、複数のＲＡＭから構成されるものであり、
その１単位（１枚）は、ＣＣＤ撮像素子の各画素に対応
した、総数５１２×５１２のＲＡＭである。任意の画素
は座標（ｘ，ｙ）と、強度Ｉで表され、その強度Ｉは０
〜２５５段階にデジタル化されている。又、画面の左上
がｘｙ座標系の原点であり、垂直方向下向きにｙ、水平
方向右向きにｘが設定される。

【００１９】次にステップＳ１１０に移る。ステップＳ
１１０は後述の画像処理のための前処理であり、路面画
像から複数の誘導線候補が抽出される。ここでは、フレ
ームメモリ１６５に取り込まれた画像に対して、まずマ
トリクス重み付け演算であるソーベル演算等で画像処理
等が行われ、それぞれ強度画像と濃度勾配を表わす微分
画像（角度画像）が算出される。

【００２０】微分画像は、強度の変化点を強調するの
で、誘導線が左右のエッジペアとして得られる。そのエ
ッジペアは、例えば、図４に示すように、左側がプラス
のピ−クを有し右側がマイナスのピ−クを有する。それ
らのエッジペアの座標（Ｘｉ、Ｙｋ），（Ｘｊ、Ｙｋ）
は、微分画像のｙ＝Ｙｋ上を水平方向に正負のピークを
探索することによって得られる。そして、次式を満たす
エッジペアを有する点列あるいは線分が誘導線候補とし
て抽出される。

【数２】Ｄmin ＜Ｘｊ−Ｘｉ＜Ｄmax （２）ここで、Ｘｊ−Ｘｉは誘導線幅であるエッジペア間の距
離、Ｄmin はその最小値、Ｄmax はその最大値である。
これは、誘導線の線幅は、遠くでは小さく近くでは大き
く撮像面に投影されるからである。この式（２）により
誘導線候補が選択される。Ｘｉは左側へ分岐走行路を選
択する場合に採用され、Ｘｊは連続走行する場合に選択
される。このように処理され、Ｘｉ，Ｘｊの何れか一方
を選択することによって、図３（ａ）に示される誘導線
候補が画像上に抽出される。

【００２１】走行路は通常１対の誘導線から構成され
る。また、その離間距離は例えば高速道路の場合約３．
５ｍに規定されている。続くステップＳ１２０では、こ
の拘束条件を利用して上記複数の誘導線候補から誘導線
候補対とそのデータを抽出する。その方法を図５に示し
た詳細フローチャートと図６に示した候補線断面図に従
って説明する。尚、図６は図３（ａ）に示した走査線ｋ
による断面図である。

【００２２】図５のステップＳ１２１では、走査線イン
デックスを表すｋが初期化される。走査線インデックス
ｋは、図３（ａ）をｙ方向に分割する分割番号を表す。
例えば２０分割する場合は、最後の番号はｋ＝１９とな
る。続いてステップＳ１２２に移行し、走査線インデッ
クスｋが更新され、新しい走査線ｋが指定される。

【００２３】ステップＳ１２３では、その走査線ｋ上の
ピークを探索し誘導線候補の候補点に１〜Ｎの番号が付
与される（図６）。また、その座標も記憶される。例え
ば、走査線ｋ上のα番目の候補点はＰｋα（Ｘｋα，Ｙ
ｋ）で表される。Ｘｋα，Ｙｋはそれぞれｘ座標、ｙ座
標である。続いて、ステップＳ１２４に移行する。

【００２４】ステップＳ１２４では、走査線ｋ上の候補
点数がチェックされる。候補点数が０あるいは１の場合
は、誘導線対が観測されていないのでステップＳ１２２
に戻り次の走査線が調べられる。ステップＳ１２４で２
個以上の候補点Ｐｋが検出された場合は、ステップＳ１
２５に移行する。

【００２５】ステップＳ１２５では、図６の様に検出さ
れた複数の候補点Ｐｋの中から任意の２組の候補点Ｐｋ
α（Ｘｋα，Ｙｋ）とＰｋβ（Ｘｋβ，Ｙｋ）の全ての
組み合わせを生成する。そして、その組に対して、離間
距離Ｗｋαβが計算される（但し、Ｎ≧β＞αであ
る）。離間距離Ｗｋαβのインデックスαは、ｘ軸方向
の離間距離計数開始点でありβは終点である。続いてス
テップＳ１２６に移行する。

【００２６】ステップＳ１２６では、候補点の全ての組
に対して計算された全ての離間距離Ｗｋαβから次式を
満たす候補点対の組を選択する。ここで、Ｗmin はその
最小値、Ｗmax はその最大値である。走行路幅である離
間距離Ｗｋαβは、撮影画像では遠方は小さく近傍は大
きく撮像されることから、この所定の範囲が設定され
る。

【数３】Ｗmin ＜Ｗｋαβ＜Ｗmax （３）この式（３）を満たす場合に誘導線候補対と判定し、開
始点インデックスｋ，αと離間距離を含んだデータＤｋ
ｍ（Ｘｋα，Ｙｋ，Ｗｋαβ）が誘導線候補対データと
して記憶される。但し、ｍは、走査線ｋ上において
（３）式を満たす誘導線候補対の組に付けられたインデ
ックスである。

【００２７】続いてステップＳ１２７に移行し、走査線
ｋのインデックスｋが最終か否かチェックされる。最終
でなければステップＳ１２２に移行し上記プロセスが繰
り返される。そして、Ｄｋαｍ（Ｘｋαｍ，Ｙｋｍ，Ｗ
ｋαβｍ）で表されるデータ群が蓄積される。そのデー
タ構造を図７に示す。一方、走査線ｋのインデックスｋ
が最終であればこのルーチンを終了し、ステップＳ１３
０のｙｗ相関分析に移行する（図２）。

【００２８】ステップＳ１３０では、上記データ群Ｄｋ
ｍ（Ｘｋα，Ｙｋ，Ｗｋαβ）から（Ｙｋ，Ｗｋαβ）
を抜き出し、ｙｗ平面で相関分布が求められる（図３
（ｂ））。仮に、走行路画像にノイズがなく真正の誘導
線対のみがある場合、投影された誘導線対の離間距離
は、画面下方へのｙ座標が大きくなるに従って大きくな
る。従って、真正の誘導線には、正の相関がある。ま
た、ｙｗ平面におけるその分布はほぼ直線上に位置し、
その中心線はｙ軸と所定角θを成す（図３（ｂ’））。

【００２９】この所定角θは、カメラを介した誘導線対
と撮像素子との幾何学的な関係から一義的に規定され
る。図８（ａ）の様に誘導線対Ａ１，Ａ２を高さＨに固
定された撮像カメラレンズを通して撮影すると２次元Ｃ
ＣＤ撮像素子上では、図８（ｂ）のように投影される。
カメラから十分離れた誘導線Ａ１、誘導線Ａ２の先端は
撮像素子上では画面中央に、カメラ近傍の誘導線Ａ１、
誘導線Ａ２は画面底部にａ１、ａ２として投影される。
また、カメラ光軸から高さＨ離れた仮想線ＷＬは撮像素
子上では、画面中央からｈ離れて幅ｗｌで投影される。
従って、tan θ≒ｗｌ／ｈ＝ＷＬ／Ｈの関係が得られ
る。これより、所定角θはＷＬおよびＨによって予め設
定される。説明のため図８では直線路で示したが、誘導
線Ａ１、誘導線Ａ２がカーブしている場合でも、上記関
係は近似的に成立する。

【００３０】このモデルに従って、走行中の画像に対し
ても同様な相関分布をとり、所定角θの方向に濃度値和
（ヒストグラム）を取れば、その最大度数の成分が誘導
線形成点のｙｗ成分となる（図３（ｃ））。この誘導線
形成点のｙｗ成分（Ｙｋ、Ｗｋαβ）のインデックスα
およびｋより、ｘｙ成分（Ｘｋα、Ｙｋ）と（Ｘｋβ、
Ｙｋ）を得、ｘｙ平面にプロットされる（図３
（ｄ））。その後、ステップＳ１４０に移行する。

【００３１】ステップＳ１４０では、ｘｙ座標に変換さ
れた誘導線形成点を基に、最小２乗法あるいは拡張カル
マンフィルタ法によってその近似曲線が求められ、ステ
ップＳ１５０で制御機器等にそのパラメータ等が出力さ
れる。このようなルーチンが繰り返される事により、走
行路の誘導線が常に認識される。轍、縁石などによって
生じるノイズは、ステップＳ１３０のｙｗ相関分析によ
って取り除かれるので、誤認識が低減される。従って安
全な自立走行を可能とする走行路認識装置となる。

【００３２】以上、本発明を表わす１実施例を示した
が、他にさまざまな変形例が考えられる。例えば、ステ
ップＳ１３０のｙｗ相関分析では、濃度値和で分析され
たが、図９に示すようにｙ軸に対して所定角θを有する
直線を矢印の方向にスキャンさせ、その直線に載る候補
点数を計数してもよい。最も多くの候補点が検出された
その直線上の点が誘導線形成点となる。

【００３３】また、ステップＳ１３０ではｙｗ成分から
ｘｙ成分を求め誘導線推定であるステップＳ１４０に移
行したが、場合によってはｘｙ座標では３本の誘導線が
認識される場合がある。例えば、中央の誘導線上を走行
した場合である。この場合に備えて、図１０に示す様に
さらにｘｙ平面上で濃度値和をとる図示しないステップ
をステップＳ１４０の先頭に付加してもよい。中央に誘
導線がある場合は、図のように中央に最大度数が現れ
る。これにより、通常走行との区別ができるので警告等
をステップＳ１５０から出力してもよい。

【００３４】その他、いろいろな変形例が考えられる
が、車載カメラから取り込んだ路面画像から誘導線候補
対を抽出し、その誘導線候補の形成点のｙ座標とその点
における水平方向の離間距離を相関分析することにより
誘導導線を推定するものであれば、その方法は問わな
い。

【図面の簡単な説明】

【図１】本発明の１実施例に係る走行路認識装置の構成
を示す構成図。

【図２】走行路認識装置のＣＰＵの処理手順を示すフロ
ーチャート。

【図３】ＣＰＵ処理過程で生じる候補線の画像データを
示した説明図。

【図４】エッジペアの説明図。

【図５】誘導線候補対を抽出するためのＣＰＵの処理手
順を示したフローチャート。

【図６】走査線ｋ上の誘導線候補点および誘導線候補点
対の説明図。

【図７】誘導線候補対データのデータ構造を示した構造
図。

【図８】路面上の誘導線と画像上の誘導線の関係図。

【図９】変形例における誘導線形成点の抽出方法の説明
図。

【図１０】走行路を逸脱した場合の誘導線認識方法を示
した説明図。

【図１１】従来の誘導線を確定する方法を示した説明
図。

【符号の説明】

１００ＣＰＵ１１０ＲＯＭ１２０ＲＡＭ１４０システムバス１５０カメラ１６０画像入力装置１６５フレームメモリＡ１，Ａ２誘導線Ｗ離間距離

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平７−200782（ＪＰ，Ａ) 特開平７−78234（ＪＰ，Ａ) 特開平８−261756（ＪＰ，Ａ) 特開平５−314396（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 330 B60R 21/00 624 G06T 7/60 200 G08G 1/16

Claims

(57)【特許請求の範囲】

【請求項１】撮像装置により走行路を撮像し、得られた
路面画像から走行指標となる誘導線を認識する走行路認
識装置において、前記路面画像から前記誘導線の候補を複数抽出する誘導
線候補抽出手段と、前記誘導線候補線抽出手段によって抽出された複数の誘
導線候補から、路面画像の水平方向の離間距離が所定の
範囲にある誘導線候補対を抽出する誘導線候補対抽出手
段と、前記誘導線候補対の何れか一方の誘導線候補を形成する
形成点の路面画像の垂直方向の座標とその形成点におけ
る該誘導線候補対の前記離間距離との相関分布をとり、
所定の相関がある形成点を誘導線形成点とする誘導線形
成点抽出手段と、前記誘導線形成点抽出手段により抽出された誘導線形成
点を用いて真正の誘導線を推定する誘導線推定手段とを
備えたことを特徴とする走行路認識装置。
【請求項２】前記撮像装置が自動車に搭載されたことを
特徴とする請求項１に記載の走行路認識装置。
【請求項３】前記誘導線形成点抽出手段における前記所
定の相関がある形成点とは、所定の角度の方向にヒスト
グラムをとり、その最大度数の集合の形成点であること
を特徴とする請求項１又は請求項２に記載の走行路認識
装置。