JP3032060B2 - 移動車の走行路認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は移動車の走行路認識装
置、特に、走行路上の白線領域に基づいて走行路を認識
する装置に関する。

【０００２】

【従来の技術】自律走行車などが走行路を認識する場
合、走行路上の白線領域に着目するのが一般的である。
通常は、ビデオカメラなどで走行路前方の画像を入力
し、この画像に対して所定の白線認識処理を行い、走行
路の認識を行っている。すなわち、ビデオカメラなどで
入力した画像を二値化し、白い領域（白線領域）と黒い
領域（それ以外の領域）とに分け、白い領域を白線領域
として認識することになる。たとえば、特開昭６４−２
６９１３号公報には、このような手法による移動車の走
行路認識装置が開示されている。

【０００３】

【発明が解決しようとする課題】走行路上の白線は、連
続した１本の実線を形成することもあるが、破線を形成
することもある。一般に、実線の認識に比べて破線の認
識は困難である。従来の走行路認識装置では、破線も実
線の一部であると考え、実線の認識方法と同じ方法を適
用したり、走行中に得られる連続画像に基づいて、破線
を実線として認識したりする方法が採られていた。しか
し、これらの方法では、破線状の白線領域を精度良く認
識することができないという問題がある。

【０００４】そこで本発明は、破線状の白線領域を精度
良く認識することのできる移動車の走行路認識装置を提
供することを目的とする。

【０００５】

【課題を解決するための手段】本発明は、走行路上の白
線領域に基づいて走行路を認識する装置において、外界
の環境を画像として入力するための画像入力手段と、入
力画像内の基準位置に存在する白線領域を、基準白線領
域として抽出する基準白線領域抽出手段と、抽出された
白線領域の長軸方向を算出する長軸方向算出手段と、こ
の長軸方向に基づき、この長軸方向の延長線上を、別な
白線領域が存在すると推定される候補領域とする候補領
域算出手段と、算出された候補領域内に存在する白線領
域を、後続白線領域として抽出する後続白線領域抽出手
段と、を設け、抽出された後続白線領域について更に長
軸方向の算出を行い、その延長線上を候補領域として新
たな後続白線領域を抽出する繰り返し処理を実行する機
能を有し、かつ、抽出された後続白線領域の長軸距離と
短軸距離との比の変化率が所定率より大きい場合に、繰
り返し処理を中止する機能を有するようにしたものであ
る。

【０００６】

【作 用】本発明による移動車の走行路認識装置では、
まず、入力した画像内の予め設定された基準位置に存在
する白線領域が、基準白線領域として抽出される。走行
路上の白線が破線である場合、この基準白線領域は、破
線の一部分を構成する領域にすぎない。続いて、この基
準白線領域について、その空間的な配置を示す特徴量が
算出され、この特徴量に基づいて、次の破線の一部分が
存在すると推定される候補領域が算出される。そして、
この候補領域内を捜索することにより、次の破線の一部
分に相当する後続白線領域が抽出される。以下、抽出さ
れた後続白線領域に基づいて、更にその次の後続白線領
域が抽出され、破線の一部分が順次ひとつずつ抽出され
てゆくことになる。

【０００７】

【実施例】１． 基本原理 以下、本発明を図示する実施例に基づいて説明する。図
１は、本発明に係る移動車の走行路認識装置の基本構成
を示すブロック図である。はじめに、このブロック図の
各構成要素のおおまかな機能を説明することにより、本
発明の基本原理を述べる。

【０００８】画像入力手段１は、走行路前方の外界の環
境を画像として入力するための装置であり、この実施例
では、ビデオカメラを用いている。この画像入力手段１
で入力した画像は、まず、基準白線領域抽出手段２に与
えられる。この基準白線領域抽出手段２以下の各手段
は、具体的には画像処理を行うための計算機によって構
成される。基準白線領域抽出手段２は、入力画像内の基
準位置に存在する白線領域を、基準白線領域として抽出
する機能を有する。たとえば、図２に示すような画像が
ビデオカメラから入力された場合、所定の基準位置に存
在する白線領域Ｗ０（図にハッチングを施した部分）
が、基準白線領域として抽出される。なお、基準位置を
どのように設定するかについては後述する。

【０００９】特徴量算出手段３は、このようにして抽出
された白線領域の空間的な配置を示す特徴量（詳しくは
後述）を算出する。最初は、基準白線領域抽出手段２で
抽出された基準白線領域Ｗ０についての特徴量が算出さ
れる。続いて、候補領域算出手段４が、この特徴量に基
づいて、別な白線領域が存在すると推定される候補領域
を算出する。たとえば、図２に示す例では、基準白線領
域Ｗ０についての特徴量に基づいて、候補領域Ａ１が算
出される。後続白線領域抽出手段５は、この候補領域Ａ
１内に存在する白線領域Ｗ１を、後続白線領域として抽
出する機能を有する。

【００１０】こうして、後続白線領域Ｗ１が抽出される
と、特徴量算出手段３はこの後続白線領域Ｗ１について
の特徴量を算出し、候補領域算出手段４によってこの特
徴量に基づいて次の候補領域Ａ２が算出される。そし
て、後続白線領域抽出手段５は、今度は、この候補領域
Ａ２内を捜索することにより、後続白線領域Ｗ２を抽出
する。以下、同様にして、次々と後続白線領域の抽出作
業が行われる。

【００１１】以上が本発明における破線状の白線領域の
認識手法の基本原理である。続いて、この手法に基づく
より具体的な２つの実施例を以下に述べる。

【００１２】２． 第１の具体的な実施例 ここに述べる実施例は、図３に示すような探索ラインＨ
上の白線領域を基準白線領域として抽出し、抽出された
白線領域の長軸方向を特徴量として算出し、この長軸方
向の延長線上を候補領域とするものである。以下、図４
の流れ図に基づいてこの方法を詳述する。まず、ステッ
プＳ１において画像入力が行われる。すなわち、ビデオ
カメラなどの画像入力手段１によって、走行路前方の画
像が取り込まれる。続いて、ステップＳ２において、こ
の画像を構成する各画素の濃度値についてのヒストグラ
ムを作成し、ステップＳ３において、このヒストグラム
の双峰性を検証する。たとえば、図５に示すようなヒス
トグラムが得られた場合を考える。このヒストグラムに
は、２つのピークＰ１，Ｐ２が存在する。このように、
ある基準以上の高さをもったピークが２つ存在する場合
には、双峰性が確保されていると判断する。ヒストグラ
ムにおいて双峰性が確保されているということは、入力
された画像が、白線領域と、それ以外の領域とに、大き
く分離できるということを意味する。双峰性が確保され
ていない場合には、上記両領域の分離をうまく行うこと
ができないので、ステップＳ３からステップＳ４へと進
み、ヒストグラム作成時のフィルタおよび輝度などの条
件（ルックアップテーブルとしていくつか用意しておく
とよい）を変更した上で、再度、ヒストグラムを作成し
なおす。双峰性が確保されている場合には、ステップＳ
５において、画像の二値化を行う。このとき、図５に示
すヒストグラムにおける谷の部分の濃度値Ｖをしきい値
として二値化を行えばよい。

【００１３】こうして二値化した画像に対して、ステッ
プＳ６において領域計算による雑音の除去が行われる。
すなわち、二値化した画像は、白い画素の集合からなる
白領域と、黒い画素の集合からなる黒領域とに分けられ
るが、これらの各領域のうち、面積が所定の基準以下の
領域を雑音領域として除去する。また、白線領域として
は面積が大きすぎる白領域も雑音領域として除去する。
続いて、ステップＳ７では、雑音除去後の画像につい
て、白線領域の認識処理を行うことが適当か否かが判断
される。たとえば、雑音除去後の画像がほとんど白領域
を含まないような画像となってしまっていたら、白線領
域の認識処理を行うのは不適当である。このような場合
は、ステップＳ１へ戻り、新たな画像を入力してやりな
おす。

【００１４】認識処理を行うのが適当と判断されたら、
いよいよステップＳ８からの手順に従って、白線領域の
認識処理が実行される。まず、ステップＳ８において、
探索ラインＨ上の白線領域の探索が行なわれる。別言す
れば、図１に示す構成において、基準白線領域抽出手段
２によって基準白線領域の抽出が行なわれることにな
る。この実施例では、図３に示すように、画像の所定位
置に探索ラインＨを予め設定しておき、この探索ライン
Ｈ上の白線領域を、基準白線領域として抽出する。具体
的には、探索ラインＨ上の白い画素を探し、この白い画
素に幾何学的に連続している白い画素の集合を抽出すれ
ばよい。探索ラインＨは、道路幅が４ｍ、ビデオカメラ
の下向き角度が４°、ビデオカメラの焦点距離が１６ｍ
ｍの場合では、たとえば車両前方１０〜１５ｍの位置に
設定するというように予め定めておけばよい。なお、基
準白線領域として複数の領域が抽出され得る場合には、
たとえば、面積の最も大きい領域を選択するといった取
決めをしておけばよい。また、図６に示すような場合に
は、探索ラインＨ上には白線領域が１つも存在しないこ
とになる。このように、基準白線領域が抽出されない場
合には、ステップＳ９からステップＳ１へと戻り、新た
な画像を入力してやりなおせばよい。あるいは、前回の
画像（図３に示すような状態のもの）についての基準白
線領域をそのまま流用して、ステップＳ１０以下の処理
を行うようにしてもかまわない。

【００１５】基準白線領域Ｗ０が抽出できたら、続いて
ステップＳ１０において、この領域についての特徴量を
算出する。この特徴量としては、抽出された白線領域の
空間的な配置を示す量であればどのような量をとっても
かまわないが、この実施例では、図７に示すように、抽
出した白線領域の長軸方向ＬＤ、長軸距離Ｌ、短軸方向
ＳＤ、短軸距離Ｓ、重心Ｇの位置、を特徴量として求め
ている。これらの値は、各画素についてのモーメント量
を計算する単純な演算により求めることができる。こう
して、抽出した白線領域の特徴量が算出されたら、ステ
ップＳ１１において、この白線領域の形状チェックを行
う。すなわち、長軸距離Ｌおよび短軸距離Ｓが所定値に
満たない場合（現在抽出された白線領域が非常に小さい
場合）、あるいはこれらの比Ｌ／Ｓの変化率が所定の率
以上となった場合（たとえば、Ｌ／Ｓが２０％以上変化
した場合）は、後続する白線領域を検出する信頼性が低
いため、以下の処理を行うことなく、ステップＳ１２へ
進み、これまでに抽出された白線領域によって白線リス
トを完結させ、ステップＳ１からの手順を繰り返す。形
状チェックの結果、後続する白線領域の検出に適合して
いると判断された場合は、ステップＳ１３において、候
補領域が算出される。この実施例では、長軸方向ＬＤ上
の領域が候補領域となる。すなわち、図８に示すよう
に、基準白線領域Ｗ０の重心Ｇから、長軸方向ＬＤに伸
ばした延長線上の領域が候補領域となる。そこで、ステ
ップＳ１４では、この候補領域内の白線領域の抽出が行
われる。具体的には、延長線上の白い画素を探し、この
白い画素に幾何学的に連続している白い画素の集合を抽
出すればよい。そのような集合が複数ある場合には、た
とえば、面積の最も大きなものを選択するように定めて
おく。

【００１６】こうして、図８の例では、候補領域内の後
続白線領域として、領域Ｗ１が抽出される。そして、ス
テップＳ１４からステップＳ１０へと戻り、今度は、こ
の後続白線領域Ｗ１についての特徴量が算出され、ステ
ップＳ１１で形状チェックされた後、ステップＳ１３で
候補領域が算出される。すなわち、領域Ｗ１の重心から
の長軸方向延長線上の領域が、候補領域となる。ステッ
プＳ１４では、この候補領域内の後続白線領域として、
領域Ｗ２が抽出される。そして再びステップＳ１０へと
戻り、この後続白線領域Ｗ２についての特徴量が算出さ
れ、これに基づく候補領域の算出、そして新たな後続白
線領域の抽出、という作業が繰り返されてゆく。最終的
には、ステップＳ１１における形状チェックで不適合と
なるか、ステップＳ１４において後続白線領域の抽出が
できなかった場合に、ステップＳ１２へと進み、それま
での抽出された白線領域によって白線リストが完結す
る。

【００１７】以上、本発明の第１の具体的な実施例を説
明したが、細かな内容は適宜変更しうるものである。た
とえば、上述の実施例では、長軸方向延長線上の領域を
候補領域としたが、走行路の右側の白線領域の抽出を行
う場合には、延長線より右側部分の領域を候補領域と
し、走行路の左側の白線領域の抽出を行う場合には、延
長線より左側部分の領域を候補領域としてもよい。

【００１８】３． 第２の具体的な実施例 ここに述べる実施例は、図９に示すようなウインドウＡ
１，Ａ２，Ａ３，…を候補領域として設定するものであ
る。以下、図１のブロック図を参照しながら、この実施
例の特徴を述べる。画像入力手段１で入力した画像は、
基準白線領域抽出手段２に与えられる。この基準白線領
域抽出手段２は、入力画像内の所定位置（この実施例で
は、左下位置）に定義された基準ウインドウＡ０内を捜
索することにより、基準白線領域Ｗ０を抽出する。基準
ウインドウＡ０内に白線領域が検出できない場合には、
この画像についての処理は中止する。別言すれば、基準
ウインドウＡ０内に白線領域が検出できるようになるま
で待機する。基準白線領域Ｗ０が抽出できたら、特徴量
算出手段３は、抽出した基準白線領域Ｗ０についての特
徴量を算出する。この実施例では、図１０に示すよう
に、白線領域の重心位置Ｇ、長軸距離Ｌ、および長軸の
傾斜角θを特徴量として算出している。続いて、候補領
域算出手段４は、算出した特徴量に基づいて候補領域を
算出し、後続白線領域抽出手段５は、この候補領域をウ
インドウＡ１として、ウインドウＡ１内を捜索して白線
領域Ｗ１を抽出する。次に、この白線領域Ｗ１について
の特徴量が特徴量算出手段３によって算出され、候補領
域算出手段４はこの特徴量に基づいて、次の候補領域で
あるウインドウＡ２を算出する。後続白線領域抽出手段
５は、ウインドウＡ２内を捜索して白線領域Ｗ２を抽出
する。同様にして、白線領域Ｗ２の特徴量からウインド
ウＡ３が求まり、ウインドウＡ３内から白線領域Ｗ３が
抽出され、白線領域Ｗ３の特徴量からウインドウＡ４が
求まり、ウインドウＡ４内から白線領域Ｗ４が抽出さ
れ、…と作業を繰り返すことにより、破線の一部を構成
する白線領域が順次抽出されることになる。

【００１９】ここで、候補領域算出手段４による候補領
域の算出方法について詳述しよう。いま、たとえば、図
１１(a) に示すように、入力された二次元画像内に、白
線領域Ｑ１が抽出されているものとする。まず、この白
線領域Ｑ１についての三次元座標系上の像Ｑ２を演算に
より求める。たとえば、図１１(b) に示すように、自車
両の位置を原点Ｏにとった三次元座標系上に像Ｑ２が得
られる。画像入力手段１によって入力された画像は、そ
もそも外界の三次元空間の景色を二次元投影することに
よって得られた画像であるから、そのときの投影条件が
既知であれば、図１１(a) に示すような二次元投影像
を、図１１(b) に示すような三次元座標系上に逆投影す
ることが可能である。走行路面が水平面であれば、この
白線領域Ｑ１についての逆投影像Ｑ２は、図１１(c) に
示すように、ＸＹ平面上の像Ｑ３となる。走行路面が水
平面でない場合は、像Ｑ２をＸＹ平面に投影することに
より像Ｑ３が得られる。結局、図１１(c) に示すＸＹ平
面上の像Ｑ３は、図１１(a)に示す画像上の像Ｑ１を、
道路平面上の二次元座標系に投影変換したものとなる。
ここで、図１１(c) は、走行路面を空から見下ろした鳥
敢図に相当する画像になる。

【００２０】一般に、破線の一部を構成する白線領域
は、いずれも同じ幅と長さを有し、等間隔で路面上に配
置されていると考えてよい。したがって、図１１(c) に
示すような鳥敢図上では、１つの白線領域の位置に基づ
いて、これに後続する次の白線領域の位置を線形予測す
ることができる。走行路がカーブしているような場合に
は、このような線形予測は必ずしも正しくはならない
が、通常はカーブの曲率半径に比べて、１つの白線領域
の長軸距離は十分に小さいので、カーブしている場合で
も近似的に線形予測を適用することができる。そこで、
図１１(c) のようにＸＹ平面に投影した像Ｑ３について
の３つの特徴量、すなわち重心位置Ｇ、長軸距離Ｌ、お
よび長軸の傾斜角θに基づいて（あるいは、この像Ｑ３
とともにこれに先行して求められた複数の白線領域像に
ついての特徴量に基づいて）、この白線領域Ｑ３に後続
する白線領域が存在すると推定される予測領域Ｑ４を線
形予測（たとえば、カルマンフィルターを用いた予測）
することが可能である。そこで、この予測領域Ｑ４に対
応する三次元座標系における像Ｑ５（図１１(b) 参照）
を、二次元画像面に投影すれば、図１１(a) に示すよう
に、投影像Ｑ６を得ることができる。本実施例の特徴
は、この投影像Ｑ６を、候補領域、すなわちウインドウ
として用いる点にある。

【００２１】以上のような方法により候補領域（ウイン
ドウ）を算出できれば、図９に示す例において、白線領
域Ｗ０からウインドウＡ１を算出し、ウインドウＡ１内
から白線領域Ｗ１を抽出し、白線領域Ｗ１からウインド
ウＡ２を算出し、…という作業を順次繰り返すことが可
能である。

【００２２】以上、本発明を図示する２つの具体的な実
施例に基づいて説明したが、本発明はこれらの実施例の
みに限定されるものではなく、要するに、抽出されたｉ
番目の白線領域の空間的な配置を示す特徴量に基づい
て、（ｉ＋１）番目の白線領域が存在すると推定される
候補領域を算出し、この候補領域内を捜索することによ
り（ｉ＋１）番目の白線領域を抽出する処理を繰り返し
行うことができれば、どのような態様で実現してもかま
わない。

【００２３】

【発明の効果】以上のとおり本発明によれば、破線状の
各白線領域を１つずつ順に抽出してゆくようにしたた
め、破線状の白線領域を精度良く認識することができる
ようになる。

【図面の簡単な説明】

【図１】本発明に係る移動車の走行路認識装置の基本構
成を示すブロック図である。

【図２】図１に示す装置における画像入力手段１で入力
された画像に基づき、本発明の基本原理を説明する図で
ある。

【図３】本発明の第１の実施例による装置において、探
索ラインＨにより基準白線領域を抽出する方法を示す図
である。

【図４】本発明の第１の実施例による装置の動作手順を
説明する流れ図である。

【図５】図４に示す流れ図のステップＳ２において作成
されるヒストグラムの一例を示す図である。

【図６】本発明の第１の実施例による装置において、探
索ラインＨによる基準白線領域の抽出ができない画像例
を示す図である。

【図７】本発明の第１の実施例による装置における特徴
量の算出方法を示す図である。

【図８】本発明の第１の実施例による装置における候補
領域の探索を示す図である。

【図９】本発明の第２の実施例による装置の原理を示す
図である。

【図１０】本発明の第２の実施例による装置における特
徴量の算出方法を示す図である。

【図１１】本発明の第２の実施例による装置における候
補領域の算出方法を示す図である。

【符号の説明】

１…画像入力手段（ビデオカメラ） ２…基準白線領域抽出手段 ３…特徴量算出手段 ４…候補領域算出手段 ５…後続白線領域抽出手段 Ａ０…基準ウインドウ Ａ１〜Ａ４…候補領域（ウインドウ） Ｇ…重心位置 Ｈ…探索ライン Ｌ…白線領域の長軸距離 ＬＤ…白線領域の長軸方向 Ｑ１〜Ｑ６…白線領域またはその像 Ｓ…白線領域の短軸距離 ＳＤ…白線領域の短軸方向 Ｗ０…基準白線領域 Ｗ１〜Ｗ４…後続白線領域

フロントページの続き (56)参考文献 特開 平３−139706（ＪＰ，Ａ) 特開 平３−225513（ＪＰ，Ａ) 特開 昭62−140113（ＪＰ，Ａ) 特開 昭62−162113（ＪＰ，Ａ) 特開 平４−184603（ＪＰ，Ａ) 特開 平４−293109（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05D 1/02

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 走行路上の白線領域に基づいて走行路を
   認識する装置であって、 外界の環境を画像として入力するための画像入力手段
   と、 入力画像内の基準位置に存在する白線領域を、基準白線
   領域として抽出する基準白線領域抽出手段と、 抽出された白線領域の長軸方向を算出する長軸方向算出
   手段と、 前記長軸方向に基づき、前記長軸方向の延長線上を、別
   な白線領域が存在すると推定される候補領域とする候補
   領域算出手段と、 前記候補領域内に存在する白線領域を、後続白線領域と
   して抽出する後続白線領域抽出手段と、を備え、抽出された後続白線領域について更に長軸方向の算出を
   行い、その延長線上を候補領域として新たな後続白線領
   域を抽出する繰り返し処理を実行する機能を有し、か
   つ、抽出された後続白線領域の長軸距離と短軸距離との
   比の変化率が所定率より大きい場合に、前記繰り返し処
   理を中止する機能を有する ことを特徴とする移動車の走
   行路認識装置。
2. 【請求項２】 請求項１に記載の装置において、候補領域算出手段が、白線領域の重心位置を算出し、こ
   の重心位置から長軸方向に延ばした延長線上の領域を候
   補領域とすることを特徴とする移動車の走行路認識装
   置。