JP3429167B2 - 車両用白線検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は車両用白線検出装
置に関する。

【０００２】

【従来の技術】近時、車両にＣＣＤカメラ（固体撮像素
子型カメラ）などを搭載して高速道路などの走行路面を
撮像し、得られた画像から白線（道路区分線）を抽出す
る技術が種々提案されており、その例として特公平６−
５６６１９号公報記載の技術を挙げることができる。

【０００３】その従来技術においては、白線を含む画像
中の濃淡値が暗から明に変化する点（以降「正エッジ
点」という）と、明から暗に変化する点（以降「負エッ
ジ点」という）を画像全体にわたって検出（抽出）し、
左端のエッジが正エッジ点で、右端のエッジが負エッジ
点で、かつその幅が白線の幅に応じた所定範囲にある領
域を白線候補部として検出する。次いで、白線候補部の
骨格線（中心線）を求め、右上がりか否かなどのパター
ンに分類し、分類されたパターンについてハフ変換を行
って白線を検出する。

【０００４】

【発明が解決しようとする課題】従来技術は工場の敷地
に描かれた白線を検出して移動する無人搬送車用の白線
検出装置に関し、従って白線も単純な構図であるが、最
近は高速道路などにおいて白線の模様も多岐にわたって
おり、例えば、図９に示すような二重破線も使用されて
いる。

【０００５】このような複雑な白線を従来技術で提案さ
れる手法に従って検出しようとすると、白線の幅に対応
する所定の領域内に正エッジ点と負エッジ点がいくつも
存在する可能性があり、多数の組み合わせを白線候補部
として扱わなければならない。従って、画像全体を処理
するには多くの時間が必要となる。

【０００６】そのため、一般に、この種の技術において
は、処理領域を白線の存在が予測される画像部分に限定
することによって、実時間で白線検出を行っている。し
かしながら、処理領域を限定すると、領域内に分岐線や
ガードレールなど白線に似た特徴を有するものが含まれ
る場合、それを白線と誤認識する恐れがある。

【０００７】従って、この発明の目的は上記した不都合
を解消することにあり、二重破線のような複雑な形状の
白線が表示された走行路においても白線を実時間で検出
できるようにした車両用白線検出装置を提供することに
ある。

【０００８】

【課題を解決するための手段】上記した目的を達成する
ために、請求項１項にあっては、車両前方の路面を撮像
する撮像手段、前記撮像手段が撮像して得られた路面画
像の、暗から明に変化する第１エッジ点および明から暗
に変化する第２エッジ点をそれぞれ検出するエッジ点検
出手段、前記検出された第１エッジ点および第２エッジ
点をそれぞれハフ変換するハフ変換手段、前記変換され
た第１エッジ点および第２エッジ点のハフ空間において
投票した画像の点集合を点集合記憶領域に記憶する記憶
手段、前記第１エッジ点および第２エッジ点のハフ空間
上のピークをそれぞれ検出するピーク検出手段、前記検
出された第１エッジ点および第２エッジ点のハフ空間上
のピークの一方を固定し、前記固定されたピークの位置
を起点に他方のハフ空間上に探索領域を設定してその起
点に最も近いピークを選択すると共に、前記選択された
ピークと固定されたピークとの間に、前記一方のピーク
のうちの他のピークが存在するか否か判断し、存在しな
いと判断されたときは前記選択されたピークと固定され
たピークをペアとして対応させるペア探索手段、前記探
索されたペアのピークに投票した画像の点集合を前記記
憶手段から検索する検索手段、前記検索された点集合に
基づいて白線を検出する白線検出手段を備える如く構成
した。これによって、二重破線など複雑な形状を有する
白線も精度良く検出することができる。

【０００９】請求項２項にあっては、前記エッジ点検出
手段は、前記路面画像の全ての領域にわたって前記第
１、第２エッジ点をそれぞれ検出する如く構成した。こ
れによって、分岐線やガードレールなどを含む画像にお
いても、それらを白線と誤認識することがない。

【００１０】

【００１１】

【００１２】

【発明の実施の形態】以下、添付図面に即してこの発明
の実施の形態を説明する。

【００１３】図１はこの出願に係る車両用白線検出装置
を車両を含めてハードウェア的に示す概略図である。

【００１４】図示の如く、この装置は車両１０において
フロントウインドシールド１２の内面上に接着手段を介
して取り付けられたカメラ１４を１基、備え、カメラ１
４は車両１０の前方の路面を単眼視して撮像する。カメ
ラ１４はＣＣＤ（固体撮像素子型）カメラであり、縦４
８０×横５０２の画素数を有する。ＣＣＤカメラ１４の
出力は、電子制御ユニット１６内に収容された画像処理
ＥＣＵに送られる。

【００１５】図２はその画像処理ＥＣＵ２０（符号２０
で示す）の構成を詳細に示すブロック図である。

【００１６】図示の如く、画像処理ＥＣＵ２０は、ＣＰ
Ｕ（処理ハードウェア）２０ａ、正エッジ点と負エッジ
点の検出およびエッジ方向の算出を行う正負エッジ検出
およびエッジ方向算出部（処理ハードウェア）２０ｂ、
およびハフ（Ｈｏｕｇｈ）変換部（処理ハードウェア）
２０ｃを備える。

【００１７】画像処理ＥＣＵ２０はさらに、メモリとし
て、原画像格納用メモリ２０ｄ、エッジ画像格納用メモ
リ２０ｅ、正負エッジ点のハフ変換結果を格納するメモ
リ２０ｆ、および変換されたハフ空間において投票した
画像の点集合（投票点）を記憶する投票点格納用メモリ
（前記した記憶手段）２０ｇを備える。尚、符号２２は
バスを示す。

【００１８】続いて図３フロー・チャートを参照してこ
の発明に係る車両用白線検出装置の動作を説明する。

【００１９】尚、前記したＣＣＤカメラ１４からは６６
ｍｓｅｃごとに画像信号が出力され、その時間内におい
て図示のプログラムは実行され、よって実時間で白線が
検出される。

【００２０】先ず、Ｓ１０においてＣＣＤカメラ１４で
撮像され、原画像格納用メモリ２０ｄに格納されている
原画像を読み出し、その全画面（全領域）についてエッ
ジ点を検出（抽出）し、それぞれの正負判定を行うと同
時に、エッジ方向（局所的な点列の方向）を算出する。
エッジ方向を求めるのは、続いて行うハフ変換作業を簡
略化するためである。

【００２１】即ち、Ｓ１４で行うハフ変換においては周
知の如く、直線を記述するパラメータとして（ρ，θ）
を用いるが、θを０から１８０度まで変化させず、抽出
されたエッジ点の水平方向と垂直方向のエッジ強度から
エッジ方向を求め、その前後１５度程度に限ってθを変
化させる。

【００２２】先にも触れたが、図８に示す如く、暗から
明に変化した点（画素）を正エッジ点（前記した第１の
エッジ点）、明から暗に変化した点を負エッジ点（前記
した第２のエッジ点）という。得られたエッジ画像（中
間データ）を図においてＳ１０の右方に示す。

【００２３】続いてＳ１２に進み、正エッジ点と負エッ
ジ点を別々にハフ変換する。同時に、得られたハフ空間
においてピークに対して投票している画像上の点列（画
素）を、後で抽出できるように、前記した投票点格納用
メモリ２０ｇに保存する。図で右方に、正エッジ点と負
エッジ点についてなされたハフ変換結果および投票結果
ならびに投票点列を示す。

【００２４】続いてＳ１４に進み、正エッジのハフ空間
と負エッジのハフ空間上でそれぞれピークを検出する。

【００２５】図４はその処理を示すサブルーチン・フロ
ー・チャートである。尚、この処理は、最初に例えば正
エッジのハフ空間について、次いで負エッジのハフ空間
について行う。

【００２６】以下説明すると、Ｓ１００で平滑化（平均
化）を行い、Ｓ１０２に進んでしきい値を決定する。こ
れも演算の簡略化のためであり、後で述べるピーク検出
作業を簡略化するためである。しきい値は画面を左右領
域に分割し、そのそれぞれで決定する。尚、白線が実線
の場合と破線の場合とではピークが異なることから、そ
れも勘案して適宜決定する。

【００２７】しきい値は具体的には、ハフ空間の探索領
域のすべての投票値（投票点列）を集計し、上位から所
定順位（例えば１０番目）までのセルが残るように決定
する。尚、ハフ空間（ρ−θ空間）の個々の投票値を格
納しているものを、ここでは便宜上、ρ−θセル、ある
いは単にセルという。

【００２８】続いてＳ１０４に進んで探索順に従って最
初のρ−θセルを選択する。

【００２９】この探索順について図５を参照して説明す
ると、走行路を構成する点列は、一般に無限遠点に向か
っている（図５に無限遠点を（０，ｙ）で示す）。言い
換えれば、走行路を構成する点列は、無限遠点（０，
ｙ）を通る直線群である。このことは、ρ−θ空間上
で、ρ＝０ｃｏｓθ＋ｙｓｉｎθの上にピーク点が分布
することを意味する。

【００３０】そこで、ρ−θ空間上のピーク探索は、こ
の曲線の周囲に限定して行うことにした。このように探
索の範囲を絞ることによって、走行路構造物以外の直線
成分の検知を減らすことができる。

【００３１】さらに、画像上では、図５に示す如く、走
行路内側Ａから左右の走行路に向かって探索するように
した。具体的には、ρ−θ空間上で図６に示すような順
で探索を行う。こうすることによって、比較的高さのな
いピークでも白線が存在すると予測される位置にあれ
ば、白線と認識することができる。

【００３２】図４フロー・チャートにおいては続いてＳ
１０６に進んで投票値がしきい値以上か否か判断し、肯
定されるときはＳ１０８に進んで近傍の全てのセルより
投票値が大きいか否か判断し、肯定されるときはＳ１１
０に進んでそのセルを局所ピークとする。

【００３３】続いてＳ１１２に進んで全てのセルについ
て判断したか否か判断し、否定されるときはＳ１０４に
戻って以上の処理を繰り返す。尚、Ｓ１０６あるいはＳ
１０８で否定されるときは、それ以上の判断は不要なこ
とから、Ｓ１１２までジャンプする。かかる作業を、正
エッジハフ空間および負エッジハフ空間の全てについて
行う。

【００３４】図３フロー・チャートに戻ると、続いてＳ
１６に進んで正エッジのハフ空間と負エッジのハフ空間
でそれぞれ得られたピークが対応するピークを作成（探
索）する。

【００３５】図７はその作業を示すサブルーチン・フロ
ー・チャートである。

【００３６】先に図８を参照して説明すると、白線を構
成すると予定される両端のエッジのうち、まず内側のエ
ッジを検出する。即ち、自車から見て右側の白線の場
合、正エッジを中心にし（正エッジを固定し）、それに
対応する（ペアとなる）負エッジを探索する。

【００３７】左側の白線の場合、負エッジを中心に正エ
ッジのペアを探索する。図７フロー・チャートおよび図
８は、左側の白線についてペアを探索（作成）する場合
を示す。

【００３８】図７を参照してペア探索（作成）について
説明すると、Ｓ２００で最初の負エッジピークを選択す
る。図８に示すように、それをピーク（１）とする。

【００３９】次いでＳ２０２に進み、負エッジピークの
位置を起点にし、正エッジハフ空間に探索領域を設定
し、Ｓ２０４に進んで探索領域内に存在する正エッジピ
ークを全てリストアップする。

【００４０】次いでＳ２０６に進み、得られたリストの
うち、探索領域の起点に最も近い正エッジを選択する。
即ち、ハフ空間上で近いエッジは、画像上でも近いから
である。それを、図８に示す如く、ピーク（２）とす
る。

【００４１】次いでＳ２０８に進み、ピーク（１）とピ
ーク（２）の間に他の負エッジピークが存在するか否か
判断し、否定されるときはＳ２１０に進んでピーク
（１）とピーク（２）をペアとする。尚、Ｓ２０８で肯
定されるときは、負エッジピークを固定していることか
ら、ピーク（２）のペアとして（１）より適当なものが
あることを意味するので、Ｓ２１０をスキップする。

【００４２】次いでＳ２１２に進み、全ての負エッジピ
ークを探索したか否か判断し、肯定されるときは直ちに
プログラムを終了すると共に、否定されるときはＳ２１
４に進み、次の負エッジピークを選択してピーク（１）
とし、Ｓ２０２に進んで以上の処理を繰り返す。

【００４３】図３フロー・チャートに戻ると、次いでＳ
１８に進み、探索されたペアのハフ空間上のピークに投
票した点を投票点格納用メモリ２０ｇから読み出す。即
ち、そのピークに投票した画像上の点列を抽出する。よ
って得られた点列を、図で右方に示す。

【００４４】次いでＳ２０に進み、データ評価、より具
体的には時系列的なデータ評価を行う。これは、Ｓ１８
までの処理で得られた点列と過去の点列と比較し、適正
か否か検証する作業である。また、得られた点列から道
路パラメータ（位置、曲率など）を算出する（後述）。

【００４５】ここで、上記のように得られた白線抽出結
果を用いて車両制御を行う場合について図１を参照して
簡単に説明する。

【００４６】例えば本出願人が先に特開平５−１９７４
２３号あるいは特開平９−１２８６９９号で提案した操
舵技術に基づき、電子制御ユニット１６において、走行
路曲率などから車両１０が抽出された白線に沿って走行
するように目標ヨーレートが設定される。

【００４７】そして、車両１０の重心位置付近に配置し
たヨーレートセンサ２４の出力との偏差が解消するよう
に、操舵系に配置されたトルクセンサ２６を介して検出
された運転者操舵トルクをアシストするように指令値が
演算され、それに基づいて適宜なアシスト機構２８（電
動モータなど）が駆動される。Ｓ２０での走行路パラメ
ータの算出はこれを意味する。

【００４８】上記したように、この発明に係る装置の特
徴的な点は、先ず正負エッジを求めて直ちにハフ変換
し、次いでハフ変換された結果に基づいて白線を検出す
ることにある。

【００４９】図面を参照して説明すると、例えば図９に
示すような二重破線を有する走行路を撮像した画像を処
理するとき、前記した特公平６−５６６１９号公報で提
案される従来技術の如く、エッジの正負を区別せずにハ
フ変換によって線分を抽出すると、図１０に示すように
不要な直線まで抽出する恐れがある。

【００５０】それに対し、この発明においては図１１
Ａ，Ｂに示すように、正負エッジを求めて別々にハフ変
換し、その後に線分を抽出するので、そのような不都合
が生じない。即ち、各線分（点列）が十分離れて並んで
いるため、ノイズとなる直線成分を大幅に減らすことが
でき、よって白線を誤認識することがない。

【００５１】さらに、この発明に係る装置の特徴的な点
は、処理領域を限定せず、全ての領域（全画面）につい
て正負エッジを検出し、ハフ変換することである。

【００５２】その利点について説明すると、従来技術に
おけるように、処理領域を白線が存在しそうな箇所に限
定して探索すると、分岐線やガードレールなど白線と似
た特徴を持つものを白線と誤認識する恐れがある。図１
２Ａは分岐線を白線と誤認識した場合を、図１３Ａはガ
ードレールを白線と誤認識した場合を示す。

【００５３】それに対し、この装置においては全画面を
処理するので、たとえ分岐線やガードレールを白線候補
として検出しても、同時に正しい白線も白線候補として
検出するので、それらの候補の中から妥当なものを選択
することができる。

【００５４】図１２Ｂにこの装置において分枝線を含む
画像について全画面を処理した場合を、図１３Ｂにこの
装置においてガードレールを含む画像について全画面を
処理した場合を示す。全画面を処理することによって、
分岐線やガードレールを含む画像であっても誤認識が生
じないことが理解できよう。

【００５５】尚、全画面を処理すると演算量は増加する
が、この装置においては前記した如く全画面にわたって
正負エッジ点を検出し、ついでハフ変換するように構成
している。このような構成にすることにより、ハフ変換
後の演算量を大幅に削減することができ、ＣＰＵの負担
を大きく低減することができる。また、ハフ変換までの
処理はハードウェア化することが可能であるため、処理
速度を上げることができる。以上の理由から、全画面を
短時間で処理することが可能となる。

【００５６】この実施の形態においては上記の如く、車
両１０の前方の路面を撮像する撮像手段（ＣＣＤカメラ
１４および画像処理ＥＣＵ２０）、前記撮像手段が撮像
して得られた路面画像の、明から暗あるいは暗から明に
変化する第１、第２エッジ点をそれぞれ検出するエッジ
点検出手段（図３のＳ１０）、前記検出された第１、第
２エッジ点をそれぞれハフ変換するハフ変換手段（図３
のＳ１２）、前記変換された第１、第２エッジ点のハフ
空間を探索して前記路面画像から白線を検出する白線検
出手段（図３のＳ１４からＳ１８）を備える如く構成し
た。

【００５７】また、前記エッジ点検出手段は、前記路面
画像の全ての領域にわたって前記第１、第２エッジ点を
それぞれ検出する（図３のＳ１０）如く構成した。

【００５８】また、前記白線検出手段は、前記変換され
た第１、第２エッジ点のハフ空間において投票した画像
の点集合を点集合記憶領域に記憶する記憶手段（投票点
格納用メモリ２０ｇ、図３のＳ１２）、前記第１、第２
エッジ点のハフ空間上のピークをそれぞれ検出するピー
ク検出手段（図３のＳ１４）、前記検出された第１、第
２のエッジ点のハフ空間上のピーク同士をペアとして対
応させるペア探索手段（図３のＳ１６）、前記探索され
たペアのピークに投票した画像の点集合を前記記憶手段
から検索する検索手段（図３のＳ１８）を備え、前記検
索された点集合に基づいて白線を検出する如く構成し
た。

【００５９】また、前記ペア探索手段は、前記第１、第
２のエッジ点のハフ空間上のピークの一方を固定し、そ
れに対応するペアを探索する（図７のＳ２００からＳ２
１４）如く構成した。

【００６０】尚、上記した実施の形態において、カメラ
をＣＣＤ撮像素子型としたが、走行路を撮像できるもの
ならば、どのようなものであっても良い。

【００６１】

【発明の効果】請求項１項にあっては、二重破線など複
雑な形状を有する白線も精度良く検出することができ
る。

【００６２】請求項２項にあっては、分岐線やガードレ
ールなどを含む画像においても、それらを白線と誤認識
することがない。

【００６３】

【００６４】

【図面の簡単な説明】

【図１】図１はこの出願に係る車両用白線検出装置を全
体的に示す概略図である。

【図２】図１装置の画像処理ＥＣＵの詳細を示すブロッ
ク図である。

【図３】図２装置の動作を示すフロー・チャートであ
る。

【図４】図３フロー・チャートの中のハフ空間上のピー
ク検出作業を示すサブルーチン・フロー・チャートであ
る。

【図５】図４フロー・チャートの中の探索順を説明する
説明図である。

【図６】同様に図４フロー・チャートの中の探索順を説
明する説明図である。

【図７】図３フロー・チャートの中のピークペアの作成
作業を示すサブルーチン・フロー・チャートである。

【図８】図７フロー・チャートの作業を説明する説明図
である。

【図９】二重破線を含む走行路画像の説明図である。

【図１０】従来技術において図９の画像を処理した結果
を示す説明図である。

【図１１】この出願に係る装置で図９の画像を処理した
結果を示す説明図である。

【図１２】従来技術およびこの出願に係る装置で分岐線
を含む画像を処理した結果を対比して示す説明図であ
る。

【図１３】従来技術およびこの出願に係る装置でガード
レールを含む画像を処理した結果を対比して示す説明図
である。

【符号の説明】

１０ 車両 １４ ＣＣＤカメラ（撮像手段） ２０ 画像処理ＥＣＵ ２０ｇ 投票点格納用メモリ（記憶手段）

フロントページの続き (56)参考文献 特開 平１−119876（ＪＰ，Ａ) 特開 平６−149360（ＪＰ，Ａ) 特開 平８−315125（ＪＰ，Ａ) 特開 昭64−4876（ＪＰ，Ａ) 特開 平８−167023（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 G08G 1/00 - 1/16 B60R 21/00

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】ａ．車両前方の路面を撮像する撮像手段、 ｂ．前記撮像手段が撮像して得られた路面画像の、暗か
   ら明に変化する第１エッ ジ点および明から暗に変化する
   第２エッジ点をそれぞれ検出するエッジ点検出手段、 ｃ．前記検出された第１エッジ点および第２エッジ点を
   それぞれハフ変換するハフ変換手段、 ｄ．前記変換された第１エッジ点および第２エッジ点の
   ハフ空間において投票し た画像の点集合を点集合記憶領
   域に記憶する記憶手段、 ｅ ．前記第１エッジ点および第２エッジ点のハフ空間上
   のピークをそれぞれ検出 するピーク検出手段、 ｆ ．前記検出された第１エッジ点および第２エッジ点の
   ハフ空間上のピークの一 方を固定し、前記固定されたピ
   ークの位置を起点に他方のハフ空間上に探索 領域を設定
   してその起点に最も近いピークを選択すると共に、前記
   選択され たピークと固定されたピークとの間に、前記一
   方のピークのうちの他のピー クが存在するか否か判断
   し、存在しないと判断されたときは前記選択された ピー
   クと固定されたピークをペアとして対応させるペア探索
   手段、 ｇ ．前記探索されたペアのピークに投票した画像の点集
   合を前記記憶手段から検 索する検索手段、 ｈ ．前記検索された点集合に基づいて白線を検出する白
   線検出手段、 を備えたことを特徴とする車両用白線検出装置。
2. 【請求項２】 前記エッジ点検出手段は、前記路面画像
   の全ての領域にわたって前記第１、第２エッジ点をそれ
   ぞれ検出することを特徴とする請求項１項記載の車両用
   白線検出装置。