JP3194301B2

JP3194301B2 - ガイドライン検出装置

Info

Publication number: JP3194301B2
Application number: JP26579492A
Authority: JP
Inventors: 敏彦鈴木; 弘森部; 和俊鋤柄
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1992-10-05
Filing date: 1992-10-05
Publication date: 2001-07-30
Anticipated expiration: 2016-07-30
Also published as: JPH06119594A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カメラによって得た画
像データから走路のガイドライン（例えば、白線）を検
出するガイドライン検出装置に関する。

【０００２】

【従来の技術】従来より、自動車の運転者の負担を軽減
するための装置が各種提案されており、その究極的なも
のとして、走路形状を認識して操舵制御も自動的に行う
自動運転装置がある。この自動運転を実現するために
は、走路を認識する必要があり、この手法としては、画
像処理により走路を認識する方式や電磁誘導方式等が提
案されている。この中で、路面の白線を画像処理により
認識する方式は既存の白線をそのまま利用できるという
利点があるため、これについて各種の提案がある。

【０００３】例えば、特開平３−２０１１１０号公報に
は、カメラで得た画像を処理し、ガイドラインを検出す
る装置が示されている。この装置では、まず自律走行車
に搭載したカメラで走路を含む外部環境を撮影する。次
に、得られた画像からエッジ線分を抽出し、得られた複
数のエッジ線分間の角度及び距離に基づき直線性を評価
し、同一直線上に評価された線分を１つのより長い線分
としてまとめる。そして、このようにして得た線分を予
め記憶している基準線分位置と比較して、ガイドライン
を検出している。このような装置により、白線等のガイ
ドラインを自動的に認識できる。

【０００４】なお、このようなエッジ線分の検出につい
ては、例えば特開平１−１３４５７８号公報等にも示さ
れている。

【０００５】

【発明が解決しようとする課題】しかし、上記従来例に
おいては、ガイドラインが直線であることを前提として
いる。従って、カーブ走路などが存在する一般的な道路
等には適用することができないという問題点があった。
さらに、線分の選択に際しては予め記憶されている基準
線分位置との比較を行う。従って、この装置は工場等人
工的で予め走路が定められている環境において、走路に
ついてのデータを予め記憶されることにより始めて利用
可能となる。従って、このようなデータを持っていない
場合には利用できず、一般的な道路等には適用すること
はできない。また、走路が長くなった場合には、走路
（基準線分位置）についての記憶量が非常に大きくなっ
てしまい、現実的でなくなってしまう。さらに、記憶さ
れている走路と現在位置の対応関係がずれると正確なガ
イドライン認識ができなくなるおそれもある。

【０００６】本発明は、上記問題点を解決することを課
題としてなされたものであり、メモリ容量を少なくし
て、かつカーブ走路についても正確なガイドライン検出
を行うことができるガイドライン検出装置を提供するこ
とを目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に本発明は、走路上のガイドラインをカメラを用いて撮
影し、ガイドラインを検出するガイドライン検出装置で
あって、カメラによる撮像画像データの微分値からエッ
ジ点を検出するとともに、得られたエッジ点における微
分値の大きさ、および隣接するエッジ点がつながる方向
に基づいて、エッジ線分を算出するエッジ線分算出手段
と、認識された線分の折れ曲がり状態を判定し、判定結
果から１つの線分と認識すべきでないものを複数の線分
に分割する線分分割手段と、得られた線分の中からその
長さが所定値以下の短線分を除外すると共に、前回検出
したガイドラインに対し傾きまたは位置が大きく離れて
いるものを除外する線分選択手段と、選択された線分に
ついて、線分を延長すると共に近接する線分が複数ある
場合には、これを統合する線分統合手段と、を含み、線
分統合手段において得た線分に基づいてガイドラインを
検出することを特徴とする。

【０００８】

【作用】本発明に係るガイドライン検出装置は、上述の
ような構成を有しており、カメラによって得た画像デー
タから、エッジ点を検出する。このエッジ点の検出は、
例えば、画像データの水平方向及び垂直方向の微分値か
ら変化状態を検出し、エッジ点の微分の大きさ及び方向
を検出する。そして、このようにして得られた複数のエ
ッジ点を順次接続し、エッジ線分としての線分にまとめ
るが、まとめられた線分の折れ曲り状態から、１つの線
分として認識すべきでないものは、その点において別の
線分に分割する。このようにして得た線分の中から長さ
が所定値以下のものは、単なるノイズと判断されるた
め、これを除外する。また、走路は急激に変化しないと
考えられるため前回検出したガイドラインに対し、その
位置が大きく離れているものや、傾きが大きく異なるの
は除外する。このような処理によって、ノイズはほとん
ど除去されており、前回検出したガイドラインに近い線
分のみが残るためこれらの線分が複数ある場合には、こ
れを統合し、１つの線分とする。

【０００９】このように、本発明においては、検出した
エッジ線分を接続して得た線分をベースとしたため、カ
ーブのようなガイドラインも検出することができる。

【００１０】また、ガイドラインを形成する線分の選択
において、前回検出のガイドラインとの比較を用いてい
るため、走路についてのデータを持つ必要がなく、メモ
リ容量を減らすことができる。また、予め形状について
知識のない走路においてもガイドラインの検出が可能で
ある。

【００１１】

【実施例】以下、本発明の実施例について、図面に基づ
いて説明する。図１は、実施例の概略構成を示すブロッ
ク図であり、ガイドラインについての画像データを得る
ためのカメラ１０を有している。このカメラ１０として
は、所定の視野範囲における画像データを画素毎に得る
ことができるＣＣＤカメラなどが好適である。また、路
面と白線の相違を輝度データから検出するため、カメラ
１０は通常モノクロ画像を得るものが採用される。そし
て、このカメラ１０によって得た画像データはＡ／Ｄ変
換器１２を介しデジタルデータに変換され、フレームメ
モリ１４に１画面分ずつ記憶される。

【００１２】そして、このフレームメモリ１４に記憶さ
れた１画面分のデジタル画像データが、エッジ検出部１
６に供給され、エッジ線が算出される。このエッジ線
は、エッジ点の微分の大きさ及び方向より算出され、エ
ッジ点の大きさは、水平及び垂直方向に微分を行い、こ
れらの２乗平均より求められ、また、エッジ点の方向
は、それぞれの微分値でできる直角三角形の斜辺の角度
より求められる。尚、具体的なエッジ線の算出の仕方は
次の通りである。エッジ点の微分値の大きさが所定値以
上かどうかで、微分値像を２値化する。その２値化した
結果、所定値以上の点について、その点が微分値のピー
ク点かどうかを微分の方向に直角方向の両隣りの点の微
分値の大きさで判定する。ピーク点を判定された点につ
いて隣接する複数の点（例えば８点）がやはりピーク点
である場合には、連続点であると判定する。この連続性
の判定を全ピーク点に対して行うことにより、エッジ点
を結合して、エッジ線分が算出される。このようにして
エッジ検出部１６において求められるエッジ線分は、各
種のノイズを含んだものであり、多数の線分として得ら
れる。そして、これは線分処理部１８に供給され、この
線分処理部１８において、ガイドラインが検出される。

【００１３】次に、この線分処理部１８における処理に
ついて図２に基づいて説明する。まず、エッジ検出部１
６において、エッジ線分を算出する（Ｓ１）。

【００１４】次に、線分処理部１８は、算出された線分
について、解析し、所定の条件に合わない線分を２つの
線分に切断する（Ｓ２）。すなわち、上述のような接続
処理を行うと、ガイドラインのエッジではない単なるノ
イズについても他の線分との接続が行われてしまう。そ
こで、このようなノイズ線分を除去するための処理を行
う。

【００１５】まず、条件１として、図３に示すように、
線分同士の接続点の折れ曲り角度ＴＨが、所定値（例え
ば９０°）以下のものは、その折れ曲り点で切断し、別
の線分とする。なお、このＴＨは、その角度が１８０°
より小さい方向に測る。また、符号は全て正とする。こ
のように、折れ曲り角度が鋭角のものを除外するのは、
ガイドラインはそれほど急激に変化することがないとい
う認識による。

【００１６】次に、条件２として、図４に示すように、
画面における水平方向に対する角度ＴＨが所定角度（例
えば３０°）以下の場合には、折れ曲り点で線分を切断
する。これは、カメラは前方を撮影するように配置され
ており、ガイドラインが水平方向に存在することがあり
得ないからである。

【００１７】このようにして、線分の解析／切断の処理
を終えたのち、次に得られた線分の中から、ノイズの除
去のための線分選択を行う（Ｓ３）。まず、図５に示す
ように、線分長の短いものを除外する。例えば画素単位
で計算して４〜５画素以下のものは、ノイズであると見
なせるため、これを除外する。次に、図６に示すよう
に、前回検出のガイドライン（白線）の傾きＴＰと、今
回検出した線分の傾きＴＮを比較する。そして、この傾
きの差の絶対値を所定の閾値と比較し、差が大きなもの
は除外する。図６に示したものは、前回の白線の傾きと
ほぼ同一であり、除外されない例である。さらに、条件
５として、図７に示すように、前回検出の白線の位置
と、今回検出の線分の位置関係を比較し、前回検出の白
線から所定範囲内（±ＸＡの範囲）でないものは除外す
る。このようにして、ガイドラインに関する線分でない
もののほとんどは除外されることとなる。図において
は、線分（Ｉ）、（ＩＩ）は、範囲内のため除外され
ず、線分（ＩＩＩ）は一部が範囲外となるため、除外さ
れる。そして、このようにして、線分選択により、残っ
た線分が線分リストに記録される。

【００１８】次に、Ｓ２、Ｓ３において、ノイズの線分
を除外したのち、外挿演算を行う（Ｓ４）。この外挿演
算は、上述のようにして線分リストに登録された全ての
線分について、その線分の方向に直線を特定視野の上端
と下端まで延長する。ここで特定視野とは、カメラ１０
で得られた画像の内、例えば前方１０ｍ〜２０ｍの画像
範囲をいう。また、特定視野の上下端位置（画像範囲）
は任意に設定することができる。このようにして外挿演
算が行われた線分の中から、白線の輪郭線分位置又は中
心を決定するために、線分位置演算を行う（Ｓ５）。

【００１９】そして、このようにして、線分位置が決定
されたのち、このデータによって、前回の線分データを
更新し（Ｓ７）、結果を出力する（Ｓ８）。

【００２０】ここで、Ｓ２の線分データ解析／切断の処
理の動作について図８のフローチャートに基づいて説明
する。まず、エッジ線分の接続によって得た線分が記憶
されている線分リストの中から最初の線分を取り込む
（Ｓ１１）。

【００２１】そして、この最初の線分について折れ曲り
角が鋭角でないか（条件１が成立するか否か）を判定す
る（Ｓ１２）。そして、条件１が成立していなかった場
合には、その線分について条件２が成立するか否かを判
定する（Ｓ１３）。そして、Ｓ１２において条件１が成
立していた場合、またはＳ１３において条件２が成立し
ていた場合には、その線分を折れ曲り点において２本の
線分に分割する（Ｓ１４）。一方、Ｓ１３によって条件
２が成立していなかった場合には、この線分については
分割する必要はないため、線分リストから次の線分を取
り込む（Ｓ１５）。そして、線分リストの終了か否かを
判定し（Ｓ１６）、リストの終了でなかった場合にはＳ
１２に戻り、終了であった場合には処理を終了する。

【００２２】次に、図９に基づいてＳ３の線分選択の処
理について説明する。まず、切断線分リストから最初の
線分を取り込む（Ｓ２１）。そして、条件３（線分長が
所定以上という条件）が成立していた場合には、次に条
件４が成立しているか否かを判定する（Ｓ２３）、さら
に条件４（線分の傾きと前回検出の線分の傾きの差が所
定以内という条件）が成立していた場合には、条件５
（線分の位置が前回の線分の両側所定範囲以内という条
件）が成立しているかを判定する（Ｓ２４）。そして、
条件３、４、５のいずれか１つでも成立していなかった
場合には、この線分は、白線の輪郭線分ではないと考え
られるため、線分リストから次の線分取込みを行い（Ｓ
２５）、Ｓ２５に移行する。

【００２３】一方、Ｓ２４において条件５が成立してい
た場合（この場合、条件３〜５のすべてが成立していた
ことになる）には、この線分は白線の輪郭線分と考えら
れるため、白線の輪郭線分リストに登録する（Ｓ２
６）。

【００２４】そして、Ｓ２５において線分リストから次
の線分を取り込んだのち、線分リストの終了か否かを判
定し（Ｓ２７）、終了でなければＳ２２に戻り終了であ
ればこの処理を終了する。

【００２５】次に、Ｓ５における線分位置演算は、次の
３つのロジックのうちの１つを選択することによって行
う。

【００２６】（１）位置優先ロジックこのロジックでは、図１０に示すように、線分の端部を
直線の方向に延長し、画面の上端（例えば車両の２０ｍ
先位置）にぶつかった位置（外挿）が、前回のガイドラ
インの位置に最も近い外挿値を選択する。通常の場合、
このロジックによって、かなり正確な線分選択を行うこ
とが可能である。

【００２７】（２）傾き優先ロジックこのロジックでは、図１１に示すように、前回の線分の
傾きに最も近い外挿線を選択する。直線路に対してカメ
ラが斜めとなっている場合には、角度はほとんど変化し
ない。そのため、この傾き優先ロジックがメリットがあ
る。

【００２８】（３）平均ロジックこの平均ロジックでは、図１２に示すように、外挿線と
特定視野の上下端との交点を２個の交点（白線の左右
端）について各々平均演算を行う。これは、ガイドライ
ンについて、複数の線分が得られていると考えられる場
合もあり、これらの平均的な位置をガイドライン位置と
するのが良いと考えられるからである。このような方法
により、白線の位置を決定する。例えば、特定視野の上
端と線分の交点がＸａ，Ｘｂの２つである場合には、今
回の検出線分の特定視野上端との交点を（Ｘａ＋Ｘｂ）
／２の位置とする。なお、ＸａとＸｂの位置にある線分
が同一の白線の左右エッジに対応するものならば、それ
ぞれの線分の傾きは互いに１８０°異なっている。この
条件を利用することにより、同一白線に属する交点の組
（Ｘａ，Ｘｂ）を正しく選定することができる。

【００２９】なお、上述のようにして、輪郭線を検出し
た場合には、両輪郭線間を白線と認識する。

【００３０】

【発明の効果】以上説明したように、本発明に係るガイ
ドライン検出装置によれば、検出したエッジ線分を接続
して線分を得るため、カーブのようなガイドラインを検
出することができ、またガイドライン決定の比較データ
として前回のガイドラインのデータを用いているため、
走路についてのデータを予め記憶しておく必要がない。
そこで、メモリ量を小さくして、高速で正確な白線検出
を行うことができる。

【図面の簡単な説明】

【図１】実施例の概略構成を示す全体ブロック図であ
る。

【図２】線分処理部１８の動作を説明するフローチャー
トである。

【図３】条件１の説明図である。

【図４】条件２の説明図である。

【図５】条件３の説明図である。

【図６】条件４の説明図である。

【図７】条件５の説明図である。

【図８】線分データ解析／切断処理の動作を説明するフ
ローチャートである。

【図９】線分選択の動作を示すフローチャートである。

【図１０】位置優先ロジックの説明図である。

【図１１】傾き優先ロジックの説明図である。

【図１２】平均ロジックの説明図である。

【符号の説明】

１０カメラ１２Ａ／Ｄ変換器１４フレームメモリ１６エッジ検出部１８線分処理部

フロントページの続き (56)参考文献特開平４−36878（ＪＰ，Ａ) 特開平４−137111（ＪＰ，Ａ) 特開昭64−15605（ＪＰ，Ａ) 特開平５−151341（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G08G 1/16 G01B 11/24 G06T 1/00 G05D 1/02

Claims

(57)【特許請求の範囲】

【請求項１】走路上のガイドラインをカメラを用いて
撮影し、ガイドラインを検出するガイドライン検出装置
であって、カメラによる撮像画像データの微分値からエッジ点を検
出するとともに、得られたエッジ点における微分値の大
きさ、および隣接するエッジ点がつながる方向に基づい
て、エッジ線分を算出するエッジ線分算出手段と、認識された線分の折れ曲がり状態を判定し、判定結果か
ら１つの線分と認識すべきでないものを複数の線分に分
割する線分分割手段と、得られた線分の中からその長さが所定値以下の短線分を
除外すると共に、前回検出したガイドラインに対し傾き
または位置が大きく離れているものを除外する線分選択
手段と、選択された線分について、線分を延長すると共に近接す
る線分が複数ある場合には、これを統合する線分統合手
段と、を含み、線分統合手段において得た線分に基づいてガイドライン
を検出することを特徴とするガイドライン検出装置。