JP3260503B2 - 走路認識装置および走路認識方法 - Google Patents

走路認識装置および走路認識方法

Info

Publication number
JP3260503B2
JP3260503B2 JP20496793A JP20496793A JP3260503B2 JP 3260503 B2 JP3260503 B2 JP 3260503B2 JP 20496793 A JP20496793 A JP 20496793A JP 20496793 A JP20496793 A JP 20496793A JP 3260503 B2 JP3260503 B2 JP 3260503B2
Authority
JP
Japan
Prior art keywords
image
lane
vehicle
detected
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP20496793A
Other languages
English (en)
Other versions
JPH0757200A (ja
Inventor
智昭 蔵野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP20496793A priority Critical patent/JP3260503B2/ja
Publication of JPH0757200A publication Critical patent/JPH0757200A/ja
Application granted granted Critical
Publication of JP3260503B2 publication Critical patent/JP3260503B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、車両走行時における事
故の事前回避、予防安全のために用いられる走路認識装
置および走路認識方法に関する。
【0002】
【従来の技術】高速道路上等での車両の安全走行を維持
するため、車両に搭載されたカメラで前方の道路画像を
撮像し、この道路画像から走路を挟んだ左右2本の白線
(レ−ンマ−ク)の位置を検出して走路認識を行う方式
がある。
【0003】しかし、一画面の道路画像から、同時にし
かも安全上問題無い程度の正確さを持って左右2本のレ
ーンマークの位置を検出することは難しく、例えば、各
レーンマークのパターンの違いやノイズ等に起因して、
各レーンマーク検出位置の部分的な混同が生じたりする
恐れがある。
【0004】そこで従来は、道路画像を左右2つの領域
に分割し、それぞれの領域内でレーンマークの検出処理
を別々に行う方式をとっていた。さらに検出されたレー
ンマークの位置情報から路面上の車両位置検出等の走路
認識を行うにあたっても、各領域内で検出した個々のレ
−ンマ−クの位置情報に対して別々に処理を行ってい
た。
【0005】
【発明が解決しようとする課題】このように従来は、道
路画像を左右2つの領域に分割し、領域ごとに同じ処理
を2回繰り返してレーンマーク検出および走路認識を行
っていた。したがって、当然ながら処理時間がかかり、
運転員に危険状態をいち早く知らせるべきこの種の装置
にとっては大きなマイナス要因となっていた。
【0006】本発明はこのような課題を解決するための
もので、一画面の道路画像から一回の処理で、しかも車
両走行の安全上問題の無い程度の正確さを持って走路認
識を行うことのできる走路認識装置および走路認識方法
の提供を目的としている。
【0007】
【課題を解決するための手段】本発明の走路認識装置は
上記した目的を達成するために、車両前方の道路画像を
撮像する撮像手段と、前記撮像手段により撮像された道
路画像から、前記車両の走路を挟んだ左右2本のレ−ン
マ−クの画像を検出する画像前処理手段と、前記画像前
処理手段により検出された各レ−ンマ−ク画像を基に、
これらレ−ンマ−クの構成点をなす座標を検出する座標
検出手段と、前記座標検出手段により検出された座標に
基づき、前記左右2本のレ−ンマ−クを近似する1本の
多次曲線を走路認識結果として算出する演算手段とを具
備することを特徴とするものである。
【0008】
【作用】すなわち、本発明では、撮像手段により撮像さ
れた道路画像から、車両の走路を挟んだ左右2本のレ−
ンマ−クの画像を検出し、検出した各レ−ンマ−ク画像
を基に各レ−ンマ−クの構成点をなす座標を検出して、
さらに検出された各レ−ンマ−ク座標に基づき、左右2
本のレ−ンマ−ク1本の多次曲線を走路認識結果として
算出するので、一画面の道路画像から一回の処理で、し
かも車両走行の安全上問題の無い程度の正確さを持って
走路認識を行うことができる。よって、車線からの車両
の逸脱や運転者の居眠り等の危険状態をより早くより正
確に検知し、走行中の安全性を高めることができる。
【0009】
【実施例】以下、本発明の実施例を図面を参照して説明
する。
【0010】図1は本発明に係る一実施例の走路認識装
置の構成を示すブロック図である。同図において、1は
車両に設置されるカメラであり、走行中に車両前方の道
路画像を撮像して白黒の画像信号を得る。このカメラ1
は車両のフロントガラス近くのル−フに取り付けられて
おり、光軸は水平に対して約 0.8度下向きで、画像中の
水平線の位置が画面の上端から3分の1付近になるよう
に設定されている。また2は画像メモリであり、カメラ
1により撮像された画像信号をデジタルデータとして蓄
積する。3は画像前処理部であり、画像メモリ2から読
み込んだ画像データに対してフィルタリングおよび二値
化処理を行って、道路画像中の左右2本のレ−ンマ−ク
のエッジ検出を行う。また4は座標検出部であり、画像
前処理部3により検出された左右2本のレ−ンマ−クの
構成点となっている画素の座標検出を行う。5は多次曲
線算出部であり、座標検出部4によって検出された各レ
−ンマ−ク座標、その他から、左右2本のレ−ンマ−ク
を近似する1本の多次曲線を求める。6は画像合成部で
あり、画像メモリ2に蓄積された道路画像と多次曲線算
出部5により算出された多次曲線とを合成する。7は表
示装置であり、画像合成部6で得た合成画像を表示す
る。8は警報処理部であり、多次曲線算出部5により算
出された多次曲線の係数を用いて車両の進行方向、道路
上の車両位置等を検出し、この結果から予め設定された
条件に従って車両走行状態の良否を判定し、その良否を
示す信号を警報装置9に出力する。
【0011】図2は画像前処理部3の構成を示すブロッ
ク図である。
【0012】同図に示すように、画像前処理部3はバッ
ファメモリ10、DSP(DigitalSignal Processer)
11、第1フレームメモリ12、第2フレームメモリ1
3、および加算器14からなる。バッファメモリ10は
画像メモリ2から読み込んだ道路画像のデータを一時的
に保持する。但し、ここで処理の対象となる画像データ
は、一画面全体の画像デ−タ中の、水平線以下の路面部
分(画面下部3分の2程度)、具体的には 512×288 画
素程度であり、この部分の画像データのみが画像メモリ
2から読み込まれてバッファメモリ10に保持される。
DSP11はバッファメモリ10に保持された画像デー
タに対してフィルタリングを行い、且つ加算器14の出
力データに対して二値化処理を行う部分である。ここで
使用されるフィルタとしては、道路画像上の各レ−ンマ
−クの形状的な特長から、例えば図3に示すように、一
画面を7(横)×9(縦)に分割し、且つ±45度方向
の直線領域に対してだけ感度を持たせた2Dフィルタが
望ましい。なお、この2Dフィルタに設定される特性
は、例えば警報処理部8からの車線変更発生信号、その
他によって変更可能である。各フレームメモリ12、1
3はDSP11より取り出された+45度方向、−45
度方向のフィルタリング結果をそれぞれ保持する部分で
あり、第2フレームメモリ13には二値化処理の結果も
保持される。加算器14は各フレームメモリ12、13
に保持されたデータを合成する部分である。そして加算
器14の出力は再びDSP11に送られ、二値化された
後、第2フレームメモリ13に記憶される。
【0013】次に本実施例の動作について説明する。
【0014】まずカメラ1で得た例えば図4に示すよう
な白黒画像の信号は、図示しないA/D変換器によって
8ビットのデジタルデータに変換され、画素数 680×48
0 のデジタル画像デ−タとして画像メモリ2に記憶され
る。
【0015】この後、画像メモリ2に記憶された特定領
域部分(画面下部3分の2程度)の画像データは、画像
前処理部3によって読み込まれてバッファメモリ10に
格納される。その後、バッファメモリ10に格納された
画像データに対しDSP11にて+45度方向および−
45度方向のフィルタリングを行い、それぞれの結果を
各フレ−ムメモリ12、13に記憶する。さらに各フレ
−ムメモリ12、13に記憶されたデータは加算器14
にて加算され、再びDSP11に転送されて「00H」
と「FFH」とに二値化される。これにより、原画像の
中から図5に示すような左右2本のレ−ンマ−クE1、
E2のエッジ画像が検出される。そしてこのエッジ画像
は第2フレ−ムメモリ13に格納される。
【0016】次に、検出された各レ−ンマ−クの構成点
となっている画素の座標検出を座標検出部4にて行う。
【0017】図6はこの座標検出およびこれに続いて行
われる多次曲線算出の手順を示すフロ−チャ−トであ
る。
【0018】まず図7に示すように、第2フレームメモ
リ13の二値デ−タをy座標零のラインからx方向に沿
って順次読んで行き、レ−ンマ−ク構成画素である「F
FH」を検索する(ステップ601)。通常、レ−ンマ
−クのx軸方向の画素幅は3〜6画素程度になるため、
x軸方向の1本のライン上では連続する「FFH」が2
ケ所または1カ所で検出されることになる。「FFH」
が検出されれば、次にそのデ−タが置かれているフレ−
ムメモリ13上のアドレスから座標を割り出してこれを
記憶する(ステップ602)。このようにして第2フレ
ームメモリ13からすべてのラインの「FFH」を検出
し、レ−ンマ−クの全構成画素の座標を求めてこれらを
記憶する。またこの間、検出した「FFH」の総画素数
をステップ603にて求めて行く。
【0019】次に、以上により得た左右2本のレ−ンマ
−クの座標および総画素数から最小二乗法により一本の
多次曲線を求める。この最小二乗法の正規方程式は次の
(1)式で表される。
【0020】
【数1】 ここで、xi 、yi はステップ602で得たi番目の
「FFH」画素のx座標およびy座標、Kはステップ6
03で得た総画素数、Cj はn次曲線のj次の係数であ
る。
【0021】すなわち、多次曲線算出部5は、まず (1)
式の各行列要素の値をそれぞれ算出する(ステップ60
5)。ここで、 (1)式はC1 ・・・Cn に関するn+1
元連立方程式であるから、ダウスの消去法を用いてこれ
を解くことでn次曲線の係数が求められる(ステップ6
06)。
【0022】こうして求められた多次曲線は、画像合成
部6にて画像メモリ2に蓄積された道路画像と合成され
た後、表示装置7に出力される。この結果、図8に示す
ようなn次曲線81と道路画像との合成画像が得られ
る。
【0023】一方、警報処理部8は、求められた多次曲
線の係数を用いて車両の進行方向、路面上の車両位置等
の検出を行い、車両走行状態の異常の有無を判定する。
そして走行状態に異常があれば、異常発生信号を警報装
置9に出力する。警報装置9は異常発生信号を入力する
と、運転者に音や光でこのことを知らせる。
【0024】また警報処理部8は、多次曲線の係数の変
化から車両の車線変更を検出する機能を持ち、車線変更
を検出すると画像前処理部3のDSP11に、図9に示
すような各レーンマーク(センターラインL2を挾んだ
左右2本のレーンマークL1、L3)のエッジのみを検
出できるような方向性を持ったフィルタを設定する。こ
れにより図10に示すような2本のレーンマークE1、
E2が検出され、これらレーンマーク座標から同様に多
次曲線が走路認識結果として求められる。
【0025】かくして本実施例の走路認識装置によれ
ば、道路画像からのレーンマーク検出結果に多少のノイ
ズが含まれていても1本の多次曲線に走路認識結果を絞
り込むことができるので、一画面の道路画像から一回の
処理でしかも正確に走路認識を行うことができる。した
がって、車線からの車両の逸脱や運転者の居眠り等の危
険状態をより早くより正確に検知し、走行中の安全性を
高めることができる。
【0026】なお、各レーンマークを近似する多次曲線
を求める方法としては最小二乗法に限定されない。例え
ば、スプライン補間法等を用いてもよいし、その他も方
法も考えられる。
【0027】
【発明の効果】以上説明したように本発明の走路認識装
置および走路認識方法によれば、左右2本のレ−ンマ−
クを一本の多次曲線で近似することにより、一画面の道
路画像から一回の処理で、しかも車両走行の安全上問題
の無い程度の正確さを持って走路認識を行うことがで
き、車線からの車両の逸脱や運転者の居眠り等の危険状
態をより早くより正確に検知し、走行中の安全性を高め
ることができる。
【図面の簡単な説明】
【図1】本発明に係る一実施例の走路認識装置の構成を
示すブロック図である。
【図2】画像前処理部の構成を示すブロック図である。
【図3】画像前処理部内のフィルタの例を示す図であ
る。
【図4】カメラの撮影画像の例を示す図である。
【図5】図4の道路画像から検出されたレ−ンマ−クの
エッジ画像を示す図である。
【図6】座標検出およびこれに続いて行われる多次曲線
算出の手順を示すフロ−チャ−トである。
【図7】各レ−ンマ−クのエッジ画像からレ−ンマ−ク
構成画素である「FFH」を検索する動作を説明するた
めの図である。
【図8】多次曲線と道路画像との合成画像の例を示す図
である。
【図9】車線変更時のカメラの撮影画像を示す図であ
る。
【図10】図9の道路画像から検出されたレ−ンマ−ク
のエッジ画像を示す図である。
【符号の説明】
1…カメラ、2…画像メモリ、3…画像前処理部、4…
座標検出部、5…多次曲線算出部、6…画像合成部、7
…表示部、8…警報処理部、9…警報装置。
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G08G 1/16 G06T 1/00

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 車両前方の道路画像を撮像する撮像手段
    と、 前記撮像手段により撮像された道路画像から、前記車両
    の走路を挟んだ左右2本のレ−ンマ−クの画像を検出す
    る画像前処理手段と、 前記画像前処理手段により検出された各レ−ンマ−ク画
    像を基に、これらレ−ンマ−クの構成点をなす座標を検
    出する座標検出手段と、 前記座標検出手段により検出された座標に基づき、前記
    左右2本のレ−ンマ−クを近似する1本の多次曲線を走
    路認識結果として算出する演算手段とを具備することを
    特徴とする走路認識装置。
  2. 【請求項2】 請求項1記載の走路認識装置において、 前記演算手段により算出された多次曲線を用いて車両の
    走行状態の良否を検出する手段をさらに具備することを
    特徴とする走路認識装置。
  3. 【請求項3】 車両前方の道路画像を撮像して、前記車
    両の走路認識を行う方法において、 前記撮像された道路画像から、前記車両の走路を挟んだ
    左右2本のレ−ンマ−クの画像を検出する工程と、 前記検出されたレ−ンマ−ク画像を基に、前記各レ−ン
    マ−クの構成点をなす座標を検出する工程と、 前記検出された座標に基づき、前記左右2本のレ−ンマ
    −クを近似する1本の多次曲線を走路認識結果として算
    出する工程とを有することを特徴とする走路認識方法。
JP20496793A 1993-08-19 1993-08-19 走路認識装置および走路認識方法 Expired - Fee Related JP3260503B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20496793A JP3260503B2 (ja) 1993-08-19 1993-08-19 走路認識装置および走路認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20496793A JP3260503B2 (ja) 1993-08-19 1993-08-19 走路認識装置および走路認識方法

Publications (2)

Publication Number Publication Date
JPH0757200A JPH0757200A (ja) 1995-03-03
JP3260503B2 true JP3260503B2 (ja) 2002-02-25

Family

ID=16499268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20496793A Expired - Fee Related JP3260503B2 (ja) 1993-08-19 1993-08-19 走路認識装置および走路認識方法

Country Status (1)

Country Link
JP (1) JP3260503B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
EP1504276B1 (en) 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4437714B2 (ja) * 2004-07-15 2010-03-24 三菱電機株式会社 車線認識画像処理装置
JP4882285B2 (ja) 2005-06-15 2012-02-22 株式会社デンソー 車両用走行支援装置
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system

Also Published As

Publication number Publication date
JPH0757200A (ja) 1995-03-03

Similar Documents

Publication Publication Date Title
JP3156817B2 (ja) 車両周辺監視装置
US7218207B2 (en) Method for detecting position of lane marker, apparatus for detection position of lane marker and alarm apparatus for lane deviation
CN105047019B (zh) 一种客运车辆防止后车超车后突然变道判断方法及装置
JP2002314989A (ja) 車両用周辺監視装置
JP3328711B2 (ja) 車輌高さ計測装置およびこの装置を用いた車輌監視システム
JP3260503B2 (ja) 走路認識装置および走路認識方法
JP3807651B2 (ja) 白線認識装置
JP3157958B2 (ja) 先行車両認識方法
JPH07250268A (ja) 車両周辺監視装置
JPH07302325A (ja) 車載用画像認識装置
JPH10320559A (ja) 車両用走行路検出装置
JPH07244717A (ja) 車両用走行環境認識装置
JP2861638B2 (ja) 走行レーン検出装置
JP3586938B2 (ja) 車載用距離測定装置
JP2536549B2 (ja) 車間距離検出方法
JPH08320998A (ja) レーンマーカ検出装置
JPH07104160B2 (ja) 車間距離検出方式
JP2003111075A (ja) 障害物検知方法および装置
JP3104645B2 (ja) 道路白線検出方法及び道路白線検出装置
JP2001092979A (ja) 不適切画像検出方法
JP2966683B2 (ja) 車両用障害物検出装置
JPH0979821A (ja) 障害物認識装置
JP2003322522A (ja) 車間距離検出装置及び検出方法
JPH0520593A (ja) 走行レーン認識装置と先行車認識装置
JPH07104159B2 (ja) 絶対車間距離検出方式

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20011127

LAPS Cancellation because of no payment of annual fees