JPH10247300A - 走路境界線認識装置 - Google Patents

走路境界線認識装置

Info

Publication number
JPH10247300A
JPH10247300A JP9049949A JP4994997A JPH10247300A JP H10247300 A JPH10247300 A JP H10247300A JP 9049949 A JP9049949 A JP 9049949A JP 4994997 A JP4994997 A JP 4994997A JP H10247300 A JPH10247300 A JP H10247300A
Authority
JP
Japan
Prior art keywords
vehicle
white line
time
picture
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9049949A
Other languages
English (en)
Inventor
Tomoyuki Doi
智之 土井
Toshihiko Suzuki
敏彦 鈴木
Koji Taguchi
康治 田口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP9049949A priority Critical patent/JPH10247300A/ja
Publication of JPH10247300A publication Critical patent/JPH10247300A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Instructional Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 車載カメラで得られた前方道路画像から、道
路の白線を迅速かつ確実に検出する。 【解決手段】 CCDカメラ10で得られた画像は画像
キャプチャボード12を経て画像認識装置16に供給さ
れる。また、車両挙動測定装置14は車速やヨーレート
を検出して画像認識装置16に供給する。画像認識装置
16は、時刻T0における車両位置と走行挙動並びに地
図データベース18から読み出した地図データに基づい
て次の時刻T1における車両と白線の相対位置を算出す
る。実際に時刻T1で得られた画像に対し、算出した白
線位置に処理ウィンドウを設定して画像処理を実行す
る。走行挙動と地図データに基づいて次の時刻の白線位
置を推定するので、確実に白線を検出できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は走路境界線認識装
置、特に白線等の走路境界線を画像処理で認識する装置
に関する。
【0002】
【従来の技術】従来より、車両にCCDカメラ等の撮像
手段を搭載して前方道路を撮影し、得られた画像を処理
して道路上の白線等の走路境界線を認識する技術が知ら
れている。このような方法で走路境界線を認識する場
合、認識速度をあげるためには得られた画像全体を処理
するのではなく、走路境界線が存在すると予想される位
置に処理用のウィンドウを設定し、そのウィンドウ内だ
けで画像処理を実行することが有効である。
【0003】例えば、特開平6−225308号公報に
は、画像内で複数のウィンドウを等間隔に設定し、過去
のデータや車速、操舵角に基づいてその水平位置を調整
することにより認識速度及び認識率の向上を図ってい
る。
【0004】
【発明が解決しようとする課題】しかしながら、上記従
来技術は、道路形状がある程度直線的又は半径一定のカ
ーブ路である場合に有効であり、連続するカーブ路等、
道路形状が種々変化する状況下では有効でない問題があ
った。例えば、S字カーブ路等カーブ半径が変化する道
路を走行する場合を想定する。過去のデータ及び走行挙
動からあるカーブ半径の道路を走行しており、次の時刻
においても同様のカーブを走行しているものと想定して
ウィンドウ位置を設定した場合、次の時刻に車両が異な
るカーブ半径の道路に進入した場合には、実際に得られ
た画像内での走路境界線位置と設定したウィンドウ位置
がずれてしまい、ウィンドウ内を画像処理しても走路境
界線を認識できない、あるいは他の物体を走路境界線と
誤認識してしまう問題があった。
【0005】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、処理用のウィンド
ウを従来以上に最適の位置に設定することができ、これ
により走路認識速度はもとより走路認識率を著しく増大
させることができる装置を提供することにある。
【0006】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、車両前方を撮影する撮像手段と、車両の
走行挙動を検出する検出手段と、道路形状データを記憶
する記憶手段と、ある時刻T0における車両位置と次の
時刻T1までに検出された前記走行挙動及び前記道路形
状データに基づいて時刻T1における走路境界線位置を
演算する演算手段と、時刻T1において実際に前記撮像
手段で得られた画像の内、前記演算手段で得られた走路
境界線位置の画像処理を実行する処理手段とを有するこ
とを特徴とする。このように、走行挙動のみに基づいて
走路境界位置を推定するのではなく、地図データをも考
慮することで、道路形状が複雑に変化する状況下でも確
実に走路境界位置を推定し、処理用ウィンドウを設定す
ることができる。
【0007】
【発明の実施の形態】以下、図面に基づき本発明の実施
形態について、走路境界線として白線を例にとり説明す
る。
【0008】図1には、本実施形態の構成ブロック図が
示されている。車両前方を撮影する撮像手段としてCC
Dカメラ10が車両前部に設けられており、所定の撮影
タイミングで車両前方を撮影する。CCDカメラ10で
得られた画像は順次車載の画像キャプチャボード12に
供給される。画像キャプチャボード12は、A/Dコン
バータ及びVRAMを有しており、CCDカメラ10か
らの画像を順次VRAMに記憶し、所定のタイミングで
画像認識装置16に供給する。また、車両挙動測定装置
14は、車速センサやヨーレートセンサ、ヨーセンサ、
Gセンサ、操舵角センサ、GPS受信機、ビーコン電波
受信機等で構成され、車両の走行挙動(速度やヨーレー
ト)並びに車両位置を検出して画像認識装置16に供給
する。さらに、ナビゲーション等に用いられる地図デー
タを記憶する地図データベース18が設けられ、地図デ
ータ(道路形状データ)を画像認識装置16に供給す
る。地図データベース18は、CD−ROM等で構成す
ることができる。
【0009】画像認識装置16は、CPU、ROM、R
AM及びデータバス等を有しており、画像キャプチャボ
ード12から供給された画像を処理して現在の時刻T0
における車両の白線に対する相対位置(白線からの変位
距離)を算出するとともに、車両挙動測定装置14から
のデータ(車速、ヨーレート)及び地図データベース1
8からの地図データに基づいて次の時刻T1における相
対位置を検出する。なお、道路の進行方向上の位置は過
去の走行データ、あるいはDGPS(差動GPS)等の
高精度測位装置で得られるデータを用いればよく、ま
た、こうして得られた時刻T1の相対位置データは、道
路上の座標(道路を真上から見た平面座標)である。そ
して、画像認識装置16は、得られた相対位置データを
カメラ座標、すなわちCCDカメラで得られる画像内に
おける座標に変換し、時刻T1において得られるであろ
う白線位置を演算する。この白線位置が時刻t1におい
て処理用ウィンドウの設定位置となり、時刻T1にて実
際に得られた画像はこのウィンドウに基づいて処理され
る。なお、時刻T1における相対位置の算出処理やカメ
ラ画像への変換処理は予めROMに格納された計算プロ
グラムを実行することで遂行される。計算プログラムの
詳細については後述する。また、画像認識装置16で認
識された結果、つまり白線認識結果は、時刻T1におけ
る車両の走行制御に用いられ、あるいは次の時刻T2に
おけるウィンドウ設定に用いられる。
【0010】図2には、本実施形態の処理フローチャー
トが示されている。まず、画像認識装置16は、時刻T
0における車両の道路に対する相対位置を検出する(S
101)。具体的には、白線に対する横変位距離は時刻
T0で画像処理の結果得られた白線位置から算出するこ
とができ、白線に対する姿勢角はヨーセンサやGセン
サ、操舵角センサ等で検出することができる(もちろ
ん、画像処理の結果から算出することも可能である)。
また、車両の道路の進行方向に対する位置(前後方向の
位置)はDGPSや路車間通信(路側に設けられたビー
コンと車両間の通信)等で検出することができる。
【0011】時刻T0における車両の位置(前後方向位
置、横変位距離、姿勢角)を検出した後、画像認識装置
16は車両挙動測定装置14の車速センサやヨーレート
センサから順次供給される車速データ、ヨーレートデー
タをメモリに記憶する(S102)。そして、これらの
走行挙動データに基づいて次の時刻T1における車両と
白線との相対位置を算出する(S103)。具体的に
は、時刻T0における位置と時刻T1までの車速データ及
びヨーレートデータから時刻T1における車両の位置を
算出し、さらに地図データベース18から読み出した地
図データと照合して時刻T1における白線と車両との相
対位置を算出する。
【0012】図3には、このようにして算出された車両
と白線との相対位置の一例が示されている。図におい
て、実際の道路上の白線は符号100で示されており、
時刻T0と時刻T1間の車両挙動から推定される白線が破
線102で示されている。時刻T0〜T1の走行挙動だけ
では、同様な道路形状が続くと想定して相対位置を求め
るため実際の道路上の白線と一致しなくなるが、本実施
形態では地図データベース18上の地図データも考慮し
て相対位置を算出するため、時刻T1における白線位置
を正確に認識できることが理解されよう。なお、図にお
いては、走行挙動のみに基づいて時刻T1において設定
した処理用ウィンドウ(サーチウィンドウ)104及び
本実施形態において時刻T1で設定される処理用ウィン
ドウ106も説明の都合上便宜的に示されている。上述
したように、時刻T1における車両と白線との相対位置
が正確に認識されていないため、サーチウィンドウ10
4は実際の白線上に設定することができなくなる(当
然、時刻T1では白線を認識することはできない)が、
サーチウィンドウ106は実際の白線上に設定できるた
め、白線を確実に認識することができる(但し、実際の
サーチウィンドウはあくまでCCDカメラ10で得られ
た画像内で設定する必要があるため、S103で得られ
た白線位置をそのまま用いてサーチウィンドウを設定す
ることはできない)。
【0013】地図データを用いて車両と白線との相対位
置を算出した後、推定した白線位置をカメラ画像、つま
りCCDカメラ10で得られる画像内の座標に変換する
(S104)。この変換は、上述したように、算出した
白線位置に基づいて時刻T1にCCDカメラで得られる
画像内にサーチウィンドウを設定するためであり、具体
的には、図4に示されるようにCCDカメラの座標系を
x−y系、CCDカメラ中心を原点とする道路面のY座
標をY=−H(HはCCDカメラ10の道路面からの高
さ)とする道路面内の平面座標(相対位置を算出した座
標系)をX−Z系とした場合、
【数1】
【数2】 で計算される。なお、FはCCDカメラ10の焦点距離
である。この変換により、時刻T1におけるカメラ画像
での白線位置が求まることになる。
【0014】図5には、図3に示された道路座標系X−
Y−Zにおける白線位置を上式に従ってカメラ画像座標
系x−yに変換して得られる白線位置100及びこの白
線位置上に設定したサーチウィンドウ106が示されて
いる。なお、図には比較のため走行挙動のみに基づいて
得られる白線位置102及びサーチウィンドウ位置10
4が破線で示されている。走行挙動に基づいて設定され
たサーチウィンドウ104では実際の白線を検出できな
い一方、サーチウィンドウ106では白線を検出できる
ことが分かる。
【0015】座標変換を行った後、画像認識装置16は
時刻T1においてCCDカメラ10で実際に得られた画
像を取得し(S105)、この画像の内でS104で得
られたサーチウィンドウ位置内の画像について所定の画
像処理(パターンマッチング処理やエッジ抽出処理)を
実行し白線を認識する(S106)。そして、発見でき
た場合には(S107でYES)、横変位検出回路等に
白線位置データを供給して車両の自動走行等を実行する
とともに、サーチウィンドウ内の正確な白線出現位置か
らS103で推定した車両位置及び姿勢を補正する(S
108)。この補正処理は、次の時刻T2におけるサー
チウィンドウ設定の精度を向上させるためである。そし
て、白線追尾を継続するか否かを判断し(S109)、
白線追尾を継続する場合には、再びS101に戻って次
の時刻T2の処理を行う。なお、S107で白線を発見
できなかった場合(例えば白線自体が欠けている等)に
は、S108の処理を行うことなくS109に移行す
る。
【0016】このように、本実施形態では、車両の走行
挙動のみならず、地図データも用いて次の時刻における
白線位置を算出し、この算出結果に基づいてサーチウィ
ンドウを設定するので、従来以上に高速かつ高認識率を
得ることができる。
【0017】なお、本実施形態では、地図データベース
内の地図データが道路座標系(図3におけるX−Z系)
で規定されているため、まず道路面の座標系において走
行挙動と地図データを用いて次の時刻における白線位置
を算出し、その白線位置をカメラ画像の座標系(図5に
おけるx−y系)に変換して画像内にサーチウィンドウ
を設定したが、予め地図データをカメラ座標系に変換し
て地図データベース18に記憶し、このデータを用いて
処理することも可能である。
【0018】具体的には、予めカメラ座標系の形式で地
図データを地図データベースに記憶しておく。次に、画
像認識装置16が時刻T0における位置(白線からの横
変位距離と姿勢角及び前後方向位置)と走行状況(車速
データとヨーレートデータ)から時刻T1における車両
位置を算出し、この位置に対応する地図データを地図デ
ータベース18から読み出して白線位置上にサーチウィ
ンドウを設定すればよい。
【0019】また、本実施形態では、特に走路境界線と
して白線を例示したが、走路境界を規定する任意のライ
ンにも同様に適用できる。
【0020】
【発明の効果】以上説明したように、本発明によれば、
走行挙動のみならず地図データも用いて走路境界線位置
を推定するので、処理用ウィンドウを最適位置に設定で
き、白線等の走路境界線を高速かつ確実に認識できる。
【図面の簡単な説明】
【図1】 本発明の実施形態の構成ブロック図である。
【図2】 同実施形態の処理フローチャートである。
【図3】 道路座標系における車両と白線との相対位置
関係を示す説明図である。
【図4】 道路座標系とカメラ座標系の関係を示す説明
図である。
【図5】 カメラ座標系における白線位置及びサーチウ
ィンドウ位置を示す説明図である。
【符号の説明】
10 CCDカメラ、12 画像キャプチャボード、1
4 車両挙動測定装置、16 画像認識装置、18 地
図データベース。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI G08G 1/0969 H04N 7/18 J G09B 29/10 G06F 15/62 380 H04N 7/18 15/70 350B

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 車両前方を撮影する撮像手段と、 車両の走行挙動を検出する検出手段と、 道路形状データを記憶する記憶手段と、 ある時刻T0における車両位置と次の時刻T1までに検出
    された前記走行挙動及び前記道路形状データに基づいて
    時刻T1における走路境界線位置を演算する演算手段
    と、 時刻T1において実際に前記撮像手段で得られた画像の
    内、前記演算手段で得られた走路境界線位置の画像処理
    を実行する処理手段と、 を有することを特徴とする走路境界線認識装置。
JP9049949A 1997-03-05 1997-03-05 走路境界線認識装置 Pending JPH10247300A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9049949A JPH10247300A (ja) 1997-03-05 1997-03-05 走路境界線認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9049949A JPH10247300A (ja) 1997-03-05 1997-03-05 走路境界線認識装置

Publications (1)

Publication Number Publication Date
JPH10247300A true JPH10247300A (ja) 1998-09-14

Family

ID=12845294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9049949A Pending JPH10247300A (ja) 1997-03-05 1997-03-05 走路境界線認識装置

Country Status (1)

Country Link
JP (1) JPH10247300A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154464A1 (ja) * 2016-03-07 2017-09-14 株式会社デンソー 走行位置検出装置、走行位置検出方法
JP2017161501A (ja) * 2016-03-07 2017-09-14 株式会社デンソー 走行位置検出装置、走行位置検出方法
JP2018120303A (ja) * 2017-01-23 2018-08-02 株式会社Soken 物体検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154464A1 (ja) * 2016-03-07 2017-09-14 株式会社デンソー 走行位置検出装置、走行位置検出方法
JP2017161501A (ja) * 2016-03-07 2017-09-14 株式会社デンソー 走行位置検出装置、走行位置検出方法
JP2018120303A (ja) * 2017-01-23 2018-08-02 株式会社Soken 物体検出装置

Similar Documents

Publication Publication Date Title
JP3711405B2 (ja) カメラを利用した車両の道路情報抽出方法及びシステム
JP4600357B2 (ja) 測位装置
EP2933790A1 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
CN112166059A (zh) 车辆的位置估计装置、车辆的位置估计方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
JP6776707B2 (ja) 自車位置推定装置
US10679077B2 (en) Road marking recognition device
JPH10222679A (ja) 車両用画像処理装置
JP2003329411A (ja) カメラ校正装置
JP6939615B2 (ja) 信号機認識装置
JP2009205403A (ja) 道路標示認識装置、および道路標示認識方法
JP2010225075A (ja) 運転支援装置
JP2018048949A (ja) 物体識別装置
US10916034B2 (en) Host vehicle position estimation device
JPH0727541A (ja) 道路形状及び自車両位置の計測装置
JP2014106739A (ja) 車載画像処理装置
JPH0973545A (ja) 白線認識装置
US11754403B2 (en) Self-position correction method and self-position correction device
JP2006344133A (ja) 道路区画線検出装置
JP2940366B2 (ja) 対象物の追従認識装置
JPH10247300A (ja) 走路境界線認識装置
JP4375549B2 (ja) 車両位置特定装置
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
JP2005216200A (ja) 他車検出装置及び他車検出方法
JPH11317939A (ja) 対象物の追従認識装置
US11156466B2 (en) Lane determination device