JP3220578B2 - 道路画像の白線認識装置 - Google Patents

道路画像の白線認識装置

Info

Publication number
JP3220578B2
JP3220578B2 JP24786093A JP24786093A JP3220578B2 JP 3220578 B2 JP3220578 B2 JP 3220578B2 JP 24786093 A JP24786093 A JP 24786093A JP 24786093 A JP24786093 A JP 24786093A JP 3220578 B2 JP3220578 B2 JP 3220578B2
Authority
JP
Japan
Prior art keywords
white line
road
image
center
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24786093A
Other languages
English (en)
Other versions
JPH07105473A (ja
Inventor
聡子 市島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP24786093A priority Critical patent/JP3220578B2/ja
Publication of JPH07105473A publication Critical patent/JPH07105473A/ja
Application granted granted Critical
Publication of JP3220578B2 publication Critical patent/JP3220578B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、自律走行車の視覚誘導
に利用される道路画像の白線認識装置に係り、特に車両
に搭載されたカメラにより撮像された道路画像から白線
を検出する道路画像の白線認識装置に関する。
【0002】
【従来の技術】近年、自律走行車の視覚誘導に関する研
究が各方面で行なわれるようになってきた。
【0003】自律走行車が、CCDカメラなどから得ら
れた視覚情報をもとに整備された道路を走行するには、
外部環境の認識、すなわち道路の三次元形状の復元、障
害物や前方を走行する車両の認識などが必要不可欠であ
る。その内でも、先行車両に関する情報の収集は、自律
走行車が安全に走行するための重要な課題であり、その
前段階として、白線をたよりに走行車線、追越し車線の
領域を認識することが必要になってくる。
【0004】従来、白線検出方法としては、1992年
電子情報通信学会春期大会D−613「連続道路画像に
おける車両の追跡」に示すものが提案されている。
【0005】図7は、このような白線検出方式の一例を
示すもので、1はレンズ部、2はレンズ部1を通して撮
像される道路画像を電気信号に変換するCCD等の撮像
素子であり、この撮像素子2から出力される画像信号は
A/D変換部3によりデジタル信号に変換され、一画面
分の画像メモリ部4に格納される。
【0006】また、図7において、5は画像メモリ部4
上の画像データから左側白線を検出する左側白線検出
部、6は道路モデルをもとに中央・右側白線を推定する
中央・右側白線推定部、7は左側白線検出部5および中
央・右側白線推定部6で抽出した各白線の座標を先行車
両認識部8へ伝送する結果伝送部であり、先行車両認識
部8は抽出結果を利用して前方を走行する車両を認識す
る。
【0007】は検出装置全体を制御する制御部であ
る。上記構成の白線検出方式において、自車両が走行車
線を走行しているときに、車両に搭載したレンズ部1と
撮像素子2からなる、TVカメラにより撮像された道路
画像から、制御部は道路モデルを作成する この道路モ
デルは左側白線検出部5により左側白線を検出し、そし
て、道路幅が一定で路面が水平であるというかていの道
路モデルをもとに中央・右側白線推定部6により中央白
線と右側白線を推定する。これにより左右の白線で囲ま
れた領域を車両の探索範囲として認識する。
【0008】このような白線検出方式では、中央白線が
破線であったり、左側白線車両により隠されてしまうこ
とでトラッキングによる検出が困難な場合の中央・右側
白線の大まかな位置と認識するのに有利となる。
【0009】
【発明が解決しようとする課題】しかしながら、上記従
来例においては、中央白線および右側白線を道路モデル
をもとに推定して車線の領域を認識するものであるた
め、その推定結果と実際の白線の位置との間にずれが生
じ、正しい白線の位置を認識できない場合がある。
【0010】本発明は、上記のような従来の問題を解決
するものであり、常に正しい白線の位置を認識すること
で、前方を走行する車両を認識することが出来る道路画
像の白線認識装置を提供することを目的とする。
【0011】
【課題を解決するための手段】上記目的を達成するため
に本発明は、走行車両の前方を撮像する画像入力手段
と、前記画像入力手段からの画像情報をデジタル信号に
変換するA/D変換手段と、前記デジタル信号に変換さ
れた道路画像データを格納する画像メモリと、前記道路
画像データから得た左側白線を検出する左側白線検出手
段と、前記画像メモリに格納されている画像データの特
定フレーム内で、中央白線を検出した時に、前記検出し
た中央白線の位置座標に応じて得られた前記左側白線の
位置座標を用いて、射影変換式により道路幅を決定し、
道路モデルの前記道路幅を修正する道路モデル修正手段
と、前記修正された道路モデルをもとに逆射影変換式を
用いて中央白線および右側白線の位置座標を決定する中
央・右側白線決定手段と、前記決定した白線の位置座標
をもとに前方を走行する車両を認識する先行車両認識手
段とを備えたことを特徴とする。
【0012】
【作用】上記の構成により、道路モデル修正部で道路モ
デルを随時修正して、中央白線および右側白線を決定す
るから、正しい白線の位置を認識することが可能にな
る。
【0013】
【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。
【0014】図1は、本発明による道路画像の白線認識
装置の構成を示すブロック図である。この図1におい
て、図7と同一の構成部分には同一符号を付して説明す
ると、撮像レンズ部1を有する2次元の撮像素子2、撮
像素子2から出力される道路画像信号をデジタル信号に
変換するA/D変換部3、A/D変換された道路画像デ
ータを格納する画像メモリ部4、この画像データに所定
の処理を施すことにより左側白線を検出する左側白線検
出部5を備えるほか、画像メモリ部4上の画像データを
基に道路モデルを修正する道路モデル修正部10および
修正された道路モデルをもとに中央白線、右側白線を決
定する中央・右側白線決定部11を新たに備え、さらに
図7と同様に結果伝送部7、先行車両認識部8および装
置全体を制御する制御部9を備える。ここで道路モデル
は(従来の技術)に示したものと同様にして作成する
【0015】図2は、本実施例の白線認識装置を内蔵す
る自律走行車の外観図を示すもので、自律走行車12内
の運転席の上部には、図1に示すレンズ部および撮像素
子2からなるカメラ13が設置され、さらに運転席の前
部には図1に示す構成の処理ユニット14が設置されて
いる。
【0016】次に、上記のように構成された本実施例の
動作について、図3〜図6により説明する。
【0017】図3および図4は、カメラ13により撮像
された道路画像の一例を示すもので、20は本実施例に
用いるイメージ座標系、21は左側白線を検出するため
の窓、22は中央白線を検出するための窓である。
【0018】図5は、本実施例に用いるイメージ座標系
(x,y)とカメラ座標系(X,Y,Z)の関係を示す
図であり、23は画像面の第3象限を示す。
【0019】自車両が走行車線を走行しているときに、
自律走行車12に搭載したカメラ13により撮像された
道路画像、即ち、画像メモリ部4上の画像データに小領
域の窓21毎に左側白線検出部5で判別分析二値化法を
施し、かつトラッキングすることにより、左側白線を検
出する(ステップS1)。
【0020】このときのトラッキング始点は、図4に示
す画像の第3象限23の辺縁の中から明度が最大となる
画素の座標とし、窓21の設定位置は、該座標にその中
心を合わせた位置とする。
【0021】画像メモリ部4に格納される時系画像のあ
るフレームにおいて、中央白線がこれを検出する窓22
内に存在していると判定されたとき(ステップS2)、
中央白線のywにおけるイメージ座標(xw,yw)を検出
した左側白線のywにおけるイメージ座標(x1(y
w),yw)から射影変換により道路幅を求め(ステップ
S3)、これから道路モデルの道路幅を修正する(ステ
ップS4)。そして、中央・右側白線決定部11におい
て中央・右側白線のイメージ座標を左側白線のイメージ
座標と道路幅を逆射影変換式に代入することにより、中
央白線と右側白線を決定する(ステップS5)。
【0022】また、ステップS2において、中央白線が
破線のために窓22内に中央白線が存在しないと判定さ
れた場合は、道路幅の修正を行なわずにステップS5に
進み、最新の道路幅データを持った道路モデルをもとに
中央・右側白線が決定される。
【0023】次に、道路モデル修正手段具体例として
路幅Wを求める射影変換式(数6)、中央白線xc
(y)を求める逆射影変換式(数7)、右側白線xw
(y)を求める逆射影変換式(数8)の導出方法を以下
に述べる。
【0024】図4におけるカメラ座標系(X,Y,Z)
とイメージ座標(x,y)との変換式は次に示す数1、
数2で与えられる。
【0025】
【数1】
【0026】
【数2】
【0027】イメージ座標系における各白線のx座標と
カメラ座標系における各白線のX座標をそれぞれx1
(y)、xc(y)、xr(y)、X1(Z)、Xc
(Z)、rX(Z)とし、Y=−H(H:カメラの高
さ)とすると数1より次に示す数3〜数5が導かれる。
【0028】
【数3】
【0029】
【数4】
【0030】
【数5】
【0031】また、図5からXc(Z)=X1(Z)+
W、Xr(Z)=X1(Z)+2Wであるから、これらよ
り、上記射影変換式(数6)、逆射影変換式(数7)お
よび逆射影変換式(数8)が得られる。
【0032】
【数6】 W=H(xw−x1(yw))(Zcosθ−Hsinθ)/F
【0033】
【数7】 c(y)=x1(y)−FW(Hsinθ−Zcosθ)
【0034】
【数8】xr (y)=xl(y)−2FW(Hsinθ−Zcosθ) 数2にY=−Hを代入することにより、数9が得られ
る。
【0035】
【数9】 Z=H(ysinθ−Fcosθ)/(ycosθ+Fsinθ) そして、数6、数7、数8に数9を代入することにより
道路幅、中央白線の座標、右側白線の座標が求められる
(H、F、θは既知) ただし、W:道路幅、H:カメラの高さ、F:焦点距
離、 θ:カメラの仰角(下向きを正)、 yw:窓内で最も小さいy座標 xw:中央白線のywにおけるx座標(イメージ座標
系)、 x1(y):左側白線のyにおけるx座標(イメージ座
標系) xc(y):中央白線のyにおけるx座標(イメージ座
標系) xr(y):右側白線のyにおけるx座標(イメージ座
標系)とする。
【0036】上記のような本実施例においては、左側白
線検出部5により、画像メモリ部4の道路画像データか
ら左側白線をトラッキングにより検出し、道路モデル修
正部10により、道路幅を求めて道路モデルを修正し、
これから中央・右側白線決定部11により中央白線およ
び右側白線の位置を決定する構成にしたので、中央白線
が破線であったり、右側白線が車両により隠されていて
も、これら白線の位置を実際に即して正確に認識するこ
とができる。
【0037】
【発明の効果】以上の説明から明らかなように本発明に
おいては、射影変換により道路幅を求め、道路モデルを
修正してから、逆射影変換により中央・右側白線を決定
する構成にしたから、中央白線が破線であったり、右側
白線が両車により隠されてしまい、トラッキングでは検
出困難であっても、これら白線の位置を高精度で検出す
ることができ、かつ白線の位置が解ることにより、車線
の領域を正しく認識することができる。
【0038】また、車線の領域を認識することによっ
て、この後に続く先行車両認識部において先行車両を探
索する範囲を限定することができる。
【図面の簡単な説明】
【図1】本発明の一実施例における道路画像の白線認識
装置の構成を示すブロック図
【図2】本実施例における自律走行車の外観図
【図3】本実施例における撮像カメラで撮像された道路
画像の一例を示す説明図
【図4】本実施例における撮像カメラで撮像された道路
画像の一例を示す説明図
【図5】本実施例におけるイメージ座標系とカメラ座標
系の関係を示す図
【図6】本実施例における処理手順を示すフローチャー
【図7】従来の白線検出装置の構成を示すブロック図
【符号の説明】
1 レンズ部 2 撮像素子(画像入力手段) 3 A/D変換部 4 画像メモリ部 5 左側白線検出部 7 結果伝送部 8 先行車両認識部 9 制御部 10 道路モデル修正部 11 中央・右側白線決定部 12 自律走行車 13 カメラ 14 処理ユニット
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI H04N 7/18 G06F 15/62 380 (58)調査した分野(Int.Cl.7,DB名) G08G 1/00 G01B 11/24 G05D 1/02 G06T 1/00

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 走行車両の前方を撮像する画像入力手段
    と、前記画像入力手段からの画像情報をデジタル信号に
    変換するA/D変換手段と、前記デジタル信号に変換さ
    れた道路画像データを格納する画像メモリと、前記道路
    画像データから得た左側白線を検出する左側白線検出手
    段と、前記画像メモリに格納されている画像データの特
    定フレーム内で、中央白線を検出した時に、前記検出し
    た中央白線の位置座標に応じて得られた前記左側白線の
    位置座標を用いて、射影変換式により道路幅を決定し、
    道路モデルの前記道路幅を修正する道路モデル修正手段
    と、前記修正された道路モデルをもとに逆射影変換式を
    用いて中央白線および右側白線の位置座標を決定する中
    央・右側白線決定手段と、前記決定した白線の位置座標
    をもとに前方を走行する車両を認識する先行車両認識手
    段とを備えたことを特徴とする道路画像の白線認識装
    置。
JP24786093A 1993-10-04 1993-10-04 道路画像の白線認識装置 Expired - Fee Related JP3220578B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24786093A JP3220578B2 (ja) 1993-10-04 1993-10-04 道路画像の白線認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24786093A JP3220578B2 (ja) 1993-10-04 1993-10-04 道路画像の白線認識装置

Publications (2)

Publication Number Publication Date
JPH07105473A JPH07105473A (ja) 1995-04-21
JP3220578B2 true JP3220578B2 (ja) 2001-10-22

Family

ID=17169722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24786093A Expired - Fee Related JP3220578B2 (ja) 1993-10-04 1993-10-04 道路画像の白線認識装置

Country Status (1)

Country Link
JP (1) JP3220578B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102588285B1 (ko) * 2021-10-12 2023-10-11 (주) 피닉스 심해용 발열 잠수복 및 그의 제조 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100330034B1 (ko) * 2000-03-31 2002-03-27 곽정소 차선표시장치
JP4973108B2 (ja) * 2006-10-05 2012-07-11 株式会社明電舎 トロリ線の摩耗測定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102588285B1 (ko) * 2021-10-12 2023-10-11 (주) 피닉스 심해용 발열 잠수복 및 그의 제조 방법

Also Published As

Publication number Publication date
JPH07105473A (ja) 1995-04-21

Similar Documents

Publication Publication Date Title
US7659835B2 (en) Method and apparatus for recognizing parking slot by using bird's eye view and parking assist system using the same
JP2003030626A (ja) 画像処理装置及びその方法
JPH10208047A (ja) 車載用走行環境認識装置
JPH08329393A (ja) 先行車検出装置
US20170259830A1 (en) Moving amount derivation apparatus
KR20140055353A (ko) 주변차량 위치 추적 장치 및 방법
JP3961584B2 (ja) 区画線検出装置
JP3823782B2 (ja) 先行車両認識装置
JP2000293693A (ja) 障害物検出方法および装置
JP4256992B2 (ja) 障害物検出装置
JP2009139324A (ja) 車両用走行路面検出装置
JP2007087203A (ja) 衝突判定システム、衝突判定方法及びコンピュータプログラム
JP3220578B2 (ja) 道路画像の白線認識装置
JPH08172620A (ja) 車両用画像入力手段
KR102164702B1 (ko) 자동 주차 장치 및 자동 주차 방법
KR102177878B1 (ko) 영상 처리 장치 및 방법
KR101545091B1 (ko) 카메라를 이용한 주차 공간 인식 방법 및 장치
JP2004185425A (ja) レーンマーク識別方法及び装置
JPH1011580A (ja) 車両用車線認識装置
JP3366135B2 (ja) 走行方向制御装置
JP4106163B2 (ja) 障害物検出装置及びその方法
JP4462533B2 (ja) 路面走行レーン検出装置
JPH1141521A (ja) 撮像装置および車間距離計測装置ならびに車間距離計測方法
KR20220145080A (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법
JP2003322522A (ja) 車間距離検出装置及び検出方法

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees