JPH0728975A - 道路環境認識装置 - Google Patents

道路環境認識装置

Info

Publication number
JPH0728975A
JPH0728975A JP5155138A JP15513893A JPH0728975A JP H0728975 A JPH0728975 A JP H0728975A JP 5155138 A JP5155138 A JP 5155138A JP 15513893 A JP15513893 A JP 15513893A JP H0728975 A JPH0728975 A JP H0728975A
Authority
JP
Japan
Prior art keywords
line
image
road
marker line
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5155138A
Other languages
English (en)
Other versions
JP3169483B2 (ja
Inventor
Nobukazu Shima
伸和 島
Hiroshi Kamata
洋 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Fujitsu Ltd
Original Assignee
Denso Ten Ltd
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd, Fujitsu Ltd filed Critical Denso Ten Ltd
Priority to JP15513893A priority Critical patent/JP3169483B2/ja
Priority to US08/234,676 priority patent/US5555312A/en
Publication of JPH0728975A publication Critical patent/JPH0728975A/ja
Application granted granted Critical
Publication of JP3169483B2 publication Critical patent/JP3169483B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)

Abstract

(57)【要約】 【目的】 障害物や雑音による影響を受ずに走行道路の
標識線を容易に且つ確実に認識し且つ前方車の位置を認
識しえる道路環境認識装置を提供する。 【構成】 画像記録手段1、該画像記録手段1により得
られる道路画像5から,物体の輪郭線のみを抽出するエ
ッジ画像抽出手段2、該エッジ画像に於いて、予め設定
した探索線を自車両から遠い路面部分に向かって移動さ
せながら、探索線上の水平エッジの状態をみて、前方車
輛と路面との境界線を見つけ出す前方車輛の最下部決定
手段31、該前方車輛の最下部決定手段31で決定され
た最下部部分での前方車輛の左右の位置を判断する領域
を設定する前方車輛の探索領域決定手段32、該前方車
輛の探索領域内の水平エッジ成分の数をカウントするカ
ウント手段を用い、前方車輛の左右の位置を決定する前
方車輛位置決定手段33とから構成されている道路環境
認識装置。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、道路環境を認識する画
像処理システムを有する道路環境認識装置に関するもの
であり、より具体的には、自動車に搭載したTVカメラ
等で構成される画像記録手段で捉えた画像から、道路面
上に設けられている白線を含む標識線或いは、自車両の
前方を走行している自動車を認識することの出来る道路
環境認識装置に関するものである。
【0002】
【従来の技術】近年、自動車の高性能化にもかかわら
ず、交通事故は増加傾向にある。事故の中には、人間の
状況判断のミスによるものが多い。そこで人間の視覚を
補助する装置の開発が望まれている。従来から、TVカ
メラ等の画像記録手段を用いた運転補助装置としては、
路面認識装置と前方車認識装置等が知られている。
【0003】つまり、運転手は道路上に設けられた白線
或いは黄色線等の指示若しくはその誘導に従い、かつ前
方車の動きに注意し、自分の自動車がどう走ればいいの
かを判断しなければならない。一般に、道路上の標識線
は、交通を整理し誘導する重要な役割を果たしている。
運転手は該標識線の誘導に従い、自動車を走行させなけ
ればならない。
【0004】その為、係る標識線を認識する装置が開発
されれば、自分の自動車がレーンを逸脱していたら運転
手に自動的に警告したり、またその情報をもとに自動車
を制御するといったことが出来るようになる。これによ
り、運転手の運転に対する負担を軽減させることがで
き、事故を未然に防止することが出来るようになる。一
方、運転手は運転中に前方車の動きに注意し、自分の自
動車がどう走ればいいのかを判断しなければならない。
その為、適切な前方車を認識する装置があれば、自分の
自動車が所定のレーンを逸脱していたり、前方車と自車
が近づき過ぎて危険な状態になった時に運転手に警告し
たり、前方車に追従走行することにも応用できる。これ
により運転手の運転に対する負担を軽減させることがで
き、交通事故を未然に防止することができる。
【0005】処で、従来から一般的に使用されている道
路環境認識装置としての路面認識装置の一例を図26に
示す。即ち、従来の路面認識装置に於いては、図26の
ブロックダイアグラムに示される様な構成を有してお
り、具体的には、画像記録手段の一つであるTVカメラ
1で捉えた画像をエッジ画像抽出手段2で物体の輪郭線
のみを抽出したエッジ画像に変換し、該エッジ画像か
ら、標識線例えば白線の候補点抽出手段3で該エッジ画
像に対し白線6のエッジの位置の抽出を行い、白線位置
算出手段4で該白線の候補点に対応する路面上での位置
を算出している。
【0006】即ち、より具体的には、図27及び図28
に示す様に、道路画像の中央部から矢印の方向に左右の
個別に画像5中の画素を走査して白線等の標識線6の輪
郭線7、8を捜し、輪郭線7、8にぶつかった所を白線
位置9としていた。ところがこのような方式では、図2
8のように画面内に前方車が存在したり、白線6が破線
の場合に、当該標識線である白線6を認識ができなかっ
たりする場合が多く見られた。
【0007】又、前方車10が存在する場合、 該白線
6の輪郭部分7、8まで輪郭線を捜しに行くことが出来
ず、前方車10の輪郭線11を間違えて白線6と認識し
てしまう誤りが多発すると言う問題も有った。更に、該
白線が破線の場合、 当該白線の候補点が見つからない
箇所が発生したり、また図30に示される様な、当該道
路画面5に、建物、街路樹等の影12がある場合は、当
該影12を間違って白線のエッジと誤認してしまうと言
う様なことも頻繁に生じていた。
【0008】実際の高速道路などの環境を考えた場合、
道路画像5内に混在するこのような障害物や雑音の影響
が大きく、当該標識線6の認識が困難である場合が生じ
ていた。又、従来に於ける前方車認識装置の一例に於け
る構成を図29のブロックダイアグラムで示す。
【0009】即ち、従来に於ける前方車認識装置に於い
ては、画像記録手段の一つであるTVカメラ1で捉えた
画像をエッジ画像抽出手段2で物体の輪郭線のみを抽出
したエッジ画像に変換し、該エッジ画像から、前方車探
索手段20で水平方向に最も長いエッジ部分13を2次
元的に探索し、抽出した該エッジ部分13に隣接するエ
ッジから矩形を求め、前方車位置抽出手段21で該矩形
の中心の画面上の位置に対する距離テーブルを用いて自
車と前方車との間の距離を演算して抽出していた。
【0010】ところが、このような方式では、図30に
示される様に、路上に長く水平に伸びた影12が存在す
ると当該影の部分に於ける水平エッジ部分を車両の一部
を示す水平エッジと誤認識する危険が多かった。又、画
像の雑音などで、エッジが途切れると、当該前方車両の
認識に失敗する事も多く、更には、実際の道路環境で
は、影12などの雑音の混入は不可避であり、その為前
方車両に対する認識が困難であると言う問題が生じてい
た。
【0011】又、従来に於いて、前方車両を認識するに
際しては、2次元的にエッジ部分を探索し、最大となる
有力なエッジ部分を捜すため、探索領域を1通り全部、
探索しなければならず、処理時間が遅くなると言う欠点
や、認識した前方車が自車の走行しているレーンにいる
のかどうか分からないという問題もあった。
【0012】
【発明が解決しようとする課題】本発明の目的は、係る
従来技術に於ける問題を解決し、自動車に搭載したTV
カメラ等から構成された画像記録手段により得られる道
路画像から、上記した障害物や雑音による影響を受ける
事なく、走行道路に設けられた白線等の標識線を容易に
且つ確実に認識しえる路面認識装置を有する道路環境認
識装置を提供すると共に、従来技術で問題となっている
影などの雑音等による影響を受けずに容易に且つ確実に
前方車の位置を認識しえる前方車輛認識装置を有する道
路環境認識装置を提供するものである。
【0013】
【課題を解決するための手段】本発明は上記した目的を
達成するため、基本的には、以下に記載されたような技
術構成を採用するものである。即ち、本発明に係る道路
環境認識装置の第1の態様に於いては、自動車に搭載し
た画像記録手段により得られる道路画像から、物体の輪
郭線のみを抽出したエッジ画像を作成し、該道路画像の
エッジ画像に於いて探索線を移動させて当該画像中に存
在する水平エッジ部分を検出するに際して、当該探索線
を自車両から遠い路面部分に向かう方向に予め定められ
た範囲で移動させ、該探索線の移動に伴って検出される
水平エッジ部分の配置状態から、自車両の前方を走行し
ている自動車の最下部を決定する様に構成されている道
路環境認識装置が提供されるもので有り、又第2の態様
としては、自動車に搭載した画像記録手段により記録さ
れた道路画像から、物体の輪郭線のみを抽出したエッジ
画像を作成し、該エッジ画像から、道路に表示された標
識線を検出して認識するに際し、該エッジ画像における
自車両に近い路面部分に対応する領域の相当する画像画
面部分の略中央部分から2つの領域に分割せしめ、当該
画像画面部分の略中央部分から左側の領域を第1の領域
Aとすると共に、右側の領域を第2の領域Bとなし、且
つ自車両から遠い当該画像画面部分における路面部分に
対応する画面領域を第3の領域Cとする画面領域に分割
し、該第1の領域Aでは該中央部分付近から左方向に、
又該第2の領域Bでは該中央部分付近から右方向に複数
の標識線候補点を探索することにより、該第1の領域A
及び第2の領域Bにおいて標識線を決定し、又該第3の
領域Cでは該第1と第2の領域A、Bで探索された標識
線位置から該標識線を延長、追跡して標識線を順次、探
索し決定する様に構成されている道路環境認識装置が提
供されるので有る。
【0014】又、本発明に係る道路環境認識装置の第3
の態様としては、自動車に搭載した画像記録手段により
得られる道路画像から、物体の輪郭線のみを抽出したエ
ッジ画像を作成するに際し、当該画像記録手段により得
られる道路画像に平滑化処理等を応用した残像効果付与
処理を実行した後、該エッジ画像を作成する様にした道
路環境認識装置である。
【0015】尚、本発明に係る第4の態様としては、上
記した第1乃至第3の態様を適宜選択して結合して構成
された道路環境認識装置が考えられる。
【0016】
【作用】本発明に係る該道路環境認識装置は、上記した
様な基本的な技術構成を有しているので、例えば、本発
明に係る第1の態様に於いては、前方車の最下部の水平
エッジの状態を観察することによって認識するもので有
って、然も、前方車に近い路面部分における画面上から
遠方に向かって、つまり遠方の道路に向けて、水平エッ
ジの探索線を所定の範囲で移動させて、前方車の最下部
を探索しているので、探索領域が限定されるので認識操
作を高速に実行する事が可能となる。
【0017】また本発明に於ける道路環境認識装置での
前方車の最下部決定には予め定められた条件を満たす水
平エッジが複数存在しなければならないため、これによ
り影などの雑音による誤認識は防ぐことができる。更
に、本発明に於いては、好ましくは、最初に、道路上の
標識線を認識したうえ、自車輛が走行すべき特定レーン
領域を決定してその内側で前方車を捜す様に構成されて
いるので、道路外の風景や雑音は除去することができ
る。又、道路画像上の決まった領域について処理してい
るので、前方車のレーンとの関係もわかる。
【0018】一方、第2の態様に於いては、自動車に近
い路面部分に対応する画面上で画面縦方向に複数の白線
候補点が取れる領域でかつ、この領域の画面中央縦線か
ら左側の領域を第1の領域A、右側の領域を領域第2の
領域B、自動車から遠い路面部分に対応する画面領域を
第3の領域Cとする3つの画面領域に分割し、第1の領
域Aでは左方向に、領域第2の領域Bでは右方向に白線
候補点を探索することにより、第1の領域A、第2の領
域Bにおいて白線を決定し、第3の領域Cでは第1の領
域A、第2の領域Bでの白線位置から白線部分を追跡し
て、白線を順次決定することによって、容易に又確実
に、道路に設けられた標識線を認識する事が出来る。
【0019】つまり、本発明に於ける第2の態様に於い
ては、まず第1の領域A、第2の領域Bにおいて白線を
決定するのは、画面手前のほうが遠方よりも白線幅に対
する画素数も多くエッジの状態も良く、前方車などの障
害物の混入も少ないからである。また第1の領域A、第
2の領域Bを広めに指定して標識線候補点の個数を多く
抽出することで、前方車の輪郭線による標識線候補点が
入っていても、誤った標識線候補点を除き、正しく標識
線、例えば白線が認識できる。
【0020】また白線が破線の場合にも、第1の領域
A、第2の領域Bの縦方向の長さを破線間の長さ以上に
設定すれば当該白線を検出することが可能となる。更に
本発明に於いて、第3の領域Cで当該標識線を、第1の
領域Aと第2の領域Bに於いて求められた標識線の追跡
延長によって求めるもので有って、係る構成を採用した
のは、遠方では前方車などの障害物が混入する確率が高
く、更に標識線の曲がりも大きくなるために、画面中央
からの探索では当該標識線を認識できない事が多くなる
と言う事実に基づいている。
【0021】更に、本発明に係る道路環境認識装置の第
3の態様に於いては、TVカメラ等の画像記録手段によ
り捉えた道路画像を平滑化処理する事によって、影等の
雑音を消去し、又、標識線の破線部分が補間された平滑
化画像を形成させるものであるので、自車との相対速度
差が小さいもの、或いは画面上での移動が小さいか又は
停止している物体、例えば前方車輛、標識線等のみを画
像上に浮き上がらせる様に抽出し、道路の脇に配置され
ている、樹木、建物、その他の物体、或いはそれらの影
の部分等で、画像上、高速に移動して見えるものを道路
画像から消去させた後、当該平均化処理された道路画像
から、所定の物体の輪郭線のみを抽出してエッジ画像を
作成し、前記した第1の態様若しくは第2の態様に於い
て示された演算処理を実行して前方車輛の認識若しく
は、標識線の認識を行うものであるので、従来の方法に
於ける様な、影、或いは雑音等により、標識線或いは前
方車輛等を誤認する危険性が大幅に改善されるもので有
る。
【0022】具体的には、本発明に係る平滑化処理に於
いては、入力画像、即ち第2の画像と平滑化画像、即ち
第2の画像が得られる以前に得られた第1の画像との同
じ座標位置の画素値の差が予め設定した範囲内ならば、
平滑化画像の画素値を変更せず、入力画像と平滑化画像
の同じ座標位置の画素値の差が予め設定した範囲外なら
ば、平滑化画像の画素値を予め設定した固定値だけ入力
画像の画素値に近づけた画素値で更新することで出力画
像を作成し、この出力画像を次の平滑化画像として上記
処理を繰り返すことにより平滑化画像を作成する。
【0023】該平滑化画像では、入力画像と平滑化画像
の画素値の差が小さいところだけが、はっきりと抽出さ
れ、該画素値の差が大きいところは、ぼやけて消去され
る。すなわち画面上での動きが小さいまたは停止してい
るところだけが、はっきりと抽出され、画面上での動き
が大きいところは、ぼやけて消去される。風景の影など
は、自車との相対速度差が大きいため、該平滑化画像で
はこれらの影は消去される。
【0024】白線は、影などと同じく自車との相対速度
差は大きいが、白線は画面上での変化が少なく抽出する
ことができる。白線が破線の場合でも、連続的に画面上
の同じ位置を流れるように移動するので破線が補間さ
れ、白線が連続線になった平滑化画像が得られる。前方
を走行している自動車は、自車との相対速度差が小さい
ため、画面上では移動が小さいので抽出することができ
る。
【0025】以上、述べたように平滑化画像処理を併用
する事によって、影などの雑音は除去された標識線認識
及び前方車認識のし易い画像を得ることができる。
【0026】
【実施例】以下に、本発明に係る道路環境認識装置の具
体例を図面を参照しながら詳細に説明する。図1は、本
発明に係る道路環境認識装置の第1の態様の具体的構成
を示すブロックダイアグラムを示すもので有って、図
中、自動車に搭載した画像記録手段1、該画像記録手段
1により得られる道路画像5から、物体の輪郭線のみを
抽出したエッジ画像を作成するエッジ画像抽出手段2、
任意の領域で探索線を移動させ、探索線上の水平エッジ
成分の状態から、前方車輛の最下部を決定する前方車輛
最下部決定手段31、決定された最下部から予め設定さ
れた大きさの領域を画面上に設定する処理を行う探索領
域決定手段32、前方車輛位置決定手段33及び前方車
輛までの距離を算出する為の前方車輛距離算出手段34
とから構成されているものであり、更に本発明に於ける
好ましい具体例としては、後述する様に、上記前方車輛
の最下部決定手段31の前に、道路上に設けられている
所定の標識線6を認識する為の標識線認識手段30を付
加したもので有っても良い。
【0027】つまり、本発明に於ける第1の態様に於い
ては、図2に示される様な、上記した構成に基づいて、
自動車に搭載した画像記録手段1により得られる道路画
像5から、適宜の空間フィルタを掛けて、図3に示され
る様に、物体の輪郭線のみを抽出したエッジ画像を作成
し、該道路画像のエッジ画像中に存在する任意の水平エ
ッジ部分37を見つけだす為に探索線を移動させるもの
である。
【0028】探索線を該エッジ画像に於いて、自車両か
ら遠い路面部分に向かう方向に予め定められた領域の範
囲で移動させ、該探索線の移動に伴って検出される水平
エッジ部分の配置状態、つまり、当該水平エッジ部分が
如何なる分布を持っているかに判断に基づいて、自車両
の前方を走行している前方車輛10の最下部39を決定
する様に構成されているものである。
【0029】前記工程により、得られた前方車輛の最下
部39から予め設定した領域を画面上に設定し、該領域
において水平エッジの数、若しくは、水平エッジの垂直
方向の投影若しくは、当該水平エッジ部分のヒストグラ
ムが予め設定した条件を満たす値だけ存在する場合に、
該水平エッジの垂直方向の投影若しくは、当該水平エッ
ジ部分のヒストグラムが予め設定した条件を満たす位置
に前方車輛が存在する可能性が高いものと判断し、前方
車輛の最下部候補線上での位置を決定する様にしたもの
である。
【0030】尚、本発明に於ける係る具体例において
は、前方車輛の位置の認識処理を実行する以前に、道路
に於ける標識線の状況を予め認識して、当該前方車輛の
走行するレーンの範囲を特定して、前方車輛の位置の認
識処理を行うと、より正確で、且つ短時間での前方車輛
の位置の認識処理を実行する事が可能となる。又、本発
明に於ける上記具体例に於いては、前方車輛の最下部候
補線が複数個得られた場合には、それらの候補線の内
で、画面上、最も近方の水平エッジ部分を当該前方車の
最下部と決定するもので有る。
【0031】つまり、本発明に係る具体例に於いては、
例えば、該道路画像5のエッジ画像中に存在する任意の
水平エッジ部分37(37─1から37─8)が存在し
ているとすると、探索線を移動させて、当該水平エッジ
部分37─8に来た時に、該水平エッジ部分37─8を
構成している水平エッジ成分を適宜のカウンタによりカ
ウントし、そのカウント値が予め設定した数値以上にな
れば、その水平エッジ部分37─8が、最下部候補線と
なる。
【0032】つまり、当該探索線上の画素のうち水平エ
ッジの成分を含んでいる画素数が予め設定した数値以上
になれば、該探索線上に存在している水平エッジ部分3
7─8に前方車両の最下部が存在していると判断される
車両の最下部39の候補線とするものである。次いで、
本発明に係る具体例に於いては、該探索線を前記車両の
最下部候補線37─8から、自車両から見て、遠い路面
部分に向かう方向に、予め定められた範囲で移動させな
がら、該探索線上で、上記と同様の判定を行って、最下
部候補線の有無を判断し、前記探索線の移動範囲内に於
いて、予め設定した数値以上の該車両の最下部候補線が
存在している場合(図3では、水平エッジ部分37─7
から37─1が存在)に、最初に設定された車両の最下
部候補線37─8上に、前方車両の最下部39が存在し
ていると判断するものである。
【0033】換言するならば、本発明に於ける上記具体
例の構成は、自動車に搭載した画像記録手段により道路
画像をうる道路画像記録手段1、当該道路画像記録手段
1により得られた道路画像から、物体の輪郭線のみを抽
出したエッジ画像を作成する手段2、該エッジ画像に於
いて、予め設定した探索線を自車両から遠い路面部分に
向かって移動させながら、探索線上の水平エッジの状態
をみて、前方車輛と路面との境界線を見つけ出す前方車
輛の最下部決定手段31、該前方車輛の最下部決定手段
31で決定された最下部部分での前方車輛の左右の位置
を判断する領域を設定する前方車輛の探索領域決定手段
32、該前方車輛の探索領域内の水平エッジ成分の数を
カウントするカウント手段を用い、前方車輛の左右の位
置を決定する前方車輛位置決定手段33とから構成され
ている道路環境認識装置である。
【0034】更には、該前方車輛位置決定手段33によ
り決定された前方車両の最下部から、前記画像記録手段
の設置状態を勘案して、自車輛と該前方車輛との実際の
距離を演算して求める前方車輛距離演算処理手段34が
設けられている事が望ましい。更に、本発明に於いて
は、前記前方車輛の最下部候補決定手段31の前に、道
路上の標識線を認識する手段30、望ましくは後述する
様な、本発明に係る標識線認識手段30を設ける事が望
ましい。
【0035】本発明に於いては、上記した様に、該探索
線を、所定の領域41を設けて、その範囲内で走査させ
るものであり、例えば、前方車輛の最下部が存在してい
ると判断された当該水平エッジ部分を下辺とする予め設
定された高さHと幅Wを有する前方車両位置探索領域4
1を設定する事により、前方車両位置を特定する様に構
成する事も望ましい。
【0036】つまり、図4に示さる様に、前方車の求ま
った最下部の画面上の座標から、実際の路面上での距離
を求め、その位置での予め設定した高さと幅をもつ前方
車探索領域の画面上での位置を決定し、画面上での該前
方車探索領域以外の部分をマスクする様にしたものであ
る。尚、上記領域41の高さHは、前方車輛として一般
的な高さを持つ自動車が、道路画像として表示された場
合の高さに近似させる様に設定する事が望ましく、又そ
の幅Wは、予め定められた道路の幅、好ましくは、走行
レーンの幅が画面に表示された場合の長さに近似した幅
に設定されるもので有る。
【0037】本発明に於いては、例えば、該領域41の
高さHは、1.5mに相当する長さとし、又その幅W
は、4.0mに相当する長さに設定するものである。本
発明に於けるエッジ画像抽出手段2に於いては、道路画
像に於ける濃淡画素から、エッジ検出用の空間フィルタ
を用いて画像処理を行い、物体の輪郭線のみが抽出され
るエッジ画像を作成するものである。
【0038】本発明の係る具体例に於いて使用される上
記のエッジ検出用の空間フィルタ処理は特に限定される
ものではないが、例えば、図6に示す様な公知のSOB
ELオペレータによる方法を用いる事が出来る。つまり
図6の(a) は垂直方向のエッジの検出オペレータであ
り、(b) は水平方向のエッジの検出オペレータである。
本発明の係る具体例に於いては、水平エッジ部分を検出
する必要があるので、特に図6の(b) に示される様な検
出オペレータからなるフィルターを、実際に得られた道
路画像の全ての画素値に掛け合わせて積算し、所定の画
素部分の画素値を得るものである。
【0039】本発明に於いては、斯くして得られた画素
値の絶対値が予め定めたしきい値を越える点を水平方向
のエッジ点とする。尚、道路画像において、前方車の後
部形状から、水平方向のエッジが多く現れることから、
水平方向のエッジを前方車の認識に基本データとして使
用するもので有る。本発明に於ける他の例では、当該標
識線認識部30では、エッジ画像抽出部2で抽出したエ
ッジ画像をもとに、自車の走行している車線の左右の標
識線6を認識して自車レーンを決定し、自車レーンの中
央線40を決定する(図2)。つまり、係る方法を採用
する事によって、自車レーン領域を決定してその内側で
前方車を捜す事が出来るので道路外の風景や雑音は除去
することができる。
【0040】前方車の最下部候補設定手段31では、前
記した様に、レーン中央40から左右に予め設定した長
さの前方車の最下部を探索する探索線を設け、該探索線
を自動車に近い路面部分に対応する画面上の水平線か
ら、自動車から遠い路面部分に向かって移動させ、該探
索線上での水平エッジの状態から前方車の最下部を認識
する。
【0041】前方車の最下部の決定方法は、探索線上で
予め設定したサンプリング間隔で画素値を抽出し、サン
プリングした画素のうち、水平エッジの成分を含んでい
る画素数が予め設定した数値(n)以上になれば、その
探索線を前方車の最下部の候補線とする。そして該候補
線から画面上の遠方に向かって予め設定した範囲内で探
索線を移動させ、その間にサンプリングした水平エッジ
に於いて、水平エッジの成分を含んでいる画素数が予め
設定した数値(n)以上になれば、該水平エッジも候補
線と判断し、更に、該候補線が、上記した所定の走査領
域内で予め設定された数(N)以上存在している場合
に、前方車が存在しているとしてその最初に設定した候
補線を前方車の最下部と決定するものである。
【0042】即ち、本発明に於いて、探索線を用いて水
平エッジの状態を調べるのは、前方車の後部形状により
水平方向のエッジが複数現れる特徴を利用しており、こ
れにより影による誤認識をなくすことができる。また探
索線の予め設定する長さをレーン幅より長めに設定すれ
ば、白線等の標識線をまたいでいる車についても認識で
き、前方に割り込んでくるような車に対しても素早く対
応できる。
【0043】前方車位置決定手段33では、図5に示す
様に、前方車探索領域41内で、別途予め設定した高さ
と、幅をもつ認識枠42を移動させ、その枠41内の水
平エッジ成分を含んでいる画素数が最も多くなる認識枠
位置を前方車の位置と決定する様にしたもので有っても
良い。具体的には、前記前方車両位置探索領域41内の
水平エッジの特徴分布から前方車両位置を探索する様に
構成したもので有って、前記前方車両位置探索領域内の
水平エッジに於ける当該水平エッジ成分を含む画素の垂
直方向の投影値に基づいて当該前方車両位置を決定する
様に構成しても良く、又図5に示す様な、水平エッジ成
分に付いてヒストグラムを作成し、その枠42内での水
平エッジ成分を含んでいる画素数が最も多くなる認識枠
位置を前方車位置と決定する様に構成するもので有って
も良い。
【0044】又、前記前方車両位置探索領域41内に設
けられた、当該認識枠42内の垂直方向の中心線に対す
る左右の対称性を検出し、最も対称性が高い認識枠42
の位置を前方車位置と決定する様に構成するもので有っ
ても良い。又、他の具体例としては、前記前方車両位置
探索領域41内に、所定の大きさを有する認識枠42を
設け、当該認識枠42を該前方車両位置探索領域41内
で、移動させると共に、その枠42内での水平エッジ成
分を含んでいる画素数と、該認識枠42内の垂直方向の
中心線に対する左右の対称性を検出し、当該左右の対称
度から、前方車領域を表す評価値を設け、該評価値が最
も高い領域を当該前方車位置と決定する様に構成するも
ので有っても良い。
【0045】更には、当該認識枠を該前方車両位置探索
領域内で、移動させると共に、その枠内での水平エッジ
成分を含んでいる画素数が最も多くなると同時に当該認
識枠内の垂直方向の中心線に対する左右の対称性を検出
し、最も対称性が高くなる認識枠位置を前方車位置と決
定する様に構成するもので有っても良い。尚、本発明に
於いては、該画像記録手段1の自車両に於ける設置条件
と画面上における位置から、該画面位置に対応する実際
の大きさが一定であるように、画面上での探索領域や認
識枠の大きさを設定する様にする事が望ましい。
【0046】又、本発明に於いては、当該決定された前
方車の最下部から自車両迄の実際の路面上の距離を求め
る前方車距離算出手段34を設け、前方車位置決定手段
33で求めた前方車の画面上の位置から、路面上での自
車と前方車までの距離とその位置関係を算出する。TV
カメラの設置条件と画面上の位置から該距離と位置関係
を求めることができる。
【0047】以上、説明したように本発明の上記具体例
によれば、自動車に搭載したTVカメラで捉えた入力画
像から、雑音が画像中に多く含まれているような場合で
も、高速に正しく前方車の位置を認識することができ
る。またレーンとの関係も認識出来るようになる。次
に、本発明に係る道路環境認識装置に於ける第2の態様
の具体例を図面を参照しながら以下に説明する。
【0048】図7は、本発明に係る道路環境認識装置の
第2の態様の位置具体例の基本的構成を示すブロックダ
イアグラムであり、図中、TVカメラ等で構成される画
像記録手段1、該画像記録手段1で捉えた画像から、物
体の輪郭線のみを抽出した画像に変換しエッジ画像を作
成するエッジ画像抽出手段2、自車輛に近い路面部分に
対応する画面部分から複数点の標識線候補点を抽出し、
それらの白線を含む標識線候補点の中から標識線を決定
する近方における標識線の決定手段45、近方における
標識線決定手段45で求めた該複数点の位置から標識線
の輪郭線に沿って、遠方の路面部分に対応する画面領域
内で該標識線を追跡延長することにより標識線位置を決
定する遠方における標識線の追跡手段46及び実際の路
面上での標識線位置を算出する標識線位置算出手段47
とで構成されたもので有る。
【0049】つまり、本発明に係る第2の態様に於いて
は、白線、黄色線を含む標識線を、容易に且つ確実に認
識する為の道路環境認識装置を開示するもので有って、
具体的には、TVカメラ等で構成される画像記録手段1
で捉えた画像をエッジ画像抽出手段2で物体の輪郭線の
みを抽出した画像に変換し、近方における標識線の決定
手段45で自動車に近い路面部分に対応する画面部分か
ら複数点の標識線候補点を抽出し、それらの標識線候補
点の中から標識線を決定した後、遠方における標識線の
追跡手段46で近方における標識線の決定手段45で求
めた該複数点の位置から標識線の輪郭線に沿って、遠方
の路面部分に対応する画面領域内で標識線を追跡するこ
とにより標識線位置を決定し、最後に標識線位置算出手
段47で実際の路面上での標識線位置を算出するもので
ある。
【0050】図7の構成を実現するために、本発明に於
ける第2の態様に於ける一具体例に於いては、図8に示
される様に、自車輛に近い路面部分に対応する道路画面
5上で、且つ画面縦方向に複数の標識線候補点51が取
れる領域でかつ、この領域の画面中央縦線52から左側
の領域を第1の領域A、右側の領域を領域第2の領域
B、自動車から遠い路面部分に対応する画面領域を第3
の領域Cとする3つの画面領域に分割し、第1の領域A
では左方向に、第2の領域Bでは右方向に標識線候補点
を探索することにより、第1の領域A、第2の領域Bに
おいて標識線を決定し、第3の領域Cでは第1の領域
A、第2の領域Bでの標識線位置から標識線部分を追跡
して、標識線を順次決定する様に演算処理を実行するも
のである。
【0051】まず第1の領域A、第2の領域Bにおいて
標識線を決定するのは、画面手前のほうが遠方よりも標
識線幅に対する画素数も多くエッジの状態も良く、前方
車などの障害物の混入も少ないからである。 また第1
の領域A、第2の領域Bを広めに指定して標識線候補点
の個数を多く抽出することで、前方車の輪郭線による標
識線候補点が入っていても、誤った標識線候補点を除
き、正しく標識線が認識できる。また標識線が破線の場
合にも、第1の領域A、第2の領域Bの縦方向の長さを
破線間の長さ以上に設定すれば標識線を抽出することが
可能となる。
【0052】第3の領域Cで標識線が追跡によって求め
るのは、遠方では前方車などの障害物が混入する確率が
高く、標識線の曲がりも大きくなるために、画面中央か
らの探索では標識線を認識できないためである。つま
り、本発明に係る該第2の態様に於ける具体的構成とし
ては、自動車に搭載した画像記録手段1により記録され
た道路画像5から、物体の輪郭線のみを抽出したエッジ
画像を作成し、該エッジ画像から、道路に表示された標
識線6を検出して認識するに際し、該エッジ画像におけ
る自車両に近い路面部分に対応する領域の相当する画像
画面部分の略中央部分から2つの領域に分割せしめ、当
該画像画面部分の略中央部分から左側の領域を第1の領
域Aとすると共に、右側の領域を第2の領域Bとなし、
且つ自車両から遠い当該画像画面部分における路面部分
に対応する画面領域を第3の領域Cとする画面領域に分
割し、該第1の領域Aでは該中央部分付近から左方向
に、又該第2の領域Bでは該中央部分付近から右方向に
複数の標識線候補点を探索することにより、該第1の領
域A及び第2の領域Bにおいて標識線を決定し、又該第
3の領域Cでは該第1と第2の領域A、Bで探索された
標識線位置から該標識線を延長、追跡して標識線を順
次、探索し決定する様に構成されている道路環境認識装
置である。
【0053】本具体例に於いて、前記第1の領域Aと第
2の領域Bに於いて、中央部からそれぞれ反対方向に画
素値の検出走査を実行するが、検出走査は、第1の領域
Aと第2の領域Bに於いて互いに同期させて実行される
ものである。本発明に係る上記具体例に於いては、該画
像記録手段1により記録された道路画像5から、物体の
輪郭線のみを抽出したエッジ画像を作成するに際し、全
画面領域でエッジ画像を作成する。
【0054】該道路画像を構成する画素群を、前述した
所定の空間フィルターを用いて水平方向に走査しなが
ら、各画素値の垂直方向のエッジ成分の絶対値を求め、
該各画素値の絶対値が、予め定められたしきい値を越え
る画素部分を標識線等のエッジ点と決定する様に構成さ
れているものである。次に、本発明に係る道路環境認識
装置の第2の態様に於ける標識線の認識方法の具体例を
図9から図20を参照しながら詳細に説明する。
【0055】図9は、本具体例を構成するブロックダイ
アグラムが示されており、特に前記した図7に於けるブ
ロックダイアグラムに対して、近方における標識線の決
定手段45の構成がより詳しく説明されている。つま
り、本具体例に於いては、近方における標識線の決定手
段45は、白線を含む標識線候補抽出手段53、レーン
幅による検証手段54、標識線決定手段55及び標識線
補間手段56とから構成されたものである。
【0056】図9の構成に於ける操作手順を図10のフ
ローチャートに従って説明するならば、TVカメラを含
む画像記録手段1で捉えた画像5をエッジ画像抽出手段
2で物体の輪郭線のみを抽出した画像に変換した後、ス
テップ(1)に於いて、図8に示す様に、標識線候補点
抽出手段53で第1の領域A、第2の領域Bそれぞれに
おいて、複数の標識線候補点51を抽出する。更に、ス
テップ(2)に於いて、第1の領域A、第2の領域Bの
標識線候補点51の結果からレーン幅による検証手段5
4で、特に標識線6である可能性の高い点(有力な標識
線候補点57と称する)を選び、ステップ(3)に於い
て、標識線決定手段55で該標識線候補点51の連続性
や有力な標識線候補点57を含む割合などから実際の標
識線6を決定する。
【0057】又、TVカメラ等の画像記録手段1からの
距離が最も近い画面上の水平線を画面上の最近線58と
すると、この決定した標識線6が最近線58上まで求め
られなかった場合や、第1の領域A、第2の領域Bのど
ちらかしか標識線6を決定できなかった場合には、ステ
ップ(4)において、標識線補間手段56で標識線6を
補間して当該標識線を決定する様に構成しても良い。
【0058】そしてステップ(5)に於いては、遠方へ
の標識線追跡手段46で第3の領域C内に於いて、第1
の領域A及び/又は第2の領域Bに於いて求められた標
識線6を上方向へ追跡しながら延長して、遠方位置の標
識線も決定する。更に、標識線位置算出手段47で実際
の路面上での標識線位置を算出する。上記した本発明の
第2の態様に於ける具体例に於いて、エッジ画像抽出手
段2では、本発明に係る第1の態様に於いて説明したと
同様に、濃淡画像からエッジ検出用の空間フィルタ処理
を行うことにより、物体の輪郭線のみを抽出したエッジ
画像を得る。エッジ検出用の空間フィルタ処理はいくつ
かあるが、図6に示される様なSOBELオペレータに
よる方法が一例として採用出来、本具体例に於いては、
図6(a) に示された垂直方向のエッジの検出オペレータ
を用いるものである。
【0059】即ち、道路画像における標識線の輪郭を認
識する場合には、垂直方向のエッジが最も重要であるか
らであり、特に高速道路の場合、道路の曲率から垂直エ
ッジしか問題にならない場合が多い。図6(a) の空間フ
ィルタ処理による垂直エッジ値の絶対値が予め定めたし
きい値を越えている画素で、正のエッジ値をとるものを
正エッジ、負の値をとるものを負エッジと呼ぶ。
【0060】即ち、濃淡画像に於いて、画素値が画面右
方向に向かって高い値から低い値になる時で、かつ高い
値と低い値の濃度差が予め定められたしきい値より大き
な値となる点が正エッジ、低い値から高い値になる時
で、かつ低い値と高い値との濃度差が予め定められたし
きい値より大きな値となる点が負エッジとなる。正負の
エッジのみを抽出した画像の例は図11のようになる。
【0061】つまり、本発明に係る画像処理に於いて
は、一つの画素値を0〜255の256段階のレベルで
表示しており、標識線として例えば白線を認識しようと
する場合には、0を黒、255を白と定め、その間をレ
ベル値の異なる灰色に設定している。従って、今、図1
1に示す様に、道路画像5の中央部から左右方向に水平
に各画素を走査して行き、白線のエッジ部分に相当する
画素の画素値が検出されると画素値は高くなり、正エッ
ジSが発生し、又白線から離反する他のエッジ部分に相
当する画素の画素値は低くなり負エッジFが発生する事
になる。
【0062】図12は、係る検出状態を示したものであ
る。即ち、本発明に係る上記具体例に於いては、当該エ
ッジ画像は、該所定の空間フィルターを用いて得られた
画素値が、正となる複数の正エッジと、該画素値が、負
となる複数の負エッジとから構成されるものであり、又
標識線を認識する方法としては、該第1の領域A、及び
第2の領域Bのそれぞれに於いて、当該エッジ画像を水
平方向に走査する場合に、一走査中に少なくとも隣接す
る2個のエッジ部分が存在しており、且つ該互いに隣接
する2個のエッジ部分の一方が正エッジであり又他方が
負エッジである場合であって、両エッジ間の間隔mが、
予め設定された標識線の幅Mの範囲内の間隔を有してい
る場合に、当該正負エッジ若しくはその両者の間の任意
の点を標識線候補点51として抽出する様に構成されて
いる。
【0063】本発明に於ける具体例に於いては、標識線
候補点抽出手段53によって、複数の標識線候補点51
が抽出される。係る操作は、第2の領域Bについても同
様なので、第1の領域Aについてのみ説明する。図12
に示すように探索領域内で水平方向で左方向の探索方向
に沿って、標識線の特徴を持った標識線候補点51を探
索する。
【0064】水平方向の探索において正エッジS、負エ
ッジFの順でエッジが得られ、かつエッジ間の画素の間
隔mが、予め設定した標識線幅Mの範囲内に入っている
場合、標識線候補点51とする。自動車に搭載したTV
カメラの取り付け位置の高さ・俯角等は既知であり、実
際の路面上での距離から、画面上の距離に変換すること
ができ、実際の標識線幅Mに相当する画面上での幅を用
いて検証を行うことが標識線を認識するのに有効であ
る。
【0065】尚、第2の領域Bの場合は、エッジの出て
くる順番は負エッジ、正エッジの順となる。次に、本発
明に於けるレーン幅による検証手段54では、図13に
示す様に、第1の領域A、第2の領域Bで得られた同じ
水平軸上の左右の標識線候補点間51、57の間隔dが
予め設定したレーン幅Dに対して所定の許容範囲内であ
る場合、これら左右の候補点51と57は特に標識線6
である可能性の高い点であるとし、有力な標識線候補点
51’57’とする。
【0066】標識線決定手段55での処理のフローチャ
ートを図14に示す。尚、係る操作フローチャートは、
第1の領域A、第2の領域Bとも同じ処理である。該標
識線決定手段55に於いては、前記した工程迄で、一応
の白線を含む標識線を認識しえる候補部分が検出された
ので、当該標識線候補部分を実際の標識線と認められる
か否かを判断しようとするもので有る。
【0067】つまり、実際の道路上に設けられている白
線等の標識線は、連続状のもの、破線状のもの、横断歩
道、若しくは車間距離を確認する為のマーク等種々存在
しており、又それらの幅もそれぞれ異なっている。即
ち、当該標識線の幅が細線の場合は、連続線か破線の場
合が多く、然も比較的長い実線部分の長さを持っている
が、当該標識線の幅が太線の場合は、合流車線や登坂車
線のような短い破線の場合が多い為、連続性による標識
線の決定が難しい場合が多い。
【0068】その為、本発明に係る上記具体例に於いて
は、まず、スタート後、ステップ(100)に於いて、
当該標識線の幅が太線か細線かの判断を行い、当該標識
線の幅が細い場合には、即ちステップ(100)でNO
の場合、後述するステップ(101)をスキップしてス
テップ(102)に進み、当該ステップ(102)に於
いて、その標識線を連続性を持った標識線候補として採
用するが、ステップ(100)に於いて当該標識線の幅
が太い場合、即ちステップ(100)でYESの場合に
は、ステップ(101)に進み、、当該標識線の幅が太
い太線のみの標識線候補点間を補間した点も標識線候補
点とする。
【0069】次いで、ステップ(102)に進み、当該
標識線候補点の連続性に基づいて標識線候補を決定す
る。具体的には、図15に示される様に、例えば、第1
の領域Aを示すエッジ画像に於いて、3個の標識線候補
点51を含んだ第1の標識線候補点群60と当該第1の
標識線候補点群60の長手方向の軸線上若しくはその近
傍に、該第1の標識線候補点群60とは分離された形
で、3個の標識線候補点51を含んだ第2の標識線候補
点群61が存在している事が確認された場合、両標識線
候補点群60、61の間の部分62に標識線候補点51
を適宜追加して補間し、その全体が連続しているものと
見做せる様にするもので有る。
【0070】つまり、該第1及び第2の各領域A、Bに
おいて求められた、標識線候補点のうち、当該標識線の
幅が太線か細線かを判別し、太線の場合は太線のみの標
識線候補点間を、一定間隔で補間した点も標識線候補点
とするもので有る。又、本発明に係る具体例の他の例と
しては、図16に示す様に、上記の手順により求められ
たこれらの候補点51を実際の路面上の座標系の上にプ
ロットし、長手方向に隣接する、つまり、たて方向にと
なりあった他の標識線候補点51との位置のずれが、予
め設定されたしきい値より小さく、かつ隣接する標識線
候補点51の標識線幅の差が予め設定された範囲以下で
ある標識線候補点同士を連結していき、この連結数が予
め設定した個数以上になれば、その標識線候補点の集合
を標識線候補63とする。
【0071】即ち、本具体例に於いては、該第1及び第
2の各領域A、Bのそれぞれにおいて求められた、道路
の長手方向に隣接する複数の標識線候補点若しくは複数
組の標識線候補点群間の相互間の位置のずれが予め設定
されたしきい値よりも小さく、且つ隣接する該標識線候
補点若しくは標識線候補点群間同志の標識線の幅の差が
予め設定された範囲以下である標識線候補点同士を連結
していき、この連結される該標識線候補点の数が予め設
定した個数以上になった場合には、当該標識線候補点の
集合、若しくは標識線候補点群の集合を標識線候補とす
る様に構成されているものである。
【0072】更に、本発明に於いては、該第1及び第2
の各領域A、Bのそれぞれにおいて求められた、道路の
長手方向に隣接する複数個の標識線候補点群の内に、前
記した有力な標識線候補点の数が予め設定した個数以上
含まれている場合には、当該標識線候補点群の集合を標
識線候補とする様にする事も可能である。続いて、ステ
ップ(103)に於いては、このようにして得た標識線
候補のうち、有力な標識線候補点が予め設定した個数
(N)以上含んでいるか否か、が判断され、有力な標識
線候補点が予め設定した個数(N)以上含んでいる場合
は、その標識線候補を標識線6と決定する。
【0073】例えば図16においてN=3の場合は標識
線候補63は、標識線6とは判断されないが、標識線候
補64は、有力な標識線候補点51’を3個数含んでい
ので、標識線6となる(ステップ(105))。もし有
力な標識線候補点51’を3個以上含んだ標識線候補6
3が複数存在した場合は、ステップ(104)に於い
て、図15と同じ方法で両標識線候補63、64間を適
宜補間し、全体を標識線6と決定する。
【0074】もし、有力な標識線候補点51’をN個以
上含んだ標識線候補が存在しない場合は、ステップ(1
06)に於いて、候補点の個数が最も多い標識線候補を
標識線6と決定する。つまり、本発明に係る上記具体例
に於いては、該第1及び第2の各領域A、Bのそれぞれ
において求められた、道路の長手方向に隣接する複数個
の標識線候補点群の内に、前記した有力な標識線候補点
の数が予め設定した個数以上含まれている標識線候補点
群が複数個存在する場合、当該標識線候補点群間を補間
して標識線を決定する様にしても良く、又該第1及び第
2の各領域A、Bのそれぞれにおいて求められた複数個
の標識線候補の内で、標識線候補点の個数が最も多い標
識線候補を標識線として決定する様にしても良い。
【0075】本発明に於ける標識線補間手段56では、
TVカメラ等の画像記録手段1からの距離が最も近い画
面上の水平線を画面上の最近線58とすると、第1の領
域A、第2の領域Bそれぞれにおいて、決定した標識線
6が画面上の最近線58と共通点を持たない場合には、
図17に示す様に、得られた標識線部分6から最近線5
8に向かって引いた延長線を以てその間を補間し、その
全体を標識線6とする事も出来る。
【0076】一方、本発明に係る上記具体例に於いて、
第1の領域Aまたは第2の領域Bのどちらかで標識線6
が決定できなかった場合、図18に示す様に、標識線の
決定できた方の領域の、標識線6中の標識線候補点51
から標識線のレーン幅の距離Dを用いて、他方領域での
点51”を補完することで標識線6を決定する事も可能
である。
【0077】係る処理により、片側の標識線6がかすれ
ているなどの要因で認識できないような場合でも、標識
線6の位置を決定することができる。また前方車10が
片側の標識線6を隠すような場合にもその標識線6を認
識することができる。つまり、本発明に於いて、該第1
及び第2の各領域A、Bの何れかの領域において、標識
線を決定出来なかった場合には、標識線を決定できた一
方の当該領域の標識線中の標識線候補点から、予め設定
された標識線のレーン幅の距離だけ離れた他方の当該領
域の点を標識線候補点と見做し、係る見做し標識線候補
点間を補間した線を標識線として決定するものである。
【0078】更に、本発明に於いて、遠方への追跡手段
46では、上記した方法により決定した第1の領域A、
第2の領域Bの標識線6を第3の領域Cの上方向に延長
して追跡するもので有る。即ち、第1の領域A、第2の
領域Bそれぞれで決定した標識線に対し、図19に示さ
れている様に、標識線6の輪郭線である正負のエッジ
S、Fに沿って、上方向に追跡していく。
【0079】又、第1の領域A、第2の領域Bで得られ
た標識線6が破線の場合などエッジが途切れて追跡が中
止されるような場合は、図20に示される様に、予め認
識された破線6’の探索領域だけ延長して、新たな探索
領域70を形成し、認識できた標識線部分6’の延長線
方向に標識線候補点抽出と同じ方法で標識線6を探索
し、標識線6”が見つかれば再びエッジを追跡する様に
構成しても良い。
【0080】更に、本発明に於ける上記具体例に於いて
は、前記した標識線決定手段55で有力な標識線候補点
を検出する構成に替えて、標識線候補点の個数が最も多
い標識線候補点を標識線と決定する事も望ましい。又、
上記標識線決定手段55や標識線補間手段56で標識線
幅やレーン幅を予め設定したしきい値ではなく、前の画
面に求めたそれぞれの値を用いて検証を行う事も可能で
ある。
【0081】尚、以上説明した具体例に於いては、捉え
た画面の上端が最も遠方となるTVカメラの設置方法を
前提として説明したが、勿論、本発明はTVカメラの設
置方向にはよらず、成立するものである。以上説明した
様に、本発明の上記具体例によれば前方に車が存在した
り標識線が破線の場合でも、道路画像から標識線を認識
することが可能となる。また影が混入する道路画像でも
標識線を認識することが可能となる。
【0082】次に、本発明に係る道路環境認識装置の第
3の態様に関する具体例を以下に説明する。即ち、本発
明は、走行する自動車に搭載したTVカメラ等からなる
画像記録手段1で捉えた画像から、上記のような如何な
る状況でも標識線及び前方車輌とを認識できる装置を提
供するものであることは、既に説明した通りであり、係
る目的をより正確に且つ確実に達成する為に以下の構成
からなる道路環境認識装置が提供されるのである。
【0083】つまり、本発明に係る第3の態様の道路環
境認識装置では、前記した第1及び第2の態様で使用し
た道路環境認識装置と基本的構成が同一である道路環境
認識装置を用いるもので有って、特に、自動車に搭載し
た画像記録手段1により得られる道路画像5から、物体
の輪郭線のみを抽出したエッジ画像を作成するに際し、
当該画像記録手段1により得られる道路画像5に残像効
果付与処理を実行した後、該エッジ画像を作成する様に
構成したもので有る。
【0084】本発明に於ける該残像効果付与処理として
は、特に限定されるものではないが、例えば当該残像効
果付与処理は、該画像記録手段1により得られる複数の
連続した道路画像5に平滑化処理を施すものであっても
良く、具体的には、例えば、自動車に搭載した画像記録
手段1に逐次的に得られる複数枚の道路画像5に於ける
第1の道路画像と該第1の道路画像に続いて得られる第
2の道路画像とを対比させ、両道路画像に於ける、同一
の座標位置が示す画素値の差が予め設定した範囲内なら
ば、当該第1の道路画像の画素値を変更せず、該第1の
道路画像と該第2の道路画像とに於ける、同一の座標位
置が示す画素値の差が予め設定した範囲外で有る場合に
は、当該第1の道路画像の画素値を予め設定した所定の
値だけ該第2の道路画像の画素値に近づける演算処理を
実行して、当該第1の道路画像の画素値を更新する操作
を実行し、更に係る操作を繰り返すことにより平滑化画
像を作成し、該平滑化画像に基づいて、前記した第1及
び第2の態様に於いて説明した各種の画像処理を実行す
る様にしたものである。
【0085】又、本発明の該具体例に於いて、該第1の
道路画像と該第2の道路画像とに於ける、同一の座標位
置が示す画素値の差が予め設定した範囲外で有る場合に
は、当該第1の道路画像の画素値を前記した両画像の画
素値の差に対して予め設定した所定の割合だけ該第2の
道路画像の画素値に近づける様な演算処理を実行するも
のであっても良い。
【0086】本発明に於ける第3の態様に於いては、当
該道路環境認識装置には、前記した前方車輌認識システ
ムと標識線認識システムの双方が同時に搭載されている
もので有っても良い。図21は、本発明に係る第3の態
様に関する道路環境認識装置の構成例を示す概略ブロッ
クダイアグラムである。
【0087】つまり、本具体例に於ける道路環境認識装
置は、画像記録手段1、該画像記録手段1により記録さ
れた当該画像に対して上記した様な平滑化画像処理を実
行する平滑化画像抽出手段200、該平滑化画像抽出手
段200の出力から、垂直エッジ画像を形成する垂直エ
ッジ画像抽出手段301、該垂直エッジ画像抽出手段3
01の出力から標識線を認識する標識線認識手段302
及び標識線位置算出手段4で構成された標識線認識処理
回路部400と、前記平滑化画像抽出手段200の出力
から水平エッジ画像を形成する水平エッジ画像抽出手段
303、該水平エッジ画像抽出手段303の出力から前
方車輌の位置を認識する前方車輌認識手段304及び前
方車輌認識手段304の出力を利用して、当該前方車輌
迄の距離を算出する前方車輌距離算出手段305で構成
された前方車輌認識処理回路部500とから構成されて
いる。
【0088】処で、垂直エッジ画像抽出手段301の代
わりに、標識線の色に関する画素データを利用して、2
値化した画像を作成し、当該2値化画像から白線を認識
する方法もある。又、図21に於ける標識線認識手段3
02は、前記した第2の態様に於いて使用された標識線
候補抽出手段53、レーン幅による検証手段54、標識
線決定手段55、標識線補間手段56及び遠方への標識
線追跡手段46で構成されたもので有っても良い。
【0089】更に、図21に於ける前方車輌認識手段3
04は、前記した第1の態様に於いて使用されている、
前方車輌の最下部決定手段31、前方車輌の探索領域決
定手段32、前方車輌位置決定手段33を含むもので有
っても良い。次に、本具体例に於ける平滑化画像抽出手
段200の構成及びその作用に付いて図22を参照しな
がら説明する。
【0090】図21に示す様に、本具体例に於いては、
TVカメラ等の画像記録手段1で捉えた画像を平滑化画
像抽出部200で、影などの雑音を消去し、又標識線例
えば白線の破線部が補間された画像が形成され、当該処
理画像から垂直エッジ画像が垂直エッジ画像抽出手段3
01で抽出される。一方、TVカメラ等の画像記録手段
1で捉えた画像を平滑化画像抽出部200で、影などの
雑音を消去した画像が形成され、当該処理画像から水平
エッジ画像が水平エッジ画像抽出手段303で抽出され
る。
【0091】特に本具体例に於いて、上記した平滑化画
像処理を行う事によって、自車との相対速度差が小さい
もの、画面上での移動が小さいかまたは停止している物
体のみを抽出し、エッジ画像抽出手段、特に303に於
いて前方車輌の輪郭線のみを抽出した画像を抽出し、前
方車認識手段304で水平方向に予め設定した長さをも
つ探索線を設け、自動車に近い路面部分における画面上
から遠方に向かって該探索線を移動させ、該探索線上の
エッジの状態が予め設定した条件を満たした場合、該探
索線を前方車の最下部と決定し、前方車距離算出手段3
05で前方車までの距離を算出する。
【0092】本発明における上記画像平滑化処理の一例
としては、図22に示された様な手段を用いるもので有
る。つまり、画像平滑化処理手段200に於いては、入
力画像データ601と平滑化画像データ602とが使用
されるもので有る。此処で、入力画像データ601は、
逐次画像記録手段1から、適宜のサンプリングタイミン
グに同期して入力されてくる新しい画像データであり、
又平滑化画像データ602は基準となる画像データであ
って、最初のステップに於いては、該画像記録手段1で
最初に形成された画像データがこれに相当するので、第
1の画像データと言う。
【0093】これに対して前記の入力画像データは、第
2の画像データと言う。そこで、先ずステップ(1)で
は、第1のサンプリングタイミングに於いて、当該画像
記録手段1に於いて第1の画像データ602を形成して
これを適宜のメモリに格納しておく。ステップ(2)で
は、第2のサンプリングタイミングで、当該画像記録手
段1に於いて第2の画像データ601を形成してこれを
適宜のメモリに格納する。
【0094】ステップ(3)に於いては、当該第1と第
2の画像データ601と602を比較し、当該第1の画
像データ602と第2の画像データ601に於ける同じ
座標位置の画素値の差が予め設定した範囲内ならば、平
滑化画像、即ち第1の画像602の画素値を変更せず、
該第1の画像の画像データをそのまま出力画像データ6
03として出力する。
【0095】一方、該第1の画像データ602と第2の
画像データ601に於ける同じ座標位置の画素値の差が
予め設定した範囲外ならば、該第1の画像データ602
の画素値を予め設定した固定値だけ当該第2の画像デー
タの画素値に近づけた画素値で更新することで出力画像
データ603を作成する。以下、係る操作が繰り返され
ることにより平滑化画像データが絶えず更新されながら
残存効果を示す画像がえられる事になる。
【0096】図22に示されている様に、今、該第1の
画像データ602に於けるあるアドレスでの画素値がi
であり、第2の画像手段601に於ける同一アドレスで
の画素値がjである場合、j<i−α である場合に
は、当該出力画像データ603の同一アドレスに於ける
画素値kをk=i−β に設定し、又i−α<j<i+
α である場合には、当該出力画像データ603の同一
アドレスに於ける画素値kをk=iに設定し、又i+α
<j である場合には、当該出力画像データ603の同
一アドレスに於ける画素値kをk=i+β に設定する
ものである。
【0097】ここで、i、j、kは同一の座標に於ける
画素値を示し、又、α、βは予め設定された値であって
α>βの関係にあるものとする。つまり、本発明にか
かる上記の画像平滑化処理に於いては、第1の画像デー
タ602と第2の画像データ601の画素値の差が小さ
いところだけが、はっきりと抽出され、該画素値の差が
大きいところは、ぼやけて消去される。すなわち画面上
での動きが小さいまたは停止しているところだけが、は
っきりと抽出され、画面上での動きが大きいところは、
ぼやけて消去される。
【0098】風景の影などは、自車との相対速度差が大
きいため、該平滑化画像ではこれらの影は消去される。
白線は、影などと同じく自車との相対速度差は大きい
が、白線は画面上での変化が少なく抽出することができ
る。白線が破線の場合でも、連続的に画面上の同じ位置
を流れるように移動するので破線が補間され、白線が連
続線になった平滑化画像が得られる。
【0099】前方を走行している自動車は、自車との相
対速度差が小さいため、画面上では移動が小さいので抽
出することができる。以上、述べたように平滑化画像抽
出手段200では、影などの雑音は除去された白線認識
及び前方車認識し易い画像を得ることができる。本具体
例に於いては、平滑化画像抽出手段200で上記した
残存効果を与える平滑化画像処理を実行する事によって
図23に示される様な画像が得られる。
【0100】図23では、影などの雑音は消去され、白
線は破線が補間され連続線となり、その他の物体は前方
車だけが自車との相対速度が小さいため抽出された画像
を得ることができる。又、本発明の具体例として、該平
滑化画像抽出手段200で第1と第2の画像データ60
2と601での同じ座標位置の画素値の差が予め設定し
た範囲外のとき、平滑化画像の画素値を予め設定した固
定値だけ入力画像に近づけた画素値で更新するのではな
く、該差の予め設定した割合だけ入力画像に近づけた画
素値で更新することを繰り返すことにより平滑化画像を
作成する方法も可能である。
【0101】更に、本発明に於ける他の具体例として
は、路面の状況と、前方車との認識処理を同時に処理す
る構成として図24に示すブロックダイアグラムからな
る構成を採用した道路環境認識装置とする事も出来る。
係る具体例では、例えば、図31に示す様に、TVカメ
ラ1で捉えた画像を平滑化画像抽出手段700で影など
の雑音を除去し、白線破線の補間効果を利用して、白線
破線が連続線になった画像を抽出し、色抽出手段701
で、例えば白色の部分のみを抽出し、白線認識手段70
2で特定レーンの白線位置を決定する。該白線認識処理
については図21で説明したものと同一で有っても良
い。
【0102】この白線認識を行った同じ平滑化画像に対
し、水平エッジ画像抽出手段703で前方車輌物体の輪
郭線のみを抽出した画像を抽出し、前方車認識手段70
4で前記白線認識手段702で求めた特定レーンの領域
内で前方車を認識する様に構成したものである。そし
て、前方車距離算出手段705で前方車までの距離を算
出する。該前方車認識704での処理内容は図21の場
合と同じである。
【0103】係る具体例に於いては、特定レーンを予め
設定することで道路外の風景や雑音を除去して、より高
い精度で前方車が認識でき、また特定レーン内の前方車
のみを認識することができる。又、他の具体例として
は、図24の変形となるが、図25に示す様に、TVカ
メラ1で捉えた画像を垂直エッジ画像抽出手段301で
物体の輪郭線のみを抽出した画像を抽出し、白線認識手
段302で特定レーンの白線位置を決定する。該白線認
識処理については、上記した第2の態様に於ける具体例
で説明した処理方法を使用する事が可能である。
【0104】一方、TVカメラ1で捉えた同じ画像に対
し、平滑化画像抽出手段200で影などの雑音を除去し
た画像を抽出し、水平エッジ画像抽出手段303で物体
の輪郭線のみを抽出した画像を抽出し、前方車認識手段
304で白線認識手段302で求めた特定レーンの領域
内で前方車を認識し、前方車距離算出手段305で前方
車までの距離を算出する。該前方車認識手段304での
処理内容は図21の場合と同じである。
【0105】本具体例に於いても、前記具体例の場合と
同様、特定レーンを決定することが出来、道路外の風景
や雑音を除去して、より高い精度で前方車が認識でき、
また特定レーン内の前方車のみを認識することができ
る。又、更に他の具体例としては、図25の変形となる
が、図32に示す様に、TVカメラ1で捉えた画像をエ
ッジ画像抽出手段2で物体の輪郭線のみを抽出した画像
を抽出し、白線認識手段302で特定レーンの白線位置
を決定する。該白線認識処理については、上記した第2
の態様に於ける具体例で説明した処理方法を使用する事
が可能である。
【0106】一方、TVカメラ1で捉えた同じ画像に対
し、平滑化画像抽出手段200で影などの雑音を除去し
た画像を抽出し、水平エッジ画像抽出手段303で物体
の輪郭線のみを抽出した画像を抽出し、前方車最下部決
定手段800で白線認識手段302で求めた特定レーン
の領域内で前方車の最下部を決定する。 該前方車最下
部決定手段800での処理内容は、第1の態様で使用さ
れている前方車最下部決定手段31を使用することが可
能である。
【0107】この様にして求めた前方車の最下部から、
前方車認識手段304に於いて、該エッジ画像抽出手段
2からの画像中で前方車の位置を決定し、前方車距離抽
出手段305で前方車までの距離を算出する。該前方車
認識手段304での処理内容は図21の場合と同じであ
る。本具体例に於いても、前記具体例の場合と同様、特
定レーンを決定することが出来、道路外の風景や雑音を
除去して、より高い精度で前方車が認識でき、また特定
レーン内の前方車のみを認識することができる。
【0108】以上、捉えた画面の上端が最も遠方となる
TVカメラの設置で、実施例などを示したが勿論、本発
明はTVカメラの設置方向にはよらず、成立するもので
ある。
【0109】
【発明の効果】以上、説明したように本発明によれば、
自動車に搭載したTVカメラ等の画像記録手段で捉えた
入力画像から、影などの雑音が画像中に多く含まれてい
るような場合でも、容易に且つ正確に標識線である白
線、黄色線、或いは破線等の位置を認識でき、かつ前方
車の位置を正しく認識することができるので、安全運転
に貢献する多くの正確な情報を得ることが出来る。
【図面の簡単な説明】
【図1】図1は、本発明に係る道路環境認識装置に於け
る第1の態様での前方車認識システムの構成例を示すブ
ロックダイアグラムである。
【図2】図2は、本発明に係る道路環境認識装置に於け
る標識線認識手段を用いた処理結果を説明する図であ
る。
【図3】図3は、本発明に於ける道路環境認識装置で
の、前方車の最下部決定手段における処理方法を説明す
る図である。
【図4】図4は、本発明に係る道路環境認識装置に於け
る前方車の探索領域決定手段に於ける処理方法の一例を
説明する図である。
【図5】図5は、本発明に係る道路環境認識装置に於け
る前方車位置決定手段に於ける処理方法の一例を説明す
る図である。
【図6】図6は、本発明に係る道路環境認識装置に於い
て使用されるエッジ検出用空間フィルタの一例であるS
OBELオペレータを示す図である。
【図7】図7は、本発明に於ける道路環境認識装置に於
ける第2の態様に関する一具体例の構成の概略を示すブ
ロックダイアグラムである。
【図8】図8は、本発明に係る第2の形態における具体
例での標識線認識方法の一例を説明する図である。
【図9】図9は、本発明に係る第2の態様のより具体例
な構成を示すブロックダイアグラムである。
【図10】図10は、本発明に係る第2の態様に於ける
道路環境認識装置の演算処理の流れを示すフローチャー
トである。
【図11】図11は、図7の本発明に係る第2の態様で
の道路環境認識装置に於ける垂直エッジによる画像の例
を示す図である。
【図12】図12は、本発明に係る道路環境認識装置に
於ける標識線の検証方法の一例を示す図である。
【図13】図13は、本発明に係る道路環境認識装置に
於ける標識線の線幅による検証方法の一例を示す図であ
る。
【図14】図14は、本発明に係る第2の態様での道路
環境認識装置で使用される標識線決定手段の操作手順を
示すフローチャートである。
【図15】図15は、本発明に係る第2の態様での道路
環境認識装置で使用される、標識線決定手段における太
線の場合の標識線候補点の補間例を示す図である。
【図16】図16は、本発明に係る第2の態様での道路
環境認識装置で使用される、標識線決定手段における白
線の決定に関する他の例を示す図である。
【図17】図17は、本発明に係る第2の態様での道路
環境認識装置で使用される、標識線補間手段における標
識線の画面上の最近線への延長処理の例をを示す図であ
る。
【図18】図18は、本発明に係る第2の態様での道路
環境認識装置で使用される、標識線補間手段における片
側の認識標識線からの他方の標識線の補完処理の例を示
す図である。
【図19】図19は、本発明に係る第2の態様での道路
環境認識装置で使用される、遠方への白線追跡手段にお
ける標識線のエッジ追跡の例を示す図である。
【図20】図20は、本発明に係る第2の態様での道路
環境認識装置で使用される、遠方への白線追跡手段にお
ける標識線破線に対する探索領域の決定標識線のエッジ
追跡の例を示す図である。
【図21】図21は、本発明に係る第3の態様での道路
環境認識装置で使用される、構成の例を説明するブロッ
クダイアグラムである。
【図22】図22は、本発明に係る第3の態様での道路
環境認識装置で使用される、平滑化画像抽出手段に於け
る平滑化処理の一例を説明する図である。
【図23】図23は、本発明に係る第3の態様での道路
環境認識装置に於いて平滑化画像処理を行って得られた
平滑化画像の一例を示す図である。
【図24】図24は、本発明に係る第3の態様での道路
環境認識装置に関する他の具体例の構成を説明するブロ
ックダイアグラムである。
【図25】図25は、本発明に係る第3の態様での道路
環境認識装置に関する更に他の具体例の構成を説明する
ブロックダイアグラムである。
【図26】図26は、従来に於ける道路環境認識装置で
使用されている標識線認識システムの構成の一例を示す
ブロックダイアグラムである。
【図27】図27は、従来の道路環境認識装置に於いて
道路面に設けられた標識線を認識する方法の例を説明す
る図である。
【図28】図28は、従来の道路環境認識装置に於いて
標識線が認識出来ない場合の例を説明する図である。
【図29】図29は、従来に於ける道路環境認識装置で
使用されている前方車輛認識システムの構成の一例を示
すブロックダイアグラムである。
【図30】図30は、従来の道路環境認識装置に於いて
前方車輛を誤認識する場合の例を説明する図である。
【図31】図31は、図21に示される本発明に係る道
路環境認識装置の他の例に於ける構成の例を説明するブ
ロックダイアグラムである。
【図32】図32は、図21に示される本発明に係る道
路環境認識装置の他の例に於ける構成の例を説明するブ
ロックダイアグラムである。
【符号の説明】
1…画像記録手段 2…エッジ画像抽出手段 3…標識線(白線)候補点抽出手段 4…標識線(白線)位置算出手段 5…道路画像 6、6’、6”…標識線(白線) 7、8…標識線のエッジ部 9、51、57…標識線候補点 10…前方車輛 11…間違って認識した標識線候補点 12…影の部分 20…前方車輛探索手段 21…前方車輛位置抽出手段 30…標識線(白線)認識手段 31…前方車輛の最下部決定手段 32…前方車輛の探索領域決定手段 33…前方車輛位置決定手段 34…前方車輛距離算出手段 37…水平エッジ部 38…探索線 39…前方車輛の最下部 40…レーンの中央線 41…探索領域 42…移動枠体 45…近方に於ける標識線(白線)の決定手段 46…遠方に於ける標識線(白線)の追跡手段 47…標識線(白線)位置算出手段 52…画面中央縦線 53…標識線(白線)候補点抽出手段 54…レーン幅による検証手段 55…標識線(白線)決定手段 56…標識線(白線)補間手段 51’、57’…有力な標識線候補点 58…画面上の最近線 60、61、63、64…標識線(白線)候補 62、51”…補間された標識線(白線)候補点部分 70…破線の探索領域 200、700…平滑化画像抽出手段 301…垂直エッジ画像抽出手段 302、702…標識線(白線)認識手段 303、703…水平エッジ画像抽出手段 304、704…前方車輛認識手段 305、705…前方車輛距離算出手段 400…標識線認識処理回路部 500…前方車輛認識処理回路部 601…入力画像データ 602…平滑化画像データ 603…出力画像データ 701…色抽出手段 800…前方車最下部決定手段

Claims (37)

    【特許請求の範囲】
  1. 【請求項1】 自動車に搭載した画像記録手段により得
    られる道路画像から、物体の輪郭線のみを抽出したエッ
    ジ画像を作成し、該道路画像のエッジ画像に於いて探索
    線を移動させて当該画像中に存在する水平エッジ部分を
    検出するに際して、当該探索線を自車両から遠い路面部
    分に向かう方向に予め定められた範囲で移動させ、該探
    索線の移動に伴って検出される水平エッジ部分の配置状
    態から、自車両の前方を走行している自動車の最下部を
    決定する様に構成されている事を特徴とする道路環境認
    識装置。
  2. 【請求項2】 該道路画像のエッジ画像に於いて探索線
    を移動させて当該画像中に存在する水平エッジ部分を検
    出するに際して、当該探索線を予め設定したサンプリン
    グ間隔で移動させて画素値を抽出し、サンプリングした
    画素のうち水平エッジの成分を含んでいる画素数が予め
    設定した数値以上になれば、該探索線上に存在している
    水平エッジ部分に前方車両の最下部が存在していると判
    断される車両の最下部候補線とする事を特徴とする請求
    項1記載の道路環境認識装置。
  3. 【請求項3】 該探索線を前記車両の最下部候補線か
    ら、自車両から見て、遠い路面部分に向かう方向に予め
    定められた範囲で移動させながら、それぞれの位置で前
    記車両の最下部候補線の有無を判断し、前記探索線の移
    動範囲内に於いて、予め設定した数値以上の該車両の最
    下部候補線が存在している場合に、最初に設定された車
    両の最下部候補線上に、前方車両の最下部が存在してい
    ると判断する事を特徴とする請求項2記載の道路環境認
    識装置。
  4. 【請求項4】 自動車に搭載した画像記録手段により道
    路画像をうる道路画像記録手段、当該道路画像記録手段
    により得られた道路画像から、物体の輪郭線のみを抽出
    したエッジ画像を作成する手段、該エッジ画像に於い
    て、予め設定した探索線を自車両から遠い路面部分に向
    かって移動させながら、探索線上の水平エッジの状態を
    みて、前方車輛と路面との境界線を見つけ出す前方車輛
    の最下部決定手段、該前方車輛の最下部決定手段で決定
    された最下部部分での前方車輛の左右の位置を判断する
    領域を設定する前方車輛の探索領域決定手段、該前方車
    輛の探索領域内の水平エッジ成分の数をカウントするカ
    ウント手段を用い、前方車輛の左右の位置を決定する前
    方車輛位置決定手段とから構成されている事を特徴とす
    る道路環境認識装置。
  5. 【請求項5】 該探索線上に存在する水平エッジ部分
    を、予め設定したサンプリング間隔で画素値を抽出し、
    サンプリングした画素のうち水平エッジの成分を含んで
    いる画素数が予め設定した数値以上になれば、該探索線
    上に存在している水平エッジ部分に前方車両の最下部が
    存在していると判断される車両の最下部候補線と見なす
    手段を設けると共に、当該車両の最下部候補線の数が、
    該探索線の所定の移動範囲内に於いて所定の数以上であ
    れば、最初に該探索線が設定された水平エッジ部分を自
    車両の前方を走行している車両の最下部と判定する判別
    手段とが設けられている事を特徴とする請求項4記載の
    道路環境認識装置。
  6. 【請求項6】 車両の最下部が存在していると判断され
    た当該水平エッジ部分を下辺とする予め設定された高さ
    と幅を有する前方車両位置探索領域を設定する事によ
    り、前方車両位置を探索する様に構成された事を特徴と
    する請求項1乃至5の何れかに記載の道路環境認識装
    置。
  7. 【請求項7】 前記前方車両位置探索領域内の水平エッ
    ジの特徴分布から前方車両位置を探索する様に構成され
    た事を特徴とする請求項6記載の道路環境認識装置。
  8. 【請求項8】 前記前方車両位置探索領域内の水平エッ
    ジに於ける当該水平エッジ成分を含む画素の垂直方向の
    投影値に基づいて当該前方車両位置を探索する様に構成
    された事を特徴とする請求項7記載の道路環境認識装
    置。
  9. 【請求項9】 前記前方車両位置探索領域内に、所定の
    大きさを有する認識枠を設け、当該認識枠を該前方車両
    位置探索領域内で、移動させると共に、その枠内での水
    平エッジ成分を含んでいる画素数が最も多くなる認識枠
    位置を前方車位置と決定する様に構成された事を特徴と
    する請求項7記載の道路環境認識装置。
  10. 【請求項10】 前記前方車両位置探索領域内に、所定
    の大きさを有する認識枠を設け、当該認識枠内の垂直方
    向の中心線に対する左右の対称性を検出し、最も対称性
    が高い認識枠位置を前方車位置と決定する様に構成され
    た事を特徴とする請求項7記載の道路環境認識装置。
  11. 【請求項11】 前記前方車両位置探索領域内に、所定
    の大きさを有する認識枠を設け、当該認識枠を該前方車
    両位置探索領域内で、移動させると共に、その枠内での
    水平エッジ成分を含んでいる画素数と、該認識枠内の垂
    直方向の中心線に対する左右の対称性を検出し、当該左
    右の対称度から、前方車領域を表す評価値を設け、該評
    価値が最も高い領域を当該前方車位置と決定する様に構
    成された事を特徴とする請求項9又は10記載の道路環
    境認識装置。
  12. 【請求項12】 前記前方車両位置探索領域内に、所定
    の大きさを有する認識枠を設け、当該認識枠を該前方車
    両位置探索領域内で、移動させると共に、その枠内での
    水平エッジ成分を含んでいる画素数が最も多くなると同
    時に当該認識枠内の垂直方向の中心線に対する左右の対
    称性を検出し、最も対称性が高くなる認識枠位置を前方
    車位置と決定する様に構成された事を特徴とする請求項
    9又は10記載の道路環境認識装置。
  13. 【請求項13】 該画像記録手段の自車両に於ける設置
    条件と画面上における位置から、該画面位置に対応する
    実際の大きさが一定であるように、画面上での探索領域
    や認識枠の大きさを設定する様にした事を特徴とする請
    求項1乃至12の何れかに記載の道路環境認識装置。
  14. 【請求項14】 当該決定された前方車の最下部から自
    車両迄の実際の路面上の距離を求める手段を設けた事を
    特徴とする請求項1乃至13の何れかに記載の道路環境
    認識装置。
  15. 【請求項15】 該道路環境認識装置は、更に、道路に
    於ける車両の走行レーンを規定する標識線を認識すると
    共に、当該標識線により特定される車両の走行レーン内
    に於いて前方車位置を探索する様に構成されている事を
    特徴とする請求項1乃至14の何れかに記載の道路環境
    認識装置。
  16. 【請求項16】 自動車に搭載した画像記録手段により
    記録された道路画像から、物体の輪郭線のみを抽出した
    エッジ画像を作成し、該エッジ画像から、道路に表示さ
    れた標識線を検出して認識するに際し、該エッジ画像に
    おける自車両に近い路面部分に対応する領域の相当する
    画像画面部分の略中央部分から2つの領域に分割せし
    め、当該画像画面部分の略中央部分から左側の領域を第
    1の領域Aとすると共に、右側の領域を第2の領域Bと
    なし、且つ自車両から遠い当該画像画面部分における路
    面部分に対応する画面領域を第3の領域Cとする画面領
    域に分割し、該第1の領域Aでは該中央部分付近から左
    方向に、又該第2の領域Bでは該中央部分付近から右方
    向に複数の標識線候補点を探索することにより、該第1
    の領域A及び第2の領域Bにおいて標識線を決定し、又
    該第3の領域Cでは該第1と第2の領域A、Bで探索さ
    れた標識線位置から該標識線を延長、追跡して標識線を
    順次、探索し決定する様に構成されている事を特徴とす
    る道路環境認識装置。
  17. 【請求項17】 該画像記録手段により記録された道路
    画像から、物体の輪郭線のみを抽出したエッジ画像を作
    成するに際し、該第1の領域A、第2の領域B及び第3
    の領域Cのそれぞれに於いて、該道路画像を構成する画
    素群を、所定の空間フィルターを用いて水平方向に走査
    しながら、各画素値の絶対値を求め、該各画素値の絶対
    値が、予め定められたしきい値を越える画素部分をエッ
    ジ点と決定する様に構成されている事を特徴とする請求
    項16記載の道路環境認識装置。
  18. 【請求項18】 当該エッジ画像は、該所定の空間フィ
    ルターを用いて得られた画素値が正となりかつ、該画素
    値の絶対値がしきい値より大きな画素値をもつ正エッジ
    と、該画素値が負となり、かつ該画素値の絶対値がしき
    い値より大きな画素値をもつ負エッジとから構成される
    ものである事を特徴とする請求項17記載の道路環境認
    識装置。
  19. 【請求項19】 該第1の領域A、及び第2の領域Bの
    それぞれに於いて、当該エッジ画像を水平方向に走査す
    る場合に、一走査中に少なくとも隣接する2個のエッジ
    部分が存在しており、且つ該互いに隣接する2個のエッ
    ジ部分の一方が正エッジであり又他方が負エッジである
    場合であって、両エッジ間の間隔が、予め設定された幅
    以内の間隔を有している場合に、当該正負エッジ若しく
    はその両者の間の任意の点を標識線候補点として抽出す
    る事を特徴とする請求項18記載の道路環境認識装置。
  20. 【請求項20】 該第1及び第2の各領域A、Bにおい
    て求められた、標識線候補点のうち、一方の領域におけ
    る該標識線の候補点で、他方の領域に於ける当該標識線
    の候補点との間の距離が予め設定したレーン幅範囲内に
    ある標識線候補点を、有力な標識線候補点として決定す
    る事を特徴とする請求項19記載の道路環境認識装置。
  21. 【請求項21】 当該標識線は、白線である事を特徴と
    する請求項16記載の道路環境認識装置。
  22. 【請求項22】 該第1及び第2の各領域A、Bにおい
    て求められた、標識線候補点のうち、当該標識線の幅が
    太線か細線かを判別し、太線の場合は太線のみの標識線
    候補点間を、一定間隔で補間した点も標識線候補点とす
    る事を特徴とする請求項20記載の道路環境認識装置。
  23. 【請求項23】 該第1及び第2の各領域A、Bのそれ
    ぞれにおいて求められた、道路の長手方向に隣接する標
    識線候補点相互間の位置のずれが予め設定されたしきい
    値よりも小さく、且つ隣接する該標識線候補点同志の標
    識線の幅の差が予め設定された範囲以下である標識線候
    補点同士を連結していき、この連結される該標識線候補
    点の数が予め設定した個数以上になった場合には、当該
    標識線候補点の集合を標識線として決定する様に構成さ
    れている事を特徴とする請求項19記載の道路環境認識
    装置。
  24. 【請求項24】 該第1及び第2の各領域A、Bのそれ
    ぞれにおいて求められた、道路の長手方向に隣接する複
    数個の標識線候補点群の内に、前記した有力な標識線候
    補点の数が予め設定した個数以上含まれている場合に
    は、当該標識線候補点群の集合を標識線候補とする様に
    構成されている事を特徴とする請求項20記載の道路環
    境認識装置。
  25. 【請求項25】 該第1及び第2の各領域A、Bのそれ
    ぞれにおいて求められた、道路の長手方向に隣接する複
    数個の標識線候補点群の内に、前記した有力な標識線候
    補点の数が予め設定した個数以上含まれている標識線候
    補点群が複数個存在する場合、当該標識線候補点群間を
    補間して標識線を決定する事を特徴とする請求項24記
    載の道路環境認識装置。
  26. 【請求項26】 該第1及び第2の各領域A、Bのそれ
    ぞれにおいて求められた、複数個の標識線候補の内で、
    標識線候補点の個数が最も多い標識線候補を標識線とし
    て決定する様に構成されている事を特徴とする請求項2
    3記載の道路環境認識装置。
  27. 【請求項27】 該第1及び第2の各領域A、Bの何れ
    かの領域において、標識線を決定出来なかった場合に
    は、標識線を決定できた一方の当該領域の標識線中の標
    識線候補点から、予め設定された標識線のレーン幅の距
    離だけ離れた他方の当該領域の点を標識線候補点と見做
    し、係る見做し標識線候補点間を補間した線を標識線と
    して決定する事を特徴とする請求項16記載の道路環境
    認識装置。
  28. 【請求項28】 該第1及び第2の各領域A、Bのそれ
    ぞれにおいて、画像記録手段からの距離が最も近い画面
    上の水平線を画面上の最近線と定義し、決定された該標
    識線が画面上の当該最近線と共通点を持たない場合に
    は、得られた標識線から該最近線に向かって延長線を引
    くことによって、該標識線を延長する様に構成されてい
    る事を特徴とする請求項16乃至27の何れかに記載の
    道路環境認識装置。
  29. 【請求項29】 該第1及び第2の各領域A、Bのそれ
    ぞれにおいて求められた標識線のエッジ部を追跡しなが
    ら、当該標識線を該第1及び第2の各領域A、Bの上方
    に設けられた第3の領域C内に迄延長させる処理を行う
    事を特徴とする請求項16記載の道路環境認識装置。
  30. 【請求項30】 該第3の領域Cに於ける標識線の追跡
    処理に於いて、当該標識線に破線部が存在する事によっ
    て、当該標識線の追跡が中止される場合、破線の間隔分
    まで標識線を探索する処理を行い、標識線が検出出来た
    場合、その間を補間して、さらに追跡処理を続ける事を
    特徴とする請求項29記載の道路環境認識装置。
  31. 【請求項31】 該画像記録手段の設置条件と実際の標
    識線幅やレーン幅から画面上における画面幅を求め、該
    画面幅を基準値として画面上から標識線を決定する為の
    検証処理を行う事を特徴とする請求項16乃至30の何
    れかに記載の道路環境認識装置。
  32. 【請求項32】 自動車に搭載した画像記録手段により
    得られる道路画像から、物体の輪郭線のみを抽出したエ
    ッジ画像を作成するに際し、当該画像記録手段により得
    られる道路画像に残像効果付与処理を実行した後、該エ
    ッジ画像を作成する事を特徴とする請求項1記載の道路
    環境認識装置。
  33. 【請求項33】 当該残像効果付与処理は、該画像記録
    手段により得られる複数の連続した道路画像に平滑化処
    理を施すものである事を特徴とする請求項32記載の道
    路環境認識装置。
  34. 【請求項34】 自動車に搭載した画像記録手段に逐次
    的に得られる複数枚の道路画像に於ける第1の道路画像
    と該第1の道路画像に続いて得られる第2の道路画像と
    を対比させ、両道路画像に於ける、同一の座標位置が示
    す画素値の差が予め設定した範囲内ならば、当該第1の
    道路画像の画素値を変更せず、該第1の道路画像と該第
    2の道路画像とに於ける、同一の座標位置が示す画素値
    の差が予め設定した範囲外で有る場合には、当該第1の
    道路画像の画素値を予め設定した所定の値だけ該第2の
    道路画像の画素値に近づける演算処理を実行して、当該
    第1の道路画像の画素値を更新する操作を実行し、更に
    係る操作を繰り返すことにより平滑化画像を作成し、該
    平滑化画像に基づいて前記画像処理する事を特徴とする
    請求項33記載の道路環境認識装置。
  35. 【請求項35】 該第1の道路画像と該第2の道路画像
    とに於ける、同一の座標位置が示す画素値の差が予め設
    定した範囲外で有る場合には、当該第1の道路画像の画
    素値を前記した両画像の画素値の差に対して予め設定し
    た所定の割合だけ該第2の道路画像の画素値に近づける
    演算処理を実行するものである事を特徴とする請求項3
    4記載の道路環境認識装置。
  36. 【請求項36】 該平滑化画像を用いて標識線を認識す
    る様に構成されている事を特徴とする請求項32乃至3
    5の何れかに記載の道路環境認識装置。
  37. 【請求項37】 該平滑化画像を用いて前記請求項1乃
    至31の何れかに記載された演算処理を実行するもので
    ある事を特徴とする道路環境認識装置。
JP15513893A 1993-06-25 1993-06-25 道路環境認識装置 Expired - Fee Related JP3169483B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP15513893A JP3169483B2 (ja) 1993-06-25 1993-06-25 道路環境認識装置
US08/234,676 US5555312A (en) 1993-06-25 1994-04-28 Automobile apparatus for road lane and vehicle ahead detection and ranging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15513893A JP3169483B2 (ja) 1993-06-25 1993-06-25 道路環境認識装置

Publications (2)

Publication Number Publication Date
JPH0728975A true JPH0728975A (ja) 1995-01-31
JP3169483B2 JP3169483B2 (ja) 2001-05-28

Family

ID=15599388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15513893A Expired - Fee Related JP3169483B2 (ja) 1993-06-25 1993-06-25 道路環境認識装置

Country Status (2)

Country Link
US (1) US5555312A (ja)
JP (1) JP3169483B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09264954A (ja) * 1996-03-29 1997-10-07 Fujitsu Ten Ltd レーダを用いた画像処理システム
JPH10187930A (ja) * 1996-12-19 1998-07-21 Hitachi Ltd 走行環境認識装置
JPH11326541A (ja) * 1998-05-21 1999-11-26 Nissan Motor Co Ltd 撮像環境推定装置
JPH11328365A (ja) * 1998-05-14 1999-11-30 Toshiba Corp 画像監視装置及びその方法
JP2001175845A (ja) * 1999-12-16 2001-06-29 Nec Corp 車両端検出装置
WO2006118020A1 (ja) * 2005-04-28 2006-11-09 Honda Motor Co., Ltd. 車両及びレーンマーク認識装置
US7612800B2 (en) 2002-06-27 2009-11-03 Kabushiki Kaisha Toshiba Image processing apparatus and method
JP2010170255A (ja) * 2009-01-21 2010-08-05 Denso Corp レーン境界線検出装置、境界線検出プログラム、および逸脱警報装置
JP2015153163A (ja) * 2014-02-14 2015-08-24 株式会社日本自動車部品総合研究所 境界線認識装置
US9710715B2 (en) 2014-12-26 2017-07-18 Ricoh Company, Ltd. Image processing system, image processing device, and image processing method
CN107169464A (zh) * 2017-05-25 2017-09-15 中国农业科学院农业资源与农业区划研究所 一种基于激光点云的道路边界检测方法
JP2021170029A (ja) * 2017-05-19 2021-10-28 パイオニア株式会社 測定装置、測定方法およびプログラム

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7339149B1 (en) * 1993-02-26 2008-03-04 Donnelly Corporation Vehicle headlight control using imaging sensor
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US5434927A (en) * 1993-12-08 1995-07-18 Minnesota Mining And Manufacturing Company Method and apparatus for machine vision classification and tracking
JP3357749B2 (ja) * 1994-07-12 2002-12-16 本田技研工業株式会社 車両の走行路画像処理装置
EP0698860A3 (en) * 1994-08-22 1998-08-05 Matsushita Electric Industrial Co., Ltd. Edge line measuring method
JPH08263784A (ja) * 1995-03-23 1996-10-11 Honda Motor Co Ltd 道路状況認識装置
DE19680415C2 (de) * 1995-04-26 2003-02-06 Hitachi Ltd Bildbearbeitungsvorrichtung für Fahrzeuge
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP3390289B2 (ja) * 1995-06-16 2003-03-24 富士重工業株式会社 警報装置
KR100360322B1 (ko) * 1995-06-22 2003-03-28 나이루스 부힝 가부시키가이샤 다방향 촬영카메라장치
US5684697A (en) * 1995-06-26 1997-11-04 Mullen; Charles H. Driver emulative vehicle control system
JPH0995194A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
JP3351205B2 (ja) * 1995-11-09 2002-11-25 株式会社日立製作所 車両の安全走行制御装置及び制御方法
JP3257410B2 (ja) * 1995-11-24 2002-02-18 トヨタ自動車株式会社 車載走査型レーダ装置
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
JP3556766B2 (ja) * 1996-05-28 2004-08-25 松下電器産業株式会社 道路白線検出装置
US5991427A (en) * 1996-07-31 1999-11-23 Aisin Seiki Kabushiki Kaisha Method and apparatus for detecting a lane on a road
EP0827127B1 (en) * 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and method therefor
JP3577851B2 (ja) * 1996-10-03 2004-10-20 トヨタ自動車株式会社 走行制御装置
IT1284976B1 (it) * 1996-10-17 1998-05-28 Sgs Thomson Microelectronics Metodo per l'identificazione di strisce segnaletiche di corsie stradali
JP3983324B2 (ja) * 1997-01-09 2007-09-26 富士重工業株式会社 車両の走行レーン逸脱防止装置
US5835028A (en) * 1997-05-05 1998-11-10 Bender; Lee Lane marker position sensor and alarm
US6163022A (en) * 1997-05-20 2000-12-19 Matsushita Electric Industrial Co., Ltd. Imaging apparatus, distance measurement apparatus and method for measuring distance
JPH1166488A (ja) * 1997-08-21 1999-03-09 Honda Motor Co Ltd 白線認識装置
DE19743580B4 (de) * 1997-10-02 2004-12-02 Robert Bosch Gmbh Verfahren und Anordnung zur Ermittlung der Lichtverhältnisse in Front eines beweglichen Fahrzeuges, insbesondere vor einem Kraftfahrzeug
FR2770672B1 (fr) * 1997-11-04 2000-01-21 Inst Nat Rech Inf Automat Procede et dispositif de localisation et de guidage d'un mobile muni d'une camera lineaire
US6014595A (en) * 1997-12-23 2000-01-11 Honda Giken Kogyo Kabushiki Kaisha Determination of vehicle assistance from vehicle vibration that results when the vehicle contacts vibration generating structures on the road
JP3219053B2 (ja) * 1998-05-01 2001-10-15 日本電気株式会社 道路領域検出方法及びシステム
JP3307335B2 (ja) * 1998-07-22 2002-07-24 日本電気株式会社 車両領域検出装置及び車両領域検定方法
JP3463858B2 (ja) * 1998-08-27 2003-11-05 矢崎総業株式会社 周辺監視装置及び方法
JP3580475B2 (ja) * 1998-09-14 2004-10-20 矢崎総業株式会社 周辺監視装置
JP3072730B2 (ja) * 1998-10-09 2000-08-07 日本電気株式会社 車両検出方法および装置
KR100326674B1 (ko) * 1999-03-11 2002-03-02 이계안 차량의 차선이탈 경보 방법
JP2000259998A (ja) * 1999-03-12 2000-09-22 Yazaki Corp 車両用後側方監視装置
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3808242B2 (ja) * 1999-07-26 2006-08-09 パイオニア株式会社 画像処理装置、画像処理方法及びナビゲーション装置
JP3853542B2 (ja) * 1999-07-26 2006-12-06 パイオニア株式会社 画像処理装置、画像処理方法及びナビゲーション装置
JP3092804B1 (ja) * 1999-09-22 2000-09-25 富士重工業株式会社 車両用運転支援装置
US6297844B1 (en) 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
US6678394B1 (en) 1999-11-30 2004-01-13 Cognex Technology And Investment Corporation Obstacle detection system
JP4233723B2 (ja) * 2000-02-28 2009-03-04 本田技研工業株式会社 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体
KR100354022B1 (ko) * 2000-04-18 2002-09-27 현대자동차주식회사 차량의 차선 인식 방법
US6701005B1 (en) 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
US7167575B1 (en) 2000-04-29 2007-01-23 Cognex Corporation Video safety detector with projected pattern
US6469734B1 (en) 2000-04-29 2002-10-22 Cognex Corporation Video safety detector with shadow elimination
FR2808588B1 (fr) * 2000-05-05 2002-08-09 Thomson Csf Procede et dispositif de determination de la position d'un vehicule par rapport a une trajectoire ideale
DE10025678B4 (de) * 2000-05-24 2006-10-19 Daimlerchrysler Ag Kamerabasiertes Precrash-Erkennungssystem
US6721644B2 (en) * 2000-08-02 2004-04-13 Alfred B. Levine Vehicle drive override subsystem
US6691015B1 (en) * 2000-08-02 2004-02-10 Alfred B. Levine Vehicle drive overdrive system
JP3671825B2 (ja) * 2000-09-22 2005-07-13 日産自動車株式会社 車間距離推定装置
US6978037B1 (en) * 2000-11-01 2005-12-20 Daimlerchrysler Ag Process for recognition of lane markers using image data
US6819779B1 (en) 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
US6894606B2 (en) 2000-11-22 2005-05-17 Fred Forbes Vehicular black box monitoring system
JP3729095B2 (ja) * 2001-06-29 2005-12-21 日産自動車株式会社 走行路検出装置
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
US6882287B2 (en) 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
US7697027B2 (en) 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
AU2002359172A1 (en) * 2002-01-16 2003-07-30 Autoliv Development Ab A camera arrangement
US8718919B2 (en) * 2002-04-23 2014-05-06 Robert Bosch Gmbh Method and apparatus for lane recognition for a vehicle
DE10218010A1 (de) * 2002-04-23 2003-11-06 Bosch Gmbh Robert Verfahren und Vorrichtung zur Querführungsunterstützung bei Kraftfahrzeugen
ES2391556T3 (es) 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
US7253835B2 (en) * 2002-12-23 2007-08-07 Hrl Laboratories, Llc Method and apparatus for estimating a camera reference horizon
JP3864945B2 (ja) * 2003-09-24 2007-01-10 アイシン精機株式会社 路面走行レーン検出装置
JP3956926B2 (ja) * 2003-09-24 2007-08-08 アイシン精機株式会社 路面走行レーン検出装置
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
US8326084B1 (en) 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
JP3925488B2 (ja) * 2003-11-11 2007-06-06 日産自動車株式会社 車両用画像処理装置
JP4211620B2 (ja) * 2004-01-30 2009-01-21 株式会社デンソー カーナビゲーション装置
JP4376653B2 (ja) * 2004-02-17 2009-12-02 富士重工業株式会社 車外監視装置
US7298867B2 (en) * 2004-02-20 2007-11-20 Lockheed Martin Corporation Component association tracker system and method
US8082101B2 (en) 2004-04-08 2011-12-20 Mobileye Technologies Ltd. Collision warning system
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US7561720B2 (en) * 2004-04-30 2009-07-14 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
JP3722486B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP3722487B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
JP3987057B2 (ja) * 2004-06-14 2007-10-03 本田技研工業株式会社 車両周辺監視装置
DE102004028763A1 (de) * 2004-06-16 2006-01-19 Daimlerchrysler Ag Andockassistent
US7565034B2 (en) * 2004-06-17 2009-07-21 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Determination of a navigation window in an optical navigation system
JP4443327B2 (ja) * 2004-07-01 2010-03-31 パイオニア株式会社 情報表示装置
JP4437714B2 (ja) * 2004-07-15 2010-03-24 三菱電機株式会社 車線認識画像処理装置
DE102004040143A1 (de) * 2004-08-19 2006-02-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerinformation
US7881496B2 (en) 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
DE102004057922A1 (de) * 2004-12-01 2006-06-08 Robert Bosch Gmbh Einrichtung zur Übertragung von Bilddaten
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
US7561721B2 (en) 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP2006217447A (ja) * 2005-02-07 2006-08-17 Yazaki Corp 車両用表示装置
US7415134B2 (en) * 2005-05-17 2008-08-19 Honda Motor Co., Ltd. Traffic lane marking line recognition system for vehicle
JP4365350B2 (ja) * 2005-06-27 2009-11-18 本田技研工業株式会社 車両及び車線認識装置
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP4822766B2 (ja) * 2005-08-18 2011-11-24 富士通株式会社 路面標示認識装置及びシステム
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
DE102006060893A1 (de) * 2006-05-12 2007-11-15 Adc Automotive Distance Control Systems Gmbh Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
JP4793094B2 (ja) * 2006-05-17 2011-10-12 株式会社デンソー 走行環境認識装置
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
JP2008168811A (ja) * 2007-01-12 2008-07-24 Honda Motor Co Ltd 車線認識装置、車両、車線認識方法、及び車線認識プログラム
US8462988B2 (en) * 2007-01-23 2013-06-11 Valeo Schalter Und Sensoren Gmbh Method and system for universal lane boundary detection
JP4902368B2 (ja) * 2007-01-24 2012-03-21 三洋電機株式会社 画像処理装置及び画像処理方法
US7881497B2 (en) * 2007-03-08 2011-02-01 Honeywell International Inc. Vision based navigation and guidance system
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US20090005948A1 (en) * 2007-06-28 2009-01-01 Faroog Abdel-Kareem Ibrahim Low speed follow operation and control strategy
JP4937030B2 (ja) 2007-07-24 2012-05-23 ルネサスエレクトロニクス株式会社 車両用画像処理装置
US8017898B2 (en) 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
WO2009036176A1 (en) 2007-09-11 2009-03-19 Magna Electronics Imaging system for vehicle
US8446470B2 (en) 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
US7898400B2 (en) * 2008-04-15 2011-03-01 Autoliv Asp, Inc. Enhanced vision road detection system
US8060280B2 (en) * 2008-04-15 2011-11-15 Autoliv Asp, Inc. Vision system for deploying safety systems
JP5359516B2 (ja) * 2008-07-29 2013-12-04 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
US8055445B2 (en) * 2008-09-24 2011-11-08 Delphi Technologies, Inc. Probabilistic lane assignment method
DE102010016043B4 (de) * 2009-03-25 2021-03-18 Denso Corporation Anzeigevorrichtung und Messvorrichtung für ein Fahrzeug und Verfahren zum Anzeigen eines Fahrzeugzustands
DE102009003697A1 (de) * 2009-03-30 2010-10-07 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Fahrspurerkennung
WO2011014497A1 (en) 2009-07-27 2011-02-03 Magna Electronics Inc. Vehicular camera with on-board microcontroller
WO2011028686A1 (en) 2009-09-01 2011-03-10 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
JP5488518B2 (ja) * 2010-07-05 2014-05-14 株式会社デンソー 道路端検出装置、運転者支援装置、および道路端検出方法
JP5560978B2 (ja) * 2010-07-13 2014-07-30 村田機械株式会社 自律移動体
DE102010049087A1 (de) * 2010-10-21 2012-04-26 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Verfahren zum Beurteilen der Fahreraufmerksamkeit
DE102010050167B4 (de) * 2010-10-30 2012-10-25 Audi Ag Verfahren und Vorrichtung zur Bestimmung eines plausiblen Fahrstreifens zur Führung eines Fahrzeugs sowie Kraftwagen
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
DE102010056406A1 (de) * 2010-12-23 2012-06-28 Jenoptik Robot Gmbh Verfahren zur sicheren Identifikation eines durch einen Strahlungssensor erfassten Fahrzeuges in einer Bildaufnahme
WO2012103193A1 (en) 2011-01-26 2012-08-02 Magna Electronics Inc. Rear vision system with trailer angle detection
KR20130005107A (ko) * 2011-07-05 2013-01-15 현대자동차주식회사 차간거리 자동 가변 시스템 및 그 방법
US10793067B2 (en) 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
ES2402422B1 (es) * 2011-09-07 2014-03-11 Manuel MUÑOZ SÁIZ Sistema de conducción automática y de avisos de zonas de velocidad reducida para vehiculos mejorado
US9146898B2 (en) 2011-10-27 2015-09-29 Magna Electronics Inc. Driver assist system with algorithm switching
US10457209B2 (en) 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
WO2013126715A2 (en) 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation
DE102012008780A1 (de) * 2012-04-28 2013-10-31 Volkswagen Aktiengesellschaft Verfahren und Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes und Kraftfahrzeug
US9516277B2 (en) * 2012-05-02 2016-12-06 GM Global Technology Operations LLC Full speed lane sensing with a surrounding view system
US9558409B2 (en) 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US9446713B2 (en) 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9508014B2 (en) 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
US10755110B2 (en) 2013-06-28 2020-08-25 Magna Electronics Inc. Trailering assist system for vehicle
US10160382B2 (en) 2014-02-04 2018-12-25 Magna Electronics Inc. Trailer backup assist system
JP5894201B2 (ja) * 2014-02-14 2016-03-23 株式会社日本自動車部品総合研究所 境界線認識装置
JP6456682B2 (ja) * 2014-12-25 2019-01-23 株式会社Soken 走行区画線認識装置
US10086870B2 (en) 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
US10875403B2 (en) 2015-10-27 2020-12-29 Magna Electronics Inc. Vehicle vision system with enhanced night vision
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US11433809B2 (en) 2016-02-02 2022-09-06 Magna Electronics Inc. Vehicle vision system with smart camera video output
JP6503308B2 (ja) * 2016-02-18 2019-04-17 富士通フロンテック株式会社 画像処理装置及び画像処理方法
US10132971B2 (en) 2016-03-04 2018-11-20 Magna Electronics Inc. Vehicle camera with multiple spectral filters
KR102628654B1 (ko) * 2016-11-07 2024-01-24 삼성전자주식회사 차선을 표시하는 방법 및 장치
CN108121764B (zh) 2016-11-26 2022-03-11 星克跃尔株式会社 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质
US11892311B2 (en) 2016-11-26 2024-02-06 Thinkware Corporation Image processing apparatus, image processing method, computer program and computer readable recording medium
JP7013727B2 (ja) * 2017-08-25 2022-02-01 株式会社デンソー 車両制御装置
CN107943061A (zh) * 2018-01-09 2018-04-20 辽宁工业大学 一种基于机器视觉的模型汽车自动驾驶实验装置及方法
JP2019172245A (ja) * 2018-03-29 2019-10-10 株式会社リコー 画像制御装置、表示装置、移動体、画像制御方法、及びプログラム
EP3889721A4 (en) * 2018-12-29 2022-01-26 Great Wall Motor Company Limited METHOD AND SYSTEM FOR AVOIDING OBSTACLES DURING AUTOMATIC DRIVING OF A VEHICLE, AND VEHICLE
US10929692B2 (en) * 2019-02-06 2021-02-23 Veoneer Us Inc. Lane level position determination
US11551459B1 (en) * 2022-06-27 2023-01-10 Plusai, Inc. Ambiguous lane detection event miner

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2535927B2 (ja) * 1987-07-09 1996-09-18 アイシン精機株式会社 車上距離検出装置
JP2570315B2 (ja) * 1987-09-01 1997-01-08 アイシン精機株式会社 車上距離検出装置
DE68925091T2 (de) * 1988-09-28 1996-05-09 Honda Motor Co Ltd Verfahren und Vorrichtung zur Einschätzung des Fahrweges
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
JP2843079B2 (ja) * 1989-12-22 1999-01-06 本田技研工業株式会社 走行路判別方法
JPH03201110A (ja) * 1989-12-28 1991-09-03 Toyota Central Res & Dev Lab Inc 自律走行車の位置方位検出装置
JP2754871B2 (ja) * 1990-06-01 1998-05-20 日産自動車株式会社 走行路検出装置
US5307419A (en) * 1990-11-30 1994-04-26 Honda Giken Kogyo Kabushiki Kaisha Control device of an autonomously moving body and evaluation method for data thereof
US5309137A (en) * 1991-02-26 1994-05-03 Mitsubishi Denki Kabushiki Kaisha Motor car traveling control device

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09264954A (ja) * 1996-03-29 1997-10-07 Fujitsu Ten Ltd レーダを用いた画像処理システム
JPH10187930A (ja) * 1996-12-19 1998-07-21 Hitachi Ltd 走行環境認識装置
JPH11328365A (ja) * 1998-05-14 1999-11-30 Toshiba Corp 画像監視装置及びその方法
JPH11326541A (ja) * 1998-05-21 1999-11-26 Nissan Motor Co Ltd 撮像環境推定装置
JP2001175845A (ja) * 1999-12-16 2001-06-29 Nec Corp 車両端検出装置
US7612800B2 (en) 2002-06-27 2009-11-03 Kabushiki Kaisha Toshiba Image processing apparatus and method
JP2006309499A (ja) * 2005-04-28 2006-11-09 Honda Motor Co Ltd 車両及びレーンマーク認識装置
WO2006118020A1 (ja) * 2005-04-28 2006-11-09 Honda Motor Co., Ltd. 車両及びレーンマーク認識装置
US7933434B2 (en) 2005-04-28 2011-04-26 Honda Motor Co., Ltd. Vehicle and lane mark recognizes
JP2010170255A (ja) * 2009-01-21 2010-08-05 Denso Corp レーン境界線検出装置、境界線検出プログラム、および逸脱警報装置
JP2015153163A (ja) * 2014-02-14 2015-08-24 株式会社日本自動車部品総合研究所 境界線認識装置
US9619717B2 (en) 2014-02-14 2017-04-11 Denso Corporation Lane-line recognition apparatus
US9710715B2 (en) 2014-12-26 2017-07-18 Ricoh Company, Ltd. Image processing system, image processing device, and image processing method
JP2021170029A (ja) * 2017-05-19 2021-10-28 パイオニア株式会社 測定装置、測定方法およびプログラム
CN107169464A (zh) * 2017-05-25 2017-09-15 中国农业科学院农业资源与农业区划研究所 一种基于激光点云的道路边界检测方法

Also Published As

Publication number Publication date
JP3169483B2 (ja) 2001-05-28
US5555312A (en) 1996-09-10

Similar Documents

Publication Publication Date Title
JP3169483B2 (ja) 道路環境認識装置
JP6254083B2 (ja) 車載用周囲環境認識装置
US20190188498A1 (en) Image Processing Method For Recognizing Ground Marking And System For Detecting Ground Marking
JP4016735B2 (ja) レーンマーク認識方法
US8175806B2 (en) Car navigation system
JP3304687B2 (ja) 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
JP2001092970A (ja) 車線認識装置
JP4901275B2 (ja) 走行誘導障害物検出装置および車両用制御装置
JP2004032460A (ja) 画像処理装置およびその方法
JP2006018751A (ja) 車両用画像処理装置
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
JPH06107096A (ja) 車両用前方監視方法
JP5874831B2 (ja) 立体物検出装置
JP4991384B2 (ja) 接近物検知装置及び接近物検知プログラム
JP2007264712A (ja) 車線検出装置
JP4721278B2 (ja) 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置
JP5355209B2 (ja) ナビゲーション装置、自車の走行車線の判定方法および判定プログラム
JP2002334330A (ja) 車両認識装置
JPH08138036A (ja) 先行車両認識装置
EP3522073A1 (en) Method and apparatus for detecting road surface marking
JP5888275B2 (ja) 道路端検出システム、方法およびプログラム
JP3319401B2 (ja) 走行路認識装置
JPH07225126A (ja) 車両用路上物体認識装置
JPH08320998A (ja) レーンマーカ検出装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20001010

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080316

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090316

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100316

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100316

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120316

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees