JPH0728975A - 道路環境認識装置 - Google Patents
道路環境認識装置Info
- Publication number
- JPH0728975A JPH0728975A JP5155138A JP15513893A JPH0728975A JP H0728975 A JPH0728975 A JP H0728975A JP 5155138 A JP5155138 A JP 5155138A JP 15513893 A JP15513893 A JP 15513893A JP H0728975 A JPH0728975 A JP H0728975A
- Authority
- JP
- Japan
- Prior art keywords
- line
- image
- road
- marker line
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003550 marker Substances 0.000 claims description 286
- 238000012545 processing Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 42
- 238000012795 verification Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 8
- 206010047571 Visual impairment Diseases 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 30
- 238000010586 diagram Methods 0.000 description 36
- 239000000284 extract Substances 0.000 description 9
- 238000003708 edge detection Methods 0.000 description 8
- 238000003672 processing method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000003706 image smoothing Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001149900 Fusconaia subrotunda Species 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 障害物や雑音による影響を受ずに走行道路の
標識線を容易に且つ確実に認識し且つ前方車の位置を認
識しえる道路環境認識装置を提供する。 【構成】 画像記録手段１、該画像記録手段１により得
られる道路画像５から，物体の輪郭線のみを抽出するエ
ッジ画像抽出手段２、該エッジ画像に於いて、予め設定
した探索線を自車両から遠い路面部分に向かって移動さ
せながら、探索線上の水平エッジの状態をみて、前方車
輛と路面との境界線を見つけ出す前方車輛の最下部決定
手段３１、該前方車輛の最下部決定手段３１で決定され
た最下部部分での前方車輛の左右の位置を判断する領域
を設定する前方車輛の探索領域決定手段３２、該前方車
輛の探索領域内の水平エッジ成分の数をカウントするカ
ウント手段を用い、前方車輛の左右の位置を決定する前
方車輛位置決定手段３３とから構成されている道路環境
認識装置。
標識線を容易に且つ確実に認識し且つ前方車の位置を認
識しえる道路環境認識装置を提供する。 【構成】 画像記録手段１、該画像記録手段１により得
られる道路画像５から，物体の輪郭線のみを抽出するエ
ッジ画像抽出手段２、該エッジ画像に於いて、予め設定
した探索線を自車両から遠い路面部分に向かって移動さ
せながら、探索線上の水平エッジの状態をみて、前方車
輛と路面との境界線を見つけ出す前方車輛の最下部決定
手段３１、該前方車輛の最下部決定手段３１で決定され
た最下部部分での前方車輛の左右の位置を判断する領域
を設定する前方車輛の探索領域決定手段３２、該前方車
輛の探索領域内の水平エッジ成分の数をカウントするカ
ウント手段を用い、前方車輛の左右の位置を決定する前
方車輛位置決定手段３３とから構成されている道路環境
認識装置。
Description
【０００１】
【産業上の利用分野】本発明は、道路環境を認識する画
像処理システムを有する道路環境認識装置に関するもの
であり、より具体的には、自動車に搭載したＴＶカメラ
等で構成される画像記録手段で捉えた画像から、道路面
上に設けられている白線を含む標識線或いは、自車両の
前方を走行している自動車を認識することの出来る道路
環境認識装置に関するものである。
像処理システムを有する道路環境認識装置に関するもの
であり、より具体的には、自動車に搭載したＴＶカメラ
等で構成される画像記録手段で捉えた画像から、道路面
上に設けられている白線を含む標識線或いは、自車両の
前方を走行している自動車を認識することの出来る道路
環境認識装置に関するものである。
【０００２】
【従来の技術】近年、自動車の高性能化にもかかわら
ず、交通事故は増加傾向にある。事故の中には、人間の
状況判断のミスによるものが多い。そこで人間の視覚を
補助する装置の開発が望まれている。従来から、ＴＶカ
メラ等の画像記録手段を用いた運転補助装置としては、
路面認識装置と前方車認識装置等が知られている。
ず、交通事故は増加傾向にある。事故の中には、人間の
状況判断のミスによるものが多い。そこで人間の視覚を
補助する装置の開発が望まれている。従来から、ＴＶカ
メラ等の画像記録手段を用いた運転補助装置としては、
路面認識装置と前方車認識装置等が知られている。
【０００３】つまり、運転手は道路上に設けられた白線
或いは黄色線等の指示若しくはその誘導に従い、かつ前
方車の動きに注意し、自分の自動車がどう走ればいいの
かを判断しなければならない。一般に、道路上の標識線
は、交通を整理し誘導する重要な役割を果たしている。
運転手は該標識線の誘導に従い、自動車を走行させなけ
ればならない。
或いは黄色線等の指示若しくはその誘導に従い、かつ前
方車の動きに注意し、自分の自動車がどう走ればいいの
かを判断しなければならない。一般に、道路上の標識線
は、交通を整理し誘導する重要な役割を果たしている。
運転手は該標識線の誘導に従い、自動車を走行させなけ
ればならない。
【０００４】その為、係る標識線を認識する装置が開発
されれば、自分の自動車がレーンを逸脱していたら運転
手に自動的に警告したり、またその情報をもとに自動車
を制御するといったことが出来るようになる。これによ
り、運転手の運転に対する負担を軽減させることがで
き、事故を未然に防止することが出来るようになる。一
方、運転手は運転中に前方車の動きに注意し、自分の自
動車がどう走ればいいのかを判断しなければならない。
その為、適切な前方車を認識する装置があれば、自分の
自動車が所定のレーンを逸脱していたり、前方車と自車
が近づき過ぎて危険な状態になった時に運転手に警告し
たり、前方車に追従走行することにも応用できる。これ
により運転手の運転に対する負担を軽減させることがで
き、交通事故を未然に防止することができる。
されれば、自分の自動車がレーンを逸脱していたら運転
手に自動的に警告したり、またその情報をもとに自動車
を制御するといったことが出来るようになる。これによ
り、運転手の運転に対する負担を軽減させることがで
き、事故を未然に防止することが出来るようになる。一
方、運転手は運転中に前方車の動きに注意し、自分の自
動車がどう走ればいいのかを判断しなければならない。
その為、適切な前方車を認識する装置があれば、自分の
自動車が所定のレーンを逸脱していたり、前方車と自車
が近づき過ぎて危険な状態になった時に運転手に警告し
たり、前方車に追従走行することにも応用できる。これ
により運転手の運転に対する負担を軽減させることがで
き、交通事故を未然に防止することができる。
【０００５】処で、従来から一般的に使用されている道
路環境認識装置としての路面認識装置の一例を図２６に
示す。即ち、従来の路面認識装置に於いては、図２６の
ブロックダイアグラムに示される様な構成を有してお
り、具体的には、画像記録手段の一つであるＴＶカメラ
１で捉えた画像をエッジ画像抽出手段２で物体の輪郭線
のみを抽出したエッジ画像に変換し、該エッジ画像か
ら、標識線例えば白線の候補点抽出手段３で該エッジ画
像に対し白線６のエッジの位置の抽出を行い、白線位置
算出手段４で該白線の候補点に対応する路面上での位置
を算出している。
路環境認識装置としての路面認識装置の一例を図２６に
示す。即ち、従来の路面認識装置に於いては、図２６の
ブロックダイアグラムに示される様な構成を有してお
り、具体的には、画像記録手段の一つであるＴＶカメラ
１で捉えた画像をエッジ画像抽出手段２で物体の輪郭線
のみを抽出したエッジ画像に変換し、該エッジ画像か
ら、標識線例えば白線の候補点抽出手段３で該エッジ画
像に対し白線６のエッジの位置の抽出を行い、白線位置
算出手段４で該白線の候補点に対応する路面上での位置
を算出している。
【０００６】即ち、より具体的には、図２７及び図２８
に示す様に、道路画像の中央部から矢印の方向に左右の
個別に画像５中の画素を走査して白線等の標識線６の輪
郭線７、８を捜し、輪郭線７、８にぶつかった所を白線
位置９としていた。ところがこのような方式では、図２
８のように画面内に前方車が存在したり、白線６が破線
の場合に、当該標識線である白線６を認識ができなかっ
たりする場合が多く見られた。
に示す様に、道路画像の中央部から矢印の方向に左右の
個別に画像５中の画素を走査して白線等の標識線６の輪
郭線７、８を捜し、輪郭線７、８にぶつかった所を白線
位置９としていた。ところがこのような方式では、図２
８のように画面内に前方車が存在したり、白線６が破線
の場合に、当該標識線である白線６を認識ができなかっ
たりする場合が多く見られた。
【０００７】又、前方車１０が存在する場合、 該白線
６の輪郭部分７、８まで輪郭線を捜しに行くことが出来
ず、前方車１０の輪郭線１１を間違えて白線６と認識し
てしまう誤りが多発すると言う問題も有った。更に、該
白線が破線の場合、 当該白線の候補点が見つからない
箇所が発生したり、また図３０に示される様な、当該道
路画面５に、建物、街路樹等の影１２がある場合は、当
該影１２を間違って白線のエッジと誤認してしまうと言
う様なことも頻繁に生じていた。
６の輪郭部分７、８まで輪郭線を捜しに行くことが出来
ず、前方車１０の輪郭線１１を間違えて白線６と認識し
てしまう誤りが多発すると言う問題も有った。更に、該
白線が破線の場合、 当該白線の候補点が見つからない
箇所が発生したり、また図３０に示される様な、当該道
路画面５に、建物、街路樹等の影１２がある場合は、当
該影１２を間違って白線のエッジと誤認してしまうと言
う様なことも頻繁に生じていた。
【０００８】実際の高速道路などの環境を考えた場合、
道路画像５内に混在するこのような障害物や雑音の影響
が大きく、当該標識線６の認識が困難である場合が生じ
ていた。又、従来に於ける前方車認識装置の一例に於け
る構成を図２９のブロックダイアグラムで示す。
道路画像５内に混在するこのような障害物や雑音の影響
が大きく、当該標識線６の認識が困難である場合が生じ
ていた。又、従来に於ける前方車認識装置の一例に於け
る構成を図２９のブロックダイアグラムで示す。
【０００９】即ち、従来に於ける前方車認識装置に於い
ては、画像記録手段の一つであるＴＶカメラ１で捉えた
画像をエッジ画像抽出手段２で物体の輪郭線のみを抽出
したエッジ画像に変換し、該エッジ画像から、前方車探
索手段２０で水平方向に最も長いエッジ部分１３を２次
元的に探索し、抽出した該エッジ部分１３に隣接するエ
ッジから矩形を求め、前方車位置抽出手段２１で該矩形
の中心の画面上の位置に対する距離テーブルを用いて自
車と前方車との間の距離を演算して抽出していた。
ては、画像記録手段の一つであるＴＶカメラ１で捉えた
画像をエッジ画像抽出手段２で物体の輪郭線のみを抽出
したエッジ画像に変換し、該エッジ画像から、前方車探
索手段２０で水平方向に最も長いエッジ部分１３を２次
元的に探索し、抽出した該エッジ部分１３に隣接するエ
ッジから矩形を求め、前方車位置抽出手段２１で該矩形
の中心の画面上の位置に対する距離テーブルを用いて自
車と前方車との間の距離を演算して抽出していた。
【００１０】ところが、このような方式では、図３０に
示される様に、路上に長く水平に伸びた影１２が存在す
ると当該影の部分に於ける水平エッジ部分を車両の一部
を示す水平エッジと誤認識する危険が多かった。又、画
像の雑音などで、エッジが途切れると、当該前方車両の
認識に失敗する事も多く、更には、実際の道路環境で
は、影１２などの雑音の混入は不可避であり、その為前
方車両に対する認識が困難であると言う問題が生じてい
た。
示される様に、路上に長く水平に伸びた影１２が存在す
ると当該影の部分に於ける水平エッジ部分を車両の一部
を示す水平エッジと誤認識する危険が多かった。又、画
像の雑音などで、エッジが途切れると、当該前方車両の
認識に失敗する事も多く、更には、実際の道路環境で
は、影１２などの雑音の混入は不可避であり、その為前
方車両に対する認識が困難であると言う問題が生じてい
た。
【００１１】又、従来に於いて、前方車両を認識するに
際しては、２次元的にエッジ部分を探索し、最大となる
有力なエッジ部分を捜すため、探索領域を１通り全部、
探索しなければならず、処理時間が遅くなると言う欠点
や、認識した前方車が自車の走行しているレーンにいる
のかどうか分からないという問題もあった。
際しては、２次元的にエッジ部分を探索し、最大となる
有力なエッジ部分を捜すため、探索領域を１通り全部、
探索しなければならず、処理時間が遅くなると言う欠点
や、認識した前方車が自車の走行しているレーンにいる
のかどうか分からないという問題もあった。
【００１２】
【発明が解決しようとする課題】本発明の目的は、係る
従来技術に於ける問題を解決し、自動車に搭載したＴＶ
カメラ等から構成された画像記録手段により得られる道
路画像から、上記した障害物や雑音による影響を受ける
事なく、走行道路に設けられた白線等の標識線を容易に
且つ確実に認識しえる路面認識装置を有する道路環境認
識装置を提供すると共に、従来技術で問題となっている
影などの雑音等による影響を受けずに容易に且つ確実に
前方車の位置を認識しえる前方車輛認識装置を有する道
路環境認識装置を提供するものである。
従来技術に於ける問題を解決し、自動車に搭載したＴＶ
カメラ等から構成された画像記録手段により得られる道
路画像から、上記した障害物や雑音による影響を受ける
事なく、走行道路に設けられた白線等の標識線を容易に
且つ確実に認識しえる路面認識装置を有する道路環境認
識装置を提供すると共に、従来技術で問題となっている
影などの雑音等による影響を受けずに容易に且つ確実に
前方車の位置を認識しえる前方車輛認識装置を有する道
路環境認識装置を提供するものである。
【００１３】
【課題を解決するための手段】本発明は上記した目的を
達成するため、基本的には、以下に記載されたような技
術構成を採用するものである。即ち、本発明に係る道路
環境認識装置の第１の態様に於いては、自動車に搭載し
た画像記録手段により得られる道路画像から、物体の輪
郭線のみを抽出したエッジ画像を作成し、該道路画像の
エッジ画像に於いて探索線を移動させて当該画像中に存
在する水平エッジ部分を検出するに際して、当該探索線
を自車両から遠い路面部分に向かう方向に予め定められ
た範囲で移動させ、該探索線の移動に伴って検出される
水平エッジ部分の配置状態から、自車両の前方を走行し
ている自動車の最下部を決定する様に構成されている道
路環境認識装置が提供されるもので有り、又第２の態様
としては、自動車に搭載した画像記録手段により記録さ
れた道路画像から、物体の輪郭線のみを抽出したエッジ
画像を作成し、該エッジ画像から、道路に表示された標
識線を検出して認識するに際し、該エッジ画像における
自車両に近い路面部分に対応する領域の相当する画像画
面部分の略中央部分から２つの領域に分割せしめ、当該
画像画面部分の略中央部分から左側の領域を第１の領域
Ａとすると共に、右側の領域を第２の領域Ｂとなし、且
つ自車両から遠い当該画像画面部分における路面部分に
対応する画面領域を第３の領域Ｃとする画面領域に分割
し、該第１の領域Ａでは該中央部分付近から左方向に、
又該第２の領域Ｂでは該中央部分付近から右方向に複数
の標識線候補点を探索することにより、該第１の領域Ａ
及び第２の領域Ｂにおいて標識線を決定し、又該第３の
領域Ｃでは該第１と第２の領域Ａ、Ｂで探索された標識
線位置から該標識線を延長、追跡して標識線を順次、探
索し決定する様に構成されている道路環境認識装置が提
供されるので有る。
達成するため、基本的には、以下に記載されたような技
術構成を採用するものである。即ち、本発明に係る道路
環境認識装置の第１の態様に於いては、自動車に搭載し
た画像記録手段により得られる道路画像から、物体の輪
郭線のみを抽出したエッジ画像を作成し、該道路画像の
エッジ画像に於いて探索線を移動させて当該画像中に存
在する水平エッジ部分を検出するに際して、当該探索線
を自車両から遠い路面部分に向かう方向に予め定められ
た範囲で移動させ、該探索線の移動に伴って検出される
水平エッジ部分の配置状態から、自車両の前方を走行し
ている自動車の最下部を決定する様に構成されている道
路環境認識装置が提供されるもので有り、又第２の態様
としては、自動車に搭載した画像記録手段により記録さ
れた道路画像から、物体の輪郭線のみを抽出したエッジ
画像を作成し、該エッジ画像から、道路に表示された標
識線を検出して認識するに際し、該エッジ画像における
自車両に近い路面部分に対応する領域の相当する画像画
面部分の略中央部分から２つの領域に分割せしめ、当該
画像画面部分の略中央部分から左側の領域を第１の領域
Ａとすると共に、右側の領域を第２の領域Ｂとなし、且
つ自車両から遠い当該画像画面部分における路面部分に
対応する画面領域を第３の領域Ｃとする画面領域に分割
し、該第１の領域Ａでは該中央部分付近から左方向に、
又該第２の領域Ｂでは該中央部分付近から右方向に複数
の標識線候補点を探索することにより、該第１の領域Ａ
及び第２の領域Ｂにおいて標識線を決定し、又該第３の
領域Ｃでは該第１と第２の領域Ａ、Ｂで探索された標識
線位置から該標識線を延長、追跡して標識線を順次、探
索し決定する様に構成されている道路環境認識装置が提
供されるので有る。
【００１４】又、本発明に係る道路環境認識装置の第３
の態様としては、自動車に搭載した画像記録手段により
得られる道路画像から、物体の輪郭線のみを抽出したエ
ッジ画像を作成するに際し、当該画像記録手段により得
られる道路画像に平滑化処理等を応用した残像効果付与
処理を実行した後、該エッジ画像を作成する様にした道
路環境認識装置である。
の態様としては、自動車に搭載した画像記録手段により
得られる道路画像から、物体の輪郭線のみを抽出したエ
ッジ画像を作成するに際し、当該画像記録手段により得
られる道路画像に平滑化処理等を応用した残像効果付与
処理を実行した後、該エッジ画像を作成する様にした道
路環境認識装置である。
【００１５】尚、本発明に係る第４の態様としては、上
記した第１乃至第３の態様を適宜選択して結合して構成
された道路環境認識装置が考えられる。
記した第１乃至第３の態様を適宜選択して結合して構成
された道路環境認識装置が考えられる。
【００１６】
【作用】本発明に係る該道路環境認識装置は、上記した
様な基本的な技術構成を有しているので、例えば、本発
明に係る第１の態様に於いては、前方車の最下部の水平
エッジの状態を観察することによって認識するもので有
って、然も、前方車に近い路面部分における画面上から
遠方に向かって、つまり遠方の道路に向けて、水平エッ
ジの探索線を所定の範囲で移動させて、前方車の最下部
を探索しているので、探索領域が限定されるので認識操
作を高速に実行する事が可能となる。
様な基本的な技術構成を有しているので、例えば、本発
明に係る第１の態様に於いては、前方車の最下部の水平
エッジの状態を観察することによって認識するもので有
って、然も、前方車に近い路面部分における画面上から
遠方に向かって、つまり遠方の道路に向けて、水平エッ
ジの探索線を所定の範囲で移動させて、前方車の最下部
を探索しているので、探索領域が限定されるので認識操
作を高速に実行する事が可能となる。
【００１７】また本発明に於ける道路環境認識装置での
前方車の最下部決定には予め定められた条件を満たす水
平エッジが複数存在しなければならないため、これによ
り影などの雑音による誤認識は防ぐことができる。更
に、本発明に於いては、好ましくは、最初に、道路上の
標識線を認識したうえ、自車輛が走行すべき特定レーン
領域を決定してその内側で前方車を捜す様に構成されて
いるので、道路外の風景や雑音は除去することができ
る。又、道路画像上の決まった領域について処理してい
るので、前方車のレーンとの関係もわかる。
前方車の最下部決定には予め定められた条件を満たす水
平エッジが複数存在しなければならないため、これによ
り影などの雑音による誤認識は防ぐことができる。更
に、本発明に於いては、好ましくは、最初に、道路上の
標識線を認識したうえ、自車輛が走行すべき特定レーン
領域を決定してその内側で前方車を捜す様に構成されて
いるので、道路外の風景や雑音は除去することができ
る。又、道路画像上の決まった領域について処理してい
るので、前方車のレーンとの関係もわかる。
【００１８】一方、第２の態様に於いては、自動車に近
い路面部分に対応する画面上で画面縦方向に複数の白線
候補点が取れる領域でかつ、この領域の画面中央縦線か
ら左側の領域を第１の領域Ａ、右側の領域を領域第２の
領域Ｂ、自動車から遠い路面部分に対応する画面領域を
第３の領域Ｃとする３つの画面領域に分割し、第１の領
域Ａでは左方向に、領域第２の領域Ｂでは右方向に白線
候補点を探索することにより、第１の領域Ａ、第２の領
域Ｂにおいて白線を決定し、第３の領域Ｃでは第１の領
域Ａ、第２の領域Ｂでの白線位置から白線部分を追跡し
て、白線を順次決定することによって、容易に又確実
に、道路に設けられた標識線を認識する事が出来る。
い路面部分に対応する画面上で画面縦方向に複数の白線
候補点が取れる領域でかつ、この領域の画面中央縦線か
ら左側の領域を第１の領域Ａ、右側の領域を領域第２の
領域Ｂ、自動車から遠い路面部分に対応する画面領域を
第３の領域Ｃとする３つの画面領域に分割し、第１の領
域Ａでは左方向に、領域第２の領域Ｂでは右方向に白線
候補点を探索することにより、第１の領域Ａ、第２の領
域Ｂにおいて白線を決定し、第３の領域Ｃでは第１の領
域Ａ、第２の領域Ｂでの白線位置から白線部分を追跡し
て、白線を順次決定することによって、容易に又確実
に、道路に設けられた標識線を認識する事が出来る。
【００１９】つまり、本発明に於ける第２の態様に於い
ては、まず第１の領域Ａ、第２の領域Ｂにおいて白線を
決定するのは、画面手前のほうが遠方よりも白線幅に対
する画素数も多くエッジの状態も良く、前方車などの障
害物の混入も少ないからである。また第１の領域Ａ、第
２の領域Ｂを広めに指定して標識線候補点の個数を多く
抽出することで、前方車の輪郭線による標識線候補点が
入っていても、誤った標識線候補点を除き、正しく標識
線、例えば白線が認識できる。
ては、まず第１の領域Ａ、第２の領域Ｂにおいて白線を
決定するのは、画面手前のほうが遠方よりも白線幅に対
する画素数も多くエッジの状態も良く、前方車などの障
害物の混入も少ないからである。また第１の領域Ａ、第
２の領域Ｂを広めに指定して標識線候補点の個数を多く
抽出することで、前方車の輪郭線による標識線候補点が
入っていても、誤った標識線候補点を除き、正しく標識
線、例えば白線が認識できる。
【００２０】また白線が破線の場合にも、第１の領域
Ａ、第２の領域Ｂの縦方向の長さを破線間の長さ以上に
設定すれば当該白線を検出することが可能となる。更に
本発明に於いて、第３の領域Ｃで当該標識線を、第１の
領域Ａと第２の領域Ｂに於いて求められた標識線の追跡
延長によって求めるもので有って、係る構成を採用した
のは、遠方では前方車などの障害物が混入する確率が高
く、更に標識線の曲がりも大きくなるために、画面中央
からの探索では当該標識線を認識できない事が多くなる
と言う事実に基づいている。
Ａ、第２の領域Ｂの縦方向の長さを破線間の長さ以上に
設定すれば当該白線を検出することが可能となる。更に
本発明に於いて、第３の領域Ｃで当該標識線を、第１の
領域Ａと第２の領域Ｂに於いて求められた標識線の追跡
延長によって求めるもので有って、係る構成を採用した
のは、遠方では前方車などの障害物が混入する確率が高
く、更に標識線の曲がりも大きくなるために、画面中央
からの探索では当該標識線を認識できない事が多くなる
と言う事実に基づいている。
【００２１】更に、本発明に係る道路環境認識装置の第
３の態様に於いては、ＴＶカメラ等の画像記録手段によ
り捉えた道路画像を平滑化処理する事によって、影等の
雑音を消去し、又、標識線の破線部分が補間された平滑
化画像を形成させるものであるので、自車との相対速度
差が小さいもの、或いは画面上での移動が小さいか又は
停止している物体、例えば前方車輛、標識線等のみを画
像上に浮き上がらせる様に抽出し、道路の脇に配置され
ている、樹木、建物、その他の物体、或いはそれらの影
の部分等で、画像上、高速に移動して見えるものを道路
画像から消去させた後、当該平均化処理された道路画像
から、所定の物体の輪郭線のみを抽出してエッジ画像を
作成し、前記した第１の態様若しくは第２の態様に於い
て示された演算処理を実行して前方車輛の認識若しく
は、標識線の認識を行うものであるので、従来の方法に
於ける様な、影、或いは雑音等により、標識線或いは前
方車輛等を誤認する危険性が大幅に改善されるもので有
る。
３の態様に於いては、ＴＶカメラ等の画像記録手段によ
り捉えた道路画像を平滑化処理する事によって、影等の
雑音を消去し、又、標識線の破線部分が補間された平滑
化画像を形成させるものであるので、自車との相対速度
差が小さいもの、或いは画面上での移動が小さいか又は
停止している物体、例えば前方車輛、標識線等のみを画
像上に浮き上がらせる様に抽出し、道路の脇に配置され
ている、樹木、建物、その他の物体、或いはそれらの影
の部分等で、画像上、高速に移動して見えるものを道路
画像から消去させた後、当該平均化処理された道路画像
から、所定の物体の輪郭線のみを抽出してエッジ画像を
作成し、前記した第１の態様若しくは第２の態様に於い
て示された演算処理を実行して前方車輛の認識若しく
は、標識線の認識を行うものであるので、従来の方法に
於ける様な、影、或いは雑音等により、標識線或いは前
方車輛等を誤認する危険性が大幅に改善されるもので有
る。
【００２２】具体的には、本発明に係る平滑化処理に於
いては、入力画像、即ち第２の画像と平滑化画像、即ち
第２の画像が得られる以前に得られた第１の画像との同
じ座標位置の画素値の差が予め設定した範囲内ならば、
平滑化画像の画素値を変更せず、入力画像と平滑化画像
の同じ座標位置の画素値の差が予め設定した範囲外なら
ば、平滑化画像の画素値を予め設定した固定値だけ入力
画像の画素値に近づけた画素値で更新することで出力画
像を作成し、この出力画像を次の平滑化画像として上記
処理を繰り返すことにより平滑化画像を作成する。
いては、入力画像、即ち第２の画像と平滑化画像、即ち
第２の画像が得られる以前に得られた第１の画像との同
じ座標位置の画素値の差が予め設定した範囲内ならば、
平滑化画像の画素値を変更せず、入力画像と平滑化画像
の同じ座標位置の画素値の差が予め設定した範囲外なら
ば、平滑化画像の画素値を予め設定した固定値だけ入力
画像の画素値に近づけた画素値で更新することで出力画
像を作成し、この出力画像を次の平滑化画像として上記
処理を繰り返すことにより平滑化画像を作成する。
【００２３】該平滑化画像では、入力画像と平滑化画像
の画素値の差が小さいところだけが、はっきりと抽出さ
れ、該画素値の差が大きいところは、ぼやけて消去され
る。すなわち画面上での動きが小さいまたは停止してい
るところだけが、はっきりと抽出され、画面上での動き
が大きいところは、ぼやけて消去される。風景の影など
は、自車との相対速度差が大きいため、該平滑化画像で
はこれらの影は消去される。
の画素値の差が小さいところだけが、はっきりと抽出さ
れ、該画素値の差が大きいところは、ぼやけて消去され
る。すなわち画面上での動きが小さいまたは停止してい
るところだけが、はっきりと抽出され、画面上での動き
が大きいところは、ぼやけて消去される。風景の影など
は、自車との相対速度差が大きいため、該平滑化画像で
はこれらの影は消去される。
【００２４】白線は、影などと同じく自車との相対速度
差は大きいが、白線は画面上での変化が少なく抽出する
ことができる。白線が破線の場合でも、連続的に画面上
の同じ位置を流れるように移動するので破線が補間さ
れ、白線が連続線になった平滑化画像が得られる。前方
を走行している自動車は、自車との相対速度差が小さい
ため、画面上では移動が小さいので抽出することができ
る。
差は大きいが、白線は画面上での変化が少なく抽出する
ことができる。白線が破線の場合でも、連続的に画面上
の同じ位置を流れるように移動するので破線が補間さ
れ、白線が連続線になった平滑化画像が得られる。前方
を走行している自動車は、自車との相対速度差が小さい
ため、画面上では移動が小さいので抽出することができ
る。
【００２５】以上、述べたように平滑化画像処理を併用
する事によって、影などの雑音は除去された標識線認識
及び前方車認識のし易い画像を得ることができる。
する事によって、影などの雑音は除去された標識線認識
及び前方車認識のし易い画像を得ることができる。
【００２６】
【実施例】以下に、本発明に係る道路環境認識装置の具
体例を図面を参照しながら詳細に説明する。図１は、本
発明に係る道路環境認識装置の第１の態様の具体的構成
を示すブロックダイアグラムを示すもので有って、図
中、自動車に搭載した画像記録手段１、該画像記録手段
１により得られる道路画像５から、物体の輪郭線のみを
抽出したエッジ画像を作成するエッジ画像抽出手段２、
任意の領域で探索線を移動させ、探索線上の水平エッジ
成分の状態から、前方車輛の最下部を決定する前方車輛
最下部決定手段３１、決定された最下部から予め設定さ
れた大きさの領域を画面上に設定する処理を行う探索領
域決定手段３２、前方車輛位置決定手段３３及び前方車
輛までの距離を算出する為の前方車輛距離算出手段３４
とから構成されているものであり、更に本発明に於ける
好ましい具体例としては、後述する様に、上記前方車輛
の最下部決定手段３１の前に、道路上に設けられている
所定の標識線６を認識する為の標識線認識手段３０を付
加したもので有っても良い。
体例を図面を参照しながら詳細に説明する。図１は、本
発明に係る道路環境認識装置の第１の態様の具体的構成
を示すブロックダイアグラムを示すもので有って、図
中、自動車に搭載した画像記録手段１、該画像記録手段
１により得られる道路画像５から、物体の輪郭線のみを
抽出したエッジ画像を作成するエッジ画像抽出手段２、
任意の領域で探索線を移動させ、探索線上の水平エッジ
成分の状態から、前方車輛の最下部を決定する前方車輛
最下部決定手段３１、決定された最下部から予め設定さ
れた大きさの領域を画面上に設定する処理を行う探索領
域決定手段３２、前方車輛位置決定手段３３及び前方車
輛までの距離を算出する為の前方車輛距離算出手段３４
とから構成されているものであり、更に本発明に於ける
好ましい具体例としては、後述する様に、上記前方車輛
の最下部決定手段３１の前に、道路上に設けられている
所定の標識線６を認識する為の標識線認識手段３０を付
加したもので有っても良い。
【００２７】つまり、本発明に於ける第１の態様に於い
ては、図２に示される様な、上記した構成に基づいて、
自動車に搭載した画像記録手段１により得られる道路画
像５から、適宜の空間フィルタを掛けて、図３に示され
る様に、物体の輪郭線のみを抽出したエッジ画像を作成
し、該道路画像のエッジ画像中に存在する任意の水平エ
ッジ部分３７を見つけだす為に探索線を移動させるもの
である。
ては、図２に示される様な、上記した構成に基づいて、
自動車に搭載した画像記録手段１により得られる道路画
像５から、適宜の空間フィルタを掛けて、図３に示され
る様に、物体の輪郭線のみを抽出したエッジ画像を作成
し、該道路画像のエッジ画像中に存在する任意の水平エ
ッジ部分３７を見つけだす為に探索線を移動させるもの
である。
【００２８】探索線を該エッジ画像に於いて、自車両か
ら遠い路面部分に向かう方向に予め定められた領域の範
囲で移動させ、該探索線の移動に伴って検出される水平
エッジ部分の配置状態、つまり、当該水平エッジ部分が
如何なる分布を持っているかに判断に基づいて、自車両
の前方を走行している前方車輛１０の最下部３９を決定
する様に構成されているものである。
ら遠い路面部分に向かう方向に予め定められた領域の範
囲で移動させ、該探索線の移動に伴って検出される水平
エッジ部分の配置状態、つまり、当該水平エッジ部分が
如何なる分布を持っているかに判断に基づいて、自車両
の前方を走行している前方車輛１０の最下部３９を決定
する様に構成されているものである。
【００２９】前記工程により、得られた前方車輛の最下
部３９から予め設定した領域を画面上に設定し、該領域
において水平エッジの数、若しくは、水平エッジの垂直
方向の投影若しくは、当該水平エッジ部分のヒストグラ
ムが予め設定した条件を満たす値だけ存在する場合に、
該水平エッジの垂直方向の投影若しくは、当該水平エッ
ジ部分のヒストグラムが予め設定した条件を満たす位置
に前方車輛が存在する可能性が高いものと判断し、前方
車輛の最下部候補線上での位置を決定する様にしたもの
である。
部３９から予め設定した領域を画面上に設定し、該領域
において水平エッジの数、若しくは、水平エッジの垂直
方向の投影若しくは、当該水平エッジ部分のヒストグラ
ムが予め設定した条件を満たす値だけ存在する場合に、
該水平エッジの垂直方向の投影若しくは、当該水平エッ
ジ部分のヒストグラムが予め設定した条件を満たす位置
に前方車輛が存在する可能性が高いものと判断し、前方
車輛の最下部候補線上での位置を決定する様にしたもの
である。
【００３０】尚、本発明に於ける係る具体例において
は、前方車輛の位置の認識処理を実行する以前に、道路
に於ける標識線の状況を予め認識して、当該前方車輛の
走行するレーンの範囲を特定して、前方車輛の位置の認
識処理を行うと、より正確で、且つ短時間での前方車輛
の位置の認識処理を実行する事が可能となる。又、本発
明に於ける上記具体例に於いては、前方車輛の最下部候
補線が複数個得られた場合には、それらの候補線の内
で、画面上、最も近方の水平エッジ部分を当該前方車の
最下部と決定するもので有る。
は、前方車輛の位置の認識処理を実行する以前に、道路
に於ける標識線の状況を予め認識して、当該前方車輛の
走行するレーンの範囲を特定して、前方車輛の位置の認
識処理を行うと、より正確で、且つ短時間での前方車輛
の位置の認識処理を実行する事が可能となる。又、本発
明に於ける上記具体例に於いては、前方車輛の最下部候
補線が複数個得られた場合には、それらの候補線の内
で、画面上、最も近方の水平エッジ部分を当該前方車の
最下部と決定するもので有る。
【００３１】つまり、本発明に係る具体例に於いては、
例えば、該道路画像５のエッジ画像中に存在する任意の
水平エッジ部分３７（３７─１から３７─８）が存在し
ているとすると、探索線を移動させて、当該水平エッジ
部分３７─８に来た時に、該水平エッジ部分３７─８を
構成している水平エッジ成分を適宜のカウンタによりカ
ウントし、そのカウント値が予め設定した数値以上にな
れば、その水平エッジ部分３７─８が、最下部候補線と
なる。
例えば、該道路画像５のエッジ画像中に存在する任意の
水平エッジ部分３７（３７─１から３７─８）が存在し
ているとすると、探索線を移動させて、当該水平エッジ
部分３７─８に来た時に、該水平エッジ部分３７─８を
構成している水平エッジ成分を適宜のカウンタによりカ
ウントし、そのカウント値が予め設定した数値以上にな
れば、その水平エッジ部分３７─８が、最下部候補線と
なる。
【００３２】つまり、当該探索線上の画素のうち水平エ
ッジの成分を含んでいる画素数が予め設定した数値以上
になれば、該探索線上に存在している水平エッジ部分３
７─８に前方車両の最下部が存在していると判断される
車両の最下部３９の候補線とするものである。次いで、
本発明に係る具体例に於いては、該探索線を前記車両の
最下部候補線３７─８から、自車両から見て、遠い路面
部分に向かう方向に、予め定められた範囲で移動させな
がら、該探索線上で、上記と同様の判定を行って、最下
部候補線の有無を判断し、前記探索線の移動範囲内に於
いて、予め設定した数値以上の該車両の最下部候補線が
存在している場合（図３では、水平エッジ部分３７─７
から３７─１が存在）に、最初に設定された車両の最下
部候補線３７─８上に、前方車両の最下部３９が存在し
ていると判断するものである。
ッジの成分を含んでいる画素数が予め設定した数値以上
になれば、該探索線上に存在している水平エッジ部分３
７─８に前方車両の最下部が存在していると判断される
車両の最下部３９の候補線とするものである。次いで、
本発明に係る具体例に於いては、該探索線を前記車両の
最下部候補線３７─８から、自車両から見て、遠い路面
部分に向かう方向に、予め定められた範囲で移動させな
がら、該探索線上で、上記と同様の判定を行って、最下
部候補線の有無を判断し、前記探索線の移動範囲内に於
いて、予め設定した数値以上の該車両の最下部候補線が
存在している場合（図３では、水平エッジ部分３７─７
から３７─１が存在）に、最初に設定された車両の最下
部候補線３７─８上に、前方車両の最下部３９が存在し
ていると判断するものである。
【００３３】換言するならば、本発明に於ける上記具体
例の構成は、自動車に搭載した画像記録手段により道路
画像をうる道路画像記録手段１、当該道路画像記録手段
１により得られた道路画像から、物体の輪郭線のみを抽
出したエッジ画像を作成する手段２、該エッジ画像に於
いて、予め設定した探索線を自車両から遠い路面部分に
向かって移動させながら、探索線上の水平エッジの状態
をみて、前方車輛と路面との境界線を見つけ出す前方車
輛の最下部決定手段３１、該前方車輛の最下部決定手段
３１で決定された最下部部分での前方車輛の左右の位置
を判断する領域を設定する前方車輛の探索領域決定手段
３２、該前方車輛の探索領域内の水平エッジ成分の数を
カウントするカウント手段を用い、前方車輛の左右の位
置を決定する前方車輛位置決定手段３３とから構成され
ている道路環境認識装置である。
例の構成は、自動車に搭載した画像記録手段により道路
画像をうる道路画像記録手段１、当該道路画像記録手段
１により得られた道路画像から、物体の輪郭線のみを抽
出したエッジ画像を作成する手段２、該エッジ画像に於
いて、予め設定した探索線を自車両から遠い路面部分に
向かって移動させながら、探索線上の水平エッジの状態
をみて、前方車輛と路面との境界線を見つけ出す前方車
輛の最下部決定手段３１、該前方車輛の最下部決定手段
３１で決定された最下部部分での前方車輛の左右の位置
を判断する領域を設定する前方車輛の探索領域決定手段
３２、該前方車輛の探索領域内の水平エッジ成分の数を
カウントするカウント手段を用い、前方車輛の左右の位
置を決定する前方車輛位置決定手段３３とから構成され
ている道路環境認識装置である。
【００３４】更には、該前方車輛位置決定手段３３によ
り決定された前方車両の最下部から、前記画像記録手段
の設置状態を勘案して、自車輛と該前方車輛との実際の
距離を演算して求める前方車輛距離演算処理手段３４が
設けられている事が望ましい。更に、本発明に於いて
は、前記前方車輛の最下部候補決定手段３１の前に、道
路上の標識線を認識する手段３０、望ましくは後述する
様な、本発明に係る標識線認識手段３０を設ける事が望
ましい。
り決定された前方車両の最下部から、前記画像記録手段
の設置状態を勘案して、自車輛と該前方車輛との実際の
距離を演算して求める前方車輛距離演算処理手段３４が
設けられている事が望ましい。更に、本発明に於いて
は、前記前方車輛の最下部候補決定手段３１の前に、道
路上の標識線を認識する手段３０、望ましくは後述する
様な、本発明に係る標識線認識手段３０を設ける事が望
ましい。
【００３５】本発明に於いては、上記した様に、該探索
線を、所定の領域４１を設けて、その範囲内で走査させ
るものであり、例えば、前方車輛の最下部が存在してい
ると判断された当該水平エッジ部分を下辺とする予め設
定された高さＨと幅Ｗを有する前方車両位置探索領域４
１を設定する事により、前方車両位置を特定する様に構
成する事も望ましい。
線を、所定の領域４１を設けて、その範囲内で走査させ
るものであり、例えば、前方車輛の最下部が存在してい
ると判断された当該水平エッジ部分を下辺とする予め設
定された高さＨと幅Ｗを有する前方車両位置探索領域４
１を設定する事により、前方車両位置を特定する様に構
成する事も望ましい。
【００３６】つまり、図４に示さる様に、前方車の求ま
った最下部の画面上の座標から、実際の路面上での距離
を求め、その位置での予め設定した高さと幅をもつ前方
車探索領域の画面上での位置を決定し、画面上での該前
方車探索領域以外の部分をマスクする様にしたものであ
る。尚、上記領域４１の高さＨは、前方車輛として一般
的な高さを持つ自動車が、道路画像として表示された場
合の高さに近似させる様に設定する事が望ましく、又そ
の幅Ｗは、予め定められた道路の幅、好ましくは、走行
レーンの幅が画面に表示された場合の長さに近似した幅
に設定されるもので有る。
った最下部の画面上の座標から、実際の路面上での距離
を求め、その位置での予め設定した高さと幅をもつ前方
車探索領域の画面上での位置を決定し、画面上での該前
方車探索領域以外の部分をマスクする様にしたものであ
る。尚、上記領域４１の高さＨは、前方車輛として一般
的な高さを持つ自動車が、道路画像として表示された場
合の高さに近似させる様に設定する事が望ましく、又そ
の幅Ｗは、予め定められた道路の幅、好ましくは、走行
レーンの幅が画面に表示された場合の長さに近似した幅
に設定されるもので有る。
【００３７】本発明に於いては、例えば、該領域４１の
高さＨは、１．５ｍに相当する長さとし、又その幅Ｗ
は、４．０ｍに相当する長さに設定するものである。本
発明に於けるエッジ画像抽出手段２に於いては、道路画
像に於ける濃淡画素から、エッジ検出用の空間フィルタ
を用いて画像処理を行い、物体の輪郭線のみが抽出され
るエッジ画像を作成するものである。
高さＨは、１．５ｍに相当する長さとし、又その幅Ｗ
は、４．０ｍに相当する長さに設定するものである。本
発明に於けるエッジ画像抽出手段２に於いては、道路画
像に於ける濃淡画素から、エッジ検出用の空間フィルタ
を用いて画像処理を行い、物体の輪郭線のみが抽出され
るエッジ画像を作成するものである。
【００３８】本発明の係る具体例に於いて使用される上
記のエッジ検出用の空間フィルタ処理は特に限定される
ものではないが、例えば、図６に示す様な公知のＳＯＢ
ＥＬオペレータによる方法を用いる事が出来る。つまり
図６の(a) は垂直方向のエッジの検出オペレータであ
り、(b) は水平方向のエッジの検出オペレータである。
本発明の係る具体例に於いては、水平エッジ部分を検出
する必要があるので、特に図６の(b) に示される様な検
出オペレータからなるフィルターを、実際に得られた道
路画像の全ての画素値に掛け合わせて積算し、所定の画
素部分の画素値を得るものである。
記のエッジ検出用の空間フィルタ処理は特に限定される
ものではないが、例えば、図６に示す様な公知のＳＯＢ
ＥＬオペレータによる方法を用いる事が出来る。つまり
図６の(a) は垂直方向のエッジの検出オペレータであ
り、(b) は水平方向のエッジの検出オペレータである。
本発明の係る具体例に於いては、水平エッジ部分を検出
する必要があるので、特に図６の(b) に示される様な検
出オペレータからなるフィルターを、実際に得られた道
路画像の全ての画素値に掛け合わせて積算し、所定の画
素部分の画素値を得るものである。
【００３９】本発明に於いては、斯くして得られた画素
値の絶対値が予め定めたしきい値を越える点を水平方向
のエッジ点とする。尚、道路画像において、前方車の後
部形状から、水平方向のエッジが多く現れることから、
水平方向のエッジを前方車の認識に基本データとして使
用するもので有る。本発明に於ける他の例では、当該標
識線認識部３０では、エッジ画像抽出部２で抽出したエ
ッジ画像をもとに、自車の走行している車線の左右の標
識線６を認識して自車レーンを決定し、自車レーンの中
央線４０を決定する（図２）。つまり、係る方法を採用
する事によって、自車レーン領域を決定してその内側で
前方車を捜す事が出来るので道路外の風景や雑音は除去
することができる。
値の絶対値が予め定めたしきい値を越える点を水平方向
のエッジ点とする。尚、道路画像において、前方車の後
部形状から、水平方向のエッジが多く現れることから、
水平方向のエッジを前方車の認識に基本データとして使
用するもので有る。本発明に於ける他の例では、当該標
識線認識部３０では、エッジ画像抽出部２で抽出したエ
ッジ画像をもとに、自車の走行している車線の左右の標
識線６を認識して自車レーンを決定し、自車レーンの中
央線４０を決定する（図２）。つまり、係る方法を採用
する事によって、自車レーン領域を決定してその内側で
前方車を捜す事が出来るので道路外の風景や雑音は除去
することができる。
【００４０】前方車の最下部候補設定手段３１では、前
記した様に、レーン中央４０から左右に予め設定した長
さの前方車の最下部を探索する探索線を設け、該探索線
を自動車に近い路面部分に対応する画面上の水平線か
ら、自動車から遠い路面部分に向かって移動させ、該探
索線上での水平エッジの状態から前方車の最下部を認識
する。
記した様に、レーン中央４０から左右に予め設定した長
さの前方車の最下部を探索する探索線を設け、該探索線
を自動車に近い路面部分に対応する画面上の水平線か
ら、自動車から遠い路面部分に向かって移動させ、該探
索線上での水平エッジの状態から前方車の最下部を認識
する。
【００４１】前方車の最下部の決定方法は、探索線上で
予め設定したサンプリング間隔で画素値を抽出し、サン
プリングした画素のうち、水平エッジの成分を含んでい
る画素数が予め設定した数値（ｎ）以上になれば、その
探索線を前方車の最下部の候補線とする。そして該候補
線から画面上の遠方に向かって予め設定した範囲内で探
索線を移動させ、その間にサンプリングした水平エッジ
に於いて、水平エッジの成分を含んでいる画素数が予め
設定した数値（ｎ）以上になれば、該水平エッジも候補
線と判断し、更に、該候補線が、上記した所定の走査領
域内で予め設定された数（Ｎ）以上存在している場合
に、前方車が存在しているとしてその最初に設定した候
補線を前方車の最下部と決定するものである。
予め設定したサンプリング間隔で画素値を抽出し、サン
プリングした画素のうち、水平エッジの成分を含んでい
る画素数が予め設定した数値（ｎ）以上になれば、その
探索線を前方車の最下部の候補線とする。そして該候補
線から画面上の遠方に向かって予め設定した範囲内で探
索線を移動させ、その間にサンプリングした水平エッジ
に於いて、水平エッジの成分を含んでいる画素数が予め
設定した数値（ｎ）以上になれば、該水平エッジも候補
線と判断し、更に、該候補線が、上記した所定の走査領
域内で予め設定された数（Ｎ）以上存在している場合
に、前方車が存在しているとしてその最初に設定した候
補線を前方車の最下部と決定するものである。
【００４２】即ち、本発明に於いて、探索線を用いて水
平エッジの状態を調べるのは、前方車の後部形状により
水平方向のエッジが複数現れる特徴を利用しており、こ
れにより影による誤認識をなくすことができる。また探
索線の予め設定する長さをレーン幅より長めに設定すれ
ば、白線等の標識線をまたいでいる車についても認識で
き、前方に割り込んでくるような車に対しても素早く対
応できる。
平エッジの状態を調べるのは、前方車の後部形状により
水平方向のエッジが複数現れる特徴を利用しており、こ
れにより影による誤認識をなくすことができる。また探
索線の予め設定する長さをレーン幅より長めに設定すれ
ば、白線等の標識線をまたいでいる車についても認識で
き、前方に割り込んでくるような車に対しても素早く対
応できる。
【００４３】前方車位置決定手段３３では、図５に示す
様に、前方車探索領域４１内で、別途予め設定した高さ
と、幅をもつ認識枠４２を移動させ、その枠４１内の水
平エッジ成分を含んでいる画素数が最も多くなる認識枠
位置を前方車の位置と決定する様にしたもので有っても
良い。具体的には、前記前方車両位置探索領域４１内の
水平エッジの特徴分布から前方車両位置を探索する様に
構成したもので有って、前記前方車両位置探索領域内の
水平エッジに於ける当該水平エッジ成分を含む画素の垂
直方向の投影値に基づいて当該前方車両位置を決定する
様に構成しても良く、又図５に示す様な、水平エッジ成
分に付いてヒストグラムを作成し、その枠４２内での水
平エッジ成分を含んでいる画素数が最も多くなる認識枠
位置を前方車位置と決定する様に構成するもので有って
も良い。
様に、前方車探索領域４１内で、別途予め設定した高さ
と、幅をもつ認識枠４２を移動させ、その枠４１内の水
平エッジ成分を含んでいる画素数が最も多くなる認識枠
位置を前方車の位置と決定する様にしたもので有っても
良い。具体的には、前記前方車両位置探索領域４１内の
水平エッジの特徴分布から前方車両位置を探索する様に
構成したもので有って、前記前方車両位置探索領域内の
水平エッジに於ける当該水平エッジ成分を含む画素の垂
直方向の投影値に基づいて当該前方車両位置を決定する
様に構成しても良く、又図５に示す様な、水平エッジ成
分に付いてヒストグラムを作成し、その枠４２内での水
平エッジ成分を含んでいる画素数が最も多くなる認識枠
位置を前方車位置と決定する様に構成するもので有って
も良い。
【００４４】又、前記前方車両位置探索領域４１内に設
けられた、当該認識枠４２内の垂直方向の中心線に対す
る左右の対称性を検出し、最も対称性が高い認識枠４２
の位置を前方車位置と決定する様に構成するもので有っ
ても良い。又、他の具体例としては、前記前方車両位置
探索領域４１内に、所定の大きさを有する認識枠４２を
設け、当該認識枠４２を該前方車両位置探索領域４１内
で、移動させると共に、その枠４２内での水平エッジ成
分を含んでいる画素数と、該認識枠４２内の垂直方向の
中心線に対する左右の対称性を検出し、当該左右の対称
度から、前方車領域を表す評価値を設け、該評価値が最
も高い領域を当該前方車位置と決定する様に構成するも
ので有っても良い。
けられた、当該認識枠４２内の垂直方向の中心線に対す
る左右の対称性を検出し、最も対称性が高い認識枠４２
の位置を前方車位置と決定する様に構成するもので有っ
ても良い。又、他の具体例としては、前記前方車両位置
探索領域４１内に、所定の大きさを有する認識枠４２を
設け、当該認識枠４２を該前方車両位置探索領域４１内
で、移動させると共に、その枠４２内での水平エッジ成
分を含んでいる画素数と、該認識枠４２内の垂直方向の
中心線に対する左右の対称性を検出し、当該左右の対称
度から、前方車領域を表す評価値を設け、該評価値が最
も高い領域を当該前方車位置と決定する様に構成するも
ので有っても良い。
【００４５】更には、当該認識枠を該前方車両位置探索
領域内で、移動させると共に、その枠内での水平エッジ
成分を含んでいる画素数が最も多くなると同時に当該認
識枠内の垂直方向の中心線に対する左右の対称性を検出
し、最も対称性が高くなる認識枠位置を前方車位置と決
定する様に構成するもので有っても良い。尚、本発明に
於いては、該画像記録手段１の自車両に於ける設置条件
と画面上における位置から、該画面位置に対応する実際
の大きさが一定であるように、画面上での探索領域や認
識枠の大きさを設定する様にする事が望ましい。
領域内で、移動させると共に、その枠内での水平エッジ
成分を含んでいる画素数が最も多くなると同時に当該認
識枠内の垂直方向の中心線に対する左右の対称性を検出
し、最も対称性が高くなる認識枠位置を前方車位置と決
定する様に構成するもので有っても良い。尚、本発明に
於いては、該画像記録手段１の自車両に於ける設置条件
と画面上における位置から、該画面位置に対応する実際
の大きさが一定であるように、画面上での探索領域や認
識枠の大きさを設定する様にする事が望ましい。
【００４６】又、本発明に於いては、当該決定された前
方車の最下部から自車両迄の実際の路面上の距離を求め
る前方車距離算出手段３４を設け、前方車位置決定手段
３３で求めた前方車の画面上の位置から、路面上での自
車と前方車までの距離とその位置関係を算出する。ＴＶ
カメラの設置条件と画面上の位置から該距離と位置関係
を求めることができる。
方車の最下部から自車両迄の実際の路面上の距離を求め
る前方車距離算出手段３４を設け、前方車位置決定手段
３３で求めた前方車の画面上の位置から、路面上での自
車と前方車までの距離とその位置関係を算出する。ＴＶ
カメラの設置条件と画面上の位置から該距離と位置関係
を求めることができる。
【００４７】以上、説明したように本発明の上記具体例
によれば、自動車に搭載したＴＶカメラで捉えた入力画
像から、雑音が画像中に多く含まれているような場合で
も、高速に正しく前方車の位置を認識することができ
る。またレーンとの関係も認識出来るようになる。次
に、本発明に係る道路環境認識装置に於ける第２の態様
の具体例を図面を参照しながら以下に説明する。
によれば、自動車に搭載したＴＶカメラで捉えた入力画
像から、雑音が画像中に多く含まれているような場合で
も、高速に正しく前方車の位置を認識することができ
る。またレーンとの関係も認識出来るようになる。次
に、本発明に係る道路環境認識装置に於ける第２の態様
の具体例を図面を参照しながら以下に説明する。
【００４８】図７は、本発明に係る道路環境認識装置の
第２の態様の位置具体例の基本的構成を示すブロックダ
イアグラムであり、図中、ＴＶカメラ等で構成される画
像記録手段１、該画像記録手段１で捉えた画像から、物
体の輪郭線のみを抽出した画像に変換しエッジ画像を作
成するエッジ画像抽出手段２、自車輛に近い路面部分に
対応する画面部分から複数点の標識線候補点を抽出し、
それらの白線を含む標識線候補点の中から標識線を決定
する近方における標識線の決定手段４５、近方における
標識線決定手段４５で求めた該複数点の位置から標識線
の輪郭線に沿って、遠方の路面部分に対応する画面領域
内で該標識線を追跡延長することにより標識線位置を決
定する遠方における標識線の追跡手段４６及び実際の路
面上での標識線位置を算出する標識線位置算出手段４７
とで構成されたもので有る。
第２の態様の位置具体例の基本的構成を示すブロックダ
イアグラムであり、図中、ＴＶカメラ等で構成される画
像記録手段１、該画像記録手段１で捉えた画像から、物
体の輪郭線のみを抽出した画像に変換しエッジ画像を作
成するエッジ画像抽出手段２、自車輛に近い路面部分に
対応する画面部分から複数点の標識線候補点を抽出し、
それらの白線を含む標識線候補点の中から標識線を決定
する近方における標識線の決定手段４５、近方における
標識線決定手段４５で求めた該複数点の位置から標識線
の輪郭線に沿って、遠方の路面部分に対応する画面領域
内で該標識線を追跡延長することにより標識線位置を決
定する遠方における標識線の追跡手段４６及び実際の路
面上での標識線位置を算出する標識線位置算出手段４７
とで構成されたもので有る。
【００４９】つまり、本発明に係る第２の態様に於いて
は、白線、黄色線を含む標識線を、容易に且つ確実に認
識する為の道路環境認識装置を開示するもので有って、
具体的には、ＴＶカメラ等で構成される画像記録手段１
で捉えた画像をエッジ画像抽出手段２で物体の輪郭線の
みを抽出した画像に変換し、近方における標識線の決定
手段４５で自動車に近い路面部分に対応する画面部分か
ら複数点の標識線候補点を抽出し、それらの標識線候補
点の中から標識線を決定した後、遠方における標識線の
追跡手段４６で近方における標識線の決定手段４５で求
めた該複数点の位置から標識線の輪郭線に沿って、遠方
の路面部分に対応する画面領域内で標識線を追跡するこ
とにより標識線位置を決定し、最後に標識線位置算出手
段４７で実際の路面上での標識線位置を算出するもので
ある。
は、白線、黄色線を含む標識線を、容易に且つ確実に認
識する為の道路環境認識装置を開示するもので有って、
具体的には、ＴＶカメラ等で構成される画像記録手段１
で捉えた画像をエッジ画像抽出手段２で物体の輪郭線の
みを抽出した画像に変換し、近方における標識線の決定
手段４５で自動車に近い路面部分に対応する画面部分か
ら複数点の標識線候補点を抽出し、それらの標識線候補
点の中から標識線を決定した後、遠方における標識線の
追跡手段４６で近方における標識線の決定手段４５で求
めた該複数点の位置から標識線の輪郭線に沿って、遠方
の路面部分に対応する画面領域内で標識線を追跡するこ
とにより標識線位置を決定し、最後に標識線位置算出手
段４７で実際の路面上での標識線位置を算出するもので
ある。
【００５０】図７の構成を実現するために、本発明に於
ける第２の態様に於ける一具体例に於いては、図８に示
される様に、自車輛に近い路面部分に対応する道路画面
５上で、且つ画面縦方向に複数の標識線候補点５１が取
れる領域でかつ、この領域の画面中央縦線５２から左側
の領域を第１の領域Ａ、右側の領域を領域第２の領域
Ｂ、自動車から遠い路面部分に対応する画面領域を第３
の領域Ｃとする３つの画面領域に分割し、第１の領域Ａ
では左方向に、第２の領域Ｂでは右方向に標識線候補点
を探索することにより、第１の領域Ａ、第２の領域Ｂに
おいて標識線を決定し、第３の領域Ｃでは第１の領域
Ａ、第２の領域Ｂでの標識線位置から標識線部分を追跡
して、標識線を順次決定する様に演算処理を実行するも
のである。
ける第２の態様に於ける一具体例に於いては、図８に示
される様に、自車輛に近い路面部分に対応する道路画面
５上で、且つ画面縦方向に複数の標識線候補点５１が取
れる領域でかつ、この領域の画面中央縦線５２から左側
の領域を第１の領域Ａ、右側の領域を領域第２の領域
Ｂ、自動車から遠い路面部分に対応する画面領域を第３
の領域Ｃとする３つの画面領域に分割し、第１の領域Ａ
では左方向に、第２の領域Ｂでは右方向に標識線候補点
を探索することにより、第１の領域Ａ、第２の領域Ｂに
おいて標識線を決定し、第３の領域Ｃでは第１の領域
Ａ、第２の領域Ｂでの標識線位置から標識線部分を追跡
して、標識線を順次決定する様に演算処理を実行するも
のである。
【００５１】まず第１の領域Ａ、第２の領域Ｂにおいて
標識線を決定するのは、画面手前のほうが遠方よりも標
識線幅に対する画素数も多くエッジの状態も良く、前方
車などの障害物の混入も少ないからである。 また第１
の領域Ａ、第２の領域Ｂを広めに指定して標識線候補点
の個数を多く抽出することで、前方車の輪郭線による標
識線候補点が入っていても、誤った標識線候補点を除
き、正しく標識線が認識できる。また標識線が破線の場
合にも、第１の領域Ａ、第２の領域Ｂの縦方向の長さを
破線間の長さ以上に設定すれば標識線を抽出することが
可能となる。
標識線を決定するのは、画面手前のほうが遠方よりも標
識線幅に対する画素数も多くエッジの状態も良く、前方
車などの障害物の混入も少ないからである。 また第１
の領域Ａ、第２の領域Ｂを広めに指定して標識線候補点
の個数を多く抽出することで、前方車の輪郭線による標
識線候補点が入っていても、誤った標識線候補点を除
き、正しく標識線が認識できる。また標識線が破線の場
合にも、第１の領域Ａ、第２の領域Ｂの縦方向の長さを
破線間の長さ以上に設定すれば標識線を抽出することが
可能となる。
【００５２】第３の領域Ｃで標識線が追跡によって求め
るのは、遠方では前方車などの障害物が混入する確率が
高く、標識線の曲がりも大きくなるために、画面中央か
らの探索では標識線を認識できないためである。つま
り、本発明に係る該第２の態様に於ける具体的構成とし
ては、自動車に搭載した画像記録手段１により記録され
た道路画像５から、物体の輪郭線のみを抽出したエッジ
画像を作成し、該エッジ画像から、道路に表示された標
識線６を検出して認識するに際し、該エッジ画像におけ
る自車両に近い路面部分に対応する領域の相当する画像
画面部分の略中央部分から２つの領域に分割せしめ、当
該画像画面部分の略中央部分から左側の領域を第１の領
域Ａとすると共に、右側の領域を第２の領域Ｂとなし、
且つ自車両から遠い当該画像画面部分における路面部分
に対応する画面領域を第３の領域Ｃとする画面領域に分
割し、該第１の領域Ａでは該中央部分付近から左方向
に、又該第２の領域Ｂでは該中央部分付近から右方向に
複数の標識線候補点を探索することにより、該第１の領
域Ａ及び第２の領域Ｂにおいて標識線を決定し、又該第
３の領域Ｃでは該第１と第２の領域Ａ、Ｂで探索された
標識線位置から該標識線を延長、追跡して標識線を順
次、探索し決定する様に構成されている道路環境認識装
置である。
るのは、遠方では前方車などの障害物が混入する確率が
高く、標識線の曲がりも大きくなるために、画面中央か
らの探索では標識線を認識できないためである。つま
り、本発明に係る該第２の態様に於ける具体的構成とし
ては、自動車に搭載した画像記録手段１により記録され
た道路画像５から、物体の輪郭線のみを抽出したエッジ
画像を作成し、該エッジ画像から、道路に表示された標
識線６を検出して認識するに際し、該エッジ画像におけ
る自車両に近い路面部分に対応する領域の相当する画像
画面部分の略中央部分から２つの領域に分割せしめ、当
該画像画面部分の略中央部分から左側の領域を第１の領
域Ａとすると共に、右側の領域を第２の領域Ｂとなし、
且つ自車両から遠い当該画像画面部分における路面部分
に対応する画面領域を第３の領域Ｃとする画面領域に分
割し、該第１の領域Ａでは該中央部分付近から左方向
に、又該第２の領域Ｂでは該中央部分付近から右方向に
複数の標識線候補点を探索することにより、該第１の領
域Ａ及び第２の領域Ｂにおいて標識線を決定し、又該第
３の領域Ｃでは該第１と第２の領域Ａ、Ｂで探索された
標識線位置から該標識線を延長、追跡して標識線を順
次、探索し決定する様に構成されている道路環境認識装
置である。
【００５３】本具体例に於いて、前記第１の領域Ａと第
２の領域Ｂに於いて、中央部からそれぞれ反対方向に画
素値の検出走査を実行するが、検出走査は、第１の領域
Ａと第２の領域Ｂに於いて互いに同期させて実行される
ものである。本発明に係る上記具体例に於いては、該画
像記録手段１により記録された道路画像５から、物体の
輪郭線のみを抽出したエッジ画像を作成するに際し、全
画面領域でエッジ画像を作成する。
２の領域Ｂに於いて、中央部からそれぞれ反対方向に画
素値の検出走査を実行するが、検出走査は、第１の領域
Ａと第２の領域Ｂに於いて互いに同期させて実行される
ものである。本発明に係る上記具体例に於いては、該画
像記録手段１により記録された道路画像５から、物体の
輪郭線のみを抽出したエッジ画像を作成するに際し、全
画面領域でエッジ画像を作成する。
【００５４】該道路画像を構成する画素群を、前述した
所定の空間フィルターを用いて水平方向に走査しなが
ら、各画素値の垂直方向のエッジ成分の絶対値を求め、
該各画素値の絶対値が、予め定められたしきい値を越え
る画素部分を標識線等のエッジ点と決定する様に構成さ
れているものである。次に、本発明に係る道路環境認識
装置の第２の態様に於ける標識線の認識方法の具体例を
図９から図２０を参照しながら詳細に説明する。
所定の空間フィルターを用いて水平方向に走査しなが
ら、各画素値の垂直方向のエッジ成分の絶対値を求め、
該各画素値の絶対値が、予め定められたしきい値を越え
る画素部分を標識線等のエッジ点と決定する様に構成さ
れているものである。次に、本発明に係る道路環境認識
装置の第２の態様に於ける標識線の認識方法の具体例を
図９から図２０を参照しながら詳細に説明する。
【００５５】図９は、本具体例を構成するブロックダイ
アグラムが示されており、特に前記した図７に於けるブ
ロックダイアグラムに対して、近方における標識線の決
定手段４５の構成がより詳しく説明されている。つま
り、本具体例に於いては、近方における標識線の決定手
段４５は、白線を含む標識線候補抽出手段５３、レーン
幅による検証手段５４、標識線決定手段５５及び標識線
補間手段５６とから構成されたものである。
アグラムが示されており、特に前記した図７に於けるブ
ロックダイアグラムに対して、近方における標識線の決
定手段４５の構成がより詳しく説明されている。つま
り、本具体例に於いては、近方における標識線の決定手
段４５は、白線を含む標識線候補抽出手段５３、レーン
幅による検証手段５４、標識線決定手段５５及び標識線
補間手段５６とから構成されたものである。
【００５６】図９の構成に於ける操作手順を図１０のフ
ローチャートに従って説明するならば、ＴＶカメラを含
む画像記録手段１で捉えた画像５をエッジ画像抽出手段
２で物体の輪郭線のみを抽出した画像に変換した後、ス
テップ（１）に於いて、図８に示す様に、標識線候補点
抽出手段５３で第１の領域Ａ、第２の領域Ｂそれぞれに
おいて、複数の標識線候補点５１を抽出する。更に、ス
テップ（２）に於いて、第１の領域Ａ、第２の領域Ｂの
標識線候補点５１の結果からレーン幅による検証手段５
４で、特に標識線６である可能性の高い点（有力な標識
線候補点５７と称する）を選び、ステップ（３）に於い
て、標識線決定手段５５で該標識線候補点５１の連続性
や有力な標識線候補点５７を含む割合などから実際の標
識線６を決定する。
ローチャートに従って説明するならば、ＴＶカメラを含
む画像記録手段１で捉えた画像５をエッジ画像抽出手段
２で物体の輪郭線のみを抽出した画像に変換した後、ス
テップ（１）に於いて、図８に示す様に、標識線候補点
抽出手段５３で第１の領域Ａ、第２の領域Ｂそれぞれに
おいて、複数の標識線候補点５１を抽出する。更に、ス
テップ（２）に於いて、第１の領域Ａ、第２の領域Ｂの
標識線候補点５１の結果からレーン幅による検証手段５
４で、特に標識線６である可能性の高い点（有力な標識
線候補点５７と称する）を選び、ステップ（３）に於い
て、標識線決定手段５５で該標識線候補点５１の連続性
や有力な標識線候補点５７を含む割合などから実際の標
識線６を決定する。
【００５７】又、ＴＶカメラ等の画像記録手段１からの
距離が最も近い画面上の水平線を画面上の最近線５８と
すると、この決定した標識線６が最近線５８上まで求め
られなかった場合や、第１の領域Ａ、第２の領域Ｂのど
ちらかしか標識線６を決定できなかった場合には、ステ
ップ（４）において、標識線補間手段５６で標識線６を
補間して当該標識線を決定する様に構成しても良い。
距離が最も近い画面上の水平線を画面上の最近線５８と
すると、この決定した標識線６が最近線５８上まで求め
られなかった場合や、第１の領域Ａ、第２の領域Ｂのど
ちらかしか標識線６を決定できなかった場合には、ステ
ップ（４）において、標識線補間手段５６で標識線６を
補間して当該標識線を決定する様に構成しても良い。
【００５８】そしてステップ（５）に於いては、遠方へ
の標識線追跡手段４６で第３の領域Ｃ内に於いて、第１
の領域Ａ及び／又は第２の領域Ｂに於いて求められた標
識線６を上方向へ追跡しながら延長して、遠方位置の標
識線も決定する。更に、標識線位置算出手段４７で実際
の路面上での標識線位置を算出する。上記した本発明の
第２の態様に於ける具体例に於いて、エッジ画像抽出手
段２では、本発明に係る第１の態様に於いて説明したと
同様に、濃淡画像からエッジ検出用の空間フィルタ処理
を行うことにより、物体の輪郭線のみを抽出したエッジ
画像を得る。エッジ検出用の空間フィルタ処理はいくつ
かあるが、図６に示される様なＳＯＢＥＬオペレータに
よる方法が一例として採用出来、本具体例に於いては、
図６(a) に示された垂直方向のエッジの検出オペレータ
を用いるものである。
の標識線追跡手段４６で第３の領域Ｃ内に於いて、第１
の領域Ａ及び／又は第２の領域Ｂに於いて求められた標
識線６を上方向へ追跡しながら延長して、遠方位置の標
識線も決定する。更に、標識線位置算出手段４７で実際
の路面上での標識線位置を算出する。上記した本発明の
第２の態様に於ける具体例に於いて、エッジ画像抽出手
段２では、本発明に係る第１の態様に於いて説明したと
同様に、濃淡画像からエッジ検出用の空間フィルタ処理
を行うことにより、物体の輪郭線のみを抽出したエッジ
画像を得る。エッジ検出用の空間フィルタ処理はいくつ
かあるが、図６に示される様なＳＯＢＥＬオペレータに
よる方法が一例として採用出来、本具体例に於いては、
図６(a) に示された垂直方向のエッジの検出オペレータ
を用いるものである。
【００５９】即ち、道路画像における標識線の輪郭を認
識する場合には、垂直方向のエッジが最も重要であるか
らであり、特に高速道路の場合、道路の曲率から垂直エ
ッジしか問題にならない場合が多い。図６(a) の空間フ
ィルタ処理による垂直エッジ値の絶対値が予め定めたし
きい値を越えている画素で、正のエッジ値をとるものを
正エッジ、負の値をとるものを負エッジと呼ぶ。
識する場合には、垂直方向のエッジが最も重要であるか
らであり、特に高速道路の場合、道路の曲率から垂直エ
ッジしか問題にならない場合が多い。図６(a) の空間フ
ィルタ処理による垂直エッジ値の絶対値が予め定めたし
きい値を越えている画素で、正のエッジ値をとるものを
正エッジ、負の値をとるものを負エッジと呼ぶ。
【００６０】即ち、濃淡画像に於いて、画素値が画面右
方向に向かって高い値から低い値になる時で、かつ高い
値と低い値の濃度差が予め定められたしきい値より大き
な値となる点が正エッジ、低い値から高い値になる時
で、かつ低い値と高い値との濃度差が予め定められたし
きい値より大きな値となる点が負エッジとなる。正負の
エッジのみを抽出した画像の例は図１１のようになる。
方向に向かって高い値から低い値になる時で、かつ高い
値と低い値の濃度差が予め定められたしきい値より大き
な値となる点が正エッジ、低い値から高い値になる時
で、かつ低い値と高い値との濃度差が予め定められたし
きい値より大きな値となる点が負エッジとなる。正負の
エッジのみを抽出した画像の例は図１１のようになる。
【００６１】つまり、本発明に係る画像処理に於いて
は、一つの画素値を０〜２５５の２５６段階のレベルで
表示しており、標識線として例えば白線を認識しようと
する場合には、０を黒、２５５を白と定め、その間をレ
ベル値の異なる灰色に設定している。従って、今、図１
１に示す様に、道路画像５の中央部から左右方向に水平
に各画素を走査して行き、白線のエッジ部分に相当する
画素の画素値が検出されると画素値は高くなり、正エッ
ジＳが発生し、又白線から離反する他のエッジ部分に相
当する画素の画素値は低くなり負エッジＦが発生する事
になる。
は、一つの画素値を０〜２５５の２５６段階のレベルで
表示しており、標識線として例えば白線を認識しようと
する場合には、０を黒、２５５を白と定め、その間をレ
ベル値の異なる灰色に設定している。従って、今、図１
１に示す様に、道路画像５の中央部から左右方向に水平
に各画素を走査して行き、白線のエッジ部分に相当する
画素の画素値が検出されると画素値は高くなり、正エッ
ジＳが発生し、又白線から離反する他のエッジ部分に相
当する画素の画素値は低くなり負エッジＦが発生する事
になる。
【００６２】図１２は、係る検出状態を示したものであ
る。即ち、本発明に係る上記具体例に於いては、当該エ
ッジ画像は、該所定の空間フィルターを用いて得られた
画素値が、正となる複数の正エッジと、該画素値が、負
となる複数の負エッジとから構成されるものであり、又
標識線を認識する方法としては、該第１の領域Ａ、及び
第２の領域Ｂのそれぞれに於いて、当該エッジ画像を水
平方向に走査する場合に、一走査中に少なくとも隣接す
る２個のエッジ部分が存在しており、且つ該互いに隣接
する２個のエッジ部分の一方が正エッジであり又他方が
負エッジである場合であって、両エッジ間の間隔ｍが、
予め設定された標識線の幅Ｍの範囲内の間隔を有してい
る場合に、当該正負エッジ若しくはその両者の間の任意
の点を標識線候補点５１として抽出する様に構成されて
いる。
る。即ち、本発明に係る上記具体例に於いては、当該エ
ッジ画像は、該所定の空間フィルターを用いて得られた
画素値が、正となる複数の正エッジと、該画素値が、負
となる複数の負エッジとから構成されるものであり、又
標識線を認識する方法としては、該第１の領域Ａ、及び
第２の領域Ｂのそれぞれに於いて、当該エッジ画像を水
平方向に走査する場合に、一走査中に少なくとも隣接す
る２個のエッジ部分が存在しており、且つ該互いに隣接
する２個のエッジ部分の一方が正エッジであり又他方が
負エッジである場合であって、両エッジ間の間隔ｍが、
予め設定された標識線の幅Ｍの範囲内の間隔を有してい
る場合に、当該正負エッジ若しくはその両者の間の任意
の点を標識線候補点５１として抽出する様に構成されて
いる。
【００６３】本発明に於ける具体例に於いては、標識線
候補点抽出手段５３によって、複数の標識線候補点５１
が抽出される。係る操作は、第２の領域Ｂについても同
様なので、第１の領域Ａについてのみ説明する。図１２
に示すように探索領域内で水平方向で左方向の探索方向
に沿って、標識線の特徴を持った標識線候補点５１を探
索する。
候補点抽出手段５３によって、複数の標識線候補点５１
が抽出される。係る操作は、第２の領域Ｂについても同
様なので、第１の領域Ａについてのみ説明する。図１２
に示すように探索領域内で水平方向で左方向の探索方向
に沿って、標識線の特徴を持った標識線候補点５１を探
索する。
【００６４】水平方向の探索において正エッジＳ、負エ
ッジＦの順でエッジが得られ、かつエッジ間の画素の間
隔ｍが、予め設定した標識線幅Ｍの範囲内に入っている
場合、標識線候補点５１とする。自動車に搭載したＴＶ
カメラの取り付け位置の高さ・俯角等は既知であり、実
際の路面上での距離から、画面上の距離に変換すること
ができ、実際の標識線幅Ｍに相当する画面上での幅を用
いて検証を行うことが標識線を認識するのに有効であ
る。
ッジＦの順でエッジが得られ、かつエッジ間の画素の間
隔ｍが、予め設定した標識線幅Ｍの範囲内に入っている
場合、標識線候補点５１とする。自動車に搭載したＴＶ
カメラの取り付け位置の高さ・俯角等は既知であり、実
際の路面上での距離から、画面上の距離に変換すること
ができ、実際の標識線幅Ｍに相当する画面上での幅を用
いて検証を行うことが標識線を認識するのに有効であ
る。
【００６５】尚、第２の領域Ｂの場合は、エッジの出て
くる順番は負エッジ、正エッジの順となる。次に、本発
明に於けるレーン幅による検証手段５４では、図１３に
示す様に、第１の領域Ａ、第２の領域Ｂで得られた同じ
水平軸上の左右の標識線候補点間５１、５７の間隔ｄが
予め設定したレーン幅Ｄに対して所定の許容範囲内であ
る場合、これら左右の候補点５１と５７は特に標識線６
である可能性の高い点であるとし、有力な標識線候補点
５１’５７’とする。
くる順番は負エッジ、正エッジの順となる。次に、本発
明に於けるレーン幅による検証手段５４では、図１３に
示す様に、第１の領域Ａ、第２の領域Ｂで得られた同じ
水平軸上の左右の標識線候補点間５１、５７の間隔ｄが
予め設定したレーン幅Ｄに対して所定の許容範囲内であ
る場合、これら左右の候補点５１と５７は特に標識線６
である可能性の高い点であるとし、有力な標識線候補点
５１’５７’とする。
【００６６】標識線決定手段５５での処理のフローチャ
ートを図１４に示す。尚、係る操作フローチャートは、
第１の領域Ａ、第２の領域Ｂとも同じ処理である。該標
識線決定手段５５に於いては、前記した工程迄で、一応
の白線を含む標識線を認識しえる候補部分が検出された
ので、当該標識線候補部分を実際の標識線と認められる
か否かを判断しようとするもので有る。
ートを図１４に示す。尚、係る操作フローチャートは、
第１の領域Ａ、第２の領域Ｂとも同じ処理である。該標
識線決定手段５５に於いては、前記した工程迄で、一応
の白線を含む標識線を認識しえる候補部分が検出された
ので、当該標識線候補部分を実際の標識線と認められる
か否かを判断しようとするもので有る。
【００６７】つまり、実際の道路上に設けられている白
線等の標識線は、連続状のもの、破線状のもの、横断歩
道、若しくは車間距離を確認する為のマーク等種々存在
しており、又それらの幅もそれぞれ異なっている。即
ち、当該標識線の幅が細線の場合は、連続線か破線の場
合が多く、然も比較的長い実線部分の長さを持っている
が、当該標識線の幅が太線の場合は、合流車線や登坂車
線のような短い破線の場合が多い為、連続性による標識
線の決定が難しい場合が多い。
線等の標識線は、連続状のもの、破線状のもの、横断歩
道、若しくは車間距離を確認する為のマーク等種々存在
しており、又それらの幅もそれぞれ異なっている。即
ち、当該標識線の幅が細線の場合は、連続線か破線の場
合が多く、然も比較的長い実線部分の長さを持っている
が、当該標識線の幅が太線の場合は、合流車線や登坂車
線のような短い破線の場合が多い為、連続性による標識
線の決定が難しい場合が多い。
【００６８】その為、本発明に係る上記具体例に於いて
は、まず、スタート後、ステップ（１００）に於いて、
当該標識線の幅が太線か細線かの判断を行い、当該標識
線の幅が細い場合には、即ちステップ（１００）でＮＯ
の場合、後述するステップ（１０１）をスキップしてス
テップ（１０２）に進み、当該ステップ（１０２）に於
いて、その標識線を連続性を持った標識線候補として採
用するが、ステップ（１００）に於いて当該標識線の幅
が太い場合、即ちステップ（１００）でＹＥＳの場合に
は、ステップ（１０１）に進み、、当該標識線の幅が太
い太線のみの標識線候補点間を補間した点も標識線候補
点とする。
は、まず、スタート後、ステップ（１００）に於いて、
当該標識線の幅が太線か細線かの判断を行い、当該標識
線の幅が細い場合には、即ちステップ（１００）でＮＯ
の場合、後述するステップ（１０１）をスキップしてス
テップ（１０２）に進み、当該ステップ（１０２）に於
いて、その標識線を連続性を持った標識線候補として採
用するが、ステップ（１００）に於いて当該標識線の幅
が太い場合、即ちステップ（１００）でＹＥＳの場合に
は、ステップ（１０１）に進み、、当該標識線の幅が太
い太線のみの標識線候補点間を補間した点も標識線候補
点とする。
【００６９】次いで、ステップ（１０２）に進み、当該
標識線候補点の連続性に基づいて標識線候補を決定す
る。具体的には、図１５に示される様に、例えば、第１
の領域Ａを示すエッジ画像に於いて、３個の標識線候補
点５１を含んだ第１の標識線候補点群６０と当該第１の
標識線候補点群６０の長手方向の軸線上若しくはその近
傍に、該第１の標識線候補点群６０とは分離された形
で、３個の標識線候補点５１を含んだ第２の標識線候補
点群６１が存在している事が確認された場合、両標識線
候補点群６０、６１の間の部分６２に標識線候補点５１
を適宜追加して補間し、その全体が連続しているものと
見做せる様にするもので有る。
標識線候補点の連続性に基づいて標識線候補を決定す
る。具体的には、図１５に示される様に、例えば、第１
の領域Ａを示すエッジ画像に於いて、３個の標識線候補
点５１を含んだ第１の標識線候補点群６０と当該第１の
標識線候補点群６０の長手方向の軸線上若しくはその近
傍に、該第１の標識線候補点群６０とは分離された形
で、３個の標識線候補点５１を含んだ第２の標識線候補
点群６１が存在している事が確認された場合、両標識線
候補点群６０、６１の間の部分６２に標識線候補点５１
を適宜追加して補間し、その全体が連続しているものと
見做せる様にするもので有る。
【００７０】つまり、該第１及び第２の各領域Ａ、Ｂに
おいて求められた、標識線候補点のうち、当該標識線の
幅が太線か細線かを判別し、太線の場合は太線のみの標
識線候補点間を、一定間隔で補間した点も標識線候補点
とするもので有る。又、本発明に係る具体例の他の例と
しては、図１６に示す様に、上記の手順により求められ
たこれらの候補点５１を実際の路面上の座標系の上にプ
ロットし、長手方向に隣接する、つまり、たて方向にと
なりあった他の標識線候補点５１との位置のずれが、予
め設定されたしきい値より小さく、かつ隣接する標識線
候補点５１の標識線幅の差が予め設定された範囲以下で
ある標識線候補点同士を連結していき、この連結数が予
め設定した個数以上になれば、その標識線候補点の集合
を標識線候補６３とする。
おいて求められた、標識線候補点のうち、当該標識線の
幅が太線か細線かを判別し、太線の場合は太線のみの標
識線候補点間を、一定間隔で補間した点も標識線候補点
とするもので有る。又、本発明に係る具体例の他の例と
しては、図１６に示す様に、上記の手順により求められ
たこれらの候補点５１を実際の路面上の座標系の上にプ
ロットし、長手方向に隣接する、つまり、たて方向にと
なりあった他の標識線候補点５１との位置のずれが、予
め設定されたしきい値より小さく、かつ隣接する標識線
候補点５１の標識線幅の差が予め設定された範囲以下で
ある標識線候補点同士を連結していき、この連結数が予
め設定した個数以上になれば、その標識線候補点の集合
を標識線候補６３とする。
【００７１】即ち、本具体例に於いては、該第１及び第
２の各領域Ａ、Ｂのそれぞれにおいて求められた、道路
の長手方向に隣接する複数の標識線候補点若しくは複数
組の標識線候補点群間の相互間の位置のずれが予め設定
されたしきい値よりも小さく、且つ隣接する該標識線候
補点若しくは標識線候補点群間同志の標識線の幅の差が
予め設定された範囲以下である標識線候補点同士を連結
していき、この連結される該標識線候補点の数が予め設
定した個数以上になった場合には、当該標識線候補点の
集合、若しくは標識線候補点群の集合を標識線候補とす
る様に構成されているものである。
２の各領域Ａ、Ｂのそれぞれにおいて求められた、道路
の長手方向に隣接する複数の標識線候補点若しくは複数
組の標識線候補点群間の相互間の位置のずれが予め設定
されたしきい値よりも小さく、且つ隣接する該標識線候
補点若しくは標識線候補点群間同志の標識線の幅の差が
予め設定された範囲以下である標識線候補点同士を連結
していき、この連結される該標識線候補点の数が予め設
定した個数以上になった場合には、当該標識線候補点の
集合、若しくは標識線候補点群の集合を標識線候補とす
る様に構成されているものである。
【００７２】更に、本発明に於いては、該第１及び第２
の各領域Ａ、Ｂのそれぞれにおいて求められた、道路の
長手方向に隣接する複数個の標識線候補点群の内に、前
記した有力な標識線候補点の数が予め設定した個数以上
含まれている場合には、当該標識線候補点群の集合を標
識線候補とする様にする事も可能である。続いて、ステ
ップ（１０３）に於いては、このようにして得た標識線
候補のうち、有力な標識線候補点が予め設定した個数
（Ｎ）以上含んでいるか否か、が判断され、有力な標識
線候補点が予め設定した個数（Ｎ）以上含んでいる場合
は、その標識線候補を標識線６と決定する。
の各領域Ａ、Ｂのそれぞれにおいて求められた、道路の
長手方向に隣接する複数個の標識線候補点群の内に、前
記した有力な標識線候補点の数が予め設定した個数以上
含まれている場合には、当該標識線候補点群の集合を標
識線候補とする様にする事も可能である。続いて、ステ
ップ（１０３）に於いては、このようにして得た標識線
候補のうち、有力な標識線候補点が予め設定した個数
（Ｎ）以上含んでいるか否か、が判断され、有力な標識
線候補点が予め設定した個数（Ｎ）以上含んでいる場合
は、その標識線候補を標識線６と決定する。
【００７３】例えば図１６においてＮ＝３の場合は標識
線候補６３は、標識線６とは判断されないが、標識線候
補６４は、有力な標識線候補点５１’を３個数含んでい
ので、標識線６となる（ステップ（１０５））。もし有
力な標識線候補点５１’を３個以上含んだ標識線候補６
３が複数存在した場合は、ステップ（１０４）に於い
て、図１５と同じ方法で両標識線候補６３、６４間を適
宜補間し、全体を標識線６と決定する。
線候補６３は、標識線６とは判断されないが、標識線候
補６４は、有力な標識線候補点５１’を３個数含んでい
ので、標識線６となる（ステップ（１０５））。もし有
力な標識線候補点５１’を３個以上含んだ標識線候補６
３が複数存在した場合は、ステップ（１０４）に於い
て、図１５と同じ方法で両標識線候補６３、６４間を適
宜補間し、全体を標識線６と決定する。
【００７４】もし、有力な標識線候補点５１’をＮ個以
上含んだ標識線候補が存在しない場合は、ステップ（１
０６）に於いて、候補点の個数が最も多い標識線候補を
標識線６と決定する。つまり、本発明に係る上記具体例
に於いては、該第１及び第２の各領域Ａ、Ｂのそれぞれ
において求められた、道路の長手方向に隣接する複数個
の標識線候補点群の内に、前記した有力な標識線候補点
の数が予め設定した個数以上含まれている標識線候補点
群が複数個存在する場合、当該標識線候補点群間を補間
して標識線を決定する様にしても良く、又該第１及び第
２の各領域Ａ、Ｂのそれぞれにおいて求められた複数個
の標識線候補の内で、標識線候補点の個数が最も多い標
識線候補を標識線として決定する様にしても良い。
上含んだ標識線候補が存在しない場合は、ステップ（１
０６）に於いて、候補点の個数が最も多い標識線候補を
標識線６と決定する。つまり、本発明に係る上記具体例
に於いては、該第１及び第２の各領域Ａ、Ｂのそれぞれ
において求められた、道路の長手方向に隣接する複数個
の標識線候補点群の内に、前記した有力な標識線候補点
の数が予め設定した個数以上含まれている標識線候補点
群が複数個存在する場合、当該標識線候補点群間を補間
して標識線を決定する様にしても良く、又該第１及び第
２の各領域Ａ、Ｂのそれぞれにおいて求められた複数個
の標識線候補の内で、標識線候補点の個数が最も多い標
識線候補を標識線として決定する様にしても良い。
【００７５】本発明に於ける標識線補間手段５６では、
ＴＶカメラ等の画像記録手段１からの距離が最も近い画
面上の水平線を画面上の最近線５８とすると、第１の領
域Ａ、第２の領域Ｂそれぞれにおいて、決定した標識線
６が画面上の最近線５８と共通点を持たない場合には、
図１７に示す様に、得られた標識線部分６から最近線５
８に向かって引いた延長線を以てその間を補間し、その
全体を標識線６とする事も出来る。
ＴＶカメラ等の画像記録手段１からの距離が最も近い画
面上の水平線を画面上の最近線５８とすると、第１の領
域Ａ、第２の領域Ｂそれぞれにおいて、決定した標識線
６が画面上の最近線５８と共通点を持たない場合には、
図１７に示す様に、得られた標識線部分６から最近線５
８に向かって引いた延長線を以てその間を補間し、その
全体を標識線６とする事も出来る。
【００７６】一方、本発明に係る上記具体例に於いて、
第１の領域Ａまたは第２の領域Ｂのどちらかで標識線６
が決定できなかった場合、図１８に示す様に、標識線の
決定できた方の領域の、標識線６中の標識線候補点５１
から標識線のレーン幅の距離Ｄを用いて、他方領域での
点５１”を補完することで標識線６を決定する事も可能
である。
第１の領域Ａまたは第２の領域Ｂのどちらかで標識線６
が決定できなかった場合、図１８に示す様に、標識線の
決定できた方の領域の、標識線６中の標識線候補点５１
から標識線のレーン幅の距離Ｄを用いて、他方領域での
点５１”を補完することで標識線６を決定する事も可能
である。
【００７７】係る処理により、片側の標識線６がかすれ
ているなどの要因で認識できないような場合でも、標識
線６の位置を決定することができる。また前方車１０が
片側の標識線６を隠すような場合にもその標識線６を認
識することができる。つまり、本発明に於いて、該第１
及び第２の各領域Ａ、Ｂの何れかの領域において、標識
線を決定出来なかった場合には、標識線を決定できた一
方の当該領域の標識線中の標識線候補点から、予め設定
された標識線のレーン幅の距離だけ離れた他方の当該領
域の点を標識線候補点と見做し、係る見做し標識線候補
点間を補間した線を標識線として決定するものである。
ているなどの要因で認識できないような場合でも、標識
線６の位置を決定することができる。また前方車１０が
片側の標識線６を隠すような場合にもその標識線６を認
識することができる。つまり、本発明に於いて、該第１
及び第２の各領域Ａ、Ｂの何れかの領域において、標識
線を決定出来なかった場合には、標識線を決定できた一
方の当該領域の標識線中の標識線候補点から、予め設定
された標識線のレーン幅の距離だけ離れた他方の当該領
域の点を標識線候補点と見做し、係る見做し標識線候補
点間を補間した線を標識線として決定するものである。
【００７８】更に、本発明に於いて、遠方への追跡手段
４６では、上記した方法により決定した第１の領域Ａ、
第２の領域Ｂの標識線６を第３の領域Ｃの上方向に延長
して追跡するもので有る。即ち、第１の領域Ａ、第２の
領域Ｂそれぞれで決定した標識線に対し、図１９に示さ
れている様に、標識線６の輪郭線である正負のエッジ
Ｓ、Ｆに沿って、上方向に追跡していく。
４６では、上記した方法により決定した第１の領域Ａ、
第２の領域Ｂの標識線６を第３の領域Ｃの上方向に延長
して追跡するもので有る。即ち、第１の領域Ａ、第２の
領域Ｂそれぞれで決定した標識線に対し、図１９に示さ
れている様に、標識線６の輪郭線である正負のエッジ
Ｓ、Ｆに沿って、上方向に追跡していく。
【００７９】又、第１の領域Ａ、第２の領域Ｂで得られ
た標識線６が破線の場合などエッジが途切れて追跡が中
止されるような場合は、図２０に示される様に、予め認
識された破線６’の探索領域だけ延長して、新たな探索
領域７０を形成し、認識できた標識線部分６’の延長線
方向に標識線候補点抽出と同じ方法で標識線６を探索
し、標識線６”が見つかれば再びエッジを追跡する様に
構成しても良い。
た標識線６が破線の場合などエッジが途切れて追跡が中
止されるような場合は、図２０に示される様に、予め認
識された破線６’の探索領域だけ延長して、新たな探索
領域７０を形成し、認識できた標識線部分６’の延長線
方向に標識線候補点抽出と同じ方法で標識線６を探索
し、標識線６”が見つかれば再びエッジを追跡する様に
構成しても良い。
【００８０】更に、本発明に於ける上記具体例に於いて
は、前記した標識線決定手段５５で有力な標識線候補点
を検出する構成に替えて、標識線候補点の個数が最も多
い標識線候補点を標識線と決定する事も望ましい。又、
上記標識線決定手段５５や標識線補間手段５６で標識線
幅やレーン幅を予め設定したしきい値ではなく、前の画
面に求めたそれぞれの値を用いて検証を行う事も可能で
ある。
は、前記した標識線決定手段５５で有力な標識線候補点
を検出する構成に替えて、標識線候補点の個数が最も多
い標識線候補点を標識線と決定する事も望ましい。又、
上記標識線決定手段５５や標識線補間手段５６で標識線
幅やレーン幅を予め設定したしきい値ではなく、前の画
面に求めたそれぞれの値を用いて検証を行う事も可能で
ある。
【００８１】尚、以上説明した具体例に於いては、捉え
た画面の上端が最も遠方となるＴＶカメラの設置方法を
前提として説明したが、勿論、本発明はＴＶカメラの設
置方向にはよらず、成立するものである。以上説明した
様に、本発明の上記具体例によれば前方に車が存在した
り標識線が破線の場合でも、道路画像から標識線を認識
することが可能となる。また影が混入する道路画像でも
標識線を認識することが可能となる。
た画面の上端が最も遠方となるＴＶカメラの設置方法を
前提として説明したが、勿論、本発明はＴＶカメラの設
置方向にはよらず、成立するものである。以上説明した
様に、本発明の上記具体例によれば前方に車が存在した
り標識線が破線の場合でも、道路画像から標識線を認識
することが可能となる。また影が混入する道路画像でも
標識線を認識することが可能となる。
【００８２】次に、本発明に係る道路環境認識装置の第
３の態様に関する具体例を以下に説明する。即ち、本発
明は、走行する自動車に搭載したＴＶカメラ等からなる
画像記録手段１で捉えた画像から、上記のような如何な
る状況でも標識線及び前方車輌とを認識できる装置を提
供するものであることは、既に説明した通りであり、係
る目的をより正確に且つ確実に達成する為に以下の構成
からなる道路環境認識装置が提供されるのである。
３の態様に関する具体例を以下に説明する。即ち、本発
明は、走行する自動車に搭載したＴＶカメラ等からなる
画像記録手段１で捉えた画像から、上記のような如何な
る状況でも標識線及び前方車輌とを認識できる装置を提
供するものであることは、既に説明した通りであり、係
る目的をより正確に且つ確実に達成する為に以下の構成
からなる道路環境認識装置が提供されるのである。
【００８３】つまり、本発明に係る第３の態様の道路環
境認識装置では、前記した第１及び第２の態様で使用し
た道路環境認識装置と基本的構成が同一である道路環境
認識装置を用いるもので有って、特に、自動車に搭載し
た画像記録手段１により得られる道路画像５から、物体
の輪郭線のみを抽出したエッジ画像を作成するに際し、
当該画像記録手段１により得られる道路画像５に残像効
果付与処理を実行した後、該エッジ画像を作成する様に
構成したもので有る。
境認識装置では、前記した第１及び第２の態様で使用し
た道路環境認識装置と基本的構成が同一である道路環境
認識装置を用いるもので有って、特に、自動車に搭載し
た画像記録手段１により得られる道路画像５から、物体
の輪郭線のみを抽出したエッジ画像を作成するに際し、
当該画像記録手段１により得られる道路画像５に残像効
果付与処理を実行した後、該エッジ画像を作成する様に
構成したもので有る。
【００８４】本発明に於ける該残像効果付与処理として
は、特に限定されるものではないが、例えば当該残像効
果付与処理は、該画像記録手段１により得られる複数の
連続した道路画像５に平滑化処理を施すものであっても
良く、具体的には、例えば、自動車に搭載した画像記録
手段１に逐次的に得られる複数枚の道路画像５に於ける
第１の道路画像と該第１の道路画像に続いて得られる第
２の道路画像とを対比させ、両道路画像に於ける、同一
の座標位置が示す画素値の差が予め設定した範囲内なら
ば、当該第１の道路画像の画素値を変更せず、該第１の
道路画像と該第２の道路画像とに於ける、同一の座標位
置が示す画素値の差が予め設定した範囲外で有る場合に
は、当該第１の道路画像の画素値を予め設定した所定の
値だけ該第２の道路画像の画素値に近づける演算処理を
実行して、当該第１の道路画像の画素値を更新する操作
を実行し、更に係る操作を繰り返すことにより平滑化画
像を作成し、該平滑化画像に基づいて、前記した第１及
び第２の態様に於いて説明した各種の画像処理を実行す
る様にしたものである。
は、特に限定されるものではないが、例えば当該残像効
果付与処理は、該画像記録手段１により得られる複数の
連続した道路画像５に平滑化処理を施すものであっても
良く、具体的には、例えば、自動車に搭載した画像記録
手段１に逐次的に得られる複数枚の道路画像５に於ける
第１の道路画像と該第１の道路画像に続いて得られる第
２の道路画像とを対比させ、両道路画像に於ける、同一
の座標位置が示す画素値の差が予め設定した範囲内なら
ば、当該第１の道路画像の画素値を変更せず、該第１の
道路画像と該第２の道路画像とに於ける、同一の座標位
置が示す画素値の差が予め設定した範囲外で有る場合に
は、当該第１の道路画像の画素値を予め設定した所定の
値だけ該第２の道路画像の画素値に近づける演算処理を
実行して、当該第１の道路画像の画素値を更新する操作
を実行し、更に係る操作を繰り返すことにより平滑化画
像を作成し、該平滑化画像に基づいて、前記した第１及
び第２の態様に於いて説明した各種の画像処理を実行す
る様にしたものである。
【００８５】又、本発明の該具体例に於いて、該第１の
道路画像と該第２の道路画像とに於ける、同一の座標位
置が示す画素値の差が予め設定した範囲外で有る場合に
は、当該第１の道路画像の画素値を前記した両画像の画
素値の差に対して予め設定した所定の割合だけ該第２の
道路画像の画素値に近づける様な演算処理を実行するも
のであっても良い。
道路画像と該第２の道路画像とに於ける、同一の座標位
置が示す画素値の差が予め設定した範囲外で有る場合に
は、当該第１の道路画像の画素値を前記した両画像の画
素値の差に対して予め設定した所定の割合だけ該第２の
道路画像の画素値に近づける様な演算処理を実行するも
のであっても良い。
【００８６】本発明に於ける第３の態様に於いては、当
該道路環境認識装置には、前記した前方車輌認識システ
ムと標識線認識システムの双方が同時に搭載されている
もので有っても良い。図２１は、本発明に係る第３の態
様に関する道路環境認識装置の構成例を示す概略ブロッ
クダイアグラムである。
該道路環境認識装置には、前記した前方車輌認識システ
ムと標識線認識システムの双方が同時に搭載されている
もので有っても良い。図２１は、本発明に係る第３の態
様に関する道路環境認識装置の構成例を示す概略ブロッ
クダイアグラムである。
【００８７】つまり、本具体例に於ける道路環境認識装
置は、画像記録手段１、該画像記録手段１により記録さ
れた当該画像に対して上記した様な平滑化画像処理を実
行する平滑化画像抽出手段２００、該平滑化画像抽出手
段２００の出力から、垂直エッジ画像を形成する垂直エ
ッジ画像抽出手段３０１、該垂直エッジ画像抽出手段３
０１の出力から標識線を認識する標識線認識手段３０２
及び標識線位置算出手段４で構成された標識線認識処理
回路部４００と、前記平滑化画像抽出手段２００の出力
から水平エッジ画像を形成する水平エッジ画像抽出手段
３０３、該水平エッジ画像抽出手段３０３の出力から前
方車輌の位置を認識する前方車輌認識手段３０４及び前
方車輌認識手段３０４の出力を利用して、当該前方車輌
迄の距離を算出する前方車輌距離算出手段３０５で構成
された前方車輌認識処理回路部５００とから構成されて
いる。
置は、画像記録手段１、該画像記録手段１により記録さ
れた当該画像に対して上記した様な平滑化画像処理を実
行する平滑化画像抽出手段２００、該平滑化画像抽出手
段２００の出力から、垂直エッジ画像を形成する垂直エ
ッジ画像抽出手段３０１、該垂直エッジ画像抽出手段３
０１の出力から標識線を認識する標識線認識手段３０２
及び標識線位置算出手段４で構成された標識線認識処理
回路部４００と、前記平滑化画像抽出手段２００の出力
から水平エッジ画像を形成する水平エッジ画像抽出手段
３０３、該水平エッジ画像抽出手段３０３の出力から前
方車輌の位置を認識する前方車輌認識手段３０４及び前
方車輌認識手段３０４の出力を利用して、当該前方車輌
迄の距離を算出する前方車輌距離算出手段３０５で構成
された前方車輌認識処理回路部５００とから構成されて
いる。
【００８８】処で、垂直エッジ画像抽出手段３０１の代
わりに、標識線の色に関する画素データを利用して、２
値化した画像を作成し、当該２値化画像から白線を認識
する方法もある。又、図２１に於ける標識線認識手段３
０２は、前記した第２の態様に於いて使用された標識線
候補抽出手段５３、レーン幅による検証手段５４、標識
線決定手段５５、標識線補間手段５６及び遠方への標識
線追跡手段４６で構成されたもので有っても良い。
わりに、標識線の色に関する画素データを利用して、２
値化した画像を作成し、当該２値化画像から白線を認識
する方法もある。又、図２１に於ける標識線認識手段３
０２は、前記した第２の態様に於いて使用された標識線
候補抽出手段５３、レーン幅による検証手段５４、標識
線決定手段５５、標識線補間手段５６及び遠方への標識
線追跡手段４６で構成されたもので有っても良い。
【００８９】更に、図２１に於ける前方車輌認識手段３
０４は、前記した第１の態様に於いて使用されている、
前方車輌の最下部決定手段３１、前方車輌の探索領域決
定手段３２、前方車輌位置決定手段３３を含むもので有
っても良い。次に、本具体例に於ける平滑化画像抽出手
段２００の構成及びその作用に付いて図２２を参照しな
がら説明する。
０４は、前記した第１の態様に於いて使用されている、
前方車輌の最下部決定手段３１、前方車輌の探索領域決
定手段３２、前方車輌位置決定手段３３を含むもので有
っても良い。次に、本具体例に於ける平滑化画像抽出手
段２００の構成及びその作用に付いて図２２を参照しな
がら説明する。
【００９０】図２１に示す様に、本具体例に於いては、
ＴＶカメラ等の画像記録手段１で捉えた画像を平滑化画
像抽出部２００で、影などの雑音を消去し、又標識線例
えば白線の破線部が補間された画像が形成され、当該処
理画像から垂直エッジ画像が垂直エッジ画像抽出手段３
０１で抽出される。一方、ＴＶカメラ等の画像記録手段
１で捉えた画像を平滑化画像抽出部２００で、影などの
雑音を消去した画像が形成され、当該処理画像から水平
エッジ画像が水平エッジ画像抽出手段３０３で抽出され
る。
ＴＶカメラ等の画像記録手段１で捉えた画像を平滑化画
像抽出部２００で、影などの雑音を消去し、又標識線例
えば白線の破線部が補間された画像が形成され、当該処
理画像から垂直エッジ画像が垂直エッジ画像抽出手段３
０１で抽出される。一方、ＴＶカメラ等の画像記録手段
１で捉えた画像を平滑化画像抽出部２００で、影などの
雑音を消去した画像が形成され、当該処理画像から水平
エッジ画像が水平エッジ画像抽出手段３０３で抽出され
る。
【００９１】特に本具体例に於いて、上記した平滑化画
像処理を行う事によって、自車との相対速度差が小さい
もの、画面上での移動が小さいかまたは停止している物
体のみを抽出し、エッジ画像抽出手段、特に３０３に於
いて前方車輌の輪郭線のみを抽出した画像を抽出し、前
方車認識手段３０４で水平方向に予め設定した長さをも
つ探索線を設け、自動車に近い路面部分における画面上
から遠方に向かって該探索線を移動させ、該探索線上の
エッジの状態が予め設定した条件を満たした場合、該探
索線を前方車の最下部と決定し、前方車距離算出手段３
０５で前方車までの距離を算出する。
像処理を行う事によって、自車との相対速度差が小さい
もの、画面上での移動が小さいかまたは停止している物
体のみを抽出し、エッジ画像抽出手段、特に３０３に於
いて前方車輌の輪郭線のみを抽出した画像を抽出し、前
方車認識手段３０４で水平方向に予め設定した長さをも
つ探索線を設け、自動車に近い路面部分における画面上
から遠方に向かって該探索線を移動させ、該探索線上の
エッジの状態が予め設定した条件を満たした場合、該探
索線を前方車の最下部と決定し、前方車距離算出手段３
０５で前方車までの距離を算出する。
【００９２】本発明における上記画像平滑化処理の一例
としては、図２２に示された様な手段を用いるもので有
る。つまり、画像平滑化処理手段２００に於いては、入
力画像データ６０１と平滑化画像データ６０２とが使用
されるもので有る。此処で、入力画像データ６０１は、
逐次画像記録手段１から、適宜のサンプリングタイミン
グに同期して入力されてくる新しい画像データであり、
又平滑化画像データ６０２は基準となる画像データであ
って、最初のステップに於いては、該画像記録手段１で
最初に形成された画像データがこれに相当するので、第
１の画像データと言う。
としては、図２２に示された様な手段を用いるもので有
る。つまり、画像平滑化処理手段２００に於いては、入
力画像データ６０１と平滑化画像データ６０２とが使用
されるもので有る。此処で、入力画像データ６０１は、
逐次画像記録手段１から、適宜のサンプリングタイミン
グに同期して入力されてくる新しい画像データであり、
又平滑化画像データ６０２は基準となる画像データであ
って、最初のステップに於いては、該画像記録手段１で
最初に形成された画像データがこれに相当するので、第
１の画像データと言う。
【００９３】これに対して前記の入力画像データは、第
２の画像データと言う。そこで、先ずステップ（１）で
は、第１のサンプリングタイミングに於いて、当該画像
記録手段１に於いて第１の画像データ６０２を形成して
これを適宜のメモリに格納しておく。ステップ（２）で
は、第２のサンプリングタイミングで、当該画像記録手
段１に於いて第２の画像データ６０１を形成してこれを
適宜のメモリに格納する。
２の画像データと言う。そこで、先ずステップ（１）で
は、第１のサンプリングタイミングに於いて、当該画像
記録手段１に於いて第１の画像データ６０２を形成して
これを適宜のメモリに格納しておく。ステップ（２）で
は、第２のサンプリングタイミングで、当該画像記録手
段１に於いて第２の画像データ６０１を形成してこれを
適宜のメモリに格納する。
【００９４】ステップ（３）に於いては、当該第１と第
２の画像データ６０１と６０２を比較し、当該第１の画
像データ６０２と第２の画像データ６０１に於ける同じ
座標位置の画素値の差が予め設定した範囲内ならば、平
滑化画像、即ち第１の画像６０２の画素値を変更せず、
該第１の画像の画像データをそのまま出力画像データ６
０３として出力する。
２の画像データ６０１と６０２を比較し、当該第１の画
像データ６０２と第２の画像データ６０１に於ける同じ
座標位置の画素値の差が予め設定した範囲内ならば、平
滑化画像、即ち第１の画像６０２の画素値を変更せず、
該第１の画像の画像データをそのまま出力画像データ６
０３として出力する。
【００９５】一方、該第１の画像データ６０２と第２の
画像データ６０１に於ける同じ座標位置の画素値の差が
予め設定した範囲外ならば、該第１の画像データ６０２
の画素値を予め設定した固定値だけ当該第２の画像デー
タの画素値に近づけた画素値で更新することで出力画像
データ６０３を作成する。以下、係る操作が繰り返され
ることにより平滑化画像データが絶えず更新されながら
残存効果を示す画像がえられる事になる。
画像データ６０１に於ける同じ座標位置の画素値の差が
予め設定した範囲外ならば、該第１の画像データ６０２
の画素値を予め設定した固定値だけ当該第２の画像デー
タの画素値に近づけた画素値で更新することで出力画像
データ６０３を作成する。以下、係る操作が繰り返され
ることにより平滑化画像データが絶えず更新されながら
残存効果を示す画像がえられる事になる。
【００９６】図２２に示されている様に、今、該第１の
画像データ６０２に於けるあるアドレスでの画素値がｉ
であり、第２の画像手段６０１に於ける同一アドレスで
の画素値がｊである場合、ｊ＜ｉ−α である場合に
は、当該出力画像データ６０３の同一アドレスに於ける
画素値ｋをｋ＝ｉ−β に設定し、又ｉ−α＜ｊ＜ｉ＋
α である場合には、当該出力画像データ６０３の同一
アドレスに於ける画素値ｋをｋ＝ｉに設定し、又ｉ＋α
＜ｊ である場合には、当該出力画像データ６０３の同
一アドレスに於ける画素値ｋをｋ＝ｉ＋β に設定する
ものである。
画像データ６０２に於けるあるアドレスでの画素値がｉ
であり、第２の画像手段６０１に於ける同一アドレスで
の画素値がｊである場合、ｊ＜ｉ−α である場合に
は、当該出力画像データ６０３の同一アドレスに於ける
画素値ｋをｋ＝ｉ−β に設定し、又ｉ−α＜ｊ＜ｉ＋
α である場合には、当該出力画像データ６０３の同一
アドレスに於ける画素値ｋをｋ＝ｉに設定し、又ｉ＋α
＜ｊ である場合には、当該出力画像データ６０３の同
一アドレスに於ける画素値ｋをｋ＝ｉ＋β に設定する
ものである。
【００９７】ここで、ｉ、ｊ、ｋは同一の座標に於ける
画素値を示し、又、α、βは予め設定された値であって
α＞βの関係にあるものとする。つまり、本発明にか
かる上記の画像平滑化処理に於いては、第１の画像デー
タ６０２と第２の画像データ６０１の画素値の差が小さ
いところだけが、はっきりと抽出され、該画素値の差が
大きいところは、ぼやけて消去される。すなわち画面上
での動きが小さいまたは停止しているところだけが、は
っきりと抽出され、画面上での動きが大きいところは、
ぼやけて消去される。
画素値を示し、又、α、βは予め設定された値であって
α＞βの関係にあるものとする。つまり、本発明にか
かる上記の画像平滑化処理に於いては、第１の画像デー
タ６０２と第２の画像データ６０１の画素値の差が小さ
いところだけが、はっきりと抽出され、該画素値の差が
大きいところは、ぼやけて消去される。すなわち画面上
での動きが小さいまたは停止しているところだけが、は
っきりと抽出され、画面上での動きが大きいところは、
ぼやけて消去される。
【００９８】風景の影などは、自車との相対速度差が大
きいため、該平滑化画像ではこれらの影は消去される。
白線は、影などと同じく自車との相対速度差は大きい
が、白線は画面上での変化が少なく抽出することができ
る。白線が破線の場合でも、連続的に画面上の同じ位置
を流れるように移動するので破線が補間され、白線が連
続線になった平滑化画像が得られる。
きいため、該平滑化画像ではこれらの影は消去される。
白線は、影などと同じく自車との相対速度差は大きい
が、白線は画面上での変化が少なく抽出することができ
る。白線が破線の場合でも、連続的に画面上の同じ位置
を流れるように移動するので破線が補間され、白線が連
続線になった平滑化画像が得られる。
【００９９】前方を走行している自動車は、自車との相
対速度差が小さいため、画面上では移動が小さいので抽
出することができる。以上、述べたように平滑化画像抽
出手段２００では、影などの雑音は除去された白線認識
及び前方車認識し易い画像を得ることができる。本具体
例に於いては、該平滑化画像抽出手段２００で上記した
残存効果を与える平滑化画像処理を実行する事によって
図２３に示される様な画像が得られる。
対速度差が小さいため、画面上では移動が小さいので抽
出することができる。以上、述べたように平滑化画像抽
出手段２００では、影などの雑音は除去された白線認識
及び前方車認識し易い画像を得ることができる。本具体
例に於いては、該平滑化画像抽出手段２００で上記した
残存効果を与える平滑化画像処理を実行する事によって
図２３に示される様な画像が得られる。
【０１００】図２３では、影などの雑音は消去され、白
線は破線が補間され連続線となり、その他の物体は前方
車だけが自車との相対速度が小さいため抽出された画像
を得ることができる。又、本発明の具体例として、該平
滑化画像抽出手段２００で第１と第２の画像データ６０
２と６０１での同じ座標位置の画素値の差が予め設定し
た範囲外のとき、平滑化画像の画素値を予め設定した固
定値だけ入力画像に近づけた画素値で更新するのではな
く、該差の予め設定した割合だけ入力画像に近づけた画
素値で更新することを繰り返すことにより平滑化画像を
作成する方法も可能である。
線は破線が補間され連続線となり、その他の物体は前方
車だけが自車との相対速度が小さいため抽出された画像
を得ることができる。又、本発明の具体例として、該平
滑化画像抽出手段２００で第１と第２の画像データ６０
２と６０１での同じ座標位置の画素値の差が予め設定し
た範囲外のとき、平滑化画像の画素値を予め設定した固
定値だけ入力画像に近づけた画素値で更新するのではな
く、該差の予め設定した割合だけ入力画像に近づけた画
素値で更新することを繰り返すことにより平滑化画像を
作成する方法も可能である。
【０１０１】更に、本発明に於ける他の具体例として
は、路面の状況と、前方車との認識処理を同時に処理す
る構成として図２４に示すブロックダイアグラムからな
る構成を採用した道路環境認識装置とする事も出来る。
係る具体例では、例えば、図３１に示す様に、ＴＶカメ
ラ１で捉えた画像を平滑化画像抽出手段７００で影など
の雑音を除去し、白線破線の補間効果を利用して、白線
破線が連続線になった画像を抽出し、色抽出手段７０１
で、例えば白色の部分のみを抽出し、白線認識手段７０
２で特定レーンの白線位置を決定する。該白線認識処理
については図２１で説明したものと同一で有っても良
い。
は、路面の状況と、前方車との認識処理を同時に処理す
る構成として図２４に示すブロックダイアグラムからな
る構成を採用した道路環境認識装置とする事も出来る。
係る具体例では、例えば、図３１に示す様に、ＴＶカメ
ラ１で捉えた画像を平滑化画像抽出手段７００で影など
の雑音を除去し、白線破線の補間効果を利用して、白線
破線が連続線になった画像を抽出し、色抽出手段７０１
で、例えば白色の部分のみを抽出し、白線認識手段７０
２で特定レーンの白線位置を決定する。該白線認識処理
については図２１で説明したものと同一で有っても良
い。
【０１０２】この白線認識を行った同じ平滑化画像に対
し、水平エッジ画像抽出手段７０３で前方車輌物体の輪
郭線のみを抽出した画像を抽出し、前方車認識手段７０
４で前記白線認識手段７０２で求めた特定レーンの領域
内で前方車を認識する様に構成したものである。そし
て、前方車距離算出手段７０５で前方車までの距離を算
出する。該前方車認識７０４での処理内容は図２１の場
合と同じである。
し、水平エッジ画像抽出手段７０３で前方車輌物体の輪
郭線のみを抽出した画像を抽出し、前方車認識手段７０
４で前記白線認識手段７０２で求めた特定レーンの領域
内で前方車を認識する様に構成したものである。そし
て、前方車距離算出手段７０５で前方車までの距離を算
出する。該前方車認識７０４での処理内容は図２１の場
合と同じである。
【０１０３】係る具体例に於いては、特定レーンを予め
設定することで道路外の風景や雑音を除去して、より高
い精度で前方車が認識でき、また特定レーン内の前方車
のみを認識することができる。又、他の具体例として
は、図２４の変形となるが、図２５に示す様に、ＴＶカ
メラ１で捉えた画像を垂直エッジ画像抽出手段３０１で
物体の輪郭線のみを抽出した画像を抽出し、白線認識手
段３０２で特定レーンの白線位置を決定する。該白線認
識処理については、上記した第２の態様に於ける具体例
で説明した処理方法を使用する事が可能である。
設定することで道路外の風景や雑音を除去して、より高
い精度で前方車が認識でき、また特定レーン内の前方車
のみを認識することができる。又、他の具体例として
は、図２４の変形となるが、図２５に示す様に、ＴＶカ
メラ１で捉えた画像を垂直エッジ画像抽出手段３０１で
物体の輪郭線のみを抽出した画像を抽出し、白線認識手
段３０２で特定レーンの白線位置を決定する。該白線認
識処理については、上記した第２の態様に於ける具体例
で説明した処理方法を使用する事が可能である。
【０１０４】一方、ＴＶカメラ１で捉えた同じ画像に対
し、平滑化画像抽出手段２００で影などの雑音を除去し
た画像を抽出し、水平エッジ画像抽出手段３０３で物体
の輪郭線のみを抽出した画像を抽出し、前方車認識手段
３０４で白線認識手段３０２で求めた特定レーンの領域
内で前方車を認識し、前方車距離算出手段３０５で前方
車までの距離を算出する。該前方車認識手段３０４での
処理内容は図２１の場合と同じである。
し、平滑化画像抽出手段２００で影などの雑音を除去し
た画像を抽出し、水平エッジ画像抽出手段３０３で物体
の輪郭線のみを抽出した画像を抽出し、前方車認識手段
３０４で白線認識手段３０２で求めた特定レーンの領域
内で前方車を認識し、前方車距離算出手段３０５で前方
車までの距離を算出する。該前方車認識手段３０４での
処理内容は図２１の場合と同じである。
【０１０５】本具体例に於いても、前記具体例の場合と
同様、特定レーンを決定することが出来、道路外の風景
や雑音を除去して、より高い精度で前方車が認識でき、
また特定レーン内の前方車のみを認識することができ
る。又、更に他の具体例としては、図２５の変形となる
が、図３２に示す様に、ＴＶカメラ１で捉えた画像をエ
ッジ画像抽出手段２で物体の輪郭線のみを抽出した画像
を抽出し、白線認識手段３０２で特定レーンの白線位置
を決定する。該白線認識処理については、上記した第２
の態様に於ける具体例で説明した処理方法を使用する事
が可能である。
同様、特定レーンを決定することが出来、道路外の風景
や雑音を除去して、より高い精度で前方車が認識でき、
また特定レーン内の前方車のみを認識することができ
る。又、更に他の具体例としては、図２５の変形となる
が、図３２に示す様に、ＴＶカメラ１で捉えた画像をエ
ッジ画像抽出手段２で物体の輪郭線のみを抽出した画像
を抽出し、白線認識手段３０２で特定レーンの白線位置
を決定する。該白線認識処理については、上記した第２
の態様に於ける具体例で説明した処理方法を使用する事
が可能である。
【０１０６】一方、ＴＶカメラ１で捉えた同じ画像に対
し、平滑化画像抽出手段２００で影などの雑音を除去し
た画像を抽出し、水平エッジ画像抽出手段３０３で物体
の輪郭線のみを抽出した画像を抽出し、前方車最下部決
定手段８００で白線認識手段３０２で求めた特定レーン
の領域内で前方車の最下部を決定する。 該前方車最下
部決定手段８００での処理内容は、第１の態様で使用さ
れている前方車最下部決定手段３１を使用することが可
能である。
し、平滑化画像抽出手段２００で影などの雑音を除去し
た画像を抽出し、水平エッジ画像抽出手段３０３で物体
の輪郭線のみを抽出した画像を抽出し、前方車最下部決
定手段８００で白線認識手段３０２で求めた特定レーン
の領域内で前方車の最下部を決定する。 該前方車最下
部決定手段８００での処理内容は、第１の態様で使用さ
れている前方車最下部決定手段３１を使用することが可
能である。
【０１０７】この様にして求めた前方車の最下部から、
前方車認識手段３０４に於いて、該エッジ画像抽出手段
２からの画像中で前方車の位置を決定し、前方車距離抽
出手段３０５で前方車までの距離を算出する。該前方車
認識手段３０４での処理内容は図２１の場合と同じであ
る。本具体例に於いても、前記具体例の場合と同様、特
定レーンを決定することが出来、道路外の風景や雑音を
除去して、より高い精度で前方車が認識でき、また特定
レーン内の前方車のみを認識することができる。
前方車認識手段３０４に於いて、該エッジ画像抽出手段
２からの画像中で前方車の位置を決定し、前方車距離抽
出手段３０５で前方車までの距離を算出する。該前方車
認識手段３０４での処理内容は図２１の場合と同じであ
る。本具体例に於いても、前記具体例の場合と同様、特
定レーンを決定することが出来、道路外の風景や雑音を
除去して、より高い精度で前方車が認識でき、また特定
レーン内の前方車のみを認識することができる。
【０１０８】以上、捉えた画面の上端が最も遠方となる
ＴＶカメラの設置で、実施例などを示したが勿論、本発
明はＴＶカメラの設置方向にはよらず、成立するもので
ある。
ＴＶカメラの設置で、実施例などを示したが勿論、本発
明はＴＶカメラの設置方向にはよらず、成立するもので
ある。
【０１０９】
【発明の効果】以上、説明したように本発明によれば、
自動車に搭載したＴＶカメラ等の画像記録手段で捉えた
入力画像から、影などの雑音が画像中に多く含まれてい
るような場合でも、容易に且つ正確に標識線である白
線、黄色線、或いは破線等の位置を認識でき、かつ前方
車の位置を正しく認識することができるので、安全運転
に貢献する多くの正確な情報を得ることが出来る。
自動車に搭載したＴＶカメラ等の画像記録手段で捉えた
入力画像から、影などの雑音が画像中に多く含まれてい
るような場合でも、容易に且つ正確に標識線である白
線、黄色線、或いは破線等の位置を認識でき、かつ前方
車の位置を正しく認識することができるので、安全運転
に貢献する多くの正確な情報を得ることが出来る。
【図１】図１は、本発明に係る道路環境認識装置に於け
る第１の態様での前方車認識システムの構成例を示すブ
ロックダイアグラムである。
る第１の態様での前方車認識システムの構成例を示すブ
ロックダイアグラムである。
【図２】図２は、本発明に係る道路環境認識装置に於け
る標識線認識手段を用いた処理結果を説明する図であ
る。
る標識線認識手段を用いた処理結果を説明する図であ
る。
【図３】図３は、本発明に於ける道路環境認識装置で
の、前方車の最下部決定手段における処理方法を説明す
る図である。
の、前方車の最下部決定手段における処理方法を説明す
る図である。
【図４】図４は、本発明に係る道路環境認識装置に於け
る前方車の探索領域決定手段に於ける処理方法の一例を
説明する図である。
る前方車の探索領域決定手段に於ける処理方法の一例を
説明する図である。
【図５】図５は、本発明に係る道路環境認識装置に於け
る前方車位置決定手段に於ける処理方法の一例を説明す
る図である。
る前方車位置決定手段に於ける処理方法の一例を説明す
る図である。
【図６】図６は、本発明に係る道路環境認識装置に於い
て使用されるエッジ検出用空間フィルタの一例であるＳ
ＯＢＥＬオペレータを示す図である。
て使用されるエッジ検出用空間フィルタの一例であるＳ
ＯＢＥＬオペレータを示す図である。
【図７】図７は、本発明に於ける道路環境認識装置に於
ける第２の態様に関する一具体例の構成の概略を示すブ
ロックダイアグラムである。
ける第２の態様に関する一具体例の構成の概略を示すブ
ロックダイアグラムである。
【図８】図８は、本発明に係る第２の形態における具体
例での標識線認識方法の一例を説明する図である。
例での標識線認識方法の一例を説明する図である。
【図９】図９は、本発明に係る第２の態様のより具体例
な構成を示すブロックダイアグラムである。
な構成を示すブロックダイアグラムである。
【図１０】図１０は、本発明に係る第２の態様に於ける
道路環境認識装置の演算処理の流れを示すフローチャー
トである。
道路環境認識装置の演算処理の流れを示すフローチャー
トである。
【図１１】図１１は、図７の本発明に係る第２の態様で
の道路環境認識装置に於ける垂直エッジによる画像の例
を示す図である。
の道路環境認識装置に於ける垂直エッジによる画像の例
を示す図である。
【図１２】図１２は、本発明に係る道路環境認識装置に
於ける標識線の検証方法の一例を示す図である。
於ける標識線の検証方法の一例を示す図である。
【図１３】図１３は、本発明に係る道路環境認識装置に
於ける標識線の線幅による検証方法の一例を示す図であ
る。
於ける標識線の線幅による検証方法の一例を示す図であ
る。
【図１４】図１４は、本発明に係る第２の態様での道路
環境認識装置で使用される標識線決定手段の操作手順を
示すフローチャートである。
環境認識装置で使用される標識線決定手段の操作手順を
示すフローチャートである。
【図１５】図１５は、本発明に係る第２の態様での道路
環境認識装置で使用される、標識線決定手段における太
線の場合の標識線候補点の補間例を示す図である。
環境認識装置で使用される、標識線決定手段における太
線の場合の標識線候補点の補間例を示す図である。
【図１６】図１６は、本発明に係る第２の態様での道路
環境認識装置で使用される、標識線決定手段における白
線の決定に関する他の例を示す図である。
環境認識装置で使用される、標識線決定手段における白
線の決定に関する他の例を示す図である。
【図１７】図１７は、本発明に係る第２の態様での道路
環境認識装置で使用される、標識線補間手段における標
識線の画面上の最近線への延長処理の例をを示す図であ
る。
環境認識装置で使用される、標識線補間手段における標
識線の画面上の最近線への延長処理の例をを示す図であ
る。
【図１８】図１８は、本発明に係る第２の態様での道路
環境認識装置で使用される、標識線補間手段における片
側の認識標識線からの他方の標識線の補完処理の例を示
す図である。
環境認識装置で使用される、標識線補間手段における片
側の認識標識線からの他方の標識線の補完処理の例を示
す図である。
【図１９】図１９は、本発明に係る第２の態様での道路
環境認識装置で使用される、遠方への白線追跡手段にお
ける標識線のエッジ追跡の例を示す図である。
環境認識装置で使用される、遠方への白線追跡手段にお
ける標識線のエッジ追跡の例を示す図である。
【図２０】図２０は、本発明に係る第２の態様での道路
環境認識装置で使用される、遠方への白線追跡手段にお
ける標識線破線に対する探索領域の決定標識線のエッジ
追跡の例を示す図である。
環境認識装置で使用される、遠方への白線追跡手段にお
ける標識線破線に対する探索領域の決定標識線のエッジ
追跡の例を示す図である。
【図２１】図２１は、本発明に係る第３の態様での道路
環境認識装置で使用される、構成の例を説明するブロッ
クダイアグラムである。
環境認識装置で使用される、構成の例を説明するブロッ
クダイアグラムである。
【図２２】図２２は、本発明に係る第３の態様での道路
環境認識装置で使用される、平滑化画像抽出手段に於け
る平滑化処理の一例を説明する図である。
環境認識装置で使用される、平滑化画像抽出手段に於け
る平滑化処理の一例を説明する図である。
【図２３】図２３は、本発明に係る第３の態様での道路
環境認識装置に於いて平滑化画像処理を行って得られた
平滑化画像の一例を示す図である。
環境認識装置に於いて平滑化画像処理を行って得られた
平滑化画像の一例を示す図である。
【図２４】図２４は、本発明に係る第３の態様での道路
環境認識装置に関する他の具体例の構成を説明するブロ
ックダイアグラムである。
環境認識装置に関する他の具体例の構成を説明するブロ
ックダイアグラムである。
【図２５】図２５は、本発明に係る第３の態様での道路
環境認識装置に関する更に他の具体例の構成を説明する
ブロックダイアグラムである。
環境認識装置に関する更に他の具体例の構成を説明する
ブロックダイアグラムである。
【図２６】図２６は、従来に於ける道路環境認識装置で
使用されている標識線認識システムの構成の一例を示す
ブロックダイアグラムである。
使用されている標識線認識システムの構成の一例を示す
ブロックダイアグラムである。
【図２７】図２７は、従来の道路環境認識装置に於いて
道路面に設けられた標識線を認識する方法の例を説明す
る図である。
道路面に設けられた標識線を認識する方法の例を説明す
る図である。
【図２８】図２８は、従来の道路環境認識装置に於いて
標識線が認識出来ない場合の例を説明する図である。
標識線が認識出来ない場合の例を説明する図である。
【図２９】図２９は、従来に於ける道路環境認識装置で
使用されている前方車輛認識システムの構成の一例を示
すブロックダイアグラムである。
使用されている前方車輛認識システムの構成の一例を示
すブロックダイアグラムである。
【図３０】図３０は、従来の道路環境認識装置に於いて
前方車輛を誤認識する場合の例を説明する図である。
前方車輛を誤認識する場合の例を説明する図である。
【図３１】図３１は、図２１に示される本発明に係る道
路環境認識装置の他の例に於ける構成の例を説明するブ
ロックダイアグラムである。
路環境認識装置の他の例に於ける構成の例を説明するブ
ロックダイアグラムである。
【図３２】図３２は、図２１に示される本発明に係る道
路環境認識装置の他の例に於ける構成の例を説明するブ
ロックダイアグラムである。
路環境認識装置の他の例に於ける構成の例を説明するブ
ロックダイアグラムである。
１…画像記録手段 ２…エッジ画像抽出手段 ３…標識線（白線）候補点抽出手段 ４…標識線（白線）位置算出手段 ５…道路画像 ６、６’、６”…標識線（白線） ７、８…標識線のエッジ部 ９、５１、５７…標識線候補点 １０…前方車輛 １１…間違って認識した標識線候補点 １２…影の部分 ２０…前方車輛探索手段 ２１…前方車輛位置抽出手段 ３０…標識線（白線）認識手段 ３１…前方車輛の最下部決定手段 ３２…前方車輛の探索領域決定手段 ３３…前方車輛位置決定手段 ３４…前方車輛距離算出手段 ３７…水平エッジ部 ３８…探索線 ３９…前方車輛の最下部 ４０…レーンの中央線 ４１…探索領域 ４２…移動枠体 ４５…近方に於ける標識線（白線）の決定手段 ４６…遠方に於ける標識線（白線）の追跡手段 ４７…標識線（白線）位置算出手段 ５２…画面中央縦線 ５３…標識線（白線）候補点抽出手段 ５４…レーン幅による検証手段 ５５…標識線（白線）決定手段 ５６…標識線（白線）補間手段 ５１’、５７’…有力な標識線候補点 ５８…画面上の最近線 ６０、６１、６３、６４…標識線（白線）候補 ６２、５１”…補間された標識線（白線）候補点部分 ７０…破線の探索領域 ２００、７００…平滑化画像抽出手段 ３０１…垂直エッジ画像抽出手段 ３０２、７０２…標識線（白線）認識手段 ３０３、７０３…水平エッジ画像抽出手段 ３０４、７０４…前方車輛認識手段 ３０５、７０５…前方車輛距離算出手段 ４００…標識線認識処理回路部 ５００…前方車輛認識処理回路部 ６０１…入力画像データ ６０２…平滑化画像データ ６０３…出力画像データ ７０１…色抽出手段 ８００…前方車最下部決定手段
Claims (37)
- 【請求項１】 自動車に搭載した画像記録手段により得
られる道路画像から、物体の輪郭線のみを抽出したエッ
ジ画像を作成し、該道路画像のエッジ画像に於いて探索
線を移動させて当該画像中に存在する水平エッジ部分を
検出するに際して、当該探索線を自車両から遠い路面部
分に向かう方向に予め定められた範囲で移動させ、該探
索線の移動に伴って検出される水平エッジ部分の配置状
態から、自車両の前方を走行している自動車の最下部を
決定する様に構成されている事を特徴とする道路環境認
識装置。 - 【請求項２】 該道路画像のエッジ画像に於いて探索線
を移動させて当該画像中に存在する水平エッジ部分を検
出するに際して、当該探索線を予め設定したサンプリン
グ間隔で移動させて画素値を抽出し、サンプリングした
画素のうち水平エッジの成分を含んでいる画素数が予め
設定した数値以上になれば、該探索線上に存在している
水平エッジ部分に前方車両の最下部が存在していると判
断される車両の最下部候補線とする事を特徴とする請求
項１記載の道路環境認識装置。 - 【請求項３】 該探索線を前記車両の最下部候補線か
ら、自車両から見て、遠い路面部分に向かう方向に予め
定められた範囲で移動させながら、それぞれの位置で前
記車両の最下部候補線の有無を判断し、前記探索線の移
動範囲内に於いて、予め設定した数値以上の該車両の最
下部候補線が存在している場合に、最初に設定された車
両の最下部候補線上に、前方車両の最下部が存在してい
ると判断する事を特徴とする請求項２記載の道路環境認
識装置。 - 【請求項４】 自動車に搭載した画像記録手段により道
路画像をうる道路画像記録手段、当該道路画像記録手段
により得られた道路画像から、物体の輪郭線のみを抽出
したエッジ画像を作成する手段、該エッジ画像に於い
て、予め設定した探索線を自車両から遠い路面部分に向
かって移動させながら、探索線上の水平エッジの状態を
みて、前方車輛と路面との境界線を見つけ出す前方車輛
の最下部決定手段、該前方車輛の最下部決定手段で決定
された最下部部分での前方車輛の左右の位置を判断する
領域を設定する前方車輛の探索領域決定手段、該前方車
輛の探索領域内の水平エッジ成分の数をカウントするカ
ウント手段を用い、前方車輛の左右の位置を決定する前
方車輛位置決定手段とから構成されている事を特徴とす
る道路環境認識装置。 - 【請求項５】 該探索線上に存在する水平エッジ部分
を、予め設定したサンプリング間隔で画素値を抽出し、
サンプリングした画素のうち水平エッジの成分を含んで
いる画素数が予め設定した数値以上になれば、該探索線
上に存在している水平エッジ部分に前方車両の最下部が
存在していると判断される車両の最下部候補線と見なす
手段を設けると共に、当該車両の最下部候補線の数が、
該探索線の所定の移動範囲内に於いて所定の数以上であ
れば、最初に該探索線が設定された水平エッジ部分を自
車両の前方を走行している車両の最下部と判定する判別
手段とが設けられている事を特徴とする請求項４記載の
道路環境認識装置。 - 【請求項６】 車両の最下部が存在していると判断され
た当該水平エッジ部分を下辺とする予め設定された高さ
と幅を有する前方車両位置探索領域を設定する事によ
り、前方車両位置を探索する様に構成された事を特徴と
する請求項１乃至５の何れかに記載の道路環境認識装
置。 - 【請求項７】 前記前方車両位置探索領域内の水平エッ
ジの特徴分布から前方車両位置を探索する様に構成され
た事を特徴とする請求項６記載の道路環境認識装置。 - 【請求項８】 前記前方車両位置探索領域内の水平エッ
ジに於ける当該水平エッジ成分を含む画素の垂直方向の
投影値に基づいて当該前方車両位置を探索する様に構成
された事を特徴とする請求項７記載の道路環境認識装
置。 - 【請求項９】 前記前方車両位置探索領域内に、所定の
大きさを有する認識枠を設け、当該認識枠を該前方車両
位置探索領域内で、移動させると共に、その枠内での水
平エッジ成分を含んでいる画素数が最も多くなる認識枠
位置を前方車位置と決定する様に構成された事を特徴と
する請求項７記載の道路環境認識装置。 - 【請求項１０】 前記前方車両位置探索領域内に、所定
の大きさを有する認識枠を設け、当該認識枠内の垂直方
向の中心線に対する左右の対称性を検出し、最も対称性
が高い認識枠位置を前方車位置と決定する様に構成され
た事を特徴とする請求項７記載の道路環境認識装置。 - 【請求項１１】 前記前方車両位置探索領域内に、所定
の大きさを有する認識枠を設け、当該認識枠を該前方車
両位置探索領域内で、移動させると共に、その枠内での
水平エッジ成分を含んでいる画素数と、該認識枠内の垂
直方向の中心線に対する左右の対称性を検出し、当該左
右の対称度から、前方車領域を表す評価値を設け、該評
価値が最も高い領域を当該前方車位置と決定する様に構
成された事を特徴とする請求項９又は１０記載の道路環
境認識装置。 - 【請求項１２】 前記前方車両位置探索領域内に、所定
の大きさを有する認識枠を設け、当該認識枠を該前方車
両位置探索領域内で、移動させると共に、その枠内での
水平エッジ成分を含んでいる画素数が最も多くなると同
時に当該認識枠内の垂直方向の中心線に対する左右の対
称性を検出し、最も対称性が高くなる認識枠位置を前方
車位置と決定する様に構成された事を特徴とする請求項
９又は１０記載の道路環境認識装置。 - 【請求項１３】 該画像記録手段の自車両に於ける設置
条件と画面上における位置から、該画面位置に対応する
実際の大きさが一定であるように、画面上での探索領域
や認識枠の大きさを設定する様にした事を特徴とする請
求項１乃至１２の何れかに記載の道路環境認識装置。 - 【請求項１４】 当該決定された前方車の最下部から自
車両迄の実際の路面上の距離を求める手段を設けた事を
特徴とする請求項１乃至１３の何れかに記載の道路環境
認識装置。 - 【請求項１５】 該道路環境認識装置は、更に、道路に
於ける車両の走行レーンを規定する標識線を認識すると
共に、当該標識線により特定される車両の走行レーン内
に於いて前方車位置を探索する様に構成されている事を
特徴とする請求項１乃至１４の何れかに記載の道路環境
認識装置。 - 【請求項１６】 自動車に搭載した画像記録手段により
記録された道路画像から、物体の輪郭線のみを抽出した
エッジ画像を作成し、該エッジ画像から、道路に表示さ
れた標識線を検出して認識するに際し、該エッジ画像に
おける自車両に近い路面部分に対応する領域の相当する
画像画面部分の略中央部分から２つの領域に分割せし
め、当該画像画面部分の略中央部分から左側の領域を第
１の領域Ａとすると共に、右側の領域を第２の領域Ｂと
なし、且つ自車両から遠い当該画像画面部分における路
面部分に対応する画面領域を第３の領域Ｃとする画面領
域に分割し、該第１の領域Ａでは該中央部分付近から左
方向に、又該第２の領域Ｂでは該中央部分付近から右方
向に複数の標識線候補点を探索することにより、該第１
の領域Ａ及び第２の領域Ｂにおいて標識線を決定し、又
該第３の領域Ｃでは該第１と第２の領域Ａ、Ｂで探索さ
れた標識線位置から該標識線を延長、追跡して標識線を
順次、探索し決定する様に構成されている事を特徴とす
る道路環境認識装置。 - 【請求項１７】 該画像記録手段により記録された道路
画像から、物体の輪郭線のみを抽出したエッジ画像を作
成するに際し、該第１の領域Ａ、第２の領域Ｂ及び第３
の領域Ｃのそれぞれに於いて、該道路画像を構成する画
素群を、所定の空間フィルターを用いて水平方向に走査
しながら、各画素値の絶対値を求め、該各画素値の絶対
値が、予め定められたしきい値を越える画素部分をエッ
ジ点と決定する様に構成されている事を特徴とする請求
項１６記載の道路環境認識装置。 - 【請求項１８】 当該エッジ画像は、該所定の空間フィ
ルターを用いて得られた画素値が正となりかつ、該画素
値の絶対値がしきい値より大きな画素値をもつ正エッジ
と、該画素値が負となり、かつ該画素値の絶対値がしき
い値より大きな画素値をもつ負エッジとから構成される
ものである事を特徴とする請求項１７記載の道路環境認
識装置。 - 【請求項１９】 該第１の領域Ａ、及び第２の領域Ｂの
それぞれに於いて、当該エッジ画像を水平方向に走査す
る場合に、一走査中に少なくとも隣接する２個のエッジ
部分が存在しており、且つ該互いに隣接する２個のエッ
ジ部分の一方が正エッジであり又他方が負エッジである
場合であって、両エッジ間の間隔が、予め設定された幅
以内の間隔を有している場合に、当該正負エッジ若しく
はその両者の間の任意の点を標識線候補点として抽出す
る事を特徴とする請求項１８記載の道路環境認識装置。 - 【請求項２０】 該第１及び第２の各領域Ａ、Ｂにおい
て求められた、標識線候補点のうち、一方の領域におけ
る該標識線の候補点で、他方の領域に於ける当該標識線
の候補点との間の距離が予め設定したレーン幅範囲内に
ある標識線候補点を、有力な標識線候補点として決定す
る事を特徴とする請求項１９記載の道路環境認識装置。 - 【請求項２１】 当該標識線は、白線である事を特徴と
する請求項１６記載の道路環境認識装置。 - 【請求項２２】 該第１及び第２の各領域Ａ、Ｂにおい
て求められた、標識線候補点のうち、当該標識線の幅が
太線か細線かを判別し、太線の場合は太線のみの標識線
候補点間を、一定間隔で補間した点も標識線候補点とす
る事を特徴とする請求項２０記載の道路環境認識装置。 - 【請求項２３】 該第１及び第２の各領域Ａ、Ｂのそれ
ぞれにおいて求められた、道路の長手方向に隣接する標
識線候補点相互間の位置のずれが予め設定されたしきい
値よりも小さく、且つ隣接する該標識線候補点同志の標
識線の幅の差が予め設定された範囲以下である標識線候
補点同士を連結していき、この連結される該標識線候補
点の数が予め設定した個数以上になった場合には、当該
標識線候補点の集合を標識線として決定する様に構成さ
れている事を特徴とする請求項１９記載の道路環境認識
装置。 - 【請求項２４】 該第１及び第２の各領域Ａ、Ｂのそれ
ぞれにおいて求められた、道路の長手方向に隣接する複
数個の標識線候補点群の内に、前記した有力な標識線候
補点の数が予め設定した個数以上含まれている場合に
は、当該標識線候補点群の集合を標識線候補とする様に
構成されている事を特徴とする請求項２０記載の道路環
境認識装置。 - 【請求項２５】 該第１及び第２の各領域Ａ、Ｂのそれ
ぞれにおいて求められた、道路の長手方向に隣接する複
数個の標識線候補点群の内に、前記した有力な標識線候
補点の数が予め設定した個数以上含まれている標識線候
補点群が複数個存在する場合、当該標識線候補点群間を
補間して標識線を決定する事を特徴とする請求項２４記
載の道路環境認識装置。 - 【請求項２６】 該第１及び第２の各領域Ａ、Ｂのそれ
ぞれにおいて求められた、複数個の標識線候補の内で、
標識線候補点の個数が最も多い標識線候補を標識線とし
て決定する様に構成されている事を特徴とする請求項２
３記載の道路環境認識装置。 - 【請求項２７】 該第１及び第２の各領域Ａ、Ｂの何れ
かの領域において、標識線を決定出来なかった場合に
は、標識線を決定できた一方の当該領域の標識線中の標
識線候補点から、予め設定された標識線のレーン幅の距
離だけ離れた他方の当該領域の点を標識線候補点と見做
し、係る見做し標識線候補点間を補間した線を標識線と
して決定する事を特徴とする請求項１６記載の道路環境
認識装置。 - 【請求項２８】 該第１及び第２の各領域Ａ、Ｂのそれ
ぞれにおいて、画像記録手段からの距離が最も近い画面
上の水平線を画面上の最近線と定義し、決定された該標
識線が画面上の当該最近線と共通点を持たない場合に
は、得られた標識線から該最近線に向かって延長線を引
くことによって、該標識線を延長する様に構成されてい
る事を特徴とする請求項１６乃至２７の何れかに記載の
道路環境認識装置。 - 【請求項２９】 該第１及び第２の各領域Ａ、Ｂのそれ
ぞれにおいて求められた標識線のエッジ部を追跡しなが
ら、当該標識線を該第１及び第２の各領域Ａ、Ｂの上方
に設けられた第３の領域Ｃ内に迄延長させる処理を行う
事を特徴とする請求項１６記載の道路環境認識装置。 - 【請求項３０】 該第３の領域Ｃに於ける標識線の追跡
処理に於いて、当該標識線に破線部が存在する事によっ
て、当該標識線の追跡が中止される場合、破線の間隔分
まで標識線を探索する処理を行い、標識線が検出出来た
場合、その間を補間して、さらに追跡処理を続ける事を
特徴とする請求項２９記載の道路環境認識装置。 - 【請求項３１】 該画像記録手段の設置条件と実際の標
識線幅やレーン幅から画面上における画面幅を求め、該
画面幅を基準値として画面上から標識線を決定する為の
検証処理を行う事を特徴とする請求項１６乃至３０の何
れかに記載の道路環境認識装置。 - 【請求項３２】 自動車に搭載した画像記録手段により
得られる道路画像から、物体の輪郭線のみを抽出したエ
ッジ画像を作成するに際し、当該画像記録手段により得
られる道路画像に残像効果付与処理を実行した後、該エ
ッジ画像を作成する事を特徴とする請求項１記載の道路
環境認識装置。 - 【請求項３３】 当該残像効果付与処理は、該画像記録
手段により得られる複数の連続した道路画像に平滑化処
理を施すものである事を特徴とする請求項３２記載の道
路環境認識装置。 - 【請求項３４】 自動車に搭載した画像記録手段に逐次
的に得られる複数枚の道路画像に於ける第１の道路画像
と該第１の道路画像に続いて得られる第２の道路画像と
を対比させ、両道路画像に於ける、同一の座標位置が示
す画素値の差が予め設定した範囲内ならば、当該第１の
道路画像の画素値を変更せず、該第１の道路画像と該第
２の道路画像とに於ける、同一の座標位置が示す画素値
の差が予め設定した範囲外で有る場合には、当該第１の
道路画像の画素値を予め設定した所定の値だけ該第２の
道路画像の画素値に近づける演算処理を実行して、当該
第１の道路画像の画素値を更新する操作を実行し、更に
係る操作を繰り返すことにより平滑化画像を作成し、該
平滑化画像に基づいて前記画像処理する事を特徴とする
請求項３３記載の道路環境認識装置。 - 【請求項３５】 該第１の道路画像と該第２の道路画像
とに於ける、同一の座標位置が示す画素値の差が予め設
定した範囲外で有る場合には、当該第１の道路画像の画
素値を前記した両画像の画素値の差に対して予め設定し
た所定の割合だけ該第２の道路画像の画素値に近づける
演算処理を実行するものである事を特徴とする請求項３
４記載の道路環境認識装置。 - 【請求項３６】 該平滑化画像を用いて標識線を認識す
る様に構成されている事を特徴とする請求項３２乃至３
５の何れかに記載の道路環境認識装置。 - 【請求項３７】 該平滑化画像を用いて前記請求項１乃
至３１の何れかに記載された演算処理を実行するもので
ある事を特徴とする道路環境認識装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15513893A JP3169483B2 (ja) | 1993-06-25 | 1993-06-25 | 道路環境認識装置 |
| US08/234,676 US5555312A (en) | 1993-06-25 | 1994-04-28 | Automobile apparatus for road lane and vehicle ahead detection and ranging |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15513893A JP3169483B2 (ja) | 1993-06-25 | 1993-06-25 | 道路環境認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0728975A true JPH0728975A (ja) | 1995-01-31 |
| JP3169483B2 JP3169483B2 (ja) | 2001-05-28 |
Family
ID=15599388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15513893A Expired - Fee Related JP3169483B2 (ja) | 1993-06-25 | 1993-06-25 | 道路環境認識装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5555312A (ja) |
| JP (1) | JP3169483B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09264954A (ja) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | レーダを用いた画像処理システム |
| JPH10187930A (ja) * | 1996-12-19 | 1998-07-21 | Hitachi Ltd | 走行環境認識装置 |
| JPH11326541A (ja) * | 1998-05-21 | 1999-11-26 | Nissan Motor Co Ltd | 撮像環境推定装置 |
| JPH11328365A (ja) * | 1998-05-14 | 1999-11-30 | Toshiba Corp | 画像監視装置及びその方法 |
| JP2001175845A (ja) * | 1999-12-16 | 2001-06-29 | Nec Corp | 車両端検出装置 |
| WO2006118020A1 (ja) * | 2005-04-28 | 2006-11-09 | Honda Motor Co., Ltd. | 車両及びレーンマーク認識装置 |
| US7612800B2 (en) | 2002-06-27 | 2009-11-03 | Kabushiki Kaisha Toshiba | Image processing apparatus and method |
| JP2010170255A (ja) * | 2009-01-21 | 2010-08-05 | Denso Corp | レーン境界線検出装置、境界線検出プログラム、および逸脱警報装置 |
| JP2015153163A (ja) * | 2014-02-14 | 2015-08-24 | 株式会社日本自動車部品総合研究所 | 境界線認識装置 |
| US9710715B2 (en) | 2014-12-26 | 2017-07-18 | Ricoh Company, Ltd. | Image processing system, image processing device, and image processing method |
| CN107169464A (zh) * | 2017-05-25 | 2017-09-15 | 中国农业科学院农业资源与农业区划研究所 | 一种基于激光点云的道路边界检测方法 |
| JP2021170029A (ja) * | 2017-05-19 | 2021-10-28 | パイオニア株式会社 | 測定装置、測定方法およびプログラム |
Families Citing this family (155)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7339149B1 (en) * | 1993-02-26 | 2008-03-04 | Donnelly Corporation | Vehicle headlight control using imaging sensor |
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US5434927A (en) * | 1993-12-08 | 1995-07-18 | Minnesota Mining And Manufacturing Company | Method and apparatus for machine vision classification and tracking |
| JP3357749B2 (ja) * | 1994-07-12 | 2002-12-16 | 本田技研工業株式会社 | 車両の走行路画像処理装置 |
| KR100187346B1 (ko) * | 1994-08-22 | 1999-05-01 | 모리시타 요이찌 | 에지라인 측정방법 |
| JPH08263784A (ja) * | 1995-03-23 | 1996-10-11 | Honda Motor Co Ltd | 道路状況認識装置 |
| US5987174A (en) * | 1995-04-26 | 1999-11-16 | Hitachi, Ltd. | Image processing apparatus for vehicles |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| JP3390289B2 (ja) * | 1995-06-16 | 2003-03-24 | 富士重工業株式会社 | 警報装置 |
| KR100360322B1 (ko) * | 1995-06-22 | 2003-03-28 | 나이루스 부힝 가부시키가이샤 | 다방향 촬영카메라장치 |
| US5684697A (en) * | 1995-06-26 | 1997-11-04 | Mullen; Charles H. | Driver emulative vehicle control system |
| JPH0995194A (ja) * | 1995-09-29 | 1997-04-08 | Aisin Seiki Co Ltd | 車両前方の物体検出装置 |
| JP3351205B2 (ja) * | 1995-11-09 | 2002-11-25 | 株式会社日立製作所 | 車両の安全走行制御装置及び制御方法 |
| JP3257410B2 (ja) * | 1995-11-24 | 2002-02-18 | トヨタ自動車株式会社 | 車載走査型レーダ装置 |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| JP3556766B2 (ja) * | 1996-05-28 | 2004-08-25 | 松下電器産業株式会社 | 道路白線検出装置 |
| US5991427A (en) * | 1996-07-31 | 1999-11-23 | Aisin Seiki Kabushiki Kaisha | Method and apparatus for detecting a lane on a road |
| EP0827127B1 (en) * | 1996-08-28 | 2006-10-04 | Matsushita Electric Industrial Co., Ltd. | Local positioning apparatus, and method therefor |
| JP3577851B2 (ja) * | 1996-10-03 | 2004-10-20 | トヨタ自動車株式会社 | 走行制御装置 |
| IT1284976B1 (it) * | 1996-10-17 | 1998-05-28 | Sgs Thomson Microelectronics | Metodo per l'identificazione di strisce segnaletiche di corsie stradali |
| JP3983324B2 (ja) * | 1997-01-09 | 2007-09-26 | 富士重工業株式会社 | 車両の走行レーン逸脱防止装置 |
| US5835028A (en) * | 1997-05-05 | 1998-11-10 | Bender; Lee | Lane marker position sensor and alarm |
| US6163022A (en) * | 1997-05-20 | 2000-12-19 | Matsushita Electric Industrial Co., Ltd. | Imaging apparatus, distance measurement apparatus and method for measuring distance |
| JPH1166488A (ja) * | 1997-08-21 | 1999-03-09 | Honda Motor Co Ltd | 白線認識装置 |
| DE19743580B4 (de) * | 1997-10-02 | 2004-12-02 | Robert Bosch Gmbh | Verfahren und Anordnung zur Ermittlung der Lichtverhältnisse in Front eines beweglichen Fahrzeuges, insbesondere vor einem Kraftfahrzeug |
| FR2770672B1 (fr) | 1997-11-04 | 2000-01-21 | Inst Nat Rech Inf Automat | Procede et dispositif de localisation et de guidage d'un mobile muni d'une camera lineaire |
| US6014595A (en) * | 1997-12-23 | 2000-01-11 | Honda Giken Kogyo Kabushiki Kaisha | Determination of vehicle assistance from vehicle vibration that results when the vehicle contacts vibration generating structures on the road |
| JP3219053B2 (ja) * | 1998-05-01 | 2001-10-15 | 日本電気株式会社 | 道路領域検出方法及びシステム |
| JP3307335B2 (ja) * | 1998-07-22 | 2002-07-24 | 日本電気株式会社 | 車両領域検出装置及び車両領域検定方法 |
| JP3463858B2 (ja) * | 1998-08-27 | 2003-11-05 | 矢崎総業株式会社 | 周辺監視装置及び方法 |
| JP3580475B2 (ja) * | 1998-09-14 | 2004-10-20 | 矢崎総業株式会社 | 周辺監視装置 |
| JP3072730B2 (ja) * | 1998-10-09 | 2000-08-07 | 日本電気株式会社 | 車両検出方法および装置 |
| KR100326674B1 (ko) * | 1999-03-11 | 2002-03-02 | 이계안 | 차량의 차선이탈 경보 방법 |
| JP2000259998A (ja) * | 1999-03-12 | 2000-09-22 | Yazaki Corp | 車両用後側方監視装置 |
| US7366595B1 (en) * | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
| JP3808242B2 (ja) * | 1999-07-26 | 2006-08-09 | パイオニア株式会社 | 画像処理装置、画像処理方法及びナビゲーション装置 |
| JP3853542B2 (ja) * | 1999-07-26 | 2006-12-06 | パイオニア株式会社 | 画像処理装置、画像処理方法及びナビゲーション装置 |
| JP3092804B1 (ja) * | 1999-09-22 | 2000-09-25 | 富士重工業株式会社 | 車両用運転支援装置 |
| US6297844B1 (en) | 1999-11-24 | 2001-10-02 | Cognex Corporation | Video safety curtain |
| US6678394B1 (en) | 1999-11-30 | 2004-01-13 | Cognex Technology And Investment Corporation | Obstacle detection system |
| JP4233723B2 (ja) * | 2000-02-28 | 2009-03-04 | 本田技研工業株式会社 | 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体 |
| KR100354022B1 (ko) * | 2000-04-18 | 2002-09-27 | 현대자동차주식회사 | 차량의 차선 인식 방법 |
| US6469734B1 (en) | 2000-04-29 | 2002-10-22 | Cognex Corporation | Video safety detector with shadow elimination |
| US6701005B1 (en) | 2000-04-29 | 2004-03-02 | Cognex Corporation | Method and apparatus for three-dimensional object segmentation |
| US7167575B1 (en) | 2000-04-29 | 2007-01-23 | Cognex Corporation | Video safety detector with projected pattern |
| FR2808588B1 (fr) * | 2000-05-05 | 2002-08-09 | Thomson Csf | Procede et dispositif de determination de la position d'un vehicule par rapport a une trajectoire ideale |
| DE10025678B4 (de) * | 2000-05-24 | 2006-10-19 | Daimlerchrysler Ag | Kamerabasiertes Precrash-Erkennungssystem |
| US6721644B2 (en) * | 2000-08-02 | 2004-04-13 | Alfred B. Levine | Vehicle drive override subsystem |
| US6691015B1 (en) * | 2000-08-02 | 2004-02-10 | Alfred B. Levine | Vehicle drive overdrive system |
| JP3671825B2 (ja) * | 2000-09-22 | 2005-07-13 | 日産自動車株式会社 | 車間距離推定装置 |
| US6978037B1 (en) * | 2000-11-01 | 2005-12-20 | Daimlerchrysler Ag | Process for recognition of lane markers using image data |
| US6894606B2 (en) | 2000-11-22 | 2005-05-17 | Fred Forbes | Vehicular black box monitoring system |
| US6819779B1 (en) | 2000-11-22 | 2004-11-16 | Cognex Corporation | Lane detection system and apparatus |
| JP3729095B2 (ja) * | 2001-06-29 | 2005-12-21 | 日産自動車株式会社 | 走行路検出装置 |
| TWI246665B (en) * | 2001-07-12 | 2006-01-01 | Ding-Jang Tzeng | Method for aiding the driving safety of road vehicle by monocular computer vision |
| US6882287B2 (en) | 2001-07-31 | 2005-04-19 | Donnelly Corporation | Automotive lane change aid |
| US7697027B2 (en) | 2001-07-31 | 2010-04-13 | Donnelly Corporation | Vehicular video system |
| US20060050927A1 (en) * | 2002-01-16 | 2006-03-09 | Marcus Klomark | Camera arrangement |
| US8718919B2 (en) * | 2002-04-23 | 2014-05-06 | Robert Bosch Gmbh | Method and apparatus for lane recognition for a vehicle |
| DE10218010A1 (de) * | 2002-04-23 | 2003-11-06 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Querführungsunterstützung bei Kraftfahrzeugen |
| AU2003225228A1 (en) | 2002-05-03 | 2003-11-17 | Donnelly Corporation | Object detection system for vehicle |
| US7253835B2 (en) * | 2002-12-23 | 2007-08-07 | Hrl Laboratories, Llc | Method and apparatus for estimating a camera reference horizon |
| JP3956926B2 (ja) * | 2003-09-24 | 2007-08-08 | アイシン精機株式会社 | 路面走行レーン検出装置 |
| JP3864945B2 (ja) * | 2003-09-24 | 2007-01-10 | アイシン精機株式会社 | 路面走行レーン検出装置 |
| US7308341B2 (en) | 2003-10-14 | 2007-12-11 | Donnelly Corporation | Vehicle communication system |
| US8326084B1 (en) | 2003-11-05 | 2012-12-04 | Cognex Technology And Investment Corporation | System and method of auto-exposure control for image acquisition hardware using three dimensional information |
| JP3925488B2 (ja) * | 2003-11-11 | 2007-06-06 | 日産自動車株式会社 | 車両用画像処理装置 |
| JP4211620B2 (ja) * | 2004-01-30 | 2009-01-21 | 株式会社デンソー | カーナビゲーション装置 |
| JP4376653B2 (ja) * | 2004-02-17 | 2009-12-02 | 富士重工業株式会社 | 車外監視装置 |
| US7298867B2 (en) * | 2004-02-20 | 2007-11-20 | Lockheed Martin Corporation | Component association tracker system and method |
| WO2005098782A1 (en) | 2004-04-08 | 2005-10-20 | Mobileye Technologies Limited | Collision warning system |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| US7561720B2 (en) * | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
| JP3898709B2 (ja) * | 2004-05-19 | 2007-03-28 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
| JP3722486B1 (ja) * | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
| JP3722487B1 (ja) * | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
| JP3987057B2 (ja) * | 2004-06-14 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
| DE102004028763A1 (de) * | 2004-06-16 | 2006-01-19 | Daimlerchrysler Ag | Andockassistent |
| US7565034B2 (en) * | 2004-06-17 | 2009-07-21 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Determination of a navigation window in an optical navigation system |
| JP4443327B2 (ja) * | 2004-07-01 | 2010-03-31 | パイオニア株式会社 | 情報表示装置 |
| JP4437714B2 (ja) * | 2004-07-15 | 2010-03-24 | 三菱電機株式会社 | 車線認識画像処理装置 |
| DE102004040143A1 (de) * | 2004-08-19 | 2006-02-23 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Fahrerinformation |
| US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
| DE102004057922A1 (de) * | 2004-12-01 | 2006-06-08 | Robert Bosch Gmbh | Einrichtung zur Übertragung von Bilddaten |
| US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
| US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
| US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP2006217447A (ja) * | 2005-02-07 | 2006-08-17 | Yazaki Corp | 車両用表示装置 |
| US7415134B2 (en) * | 2005-05-17 | 2008-08-19 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
| JP4365350B2 (ja) * | 2005-06-27 | 2009-11-18 | 本田技研工業株式会社 | 車両及び車線認識装置 |
| US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP4822766B2 (ja) * | 2005-08-18 | 2011-11-24 | 富士通株式会社 | 路面標示認識装置及びシステム |
| US8111904B2 (en) | 2005-10-07 | 2012-02-07 | Cognex Technology And Investment Corp. | Methods and apparatus for practical 3D vision system |
| US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| DE102006060893A1 (de) * | 2006-05-12 | 2007-11-15 | Adc Automotive Distance Control Systems Gmbh | Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug |
| JP4793094B2 (ja) * | 2006-05-17 | 2011-10-12 | 株式会社デンソー | 走行環境認識装置 |
| WO2008024639A2 (en) | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
| JP2008168811A (ja) * | 2007-01-12 | 2008-07-24 | Honda Motor Co Ltd | 車線認識装置、車両、車線認識方法、及び車線認識プログラム |
| US8462988B2 (en) * | 2007-01-23 | 2013-06-11 | Valeo Schalter Und Sensoren Gmbh | Method and system for universal lane boundary detection |
| JP4902368B2 (ja) * | 2007-01-24 | 2012-03-21 | 三洋電機株式会社 | 画像処理装置及び画像処理方法 |
| US7881497B2 (en) * | 2007-03-08 | 2011-02-01 | Honeywell International Inc. | Vision based navigation and guidance system |
| US8126260B2 (en) * | 2007-05-29 | 2012-02-28 | Cognex Corporation | System and method for locating a three-dimensional object using machine vision |
| US20090005948A1 (en) * | 2007-06-28 | 2009-01-01 | Faroog Abdel-Kareem Ibrahim | Low speed follow operation and control strategy |
| JP4937030B2 (ja) * | 2007-07-24 | 2012-05-23 | ルネサスエレクトロニクス株式会社 | 車両用画像処理装置 |
| US8017898B2 (en) | 2007-08-17 | 2011-09-13 | Magna Electronics Inc. | Vehicular imaging system in an automatic headlamp control system |
| US8451107B2 (en) | 2007-09-11 | 2013-05-28 | Magna Electronics, Inc. | Imaging system for vehicle |
| WO2009046268A1 (en) | 2007-10-04 | 2009-04-09 | Magna Electronics | Combined rgb and ir imaging sensor |
| US7898400B2 (en) * | 2008-04-15 | 2011-03-01 | Autoliv Asp, Inc. | Enhanced vision road detection system |
| US8060280B2 (en) * | 2008-04-15 | 2011-11-15 | Autoliv Asp, Inc. | Vision system for deploying safety systems |
| JP5359516B2 (ja) * | 2008-07-29 | 2013-12-04 | 日産自動車株式会社 | 車両運転支援装置及び車両運転支援方法 |
| US8055445B2 (en) * | 2008-09-24 | 2011-11-08 | Delphi Technologies, Inc. | Probabilistic lane assignment method |
| DE102010016043B4 (de) * | 2009-03-25 | 2021-03-18 | Denso Corporation | Anzeigevorrichtung und Messvorrichtung für ein Fahrzeug und Verfahren zum Anzeigen eines Fahrzeugzustands |
| DE102009003697A1 (de) * | 2009-03-30 | 2010-10-07 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Fahrspurerkennung |
| WO2011014497A1 (en) | 2009-07-27 | 2011-02-03 | Magna Electronics Inc. | Vehicular camera with on-board microcontroller |
| WO2011028686A1 (en) | 2009-09-01 | 2011-03-10 | Magna Mirrors Of America, Inc. | Imaging and display system for vehicle |
| JP5488518B2 (ja) * | 2010-07-05 | 2014-05-14 | 株式会社デンソー | 道路端検出装置、運転者支援装置、および道路端検出方法 |
| JP5560978B2 (ja) * | 2010-07-13 | 2014-07-30 | 村田機械株式会社 | 自律移動体 |
| DE102010049087A1 (de) * | 2010-10-21 | 2012-04-26 | Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) | Verfahren zum Beurteilen der Fahreraufmerksamkeit |
| DE102010050167B4 (de) * | 2010-10-30 | 2012-10-25 | Audi Ag | Verfahren und Vorrichtung zur Bestimmung eines plausiblen Fahrstreifens zur Führung eines Fahrzeugs sowie Kraftwagen |
| WO2012075250A1 (en) | 2010-12-01 | 2012-06-07 | Magna Electronics Inc. | System and method of establishing a multi-camera image using pixel remapping |
| US9264672B2 (en) | 2010-12-22 | 2016-02-16 | Magna Mirrors Of America, Inc. | Vision display system for vehicle |
| DE102010056406A1 (de) * | 2010-12-23 | 2012-06-28 | Jenoptik Robot Gmbh | Verfahren zur sicheren Identifikation eines durch einen Strahlungssensor erfassten Fahrzeuges in einer Bildaufnahme |
| WO2012103193A1 (en) | 2011-01-26 | 2012-08-02 | Magna Electronics Inc. | Rear vision system with trailer angle detection |
| KR20130005107A (ko) * | 2011-07-05 | 2013-01-15 | 현대자동차주식회사 | 차간거리 자동 가변 시스템 및 그 방법 |
| WO2013016409A1 (en) | 2011-07-26 | 2013-01-31 | Magna Electronics Inc. | Vision system for vehicle |
| ES2402422B1 (es) * | 2011-09-07 | 2014-03-11 | Manuel MUÑOZ SÁIZ | Sistema de conducción automática y de avisos de zonas de velocidad reducida para vehiculos mejorado |
| US9146898B2 (en) | 2011-10-27 | 2015-09-29 | Magna Electronics Inc. | Driver assist system with algorithm switching |
| US10457209B2 (en) | 2012-02-22 | 2019-10-29 | Magna Electronics Inc. | Vehicle vision system with multi-paned view |
| WO2013126715A2 (en) | 2012-02-22 | 2013-08-29 | Magna Electronics, Inc. | Vehicle camera system with image manipulation |
| DE102012008780A1 (de) * | 2012-04-28 | 2013-10-31 | Volkswagen Aktiengesellschaft | Verfahren und Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes und Kraftfahrzeug |
| US9538144B2 (en) * | 2012-05-02 | 2017-01-03 | GM Global Technology Operations LLC | Full speed lane sensing using multiple cameras |
| US9558409B2 (en) | 2012-09-26 | 2017-01-31 | Magna Electronics Inc. | Vehicle vision system with trailer angle detection |
| US9446713B2 (en) | 2012-09-26 | 2016-09-20 | Magna Electronics Inc. | Trailer angle detection system |
| US9508014B2 (en) | 2013-05-06 | 2016-11-29 | Magna Electronics Inc. | Vehicular multi-camera vision system |
| US10755110B2 (en) | 2013-06-28 | 2020-08-25 | Magna Electronics Inc. | Trailering assist system for vehicle |
| US10160382B2 (en) | 2014-02-04 | 2018-12-25 | Magna Electronics Inc. | Trailer backup assist system |
| JP5894201B2 (ja) * | 2014-02-14 | 2016-03-23 | 株式会社日本自動車部品総合研究所 | 境界線認識装置 |
| JP6456682B2 (ja) * | 2014-12-25 | 2019-01-23 | 株式会社Ｓｏｋｅｎ | 走行区画線認識装置 |
| US10086870B2 (en) | 2015-08-18 | 2018-10-02 | Magna Electronics Inc. | Trailer parking assist system for vehicle |
| US10875403B2 (en) | 2015-10-27 | 2020-12-29 | Magna Electronics Inc. | Vehicle vision system with enhanced night vision |
| US11277558B2 (en) | 2016-02-01 | 2022-03-15 | Magna Electronics Inc. | Vehicle vision system with master-slave camera configuration |
| US11433809B2 (en) | 2016-02-02 | 2022-09-06 | Magna Electronics Inc. | Vehicle vision system with smart camera video output |
| JP6503308B2 (ja) * | 2016-02-18 | 2019-04-17 | 富士通フロンテック株式会社 | 画像処理装置及び画像処理方法 |
| US10132971B2 (en) | 2016-03-04 | 2018-11-20 | Magna Electronics Inc. | Vehicle camera with multiple spectral filters |
| KR102628654B1 (ko) * | 2016-11-07 | 2024-01-24 | 삼성전자주식회사 | 차선을 표시하는 방법 및 장치 |
| CN108121764B (zh) | 2016-11-26 | 2022-03-11 | 星克跃尔株式会社 | 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质 |
| US11892311B2 (en) | 2016-11-26 | 2024-02-06 | Thinkware Corporation | Image processing apparatus, image processing method, computer program and computer readable recording medium |
| JP7013727B2 (ja) * | 2017-08-25 | 2022-02-01 | 株式会社デンソー | 車両制御装置 |
| CN107943061A (zh) * | 2018-01-09 | 2018-04-20 | 辽宁工业大学 | 一种基于机器视觉的模型汽车自动驾驶实验装置及方法 |
| JP7508763B2 (ja) * | 2018-03-29 | 2024-07-02 | 株式会社リコー | 画像制御装置、表示装置、移動体、画像制御方法、及びプログラム |
| WO2020135738A1 (zh) * | 2018-12-29 | 2020-07-02 | 长城汽车股份有限公司 | 车辆自动驾驶时避障的方法、系统及车辆 |
| US10929692B2 (en) * | 2019-02-06 | 2021-02-23 | Veoneer Us Inc. | Lane level position determination |
| DE102020005343A1 (de) * | 2020-08-31 | 2022-03-03 | Daimler Ag | Verfahren zur Objektverfolgung von mindestens einem Objekt, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung |
| US11551459B1 (en) * | 2022-06-27 | 2023-01-10 | Plusai, Inc. | Ambiguous lane detection event miner |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2535927B2 (ja) * | 1987-07-09 | 1996-09-18 | アイシン精機株式会社 | 車上距離検出装置 |
| JP2570315B2 (ja) * | 1987-09-01 | 1997-01-08 | アイシン精機株式会社 | 車上距離検出装置 |
| DE68925091T2 (de) * | 1988-09-28 | 1996-05-09 | Honda Motor Co Ltd | Verfahren und Vorrichtung zur Einschätzung des Fahrweges |
| US4970653A (en) * | 1989-04-06 | 1990-11-13 | General Motors Corporation | Vision method of detecting lane boundaries and obstacles |
| JP2843079B2 (ja) * | 1989-12-22 | 1999-01-06 | 本田技研工業株式会社 | 走行路判別方法 |
| JPH03201110A (ja) * | 1989-12-28 | 1991-09-03 | Toyota Central Res & Dev Lab Inc | 自律走行車の位置方位検出装置 |
| JP2754871B2 (ja) * | 1990-06-01 | 1998-05-20 | 日産自動車株式会社 | 走行路検出装置 |
| US5307419A (en) * | 1990-11-30 | 1994-04-26 | Honda Giken Kogyo Kabushiki Kaisha | Control device of an autonomously moving body and evaluation method for data thereof |
| US5309137A (en) * | 1991-02-26 | 1994-05-03 | Mitsubishi Denki Kabushiki Kaisha | Motor car traveling control device |
-
1993
- 1993-06-25 JP JP15513893A patent/JP3169483B2/ja not_active Expired - Fee Related
-
1994
- 1994-04-28 US US08/234,676 patent/US5555312A/en not_active Expired - Lifetime
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09264954A (ja) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | レーダを用いた画像処理システム |
| JPH10187930A (ja) * | 1996-12-19 | 1998-07-21 | Hitachi Ltd | 走行環境認識装置 |
| JPH11328365A (ja) * | 1998-05-14 | 1999-11-30 | Toshiba Corp | 画像監視装置及びその方法 |
| JPH11326541A (ja) * | 1998-05-21 | 1999-11-26 | Nissan Motor Co Ltd | 撮像環境推定装置 |
| JP2001175845A (ja) * | 1999-12-16 | 2001-06-29 | Nec Corp | 車両端検出装置 |
| US7612800B2 (en) | 2002-06-27 | 2009-11-03 | Kabushiki Kaisha Toshiba | Image processing apparatus and method |
| JP2006309499A (ja) * | 2005-04-28 | 2006-11-09 | Honda Motor Co Ltd | 車両及びレーンマーク認識装置 |
| WO2006118020A1 (ja) * | 2005-04-28 | 2006-11-09 | Honda Motor Co., Ltd. | 車両及びレーンマーク認識装置 |
| US7933434B2 (en) | 2005-04-28 | 2011-04-26 | Honda Motor Co., Ltd. | Vehicle and lane mark recognizes |
| JP2010170255A (ja) * | 2009-01-21 | 2010-08-05 | Denso Corp | レーン境界線検出装置、境界線検出プログラム、および逸脱警報装置 |
| JP2015153163A (ja) * | 2014-02-14 | 2015-08-24 | 株式会社日本自動車部品総合研究所 | 境界線認識装置 |
| US9619717B2 (en) | 2014-02-14 | 2017-04-11 | Denso Corporation | Lane-line recognition apparatus |
| US9710715B2 (en) | 2014-12-26 | 2017-07-18 | Ricoh Company, Ltd. | Image processing system, image processing device, and image processing method |
| JP2021170029A (ja) * | 2017-05-19 | 2021-10-28 | パイオニア株式会社 | 測定装置、測定方法およびプログラム |
| CN107169464A (zh) * | 2017-05-25 | 2017-09-15 | 中国农业科学院农业资源与农业区划研究所 | 一种基于激光点云的道路边界检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5555312A (en) | 1996-09-10 |
| JP3169483B2 (ja) | 2001-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3169483B2 (ja) | 道路環境認識装置 | |
| CN107730520B (zh) | 车道线检测方法及系统 | |
| JP6254083B2 (ja) | 車載用周囲環境認識装置 | |
| US20190188498A1 (en) | Image Processing Method For Recognizing Ground Marking And System For Detecting Ground Marking | |
| JP4016735B2 (ja) | レーンマーク認識方法 | |
| US8175806B2 (en) | Car navigation system | |
| JP3304687B2 (ja) | 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置 | |
| US20100110193A1 (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
| JP2001092970A (ja) | 車線認識装置 | |
| JP4901275B2 (ja) | 走行誘導障害物検出装置および車両用制御装置 | |
| JP2004032460A (ja) | 画像処理装置およびその方法 | |
| JP2006018751A (ja) | 車両用画像処理装置 | |
| KR101103526B1 (ko) | 스테레오 카메라를 이용한 충돌회피 방법 | |
| JPH06107096A (ja) | 車両用前方監視方法 | |
| JP5874831B2 (ja) | 立体物検出装置 | |
| JP4991384B2 (ja) | 接近物検知装置及び接近物検知プログラム | |
| JP2007264712A (ja) | 車線検出装置 | |
| JP4721278B2 (ja) | 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置 | |
| JP5355209B2 (ja) | ナビゲーション装置、自車の走行車線の判定方法および判定プログラム | |
| JP2002334330A (ja) | 車両認識装置 | |
| JPH08138036A (ja) | 先行車両認識装置 | |
| EP3522073A1 (en) | Method and apparatus for detecting road surface marking | |
| JP5888275B2 (ja) | 道路端検出システム、方法およびプログラム | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| JPH07225126A (ja) | 車両用路上物体認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20001010 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080316 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090316 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100316 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100316 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |