JPH0995194A - 車両前方の物体検出装置 - Google Patents

車両前方の物体検出装置

Info

Publication number
JPH0995194A
JPH0995194A JP25222295A JP25222295A JPH0995194A JP H0995194 A JPH0995194 A JP H0995194A JP 25222295 A JP25222295 A JP 25222295A JP 25222295 A JP25222295 A JP 25222295A JP H0995194 A JPH0995194 A JP H0995194A
Authority
JP
Japan
Prior art keywords
vehicle
scene
camera
lane
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP25222295A
Other languages
English (en)
Inventor
Toshiaki Kakinami
並 俊 明 柿
Mitsuyoshi Saiki
木 充 義 斉
Kunihiko Soshi
雌 邦 彦 曽
Hisashi Satonaka
中 久 志 里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Motor Corp filed Critical Aisin Seiki Co Ltd
Priority to JP25222295A priority Critical patent/JPH0995194A/ja
Priority to US08/720,031 priority patent/US5892855A/en
Publication of JPH0995194A publication Critical patent/JPH0995194A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • B60T2201/089Lane monitoring; Lane Keeping Systems using optical detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Measurement Of Optical Distance (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 路上物体の検出精度を高くする。カ−ブ路前
方の物体を極力早期に検出する。 【解決手段】 車両の前後軸に対して水平方向に第1角
度(A)をなす車両前方の、近距離の路面を含む広視野角
の第1シ−ン、および、車両の前後軸に対して水平方向
に第2角度(B,C)をなす車両前方の、遠距離の路面を含
む狭視野角の第2シ−ン、を撮影するための撮影装置(1
6b,16d/26b,26d/36b,36d);各シ−ンの撮影画面の画像
デ−タに基づき路面上の前方物体を検出する路上物体検
出手段(100〜300);および、第1シ−ン上の検出した前
方物体の実質上全形が第1シ−ンに入る方向に前記第1
角度(A)を変更し、第2シ−ン上の検出した前方物体の
実質上全形が第2シ−ンに入る方向に前記第2角度(B,
C)を変更する撮影方向制御手段(11,21,31,16e,26e,36
e);を備える。

Description

【発明の詳細な説明】
【0001】
【発明が属する技術分野】本発明は、車両前方の物体検
出に関し、特に、これに限定する意図ではないが、車両
上において車両前方の、路面を含むシ−ンを撮影し、撮
影画面上で、路面上の走行レ−ン(を区画する白線)お
よび先行車両(又は前方障害物)の検出ならびに先行車
両に対する自車両の距離を検出する、路上物体検出装置
に関する。
【0002】
【従来の技術】この種の検出装置の一例が、特開昭64-1
5605号公報に開示されている。これにおいては、車両に
搭載された撮影装置で得た、車両前方の路面を含むシ−
ンをx,y直交座標系画面に表わす画像デ−タの、x軸
に対して45度の角度をなす方向の微分値を算出してそれ
が設定値以上のx,y直交座標上の位置を特徴点とし
て、特徴点の連なりを細線に処理し、所定長以上の細線
を摘出して、車両上のテレビカメラから前方を撮影した
場合の、画面上の白線の特徴に基づいて設定された条件
を満す細線を、路面上の白線と認識する。すなわち自車
が走行中のレ−ンの左,右端白線を表わす二直線を得
る。二直線の交点を求めて、該交点から自車両までの二
直線間の領域(3角形領域)で物体の存否を検出し、物
体を検出すると自車両から該物体までの距離(物体が先
行車両であると車間距離)を算出する。自車が走行中の
レ−ン(自車走行レ−ン)が直線である場合、該レ−ン
上の先行車両はすべて前記3角形領域に存在する(ル−
フは外れても、車底は該領域内にある)。ところが、
左,右端白線を近似する二直線は、カメラに近い位置の
左,右端白線像に基づいて決定されるので、自車レ−ン
が自車前後でカ−ブしていると、あるいは前方でカ−ブ
していると、直線レ−ンの場合には無限遠点と見なしう
る前記二直線の交点は、自車レ−ンの遠方点よりも左
(自車レ−ンが右にカ−ブの場合)又は右(左にカ−ブ
の場合)にずれる。すなわち、前記交点は、自車レ−ン
が右にカ−ブしているときには自車レ−ンの遠方点より
左側にずれ、左にカ−ブしているときには右側にずれ
る。このため、カ−ブがあるところでは、前記3角形領
域内での物体探索のみでは、前方物体(先行車両又は障
害物)、特に遠方に存在する物体、の検知に失敗する確
率が高くなる。
【0003】特開平1−276214号公報は、道路沿
いの指標を車両上のカメラで撮影して車両上で車両位置
情報を生成し、車両位置情報と目的地情報とを対比して
最適経路を決定し、決定した経路に従って車両速度およ
び車輪ステアリングを制御する、との車両自動運転を提
案し、道路沿いの指標を撮影するためにカメラの撮影方
向を水平方向および垂直方向に変更する、カメラ用の2
次元姿勢変更機構を提案している。しかしこの提案は、
決定した最適経路の通りに道路が存在すること、ならび
に、該道路上に先行車両が存在しないことを前提として
いる。実際には、現実の道路の追跡(存在確認)および
先行車両の有無ならびに車間距離の確実な検出が必要で
ある。
【0004】特開平6−12435号公報は、カメラで
先行車両を追跡するために、先行車両像が画面上で実質
上一定サイズとなるように焦点距離およびズ−ムを制御
し、しかも先行車両像が画面上略中央になるようにカメ
ラの姿勢を水平方向および垂直方向に制御する追従装置
を提示している。この追従制御は、最初の先行車両の検
出又は特定、ならびに追従中の先行車両が道をそれて自
車前方から消えたときの、次の先行車両の探索が大前提
となるが、これに関する教示はない。また、追従中の先
行車両が道をそれて自車進行方向から外れるときの、誤
追従に対する処置方の技術の提示もない。
【0005】
【発明が解決しようとする課題】道路上の走行レ−ンお
よび又は先行車両の検出は、車両が走行しているため、
サ−チすべき距離が長い。例えば、先行車両検出に基づ
いた車間距離自動制御を行なう場合、単純化して言う
と、時速40Km程度の走行中には、30m程度前方ま
でサ−チすれば一応の安全性は確保されるかも知れない
が、80Km程度の場合には50m以上の長区間に渡っ
ての先行車両検知が必要となるかも知れない。いずれに
しても、車両走行速度の範囲が広いため、高速走行を想
定すれば50m以上の長区間を、先行車両が存在するか
否か自動検出するのが好ましい。
【0006】ところが、近距離では隣接車両の側方接近
やレ−ン変更に備えるため広角度で車両検出するのが好
ましく、カメラを広視野(広角)にするのが良いが、そ
うすると、遠距離の物体分解能が低下し検出精度が悪く
なる。遠距離検出のために狭視野(望遠)にすると、近
距離(特に隣接レ−ン)が漏れて直近車両(特に隣接レ
−ン)が検知できなくなる。加えて、道路がカ−ブして
いる場合には、カ−ブの先が画面から外れ、カ−ブの先
の車両を認識できない。
【0007】したがって、自車レ−ン上を走行する先行
車両が確実に特定されている場合にこれをタ−ゲットと
して追跡する制御は比較的に簡単であるが、その前段階
の、道路状態(カ−ブ/直進路)の検出,先行車両等の
存否検出および自車レ−ン前方の車両又は物体の検出又
は特定、ならびに、前方の車両又は物体が自車レ−ン上
にあるか否かの確認は、難かしい問題があり、高精度で
このように検出又は特定もしくは確認を行なう技術が望
まれている。
【0008】本発明は、路上前方、特にカ−ブ路前方、
の物体を極力早期に(それが遠方にある間に)検出する
ことを第1の目的とし、検出精度を向上することを第2
の目的とする。
【0009】
【課題を解決するための手段】
(1)本発明の第1実施態様の車両前方の物体検出装置
は、車両の前後軸に対して水平方向に第1角度(A)をな
す車両前方の、近距離の路面を含む広視野角の第1シ−
ン、および、車両の前後軸に対して水平方向に第2角度
(B,C)をなす車両前方の、遠距離の路面を含む狭視野角
の第2シ−ン、を撮影するための撮影装置(16b,16d/26
b,26d/36b,36d);第1シ−ンおよび第2シ−ンの撮影画
面の画像デ−タに基づき第1シ−ン上および第2シ−ン
上の路面上の、前方物体(白線,先行車両,路上障害
物)を検出する路上物体検出手段(100〜300);および、
第1シ−ン上の検出した前方物体の実質上全形が第1シ
−ンに入る方向に前記第1角度(A)を変更し、第2シ−
ン上の検出した前方物体の実質上全形が第2シ−ンに入
る方向に前記第2角度(B,C)を変更する撮影方向制御手
段(11,21,31,16e,26e,36e);を備える。なお、理解を容
易にするためにカッコ内には、図面に示し後述する実施
例の対応要素に付した記号又は対応事項を、参考までに
付記した。
【0010】これによれば、第1シ−ンは、車両前方近
距離の左右方向に広い範囲のものであるので、近距離(1
0〜30m)の自車走行レ−ンおよび該レ−ン上の先行車両
はもちろん隣接レ−ン上の自車よりやや前方の車両(側
方車両)を含み、第1シ−ンの撮影画面上においてこれ
らの分解能は高い。したがって第1シ−ン撮影画像の画
像デ−タに基づいて自車走行レ−ンならびに先行車両お
よび側方車両を確実に検出しうる。
【0011】これに対して第2シ−ンは、車両前方遠距
離(30〜60m,60〜90m)を狭視野角で撮影されるものであ
るので、第2シ−ンの撮影画面上において遠方の路面お
よび車両の分解能が高い。したがって第2シ−ン撮影画
像の画像デ−タに基づいて遠方路面および車両を、高精
度で検出しうる。
【0012】撮影装置(16b,16d/26b,26d/36b,36d)が、
上述の第1シ−ンと第2シ−ンを撮影し、しかも、路上
物体検出手段(100〜300)が、第1シ−ンおよび第2シ−
ンの画像デ−タに基づき第1シ−ン上および第2シ−ン
上の路面上の、前方物体(白線,先行車両,路上障害
物)を検出するので、車両前方近距離(10〜30m)の自車
走行レ−ンならびに先行車両および側方車両が確実に検
出され、また、車両前方遠距離(30〜60m,60〜90m)の路
面および車両が高精度で検出される。
【0013】車両の前後軸に対する撮影装置の撮影方向
が固定であると、道路がカ−ブしている場合には、遠方
の路面および車両が第1および第2シ−ンから外れる可
能性が高いが、撮影方向制御手段(11,21,31,16e,26e,36
e)が、第1シ−ン上の検出した前方物体(白線,先行車
両,路上障害物)の実質上全形が第1シ−ンに入る方向
に前記第1角度(A)を変更し、第2シ−ン上の検出した
前方物体の実質上全形が第2シ−ンに入る方向に前記第
2角度(B,C)を変更するので、道路がカ−ブしている場
合でも第1および第2シ−ン共に路上物体を含むものと
なり、比較的に遠いカ−ブ前方の路面および車両の検出
が可能であり、路上物体検出手段(100〜300)による前方
近距離(10〜30m)および前方遠距離(30〜60m,60〜90m)の
路面および車両の検出信頼性が高い。
【0014】
【発明の実施の形態】
(2)撮影方向制御手段は、第1シ−ン上の検出した前
方物体(白線,先行車両,路上障害物)の実質上中央を
第1シ−ンの中央とする前記第1角度(A)を定め、第2
シ−ン上の検出した前方物体の実質上中央を第2シ−ン
の中央とする前記第2角度(B,C)を定める。これにより
第1シ−ンおよび第2シ−ンを撮影した画面の中央に前
方物体が位置し、物体検出精度が高い。
【0015】(3)前方物体は、走行レ−ンを区画する
白線を含む。これにより走行レ−ンが検出される。
【0016】(4)前方物体は、先行車両を含む。これ
により先行車両が検出される。
【0017】(5)本発明の第2実施態様の車両前方の
物体検出装置は、車両の前後軸に対して水平方向に第1
角度(A)をなす車両前方の、近距離(10〜30m)の路面を含
む広視野角の第1シ−ン、および、車両の前後軸に対し
て水平方向に第2角度(B,C)をなす車両前方の、遠距離
(30〜60m,60〜90m)の路面を含む狭視野角の第2シ−
ン、を撮影するための撮影装置(16b,16d/26b,26d/36b,3
6d);第1シ−ンおよび第2シ−ンの撮影画面の画像デ
−タに基づき第1シ−ン上および第2シ−ン上の路面上
の、前記車両が存在する走行レ−ンを区画する白線を検
出する路上走行レ−ン検出手段(100〜300);第1シ−ン
および第2シ−ン上の走行レ−ン上の先行車を検出する
車両検出手段(11);および、第1シ−ン上の検出した走
行レ−ンの実質上中央を第1シ−ンの中央とする前記第
1角度(A)を定め、第2シ−ン上の検出した走行レ−ン
の実質上中央を第2シ−ンの中央とする前記第2角度
(B,C)を定める撮影方向制御手段(11,21,31,16e,26e,36
e);を備える。
【0018】これによれば、路上走行レ−ン検出手段(1
00〜300)が第1シ−ン上および第2シ−ン上の路面上の
走行レ−ンを検出し、撮影方向制御手段(11,21,31,16e,
26e,36e)が、検出した走行レ−ンをシ−ン中央とするよ
うに第1角度(A)および第2角度(B,C)を定める。すなわ
ち、撮影方向制御手段(11,21,31,16e,26e,36e)が走行レ
−ンを追跡する。しかして、車両検出手段(11)が、第1
シ−ン上および第2シ−ン上の路面上の先行車両を検出
する。走行レ−ンが検出され追跡されているので、該走
行レ−ン上の車両検出の信頼性は高い。自車走行レ−ン
が先行車なしからありに変わる場合又はその逆の場合
の、先行車両有無検出の信頼性が高い。 (6)本発明の第3実施態様では、撮影装置(16b,16d/2
6b,26d/36b,36d)は、車両前方の近距離(10〜30m)の路面
を撮影する広視野角の第1カメラ(16b)および車両前後
軸に対する水平方向の第1カメラ(16b)の撮影方向を変
更するために該カメラを回転駆動する第1回転駆動装置
(16d)、および、車両前方の遠距離(30〜60m,60〜90m)の
路面を撮影する狭視野角の第2カメラ(26b,36b)および
車両前後軸に対する水平方向の第2カメラ(26b,36b)の
撮影方向を変更するために該カメラを回転駆動する第2
回転駆動装置(26d,36d)、を含む。
【0019】(7)第1〜第3実施態様に共通の一実施
例では、撮影装置(16b,16d/26b,26d/36b,36d)は、車両
前方の近距離(10〜30m)の路面を撮影する広視野角の第
1カメラ(16b)および車両前後軸に対する水平方向の第
1カメラ(16b)の撮影方向を変更するために該カメラを
回転駆動する第1回転駆動装置(16d),車両前方の中距
離(30〜60m)の路面を撮影する中視野角の第2カメラ(26
b)および車両前後軸に対する水平方向の第2カメラ(26
b)の撮影方向を変更するために該カメラを回転駆動する
第2回転駆動装置(26d)、および、車両前方の遠距離(60
〜90m)の路面を撮影する狭視野角の第3カメラ(36b)お
よび車両前後軸に対する水平方向の第3カメラ(36b)の
撮影方向を変更するために該カメラを回転駆動する第3
回転駆動装置(36d)、を含む。
【0020】本発明の他の目的および特徴は、図面を参
照した以下の実施例の説明より明らかになろう。
【0021】
【実施例】図1の(a)に本発明の一実施例の構成を示
す。それぞれ回転機構16d,26dおよび36dで支
持された第1〜第3テレビカメラ16b,26bおよび
36bは、第1〜第3画像処理装置100〜300に接
続されている。回転機構16d,26dおよび36d
は、それぞれ回転駆動用の電気モ−タおよび減速機を内
蔵するものであり、減速機の出力回転軸にカメラ(16
b,26b,36b)が固着されている。
【0022】第1〜第3回転機構16d,26dおよび
36dは、1つの支持フレ−ムで支持され図1の(b)
に示すように、車両MCRの車内のフロントウィンドウ
の中央上部付近に設置されており、第1〜第3テレビカ
メラ16b,26bおよび36bのそれぞれは、車両前
方のシ−ンを撮影して1フレ−ム当り512×512画
素のアナログ信号を出力する。
【0023】第1カメラ16bは広角カメラであり、そ
れより30m前方の、視野中心線に直交する、略24m
×24mの面積を512×512画素に投影する。視野
中心線は、水平路面の場合で車両の前方略15mで路面
と交わる。この交わる点に第1カメラ16bの焦点が合
せてある。第1カメラ16bの撮影画面が例えば図2に
示すものであり路面が水平であると、画面上のy=15
0にある路面が車両前方30mであり、y=350にあ
る路面が車両前方10mである。後述の白線検出および
車両検出は、y=150〜350の範囲(特徴点検出ウ
ィンドウ2)内で行なわれる。
【0024】第2カメラ26bは標準画角カメラであ
り、それより60m前方の、視野中心線に直交する、略
19m×19mの面積を512×512画素に投影す
る。視野中心線は、水平路面の場合で車両の前方略45
mで路面と交わる。この交わる点に第2カメラ26bの
焦点が合せてある。この第2カメラ26bの撮影画面上
では、y=150にある路面が車両前方60mであり、
y=350にある路面が車両前方30mである。後述の
白線検出および車両検出は、y=150〜350の範囲
(特徴点検出ウィンドウ2)内で行なわれる。
【0025】第3カメラ36bは望遠カメラであり、そ
れより90m前方の、視野中心線に直交する、略13m
×13mの面積を512×512画素に投影する。視野
中心線は、水平路面の場合で車両の前方略75mで路面
と交わる。この交わる点に第3カメラ36bの焦点が合
せてある。この第3カメラ36bの撮影画面上では、y
=150にある路面が車両前方90mであり、y=35
0にある路面が車両前方60mである。後述の白線検出
および車両検出は、y=150〜350の範囲(特徴点
検出ウィンドウ2)内で行なわれる。
【0026】第1〜第3カメラ16b,26bおよび3
6bそれぞれの、車両前方距離と撮影範囲(画面全体)
および、後述の白線検出および車両検出を行なう領域
(y=150〜350:特徴点検出ウィンドウ2の領
域)を図3に示す。また、図4の(a)には、第1〜第
3カメラ16b,26bおよび36bそれぞれの、車両
前方距離と撮影横幅との関係を示し、図4の(b)に
は、車両前方距離と撮影画面上での距離計測の誤差σの
関係を示す。この誤差σは、車両前方距離において、距
離計測可能な最小分解能を示し、視野が狭いカメラほど
高精度で計測することができる。
【0027】道路がカ−ブしている場合は、視角が狭い
カメラほど路面から外れた方向を撮影してしまう可能性
が高い。したがってこの実施例では、回転機構16d,
26dおよび36dでカメラ16b,26bおよび36
bを支持して、主に画像処理装置100の後述のCPU
11により、車両前方10m〜90mの走行レ−ン検出
および前方車両検出を行ない、前方車両を検出しないと
きには、図5に示すように、カメラ16b,26bおよ
び36bの視野中心をレ−ン中央に合すように、カメラ
16b,26bおよび36bを個別にステアリングす
る。視野(上述のy=150〜350)内に車両が存在
する(と検出した)カメラは、該車両を視野中心に置く
ようにステアリングする。
【0028】図6に、第1画像処理装置100の構成を
示す。この画像処理装置100は、マイクロコンピュ−
タ(以下CPUという)11を中心に構成されており、
そのバスラインには、制御プログラムが格納された読み
出し専用メモリ(ROM)12,処理中のパラメ−タが
格納される読み書きメモリ(RAM)13、および、各
種構成要素が接続された入出力ポ−ト(I/O)15,
16等が接続されている。第1カメラ16bが出力する
アナログ画信号(ビデオ信号)は、A/Dコンバ−タ1
6cに与えられる。A/Dコンバ−タ16cにおいて
は、第1カメラ16bよりのアナログ画信号を各画素毎
に256階調(階調0が黒レベル、階調255が白レベ
ル)のデジタルデ−タ(階調デ−タ)に変換してイメ−
ジメモリ15aに与える。なお、イメ−ジメモリ15a
は、一画面(512×512画素)の階調デ−タを記憶
する領域を一頁とするとその数頁分の階調デ−タ記憶領
域と、1ビット情報(2値デ−タ)を数画面分記憶する
2値デ−タ記憶領域を有する。
【0029】CPU11は、テレビカメラコントロ−ラ
16aを介して第1カメラ16bの絞りおよび画信号の
出力レベル等を制御し、A/Dコンバ−タ16cの入出
力およびイメ−ジメモリ15aの書込み処理等を同期制
御する。イメ−ジメモリ15aにはDMA装置14が接
続されており、CPU11が指定したメモリ領域に、画
像処理装置200又は300から送られる画像デ−タを
書込む。
【0030】回動機構16dの電気モ−タはステアリン
グコントロ−ラ16e(のモ−タドライバ)に接続され
ており、CPU11がコントロ−ラ16eに目標角度を
与え、コントロ−ラ16eは、回動機構16dによる第
1カメラ16bのステアリング角度Aを目標角度Anと
するように回転機構16dの電気モ−タを正転駆動(右
向き方向)又は逆転駆動(左向き方向)し、第1カメラ
16bのステアリング角度Aが目標角度Anに合致する
と電気モ−タを停止する。なお、このステアリング角度
Aは、車両の前後軸(の水平面への投影線)に対するカ
メラ視野中心線(の水平面への投影線)のなす角度であ
り、両者が合致するときがステアリング角度=0であ
る。この実施例では、右方向(+)に60°、左方向
(−)に60°がステアリング範囲(角度Aの調整範
囲)である。
【0031】図7および図8に、第2画像処理装置20
0および第3画像処理装置300の構成を示す。これら
の画像処理システム200および300の構成は、第1
画像処理装置100の構成と略同様である。しかし、第
2,第3画像処理装置200,300のDMA装置2
4,34は、それぞれのメモリ25a,35aの、CP
U21,31が指定した領域の画像デ−タを読出して、
第1画像処理装置100のDMA装置14に転送し、D
MA装置14は転送を受けた画像デ−タをメモリ15a
の、CPU11が指定する領域に書込む。
【0032】第1画像処理装置100のCPU11に
は、第2および第3画像処理装置200,300のCP
U21,31のシリアルデ−タ通信ラインが接続されて
おり、CPU11(マスタ−)が、画像読取,読取画像
の補正および画像デ−タ転送を第2および第3画像処理
装置200,300のCPU21,31(スレ−ブ)に
指示する。CPU11は、第1カメラ16bの撮影画像
デ−タおよび200,300から転送を受けた画像デ−
タに基づいて、車両前方10〜90mの画像上の走行レ
−ン(白線)の検出,カ−ブの検出および走行レ−ン上
の車両(先行車両/路上障害物の場合もある)の検出を
行ない、更に、検出車両があるときにはそれを画面中央
とするためのステアリング角、検出車両がないときには
走行レ−ン中央を画面中央とするためのステアリング角
を、第1〜第3カメラ宛てそれぞれに算出し、カ−ブ情
報(カ−ブ半径)および検出車両情報(前方位置)を、
通信コントロ−ラ17を介してホストマイクロコンピュ
−タ(CPUを主体とするコンピュ−タシステム:以下
MPUと称す)18に転送する。第1カメラ16b宛て
のステアリング角Anはステアリングコントロ−ラ16
eに与え、第2,第3カメラ26b,36b宛てのステ
アリング角Bn,Cnは、シリアル通信ラインを介してC
PU21および31に転送する。これらのCPU21,
31は、受信したステアリング角Bn,Cnをステアリン
グコントロ−ラ26e,36eに与える。 MPU18
は、車両速度制御(定速走行制御/車間距離制御)およ
び車両進行方向制御(各車輪ブレ−キ個別のブレ−キ圧
制御)を行なうコンピュ−タシステムであり、CPU1
1から受信した先行車両情報およびカ−ブ情報を、車両
速度制御および車両進行方向制御に用いる。
【0033】図9,図10および図11に、CPU11
の処理動作の概要を示す。CPU11の処理動作の多く
部分は、特開平6−213660号公報(発明の名称:
像の近似直線の検出方法)に提示した車両前方の物体検
出装置のCPU1の処理動作と共通又は類似であり、公
知である。したがって、図9〜図11には、該公知の処
理動作と実質上同じ処理動作を表わすブロックは太線
(太い実線又は太い破線)で表示し、以下においてはそ
の内容の大要のみを記す。本実施例のCPU11の上記
公報に開示のない処理動作を表わすブロックは細線(細
い実線又は細い破線)で表示した。
【0034】また、CPU21および31がCPU11
と同様に実行する処理動作を表わすブロックは実線(太
い実線又は細い実線)で示し、CPU11のみが実行す
る処理動作を表わすブロックは破線(太い破線又は細い
破線)で表示した。以下、図9〜図11を参照してCP
U11の処理動作を説明し、合せてCPU21および3
1の処理動作も説明する。
【0035】まず図9を参照する。第1画像処理装置1
00のCPU11は、それ自身に電源が投入されると入
出力ポ−トの初期化,内部レジスタ,内部カウンタの初
期化等(初期化A)を行なった後、第2,第3画像処理
装置200,300のCPU21,31に、画像読取を
指令する(T1)。
【0036】次にCPU11は、一画面のアナログ画信
号を所定周期でデジタル変換してイメ−ジメモリ15a
の入力デ−タメモリ領域に書込む(画像入力B)。CP
U21,31も画像読取指令に応答して同様に、一画面
の画像デ−タをイメ−ジメモリ25a,35aに書込
む。
【0037】一画面の画像デ−タをメモリに書込むと、
CPU11,CPU21およびCPU31はそれぞれ、
目標ステアリング角度A,BおよびCをステアリングコ
ントロ−ラ16e,26eおよび36eに与える(A
1)。目標ステアリング角度A,BおよびCはそれぞれ
レジスタA,BおよびCに書込まれており、初期値は0
であり、後述する「カメラステアリング角の算出」(A
5)を実行した後は、それによって算出された値とな
る。
【0038】次にCPU11のみ、「特徴点検出ウィン
ドウ1セット」(C1)〜「ロ−ル角θr,パン移動量
xp計算」(C5)を実行する。これらの内容を次に説
明する。
【0039】 C1.「特徴点検出ウィンドウ1セット」(図12) この内容を図12の(a)に示す。図12の(b)に示
すように、第1カメラ16bの撮影画面(画像デ−タは
入力デ−タメモリにある階調デ−タ)の左上を原点
(0,0)に定めて、一点(0,350)ともう一点
(511,511)を対角コ−ナとする画像領域を特徴
点検出用の領域(ウィンドウ1)に定める。すなわち、
定めようとする領域の左上コ−ナのx座標値0をレジス
タXULに、y座標値350をレジスタYULに、該領
域の右下コ−ナのx座標値511をレジスタXLRに、
y座標値511をレジスタYLRに書込む(図12の
(a)のステップ1;カッコ内ではステップという語は
省略し、ステップNo.のみを記す)。これらのレジス
タのそれぞれのデ−タが示す値を以下、レジスタ記号そ
のもので表わす。
【0040】次に説明する「特徴点検出(UP)」C2
の処理に対して、上述の「特徴点検出ウィンドウセッ
ト」C1により、図12の(b)に示すように、2点鎖
線で示すブロック(特徴点検出ウィンドウ1)が、処理
対象領域に指定されたことになる。この領域は、図12
の(b)に示すように、車両のボンネットの先端エッジ
像を十分に含むものである。次に「特徴点検出(U
P)」C2を実行する。
【0041】C2.「特徴点検出(UP)」C2 ここでは、特徴点検出ウィンドウ1の左下コ−ナ(0,
511)よりy方向2画素上方の画素(0,509)か
ら、y方向座標値を350まで順次小さくするy方向の
下から上への走査により、該方向(x=0の直線上)に
分布する画素を順次に注目画素に指定して、各注目画素
(xs,ys)に関して、それより1画素下側の画素
(xs,ys+1)と2画素下側の画素(xs,ys+
2)の階調デ−タが表わす輝度の和と、注目画素(x
s,ys)より1画素上側の画素(xs,ys−1)と
2画素上側の画素(xs,ys−2)の、入力デ−タメ
モリにある階調デ−タが表わす輝度の和、の差の絶対値
すなわち上下方向(y方向)の階調微分値の絶対値を算
出する。これを注目画素点(xs,ys)の階調微分値
D(xs,ys)とする。この階調微分値D(xs,y
s)は、注目点(xs,ys)の上側2画素の画像濃度
和と下側2画素の画像濃度和との差の絶対値であるの
で、注目点を境にした上下方向(y)の濃度変化を表わ
し、画面上の各像の、水平方向に延びる輪郭線のところ
で大きい値となる。この階調微分値D(xs,ys)が
しきい値Th1(設定値)以上であるかをチェックし
て、Th1以上であると、イメ−ジメモリ15aのある
領域に割り当てている2値デ−タテ−ブルの、注目画素
点(xs,ys)対応アドレスE(xs,ys)に、
「1」を書込む。この情報「1」は、像の水平方向に延
びる輪郭線であることを意味する。y方向にこのような
処理を一ライン分(x=0,y=509〜350)行な
うと、走査線を右方向に移して、次の一ライン分(x=
1,y=509〜350)につき同様な処理を行なう。
以下同様に、最後のライン(x=511,y=509〜
350)まで同様な処理を行なう。
【0042】以上の処理により、イメ−ジメモリ15a
の2値デ−タテ−ブルE(xs,ys),xs=0〜5
11,ys=509〜350)に、特徴点検出ウィンド
ウ1(図12のb)内の像の水平方向に延びる輪郭線を
示す情報が書込まれたことになる。特徴点検出ウィンド
ウ1は、ボンネットの先端エッジ像を含む領域に設定さ
れているので、2値デ−タテ−ブルE(xs,ys)に
はボンネットの先端エッジを表わす情報が含まれてい
る。この実施例では、ボンネットの先端エッジを直線と
見なして、次の「ボンネット検出」C3で該直線を検出
する。
【0043】C3.「ボンネット検出」C3(図13) まず大要を説明するとここでは、公知の「ハフ(Houg
h)変換」を用いて直線を検出する。ハフ変換は、直交
座標系(x−y座標系;例えば特徴点検出ウィンドウ1
内の画素分布)で表現されている情報(例えば前記2値
デ−タテ−ブルE(xs,ys))を、極座標系(ρ−
θ座標系)で表現する手法であり、 ρ=xcos(θ)+ysin(θ) の変換を行なう。x−y座標系におけるある一点(画
素)はρ−θ極座標系(ρとθを直交2軸の一方と他方
に割り当てる直交座標平面)ではある曲線となり、x−
y座標系において直線上に乗っている各点をρ−θ座標
系で各曲線で表わすと、これらの曲線は一点で交わる。
この交点をx−y座標系への変換式に代入することによ
り、x−y座標系での直線式が得られる。
【0044】したがって、前記2値デ−タテ−ブルE
(xs,ys)上の特徴点情報「1」を有する座標をρ
−θ極座標値に変換し、ρ−θ極座標系において曲線の
交点を求め、この交点をx−y座標系への変換式に代入
することにより、特徴点を結ぶ直線を求めることができ
る。しかし、単に2点を結ぶ直線はx−y座標系で直接
に求めることができ、ρ−θ極座標系への変換を行なう
意味はない。ところが、画面上のボンネット輪郭線は、
実際のボンネットの先端輪郭線がカ−ブしているとか、
ボンネットへの光の当り具合などにより画面上カ−ブし
ているとかあるいは粗れており、ボンネット輪郭線を直
線で近似する場合、単に2値デ−タテ−ブルE(xs,
ys)上の特徴点情報「1」がある2点を結ぶ直線を求
めたのでは、近似誤差が大き過ぎるし、ボンネットでな
いものの輪郭線を摘出してしまうこともあり得る。図1
2の(b)および図2に示すように、ボンネット輪郭線
は広い領域に分布しているので、2値デ−タテ−ブルE
(xs,ys)上には特徴点情報「1」が多く存在す
る。したがって、該「1」がある2点(画素)を結ぶ直
線は多数得られる。多数得た直線群を代表する右下りの
一直線を確定すると、それはボンネットの先端輪郭線の
右半分を最も良く近似するものである(図13のb)。
同様に、多数得た直線群を代表する左下りの一直線を確
定すると、それはボンネットの先端輪郭線の左半分を最
も良く近似するものである(図13のb)。しかしなが
らこのような統計的処理をx−y座標系で行なうと処理
がきわめて複雑となる。ところがハフ変換を用いて、2
値デ−タテ−ブルE(xs,ys)上の特徴点情報
「1」がある座標(特徴点)をρ−θ極座標系へ変換す
ると、各特徴点を表わす曲線の交点が2点(ボンネット
の右半分輪郭線と左半分輪郭線に対応)に集中する。し
たがって2値デ−タテ−ブルE(xs,ys)の特徴点
をハフ変換し、ρ−θ極座標系上の各点で、曲線が通る
度数(一点を通る曲線の数)をカウントし、度数が最大
の点と次に大きい点の二点を選択して、選択した各点を
x−y座標系への変換式に代入することによりボンネッ
トの輪郭線の右半分,左半分を表わす直線式が得られ
る。この実施例ではこのような論理に従って、すなわち
ハフ変換とρ−θ極座標系上各点を曲線が通る度数のカ
ウントにより、ボンネットの先端輪郭線を検出する。
【0045】ところで、ρ−θ極座標系上各点での曲線
交鎖度数のカウントを、2値デ−タテ−ブルE(xs,
ys)のサイズ対応の大きさのρ−θ極座標系全領域の
各点で行なうと、曲線が通る度数のカウント処理が膨大
となり、直線検出処理に長い時間がかかる。そこでこの
実施例では、2値デ−タテ−ブルE(xs,ys)の最
下端の左右中間点(x=255,y=511)をρ−θ
極座標系の原点(0,0)に定め、かつ、2値デ−タテ
−ブルE(xs,ys)を左右に2分して、右半分につ
いて、第1ハフ変換で、2値デ−タテ−ブルE(xs,
ys)の特徴点を、低密度(サンプリングピッチが大き
い)ρ−θ極座標系に変換して該極座標系の各点を曲線
が通る度数(一点を通る曲線の数)をカウントし、度数
が最大の点(第1予測点)を求める。次に第2ハフ変換
で、第1予測点を中心とする小範囲のρ−θ領域を設定
し、該領域の大きさの中密度ρ−θ極座標系に2値デ−
タテ−ブルE(xs,ys)の特徴点を変換してこのρ
−θ極座標系の各点を曲線が通る度数をカウントし、度
数が最大の点(第2予測点)を求める。そして第3ハフ
変換で、第2予測点を中心とする更に小範囲のρ−θ領
域を設定し、該領域の大きさの高密度ρ−θ極座標系に
2値デ−タテ−ブルE(xs,ys)の特徴点を変換し
てこのρ−θ極座標系の各点を曲線が通る度数をカウン
トし、度数が最大の点(第3予測点)を求める。そして
この第3予測点で表わされる直線をボンネットの先端輪
郭線の右半分と決定する(図13の12R〜14R)。
2値デ−タテ−ブルE(xs,ys)の左半分について
も、同様に第1ハフ変換,第2ハフ変換および第3ハフ
変換を行って、ボンネットの先端輪郭線の左半分を表わ
す直線を決定する(図13の12L〜14L)。
【0046】次に図13の(a)を参照して、「ボンネ
ット検出」C3の内容を詳細に説明する。まずボンネッ
トの先端輪郭線の右半分を近似する直線を検出するため
のパラメ−タを設定する(12R)。そして該近似する
直線対応の点(Rm3,Tm3)を検出する(13R)。R
m3はρ−θ極座標系のρ値、Tm3はθ値である。求めた
点の座標値をレジスタRmR,TmRに格納する(14
R)。同様な処理をボンネットの先端輪郭線の左半分を
近似する直線を検出するために行なう(12L〜14
L)。ハフ変換により直線を検出する「直線当てはめ」
13R,13Lの内容は、特願平5−7017号に開示
のものと同じであるので、ここでの詳細な説明は省略す
る。なお、「直線当てはめ」13Rはウィンドウ1(図
2)の右半分の領域の直線を検出し、「直線当てはめ」
13Lは左半分の領域の直線を検出する。
【0047】「直線当てはめ」13Rおよび13Lで求
めた直線それぞれは、極座標系の点(RmR,TmR)およ
び(RmL,TmL)で表わされ、これらの直線をx−y座
標系で表わすと、 RmR=xcos(TmR)+ysin(TmR) および RmL=xcos(TmL)+ysin(TmL) となる。これらの直線は、図13の(b)に示す如きも
のである。
【0048】C4.「直線交点計算」C4(図14) CPU11は、上述の「ボンネット検出」C3を終了す
ると、「直線交点計算」C4で、これらの直線の交点
(xc,yc)を次のように算出する: xc=xch+〔RmR×sinTmL−RmL×sinTmR〕/〔cosTmR×sinTmL−cosTmL×sinTmR 〕 ・・・(1) yc=ych+〔RmR×cosTmL−RmL×cosTmR〕/〔sinTmR×cosTmL−sinTmL×cosTmR 〕 ・・・(2) この計算において、xchは2値デ−タテ−ブルE(x
s,ys)の領域のx方向中央位置(xch=255)、y
chは最下端位置(ych=509)であり、点(xch,y
ch)は前述の直線検出で極座標原点に定めたものであ
る。
【0049】 C5.「ロ−ル角,パン移動量計算」C5(図14) ここでロ−ル角とは、図14の(a)に示すように、前
記検出した2直線の交わる角を2等分する直線(車両の
縦軸線)と撮影画面のy軸線とのなす角θrであり、第
1カメラ16bの視野中心線と車両の縦軸線が、それら
を水平面に投影した場合になす角度、すなわち第1カメ
ラ16bの視野中心線の、車両の縦軸線に対するロ−ル
方向のずれ角である。パン移動量xpは、撮影画面上で
の、該画面を左右に2等分する縦軸線に対する、ボンネ
ット先端中央(前記2直線の交点)の横方向ずれ量であ
る。自車から進行方向前方の車両(先行車両)を見てこ
の車両との車間距離を算出する場合、ロ−ル角θrある
いはパン移動量xpが大きいと、自車の進行方向から外
れた方向にある車両や物体を自車レ−ン(自車が走行し
ているレ−ン)上の車両等と誤認する確率が高くなる。
この確率を下げるためにはロ−ル角θrおよびパン移動
量xpが共に零となるように、カメラ16bの取付角を
調整すればよいが、この調整はむつかしくわずらわし
い。したがってある程度のロ−ル角θrおよびパン移動
量xpは避けられない。そこでこの実施例では、「画面
の校正」Cにより、画面上でロ−ル角θrおよびパン移
動量xpを零に調整するが、この調整代の算出のため
に、前述のC1〜C4の処理を行ない、かつ「ロ−ル
角,パン移動量計算」C5で、ロ−ル角θrおよびパン
移動量xpを算出してロ−ル角レジスタθrおよびパン
移動量レジスタxpに格納する: θr=(TmL+TmR)/2−π/2 ・・・(3) xp=xc−256 ・・・(4)。
【0050】CPU11は、CPU間シリアルデ−タ通
信ラインにより、算出したロ−ル角θrおよびパン移動
量xpを、CPU21および31に送信する(図9のT
2)。
【0051】C6〜8.「画像補正」C6〜8 CPU11,21および31それぞれは、「画像補正」
C6〜8を実行する。この内容をCPU11に関して説
明する(CPU21,31の処理も同様)と、CPU1
1は、次の、「補正画像メモリイニシャライズ」C6,
「画像回転平行移動」C7および「補間」C8を含む
「画像補正」により、イメ−ジメモリ15aの、入力デ
−タメモリ(1画面分の階調デ−タ記憶領域)の各画素
の階調デ−タのアドレス(図14の(b)のx,y)
を、ロ−ル角θrおよびパン移動量xpに対応する回転
および平行移動を行なったアドレス(θr=0,xp=
0で撮影画像を表わす画面座標系のアドレス;図14の
(b)のx’,y’)に変換して、入力デ−タメモリ対
応の補正画像メモリ(イメ−ジメモリ15aの、1画面
分の階調デ−タ記憶領域)に書込む(C6,C7)。
【0052】 C6.「補正画像メモリイニシャライズ」C6 このような回転および平行移動を行なうと、補正した画
面に階調デ−タが存在しない画素が生ずる。このような
画素を後に認識しうるように、「補正画像メモリイニシ
ャライズ」C6では、補正画像メモリの全アドレスに、
撮影画像デ−タ(階調デ−タ)には存在しない「−1」
を表わすデ−タを書込む。
【0053】C7.「画像回転平行移動」C7 これにおいては、入力デ−タメモリのアドレス(x,
y);x=0〜511,y=0〜511、のそれぞれ
を、θr=0,xp=0で撮影画像を表わす画面座標系
(補正画像メモリ)のアドレス(x',y');x'=0〜5
11,y'=0〜511、に変換して、入力デ−タメモ
リのアドレス(x,y)の階調デ−タを、補正画像メモ
リの、該アドレス(x,y)を変換したアドレス
(x',y')に書込む。これにより、補正画像メモリの
階調デ−タを仮に2次元ディスプレイに表示すると、図
14の(a)に示すロ−ル角θrおよびパン移動量xp
共に実質上零の、図2に示す如き画像が表示される。た
だし、この「画像回転平行移動」により、補正画像メモ
リ上には、階調デ−タが存在しないアドレス(画素=空
白画素)が生じることがあり、その場合そこには、上述
の「補正画像メモリイニシャライズ」C6により、「−
1」を示すデ−タが残存していることになる。
【0054】C8.「補間」C8 「補間」C8では、階調デ−タが存在しない画素に、そ
の周りの4画素の階調デ−タの平均値を割り当てる。周
り4画素のいずれかが空白画素であると、この割り当て
はしない。この「補間」C8においては、補正画像メモ
リのアドレス(画素)を順次に指定して、指定した画素
(注目画素)が空白画素(メモリデ−タが「−1」を示
すもの)であるかをチェックして、注目画素が空白画素
であると、図15に示すように、その左隣りの画素ロ,
右隣りの画素ハ,上側の画素イおよび下側の画素ニに階
調デ−タがあるかをこの順にチェックし、これら4個の
画素の1つでも空白画素であるとそこで、該注目画素に
対する処理は終了(空白画素のまま放置)し、注目画素
を次に移す。前記4画素を1つづつ階調デ−タがあるか
チェックしたとき、階調デ−タがあるとそれを累算レジ
スタIsの内容に加算し、得た和を累算レジスタIsに
更新メモリし、回数レジスタNsの内容を1インクレメ
ントする。前記4個の画素のすべてについてこれを終了
すると、これらの画素の階調デ−タの平均値Ic(x,
y)を算出して、注目画素にメモリする。
【0055】以上で、「画面の校正」C(図3)を終了
し、CPU11,21,31は次に、レジスタNveの
デ−タが0(無限遠点追跡に成功している:後述)であ
るかをチェックする(図10のA2)。後述の「無限遠
点計算」(D4)で、自車両走行レ−ンを区画する左右
白線の検出に成功しそれらの交点(これを無限遠点と称
す)の算出に成功しているときに、レジスタNveのデ
−タが0である。CPU11は、レジスタNveのデ−
タが0であると、「レ−ン検出ウィンドウ設定」(A
3)を実行し、レジスタNveのデ−タが0でないと、
「特徴点検出ウィンドウ2セット」(D1)を実行す
る。CPU21,31も同様な処理を実行する。
【0056】 A3.「レ−ン検出ウィンドウ設定」(A3) ここでは、車両前方のシ−ンの中から樹木,路肩等の背
景像(外乱)を除去し白線のみのエッジ点を検出するた
めに、エッジ検出を行う範囲を限定するウィンドウを設
定する。白線検出の処理速度を高速化するために、レ−
ン形状に応じた複数のレ−ン検出ウィンドウを規定する
デ−タをROM12に格納しており、前回「無限遠点計
算」(D4)で算出した無限遠点(xv,yv)および
「左右白線間隔(WL)計算」(D5)で算出した左,
右白線の、画面上の始端位置(xL,yL),(xR
R)に基づいて、レ−ン検出ウィンドウを定める。
【0057】レ−ン検出ウィンドウ形状は、図16に示
すような逆V字形で、頂点を5パタ−ン,左右端を各3
パタ−ンで構成する合計45パタ−ンである。各パタ−
ンのウィンドウ形状は、常に白線が捕捉できるように、
次の観点で定められている。 (1)ウィンドウ幅(WC,WL,WR:図16) 車両のピッチングによるカメラ16bのチルト角の変動
が吸収できる幅, (2)頂点座標(C0〜C4:図16) 車両と白線とのヨ−角,カ−ブ路及び、カメラ16bの
ステアリングにより、画面上で移動する無限遠点を、常
にウィンドウ内に捕える, (3)左右端座標(L0,L1,L2,R0,R1,R2:図1
6) 車両と白線とのヨ−角,カ−ブ路及び、カメラ16b,
26b,36bのステアリングにより、画面上の左右端
に映し出されるレ−ンの位置が変化しても、白線をウィ
ンドウ内に捕える。
【0058】図16に示す寸法(画素単位)は次の通り
である:ウィンドウ頂点C0〜C4のピッチ(Cn-1
n) カメラ16b:50,カメラ26b:70,カメラ36
b:80 なお、中央のC2がx方向の画面中央である,ウィンド
ウ左右端L0〜L2,R0〜R2のピッチ(Ln−Ln-1,R
n−Rn-1) カメラ16b:60,カメラ26b:70,カメラ36
b:80 なお、L1,R1が、基準レ−ン幅で、レ−ンが水平かつ
直線のときに車両がその中央を走行しているときに表わ
れる白線(を近似した直線)の画面エッジにおける端部
位置である, ウィンドウ頂点の幅Wc: カメラ16b:50,カメラ26b:70,カメラ36
b:80 ウィンドウ左右端の幅WL,Wr: カメラ16b:60,カメラ26b:70,カメラ36
b:80。
【0059】「レ−ン検出ウィンドウ設定」(A3)で
CPU11は、C0〜C4の中の前回検出した無限遠点の
x座標値(xv)に最も近い点(C0〜C4の1つCi
を検策し、そのx座標値と前回検出した無限遠点のy座
標値を、レ−ン検出ウィンドウの基準位置(逆v字線)
の頂点に定め、前回検出した左,右白線の、画面上の始
端位置(xL,yL),(xR,yR)のy座標値
(yL),(yR)に最も近い点(L0〜L2の1つLi
0〜R2の1つRi)を検索して、前回検出した始端位
置のx座標値と検出した点のy座標値をウィンドウの基
準位置(逆v字線)の左,右端に定めて、このように定
めた3点とWC,WL,WRで規定される画面上の領域
(レ−ン検出ウィンドウ)を定める。なお、定めたレ−
ン検出ウィンドウを適用するメモリは補正画像メモリで
ある。
【0060】 D1.「特徴点検出ウィンドウ2セット」D1 この内容は、前述の「特徴点検出ウィンドウ1セット」
C1と類似であるが、ウィンドウ2のサイズと位置がウ
ィンドウ1とは異なり、しかも、ウィンドウ2を適用す
るメモリは補正画像メモリである。図2に示すように、
ウィンドウ2は、ウィンドウ1の上側に設定される。
【0061】D2.「特徴点検出(UP)」D2 ウィンドウ2を設定すると、補正画像メモリ上の該ウィ
ンドウ2内の特徴点を検出する。この内容は前述の「特
徴点検出(UP)」C2と同様であり、「特徴点検出
(UP)」D2でも特徴点を表わす「1」情報は、2値
デ−タテ−ブルE(xs,ys)に書込む。ただし、検
出領域がウィンドウ2である点、および、処理対象デ−
タが補正画像メモリ上のデ−タである点、が異なる。
【0062】レ−ン検出ウィンドウを設定した場合に
は、補正画像メモリ上の該レ−ン検出ウィンドウの内部
領域の特徴点を検出する。
【0063】D3.「左右白線検出」D3 ここでも前述の「ボンネット検出」C3と類似の処理
で、自車レ−ンの右端白線を近似する直線および左端白
線を近似する直線を検出する。ただし、ウィンドウ2
(又はレ−ン検出ウィンドウ)がウィンドウ1とサイズ
および位置が異なるので、極座標原点が異なる(図
2)。
【0064】「直線当てはめ」 「直線当てはめ」は、ウインドウ2(又はレ−ン検出ウ
ィンドウ)の右半分に対して適用される点に注意された
い。ここではまず、2値デ−タテ−ブルE(xs,y
s)上の特徴点をρ−θ極座標系に変換してこの座標系
の各点(r,t)の曲線が通る度数カウント値を書込
む、イメ−ジメモリ15aのある領域に割り当てたデ−
タテ−ブルHGn(r,t)、ここではn=1、のデ−
タをクリアする。次にハフ変換パラメ−タ(変換領域お
よびハフ変換密度)を設定し、第1回のハフ変換(HG
1)を行なう。
【0065】「ハフ変換(HG1)」これにおいては、
2値デ−タテ−ブルE(xs,ys)の、補正画像メモ
リ対応の一画面の中のウィンドウ2(又はレ−ン検出ウ
ィンドウ)対応領域の右半分、に特徴点(「1」情報)
があるかをチェックする。特徴点がある毎に、該点を、
x−y座標上で原点が(xch=255,ych=35
0)、θが0〜π/2の範囲、かつ、θの単位が(π/
2)×(1/32)の極座標ρ−θ上の位置(r,
t)、t=0〜31、rは r=〔(xs−xch)cos{(Te−Ts)・t/Td+Ts} +(ych−ys)sin{(Te−Ts)・t/Td+Ts}−Rs〕×Rd/(Re−Rs) ・・・(5) で算出される値、に変換し、データテーブルHGn(こ
こではn=1)の、位置(r,t)対応のアドレスのデ
ータを1インクレメントする。x−y座標上の一点は極
座標ρ−θに変換すると極座標ρ−θ上では曲線となる
ので、前記変換された位置(r,t)は、t=0〜31
のそれぞれに対応する32個(それらの連なりが曲線)
となる。データテーブルHGnの、これらの位置(r,
t)に割り当てたアドレスのデータが1インクレメント
されるので、各アドレスのデータは、x−y座標上の特
徴点それぞれの、ρ−θ座標上の曲線が通る度数を表わ
すことになる。
【0066】上記(5)式を変形すると次の(5a)式とな
る。
【0067】 r/Rd/(Re−Rs)+Rs= (xs−xch)・cos〔(t・(Te−Ts)/Td)+Ts〕 +(ych−ys)・sin〔(t・(Te−Ts)/Td)+Ts〕 ・・・(5a) これは次の(5b)式で表わすことができる。
【0068】 r/d+c= (xs−xch)・cos(a・t+b) +(ych−ys)・sin(a・t+b) ・・・(5b) ここで、a=(Te−Ts)/Td,b=Ts,c=Rs,d=
d/(Re−Rs)である。この(5)式において、(xch,ych)
は、極座標原点のx−y座標上の位置であり、ここでは xch=255、ych=350 である。xsは特徴点の、x−y座標上のx座標値、y
sはy座標値である。
【0069】ここで、 θ=〔(t・(Te−Ts)/Td)+Ts〕 と表わすと、 (Te−Ts)/Td=(π/2)/32、Ts=0 であるので、 θ=t・(π/2)/32 =(π/64)t a=π/64,b=0,c=0,d=1/8 であり、t=0〜31であるので、θ=0,θ=π/6
4,θ=2π/64,θ=3π/64,・・・,31π
/64と、π/64を最小単位として32点のρ値rが
算出される。すなわちこの第1ハフ変換では、ウィンド
ウ2の右半分の領域の特徴点各点が、θがπ/64を最
小単位とし、かつ0以上π/2未満の範囲の極座標平面
上の位置(r,t)に変換される。
【0070】上記(5)式の、Rd/(Re−Rs)は、 Rd/(Re−Rs)=32/256 である。これは、θ=π/64をtの1単位としている
ので、すなわち、π/2を32分割しているので、これ
に対応してρの範囲0〜256も同様に32分割するも
のである。すなわちrの一単位は256/32である。
【0071】要約すると、「ハフ変換(HG1)」で
は、(5)式は具体的には次の(5-1)式である。
【0072】 r={(xs−255)・cos〔(t・(π/64)〕+(350−ys)・sin〔(t・(π/64)〕}×1/ 8 ・・・(5-1) これを(5b)式の形に変形して、 r/d1+c1= (xs−xch)・cos(a1・t+b1) +(ych−ys)・sin(a1・t+b1) ・・・(5-1b) で表わすと、a1=π/64,b1=0,c1=0,d1
1/8 である。
【0073】このように第1ハフ変換では、ρ−θ極座
標のθの単位をπ/64と粗いものとし、しかもρの単
位を256/32と粗いものとしているので、1つの特
徴点(xs,ys)をρ−θ極座標に変換する演算回数
(tの切換回数32すなわち(1)式の演算を行なう回数)
が極く少く、rデータビット数が少く、特徴点各点をρ
−θ極座標へ変換する速度が速く、かつ、度数カウント
処理速度が速い。
【0074】CPU11は、第1回のハフ変換である
「ハフ変換(HG1)」を終了すると、第1回の「最大
点探索」を実行する。
【0075】第1回の「最大点探索」 前述のデータテーブルHGn(ここではn=1)の各ア
ドレス(r,t)のデータ(度数)を順次に読出して、
読出したデータをレジスタGmのデータと比較して、読
出しデータの方が大きいと読出しデータをレジスタGm
に更新メモリし、かつこの時読出しデータのアドレス
(r,t)のrはレジスタrm1に、tはレジスタtm1
更新メモリする。データテーブルHGnのすべてのアド
レスに対してこのような処理を終了すると、レジスタG
mにはデータテーブルHGnにある度数の最大値が、レ
ジスタrm1,tm1には該最大値があるアドレス(rm1
m1)が格納されていることになる。
【0076】CPU11は、第1回の「最大点探索」を
終了すると、r−t極座標系で表現された前記アドレス
(rm1,tm1)を、x−y座標系画面に対応するρ−
θ極座標系アドレス(Rm1,Tm1)に変換する。ここで
は、 Rm1=rm1・(Re1−Rs1)/Rd1 ・・・(6) Tm1=tm1・(Te1−Ts1)/Td1 ・・・(7) を算出して、算出したRm1をレジスタRm1に、算出した
m1をレジスタTm1に格納する。
(Re1−Rs1)=256 Rd1=32 (Te1−Ts1)=π/2 Td1=32 であり、(6)式は、Rm1=8・rm1 を意味し、(7)式
は、Tm1=(π/64)・tm1を意味する。アドレス
(Rm1,Tm1)をx−y座標系への変換式に代入する
と、補正画像メモリの画像データを表示する画面上の、
ウィンドウ2(又はレ−ン検出ウィンド)の右半分の領
域にある、ある直線(低密度ハフ変換67により検出し
た直線:以下第1回検出の直線と称す)を示す式が得ら
れる。
【0077】次にCPU11は、イメージメモリ15a
のある領域に割り当てたデータテーブルHGn(r,
t)のデータをクリアする。次に第2回のハフ変換であ
る「ハフ変換(HG2)」の変換パラメータを設定す
る。前述の第1回のハフ変換ではθの範囲Ts〜Teを0
〜π/2、単位(Te−Ts)/Tdをπ/64とし、ρ
の範囲Rs〜Reは0〜256、単位Rd/(Re−Rs
を1/8としたが、ここでは、θおよびρの範囲を、前
記(Rm1,Tm1)を中心とする小範囲に設定し、θおよ
びρの単位も小さく設定する。具体的には、 Rs=8(rm1−2) Re=8(rm1+2) Rd=32 Ts=(π/64)(tm1−2) Te=(π/64)(tm1+2) Td=32 を設定する。なお、rm1=Rm1/8,tm1=Tm1/(π/
64)である。そして第2回の「ハフ変換(HG2)」を
行なう。
【0078】「ハフ変換(HG2)」この第2回の「ハ
フ変換(HG2)」の内容は、第1回の「ハフ変換(H
G1)」と同様であるが、演算式(前述の(5)式)の内容
が異なる。すなわち前記(5)式は具体的には次の(5-2)式
となる。
【0079】 r={(xs−255)・cos〔t・(π/512)+π(tm1−2)/64〕+ (350−ys)・sin〔t・(π/512)+π(tm1−2)/64〕−8(rm1−2)}×(1/1) ・・・(5-2) これを(5b)式の形に変形して、 r/d2+c2= (xs−xch)・cos(a2・t+b2) +(ych−ys)・sin(a2・t+b2) ・・・(5-2b) で表わすと、前述の第1回の変換で、 a1=(π/64), b1=0, c1=0, d1=1/8 に対して、 a2=(π/512),b2=π(tm1−2)/64,c2=8(rm1−2),d2=1 となる。
【0080】t=0〜31であるので、 θ= π(tm1−2)/64, θ= (π/512)+π(tm1−2)/64, θ= 2(π/512)+π(tm1−2)/64, θ= 3(π/512)+π(tm1−2)/64, ・ ・ ・ θ=31(π/512)+π(tm1−2)/64, と、(π/512)を最小単位として32点のθに対応するρ
値rが算出される。すなわちこの第2回のハフ変換で
は、ウィンドウ2の右半分の領域の特徴点各点が、θが
(π/512)を最小単位(tの1単位がπ/512)とし、かつ
θ=π(tm1−2)/64以上θ=31(π/512)+π(tm1−2)/
64以下の範囲の極座標平面上の位置(r,t)に変換さ
れる。ρの範囲は8(rm1−2)以上8(rm1+2)以
下で、ρの単位はこの範囲を32分割するものである。
すなわちrの一単位は32/32=(1/1)=1である。
したがって、第2回のハフ変換はウィンドウ2(又はレ
−ン検出ウィンドウ)の右半分の特徴点を、第1のハフ
変換よりも、狭い範囲かつ高い密度の極座標に変換する
ものである。特徴点の1つの極座標変換では、この第2
ハフ変換でもt=0〜31、すなわち32回の演算を行
なうので、第1ハフ変換と処理時間は同程度である。1
つの特徴点(xs,ys)をρ−θ極座標に変換する演
算回数が極く少く、rデータビット数が少く、特徴点各
点をρ−θ極座標へ変換する速度が速く、かつ、度数カ
ウント処理速度が速い。
【0081】CPU11は、第2回のハフ変換である
「ハフ変換(HG2)」を終了すると、第2回の「最大
点探索」を実行する。その内容は前述の、第1回の「最
大点探索」と同様である。この処理を終了すると、レジ
スタGmにはデータテーブルHGnにある度数の最大値
が、レジスタrm2,tm2には該最大値があるアドレス
(rm2,tm2)が格納されていることになる。
【0082】CPU11は、第2回の「最大点探索」を
終了すると、r−t極座標系で表現された前記アドレス
(rm2,tm2)を、x−y座標系画面に対応するρ−θ極
座標系アドレス(Rm2,Tm2)に変換する。演算式は、 Rm2=rm2・(Re2−Rs2)/Rd2+Rs2 ・・・(8) Tm2=tm2・(Te2−Ts2)/Td2+Ts2 ・・・(9) である。算出したRm2をレジスタRm2に、算出したTm2
をレジスタTm2に格納する。ここでは、 (Re2−Rs2)=32 Rd2=32 (Te2−Ts2)=π/16 Td2=32 であり、(8)式は、具体的には、 Rm2=rm2+8rm1−16 ・・・(8-1) であり、(9)式は、具体的には、 Tm2=tm2・(π/512)+(π/64)・(tm1−2) ・・・(9-1) を意味する。アドレス(Rm2,Tm2)をx−y座標系へ
の変換式に代入すると、補正画像メモリの画像データを
表示する画面上の、ウィンドウ2(又はレ−ン検出ウィ
ンドウ)の右半分の領域にある、ある直線(中密度ハフ
変換により検出した直線:以下第2回検出の直線と称
す)を示す式が得られる。
【0083】次にCPU11は、イメージメモリ15a
のある領域に割り当てたデータテーブルHGn(r,
t)のデータをクリアする。次に第3回のハフ変換であ
る「ハフ変換(HG3)」の変換パラメータを設定す
る。ここでは、θおよびρの範囲を、第2回の「ハフ変
換(HG2)」の場合よりも、前記(Rm2,Tm2)を中
心とする更に小さい範囲に設定し、θおよびρの単位も
小さく設定する。具体的には、 Rs=rm2+8rm1−18 Re=rm2+8rm1−14 Rd=32 Ts=(π/512)tm2+(π/64)tm1−9π/256 Te=(π/512)tm2+(π/64)tm1−7π/256 Td=32 を設定する。なお、rm2,tm2は、Rm2,Tm2に対して
上記(8-1)式,(9-1)式で規定されるものである。そして
第3回の「ハフ変換(HG3)」を行なう。
【0084】「ハフ変換(HG3)」この第3回の「ハ
フ変換(HG3)」の内容は、前述の第2回の「ハフ変
換(HG2)」と同様であるが、演算式(前述の(5)式)
の内容が異なる。前記(5)式は、この第3回の「ハフ変
換(HG3)」では、具体的には次の(5-3)式となる。
【0085】 r={(xs−255)・cos〔t・(π/4096)+(π/512)tm2+(π/64)tm1−9π/256〕 +(350−ys)・sin〔t・(π/4096)+(π/512)tm2+(π/64)tm1−9π/256〕 −rm2−8rm1+18}×8 ・・・(5−3) これを(5b)式の形に変形して、 r/d3+c3= (xs−xch)・cos(a3・t+b3) +(ych−ys)・sin(a3・t+b3) ・・・(5-3b) で表わすと、前述の第1回および第2回の変換で、 a1=(π/64), b1=0, c1=0, d1=1/8 a2=(π/512),b2=π(tm1−2)/64,c2=8(rm1−2),d2=1 に対して、 a3=(π/4096),b3=(π/512)tm2+(π/64)tm1−9π/256, c3=rm2+8rm1−18,d3=8 となる。
【0086】t=0〜31であるので、 θ= (π/512)tm2+(π/64)tm1−9π/256, θ= (π/4096)+(π/512)tm2+(π/64)tm1−9π/256, θ= 2(π/4096)+(π/512)tm2+(π/64)tm1−9π/256, θ= 3(π/4096)+(π/512)tm2+(π/64)tm1−9π/256, ・ ・ ・ θ=31(π/4096)+(π/512)tm2+(π/64)tm1−9π/256, と、(π/4096)を最小単位として32点のθ(t=0〜
31)に対応するρ値rが算出される。すなわちこの第
3回のハフ変換では、ウィンドウ2(又はレ−ン検出ウ
ィンドウ)の右半分の領域の特徴点各点が、θが(π/40
96)を最小単位(tの1単位がπ/4096)とし、かつθ=
(π/512)tm2+(π/64)tm1−9π/256以上 θ=31(π/4
096)+(π/512)tm2+(π/64)tm1−9π/256以下 の範
囲の極座標平面上の位置(r,t)に変換される。ρの
範囲はRs=rm2+8rm1−18 以上 Re=rm2+8rm1
14 以下で、ρの単位はこの範囲を32分割するもので
ある。すなわちrの一単位は4/32=(1/8)である。
したがって、第3回のハフ変換はウィンドウ2(又はレ
−ン検出ウィンドウ)の右半分の特徴点を、第2回のハ
フ変換よりも、更に狭い範囲かつ高い密度の極座標に変
換するものである。特徴点の1つの極座標変換では、こ
の第3回のハフ変換でもt=0〜31であるので、32
回の演算を行なうので、第2回のハフ変換と処理時間は
同程度である。
【0087】1つの特徴点(xs,ys)をρ−θ極座
標に変換する演算回数が極く少く、rデータビット数が
少く、特徴点各点をρ−θ極座標へ変換する速度が速
く、かつ、度数カウント処理速度が速い。
【0088】CPU11は、第3回のハフ変換である
「ハフ変換(HG3)」を終了すると、第3回の「最大
点探索」を実行する。その内容は前述の、第2回の「最
大点探索」と同様である。この処理を終了すると、レジ
スタGmにはデータテーブルHGnにある度数の最大値
が、レジスタrm3,tm3には該最大値があるアドレス
(rm3,tm3)が格納されていることになる。
【0089】CPU11は、第3回の「最大点探索」を
終了すると、r−t極座標系で表現された前記アドレス
(rm3,tm3)を、x−y座標系画面に対応するρ−θ
極座標系アドレス(Rm3,Tm3)に変換する。演算式
は、 Rm3=rm3・(Re3−Rs3)/Rd3+Rs3・・・(10) Tm3=Tm3・(Te3−Ts3)/Td3+Ts3・・・(11) である。算出したRm3をレジスタRm3に、算出したT
m3をレジスタTm3に格納する。ここでは、 (Re3−Rs3)=4 Rd3=32 (Te3−Ts3)=π/128 Td3=32 であり、(10)式は、具体的には、 Rm3=(1/8)・rm3+rm2+8rm1−18 ・・・(10-1) であり、(7)式は、具体的には、 Tm3=(π/128)・tm3+(π/512)tm2+(π/64)tm1−9π/256 ・・・(10-1) を意味する。アドレス(Rm3,Tm3)をx−y座標系へ
の変換式に代入すると、補正画像メモリの画像データを
表示する画面上の、ウィンドウ2(又はレ−ン検出ウィ
ンドウ)の右半分の領域にある、ある直線(高密度ハフ
変換により検出した直線:以下第3回検出の直線と称
す)を示す式が得られる。以上で「直線当てはめ」を終
了したことになる。
【0090】以上で、ウィンドウ2(又はレ−ン検出ウ
ィンドウ)の右半分領域にある画像中の直線(最も代表
的な直線)を表わす直線(第3回検出の直線)を得たこ
とになる。ウィンドウ2(又はレ−ン検出ウィンドウ)
は、自車レーンの左,右端の白線を検出するに適した領
域に設定されており、ウィンドウ2(又はレ−ン検出ウ
ィンドウ)の右半分領域に右端の白線像があると、第3
回検出の直線はこの白線を近似する直線である確率が高
い。したがって、上述の「直線当てはめ」は、ウィンド
ウ2(又はレ−ン検出ウィンドウ)の右半分領域での、
自車レーンの右端白線の検出である。
【0091】CPU11は、次に、第3回検出の直線を
表わすデータ(Rm3,Tm3)のRm3をレジスタRmRに、
m3をレジスタTmRに格納する。すなわち自車レーンの
右端白線を表わす直線を表わすデータをレジスタRmR
mRに格納する。
【0092】左白線検出 CPU11は次に、以上に説明したウィンドウ2(又は
レ−ン検出ウィンドウ)の右半分領域に関する処理と同
様な処理を、ウィンドウ2(又はレ−ン検出ウィンド
ウ)の左半分領域に施して、自車レーンの左端白線を表
わす直線を検出し、それを表わすデータをレジスタ
mL,TmLに格納する。以上で「左右白線検出」D3を
終了する。CPU11は次に、「無限遠点計算」D4を
行なう。
【0093】D4.「無限遠点計算」D4 ここではまず、「直線交点計算」で、レジスタRmR,T
mRのデータが表わす直線(自車走行レーン右端白線と推
定した)と、レジスタRmL,TmLのデータが表わす直線
(自車走行レーン左端白線と推定した)との交点(x
c,yc)を算出する。次に、算出した交点(xc,y
c)が、レジスタxv,yvのデ−タが表わす無限遠点
(xv,yv)を中心とする横60画素×縦60画素の
領域内に存在するかをチェックする。この領域内である
と、今回求めた交点(xc,yc)が無限遠点である信
頼性が高いので、無限遠点データ(xc,yc)を、今
回求めた交点(xc,yc)に1/8の重み付けをし、
これまでの無限遠点データ(xc,yc)に7/8の重
み付けをして加算した値に更新する。そして、無限遠点
追跡に失敗した回数をカウントするためのレジスタNve
をクリアする。
【0094】今回算出した交点(xc,yc)が、レジ
スタxv,yvのデ−タが表わす無限遠点(xv,y
v)を中心とする前記横60画素×縦60画素の領域内
にないときには、無限遠点追跡が失敗(今回の交点算出
がエラー又はこれまでの無限遠点データ(xv,yv)
がエラー)であるとして、レジスタNveの内容を1イン
クレメントし、レジスタNveの内容が5になったかをチ
ェックする。5になっていると、今回と過去4回の計5
回連続して交点算出がエラーであったことになり、これ
は現在保待している無限遠点データ(xc,yc)がエ
ラーであると見なして、無限遠点データ(xc,yc)
を今回算出した交点(xc,yc)に更新する。
【0095】 A4.「ρ,θ&無限遠点のフィルタリング」A4 ここでCPU11は、「左右白線検出」(D3)で検出
した、直線を表わすパラメ−タρ,θおよび「無限遠点
計算」(D4)で算出した直線交点座標(xv,yv)
をフィルタリングする。すなわち、 ρL=(3・ρL+RmL)/4 ・・・(11L) ρR=(3・ρR+RmR)/4 ・・・(11R) θL=(3・θL+TmL)/4 ・・・(12L) θR=(3・θR+TmR)/4 ・・・(12R) を算出して、レジスタρL,ρR,θL,θRに格納す
る。上記4式のカッコ内のρL,ρR,θL,θRはレ
ジスタρL,ρR,θL,θRの前回値、RmL等はレジ
スタRmL等のデ−タである。次に、算出したρL,ρR
で表わされる直線とθL,θRで表わされる直線の交点
(xv,yv)を算出し、xvをレジスタxvに、yv
をレジスタyvに書込む。
【0096】D5.「左右白線間隔(WL)計算」D5 CPU11は次に、自車レーンの右白線と左白線との間
隔(レーン幅)WLを算出する。これにおいては、カメ
ラ16bの視野中心線(図17の2点鎖線)が路面と交
わる位置(画面上では画面の中心点)L1での、画面上
の右端白線(ρR,θR)のX位置を路面上位置XRに
変換し、画面上の左端白線(ρL,θL)のX位置を路
面上位置XLに変換して、間隔WL=XR−XLを、次のよ
うに算出する: XR=(Sy×Hc×sinθR)/(Sx×cosθR) ・・・(13R) XL=(Sy×Hc×sinρR)/(Sx×cosρR) ・・・(13L) WL=XR−XL ・・・(14) なお、図17のSxおよびSyはそれぞれカメラ16b
の横方向および縦方向のスケールファクタであり、Hc
は、カメラ16bのレンズの中心の、路面からの高さで
ある。
【0097】CPU11は次に、算出した、路面上のレ
ーン間隔WLが正しい(自車レーン検出成功)かをチェッ
クする(D6)。すなわち、基準値WL3Dに対するWLの
偏差が、許容範囲DwL内であるかをチェックする。この
実施例では、日本の高速道路のレーン幅が3.5m±
0.2mであるので、基準値WL3D=3.5mに、許容
値DwL=0.3mに定めている。
【0098】基準値WL3Dに対するWLの偏差が許容範囲
DwL内にあると、自車レーン検出に成功しているとし
て、これを表わす情報「1」をレジスタFLに書込み
(61)、基準値WL3Dに対するWLの偏差が許容範囲D
wLを外れていると、自車レーン検出に失敗しているとし
て、これを表わす情報「0」をレジスタFLに書込む
(62)。以上で、「自車レーン検出」を終了したこと
になり、自車レーン検出が成功していると、レジスタF
Lのデータは「1」である。
【0099】「自車レーン検出」Dを終了するとCPU
11は、レジスタFLのデータをチェックしてそれが
「1」であると、「カ−ブ推定」G1を実行する。すな
わち、 R=(L1/2)・sinA ・・・(15) でカ−ブ半径Rを算出する。L1は、カメラ16bから
その視野中心線が水平路面と交わる点までの距離(L1
=15m)、Aはカメラ16bのステアリング角(図1
1のA5で算出する)である。次に、算出したカ−ブ半
径が2000m以下(カ−ブしている)かをチェックし
て(G2)、そうであると「特徴点選定」G3を実行す
る。
【0100】G3.「特徴点選定」G3 CPU11は、ウィンドウ2の領域内かつy軸方向で無
限遠点(yv)までの、レジスタρR,θRのデ−タρ
R,θRが表わす直線上の画素を中心とする、y方向±
設定半幅値(路面上で±80cm以内)、かつx方向±
5画素以内の特徴点を、右白線(ここでは道路がカ−ブ
しているので右曲線)を表わす特徴点として抽出する。
同様に、ウィンドウ2の領域内かつy軸方向で無限遠点
(yv)までの、レジスタρL,θLのデ−タρL,θ
Lが表わす直線上の画素を中心とする、y方向±設定半
幅値(路面上で±80cm以内)、かつx方向±5画素
以内の特徴点を、左白線(ここでは道路がカ−ブしてい
るので左曲線)を表わす特徴点として抽出する。
【0101】G4A.「座標変換」G4A 次にCPU11は、「特徴点選定」G3で抽出した特徴
点の座標を、路面の3次元座標系(X,Y,Z)に変換
する。Xは水平左右方向,Yは垂直上下方向,ZはX,
Yに直交する水平方向(車両前方向)である。カメラ1
6bの光学モデルの側面および平面を図18の(a)お
よび(b)に示す。なお、路面は水平な平面(Z軸に平
行)と見なす。図18の(a)において、路面上の点P
が上述の特徴点の1つypを意味するとする: tan(α−θ)=hc/Zp ・・・(16) tanθ=B/f ・・・(17) であり、これらの関係より、点PのZ軸座標値Zpは、 Zp=(f+B・tanα)・hc/(f・tanα−B) ・・・(18) となる。また、カメラ16bの下向き角度αは、 tanα=(yo−yv)/f ・・・(19) である。(19)式のtanαを算出し、これを(18)式に代
入してZpを算出することができる。ここで、yoはカ
メラ座標系(画面座標系)の視野中心位置,ypは特徴
点の位置,Bは、カメラ系のy座標上での、視野中心位
置に対する特徴点の位置差、yvは「無限遠点計算」D
4で計算した無限遠点のy座標である。
【0102】毎回、距離計算にtan関数を使用する
と、処理時間が長くなるため、近似計算を考える。関数
tan(β)と角度βとの関係は、βが0に近いときに
は、tanβ=βと近似できるため、(16)式,(17)式
は、 α−θ=hc/Zp ・・・(16a) θ=B/f=(yo−yp)/f ・・・(17a) α=(yo−yv)/f ・・・(19a) となり、(18)式は、 Zp=f・hc/(yo−yv) ・・・(18a) と近似できる。CPU11は、この(18a)式の演算で、
特徴点のカメラ系のy座標値を、道路系のZ軸座標値Z
pに変換する。
【0103】図18の(b)を参照すると、路面上の点
P(画面上の特徴点の対応位置)と結像面との関係は、 tanθ=Xp/Zp ・・・(20) tanθ=xp/f ・・・(21) となる。xpが、カメラ座標系での、特徴点のx座標値
である。これら(20),(21)式より、道路座標系の点Pの
X座標値Xpは、 Xp=Zp・xp/f ・・・(22) と算出できる。CPU11は、この(22)式で表わされる
演算で、Xpを算出する。なお、道路座標系(X,Y,
Z)で、特徴点のY座標値は、計算処理を単純化するた
めに、すべて0としている。
【0104】 G5A.「特徴点の回転補正」G5A レジスタA,B,Cには、後述の「カメラステアリング
角の算出」A5で算出した、カメラ16b,26b,3
6bのステアリング角度A,B,C(図5)が格納され
る。「特徴点の回転補正」G5でCPU11は、上述の
ように道路系座標に変換した特徴点位置デ−タ(Zp,
Xp)を、垂直軸Y(図18の(a))を中心にAだけ
回転した値に変換する。これは、カメラの視野中心線か
ら見た特徴点の方向を、車両の前後軸から見た特徴点の
方向に変換することを意味する。すなわち、この回転補
正前の特徴点位置デ−タ(Zp,Xp)は、Z軸がカメ
ラの視野中心線の水平面投影線と合致する道路座標系の
ものであるが、上述の回転補正は、特徴点位置デ−タ
(Zp,Xp)を、Z軸が車両前後軸の水平面投影線に
合致する道路座標系のものに変換する。
【0105】以上に説明した、図9の「補正画像メモリ
イニシャライズ」C6から図10を経て図11の「特徴
点の回転補正」G5までの上述のCPU11の処理と同
様な処理を、CPU21およびCPU31が、それぞれ
カメラ26bおよび36bで撮影して得た画像デ−タを
対象に、実行する。
【0106】 T3A.「補正デ−タの集積」T3A 次にCPU11は、上述のように回転補正を施した特徴
点位置デ−タ(右白線対応のものと左白線対応のもの、
計2グル−プ)を、メモリ15aの特定領域に割り当て
たレ−ン領域デ−タテ−ブルの、カメラ16b撮影デ−
タ領域(右白線用領域と左白線用領域)に書込む。
【0107】そして、CPU間シリアルデ−タ通信ライ
ンを介して、CPU21に、それが上述のように回転補
正を施した特徴点位置デ−タの転送を指示しかつDMA
装置14に、DMA転送装置24から送られて来るデ−
タの、レ−ン領域デ−タテ−ブルのカメラ26b撮影デ
−タ領域への書込みを指示する。CPU21はCPU1
1のこの指示に応じてDMA装置24に、回転補正を施
した特徴点位置デ−タを格納しているメモリ領域を指定
してデ−タ転送を指示する。DMA装置24はこの指示
に応答して該メモリ領域のデ−タを読出してDMAデ−
タラインに送出し、DMA装置14がそれをメモリ15
aに書込む。DMA24が送出終了を報知するとCPU
21は転送終了をCPU11に報知する。
【0108】この報知を受けるとCPU11は、CPU
間シリアルデ−タ通信ラインを介して、CPU31に、
それが上述のように回転補正を施した特徴点位置デ−タ
の転送を指示しかつDMA装置14に、DMA転送装置
24から送られて来るデ−タの、レ−ン領域デ−タテ−
ブルのカメラ36b撮影デ−タ領域への書込みを指示す
る。CPU31はCPU11のこの指示に応じてDMA
装置34に、回転補正を施した特徴点位置デ−タを格納
しているメモリ領域を指定してデ−タ転送を指示する。
DMA装置34はこの指示に応答して該メモリ領域のデ
−タを読出してDMAデ−タラインに送出し、DMA装
置14がそれをメモリ15aに書込む。DMA34が送
出終了を報知するとCPU21は転送終了をCPU11
に報知する。
【0109】なお、CPU21又はCPU31が、ステ
ップG2で推定カ−ブ半径Rが2000m超を判定して
いた場合には、ステップG3,G4A,G5Aを実行し
ていないので、該CPU21又はCPU31はCPU1
1にデ−タなしを報知する。この場合にはそこでCPU
11は、後述の「ρ,θの座標変換」G4Bに進む。 G6A.「曲線検出(最小自乗)」G6A CPU11は次に、上述のレ−ン領域デ−タテ−ブルの
右白線用領域群の特徴点位置デ−タ(カメラ16b,2
6b,36bそれぞれで得た特徴点の集合)に対して、
最小自乗法を適用して、それらの特徴点の分布が表わす
円弧(右白線の近似曲線)を算出する。すなわち、Z方
向で車両に近い側の円弧端のX,Z座標値,遠い側の円
弧端のX,Z座標値,円弧中心のX,Z座標値および半
径RRを算出する。これらの座標値はいずれも、この段
階では、車両の前後軸の水平面投影線をZ軸とする道路
座標系のものである。このとき、特徴点のサンプル数
(存在数)をカウントする。そして同様に、上述のレ−
ン領域デ−タテ−ブルの左白線用領域群の特徴点位置デ
−タ(カメラ16b,26b,36bそれぞれで得た特
徴点の集合)に対して、最小自乗法を適用して、それら
の特徴点の分布が表わす円弧(左白線の近似曲線)を算
出し、特徴点のサンプル数をカウントする。
【0110】G7.「曲線検出の成否判定」G7 CPU11は次に、特徴点サンプル数(2組)および半
径R(2組RR,RL)をチェックして、特徴点サンプル
数の1つでも所定値未満であると、又は、カ−ブ半径R
の一方が2000mを越えると、曲線検出不成立と見な
して、レ−ンを直線と決定(判定)する。
【0111】G9.「カ−ブRのフィルタリング」G9 特徴点サンプル数のいずれもが所定値以上でしかもカ−
ブ半径RR,RLのいずれもが2000m以下であると、
曲線検出成立と見なして、今回検出した半径RRR,RL
のそれぞれをフィルタリング処理して、半径レジスタR
R,RLに更新書込みする。すなわち、今回算出した半
径Rが150m以下のときには係数Kwを16に、15
0m超過300m以下のときには係数Kwを8に、30
0mを越えるときには係数Kwを4に定めて、 RR=〔(Kw−1)・RR+RR〕/Kw ・・・(23R) RL=〔(Kw−1)・RL+RL〕/Kw ・・・(23L) を算出し、算出したRRおよびRLをレジスタRR,R
Lに更新書込みする。(Kw−1)・RR,(Kw−1)
・RLのRRおよびRLは、それぞれレジスタRRおよ
びRLの、更新書込み前のデ−タ値である。Kwを上述
のように定めるので、算出したカ−ブ半径RR,RLが大
きいときには、フィルタリング処理値RR,RLに対す
る今回算出の半径RR,RLの寄与比(重み)が大きく、
算出値に対するフィルタリング処理値の応答性が高い。
算出したカ−ブ半径RR,RLが小さいときには、フィル
タリング処理値RR,RLに対する今回算出の半径
R,RLの寄与比(重み)が小さく、算出値に対するフ
ィルタリング処理値の応答性は低い。カ−ブ半径に対応
して定められるカメラ16b,26b,36bのステア
リング角A,B,Cは、カ−ブ半径に略反比例し、ホス
トMPU18が行なうカ−ブ対応の制御の重要度がカ−
ブ半径に略反比例し、カ−ブ検出又は算出の誤差が大き
い場合やそれらの信頼性が低い場合には、カ−ブ半径が
小さいときにカメラが走行レ−ンを見失なうとか、ホス
トMPU18のカ−ブ対応制御がエラ−となるとか、制
御の信頼性が低下する。これを改善するために、上述の
ように、フィルタリング処理値を、大きい算出値RR
Lに対しては高応答(Kw小)に、小さい算出値RR,R
Lに対しては低応答(Kw大)に定めた。
【0112】G4B.「ρ,θの座標変換」G4B 先の「カ−ブ推定」G1で推定したカ−ブ半径がRが2
000mを越える場合、先の「補正デ−タの集積」T3
Aで、CPU21又はCPU31が転送デ−タなしを報
知して来た場合、あるいは、「曲線検出の成否判定」G
7で曲線検出不成立と判定した場合、CPU11は、先
の「ρ,θ&無限遠点のフィルタリング」A4で得た走
行レ−ンの左右白線を近似する直線を規定するデ−タ
(ρL,θL),(ρR,θR)を、カメラの視野中心
線の水平面投影線をZ軸とする道路座標系(X,Y,
Z)の直線を規定するデ−タ(Road−ρL,Road−θ
L),(Road−ρR,Road−θR)に変換する。CPU
21およびCPU31も、先の「カ−ブ推定」G1で推
定したカ−ブ半径Rが2000mを越える場合、同様に
変換処理を行なう。
【0113】G5B.「回転補正」G5B CPU11は、上記変換で得たデ−タ(Road−ρL,Ro
ad−θL),(Road−ρR,Road−θR)に、カメラ1
6bのステアリング角A相当の回転補正を加えた、車両
前後軸を基準とした直線規定デ−タ(ρLR,θLR),
(ρRR,θRR)を算出する。すなわち、カメラの視野
中心線の水平面投影線をZ軸とする道路座標系の直線規
定デ−タ(Road−ρL,Road−θL),(Road−ρR,
Road−θR)を、車両の前後軸の水平面投影線をZ軸と
する道路座標系の直線規定デ−タ(ρLR,θLR),
(ρRR,θRR)に変換する。CPU21およびCPU
31も同様に変換処理を行なう。
【0114】T3B.「補正デ−タの集積」T3B CPU11は、CPU間シリアルデ−タ通信ラインを介
して、CPU21およびCPU31より、それらが変換
処理した直線規定デ−タ(ρLR,θLR),(ρRR
θRR)を得る。
【0115】なお、CPU21又はCPU31が、ステ
ップG2で推定カ−ブRが2000m以下を判定してい
た場合には、ステップG4B,G5Bを実行していない
ので、該CPU21又はCPU31は、CPU11に該
当デ−タなしを報知する。この場合にはCPU11は、
そのまま次の「直線検出」G6Bに進む。
【0116】G6B.「直線検出」G6B CPU11は、自己が算出してセ−ブしている直線規定
デ−タ(ρLR,θLR),(ρRR,θRR)ならびにC
PU21およびCPU31が転送して来た同様な直線規
定デ−タの3者(ただし、CPU11のものだけ(1者
のみ)の場合があり、またCPU21又はCPU31の
ものとCPU11のもの合せて2者の場合もある)が表
わす2グル−プの直線(右白線グル−プと左白線グル−
プ)の各グル−プを代表する(近似する)右代表直線お
よび左代表直線を規定するデ−タ(ρRRm,θRRm)お
よび(ρLRm,θLRm)を算出する。これは重み付け平
均で行ない、CPU11のものには8/16の重み付け
を、CPU21のものには5/16の重み付けを、CP
U31のものには3/16の重み付けをする。
【0117】G10.「左右レ−ンの推定」G10 CPU11は、「カ−ブRのフィルタリング」G9から
この「左右レ−ンの推定」G10に進んだときには、
「カ−ブRのフィルタリング」G9で得た半径レジスタ
RRのデ−タとレジスタRLのRLを比較して右曲りか
左曲りかを判定して、右曲りのときには、RR−WLを
右隣接レ−ンの右白線のカ−ブ半径として、RL+WL
を左隣接レ−ンの左白線のカ−ブ半径として算出し、左
曲りのときには、RR+WLを右隣接レ−ンの右白線の
カ−ブ半径として、RL−WLを左隣接レ−ンの左白線
のカ−ブ半径として算出する。WLは、レジスタWLの
デ−タであり、「左右白線間隔(WL)計算」D5(図
10)でCPU11が算出した自車走行レ−ン幅であ
る。
【0118】「直線検出」G6Bからこの「左右レ−ン
の推定」G10に進んだときには、「直線検出」G6B
で算出した、右代表直線(を規定するデ−タρRRm,θ
Rm)を右にWL分平行移動した直線を規定するデ−タ
(ρRRR,θRRR)ならびに左代表直線(を規定する
デ−タρLRm,θLRm)を左にWL分平行移動した直線
を規定するデ−タ(ρLLR,θLLR)を算出する。
【0119】G12.「車両検索エリアの設定」G12 曲線検出成立と判定している場合には、「左右レ−ンの
推定」G10で算出した、右隣接レ−ンの右白線に相当
する円弧および左隣接レ−ンの左白線に相当する円弧そ
れぞれの、図3(道路座標系であり車両の前後軸の水平
面投影線がZ軸)に示す10m,L1=15m,30
m,L2=45m,60m,L3=75mおよび90m
(いずれもZ軸値)の、それぞれの地点の位置デ−タ
(Z,X)を算出する。
【0120】曲線検出不成立と判定している場合には、
「左右レ−ンの推定」G10で算出した、右隣接レ−ン
の右白線に相当する直線および左隣接レ−ンの左白線に
相当する直線それぞれの、図3に示す10m,L1=1
5m,30m,L2=45m,60m,L3=75mお
よび90mの、それぞれの地点の位置デ−タ(Z,X)
を算出する。
【0121】これにより、カメラ16b(CPU11)
に撮影が割り当てられた領域(10〜30mの範囲)
に、道路領域(自車走行レ−ン+右隣接レ−ン+左隣接
レ−ン)を規定する6点(10m地点で左右各1点,1
5m地点で左右各1点および30m地点で左右各1点)
が定められたことになる。
【0122】同様に、カメラ26b(CPU21)に撮
影が割り当てられた領域(30〜60mの範囲)に、道
路領域(自車走行レ−ン+右隣接レ−ン+左隣接レ−
ン)を規定する6点(30m地点で左右各1点,45m
地点で左右各1点および60m地点で左右各1点)が定
められたことになる。
【0123】更に同様に、カメラ36b(CPU31)
に撮影が割り当てられた領域(60〜90mの範囲)
に、道路領域(自車走行レ−ン+右隣接レ−ン+左隣接
レ−ン)自車両走行レ−ン領域を規定する6点(60m
地点で左右各1点,75m地点で左右各1点および90
m地点で左右各1点)が定められたことになる。
【0124】 G12.「車両検索エリアの座標逆変換」G12 CPU11は、カメラ16b(CPU11)に撮影が割
り当てられた領域の上記6点を、カメラ16bのステア
リング角A対応の補正を施してから、すなわちカメラ1
6bの視野中心線の水平面投影線をZ軸とする道路座標
系の位置に変換してから、カメラ16bの撮影画面上の
座標値に逆変換し、同様に、カメラ26b(CPU2
1)および36b(CPU31)に撮影が割り当てられ
た領域の各6点を、各カメラの撮影画面上の座標値に逆
変換する。
【0125】T4.「車両検索エリア内特徴点の集積」
T4 ここでCPU11は、CPU間シリアルデ−タ通信ライ
ンを介して、CPU21に、カメラ26b(CPU2
1)に撮影が割り当てられた領域の上記6点の上記逆変
換した座標値を与えて、該6点で囲まれる領域の特徴点
の摘出,座標変換(カメラ視野中心線の水平面投影線を
Z軸とする道路座標系の位置への変換)および回転補正
(車両前後軸の水平面投影線をZ軸とする道路座標系の
位置への変換)を指示し、CPU31には、カメラ36
b(CPU31)に撮影が割り当てられた領域の上記6
点の逆変換した座標値を与えて、該6点で囲まれる領域
の特徴点の摘出,座標変換および回転補正を指示する。
そしてCPU11は、カメラ16b(CPU11)に撮
影が割り当てられた領域の上記6点の上記逆変換した座
標値に基づいて、該6点が囲む領域(折れ線で囲まれ
る)の、メモリ15a上の特徴点を摘出し、摘出した特
徴点に対して、上述の「座標変換」G4Aと同様な座標
変換処理を実行し、更に、上述の「特徴点の回転補正」
G5Aと同様な回転補正処理を実行する。このようにし
て得た特徴点デ−タは、メモリ15aの特定領域に割り
当てたレ−ン領域デ−タテ−ブルの、カメラ16b撮影
デ−タ領域に書込む。CPU21およびCPU31も同
様な処理を行なう。
【0126】次にCPU11は、CPU間シリアルデ−
タ通信ラインを介して、CPU21に、このように処理
した特徴点デ−タの、メモリ15aへのDMA転送を指
示する。このDMA転送が終了するとCPU11は、C
PU31に、上述のように処理した特徴点デ−タの、メ
モリ15aへのDMA転送を指示する。これらのDMA
転送の詳細は、前述の「補正デ−タの集積」T3Aの中
で説明したDMA転送と同様である。
【0127】H.「先行車両認識&測距」H メモリ15aの特定領域に割り当てたレ−ン領域デ−タ
テ−ブルの、カメラ16b撮影デ−タ領域,カメラ26
b撮影デ−タ領域およびカメラ36b撮影デ−タ領域の
全領域に渡って、特徴点の分布を検索する。すなわち、
車両前後軸の水平面投影線をZ軸とする道路座標系で、
自車走行レ−ン,右隣接レ−ンおよび左隣接レ−ンの3
レ−ン(道路面領域)に分布する特徴点の、X方向(左
右方向)分布数(Z軸投影ヒストグラム)を検索する。
これにおいては、道路面領域をZ方向で下(車両直近)
側から、左から右に水平走査(X方向走査)して、その
走査線上にある特徴点の数をカウントし、カウント値を
走査線No.(Z位置)対応でセ−ブする。このX走査
を道路面領域のZ方向で下(車両直近)から上側(遠
方)へ行なう。
【0128】道路面領域についてこれ(Z軸投影ヒスト
グラムの作成)を完了すると、特徴点の水平カウント値
(X方向分布数)が設定値以上のZ方向連続幅(車両に
近い始端Z位置と終端Z位置)を、Z方向で下(車両直
近)側から検索し、それがあると、そのZ方向連続幅の
Z始端からZ終端までの、道路面領域の特徴点を、X方
向で左端から垂直(Z方向)に走査して右端まで、特徴
点の垂直分布数を検索(X軸投影ヒストグラムを作成)
する。そしてこのX軸投影ヒストグラムから、特徴点の
垂直カウント値(Z方向分布数)が設定値以上のX方向
連続幅(始端X位置と終端X位置)を、X方向で左(左
隣接レ−ンの左白線相当位置)側から検索し、それがあ
ると、その中央点(始端X位置と終端X位置の中間点
(Xt)を算出し、垂直走査幅(前記水平カウント値が
設定値以上のZ方向連続幅の中間点(Zt)を算出し、
車両デ−タテ−ブルに、(Xt,Zt)を書込む。特徴
点の水平カウント値が設定値以上の第1のZ方向連続幅
について、左端から右端まで、上述の垂直カウント値が
設定値以上のx方向連続幅の検索を終了すると、Z軸投
影ヒストグラム上の、車両直近から遠方への次の、水平
カウント値が設定値以上の第2のZ方向連続幅を検索す
る。
【0129】このようにして、まずZ軸投影ヒストグラ
ムによりZ方向の、他車両が存在する可能性がある領域
を、自車両直近側から遠方側に(Z方向に)順次に検索
し、1つの該当領域を検索したときにその領域を、自車
両の左方側(左隣接レ−ン)から右方側に(X方向
に)、他車両が存在する可能性がある領域を検索し、そ
れがあると、検索した領域の中心デ−タ(Xt,Zt)
を、車両デ−タテ−ブルに書込む。これを道路面領域全
面について終了すると、カメラ16b,26bおよび3
6bで撮影した路面(自車走行レ−ン+推定の左隣接レ
−ン+推定の右隣性レ−ン)上の存在車両(正確には、
車両でない場合もある。例えば貨物車からの落下物)の
道路座標系上の位置(Xt,Zt)が車両デ−タテ−ブ
ルにあることになる。
【0130】次にCPU11は、車両デ−タテ−ブル上
の各位置(Xt,Zt)が、左隣接レ−ン(推定レ−
ン)上か,それと自車走行レ−ンとの間(両レ−ンにま
たがる)か、自車走行レ−ン上か、それと右隣接レ−ン
との間か、あるいは、右隣接レ−ン(推定レ−ン)上
か、識別し、この区分を表わすデ−タを、車両デ−タテ
−ブルの各位置情報(Xt,Zt)に付加する。以下に
おいては位置情報(Xt,Zt)+区分デ−タを、他車
両デ−タと称す。
【0131】K.「出力」K CPU11は、曲線検出成立の場合にはカ−ブ情報(カ
−ブ半径(RR+RL)/2)および車両デ−タテ−ブ
ルの他車両デ−タを、通信コントロ−ラ17を介してホ
ストMPU18に転送する。曲線検出不成立の場合に
は、直線情報(直線であることを表わすデ−タ)と車両
デ−タテ−ブルの他車両デ−タを転送する。
【0132】 A5.「カメラステアリング角の算出」A5 CPU11は、車両デ−タテ−ブルの、他車両デ−タの
中から、区分デ−タが自車走行レ−ン,それと左又は右
隣性レ−ンとの間である車両位置の、距離(Zt)が1
0〜30mの範囲内であって、しかも最短のものを検索
する。それがあると、該検索した車両位置(Xt,Z
t)にカメラ16bの視野中心線(の路面上投影線)を
向けるためのステアリング角Aを算出する。該当する車
両位置が無かったときには、自車走行レ−ンの、車両よ
りL1前方(Z位置=L1)の幅WLの中央(左,右白
線の中間点)にカメラ16bの視野中心線(の路面上投
影線)を向けるためのステアリング角Aを算出する。そ
して、レジスタAnのデ−タAnをレジスタAに書込み、
レジスタAnに、今回算出したステアリング角Aを書込
む。
【0133】次にCPU11は、車両デ−タテ−ブル
の、他車両デ−タの中から、区分デ−タが自車走行レ−
ン,それと左又は右隣性レ−ンとの間である車両位置
の、距離(Zt)が30〜60mの範囲内であって、し
かも最短のものを検索する。それがあると、該検索した
車両位置(Xt,Zt)にカメラ26bの視野中心線
(の路面上投影線)を向けるためのステアリング角Bを
算出する。該当する車両位置が無かったときには、自車
走行レ−ンの、車両よりL2前方(Z位置=L2)の幅
WLの中央(左,右白線の中間点)にカメラ26bの視
野中心線(の路面上投影線)を向けるためのステアリン
グ角Bを算出する。そして、レジスタBnのデ−タBnを
レジスタBに書込み、レジスタBnに、今回算出したス
テアリング角Bを書込む。
【0134】更にCPU11は、車両デ−タテ−ブル
の、他車両デ−タの中から、区分デ−タが自車走行レ−
ン,それと左又は右隣性レ−ンとの間である車両位置
の、距離(Zt)が60〜90mの範囲内であって、し
かも最短のものを検索する。それがあると、該検索した
車両位置(Xt,Zt)にカメラ36bの視野中心線
(の路面上投影線)を向けるためのステアリング角Cを
算出する。該当する車両位置が無かったときには、自車
走行レ−ンの、車両よりL3前方(Z位置=L3)の幅
WLの中央(左,右白線の中間点)にカメラ36bの視
野中心線(の路面上投影線)を向けるためのステアリン
グ角Cを算出する。そして、レジスタCnのデ−タCnを
レジスタCに書込み、レジスタCnに、今回算出したス
テアリング角Cを書込む。
【0135】 T5.「カメラステアリング角の送信」T5 CPU11は、CPU間シリアルデ−タ通信ライン介し
て、CPU21に、レジスタBnのデ−タBnを送信し、
CPU31にはレジスタCnのデ−タCnを送信する。
【0136】CPU11,CPU21およびCPU31
は、先に説明した「カメラステアリング出力」A1で、
デ−タAn,BnおよびCnを、それぞれステアリングコ
ントロ−ラ16e,26eおよび36eに与え、これら
のコントロ−ラが、カメラ16b,26bおよび36b
の視野中心線(の水平面投影線)が車両前後軸(の水平
面投影線)となす角がAn,BnおよびCnとなるように
カメラを回転駆動する。これにより、前方車両があると
きには、カメラは前方車両を追跡し、前方車両がないと
きには、自車走行レ−ンの幅中央を追跡することにな
る。
【0137】「カメラステアリング角の送信」T5を終
了するとCPU11は、図9の「画像入力を指令」T1
に進む。これ以降の説明は、ここまでの説明の繰返しに
なるので、省略する。
【図面の簡単な説明】
【図1】 本発明の一実施例の概要を示すブロック図で
ある。
【図2】 図1に示すテレビカメラ16bの撮影画面を
示す平面図である。
【図3】 図1に示すテレビカメラ16b,26bおよ
び36bの撮影範囲(車両前方方向)を示す平面図であ
る。
【図4】 (a)は図1に示すテレビカメラ16b,2
6bおよび36bの撮影範囲(左右方向)を示すグラ
フ、(b)は量子化誤差を示すグラフである。
【図5】 図1に示すテレビカメラ16b,26bおよ
び36bの撮影範囲およびステアリング角A,B,Cを
示す平面図である。
【図6】 図1に示す第1画像処理装置100の構成を
示すブロック図である。
【図7】 図1に示す第2画像処理装置200の構成を
示すブロック図である。
【図8】 図1に示す第3画像処理装置300の構成を
示すブロック図である。
【図9】 図6に示すCPU11の画像デ−タ処理およ
び先行車両検出の内容の一部を示すフロ−チャ−トであ
る。
【図10】 図6に示すCPU11の画像デ−タ処理お
よび先行車両検出の内容の一部を示すフロ−チャ−トで
ある。
【図11】 図6に示すCPU11の画像デ−タ処理お
よび先行車両検出の内容の残部を示すフロ−チャ−トで
ある。
【図12】 (a)は、図9に示す「特徴点検出ウィン
ドウ1セット」C1の内容を示すフロ−チャ−トであ
る。(b)は、図1に示すテレビカメラ16bの撮影画
面上の特徴点検出ウィンドウ1の領域を示す平面図であ
る。
【図13】 (a)は、図9に示す「ボンネット検出」
C3の内容を示すフロ−チャ−トである。(b)は、図
1に示すテレビカメラ16bの撮影画面上の特徴点の分
布と、「直線あてはめ」により検出する直線を示す平面
図である。
【図14】 (a)は、図1に示すテレビカメラ16b
の撮影画面上のロ−ル角およびパン移動量を示す平面
図、(b)は図9に示す「画像回転平行移動」C7で用
いる計算式を示す。
【図15】 図9に示す「補間」C8で注目画素の画像
デ−タを算出するために参照する画素を示す平面図であ
る。
【図16】 図10に示す「レ−ン検出ウィンドウ設
定」A3で設定されるテレビカメラ16bの撮影画面上
のレ−ン検出ウィンドウを示す平面図である。
【図17】 図1に示すテレビカメラ16b内のレンズ
および撮像素子と車両前方の先行車両との幾何学的関係
を示す側面概要図である。
【図18】 (a)は図1に示すテレビカメラ16b内
のレンズおよび撮像素子と車両前方の路面上における点
Pとの幾何学的関係を示す側面概要図、(b)は平面概
要図である。
【符号の説明】
11:CPU 12:ROM 13:RAM 15〜16:入出
力ポ−ト 15a:イメ−ジメモリ 16a:カメラ
コントロ−ラ 16b:テレビカメラ 16c:A/D
コンバ−タ 16d:回動機構 16e:ステア
リングコントロ−ラ 17:通信コントロ−ラ 18:ホストM
PU 特許出願人 アイシン精機株式会社 他1名代理人 弁
理士 杉 信 興
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 // G01V 8/10 G06F 15/62 380 G05D 1/02 G01V 9/04 S (72)発明者 曽 雌 邦 彦 愛知県刈谷市朝日町2丁目1番地 アイシ ン精機株式会社内 (72)発明者 里 中 久 志 愛知県豊田市トヨタ町1番地 トヨタ自動 車株式会社内

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】車両の前後軸に対して水平方向に第1角度
    をなす車両前方の、近距離の路面を含む広視野角の第1
    シ−ン、および、車両の前後軸に対して水平方向に第2
    角度をなす車両前方の、遠距離の路面を含む狭視野角の
    第2シ−ン、を撮影するための撮影装置;第1シ−ンお
    よび第2シ−ンの撮影画面の画像デ−タに基づき第1シ
    −ン上および第2シ−ン上の路面上の、前方物体を検出
    する路上物体検出手段;および、第1シ−ン上の検出し
    た前方物体の実質上全形が第1シ−ンに入る方向に前記
    第1角度を変更し、第2シ−ン上の検出した前方物体の
    実質上全形が第2シ−ンに入る方向に前記第2角度を変
    更する撮影方向制御手段;を備える車両前方の物体検出
    装置。
  2. 【請求項2】撮影方向制御手段は、第1シ−ン上の検出
    した前方物体の実質上中央を第1シ−ンの中央とする前
    記第1角度を定め、第2シ−ン上の検出した前方物体の
    実質上中央を第2シ−ンの中央とする前記第2角度を定
    める、請求項1記載の車両前方の物体検出装置。
  3. 【請求項3】前方物体は、走行レ−ンを区画する白線を
    含む、請求項1又は請求項2記載の車両前方の物体検出
    装置。
  4. 【請求項4】前方物体は、先行車両を含む、請求項1,
    請求項2又は請求項3記載の車両前方の物体検出装置。
  5. 【請求項5】車両の前後軸に対して水平方向に第1角度
    をなす車両前方の、近距離の路面を含む広視野角の第1
    シ−ン、および、車両の前後軸に対して水平方向に第2
    角度をなす車両前方の、遠距離の路面を含む狭視野角の
    第2シ−ン、を撮影するための撮影装置;第1シ−ンお
    よび第2シ−ンの撮影画面の画像デ−タに基づき第1シ
    −ン上および第2シ−ン上の路面上の、前記車両が存在
    する走行レ−ンを区画する白線を検出する路上走行レ−
    ン検出手段;第1シ−ンおよび第2シ−ン上の走行レ−
    ン上の先行車を検出する車両検出手段;および、 第1シ−ン上の検出した走行レ−ンの実質上中央を第1
    シ−ンの中央とする前記第1角度を定め、第2シ−ン上
    の検出した走行レ−ンの実質上中央を第2シ−ンの中央
    とする前記第2角度を定める撮影方向制御手段;を備え
    る車両前方の物体検出装置。
  6. 【請求項6】撮影装置は、車両前方の近距離の路面を撮
    影する広視野角の第1カメラおよび車両前後軸に対する
    水平方向の第1カメラの撮影方向を変更するために該カ
    メラを回転駆動する第1回転駆動装置、および、車両前
    方の遠距離の路面を撮影する狭視野角の第2カメラおよ
    び車両前後軸に対する水平方向の第2カメラの撮影方向
    を変更するために該カメラを回転駆動する第2回転駆動
    装置、を含む請求項1,請求項2,請求項3,請求項4
    又は請求項5記載の車両前方の物体検出装置。
  7. 【請求項7】撮影装置は、車両前方の近距離の路面を撮
    影する広視野角の第1カメラおよび車両前後軸に対する
    水平方向の第1カメラの撮影方向を変更するために該カ
    メラを回転駆動する第1回転駆動装置,車両前方の中距
    離の路面を撮影する中視野角の第2カメラおよび車両前
    後軸に対する水平方向の第2カメラの撮影方向を変更す
    るために該カメラを回転駆動する第2回転駆動装置、お
    よび、車両前方の遠距離の路面を撮影する狭視野角の第
    3カメラおよび車両前後軸に対する水平方向の第3カメ
    ラの撮影方向を変更するために該カメラを回転駆動する
    第3回転駆動装置、を含む請求項1,請求項2,請求項
    3,請求項4又は請求項5記載の車両前方の物体検出装
    置。
JP25222295A 1995-09-29 1995-09-29 車両前方の物体検出装置 Pending JPH0995194A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP25222295A JPH0995194A (ja) 1995-09-29 1995-09-29 車両前方の物体検出装置
US08/720,031 US5892855A (en) 1995-09-29 1996-09-27 Apparatus for detecting an object located ahead of a vehicle using plural cameras with different fields of view

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25222295A JPH0995194A (ja) 1995-09-29 1995-09-29 車両前方の物体検出装置

Publications (1)

Publication Number Publication Date
JPH0995194A true JPH0995194A (ja) 1997-04-08

Family

ID=17234219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25222295A Pending JPH0995194A (ja) 1995-09-29 1995-09-29 車両前方の物体検出装置

Country Status (2)

Country Link
US (1) US5892855A (ja)
JP (1) JPH0995194A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067727A (ja) * 2001-08-28 2003-03-07 Toyota Central Res & Dev Lab Inc 環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置
JP2006109385A (ja) * 2004-10-08 2006-04-20 Sony Corp 画像処理装置および方法、並びにプログラム
KR101405327B1 (ko) * 2012-04-20 2014-06-27 주식회사 에스엘 서봉 차량용 감지장치
KR101513103B1 (ko) * 2014-05-23 2015-04-17 국방과학연구소 멀티카메라 제어장치
JP2019161590A (ja) * 2018-03-16 2019-09-19 日立オートモティブシステムズ株式会社 観測システム
CN111123948A (zh) * 2019-12-31 2020-05-08 北京新能源汽车技术创新中心有限公司 车辆多维感知融合控制方法、系统及汽车
JP2021051736A (ja) * 2019-09-24 2021-04-01 ▲広▼州大学 車両走行経路計画方法、装置、システム、媒体及びデバイス
WO2022102399A1 (ja) * 2020-11-12 2022-05-19 株式会社日立製作所 障害物検知システム
JP2022095732A (ja) * 2017-11-10 2022-06-28 株式会社デンソー カメラモジュール
US11823450B2 (en) 2017-12-15 2023-11-21 Magic Leap, Inc. Enhanced pose determination for display device

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4084857B2 (ja) * 1996-08-30 2008-04-30 本田技研工業株式会社 自動車の前方監視システムにおけるイメージセンサの縦横比設定方法
JP2998791B2 (ja) * 1996-10-31 2000-01-11 日本電気株式会社 三次元構造推定装置
US6157737A (en) * 1997-04-04 2000-12-05 Minolta Co., Ltd. Method of and apparatus for image processing
EP0901105A1 (en) * 1997-08-05 1999-03-10 Canon Kabushiki Kaisha Image processing apparatus
JPH1166488A (ja) * 1997-08-21 1999-03-09 Honda Motor Co Ltd 白線認識装置
US7071971B2 (en) * 1997-08-25 2006-07-04 Elbex Video Ltd. Apparatus for identifying the scene location viewed via remotely operated television camera
US6002983A (en) * 1997-08-27 1999-12-14 Delphi Technologies, Inc. Angle extent estimation method for a motor vehicle object detection system
EP0903428A3 (de) * 1997-09-03 2000-07-19 Leybold Systems GmbH Einrichtung und Verfahren für die Bestimmung von Durchmessern eines Kristalls
JP3307335B2 (ja) * 1998-07-22 2002-07-24 日本電気株式会社 車両領域検出装置及び車両領域検定方法
KR100326674B1 (ko) * 1999-03-11 2002-03-02 이계안 차량의 차선이탈 경보 방법
US6690413B1 (en) * 1999-04-21 2004-02-10 Michael S. Moore Tractor-trailer viewing system
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP2001134772A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP4205825B2 (ja) * 1999-11-04 2009-01-07 本田技研工業株式会社 対象物認識装置
KR100325144B1 (ko) * 1999-12-03 2002-02-21 이계안 차량 전용 씨씨디 카메라 장치
DE19961313B4 (de) * 1999-12-18 2005-06-02 Bayerische Motoren Werke Ag Kameraeinrichtung für ein Fahrzeug
US6724916B1 (en) * 2000-01-05 2004-04-20 The United States Of America As Represented By The Secretary Of The Navy Composite hough transform for multitarget multisensor tracking
US6801244B2 (en) * 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
US7365779B2 (en) * 2000-09-14 2008-04-29 Fujitsu Ten Limited Image processing apparatus for selectively storing specific regions of an image
DE10051415C2 (de) * 2000-10-17 2003-10-09 Advanced Realtime Tracking Gmb Optisches Trackingsystem und -verfahren
KR100360272B1 (ko) * 2000-12-23 2002-11-09 엘지전자 주식회사 영상 단말기의 방위 표시 장치 및 방법
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
US7183944B2 (en) * 2001-06-12 2007-02-27 Koninklijke Philips Electronics N.V. Vehicle tracking and identification of emergency/law enforcement vehicles
JP2002374441A (ja) * 2001-06-13 2002-12-26 Mitsubishi Electric Corp 車窓内センサ
US7607509B2 (en) * 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
ES2391556T3 (es) 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
US7257236B2 (en) * 2002-05-22 2007-08-14 A4Vision Methods and systems for detecting and recognizing objects in a controlled wide area
DE10227221A1 (de) * 2002-06-18 2004-01-15 Daimlerchrysler Ag Verfahren zur Überwachung des Innen- bzw. Außenraums eines Fahrzeugs sowie ein Fahrzeug mit wenigstens einer Rundsichtkamera
US6725139B2 (en) * 2002-08-19 2004-04-20 Ford Global Technologies, Llc Steerable night vision system
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
KR100471268B1 (ko) * 2002-10-28 2005-03-10 현대자동차주식회사 차간거리 측정 방법
DE10258287A1 (de) 2002-12-13 2004-06-24 Robert Bosch Gmbh Verfahren und Einrichtung zur Objektdetekrierung
KR100482598B1 (ko) * 2003-04-21 2005-04-14 현대자동차주식회사 차간거리 제어방법 및 장치
US7440569B2 (en) * 2003-07-28 2008-10-21 Microsoft Corporation Tate pairing techniques for use with hyperelliptic curves
US7868913B2 (en) * 2003-10-10 2011-01-11 Nissan Motor Co., Ltd. Apparatus for converting images of vehicle surroundings
US7197388B2 (en) * 2003-11-06 2007-03-27 Ford Global Technologies, Llc Roll stability control system for an automotive vehicle using an external environmental sensing system
US7376250B2 (en) * 2004-01-05 2008-05-20 Honda Motor Co., Ltd. Apparatus, method and program for moving object detection
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
US7482916B2 (en) * 2004-03-15 2009-01-27 Anita Au Automatic signaling systems for vehicles
US7406182B2 (en) * 2004-03-31 2008-07-29 Fujifilm Corporation Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
US7289019B1 (en) * 2004-05-13 2007-10-30 Jon Kertes Vehicle avoidance collision system
US7565034B2 (en) * 2004-06-17 2009-07-21 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Determination of a navigation window in an optical navigation system
DE102004040143A1 (de) * 2004-08-19 2006-02-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerinformation
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
US7656432B2 (en) * 2005-03-30 2010-02-02 Hoya Corporation Method and apparatus for photographing moving object
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
US20070233361A1 (en) * 2006-03-30 2007-10-04 Ford Global Technologies, Llc Centralized Image Processing For An Automobile With A Navigation System
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP4325642B2 (ja) * 2006-05-31 2009-09-02 ソニー株式会社 移動体カメラシステム
JP4868964B2 (ja) * 2006-07-13 2012-02-01 三菱ふそうトラック・バス株式会社 走行状態判定装置
US8970363B2 (en) * 2006-09-14 2015-03-03 Crown Equipment Corporation Wrist/arm/hand mounted device for remotely controlling a materials handling vehicle
US9645968B2 (en) 2006-09-14 2017-05-09 Crown Equipment Corporation Multiple zone sensing for materials handling vehicles
US9207673B2 (en) * 2008-12-04 2015-12-08 Crown Equipment Corporation Finger-mounted apparatus for remotely controlling a materials handling vehicle
US9122276B2 (en) 2006-09-14 2015-09-01 Crown Equipment Corporation Wearable wireless remote control device for use with a materials handling vehicle
DE102007019531A1 (de) * 2007-04-25 2008-11-13 Continental Automotive Gmbh Fahrspurdetektion mit Kameras unterschiedlicher Brennweite
JP4937030B2 (ja) * 2007-07-24 2012-05-23 ルネサスエレクトロニクス株式会社 車両用画像処理装置
TWI334517B (en) * 2007-08-30 2010-12-11 Ind Tech Res Inst Method for predicting lane line and lane departure warning system using the same
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
JP4420100B2 (ja) * 2007-10-22 2010-02-24 株式会社デンソー 身体部位検出装置
US8737684B2 (en) * 2007-11-30 2014-05-27 Searidge Technologies Inc. Airport target tracking system
DE112009002024B4 (de) * 2008-09-03 2016-07-28 Mitsubishi Electric Corp. Fahrzeug-Bilderfassungssystem
DE102009050368A1 (de) 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
US9522817B2 (en) 2008-12-04 2016-12-20 Crown Equipment Corporation Sensor configuration for a materials handling vehicle
US8964032B2 (en) 2009-01-30 2015-02-24 Magna Electronics Inc. Rear illumination system
JP2010231415A (ja) * 2009-03-26 2010-10-14 Denso Corp 車両用監視装置
US20100303301A1 (en) * 2009-06-01 2010-12-02 Gregory Micheal Lamoureux Inter-Frame Motion Detection
US8731777B2 (en) 2009-08-18 2014-05-20 Crown Equipment Corporation Object tracking and steer maneuvers for materials handling vehicles
US8577551B2 (en) * 2009-08-18 2013-11-05 Crown Equipment Corporation Steer control maneuvers for materials handling vehicles
DE102009028774A1 (de) * 2009-08-21 2011-02-24 Robert Bosch Gmbh Verfahren und Steuergerät zum robusten Erkennen eines Fahrspurwechsels eines Fahrzeugs
JP5363920B2 (ja) * 2009-08-31 2013-12-11 富士重工業株式会社 車両用白線認識装置
JP5039765B2 (ja) * 2009-09-17 2012-10-03 日立オートモティブシステムズ株式会社 車両制御装置
WO2011085489A1 (en) 2010-01-13 2011-07-21 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera
US8575527B2 (en) * 2010-11-10 2013-11-05 Lockheed Martin Corporation Vehicle having side portholes and an array of fixed EO imaging sub-systems utilizing the portholes
KR20130005107A (ko) * 2011-07-05 2013-01-15 현대자동차주식회사 차간거리 자동 가변 시스템 및 그 방법
WO2013148675A1 (en) * 2012-03-26 2013-10-03 Robert Bosch Gmbh Multi-surface model-based tracking
WO2013186903A1 (ja) * 2012-06-14 2013-12-19 トヨタ自動車株式会社 車線区分標示検出装置、運転支援システム
KR102047280B1 (ko) * 2012-09-27 2019-11-21 한국전자통신연구원 카메라 방향 제어를 이용한 차선 추종 장치 및 방법
CN108388005A (zh) 2013-07-04 2018-08-10 核心光电有限公司 小型长焦透镜套件
CN108989649B (zh) 2013-08-01 2021-03-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
KR101751362B1 (ko) * 2013-08-23 2017-06-27 주식회사 만도 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
DE102013220303A1 (de) * 2013-10-08 2015-04-09 Ford Global Technologies, Llc Verfahren zum Ermitteln einer relativen Fahrbahnsteigung
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US9387851B2 (en) * 2014-08-28 2016-07-12 Robert Bosch Gmbh Adaptive electronic stability control
EP3885217A1 (en) * 2015-02-10 2021-09-29 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US9505413B2 (en) * 2015-03-20 2016-11-29 Harman International Industries, Incorporated Systems and methods for prioritized driver alerts
KR102143309B1 (ko) 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
WO2017154827A1 (ja) * 2016-03-11 2017-09-14 富士フイルム株式会社 撮像装置
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
KR102390572B1 (ko) 2016-07-07 2022-04-25 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
JP6936098B2 (ja) * 2017-09-29 2021-09-15 トヨタ自動車株式会社 対象物推定装置
US10406995B2 (en) * 2017-11-10 2019-09-10 Denso Corporation Camera module
US10627606B2 (en) * 2017-11-10 2020-04-21 Denso Corporation Camera module
JP7106855B2 (ja) * 2017-11-10 2022-07-27 株式会社デンソー カメラモジュール
US10232800B1 (en) * 2017-11-10 2019-03-19 Denson Corporation Camera module
US10661725B2 (en) * 2017-11-10 2020-05-26 Denso Corporation Camera module
US10534253B2 (en) * 2017-11-10 2020-01-14 Denso Corporation Camera module which includes lens units and configured to be mounted on inside of windshiled of vehicle
CN110140076B (zh) 2017-11-23 2021-05-21 核心光电有限公司 紧凑型折叠式摄影机结构
WO2019207464A2 (en) 2018-04-23 2019-10-31 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
EP3818405A4 (en) * 2018-07-04 2021-08-04 Corephotonics Ltd. CAMERAS WITH SCAN OPTICAL TRAIL FOLDING ELEMENTS FOR AUTOMOTIVE OR SURVEILLANCE APPLICATIONS
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
US10976747B2 (en) * 2018-10-29 2021-04-13 Here Global B.V. Method and apparatus for generating a representation of an environment
US11641121B2 (en) 2019-02-01 2023-05-02 Crown Equipment Corporation On-board charging station for a remote control device
CN115985080A (zh) 2019-02-01 2023-04-18 克朗设备公司 打开远程控制设备与物料搬运车辆上的控制器之间的无线连接的方法
US11011064B2 (en) * 2019-03-05 2021-05-18 Denso International America, Inc. System and method for vehicle platooning
US11254212B2 (en) * 2019-09-09 2022-02-22 Byton North America Corporation Shifting a road view based on a speed for a vehicle
CN112937580B (zh) * 2019-11-25 2023-04-14 宇通客车股份有限公司 一种目标路径跟踪方法与装置
CN117572549A (zh) 2020-05-30 2024-02-20 核心光电有限公司 用于获得超微距图像的系统和方法
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN111814721B (zh) * 2020-07-17 2022-05-24 电子科技大学 基于无人机高低空联合扫描的机场跑道异物检测分类方法
KR20230050383A (ko) 2020-08-11 2023-04-14 크라운 이큅먼트 코포레이션 원격 제어 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2535927B2 (ja) * 1987-07-09 1996-09-18 アイシン精機株式会社 車上距離検出装置
JPH01276214A (ja) * 1988-04-27 1989-11-06 Mazda Motor Corp 移動車の画像処理装置
US5172317A (en) * 1988-08-10 1992-12-15 Honda Giken Kogyo Kabushiki Kaisha Automatic travelling apparatus
JP2660727B2 (ja) * 1988-08-10 1997-10-08 本田技研工業株式会社 自動走行装置
US5461357A (en) * 1992-01-29 1995-10-24 Mazda Motor Corporation Obstacle detection device for vehicle
JPH06124345A (ja) * 1992-10-09 1994-05-06 Ibiden Co Ltd 移動物体追従装置
JPH06213660A (ja) * 1993-01-19 1994-08-05 Aisin Seiki Co Ltd 像の近似直線の検出方法
JP2887039B2 (ja) * 1993-03-26 1999-04-26 三菱電機株式会社 車両周辺監視装置
US5487116A (en) * 1993-05-25 1996-01-23 Matsushita Electric Industrial Co., Ltd. Vehicle recognition apparatus
JP3169483B2 (ja) * 1993-06-25 2001-05-28 富士通株式会社 道路環境認識装置
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067727A (ja) * 2001-08-28 2003-03-07 Toyota Central Res & Dev Lab Inc 環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置
JP2006109385A (ja) * 2004-10-08 2006-04-20 Sony Corp 画像処理装置および方法、並びにプログラム
JP4556114B2 (ja) * 2004-10-08 2010-10-06 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR101405327B1 (ko) * 2012-04-20 2014-06-27 주식회사 에스엘 서봉 차량용 감지장치
KR101513103B1 (ko) * 2014-05-23 2015-04-17 국방과학연구소 멀티카메라 제어장치
JP2022095732A (ja) * 2017-11-10 2022-06-28 株式会社デンソー カメラモジュール
US11823450B2 (en) 2017-12-15 2023-11-21 Magic Leap, Inc. Enhanced pose determination for display device
JP2019161590A (ja) * 2018-03-16 2019-09-19 日立オートモティブシステムズ株式会社 観測システム
JP2021051736A (ja) * 2019-09-24 2021-04-01 ▲広▼州大学 車両走行経路計画方法、装置、システム、媒体及びデバイス
CN111123948A (zh) * 2019-12-31 2020-05-08 北京新能源汽车技术创新中心有限公司 车辆多维感知融合控制方法、系统及汽车
CN111123948B (zh) * 2019-12-31 2023-04-28 北京国家新能源汽车技术创新中心有限公司 车辆多维感知融合控制方法、系统及汽车
JP2022077655A (ja) * 2020-11-12 2022-05-24 株式会社日立製作所 障害物検知システム
WO2022102399A1 (ja) * 2020-11-12 2022-05-19 株式会社日立製作所 障害物検知システム

Also Published As

Publication number Publication date
US5892855A (en) 1999-04-06

Similar Documents

Publication Publication Date Title
JPH0995194A (ja) 車両前方の物体検出装置
JP6522076B2 (ja) 側方の車両測位のための方法、装置、記憶媒体及びプログラム製品
JP3125550B2 (ja) 移動車の前方認識装置ならびに車輌用走行制御装置
JP6924251B2 (ja) 画像センサの外因性パラメータを較正するための方法及び装置
JP2002352225A (ja) 障害物検出装置及びその方法
JPH06213660A (ja) 像の近似直線の検出方法
JP2002197469A (ja) 車線検出装置
US20090102922A1 (en) On-vehicle image pickup apparatus
JP3588728B2 (ja) 車両前方の路上線検出装置
JP3268325B2 (ja) 車上認識対象画像デ−タの前処理方法
CN109895697B (zh) 一种行车辅助提示系统及方法
JP3192616B2 (ja) 局地的位置把握装置及びその方法
JP3416921B2 (ja) ステア型撮影装置
JP3395393B2 (ja) 車両周囲表示装置
JP3143814B2 (ja) 車両前方の物体の距離検出方法
JP3600314B2 (ja) 車両の外部環境認識装置
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP3612821B2 (ja) 車載用距離測定装置
JP7436331B2 (ja) 画像処理装置
WO2022153795A1 (ja) 信号処理装置、信号処理方法及び信号処理システム
JPS6270916A (ja) 自動走行作業車用の境界検出方法
JP4106163B2 (ja) 障害物検出装置及びその方法
JP4432730B2 (ja) 車両用道路標示検出装置
JP2662583B2 (ja) 車上距離検出装置
JP3146427B2 (ja) 車両前方の物体検出方法