JP3827368B2 - Inter-vehicle distance measuring device with compound eye camera - Google Patents

Inter-vehicle distance measuring device with compound eye camera Download PDF

Info

Publication number
JP3827368B2
JP3827368B2 JP20374896A JP20374896A JP3827368B2 JP 3827368 B2 JP3827368 B2 JP 3827368B2 JP 20374896 A JP20374896 A JP 20374896A JP 20374896 A JP20374896 A JP 20374896A JP 3827368 B2 JP3827368 B2 JP 3827368B2
Authority
JP
Japan
Prior art keywords
vehicle
distance
inter
unit
eye camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP20374896A
Other languages
Japanese (ja)
Other versions
JPH1047954A (en
Inventor
正博 馬場崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP20374896A priority Critical patent/JP3827368B2/en
Publication of JPH1047954A publication Critical patent/JPH1047954A/en
Application granted granted Critical
Publication of JP3827368B2 publication Critical patent/JP3827368B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は車両に搭載される複眼カメラを用いて前方車両との間の距離を計測する、複眼カメラによる前方車間距離計測装置に関し、特に三角測量で計測された距離の精度を向上することができる装置に関する。
【0002】
【従来の技術】
上記複眼カメラによる前方車間距離計測装置は画像処理技術を用いた運転支援システムの1つであり、特に低速走行時(渋滞時)に前方車両に追従走行するシステムに使用される。前方車両との距離は三角測量の原理を利用して求められる。
【0003】
図7は従来の複眼カメラによる前方車間距離計測装置に使用される距離演算を説明する図である。本図に示すように、自車に高さ方向に2台のカメラ1、2が設置され、カメラ1−1、1−2は前方車両を撮像する。以下の式により前方車両との車間距離〔m〕が求められる。
L=f・B/{F・(b−a)} 〔m〕 …(1)
ここに、
B:ベースライン(カメラ間距離)〔m〕
f:焦点距離〔m〕
F:解像度(縦方向)〔m/画素〕
a,b:2台のカメラの光軸方向から離れる画像での対象位置〔画素〕
H:下カメラの高さ〔m〕
であり、前方車両の高さh〔m〕は、以下の式により求められる。
【0004】

Figure 0003827368
このように上記式(1)及び(2)より算出される前方車両までの距離L及び高さhを用いて、前方車両に追従走行する制御を行っていた。
【0005】
【発明が解決しようとする課題】
しかしながら、上記複眼カメラによる前方車間距離計測装置を用いて前方車両までの距離を計測する場合、車両信号の影響等により複眼カメラの視差がずれることがあり、以下の式に示す計測誤差が発生する。
Figure 0003827368
ここに、
Ld=B/{F・(b−a+d)}
dは上記式(1)の分母の(b−a)の画素ずれである。
【0006】
車間距離Lが大きくなれば計測誤差ΔLも大きくなるため(例えば20m先で15〜20%の誤差)、前方車両に追従走行する制御に支障を発生するという問題がある。
したがって、本発明は、上記問題点に鑑み、車両の振動により視差に誤差が発生しても、前方車両との距離が精度良く計測できる複眼カメラによる前方車間距離計測装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明は、前記問題点を解決するために、複眼カメラにより前方車両との車間距離を計測する複眼カメラによる車間距離計測装置において、前記複眼カメラからの画像データをサンプリングするサンプリング部と、サンプリングされた画像データを基に処理された前方車両の認識データを用いて、三角測量の原理により前方車両と自車との車間距離を演算する三角測量・距離演算部と、前記複眼カメラで撮像された画像データにおける前方車両の高さの画素数と車間距離の関係データを予め格納し、前記認識データから車両の高さの画素数を演算し、この演算画素数を基に前記関係データから前方車両との車間距離を演算する画素・距離演算部と、前記三角測量・距離演算部及び前記画素・距離演算部により得られた車間距離を平均化処理して車間距離を決定する距離決定部とが具備される。この手段により、三角測量の視差ずれに起因する前方車両までの車間距離の計測誤差の縮小ができ、より安定した前方車両追従走行が可能になる。
【0008】
前記画素・距離演算部において、車両の大きさに依存して前方車両の高さの画素数と車間距離の複数の関係データを予め格納し前記認識データから車両の高さの画素数を演算し、この演算画素数を基に前記複数の関係データから車両の大きさに依存して前方車両との複数の車間距離を演算し、前記距離決定部において、前記三角測量・距離演算部より得られた車間距離と前記画素・距離演算部により得られた複数の車間距離とを相互比較し最も近いものを平均化処理して車間距離を決定する。この手段により、種々の車両に対応することが可能になる。
【0009】
前記距離決定部における比較を所定速度以下の場合に行う。この手段により、低速走行時に頻繁な前方車両の入れ換えが行われるので計測誤差の縮小が可能になり、この低速走行を越えると前方車両の追跡制御の要求がなくなるので比較処理を低減することが可能になる。
前記距離決定部において前記三角測量・距離演算部により得られた車間距離の平均値と前記画素・距離演算部により得られた車間距離の平均値とを平均化処理して車間距離を決定する。この手段により統計的精度が向上する。
【0010】
前記距離決定部において得られた車間距離が所定値よりも大きい場合には前記サンプリング部のサンプリング周期を長くする。この手段により、車間距離が大きく、前方車両の追従走行制御の必要が無い場合には処理量を少なくする。
前記距離決定部において前記三角測量・距離演算部により得られた車間距離と前記画素・距離演算部により得られた車間距離との差が所定値以上の場合には前記サンプリング部のサンプリング周期を短くする。この手段により、双方の車間距離の差が大きい場合には、前記三角測量・距離演算部により得られる車間距離の計測誤差が大きいおそれがあるので、更新時間を短くして、計測誤差の小さいものを得ることを可能にする。
【0011】
前記サンプリング部において車速センサより入力する速度が所定値以下の場合にはサンプリング周期を短くする。この手段により、速度が小さい場合には車間距離が小さく、前方車両の追従走行制御の必要が高いため、車間距離の更新期間を短くし、逆に速度が大きい場合には更新期間を長くして処理量を少なくする。
前記サンプリング部において車速センサより入力する速度が大きくなるにつれたサンプリング周期を連続的に長くする。この手段により、速度に応じて連続的に更新期間を短くでき、処理量との適切な調整が可能になる。
【0012】
【発明の実施の形態】
以下本発明の実施の形態について図面を参照して説明する。
図1は本発明の実施の形態に係る複眼カメラによる前方車間距離計測装置の概略を示す図である。サンプリング部2は、カメラ1−1、1−2から、例えば横方向に640画素、縦方向に480画素の撮像データを一定周期でサンプリングし、サンプリング周期を変更することも可能である。サンプリング部2によりサンプリングされたデータを入力する前方車両認識部3は、以下のようにして、前方車両を認識する。まず入力する撮像データに時系列平滑化を行う。すなわち、前方車両の認識において、車両のエッジを特徴として認識することが有効である。しかし、路側物体からの影のエッジが混在する場合、これを誤認識するおそれがある。そこで、路側物体からの影の影響を少なくために、画像を時間方向に平滑化する処理を行う。具体的には時間方向に複数の画像を比較し、画面上での変化(動き)の大きい物体の映像をぼかすことによって、画面上での変化の少ない部分のみを抽出する処理が行われる。この処理を行うことにより、路側物体の影のように画面上を高速で移動する物体の形はぼけてエッジは抽出されなくなる。反面、追従している前方車両など画面上での移動が少ない物体については、変化なく出力されるので、エッジは抽出することができる。次に、前方車両の後部にはエッジが数多く集まって現れる。そこで、このエッジの分布状態を、以下のように求めて、前方車両の認識特徴とする。
【0013】
まず、一定の長さ以上の水平方向に長いエッジが現れる位置を探索する。ここで、車両以外のエッジと区別するために、水平エッジは上下に隣接して複数現れた場合にのみ前方車両の最下部とする。
図2は前方車両認識の処理における探索領域の設定、投影分布を説明する図である。本図に示すように、抽出した前方車両の最下部の位置から、ある大きさの前方車両の探索領域を設定する。次に、探索領域内のエッジの投影を求める。投影は、垂直方向の直線に沿った画素の濃度を逐次たし合わせ、その合計を求めたものであり、本図に示すように、前方車両の幅方向の投影値の分布が得られる。投影結果として、前方車両の幅が求められる。同様にして、水平方向の直線に沿った誤差の濃度を逐次たし合わせ、その合計を求めて、前方車両の高さ方向の投影値の分布が得られる。投影結果として、前方車両の高さが求められる。
【0014】
このようにして前方車両認識部3で得られた認識データを用いて、三角測量・距離演算部4は、さらに三角測量による上記式(1)及び(2)を用いて、前方車両の距離を演算する。
画素・距離演算部5は、前方車両認識部3で認識データの入力を基に、前方車両が遠くなるほど車両の高さが小さくなる現象を利用して、前方の車両の高さを求めて、前方車両との距離を演算する。
【0015】
図3は画素・距離演算部5の演算処理を説明する図である。
画素・距離演算部5は、本図に示すように、車両の高さの画素数を演算する車両高さ画素数演算部51と、車両の高さに相当する画素数と前方車両までの距離の関係データを格納する画素数と距離との関係データ格納部52と、車両高さ画素数演算部51からの画素数により画素数と距離との関係データ格納部52から読み出されたデータを内挿、外挿処理して前方車両までの位置を演算する距離演算部53とを具備する。
【0016】
図4は画素数と距離との関係データ格納部52におけるデータを説明する図である。本図に示すように、例えば、普通自動車の場合、画像内での車両の高さに相当する画像数は、
5m前方:440画素
10m前方:220画素
20m前方:110画素
である。
【0017】
上記のように、予め所持している前方車両の距離と高さのデータを各形状の自動車、例えば、1ボックス、軽自動車、大型トラック、小型トラックなどに対して用意する。
次に、距離決定部6は三角測量・距離演算部4からの距離データAと画素・距離演算部5の距離演算部53からの距離データBとを比較する。この際、画素・距離演算部5の画素数と距離との関係データ格納部52に格納される車両の大きさを変えて比較を行い、上記比較における差が最小になる車両の大きさの関係データが選択される。この比較後の車両の大きさの関係データの選択は低速走行中において、特に、初期状態、例えば速度5km/h以下の場合に、行われるようにしてもよい。この速度以下では、前方の車両が入れ代わることが少ないためである。
【0018】
図5は距離決定部6における距離決定の処理を説明するフローチャートである。
ステップS1において、
t=tn(n=0,1,…,k…)
かを判断する。ここに、tn はサンプリング時間である。
【0019】
ステップS2において、サンプリング時間毎に、三角測量・距離演算部4からの距離データAn 及び画素・距離演算部5からの距離データBn をサンプリングして、その平均(An +Bn )/2を前方車両との車間距離として求める。具体的には、以下のようになる。
t0 t1 … tk …
A0 A1 … Ak …
B0 B1 … Bk …
(A0+B0)/2 (A1 +B1 )/2 … (Ak +Bk )/2…
異なる方法により求められた車間距離をサンプリング周期毎に平均化したので、視差ずれによる計測誤差が縮小でき、より安定した前方車両追従走行が可能になる。
【0020】
図6は距離決定部6の他の処理を説明するフローチャートである。
ステップS10において、
前回の(Ak +Bk )/2≧所定値
を判断する。この判断がYESならステップS11に進む。
ステップS11において、サンプリング部2のデータのサンプリング周期を短い周期tn にする。
【0021】
ステップS12において、ステップS10の判断がNOならば、サンプリング部2のデータのサンプリング周期を上記の2倍の長い周期t2nにする。
ステップS13において、次の平均値、
(Ak+1+Bk+1)/2
を求める。
【0022】
なお、上記ステップS12における上記サンプリング周期をさらに数倍にしてもよい。このようにして、車間距離が大きい場合には、追跡走行制御の要請がないので、処理量を低減できる。
さらに、三角測量・距離演算部4の3回のサンプリング、例えば前サンプリング、現サンプリング、後サンプリングの平均値と画素・距離演算部5の3回のサンプリング、例えば前サンプリング、現サンプリング、後サンプリングの平均値とを平均化して、その値を前方車両と車間距離としてもよい。具体的には以下の通りである。
【0023】
前方車間距離={(An-1 +An +An+1 )/3+(Bn-1 +Bn +Bn+1 )/3}/2
また、三角測量・距離演算部4の数回のサンプリングの平均値と画素・距離演算部5の数回のサンプリングの平均値とを平均化して、その値を前方車両との車間距離としてもよい。計測誤差を統計的に小さくするためである。
【0024】
この場合にも、車間距離が大きい場合にはサンプリング周期を長くしてもよい。処理量を低減するためである。
さらに、三角測量・距離演算部4による距離データAと画素・距離演算部5による距離データBの差が別の所定値以上の場合にはサンプリング部2のサンプリング周期を短くし、この別の所定値未満の場合にはサンプリング部2のサンプリング周期(上記短いサンプリング周期の数倍)を長くする。このようにして、差が大きい場合には三角測量・距離演算部4の距離データAに視差による大きな計測誤差が発生しているおそれがあるので、サンプリング周期を短くして次の小さい計測誤差の距離データAで更新が可能なようにする。差が小さい場合には視差による計測誤差が小さいので、サンプリング周期を長くして処理量を小さくする。
【0025】
さらに、複眼カメラによる前方車間距離計測装置において、サンプリング部2に車速センサからの車速信号が入力され、この入力車速信号に対してある設定速度を閾値として、サンプリング部2のサンプリング周期が2段に切り換えられる。具体的例としては、
10km/h未満:短いサンプリング周期
10km/h以上:長いサンプリング周期(短いサンプリング周期の数倍)
である。小さい速度では車間距離が小さく、その変化が大きいため、大きな計測誤差を早く更新する必要があるためである。大きい速度ではこの逆のため、大きな計測誤差に対して更新の必要がないので、処理量を小さくできる。
【0026】
さらに、車速センサの速度信号に応じてサンプリング部2のサンプリング周期を多段に切り換えるようにしてもよい。切り換えが滑らかになり、追跡走行の制御と処理量の適正化を図ることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る複眼カメラによる前方車間距離計測装置の概略を示す図である。
【図2】前方車両認識の処理における探索領域の設定、投影分布を説明する図である。
【図3】画素・距離演算部5の演算処理を説明する図である。
【図4】画素数と距離との関係データ格納部52におけるデータを説明する図である。
【図5】距離決定部6における距離決定の処理を説明するフローチャートである。
【図6】距離決定部6の他の処理を説明するフローチャートである。
【図7】従来の複眼カメラによる前方車間距離計測装置に使用される距離演算を説明する図である。
【符号の説明】
1−1、1−2…カメラ
2…サンプリング部
3…前方車両認識部
4…三角測量・距離演算部
5…画素・距離演算部
6…距離決定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a front inter-vehicle distance measuring device using a compound eye camera that measures a distance from a preceding vehicle using a compound eye camera mounted on the vehicle, and in particular, can improve the accuracy of the distance measured by triangulation. Relates to the device.
[0002]
[Prior art]
The inter-vehicle distance measuring apparatus using the compound eye camera is one of driving support systems using an image processing technique, and is used particularly in a system that travels following a preceding vehicle during low-speed traveling (in a traffic jam). The distance to the vehicle ahead is determined using the principle of triangulation.
[0003]
FIG. 7 is a diagram for explaining a distance calculation used in a front inter-vehicle distance measuring apparatus using a conventional compound eye camera. As shown in the figure, two cameras 1 and 2 are installed in the height direction of the host vehicle, and the cameras 1-1 and 1-2 capture the vehicle ahead. An inter-vehicle distance [m] from the preceding vehicle is obtained by the following equation.
L = f · B / {F · (ba)} [m] (1)
here,
B: Baseline (distance between cameras) [m]
f: Focal length [m]
F: Resolution (vertical direction) [m / pixel]
a, b: target position [pixel] in an image away from the optical axis direction of two cameras
H: Height of lower camera [m]
The height h [m] of the preceding vehicle is obtained by the following equation.
[0004]
Figure 0003827368
In this way, the control of traveling following the preceding vehicle is performed using the distance L and the height h to the preceding vehicle calculated from the above formulas (1) and (2).
[0005]
[Problems to be solved by the invention]
However, when measuring the distance to the preceding vehicle using the front inter-vehicle distance measuring device using the compound eye camera, the parallax of the compound eye camera may be shifted due to the influence of the vehicle signal or the like, and the measurement error shown in the following formula occurs. .
Figure 0003827368
here,
Ld = B / {F · (b−a + d)}
d is the pixel shift of (ba) in the denominator of the above formula (1).
[0006]
If the inter-vehicle distance L is increased, the measurement error ΔL is also increased (for example, an error of 15 to 20% after 20 m), which causes a problem in the control of following the preceding vehicle.
Therefore, in view of the above problems, an object of the present invention is to provide a front inter-vehicle distance measuring device using a compound eye camera that can accurately measure a distance from a preceding vehicle even if an error occurs in parallax due to vehicle vibration. To do.
[0007]
[Means for Solving the Problems]
In order to solve the above-described problem, the present invention provides an inter-vehicle distance measurement apparatus using a compound eye camera that measures an inter-vehicle distance from a preceding vehicle using a compound eye camera, and a sampling unit that samples image data from the compound eye camera. Using the recognition data of the preceding vehicle processed based on the obtained image data, the triangulation / distance calculation unit for calculating the inter-vehicle distance between the preceding vehicle and the own vehicle according to the principle of triangulation, and the compound eye camera The relationship data between the number of pixels of the preceding vehicle height and the inter-vehicle distance in the image data is stored in advance, the number of pixels of the vehicle height is calculated from the recognition data, and the preceding vehicle is calculated from the relationship data based on the calculated number of pixels. a pixel-distance calculating unit that calculates an inter-vehicle distance, the inter-vehicle distance obtained by the triangulation-distance calculating unit and the pixel-distance calculator by averaging the A distance determination unit which determines the inter-vehicle distance is provided. By this means, the measurement error of the inter-vehicle distance to the preceding vehicle due to the triangulation parallax deviation can be reduced, and more stable forward vehicle following traveling can be achieved.
[0008]
In the pixel / distance calculation unit, a plurality of relational data of the number of pixels of the vehicle ahead and the distance between the vehicles depending on the size of the vehicle is stored in advance, and the number of pixels of the vehicle height is calculated from the recognition data. Based on the calculated pixel number, a plurality of inter-vehicle distances with a preceding vehicle are calculated from the plurality of relational data depending on the size of the vehicle, and the distance determination unit obtains the distance from the triangulation / distance calculation unit. The inter-vehicle distance and the plurality of inter-vehicle distances obtained by the pixel / distance calculation unit are compared with each other, and the nearest one is averaged to determine the inter-vehicle distance. This means makes it possible to deal with various vehicles.
[0009]
The comparison in the distance determination unit is performed when the speed is a predetermined speed or less. This means that the vehicle ahead is frequently replaced during low-speed travel, so that the measurement error can be reduced. If this low-speed travel is exceeded, there is no need for tracking control of the front vehicle, so the comparison process can be reduced. become.
Determining the inter-vehicle distance by averaging the average values of the obtained inter-vehicle distance by the average value and the pixel-distance calculator vehicle distance obtained by the triangulation-distance calculator in the distance determining unit. This measure improves statistical accuracy.
[0010]
When the inter-vehicle distance obtained in the distance determining unit is larger than a predetermined value, the sampling period of the sampling unit is lengthened. By this means, the amount of processing is reduced when the inter-vehicle distance is large and there is no need for follow-up traveling control of the preceding vehicle.
If the difference between the intervehicular distance obtained by the triangulation / distance computation unit and the intervehicular distance obtained by the pixel / distance computation unit is greater than or equal to a predetermined value in the distance determination unit, the sampling period of the sampling unit is shortened. To do. By this means, when the difference between the two distances between the two is large, there is a possibility that the measurement error of the distance between the vehicles obtained by the triangulation / distance calculation unit may be large, so the update time is shortened and the measurement error is small. Makes it possible to get
[0011]
When the speed input from the vehicle speed sensor in the sampling unit is below a predetermined value, the sampling period is shortened. This means that when the speed is low, the inter-vehicle distance is small, and the need for follow-up control of the preceding vehicle is high, so the inter-vehicle distance update period is shortened, and conversely when the speed is high, the update period is lengthened. Reduce the amount of processing.
In the sampling unit, the sampling cycle is continuously increased as the speed input from the vehicle speed sensor increases. By this means, the update period can be shortened continuously according to the speed, and appropriate adjustment with the processing amount becomes possible.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram showing an outline of a front inter-vehicle distance measuring device using a compound eye camera according to an embodiment of the present invention. The sampling unit 2 can sample the imaging data of 640 pixels in the horizontal direction and 480 pixels in the vertical direction from the cameras 1-1 and 1-2, for example, and change the sampling cycle. The forward vehicle recognition unit 3 that inputs the data sampled by the sampling unit 2 recognizes the forward vehicle as follows. First, time-series smoothing is performed on input image data. In other words, it is effective to recognize the edge of the vehicle as a feature in recognition of the preceding vehicle. However, when shadow edges from roadside objects are mixed, there is a risk of erroneous recognition. Therefore, in order to reduce the influence of the shadow from the roadside object, processing for smoothing the image in the time direction is performed. Specifically, a process of extracting only a portion having a small change on the screen is performed by comparing a plurality of images in the time direction and blurring an image of an object having a large change (motion) on the screen. By performing this process, the shape of the object moving at high speed on the screen, such as the shadow of the roadside object, is blurred, and the edge is not extracted. On the other hand, an object with little movement on the screen, such as a following vehicle that is following, is output without change, so that an edge can be extracted. Next, a large number of edges appear at the rear of the preceding vehicle. Therefore, the edge distribution state is obtained as follows and used as the recognition feature of the preceding vehicle.
[0013]
First, a position where a long edge appears in the horizontal direction with a certain length or more is searched. Here, in order to distinguish from the edges other than the vehicle, the horizontal edge is defined as the lowermost part of the preceding vehicle only when a plurality of horizontal edges appear adjacent to each other in the vertical direction.
FIG. 2 is a diagram for explaining search area setting and projection distribution in the forward vehicle recognition process. As shown in the figure, a search area for a forward vehicle of a certain size is set from the extracted position of the lowest part of the forward vehicle. Next, the projection of the edge in the search area is obtained. In the projection, the density of pixels along a straight line in the vertical direction is sequentially added and the total is obtained. As shown in this figure, a distribution of projection values in the width direction of the preceding vehicle is obtained. As a projection result, the width of the vehicle ahead is determined. Similarly, the error density along the horizontal straight line is successively added up and the sum is obtained to obtain the distribution of projection values in the height direction of the vehicle ahead. As a projection result, the height of the vehicle ahead is required.
[0014]
Using the recognition data obtained by the forward vehicle recognition unit 3 in this way, the triangulation / distance calculation unit 4 further calculates the distance of the forward vehicle using the above formulas (1) and (2) by triangulation. Calculate.
Based on the input of recognition data by the forward vehicle recognition unit 3, the pixel / distance calculation unit 5 obtains the height of the vehicle ahead by using the phenomenon that the vehicle height decreases as the vehicle ahead becomes farther. Calculate the distance to the vehicle ahead.
[0015]
FIG. 3 is a diagram for explaining calculation processing of the pixel / distance calculation unit 5.
As shown in the figure, the pixel / distance calculation unit 5 includes a vehicle height pixel number calculation unit 51 for calculating the number of pixels of the vehicle height, and the number of pixels corresponding to the vehicle height and the distance to the preceding vehicle. The data read from the relationship data storage unit 52 between the number of pixels and the distance and the relationship data storage unit 52 between the number of pixels and the distance from the vehicle height pixel number calculation unit 51 are stored. And a distance calculation unit 53 that calculates the position up to the vehicle ahead by performing interpolation and extrapolation processing.
[0016]
FIG. 4 is a diagram for explaining data in the relationship data storage unit 52 between the number of pixels and the distance. As shown in this figure, for example, in the case of a normal car, the number of images corresponding to the height of the vehicle in the image is
5m forward: 440 pixels 10m forward: 220 pixels 20m forward: 110 pixels.
[0017]
As described above, data on the distance and height of the forward vehicle possessed in advance is prepared for each shape of the automobile, for example, one box, light automobile, large truck, small truck, and the like.
Next, the distance determination unit 6 compares the distance data A from the triangulation / distance calculation unit 4 with the distance data B from the distance calculation unit 53 of the pixel / distance calculation unit 5. At this time, the relationship between the number of pixels of the pixel / distance calculation unit 5 and the distance is compared by changing the size of the vehicle stored in the data storage unit 52, and the relationship of the size of the vehicle that minimizes the difference in the comparison. Data is selected. The selection of the relationship data of the size of the vehicle after the comparison may be performed during low speed traveling, particularly in an initial state, for example, at a speed of 5 km / h or less. This is because the vehicle ahead does not change easily below this speed.
[0018]
FIG. 5 is a flowchart for explaining distance determination processing in the distance determination unit 6.
In step S1,
t = tn (n = 0,1, ..., k ...)
Determine whether. Here, tn is a sampling time.
[0019]
In step S2, the distance data An from the triangulation / distance calculation unit 4 and the distance data Bn from the pixel / distance calculation unit 5 are sampled at every sampling time, and the average (An + Bn) / 2 is sampled with the preceding vehicle. Calculate as the distance between cars. Specifically, it is as follows.
t0 t1 ... tk ...
A0 A1 ... Ak ...
B0 B1 ... Bk ...
(A0 + B0) / 2 (A1 + B1) / 2 ... (Ak + Bk) / 2 ...
Since the inter-vehicle distances obtained by different methods are averaged for each sampling period, the measurement error due to the parallax deviation can be reduced, and more stable forward vehicle following traveling becomes possible.
[0020]
FIG. 6 is a flowchart for explaining another process of the distance determination unit 6.
In step S10
The previous (Ak + Bk) / 2 ≧ predetermined value is determined. If this judgment is YES, it will progress to Step S11.
In step S11, the data sampling period of the sampling unit 2 is set to a short period tn.
[0021]
If the determination in step S10 is NO in step S12, the sampling period of the data in the sampling unit 2 is set to a period t2n that is twice as long as the above.
In step S13, the following average value:
(Ak + 1 + Bk + 1) / 2
Ask for.
[0022]
Note that the sampling period in step S12 may be further increased several times. In this way, when the inter-vehicle distance is large, there is no request for tracking travel control, so the processing amount can be reduced.
Further, the triangulation / distance calculation unit 4 performs three samplings, for example, the average of pre-sampling, current sampling, and post-sampling, and the pixel / distance calculation unit 5 performs three samplings, such as pre-sampling, current sampling, and post-sampling. The average value may be averaged and the value may be used as the distance between the vehicle ahead and the vehicle. Specifically, it is as follows.
[0023]
Front inter-vehicle distance = {(An-1 + An + An + 1) / 3 + (Bn-1 + Bn + Bn + 1) / 3} / 2
Alternatively, the average value of several samplings of the triangulation / distance calculation unit 4 and the average value of several samplings of the pixel / distance calculation unit 5 may be averaged, and the value may be used as the inter-vehicle distance with the preceding vehicle. . This is to statistically reduce the measurement error.
[0024]
Also in this case, the sampling cycle may be lengthened when the inter-vehicle distance is large. This is to reduce the processing amount.
Further, when the difference between the distance data A by the triangulation / distance calculation unit 4 and the distance data B by the pixel / distance calculation unit 5 is greater than or equal to another predetermined value, the sampling cycle of the sampling unit 2 is shortened, If it is less than the value, the sampling period of the sampling unit 2 (several times the short sampling period) is lengthened. In this way, when the difference is large, there is a possibility that a large measurement error due to parallax has occurred in the distance data A of the triangulation / distance calculation unit 4. Update is possible with the distance data A. When the difference is small, the measurement error due to the parallax is small. Therefore, the sampling period is lengthened to reduce the processing amount.
[0025]
Further, in the front inter-vehicle distance measuring device using a compound eye camera, a vehicle speed signal from a vehicle speed sensor is input to the sampling unit 2, and a sampling speed of the sampling unit 2 is set to two stages with a certain set speed as a threshold for this input vehicle speed signal Can be switched. As a concrete example,
Less than 10 km / h: Short sampling period 10 km / h or more: Long sampling period (several times shorter sampling period)
It is. This is because a large measurement error needs to be updated quickly because the inter-vehicle distance is small and the change is large at a low speed. At high speeds, the opposite is the case, so there is no need to update large measurement errors, so the amount of processing can be reduced.
[0026]
Furthermore, the sampling period of the sampling unit 2 may be switched in multiple stages according to the speed signal of the vehicle speed sensor. The switching becomes smooth, and the tracking travel control and the processing amount can be optimized.
[Brief description of the drawings]
FIG. 1 is a diagram showing an outline of a front inter-vehicle distance measuring apparatus using a compound eye camera according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining setting of a search area and projection distribution in a process for recognizing a forward vehicle.
FIG. 3 is a diagram illustrating a calculation process of a pixel / distance calculation unit 5;
FIG. 4 is a diagram illustrating data in a relationship data storage unit 52 between the number of pixels and a distance.
FIG. 5 is a flowchart illustrating distance determination processing in a distance determination unit 6;
FIG. 6 is a flowchart for explaining another process of the distance determination unit 6;
FIG. 7 is a diagram for explaining a distance calculation used in a front inter-vehicle distance measuring device using a conventional compound eye camera.
[Explanation of symbols]
1-1, 1-2 ... Camera 2 ... Sampling unit 3 ... Front vehicle recognition unit 4 ... Triangulation / distance calculation unit 5 ... Pixel / distance calculation unit 6 ... Distance determination unit

Claims (7)

複眼カメラにより前方車両との車間距離を計測する複眼カメラによる車間距離計測装置において、
前記複眼カメラからの画像データをサンプリングするサンプリング部と、
サンプリングされた画像データを基に処理された前方車両の認識データを用いて、三角測量の原理により前方車両と自車との車間距離を演算する三角測量・距離演算部と、
前記複眼カメラで撮像された画像データにおける前方車両の高さの画素数と車間距離の関係データを予め格納し、前記認識データから車両の高さの画素数を演算し、この演算画素数を基に前記関係データから前方車両との車間距離を演算する画素・距離演算部と、
前記三角測量・距離演算部及び前記画素・距離演算部により得られた車間距離を平均化処理して車間距離を決定する距離決定部と、を具備し、
前記画素・距離演算部において、車両の大きさに依存して前方車両の高さの画素数と車間距離の複数の関係データを予め格納し前記認識データから車両の高さの画素数を演算し、この演算画素数を基に前記複数の関係データから車両の大きさに依存して前方車両との複数の車間距離を演算し、
前記距離決定部において、前記三角測量・距離演算部より得られた車間距離と前記画素・距離演算部により得られた複数の車間距離とを相互比較し最も近いものを平均化処理して車間距離を決定することを特徴とする、複眼カメラによる前方車間距離計測装置。
In the inter-vehicle distance measuring device with a compound eye camera that measures the inter-vehicle distance with the preceding vehicle by a compound eye camera,
A sampling unit for sampling image data from the compound eye camera;
A triangulation / distance calculation unit that calculates the distance between the vehicle ahead and the vehicle according to the principle of triangulation using the recognition data of the preceding vehicle processed based on the sampled image data;
The relationship between the number of pixels of the height of the vehicle ahead and the inter-vehicle distance in the image data captured by the compound eye camera is stored in advance, and the number of pixels of the vehicle height is calculated from the recognition data. A pixel / distance calculation unit for calculating an inter-vehicle distance from the preceding vehicle from the relationship data;
A distance determination unit that determines an inter-vehicle distance by averaging the inter-vehicle distance obtained by the triangulation / distance calculation unit and the pixel / distance calculation unit ;
In the pixel / distance calculation unit, a plurality of relational data of the number of pixels of the vehicle ahead and the distance between the vehicles depending on the size of the vehicle is stored in advance, and the number of pixels of the vehicle height is calculated from the recognition data. , Calculating a plurality of inter-vehicle distances with a preceding vehicle depending on the size of the vehicle from the plurality of relational data based on the number of calculation pixels,
In the distance determination unit, the inter-vehicle distance obtained by the triangulation / distance calculation unit and the plurality of inter-vehicle distances obtained by the pixel / distance calculation unit are compared with each other, and the closest one is averaged to obtain an inter-vehicle distance. A front inter-vehicle distance measuring device using a compound eye camera, characterized in that
前記距離決定部における比較を所定速度以下の場合に行うことを特徴とする、請求項1に記載の複眼カメラによる前方車間距離計測装置。The front inter-vehicle distance measuring apparatus using a compound eye camera according to claim 1, wherein the comparison in the distance determining unit is performed when the speed is equal to or lower than a predetermined speed. 前記距離決定部において前記三角測量・距離演算部により得られた車間距離の平均値と前記画素・距離演算部により得られた車間距離の平均値とを平均化処理して車間距離を決定することを特徴とする、請求項1に記載の複眼カメラによる前方車間距離計測装置。In the distance determination unit, an average value of the inter-vehicle distance obtained by the triangulation / distance calculation unit and an average value of the inter-vehicle distance obtained by the pixel / distance calculation unit are averaged to determine the inter-vehicle distance. The front inter-vehicle distance measuring device using a compound eye camera according to claim 1. 前記距離決定部において得られた車間距離が所定値よりも大きい場合には前記サンプリング部のサンプリング周期を長くすることを特徴とする、請求項1又は3に記載の複眼カメラによる前方車間距離計測装置。4. The front inter-vehicle distance measuring device using a compound eye camera according to claim 1, wherein when the inter-vehicle distance obtained in the distance determining unit is larger than a predetermined value, the sampling period of the sampling unit is lengthened. . 前記距離決定部において前記三角測量・距離演算部により得られた車間距離と前記画素・距離演算部により得られた車間距離との差が所定値以上の場合には前記サンプリング部のサンプリング周期を短くすることを特徴とする、請求項1に記載の複眼カメラによる前方車間距離計測装置。If the difference between the intervehicular distance obtained by the triangulation / distance computation unit and the intervehicular distance obtained by the pixel / distance computation unit is greater than or equal to a predetermined value in the distance determination unit, the sampling period of the sampling unit is shortened. The front inter-vehicle distance measuring apparatus using a compound eye camera according to claim 1. 前記サンプリング部において車速センサより入力する速度が所定値以下の場合にはサンプリング周期を短くすることを特徴とする、請求項1に記載の複眼カメラによる前方車間距離計測装置。The front inter-vehicle distance measuring apparatus according to claim 1, wherein the sampling period is shortened when a speed input from the vehicle speed sensor is equal to or less than a predetermined value in the sampling unit. 前記サンプリング部において車速センサより入力する速度が小さくなるにつれてサンプリング周期を連続的に小さくすることを特徴とする、請求項1に記載の複眼カメラによる前方車間距離計測装置。The front inter-vehicle distance measuring apparatus according to claim 1, wherein the sampling period is continuously reduced as the speed input from the vehicle speed sensor is reduced in the sampling unit.
JP20374896A 1996-08-01 1996-08-01 Inter-vehicle distance measuring device with compound eye camera Expired - Fee Related JP3827368B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20374896A JP3827368B2 (en) 1996-08-01 1996-08-01 Inter-vehicle distance measuring device with compound eye camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20374896A JP3827368B2 (en) 1996-08-01 1996-08-01 Inter-vehicle distance measuring device with compound eye camera

Publications (2)

Publication Number Publication Date
JPH1047954A JPH1047954A (en) 1998-02-20
JP3827368B2 true JP3827368B2 (en) 2006-09-27

Family

ID=16479199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20374896A Expired - Fee Related JP3827368B2 (en) 1996-08-01 1996-08-01 Inter-vehicle distance measuring device with compound eye camera

Country Status (1)

Country Link
JP (1) JP3827368B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082192A (en) * 2013-10-22 2015-04-27 富士通株式会社 Image processing apparatus, image processing method, and image processing program

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4229486B2 (en) * 1998-05-06 2009-02-25 富士通テン株式会社 Image ranging device
JP3779280B2 (en) 2003-03-28 2006-05-24 富士通株式会社 Collision prediction device
CN101523212B (en) 2006-10-12 2015-04-01 皇家飞利浦电子股份有限公司 Fast biosensor with reagent layer
JP4733756B2 (en) * 2009-04-28 2011-07-27 本田技研工業株式会社 Vehicle periphery monitoring device
JP5663411B2 (en) * 2011-06-14 2015-02-04 本田技研工業株式会社 Ranging device
JP2013186042A (en) * 2012-03-09 2013-09-19 Hitachi Automotive Systems Ltd Distance calculating device and distance calculating method
JP5587930B2 (en) 2012-03-09 2014-09-10 日立オートモティブシステムズ株式会社 Distance calculation device and distance calculation method
JP6201379B2 (en) * 2013-04-02 2017-09-27 富士通株式会社 Position calculation system, position calculation program, and position calculation method
JP2014238409A (en) * 2014-07-23 2014-12-18 日立オートモティブシステムズ株式会社 Distance calculation device and distance calculation method
JP6138861B2 (en) * 2015-06-25 2017-05-31 日立オートモティブシステムズ株式会社 Distance calculation device
WO2019043876A1 (en) * 2017-08-31 2019-03-07 株式会社オプティム Image analysis distance information provision system, method, and program
WO2019043878A1 (en) * 2017-08-31 2019-03-07 株式会社オプティム Image analysis distance information provision system, method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082192A (en) * 2013-10-22 2015-04-27 富士通株式会社 Image processing apparatus, image processing method, and image processing program

Also Published As

Publication number Publication date
JPH1047954A (en) 1998-02-20

Similar Documents

Publication Publication Date Title
US11348266B2 (en) Estimating distance to an object using a sequence of images recorded by a monocular camera
JP3827368B2 (en) Inter-vehicle distance measuring device with compound eye camera
US20040057599A1 (en) Image processing apparatus and method
JP2002531886A (en) Method and apparatus for determining future course area of vehicle
JP2000357233A (en) Body recognition device
JP6941070B2 (en) Stereo camera device
JP3961584B2 (en) Lane marking detector
JP2005329779A (en) Method and device for recognizing obstacle
JP2023514163A (en) A method and apparatus for calibrating the camera pitch of an automobile, and a method for continuously learning a vanishing point estimation model therefor
WO2014061446A1 (en) Stereo image processing device and stereo image processing method
JPH05157558A (en) Vehicular gap detector
JP3879874B2 (en) Logistics measuring device
JP5055691B2 (en) Front object detection apparatus and front object detection method
JP5903901B2 (en) Vehicle position calculation device
JP7468633B2 (en) State estimation method, state estimation device, and program
JPH07198349A (en) Measurement device of road shape and self attitude of vehicle
CN110809228B (en) Speed measurement method, device, equipment and computer readable storage medium
JPH1151644A (en) Distance measuring instrument for vehicle
JP3452075B2 (en) Vehicle distance detection device
KR100715036B1 (en) Method and apparatus for collecting traffic information
WO2022244063A1 (en) Determination device, determination method, and determination program
JP4107972B2 (en) Object recognition apparatus and recognition method
JP2827615B2 (en) Travel control device for vehicles
JP3822275B2 (en) Image sensor for moving body and travel control device for moving body
JPH04184603A (en) Guide line detecting device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060314

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060704

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees