JPH09264954A - Image processing system using radar - Google Patents
Image processing system using radarInfo
- Publication number
- JPH09264954A JPH09264954A JP8076859A JP7685996A JPH09264954A JP H09264954 A JPH09264954 A JP H09264954A JP 8076859 A JP8076859 A JP 8076859A JP 7685996 A JP7685996 A JP 7685996A JP H09264954 A JPH09264954 A JP H09264954A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- vehicle
- radar
- processing system
- white line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、自動車の走行支援
を行うための画像処理システムに関し、特に画像処理量
を低減しかつ認識距離の精度を向上するためにレーダを
用いた画像処理システムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing system for supporting driving of an automobile, and more particularly to an image processing system using a radar for reducing the amount of image processing and improving the accuracy of recognition distance.
【０００２】[0002]
【従来の技術】まず、自動車の運転は、人間（ドライ
バ）の視覚に頼る部分が大きく、運転中に受け取る全情
報の９０％以上を視覚情報が占めているといわれてい
る。このため、運転支援・予防安全システムの開発にお
いて、視覚情報を得る手段は大変重要で、その１つとし
て画像処理が期待されている。この画像処理では、車両
にカメラを搭載し、カメラの画像情報を基に、自車の走
行レーンを示す白線と、自車の走行レーン内の近距離側
の前方車両が認識される。画像処理のアルゴリズムで
は、エッジ抽出処理、白線認識処理、前方車両認識処理
が行われる。2. Description of the Related Art First of all, it is said that when driving a car, the visual information of a human (driver) largely depends on 90% or more of all information received during driving. Therefore, a means for obtaining visual information is very important in the development of a driving support / preventive safety system, and image processing is expected as one of them. In this image processing, a camera is mounted on the vehicle, and the white line indicating the traveling lane of the own vehicle and the front vehicle on the short distance side in the traveling lane of the own vehicle are recognized based on the image information of the camera. In the image processing algorithm, edge extraction processing, white line recognition processing, and forward vehicle recognition processing are performed.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、上記画
像処理システムでは、画像処理が大であり、その負担が
大きいという問題がある。さらに、大きな処理量を必要
とする割りには、白線・前方車両の認識及び識別精度が
悪いという問題がある。したがって、本発明は、上記問
題点に鑑み、画像処理量を低減でき、かつ白線・前方車
両の認識及び識別精度を向上できる画像処理システムを
提供することを目的とする。However, the above-mentioned image processing system has a problem that the image processing is large and the load is heavy. Further, although it requires a large amount of processing, there is a problem that the recognition and identification accuracy of the white line / front vehicle is poor. Therefore, in view of the above problems, it is an object of the present invention to provide an image processing system capable of reducing the amount of image processing and improving the recognition and identification accuracy of a white line / front vehicle.
【０００４】[0004]
【課題を解決するための手段】本発明は、前記問題点を
解決するために、次の構成を有するレーダを用いた画像
処理システムを提供する。すなわち、車両に搭載され、
前方を撮像する画像入力手段を有し、画像を処理する画
像処理システムにおいて、前方の道路の白線、車両を認
識する画像処理装置と、前方の物体との距離を検出する
レーダシステムと、前記レーダシステムにより検出され
た物体までの距離を基に、前記画像処理装置で処理すべ
き画面のうち白線、車両の認識領域を分けて限定する領
域限定部とを備える。この手段により、画面の処理を限
定して行うので画像処理量が低減できかつ、レーダシス
テムで認識した対象物の識別精度が高くなる。In order to solve the above problems, the present invention provides an image processing system using a radar having the following configuration. That is, it is installed in the vehicle,
An image processing system for processing an image, comprising image input means for imaging the front, an image processing device for recognizing a white line on a road ahead, a vehicle, a radar system for detecting a distance between an object in front, and the radar. The image processing apparatus further includes a white line on the screen to be processed by the image processing apparatus and an area limiting unit for limiting the recognition area of the vehicle based on the distance to the object detected by the system. By this means, the processing of the screen is limited so that the amount of image processing can be reduced and the identification accuracy of the object recognized by the radar system can be improved.
【０００５】具体的には、前記画像処理装置は、領域限
定部により限定された領域中のエッジ量の分布から前方
車両を認識することにより、処理量が大幅に低減でき
る。前記画像処理装置は、エッジの分布の他にエッジの
左右対称を加えて前方車両を認識する。これにより、前
方車両の認識精度が高くなる。前記画像処理装置は、認
識された白線と前方車両との関係により、前記レーダシ
ステムにより検出された物体が自車走行レーンにあるか
否かを判断して支援動作を行う。このことにより、処理
量が低くなっても支援動作の精度が高く維持することが
できる。Specifically, the image processing apparatus can significantly reduce the processing amount by recognizing the vehicle in front from the distribution of the edge amount in the region limited by the region limiting section. The image processing apparatus recognizes a forward vehicle by adding left-right symmetry to edges in addition to edge distribution. As a result, the accuracy of recognizing the preceding vehicle is increased. The image processing apparatus determines whether or not the object detected by the radar system is in the vehicle traveling lane based on the relationship between the recognized white line and the vehicle in front, and performs the assisting operation. As a result, the precision of the assisting operation can be kept high even if the processing amount becomes low.
【０００６】前記レーダシステムにこれをステアするス
テア装置を設け、前記レーダシステムに狭いビーム角を
使用する場合に、前記画像処理装置の処理結果を基に、
前記レーダシステムをステアする。すなわち、カーブな
どで前記ステア装置は、自車走行レーン内に前方車両が
認識できない場合に、所定のステア角でレーダシステム
をステアする。この手段により、レーダシステムのビー
ム角を絞って狭くしても、レーダシステムをステアする
ので、前方車両の認識が可能になる。When a steer device for steering the radar system is provided and a narrow beam angle is used in the radar system, based on the processing result of the image processing device,
Steer the radar system. That is, the steerer steers the radar system at a predetermined steer angle when a preceding vehicle cannot be recognized in the vehicle traveling lane on a curve or the like. By this means, even if the beam angle of the radar system is narrowed and narrowed, the radar system is steered, so that the vehicle ahead can be recognized.
【０００７】前記ステア装置のステア角度と前記レーダ
システムの検出距離を基に前記領域限定部は、さらに前
記物体の幅方向に認識領域を限定する。この手段によ
り、さらに前記画像処理装置の処理すべき画面を限定す
るので、処理量が低減できる。前記レーダシステムが複
数の物体を検出する場合には、前記領域限定部は、それ
ぞれで複数の認識領域を設ける。この手段により、複数
の前方車両に対しても処理量を低減し、認識精度を高く
維持することができる。The area limiting unit further limits the recognition area in the width direction of the object based on the steer angle of the steer device and the detection distance of the radar system. By this means, the screen to be processed by the image processing apparatus is further limited, so that the processing amount can be reduced. When the radar system detects a plurality of objects, the area limiting unit provides a plurality of recognition areas respectively. By this means, it is possible to reduce the processing amount and maintain high recognition accuracy even for a plurality of front vehicles.
【０００８】[0008]
【発明の実施の形態】以下本発明の実施の形態について
図面を参照して説明する。図１は本発明に係るレーダを
用いた画像処理システムの例を示す図である。本図に示
すように、レーダを用いた画像処理システムは、車両に
搭載されるカメラ１と、これから画像入力して、自車の
走行レーンを示す白線と、近距離側の前方車両とを認識
する処理を行う画像処理装置２と、画像処理量を低減
し、距離の認識精度を向上するために、同様に車両に搭
載され前車両との距離を測定してそれとの距離データを
画像処理装置２に出力するレーダシステム３とを具備す
る。さらに、画像処理装置２には、後述する画像処理の
領域限定部２Ａが設けられる。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram showing an example of an image processing system using a radar according to the present invention. As shown in the figure, an image processing system using a radar recognizes a camera 1 mounted on a vehicle, an image input from the camera 1, a white line indicating a traveling lane of the vehicle, and a front vehicle on a short distance side. In order to reduce the amount of image processing and improve the recognition accuracy of the distance, the image processing apparatus 2 that performs the processing described above is similarly mounted on the vehicle, measures the distance to the preceding vehicle, and obtains distance data from the distance processing device. 2 and a radar system 3 for outputting to 2. Further, the image processing apparatus 2 is provided with an area limiting unit 2A for image processing described later.
【０００９】図２は搭載されたカメラの画像処理装置２
が入力する画像例を示す図である。本図に示すように、
画像処理装置２には、前方の車両と走行レーンを表示す
る白線の画像が入力される。次に、画像処理装置２の前
方車両認識では、前方車両の後部には、エッジが数多く
集まって現れるので、このエッジの分布状態が前方車両
の認識特徴とし、領域限定処理、投影処理、車両位置決
定処理が行われる。次に、領域限定処理では、レーダか
らの前方車両のキョリから画像中の前方車両の最下部と
乗用車の高さをもつ横長の前方車両の領域を設定する。
投影処理では、探索領域内のエッジの投影が求められ
る。投影は垂直方向の直線に沿った画像の濃度を逐次足
し合わせ、その合計を求めたものであり、投影分布が形
成される。車両位置決定処理では、投影結果である投影
分布を基に、乗用車の幅分の合計値が最大になる箇所が
前方車両の位置と決定する方法でもよい。FIG. 2 shows an image processing apparatus 2 for a camera mounted on the camera.
It is a figure which shows the example of an image which is input. As shown in this figure,
The image of the white line that displays the vehicle in front and the driving lane is input to the image processing device 2. Next, in the front vehicle recognition of the image processing apparatus 2, many edges appear in the rear part of the front vehicle. Therefore, the distribution state of the edges is a recognition feature of the front vehicle, and the area limiting process, the projection process, and the vehicle position are performed. A decision process is performed. Next, in the region limiting process, the region of the horizontally long front vehicle having the height of the lowermost part of the front vehicle and the passenger car in the image is set based on the distance of the front vehicle from the radar.
In the projection process, the projection of edges in the search area is obtained. The projection is one in which the densities of the images along the vertical straight line are sequentially added and the total thereof is obtained, and a projection distribution is formed. In the vehicle position determination process, a method may be used in which the position where the total value of the widths of the passenger cars is maximum is determined as the position of the forward vehicle based on the projection distribution that is the projection result.
【００１０】さらに、画像処理装置２では、認識した白
線や前方車両の三次元的な位置や距離が、二次元の画面
位置とカメラの設定パラメータから算出される。以下に
本発明に係るものについて説明する。図３は、画面のｙ
座標と実際の道路の自車からの距離Ｚ0 との関係等を示
す図である。画像処理装置２は、レーダシステム３から
距離データを入力すると、以下のように、画面の座標に
換算して物体の位置を求める処理を行う。本図（ａ）に
示すように、カメラが道路から高さＨに取り付けられ、
カメラの垂直画角をφ y とし、自車から距離Ｚ0 のカメ
ラの俯角をθとする。本図（ｂ）に示すように、画面に
ｘ，ｙ座標をとり、ｙ方向の画像の解像度をＲy とする
と、距離Ｚ0 のｙ１座標は、以下のように、表される。Further, in the image processing apparatus 2, the recognized white
A two-dimensional screen showing the three-dimensional position and distance of lines and vehicles in front.
It is calculated from the position and the setting parameters of the camera. less than
The thing concerning this invention is demonstrated. Figure 3 shows the y
Coordinates and distance Z from the vehicle on the actual road0Shows the relationship with
FIG. The image processing device 2 is connected to the radar system 3
When you enter the distance data, the coordinates of the screen are displayed as shown below.
The conversion is performed to obtain the position of the object. In this figure (a)
The camera is mounted at a height H from the road, as shown,
The vertical angle of view of the camera is φ yAnd the distance Z from the vehicle0Turtle
Let θ be the depression angle of La. As shown in this figure (b),
Take the x and y coordinates and set the resolution of the image in the y direction to RyTo be
And the distance Z0The y1 coordinate of is expressed as follows.
【００１１】[0011]
【数１】 [Equation 1]
【００１２】また、距離Ｚ0 の位置で高さｈ（車両の高
さ）のｙ座標は、以下のように、表される。The y-coordinate of the height h (vehicle height) at the position of the distance Z 0 is expressed as follows.
【００１３】[0013]
【数２】 [Equation 2]
【００１４】なお、車両の高さｈは一般的な乗用車、ト
ラックなどの高さを基準に設定してもよい。上記のレー
ダシステム３にはミリ波レーダ、レーザレーダ等種々あ
り、例えば、ミリ波レーダを使用したＦＭ−ＣＷレーダ
では、周波数変調が３角波状に繰り返し行われ、送信波
と反射波の間のビート周波数を求めて、前にある物体と
の距離が求められる。レーダシステム３は距離は精度よ
くみつけるが、この物体が車両であるとの判断はできな
い。この判断を、画像処理装置２が行う。The height h of the vehicle may be set on the basis of the heights of general passenger cars and trucks. There are various types of the radar system 3 such as a millimeter wave radar and a laser radar. For example, in an FM-CW radar that uses the millimeter wave radar, frequency modulation is repeatedly performed in a triangular wave shape, and the frequency between the transmitted wave and the reflected wave is increased. The beat frequency is calculated and the distance to the object in front is calculated. The radar system 3 can accurately find the distance, but cannot determine that this object is a vehicle. The image processing device 2 makes this determination.
【００１５】図４は図１の領域限定部２Ａを説明する図
である。レーダシステム３から距離Ｚ0 のデータを入力
すると、本図（ａ）に示すように、領域限定部２Ａは、
白線探索領域をｙ１（式（１）参照）より近距離側の範
囲について限定する。この限定された範囲で画像処理装
置２の白線の認識処理が行われるようにする。このた
め、白線の認識処理量が軽減される。また、本図（ｂ）
に示すように、領域限定部２Ａは、前方車両の認識領域
をｙ２−ｙ１（式（１）及び（２）参照）の範囲につい
て限定する。この限定さらた範囲で画像処理装置２の前
方車両の認識処理が行われるようにする。このため、前
方車両の認識処理量が軽減される。FIG. 4 is a diagram for explaining the area limiting unit 2A of FIG. When the data of the distance Z 0 is input from the radar system 3, as shown in FIG.
The white line search area is limited to a range on the short distance side from y1 (see Expression (1)). The white line recognition processing of the image processing apparatus 2 is performed within this limited range. Therefore, the amount of white line recognition processing is reduced. Also, this figure (b)
As shown in (2), the area limiting unit 2A limits the recognition area of the preceding vehicle within the range of y2-y1 (see the equations (1) and (2)). The front vehicle recognition process of the image processing apparatus 2 is performed within this limited range. Therefore, the amount of recognition processing of the preceding vehicle is reduced.
【００１６】図５は前方車両の認識処理として、限定さ
れた領域内でエッジ分布を求める例を示す図である。本
図に示すように、限定されたｙ２−ｙ１座標の範囲で水
平方向又は垂直方向のエッジ分布を求め、エッジの多い
部分が前方車両と認識される。ここで、エッジ抽出処理
の詳細について説明する。FIG. 5 is a diagram showing an example of obtaining an edge distribution in a limited area as a process of recognizing a front vehicle. As shown in the figure, the edge distribution in the horizontal direction or the vertical direction is obtained in the limited range of y2-y1 coordinates, and the part with many edges is recognized as the vehicle ahead. Here, the details of the edge extraction processing will be described.
【００１７】エッジを抽出する手段の１つとしてソーベ
ルオペレータ（Sobel Operator）の例を説明する図６が
ソーベルオペレータである。本図（ａ）に示すように、
Ｓxは水平方向のオペレータであり、Ｓy は垂直方向の
オペレータである。３×３の画素の濃度値をＡ，Ｂ，Ｃ
…Ｉとすると、水平、垂直オペレータＳX 、Ｓy が作用
すると、中心の画素の濃度値Ｅx 、Ｅy は、 Ｅx ＝Ａ＋２Ｂ＋Ｃ−（Ｇ＋２Ｈ＋Ｉ） Ｅy ＝Ａ＋２Ｄ＋Ｇ−（Ｃ＋２Ｆ＋Ｉ） となる。濃度値は、本図（ｂ）に示すように、白色側に
オペレータを作用すると、境界で０から正の大きな値に
なり、エッジが検出されることになる。A sobel operator is shown in FIG. 6 for explaining an example of a sobel operator as one of means for extracting an edge. As shown in this figure (a),
Sx is a horizontal operator and Sy is a vertical operator. The density values of 3 × 3 pixels are A, B, C
.. I, when the horizontal and vertical operators SX and Sy act, the density values Ex and Ey of the central pixel are: Ex = A + 2B + C- (G + 2H + I) Ey = A + 2D + G- (C + 2F + I). As shown in FIG. 6B, when the operator acts on the white side, the density value changes from 0 to a large positive value at the boundary, and the edge is detected.
【００１８】図７は車両の画像の水平エッジ、垂直エッ
ジの検出例を説明する図である。本図に示すように、車
両の画像を構成する輪郭線から水平エッジのみ、垂直エ
ッジのみが検出される。水平エッジを前方車両の認識に
用いることにより、白線や影などのエッジの誤認識を軽
減することが可能になる。また、垂直エッジを前方車両
の認識に用いることにより、方向、速度制限などの路面
表示の影響を軽減することが可能になる。FIG. 7 is a diagram for explaining an example of detecting horizontal edges and vertical edges of a vehicle image. As shown in the figure, only horizontal edges and only vertical edges are detected from the contour lines forming the image of the vehicle. By using the horizontal edge for recognizing the front vehicle, it is possible to reduce erroneous recognition of edges such as white lines and shadows. Further, by using the vertical edge for recognizing the front vehicle, it is possible to reduce the influence of the road surface display such as the direction and the speed limit.
【００１９】なお、水平、垂直オペレータＳX 、Ｓy を
同時に作用させて、水平エッジ及び垂直エッジの分布状
態から、前方車両の認識を行ってもよい。双方の良い点
が組合わされて、車両位置識別の精度を向上させること
ができる。図８は前方車両の左右対称性を示す図であ
る。本図に示すように、前方車両は左右対称性を有する
ので、抽出されたエッジ分布の対称性がある場合には、
前方車両と判断する。前述のような、投影分布を基に、
乗用車の幅分の合計値が最大になる箇所が前方車両の位
置と決定する方式に、エッジ分布の対称性の判断を加え
ることにより、前方車両の認識精度がさらに向上でき
る。The horizontal and vertical operators SX and Sy may be operated simultaneously to recognize the vehicle ahead from the distribution state of the horizontal edges and the vertical edges. The advantages of both can be combined to improve the accuracy of vehicle position identification. FIG. 8 is a diagram showing the left-right symmetry of the forward vehicle. As shown in this figure, the forward vehicle has left-right symmetry, so if the extracted edge distribution has symmetry,
Judge as a vehicle ahead. Based on the projection distribution as described above,
The recognition accuracy of the front vehicle can be further improved by adding the determination of the symmetry of the edge distribution to the method of determining the position of the front vehicle where the total value of the width of the passenger vehicle is the maximum.
【００２０】図９は自車走行レーン内の物体の確認識別
例を説明する図である。本図に示すように、前述の画像
処理により確定した白線、確定した前方車両に対して確
定前方車両が確定白線で規定される自車走行レーン内に
あるか否かの認識を行う。この認識を基に、支援動作を
行うことができ、処理量の低減と共に、認識物体の識別
能力の信頼性が増す。FIG. 9 is a diagram for explaining an example of confirmation and identification of an object in the vehicle traveling lane. As shown in this figure, it is recognized whether or not the fixed front vehicle is within the own vehicle traveling lane defined by the fixed white line with respect to the fixed white line and the fixed front vehicle determined by the above-described image processing. Based on this recognition, the assisting operation can be performed, the processing amount is reduced, and the reliability of the recognition ability of the recognition object is increased.
【００２１】図１０は自車走行レーン内の物体の確認識
別の別の例を説明する図である。本図に示すように、確
定白線と確定前方車両との間に白線にかすれなどがあ
り、前方車両位置まで白線が認識できない場合には、確
定白線のカーブ度からかすれ白線を予測し、レーダシス
テム３により検出された物体の距離の位置で、確定前方
車両が自車走行レーン内にあるか否かの認識を行う。こ
のようにして、白線がかすれた場合にも、前方車両が自
車の走行レーン内にあるかの認識が可能になる。FIG. 10 is a diagram for explaining another example of confirmation and identification of an object in the vehicle traveling lane. As shown in this figure, if there is a blur in the white line between the confirmed white line and the confirmed front vehicle, and the white line cannot be recognized up to the vehicle ahead, the blurred white line is predicted from the curve degree of the confirmed white line, and the radar system At the position of the distance of the object detected by 3, it is recognized whether or not the confirmed front vehicle is in the vehicle driving lane. In this way, even if the white line is faint, it is possible to recognize whether the preceding vehicle is in the traveling lane of the own vehicle.
【００２２】図１１は、図１に示す、レーダを用いた画
像処理システムにヨーレートセンサを追加した例を示す
図である。本図に示すヨーレート４を用いて、前述のよ
うにかすれ白線のため、白線の認識が不可能な場合に
は、カーブ度を予測して、前方車両が自車の走行レーン
内にあるかの判断処理を行ってもよい。また、ヨーレー
ト４に代わり、ハンドル角を検出するセンサを用いて、
同様に予測を行ってもよい。FIG. 11 is a diagram showing an example in which a yaw rate sensor is added to the image processing system using the radar shown in FIG. If the white line cannot be recognized using the yaw rate 4 shown in the figure because of the faint white line as described above, the curve degree is predicted to determine whether the preceding vehicle is in the traveling lane of the own vehicle. You may perform a judgment process. Also, instead of the yaw rate 4, a sensor for detecting the steering wheel angle is used,
You may make a prediction similarly.
【００２３】図１２は、図１に示す、レーダを用いた画
像処理システムのレーダシステム３にステア装置を設け
た例を示す図である。本図に示すように、レーダシステ
ム３に設けられたステア装置５は、画像処理装置２から
の白線認識より得られた自車の走行レーンのカーブ度を
基にレーダシステム３の向きを変えて、レーダシステム
３のビーム角が狭い場合にも、走行レーンの前方物体と
の距離の測定が可能になる。このようにビーム角を狭く
なるように絞るのは、無用な物体の検出を制限するため
である。FIG. 12 is a diagram showing an example in which a steer device is provided in the radar system 3 of the image processing system using the radar shown in FIG. As shown in the figure, the steering device 5 provided in the radar system 3 changes the direction of the radar system 3 based on the curve degree of the traveling lane of the vehicle obtained from the white line recognition from the image processing device 2. Even when the beam angle of the radar system 3 is narrow, it is possible to measure the distance to the object ahead of the traveling lane. The reason why the beam angle is narrowed in this way is to limit detection of useless objects.
【００２４】図１３は図１２のステア装置５の制御を説
明するフローチャートである。ステップＳ１において、
レーダシステム３により物体が検出されているかを判断
する。この判断が「ＮＯ」ならステップＳ４に進む。ス
テップＳ２において、上記判断が「ＹＥＳ」で物体が検
出された場合には、画像処理装置２の白線処理を基に、
自車走行レーン内に前方車両の認識ができたか否かを判
断する。この判断が「ＮＯ」ならステップＳ４に進む。FIG. 13 is a flow chart for explaining the control of the steering device 5 of FIG. In step S1,
It is determined whether an object is detected by the radar system 3. If this determination is "NO", the process proceeds to step S4. In step S2, when the determination is “YES” and an object is detected, based on the white line processing of the image processing apparatus 2,
It is determined whether or not the preceding vehicle can be recognized in the own vehicle traveling lane. If this determination is "NO", the process proceeds to step S4.
【００２５】ステップＳ３において、上記判断が「ＹＥ
Ｓ」の場合は、前方車両に向けてビームを出力するよう
レーダシステム３のステア制御を行う。ステップＳ４に
おいて、自車の走行レーンに向けてレーダシステム３を
振るステア装置の制御を行う。レーダシステム３からの
ビームが狭くて物体からはずれている場合には、この制
御により自車の走行レーン内の物体を見失うことなく検
出することが可能になる。物体が検出されていても、自
車の走行レーンからはずれた前方車両を検出している場
合にも、この制御により自車の走行レーン内の物体を検
出することが可能になる。In step S3, the above judgment is "YE
In the case of "S", the steer control of the radar system 3 is performed so as to output the beam toward the vehicle ahead. In step S4, the steering device that swings the radar system 3 toward the traveling lane of the vehicle is controlled. When the beam from the radar system 3 is narrow and deviates from the object, this control makes it possible to detect the object in the traveling lane of the own vehicle without losing sight of it. Even if the object is detected, even if the vehicle ahead that is out of the traveling lane of the own vehicle is detected, the object in the traveling lane of the own vehicle can be detected by this control.
【００２６】このようにして、レーダシステム３により
検出すべき物体のロストを低減できる。また、レーダシ
ステム３が自車走行レーン外の車両を捉えても、すぐ自
車走行レーンの前方にレーダシステム３を向けることが
可能になる。このため、前方車両、自車の車線変更にも
強い制御が可能になる。なお、上記ステップＳ１及びス
テップＳ２において、１回毎のステアの検出、認識結果
でなく、ステア数回分の検出を行い、ステップＳ３，Ｓ
４のステア装置のステア角を決定するようにしてもよ
い。これにより、検出、認識毎の結果を用いると、制御
がぎごちなくなるので、過去数回分の認識結果を平均化
することでなめらかなステア装置による制御が実現され
る。In this way, the lost of the object to be detected by the radar system 3 can be reduced. Further, even if the radar system 3 captures a vehicle outside the vehicle traveling lane, the radar system 3 can be immediately directed to the front of the vehicle traveling lane. Therefore, it is possible to perform strong control even when the lane of the preceding vehicle or the own vehicle is changed. In the steps S1 and S2, the number of times of steer detection is performed instead of the detection and recognition result of each time steer, and steps S3 and S2 are performed.
The steer angle of the No. 4 steering device may be determined. As a result, the control becomes awkward when the result of each detection and recognition is used, so that smooth control by the steer device is realized by averaging the recognition results of the past several times.
【００２７】図１４はステア装置５を用いて図４（ｂ）
の前方車両の認識領域をさらに狭める例を説明する図で
ある。本図（ａ）に示すように、ステア装置５によりレ
ーダシステム３をＺ軸に対して、ステア角度をαとし、
ビーム角をβとすると、前方の物体を捉えたとすると、
Ｘ−Ｚ平面において、前方の物体はＸ座標でＸ- からＸ
+ に存在することになる。ここに、 Ｘ- ＝Ｚ0 ・ sinα＋Ｚ0 ・ sin（α−β） Ｘ+ ＝Ｚ0 ・ sinα＋Ｚ0 ・ sin（α＋β） である。これを画面の座標ｘ−ｙに変換すると、ｘ- か
らｘ+ の範囲になる。ここに、FIG. 14 shows the steering device 5 in FIG. 4 (b).
It is a figure explaining the example which further narrows down the recognition area of the vehicle ahead of. As shown in this figure (a), the steering system 5 causes the radar system 3 to move with respect to the Z axis, and the steering angle is α,
If the beam angle is β and an object in front is captured,
In the XZ plane, the object in front is in the X coordinate from X − to X.
Will exist in + . Here, X − = Z 0 · sin α + Z 0 · sin (α−β) X + = Z 0 · sin α + Z 0 · sin (α + β). Converting this to the coordinate x-y of the screen, x - the range of x + from. here,
【００２８】[0028]
【数３】 (Equation 3)
【００２９】[0029]
【数４】 (Equation 4)
【００３０】である。このように、ステア装置５でレー
ダシステム３のステア角とビーム角の関係から、さらに
画面のｘ座標方向に画像処理を制限することにより、処
理量をさらに低減することが可能になる。図１５は２つ
以上の物体との距離を出力するレーダシステム３との組
み合わせ例を説明する図である。レーダシステム３は複
数の物体に対しては複数の距離を出力するが、この場合
には、本図に示すように、自車の走行レーン内の３０ｍ
先の第１物体、５０ｍ先の第２物体に対して、領域限定
部２Ａでは画像中に複数の認識領域を設定する。## EQU1 ## As described above, the processing amount can be further reduced by further limiting the image processing in the x-coordinate direction of the screen based on the relationship between the steering angle and the beam angle of the radar system 3 by the steering device 5. FIG. 15 is a diagram illustrating a combination example with the radar system 3 that outputs the distance to two or more objects. The radar system 3 outputs a plurality of distances with respect to a plurality of objects. In this case, as shown in the figure, the radar system 3 outputs 30 m within the traveling lane of the vehicle.
The area limiting unit 2A sets a plurality of recognition areas in the image for the first object and the second object 50 m away.
【００３１】図１６はスキャン型で複数の物体との距離
を出力するレーダシステム３との組み合わせ例を説明す
る図である。本図に示すように、スキャン型のレーダシ
ステム３レーダシステム３により検出された物体に対し
て、レーダ方向と、距離からいくつかの認識少領域を設
定し、これらのエッジの分布状態から前方車両を認識す
ることも可能である。画像で何ら存在しないのにレーダ
システム３が距離を出力しているところは誤認識と判断
して除外する。FIG. 16 is a diagram for explaining an example of combination with the radar system 3 which outputs the distances to a plurality of objects by the scan type. As shown in the figure, for the object detected by the scan type radar system 3, the radar system 3, several recognition small areas are set from the radar direction and the distance, and from the distribution state of these edges, the vehicle ahead is detected. It is also possible to recognize. A position where the radar system 3 outputs the distance even though there is no image is judged to be erroneous recognition and excluded.
【００３２】このように複数の物体に対しても処理量が
低減することが可能になる。In this way, the processing amount can be reduced even for a plurality of objects.
【図面の簡単な説明】[Brief description of drawings]
【図１】本発明に係るレーダを用いた画像処理システム
の例を示す図である。FIG. 1 is a diagram showing an example of an image processing system using a radar according to the present invention.
【図２】搭載されたカメラの配置画像処理装置２が入力
する画像例を示す図である。FIG. 2 is a diagram showing an example of an image input by a placement image processing device 2 of a mounted camera.
【図３】画面のｙ座標と実際の道路の自車からの距離Ｚ
0 との関係等を示す図である。[Fig. 3] y-coordinate on the screen and the distance Z from the vehicle on the actual road
It is a figure which shows the relationship etc. with 0 .
【図４】図１の領域限定部２Ａを説明する図である。FIG. 4 is a diagram illustrating a region limiting unit 2A of FIG.
【図５】前方車両の認識処理として、限定された領域内
でエッジ分布を求める例を示す図である。FIG. 5 is a diagram showing an example of obtaining an edge distribution in a limited area as a process of recognizing a front vehicle.
【図６】エッジを抽出するソーベルオペレータ（Sobel
Operator）の例を説明する図である。FIG. 6 is a Sobel operator (Sobel) that extracts an edge.
It is a figure explaining the example of (Operator).
【図７】車両の画像の水平エッジ、垂直エッジの検出例
を説明する図である。FIG. 7 is a diagram illustrating an example of detecting a horizontal edge and a vertical edge of a vehicle image.
【図８】前方車両の左右対称性を示す図である。FIG. 8 is a diagram showing left-right symmetry of a forward vehicle.
【図９】自車走行レーン内の物体の確認識別例を説明す
る図である。FIG. 9 is a diagram illustrating an example of confirmation and identification of an object in a vehicle traveling lane.
【図１０】自車走行レーン内の物体の確認識別の別の例
を説明する図である。FIG. 10 is a diagram illustrating another example of confirmation and identification of an object in a vehicle traveling lane.
【図１１】図１に示す、レーダを用いた画像処理システ
ムにヨーレートセンサを追加した例を示す図である。11 is a diagram showing an example in which a yaw rate sensor is added to the image processing system using the radar shown in FIG.
【図１２】図１に示す、レーダを用いた画像処理システ
ムのレーダシステム３にステア装置を設けた例を示す図
である。FIG. 12 is a diagram showing an example in which a steer device is provided in the radar system 3 of the image processing system using the radar shown in FIG.
【図１３】図１２のステア装置５の制御を説明するフロ
ーチャートである。13 is a flowchart illustrating control of the steer device 5 in FIG.
【図１４】ステア装置５を用いて図４（ｂ）の前方車両
の認識領域をさらに狭める例を説明する図である。FIG. 14 is a diagram illustrating an example of further narrowing the recognition area of the front vehicle of FIG. 4 (b) by using the steering device 5.
【図１５】２つ以上の物体との距離を出力するレーダシ
ステム３との組み合わせ例を説明する図である。FIG. 15 is a diagram illustrating an example of a combination with a radar system 3 that outputs a distance between two or more objects.
【図１６】スキャン型で複数の物体との距離を出力する
レーダシステム３との組み合わせ例を説明する図であ
る。FIG. 16 is a diagram illustrating an example of a combination with a radar system 3 that outputs the distances to a plurality of objects by a scan type.
１…画像入力手段 ２…画像処理装置 ２Ａ…領域限定部 ３…レーダシステム DESCRIPTION OF SYMBOLS 1 ... Image input means 2 ... Image processing apparatus 2A ... Area limiting part 3 ... Radar system
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 1/00 Ｇ０６Ｆ 15/62 ３２０Ｐ ３８０ ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical display location G06T 1/00 G06F 15/62 320P 380
Claims (17)
力手段を有し、画像を処理する画像処理システムにおい
て、 前方の道路の白線、車両を認識する画像処理装置と、 前方の物体との距離を検出するレーダシステムと、 前記レーダシステムにより検出された物体までの距離を
基に、前記画像処理装置で処理すべき画面のうち白線、
車両の認識領域を分けて限定する領域限定部とを備える
ことを特徴とするレーダを用いた画像処理システム。1. An image processing system mounted on a vehicle, having image input means for capturing an image of the front, for processing an image, comprising: a white line on a road ahead, an image processing device for recognizing the vehicle; and an object in front. A radar system for detecting a distance, based on the distance to the object detected by the radar system, a white line in the screen to be processed by the image processing device,
An image processing system using a radar, comprising: a region limiting unit that divides and limits a recognition region of a vehicle.
までの距離を含む画面を白線の認識領域と限定すること
を特徴とする、請求項１に記載のレーダを用いた画像処
理システム。2. The image processing system using the radar according to claim 1, wherein the area limiting unit limits a screen including a distance from the object to the front of the own vehicle to a recognition area of a white line. .
で車両の高さまでを含む画面を前方認識領域と限定する
ことを特徴とする、請求項１に記載のレーダを用いた画
像処理システム。3. The image processing system using the radar according to claim 1, wherein the area limiting unit limits a screen including a distance up to the object to a height of the vehicle as a front recognition area. .
より限定された領域中のエッジ量の分布から前方車両を
認識することを特徴とする、請求項１に記載のレーダを
用いた画像処理システム。4. The image processing using the radar according to claim 1, wherein the image processing apparatus recognizes a vehicle ahead from a distribution of edge amounts in the area limited by the area limiting unit. system.
より限定された領域中のエッジ量の水平エッジのみの分
布から前方車両を認識することを特徴とする、請求項１
に記載のレーダを用いた画像処理システム。5. The image processing apparatus recognizes a forward vehicle from the distribution of only horizontal edges of the edge amount in the area limited by the area limiting unit.
An image processing system using the radar described in 1.
より限定された領域中のエッジ量のうち垂直エッジのみ
の分布から前方車両を認識することを特徴とする、請求
項１に記載のレーダを用いた画像処理システム。6. The radar according to claim 1, wherein the image processing device recognizes a forward vehicle from a distribution of only vertical edges in the edge amount in the area limited by the area limiting unit. Image processing system using.
より限定された領域中のエッジ量のうち水平エッジのみ
と垂直エッジのみの分布の組み合わせから前方車両を認
識することを特徴とする、請求項１に記載のレーダを用
いた画像処理システム。7. The image processing apparatus recognizes a forward vehicle based on a combination of distributions of only horizontal edges and only vertical edges in the edge amount in the area limited by the area limiting unit. An image processing system using the radar according to Item 1.
にエッジの左右対称を加えて前方車両を認識することを
特徴とする、請求項４乃至７のいずれかに記載のレーダ
を用いた画像処理システム。8. The radar according to claim 4, wherein the image processing apparatus recognizes a forward vehicle by adding left-right symmetry to edges in addition to edge distribution. Image processing system.
前方車両との関係により、前記レーダシステムにより検
出された物体が自車走行レーンにあるか否かを判断して
支援動作を行うことを特徴とする、請求項１に記載のレ
ーダを用いた画像処理システム。9. The image processing apparatus determines whether or not an object detected by the radar system is in a vehicle traveling lane based on the relationship between the recognized white line and a vehicle ahead and performs an assisting operation. An image processing system using the radar according to claim 1.
の距離まで求められない場合、認識できた白線部分のカ
ーブ度をもとに、前記レーダシステムにより検出された
物体が自車走行レーンにあるか否かを判断することを特
徴とする、請求項９に記載のレーダを用いた画像処理シ
ステム。10. The image processing apparatus, when the white line is not obtained up to the distance of the vehicle in front, detects the object detected by the radar system in the vehicle traveling lane based on the curve degree of the recognized white line portion. The image processing system using the radar according to claim 9, wherein it is determined whether or not there is.
の距離まで求められない場合、ハンドル角、ヨーレート
センサなどの補助センサの情報を基に、前記レーダシス
テムにより検出された物体が自車走行レーンにあるか否
かを判断することを特徴とする、請求項９に記載のレー
ダを用いた画像処理システム。11. When the white line cannot be obtained up to the distance of the vehicle ahead, the image processing device causes the object detected by the radar system to travel based on the information of auxiliary sensors such as a steering wheel angle and a yaw rate sensor. The image processing system using the radar according to claim 9, wherein it is determined whether or not the vehicle is in a lane.
るステア装置を設け、前記レーダシステムに狭いビーム
角を使用する場合に、前記画像処理装置の処理結果を基
に、前記レーダシステムをステアすることを特徴とす
る、請求項１に記載のレーダを用いた画像処理システ
ム。12. A steer device for steering the radar system is provided, and when the narrow beam angle is used in the radar system, the radar system is steered based on a processing result of the image processing device. An image processing system using the radar according to claim 1.
に前方車両が認識できない場合に、所定のステア角でレ
ーダシステムをステアすることを特徴とする、請求項１
に記載のレーダを用いた画像処理システム。13. The steerer device steers the radar system at a predetermined steer angle when a vehicle ahead cannot be recognized in the vehicle traveling lane.
An image processing system using the radar described in 1.
定データからステア角を決定することを特徴とする、請
求項１３に記載のレーダを用いた画像処理システム。14. The image processing system using a radar according to claim 13, wherein the steer device determines a steer angle from measurement data of a plurality of past times.
ーダシステムの検出距離を基に前記領域限定部は、さら
に前記物体の幅方向に認識領域を限定することを特徴と
する、請求項１に記載のレーダを用いた画像処理システ
ム。15. The area limiting unit further limits a recognition area in a width direction of the object based on a steer angle of the steer device and a detection distance of the radar system. Image processing system using a radar.
出する場合には、前記領域限定部は、それぞれで複数の
認識領域を設けることを特徴とする、請求項１に記載の
レーダを用いた画像処理システム。16. The image using the radar according to claim 1, wherein, when the radar system detects a plurality of objects, the area limiting unit provides a plurality of recognition areas respectively. Processing system.
合には、認識小領域を設け、その分布状態と白線との関
係から前方車両を認識することを特徴とする、請求項１
に記載のレーダを用いた画像処理システム。17. If the radar system is a scan type, a recognition small area is provided and a front vehicle is recognized from the relationship between the distribution state and the white line.
An image processing system using the radar described in 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8076859A JPH09264954A (en) | 1996-03-29 | 1996-03-29 | Image processing system using radar |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8076859A JPH09264954A (en) | 1996-03-29 | 1996-03-29 | Image processing system using radar |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09264954A true JPH09264954A (en) | 1997-10-07 |
Family
ID=13617384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8076859A Pending JPH09264954A (en) | 1996-03-29 | 1996-03-29 | Image processing system using radar |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09264954A (en) |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000131432A (en) * | 1998-10-23 | 2000-05-12 | Honda Motor Co Ltd | Method for detecting obstruction to vehicle |
| JP2000221268A (en) * | 1999-02-02 | 2000-08-11 | Sumitomo Electric Ind Ltd | Vehicle detecting device |
| JP2001099930A (en) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | Sensor for monitoring periphery |
| JP2001134771A (en) * | 1999-11-04 | 2001-05-18 | Honda Motor Co Ltd | Object recognizing device |
| JP2001134772A (en) * | 1999-11-04 | 2001-05-18 | Honda Motor Co Ltd | Object recognizing device |
| JP2001330665A (en) * | 2000-05-18 | 2001-11-30 | Fujitsu Ten Ltd | On-vehicle object detector using radar and image processing |
| FR2809360A1 (en) * | 2000-05-24 | 2001-11-30 | Daimler Chrysler Ag | CRASH PRECEDING RECOGNITION SYSTEM BASED ON THE USE OF A CAMERA |
| JP2002163784A (en) * | 2000-11-29 | 2002-06-07 | Fujitsu Ten Ltd | Deciding device for advancable range |
| JP2003084064A (en) * | 2001-09-12 | 2003-03-19 | Daihatsu Motor Co Ltd | Device and method for recognizing vehicle in front side |
| JP2003172780A (en) * | 2001-12-06 | 2003-06-20 | Daihatsu Motor Co Ltd | Recognition device and recognition method of preceding vehicle |
| JP2003315458A (en) * | 2002-04-23 | 2003-11-06 | Daihatsu Motor Co Ltd | Recognition apparatus and method for forward vehicle |
| JP2005025692A (en) * | 2003-07-04 | 2005-01-27 | Suzuki Motor Corp | Vehicle information provision apparatus |
| JP2005284471A (en) * | 2004-03-29 | 2005-10-13 | Omron Corp | Image processing apparatus and method |
| JP2005345251A (en) * | 2004-06-02 | 2005-12-15 | Toyota Motor Corp | Obstacle recognition device |
| US7042389B2 (en) | 2004-04-09 | 2006-05-09 | Denso Corporation | Device for detecting object in front of vehicle |
| JP2006151125A (en) * | 2004-11-26 | 2006-06-15 | Omron Corp | On-vehicle image processing device |
| JP2006258507A (en) * | 2005-03-15 | 2006-09-28 | Omron Corp | Apparatus for recognizing object in front |
| WO2006121088A1 (en) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | Image processing device, image processing method, and image processing program |
| WO2006121087A1 (en) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | Image processing device, image processing method, and image processing program |
| JP2007015676A (en) * | 2005-05-13 | 2007-01-25 | Honda Motor Co Ltd | Apparatus and method for predicting collision |
| JP2008509413A (en) * | 2004-08-07 | 2008-03-27 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | Method and apparatus for operating sensor system |
| JP2008282409A (en) * | 2008-05-30 | 2008-11-20 | Honda Motor Co Ltd | Object recognition device |
| JP2008293504A (en) * | 2008-05-30 | 2008-12-04 | Honda Motor Co Ltd | Object recognition device |
| JP2009017157A (en) * | 2007-07-04 | 2009-01-22 | Omron Corp | Image processor, method and program |
| JP2009068852A (en) * | 2007-09-10 | 2009-04-02 | Tokyo Metropolitan Univ | Environment recognition system, autonomous type mobile and environment recognition program |
| JP2012068935A (en) * | 2010-09-24 | 2012-04-05 | Toyota Motor Corp | Object recognition device for vehicle |
| JP2014142202A (en) * | 2013-01-22 | 2014-08-07 | Denso Corp | Vehicle-mounted target detection device |
| JP2015011713A (en) * | 2013-07-01 | 2015-01-19 | 株式会社リコー | Vehicle detection method and device |
| JP2015200622A (en) * | 2014-04-10 | 2015-11-12 | 本田技研工業株式会社 | object recognition device |
| JP2015210729A (en) * | 2014-04-28 | 2015-11-24 | 本田技研工業株式会社 | Travel path recognition device |
| DE102012211495B4 (en) * | 2012-02-08 | 2016-08-25 | Mitsubishi Electric Corp. | Vehicle environment monitoring device |
| JP2018049014A (en) * | 2015-03-25 | 2018-03-29 | ウェイモ エルエルシー | Vehicle with multiple light detection and ranging devices (lidars) |
| WO2018220745A1 (en) * | 2017-05-31 | 2018-12-06 | 三菱電機株式会社 | Monitoring device |
| WO2020103533A1 (en) * | 2018-11-20 | 2020-05-28 | 中车株洲电力机车有限公司 | Track and road obstacle detecting method |
| CN112248936A (en) * | 2020-10-23 | 2021-01-22 | 徐州徐工港口机械有限公司 | Figure identification and blind area early warning detection system and detection method for front-lift crane |
| JP2021135061A (en) * | 2020-02-21 | 2021-09-13 | Ｊｒｃモビリティ株式会社 | Three-dimensional information estimation system, three-dimensional information estimation method, and computer-executable program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05113482A (en) * | 1991-10-22 | 1993-05-07 | Omron Corp | Rear end collision prevention device mounted on car |
| JPH06124340A (en) * | 1992-07-21 | 1994-05-06 | Nissan Motor Co Ltd | Image processor for vehicle |
| JPH06293236A (en) * | 1992-12-22 | 1994-10-21 | Mitsubishi Electric Corp | Travel environment monitoring device |
| JPH0728975A (en) * | 1993-06-25 | 1995-01-31 | Fujitsu Ltd | Road environment recognizing device |
| JPH07117523A (en) * | 1993-10-28 | 1995-05-09 | Mitsubishi Motors Corp | Travel controller of automobile |
| JPH07125567A (en) * | 1993-11-04 | 1995-05-16 | Mitsubishi Motors Corp | Preceding car detecting mechanism of car traveling controller |
| JPH07182484A (en) * | 1993-12-24 | 1995-07-21 | Nissan Motor Co Ltd | Recognition device for front of moving vehicle and vehicle travel controller |
| JPH0816995A (en) * | 1994-06-27 | 1996-01-19 | Mazda Motor Corp | Judging device for traveling state of automobile |
-
1996
- 1996-03-29 JP JP8076859A patent/JPH09264954A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05113482A (en) * | 1991-10-22 | 1993-05-07 | Omron Corp | Rear end collision prevention device mounted on car |
| JPH06124340A (en) * | 1992-07-21 | 1994-05-06 | Nissan Motor Co Ltd | Image processor for vehicle |
| JPH06293236A (en) * | 1992-12-22 | 1994-10-21 | Mitsubishi Electric Corp | Travel environment monitoring device |
| JPH0728975A (en) * | 1993-06-25 | 1995-01-31 | Fujitsu Ltd | Road environment recognizing device |
| JPH07117523A (en) * | 1993-10-28 | 1995-05-09 | Mitsubishi Motors Corp | Travel controller of automobile |
| JPH07125567A (en) * | 1993-11-04 | 1995-05-16 | Mitsubishi Motors Corp | Preceding car detecting mechanism of car traveling controller |
| JPH07182484A (en) * | 1993-12-24 | 1995-07-21 | Nissan Motor Co Ltd | Recognition device for front of moving vehicle and vehicle travel controller |
| JPH0816995A (en) * | 1994-06-27 | 1996-01-19 | Mazda Motor Corp | Judging device for traveling state of automobile |
Cited By (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000131432A (en) * | 1998-10-23 | 2000-05-12 | Honda Motor Co Ltd | Method for detecting obstruction to vehicle |
| JP2000221268A (en) * | 1999-02-02 | 2000-08-11 | Sumitomo Electric Ind Ltd | Vehicle detecting device |
| JP2001099930A (en) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | Sensor for monitoring periphery |
| JP2001134771A (en) * | 1999-11-04 | 2001-05-18 | Honda Motor Co Ltd | Object recognizing device |
| JP2001134772A (en) * | 1999-11-04 | 2001-05-18 | Honda Motor Co Ltd | Object recognizing device |
| JP2001330665A (en) * | 2000-05-18 | 2001-11-30 | Fujitsu Ten Ltd | On-vehicle object detector using radar and image processing |
| FR2809360A1 (en) * | 2000-05-24 | 2001-11-30 | Daimler Chrysler Ag | CRASH PRECEDING RECOGNITION SYSTEM BASED ON THE USE OF A CAMERA |
| JP2002163784A (en) * | 2000-11-29 | 2002-06-07 | Fujitsu Ten Ltd | Deciding device for advancable range |
| JP2003084064A (en) * | 2001-09-12 | 2003-03-19 | Daihatsu Motor Co Ltd | Device and method for recognizing vehicle in front side |
| JP2003172780A (en) * | 2001-12-06 | 2003-06-20 | Daihatsu Motor Co Ltd | Recognition device and recognition method of preceding vehicle |
| JP2003315458A (en) * | 2002-04-23 | 2003-11-06 | Daihatsu Motor Co Ltd | Recognition apparatus and method for forward vehicle |
| JP2005025692A (en) * | 2003-07-04 | 2005-01-27 | Suzuki Motor Corp | Vehicle information provision apparatus |
| JP2005284471A (en) * | 2004-03-29 | 2005-10-13 | Omron Corp | Image processing apparatus and method |
| US7042389B2 (en) | 2004-04-09 | 2006-05-09 | Denso Corporation | Device for detecting object in front of vehicle |
| JP2005345251A (en) * | 2004-06-02 | 2005-12-15 | Toyota Motor Corp | Obstacle recognition device |
| US7570198B2 (en) | 2004-06-02 | 2009-08-04 | Toyota Jidosha Kabushiki Kaisha | Obstacle recognition system and obstacle recognition method |
| JP2008509413A (en) * | 2004-08-07 | 2008-03-27 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | Method and apparatus for operating sensor system |
| JP4814234B2 (en) * | 2004-08-07 | 2011-11-16 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | Method and apparatus for operating sensor system |
| US8193920B2 (en) | 2004-08-07 | 2012-06-05 | Robert Bosch Gmbh | Method and device for operating a sensor system |
| JP2006151125A (en) * | 2004-11-26 | 2006-06-15 | Omron Corp | On-vehicle image processing device |
| JP2006258507A (en) * | 2005-03-15 | 2006-09-28 | Omron Corp | Apparatus for recognizing object in front |
| WO2006121087A1 (en) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | Image processing device, image processing method, and image processing program |
| WO2006121088A1 (en) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | Image processing device, image processing method, and image processing program |
| JP2007015676A (en) * | 2005-05-13 | 2007-01-25 | Honda Motor Co Ltd | Apparatus and method for predicting collision |
| JP4598653B2 (en) * | 2005-05-13 | 2010-12-15 | 本田技研工業株式会社 | Collision prediction device |
| JP2009017157A (en) * | 2007-07-04 | 2009-01-22 | Omron Corp | Image processor, method and program |
| JP2009068852A (en) * | 2007-09-10 | 2009-04-02 | Tokyo Metropolitan Univ | Environment recognition system, autonomous type mobile and environment recognition program |
| JP2008293504A (en) * | 2008-05-30 | 2008-12-04 | Honda Motor Co Ltd | Object recognition device |
| JP2008282409A (en) * | 2008-05-30 | 2008-11-20 | Honda Motor Co Ltd | Object recognition device |
| JP2012068935A (en) * | 2010-09-24 | 2012-04-05 | Toyota Motor Corp | Object recognition device for vehicle |
| DE102012211495B4 (en) * | 2012-02-08 | 2016-08-25 | Mitsubishi Electric Corp. | Vehicle environment monitoring device |
| JP2014142202A (en) * | 2013-01-22 | 2014-08-07 | Denso Corp | Vehicle-mounted target detection device |
| US9342897B2 (en) | 2013-01-22 | 2016-05-17 | Denso Corporation | In-vehicle target detecting device |
| JP2015011713A (en) * | 2013-07-01 | 2015-01-19 | 株式会社リコー | Vehicle detection method and device |
| JP2015200622A (en) * | 2014-04-10 | 2015-11-12 | 本田技研工業株式会社 | object recognition device |
| JP2015210729A (en) * | 2014-04-28 | 2015-11-24 | 本田技研工業株式会社 | Travel path recognition device |
| JP2018049014A (en) * | 2015-03-25 | 2018-03-29 | ウェイモ エルエルシー | Vehicle with multiple light detection and ranging devices (lidars) |
| JP2018517889A (en) * | 2015-03-25 | 2018-07-05 | ウェイモ エルエルシー | Vehicle with multiple light detection and ranging devices (LIDAR) |
| US10120079B2 (en) | 2015-03-25 | 2018-11-06 | Waymo Llc | Vehicle with multiple light detection and ranging devices (LIDARS) |
| AU2019204204B2 (en) * | 2015-03-25 | 2020-10-29 | Waymo Llc | Vehicle with multiple light detection and ranging devices (LIDARS) |
| US10976437B2 (en) | 2015-03-25 | 2021-04-13 | Waymo Llc | Vehicle with multiple light detection and ranging devices (LIDARS) |
| USRE48961E1 (en) | 2015-03-25 | 2022-03-08 | Waymo Llc | Vehicle with multiple light detection and ranging devices (LIDARs) |
| WO2018220745A1 (en) * | 2017-05-31 | 2018-12-06 | 三菱電機株式会社 | Monitoring device |
| JPWO2018220745A1 (en) * | 2017-05-31 | 2019-11-14 | 三菱電機株式会社 | Monitoring device |
| WO2020103533A1 (en) * | 2018-11-20 | 2020-05-28 | 中车株洲电力机车有限公司 | Track and road obstacle detecting method |
| JP2021135061A (en) * | 2020-02-21 | 2021-09-13 | Ｊｒｃモビリティ株式会社 | Three-dimensional information estimation system, three-dimensional information estimation method, and computer-executable program |
| CN112248936A (en) * | 2020-10-23 | 2021-01-22 | 徐州徐工港口机械有限公司 | Figure identification and blind area early warning detection system and detection method for front-lift crane |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH09264954A (en) | Image processing system using radar | |
| EP3382639B1 (en) | Image processing device, image pickup device, apparatus control system, distribution data generation method, and program | |
| EP2422320B1 (en) | Object detection device | |
| US10860867B2 (en) | Image processing apparatus, imaging apparatus, mobile device control system, and recording medium | |
| US11064177B2 (en) | Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and recording medium | |
| US20060115119A1 (en) | Vehicle surroundings monitoring apparatus | |
| JP6687039B2 (en) | Object detection device, device control system, imaging device, object detection method, and program | |
| US11691585B2 (en) | Image processing apparatus, imaging device, moving body device control system, image processing method, and program product | |
| US10628960B2 (en) | Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and recording medium | |
| JPH08329393A (en) | Preceding vehicle detector | |
| EP3282389A1 (en) | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program | |
| JP4052291B2 (en) | Image processing apparatus for vehicle | |
| JPH06229759A (en) | System for estimating distance and speed of preceding vehicle using image | |
| JP6340849B2 (en) | Image processing apparatus, image processing method, image processing program, and mobile device control system | |
| JPH0981757A (en) | Vehicle position detecting device | |
| JP3600314B2 (en) | External environment recognition device for vehicles | |
| JP3612821B2 (en) | In-vehicle distance measuring device | |
| JP3586938B2 (en) | In-vehicle distance measuring device | |
| JP4106163B2 (en) | Obstacle detection apparatus and method | |
| JP3399113B2 (en) | Vehicle travel path recognition device and alarm / travel control device using the same | |
| JP4629638B2 (en) | Vehicle periphery monitoring device | |
| US7545955B2 (en) | Vehicle surroundings monitoring apparatus | |
| JPH08329397A (en) | Vehicle recognition device and vehicle approach reporting device using same | |
| EP3287948B1 (en) | Image processing apparatus, moving body apparatus control system, image processing method, and program | |
| EP3327696B1 (en) | Information processing apparatus, imaging device, device control system, mobile body, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040628 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050308 |