JP5561064B2 - Vehicle object recognition device - Google Patents
Vehicle object recognition device Download PDFInfo
- Publication number
- JP5561064B2 JP5561064B2 JP2010213774A JP2010213774A JP5561064B2 JP 5561064 B2 JP5561064 B2 JP 5561064B2 JP 2010213774 A JP2010213774 A JP 2010213774A JP 2010213774 A JP2010213774 A JP 2010213774A JP 5561064 B2 JP5561064 B2 JP 5561064B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- predetermined area
- removal line
- inter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000010191 image analysis Methods 0.000 claims description 83
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 description 53
- 238000000034 method Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、車載カメラの撮像画像を解析し、撮像画像中に存在する道路区画線や道路表示等の路面上の認識対象物を認識する車両用対象物認識装置に関する。 The present invention relates to a vehicle object recognition apparatus that analyzes a captured image of an in-vehicle camera and recognizes a recognition target object on a road surface such as a road marking line or a road display existing in the captured image.
従来、車両が走行車線を逸脱せずに走行できるように運転支援を行う制御システムが知られている。例えば、ＬＫＡ（Lane Keeping Assist）と称される車線維持支援制御システムでは、走行車線内を車両が走行できるように小さい操舵力が出力されたり、ステアリングアシストトルクが出力されたりする。また、ＬＤＷ（Lane Departure Warninng）と称される車線逸脱警報制御システムでは、車両が走行車線から逸脱したタイミング、或いは逸脱しようとしているタイミングで、スピーカや表示装置によって警報の出力が行われる。 2. Description of the Related Art Conventionally, there has been known a control system that provides driving assistance so that a vehicle can travel without departing from a traveling lane. For example, in a lane keeping assist control system called LKA (Lane Keeping Assist), a small steering force is output or a steering assist torque is output so that the vehicle can travel in the traveling lane. In a lane departure warning control system called LDW (Lane Departure Warninng), a warning is output by a speaker or a display device at a timing when the vehicle deviates from or is about to depart.
これらの制御システムでは、走行車線と車両の位置関係を認識することが必要となる。係る認識は、車載カメラによって車両周辺を撮像し、撮像画像上で走行車線を区画する道路区画線の位置を認識する処理を経て行われる。従って、車載カメラの撮像画像を解析して道路区画線を認識する技術が必要となっている。 In these control systems, it is necessary to recognize the positional relationship between the traveling lane and the vehicle. Such recognition is performed through a process of recognizing the position of a road lane marking that divides a traveling lane on the captured image by capturing an image of the periphery of the vehicle with an in-vehicle camera. Therefore, there is a need for a technique for recognizing road lane markings by analyzing a captured image of a vehicle-mounted camera.
ここで、撮像画像の解析は、画像全体に亘って行うと処理負荷が大きくなるため、画像中で道路面を撮像している可能性が高いと思われる所定領域について行われるのが通常である。 Here, since analysis of the captured image increases the processing load when performed over the entire image, it is usually performed for a predetermined area that is likely to capture the road surface in the image. .
なお、このように、画像における解析対象範囲を限定するのは、道路区画線を認識する装置に限られない。例えば、横断歩道や速度表示、右左折可能か否かを示す矢印、一時停止位置線等の、路面上の認識対象物を認識する装置についても、同様のことがいえる。 As described above, the range to be analyzed in the image is not limited to a device that recognizes road lane markings. For example, the same applies to devices that recognize recognition objects on the road surface, such as pedestrian crossings, speed displays, arrows indicating whether right / left turns are possible, and temporary stop position lines.
特許文献１には、撮像手段の撮像画像から画像認識された道路形状に基づいて、車両が車線を維持して走行するように制御するレーンキープ制御を備える車両走行制御装置について記載されている。この装置では、自車両の直前を走行する先行車両との車間距離をレーダ装置等で測定し、先行車両との車間距離に応じて撮像手段の撮像範囲、又はその撮像画像における画像認識範囲（上記所定領域撮像手段の撮像範囲、又はその撮像画像における画像認識範囲）を車両側方に移動させる処理を行っている。 Patent Document 1 describes a vehicle travel control device including a lane keeping control for controlling a vehicle to travel while maintaining a lane based on a road shape recognized from a captured image of an imaging unit. In this apparatus, an inter-vehicle distance from a preceding vehicle traveling immediately in front of the host vehicle is measured by a radar device or the like, and an imaging range of an imaging unit or an image recognition range in the captured image according to the inter-vehicle distance from the preceding vehicle (described above) Processing for moving the imaging range of the predetermined area imaging means or the image recognition range in the captured image) to the side of the vehicle is performed.
また、実用化されている制御システムシステムでは、車間距離に基づいて算出される先行車両の後端部の画像上の位置（画像縦方向の座標）に横方向のラインを設定し、このラインよりも遠方側の画像を所定領域から除外する処理が行われている。 Moreover, in the control system system that has been put into practical use, a horizontal line is set at the position (image vertical coordinate) of the rear end of the preceding vehicle calculated based on the inter-vehicle distance. Also, a process of excluding the far-side image from the predetermined area is performed.
しかしながら、車間距離のみに基づいて先行車両の遮蔽程度を認識する場合、自車両の姿勢や挙動に起因して、画像解析を行う対象となる領域の設定が適切なものとならない場合がある。このため、従来の制御システムでは、道路区画線の認識精度が低下する場合がある。 However, when the degree of occlusion of the preceding vehicle is recognized based only on the inter-vehicle distance, the setting of the region to be subjected to image analysis may not be appropriate due to the posture and behavior of the host vehicle. For this reason, in the conventional control system, the recognition accuracy of a road lane marking may fall.
本発明はこのような課題を解決するためのものであり、より適切な範囲に設定された領域で対象物の認識を行うことが可能な車両用対象物認識装置を提供することを、主たる目的とする。 The present invention is intended to solve such problems, and a main object of the present invention is to provide a vehicle object recognition device capable of recognizing an object in a region set in a more appropriate range. And
上記目的を達成するための本発明の第１の態様は、
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記ピッチ角取得手段により取得された自車両のピッチ角が水平方向よりも上向きである場合には、前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて前記除去ラインを補正することを特徴とする、
車両用対象物認識装置である。
In order to achieve the above object, the first aspect of the present invention provides:
Imaging means for imaging the front of the host vehicle;
Image analysis means for recognizing a recognition object on a road surface existing in a predetermined area in an image picked up by the image pickup means;
An inter-vehicle distance acquisition means for acquiring an inter-vehicle distance from a preceding vehicle traveling immediately before the host vehicle;
Pitch angle acquisition means for acquiring the pitch angle of the host vehicle,
The image analysis means includes
Based on the inter-vehicle distance acquired by the inter-vehicle distance acquisition means, a removal line having a vertical coordinate on the image corresponding to the rear lower end portion of the preceding vehicle and extending in the horizontal direction of the image is set and set. A means for recognizing the recognition object by excluding an area farther from the removal line from the predetermined area,
When the pitch angle of the host vehicle acquired by the pitch angle acquiring unit is higher than the horizontal direction, the removal line is corrected based on the pitch angle of the host vehicle acquired by the pitch angle acquiring unit. Characterized by the
1 is a vehicle object recognition device.
この本発明の第１の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。 According to the first aspect of the present invention, the object can be recognized in a region set in a more appropriate range.
なお、本発明の各態様において、車間距離取得手段は、レーダー装置であってもよいし、画像解析によって距離を測定する装置であってもよい。 In each aspect of the present invention, the inter-vehicle distance acquisition means may be a radar device or a device that measures a distance by image analysis.
本発明の第１の態様において、
前記前記画像解析手段は、前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とするものとしてもよい。
In the first aspect of the present invention,
The image analysis unit may move the predetermined area closer to the own vehicle when the set removal line passes through the predetermined area.
本発明の第２の態様は、
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置である。
The second aspect of the present invention is:
Imaging means for imaging the front of the host vehicle;
Image analysis means for recognizing a recognition object on a road surface existing in a predetermined area in an image picked up by the image pickup means;
An inter-vehicle distance acquisition means for acquiring an inter-vehicle distance from a preceding vehicle traveling immediately before the host vehicle;
With
The image analysis means includes
Based on the inter-vehicle distance acquired by the inter-vehicle distance acquisition means, a removal line having a vertical coordinate on the image corresponding to the rear lower end portion of the preceding vehicle and extending in the horizontal direction of the image is set and set. A means for recognizing the recognition object by excluding an area farther from the removal line from the predetermined area,
When the set removal line passes through the predetermined area, the predetermined area is moved closer to the own vehicle,
1 is a vehicle object recognition device.
この本発明の第２の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。 According to the second aspect of the present invention, the object can be recognized in a region set in a more appropriate range.
本発明の第３の態様は、
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記ピッチ角取得手段により取得された自車両のピッチ角が水平方向よりも下向きである場合には、前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて前記除去ラインを補正することを特徴とする、
車両用対象物認識装置である。
The third aspect of the present invention is:
Imaging means for imaging the rear of the vehicle;
Image analysis means for recognizing a recognition object on a road surface existing in a predetermined area in an image picked up by the image pickup means;
An inter-vehicle distance acquisition means for acquiring an inter-vehicle distance with a subsequent vehicle traveling immediately after the host vehicle;
Pitch angle acquisition means for acquiring the pitch angle of the host vehicle,
The image analysis means includes
Based on the inter-vehicle distance acquired by the inter-vehicle distance acquisition means, a removal line having a vertical coordinate on the image corresponding to the front lower end portion of the succeeding vehicle and extending in the horizontal direction of the image is set. A means for recognizing the recognition object by excluding an area farther from the removal line from the predetermined area,
When the pitch angle of the host vehicle acquired by the pitch angle acquiring unit is downward from the horizontal direction, the removal line is corrected based on the pitch angle of the host vehicle acquired by the pitch angle acquiring unit. Characterized by the
1 is a vehicle object recognition device.
この本発明の第３の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。 According to the third aspect of the present invention, the object can be recognized in a region set in a more appropriate range.
本発明の第３の態様において、
前記前記画像解析手段は、前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とするものとしてもよい。
In a third aspect of the present invention,
The image analysis unit may move the predetermined area closer to the own vehicle when the set removal line passes through the predetermined area.
本発明の第４の態様は、
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置である。
The fourth aspect of the present invention is:
Imaging means for imaging the rear of the vehicle;
Image analysis means for recognizing a recognition object on a road surface existing in a predetermined area in an image picked up by the image pickup means;
An inter-vehicle distance acquisition means for acquiring an inter-vehicle distance with a subsequent vehicle traveling immediately after the host vehicle;
With
The image analysis means includes
Based on the inter-vehicle distance acquired by the inter-vehicle distance acquisition means, a removal line having a vertical coordinate on the image corresponding to the front lower end portion of the succeeding vehicle and extending in the horizontal direction of the image is set. A means for recognizing the recognition object by excluding an area farther from the removal line from the predetermined area,
When the set removal line passes through the predetermined area, the predetermined area is moved closer to the own vehicle,
1 is a vehicle object recognition device.
この本発明の第４の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。 According to the fourth aspect of the present invention, the object can be recognized in a region set in a more appropriate range.
本発明によれば、より適切な範囲に設定された領域で対象物の認識を行うことが可能な車両用対象物認識装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the vehicle object recognition apparatus which can recognize a target object in the area | region set to the more suitable range can be provided.
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。なお、本発明の車両用対象物認識装置は、道路区画線や横断歩道、速度表示、右左折可能か否かを示す矢印、一時停止位置線その他の、道路上に存在する認識対象物を認識するための装置であるが、以下の説明では、専ら道路区画線を認識する装置であるものとして説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described with reference to the accompanying drawings. The vehicle object recognition device of the present invention recognizes recognition objects existing on the road, such as road marking lines, pedestrian crossings, speed display, arrows indicating whether right / left turn is possible, temporary stop position lines, and the like. However, in the following description, it is assumed that the device is exclusively a device that recognizes road marking lines.
＜第１実施例＞
［構成及び機能］
以下、図面を参照し、本発明の第１実施例に係る車両用対象物認識装置１について説明する。図１は、本発明の第１実施例に係る車両用対象物認識装置１の機能ブロック図である。車両用対象物認識装置１は、主要な構成として、前方カメラ１０と、車間距離取得部２０と、ピッチ角取得部３０と、画像解析部４０と、を備える。後述するように、車間距離取得部２０、ピッチ角取得部３０、及び画像解析部４０は、独立した装置であってもよいが、同一のコンピュータ装置が実現する複数の機能であってもよい。
<First embodiment>
[Configuration and function]
Hereinafter, a vehicle object recognition device 1 according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a functional block diagram of a vehicle object recognition device 1 according to a first embodiment of the present invention. The vehicle object recognition device 1 includes a front camera 10, an inter-vehicle distance acquisition unit 20, a pitch angle acquisition unit 30, and an image analysis unit 40 as main components. As will be described later, the inter-vehicle distance acquisition unit 20, the pitch angle acquisition unit 30, and the image analysis unit 40 may be independent devices, or may be a plurality of functions realized by the same computer device.
前方カメラ１０は、例えばウインドシールド中央上部に取り付けられた、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を利用したカメラであり、自車両（車両用対象物認識装置１が搭載された車両をいう）の前方斜め下方を撮像領域とし、数［ｍｓ］毎に繰り返し撮像を行なう。前方カメラ１０の撮像画像は、例えばＮＴＳＣ（National Television Standards Committee）等のインターレース方式によって生成される画像信号として、定期的に（例えば、撮像フレーム毎に）画像解析部４０に送信される。 The front camera 10 is a camera using an image sensor such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) attached to the upper center of the windshield, for example. 1) (referred to as a vehicle on which 1 is mounted) is set as an imaging region, and imaging is repeated every several [ms]. The captured image of the front camera 10 is transmitted to the image analysis unit 40 periodically (for example, for each captured frame) as an image signal generated by an interlace method such as NTSC (National Television Standards Committee).
（車間距離取得）
車間距離取得部２０は、例えばフロントグリル裏に取り付けられたミリ波レーダー装置であり、ミリ波の反射波が帰ってくるまでの時間、反射波の位相、及び周波数変化等を利用して自車両の前方に存在する物体との距離、方位、相対速度を検出する。車間距離取得部２０は、このような検出を定期的に行なって、例えば反射波の強度が所定値以上であり、且つ相対速度が所定値未満である場合に、検出した物体が、自車両の直前を走行する先行車両であると判断し、物体に関する情報（距離、方位、相対速度）を画像解析部４０に送信する。
(Acquire distance between vehicles)
The inter-vehicle distance acquisition unit 20 is, for example, a millimeter wave radar device attached to the back of the front grille, and uses the time until the reflected wave of the millimeter wave returns, the phase of the reflected wave, the frequency change, etc. The distance, direction, and relative speed with the object in front of is detected. The inter-vehicle distance acquisition unit 20 periodically performs such detection. For example, when the intensity of the reflected wave is equal to or higher than a predetermined value and the relative speed is lower than the predetermined value, the detected object is It is determined that the vehicle is a preceding vehicle traveling immediately before, and information (distance, azimuth, relative speed) regarding the object is transmitted to the image analysis unit 40.
なお、車間距離取得のための手段としては、上記ミリ波レーダーの他、レーザーレーダーや赤外線レーダー、ステレオカメラ、前方カメラ１０の撮像画像解析によるものが考えられる。 In addition, as means for acquiring the inter-vehicle distance, in addition to the millimeter wave radar, a laser radar, an infrared radar, a stereo camera, and a captured image analysis of the front camera 10 can be considered.
前方カメラ１０の撮像画像解析による車間距離の取得は、例えば、（１）前方カメラ１０の撮像画像における地平線位置と先行車両の下端部との距離（ピクセル長さ）に基づいて算出することにより行われる。図２（Ａ）は、前方カメラ１０の撮像画像例であり、図２（Ｂ）は、撮像画像における地平線位置と先行車両の下端部との距離に基づいて車間距離を算出する原理を説明するための説明図である。図示するように、地平線位置と先行車両の下端部との画像上の距離をyとすると、先行車両との車間距離Ｚは、次式（１）で表される。式中、FOCUSは焦点距離であり、CAM_HEIGHTは前方カメラ１０が設置された高さである（図２では、単にHと表記した）。撮像画像における地平線位置は、前方カメラ１０の設置パラメータ（高さ、焦点距離等）から導出される。先行車両の下端部位置は、撮像画像にパターンマッチング処理を行ったり、路面との輝度差に基づいて判別したりすることができる。 Acquisition of the inter-vehicle distance by the captured image analysis of the front camera 10 is performed by, for example, (1) calculating based on the distance (pixel length) between the horizon position in the captured image of the front camera 10 and the lower end of the preceding vehicle. Is called. 2A is an example of a captured image of the front camera 10, and FIG. 2B illustrates the principle of calculating the inter-vehicle distance based on the distance between the horizon position in the captured image and the lower end of the preceding vehicle. It is explanatory drawing for. As shown in the figure, when the distance on the image between the horizon position and the lower end portion of the preceding vehicle is y, the inter-vehicle distance Z with the preceding vehicle is expressed by the following equation (1). In the equation, FOCUS is a focal length, and CAM_HEIGHT is a height at which the front camera 10 is installed (in FIG. 2, simply indicated as H). The horizon position in the captured image is derived from the installation parameters (height, focal length, etc.) of the front camera 10. The position of the lower end portion of the preceding vehicle can be determined by performing pattern matching processing on the captured image or based on a luminance difference from the road surface.
Z＝FOCUS・CAM_HEIGHT／y …（１）
また、（２）前方カメラ１０の撮像画像における先行車両の幅（ピクセル幅）に基づいて算出することもできる。図３（Ａ）は、前方カメラ１０の撮像画像例であり、図３（Ｂ）は、撮像画像における先行車両の幅に基づいて車間距離を算出する原理を説明するための説明図である。なお、この場合、何らかの手法により、先行車両の実際の幅が判明している必要がある。図示するように、撮像画像における先行車両の幅をwとすると、先行車両との車間距離Zは、次式（２）で表される。式中、Wは先行車両の実際の車幅である。撮像画像における先行車両の幅は、上記（１）と同様、撮像画像にパターンマッチング処理を行ったり、背景との輝度差に基づいて判別したりすることができる。
Z = FOCUS · CAM_HEIGHT / y (1)
Also, (2) it can be calculated based on the width (pixel width) of the preceding vehicle in the captured image of the front camera 10. FIG. 3A is an example of a captured image of the front camera 10, and FIG. 3B is an explanatory diagram for explaining the principle of calculating the inter-vehicle distance based on the width of the preceding vehicle in the captured image. In this case, the actual width of the preceding vehicle needs to be known by some method. As shown in the figure, when the width of the preceding vehicle in the captured image is w, the inter-vehicle distance Z with the preceding vehicle is expressed by the following equation (2). In the formula, W is the actual width of the preceding vehicle. Similar to the above (1), the width of the preceding vehicle in the captured image can be determined by performing pattern matching processing on the captured image or based on the luminance difference from the background.
Z=FOCUS・W／w …（２）
また、車両前方を撮像するカメラが二個以上存在する場合は（ステレオカメラ）、視差を利用して先行車両との車間距離Zを取得することができる。以下、左右のカメラによる視差を利用した距離の測定について説明する。視差を利用した距離の測定は、例えば、画像取り込み、画像変換処理、左右対応点探索処理、視差点画像作成処理、視差点投票処理、立体物判定処理の順に行われる。
Z = FOCUS · W / w (2)
Further, when there are two or more cameras that image the front of the vehicle (stereo camera), the inter-vehicle distance Z with the preceding vehicle can be acquired using parallax. Hereinafter, distance measurement using parallax by the left and right cameras will be described. The distance measurement using parallax is performed in the order of, for example, image capture, image conversion processing, left / right corresponding point search processing, parallax point image creation processing, parallax point voting processing, and three-dimensional object determination processing.
図４は、画像変換処理が行われる様子を示す図である。まず、左右のカメラによる画像に対して、歪補正処理が行われ、次いで、左右いずれかのカメラによる画像（歪補正処理後）に対して、平行化処理を行う。これらの処理は、例えば図５に示すような画像変換によって行われる。図５は、画像変換処理の原理を説明するための説明図である。係る画像変換は、例えば、カメラの元画像におけるレンズ等による歪みと、現実風景の画像の関係を予め取得しておき、この関係に基づき入力画像と出力画像との関係を規定した変換テーブルを用いて行う。ここで、入力画像における画素と出力画像における画素が一対一に対応しない場合があるが、この場合、出力画素に対応する入力画像の点の座標を求め、その座標の周囲四画素の入力画素の画素値により補間する処理を行う。平行化処理では、予め判明している左右のカメラのピッチ角に基づいて、水平線を一致させるように左右のいずれかのカメラによる画像を回転させる。 FIG. 4 is a diagram illustrating how the image conversion process is performed. First, distortion correction processing is performed on images from the left and right cameras, and then parallelization processing is performed on images from the left and right cameras (after distortion correction processing). These processes are performed by image conversion as shown in FIG. 5, for example. FIG. 5 is an explanatory diagram for explaining the principle of image conversion processing. Such image conversion uses, for example, a conversion table that preliminarily obtains a relationship between distortion caused by a lens or the like in an original image of a camera and an image of a real scene and defines a relationship between an input image and an output image based on this relationship. Do it. Here, there are cases where the pixels in the input image and the pixels in the output image do not have a one-to-one correspondence. In this case, the coordinates of the points of the input image corresponding to the output pixels are obtained, and the four input pixels around the coordinates are determined. Interpolation is performed based on pixel values. In the parallelization process, based on the pitch angles of the left and right cameras that have been identified in advance, the image from either the left or right camera is rotated so that the horizontal lines coincide.
画像変換処理が行われると、左右対応点探索処理が行われる。係る処理に先立って、まず粗い解像度で探索を行い、次いで細かい解像度で探索を行うと、処理負荷を軽減することができる。図６は、左右対応点探索処理が行われる様子を示す図である。図示するように、左右対応点探索処理では、例えば左カメラの画像における特徴的な物体（例えば周辺画素との輝度差が大きい点を連ねた想定物体をいう）と同一の物体を、右カメラの画像において当該物体と同一の縦方向座標を有する横方向の走査ライン（ある程度の幅を有してもよい）上で探索する。図７は、横方向に左カメラの画像における特徴的な物体（図中、テンプレートＴijと表記した）と同一の物体を、右カメラの画像において横方向に探索する様子を示す図である。図示するように、右カメラの画像において横方向にテンプレートと同じ大きさを有する画素の集合（図中、リファレンスＲijと表記した）が順に選択され、相関値が最小となる画素の集合が、同一の物体であると判断される。 When the image conversion process is performed, a left / right corresponding point search process is performed. Prior to such processing, if a search is first performed with a coarse resolution and then a search is performed with a fine resolution, the processing load can be reduced. FIG. 6 is a diagram illustrating a state in which the left / right corresponding point search process is performed. As shown in the figure, in the left-right corresponding point search process, for example, the same object as a characteristic object in the left camera image (for example, an assumed object in which a point having a large luminance difference from surrounding pixels) is connected to the right camera. A search is made on a horizontal scanning line (which may have a certain width) having the same vertical coordinate as the object in the image. FIG. 7 is a diagram illustrating a state in which the same object as the characteristic object (denoted as template T ij in the drawing) in the left camera image is searched in the horizontal direction in the horizontal camera image. As shown in the figure, in the right camera image, a set of pixels having the same size as the template in the horizontal direction (denoted as reference R ij in the figure) is sequentially selected, and a set of pixels having the smallest correlation value is It is determined that they are the same object.
そして、左カメラの画像における特徴的な物体と、右カメラの画像において発見された物体との横方向座標の差を視差ｄとし、視差ｄと左右のカメラの設置パラメータによって、当該物体との距離を算出する。このようにして、左右いずれかのカメラの画像における特徴的な物体のそれぞれについて距離が対応付けられた視差画像が作成される。図８は、粗い解像度で探索を行った結果として作成される視差画像の一例である。 The difference between the lateral coordinates of the characteristic object in the image of the left camera and the object found in the image of the right camera is set as the parallax d, and the distance from the object is determined by the parallax d and the left and right camera installation parameters Is calculated. In this way, a parallax image in which distances are associated with each of the characteristic objects in the left and right camera images is created. FIG. 8 is an example of a parallax image created as a result of searching with a coarse resolution.
視差画像が作成されると、視差点投票処理が行われ、所定数以上の投票を得た物体が、現実に存在する物体であると判断される。図９は、視差点投票処理が行われる様子を示す図である。そして、視差点を連ねた一連の物体を立体物であると判断する立体物判定処理が行われることにより、先行車両等の立体物が認識される。図１０は、立体物判定処理が行われた結果、二個の立体物が認識された様子を示す図である。 When the parallax image is created, a parallax point voting process is performed, and an object that has obtained a predetermined number or more of votes is determined to be an actually existing object. FIG. 9 is a diagram illustrating a state where the parallax point voting process is performed. Then, a three-dimensional object such as a preceding vehicle is recognized by performing a three-dimensional object determination process for determining that a series of objects having a series of parallax points is a three-dimensional object. FIG. 10 is a diagram illustrating a state in which two three-dimensional objects are recognized as a result of the three-dimensional object determination process.
（ピッチ角取得）
ピッチ角取得部３０は、例えば、画像解析部４０が認識した道路区画線に対して、予め記憶手段に保持している道路形状モデル（異なる曲率や車線幅に対応して複数のものが存在する）との間でカルマンフィルタ等によるフィッティング（当てはめ）を行い、モデルと認識結果のズレ量に基づいて自車両のピッチ角を算出する。自車両のピッチ角とは、自車両の水平軸が水平方向に対してなす角度である。以下、ピッチ角は自車両の前方が上向いている場合を正とする。
(Pitch angle acquisition)
For example, the pitch angle acquisition unit 30 has a plurality of road shape models (corresponding to different curvatures and lane widths) stored in the storage unit in advance for the road lane markings recognized by the image analysis unit 40. ) With a Kalman filter or the like, and the pitch angle of the host vehicle is calculated based on the amount of deviation between the model and the recognition result. The pitch angle of the host vehicle is an angle formed by the horizontal axis of the host vehicle with respect to the horizontal direction. Hereinafter, the pitch angle is positive when the front of the host vehicle is facing upward.
例えば、直線道路において道路区画線の幅がモデルよりも遠方に行くに従って細くなっている場合、ピッチ角が上向きである（正の値をもつ）と判断できる。また、上記フィッティングに際して、ナビゲーション装置から現在走行中の道路に関する情報を取得してもよい。 For example, when the width of the road lane marking becomes narrower as it goes further than the model on a straight road, it can be determined that the pitch angle is upward (has a positive value). In the fitting, information on a road that is currently running may be acquired from the navigation device.
なお、ピッチ角取得部３０は、このような態様に限らず、Ｇセンサの出力、各車輪に連結されたハイトコントロールセンサの出力に基づく演算結果等を利用して車両のピッチ角を取得するものであってもよい。 The pitch angle acquisition unit 30 is not limited to such a mode, and acquires the pitch angle of the vehicle using the output of the G sensor, the calculation result based on the output of the height control sensor connected to each wheel, and the like. It may be.
（道路区画線認識）
画像解析部４０は、前方カメラ１０により撮像された撮像画像における所定領域について画像解析を行い、当該所定領域に存在する道路区画線を認識する。図１１は、撮像画像に設定される所定領域を示す図である。所定領域は、例えば画像の横方向中心線を中心とした所定幅をもち、且つ縦方向に関しては自車両の前方５［ｍ］〜３０［ｍ］に相当する領域として設定されている。
(Road line recognition)
The image analysis unit 40 performs image analysis on a predetermined area in the captured image captured by the front camera 10, and recognizes road marking lines existing in the predetermined area. FIG. 11 is a diagram illustrating a predetermined area set in a captured image. The predetermined area has, for example, a predetermined width centered on the horizontal center line of the image and is set as an area corresponding to 5 [m] to 30 [m] ahead of the host vehicle in the vertical direction.
道路区画線の認識は、白直線や破線、黄線等の直線状の道路区画線に対しては、例えば、所定領域内で隣接画素との輝度差が閾値以上である画素を抽出し、抽出した画素のうち直線的に並んだものを道路区画線の輪郭であると認識する。直線状に並んだ画素を抽出する際には、ハフ変換等の処理が行われる。また、ボッツドッツやキャッツアイ等の点列状区画線に対しては、モルフォロジー演算等のノイズ除去処理を行って、これらを認識する。なお、道路区画線を含めた認識対象物の認識に係る具体的処理については、本発明の中核をなさないので詳細な説明を省略する。 For recognition of road lane markings, for straight road lane markings such as white straight lines, broken lines, and yellow lines, for example, pixels with a luminance difference equal to or greater than a threshold value within a predetermined area are extracted and extracted. Among the pixels that have been aligned, those that are arranged in a straight line are recognized as the outline of the road marking line. When extracting pixels arranged in a straight line, processing such as Hough transform is performed. In addition, noise removal processing such as morphological operation is performed on the dotted line lines such as botsdots and cat's eyes to recognize them. In addition, about the specific process which concerns on the recognition of the recognition target object including a road marking line, since it does not become the core of this invention, detailed description is abbreviate | omitted.
また、画像解析部４０は、車間距離取得部２０により取得された先行車両との車間距離に基づいて、先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、除去ラインよりも遠方側の領域を所定領域から除外して画像解析を行う。除去ラインの縦方向座標isrcは、次式（３）で求められる。なお、縦方向座標isrcは、画像における上端部をゼロ点とし、下方に移動するのに応じて値が大きくなるものとする。 Further, the image analysis unit 40 has a vertical coordinate on the image corresponding to the rear lower end of the preceding vehicle based on the inter-vehicle distance acquired by the inter-vehicle distance acquisition unit 20 and extends in the horizontal direction of the image. An existing removal line is set, and an image analysis is performed by excluding an area farther from the removal line from a predetermined area. The vertical coordinate isrc of the removal line is obtained by the following equation (3). Note that the vertical coordinate isrc has a value that increases as it moves downward, with the upper end of the image as the zero point.
除去ラインは、先行車両の後端部（車間距離の基準位置）から路面に垂線を下ろした路面上の位置に対応している。式中、INPUTIMAGE_HEIGHTは、画像縦幅であり、これを２で除したものは画像の縦方向に関する中心線の座標を示している。また、CAM_DEP_ANGは、前方カメラ１０の俯角であり、RESOLUTIONVは、前方カメラ１０の撮像画像における垂直方向の解像度である。 The removal line corresponds to a position on the road surface that is perpendicular to the road surface from the rear end (reference position of the inter-vehicle distance) of the preceding vehicle. In the equation, INPUTIMAGE_HEIGHT is the image vertical width, and dividing this by 2 indicates the coordinates of the center line in the vertical direction of the image. Further, CAM_DEP_ANG is a depression angle of the front camera 10, and RESOLUTIONV is a vertical resolution in a captured image of the front camera 10.
isrc＝INPUTIMAGE_HEIGHT／2−（−FOCUS×CAM_HEIGHT／Z−FOCUS×CAM_DEP_ANG）／RESOLUTIONV …（３）
ところで、このような除去ラインを設定する際に、路面勾配や凹凸に起因して自車両のピッチ角が変動している可能性がある。ピッチ角が変動すると、上式（３）で算出した除去ラインが、先行車両の後下端部に対応した位置からズレを生じる場合がある。図１２は、自車両のピッチ角が上向くことにより除去ラインが上方向にズレてしまった様子を示す図である。なお、図中、除去ラインよりも遠方側の領域を除去領域と表記している。
isrc = INPUTIMAGE_HEIGHT / 2 − (− FOCUS × CAM_HEIGHT / Z−FOCUS × CAM_DEP_ANG) / RESOLUTIONV (3)
By the way, when such a removal line is set, there is a possibility that the pitch angle of the host vehicle fluctuates due to road surface gradients or unevenness. When the pitch angle fluctuates, the removal line calculated by the above equation (3) may be displaced from the position corresponding to the rear lower end of the preceding vehicle. FIG. 12 is a diagram illustrating a state where the removal line has shifted upward due to the pitch angle of the host vehicle increasing. In the figure, a region farther from the removal line is referred to as a removal region.
そこで、画像解析部４０は、ピッチ角取得部３０により取得された自車両のピッチ角が水平方向よりも上向きである（正の値をもつ）場合には、次式（４）のように除去ラインの縦方向座標isrcを補正する。式中、CamPichAngは、ピッチ角取得部３０により取得された自車両のピッチ角を示している。 Therefore, when the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30 is upward (has a positive value), the image analysis unit 40 removes the following equation (4). Correct the vertical coordinate isrc of the line. In the equation, CamPichAng represents the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30.
isrc＝INPUTIMAGE_HEIGHT／2−（−FOCUS×CAM_HEIGHT／Z−FOCUS×（CAM_DEP_ANG＋CamPichAng））／RESOLUTIONV …（４）
このように、ピッチ角取得部３０により取得された自車両のピッチ角を加味して除去ラインを設定することにより、自車両のピッチ角が上向きである場合でも、先行車両の後下端部に対応した位置に除去ラインを設定することができる。この結果、より適切な範囲に設定された所定領域で道路区画線の認識を行うことができる。図１３は、除去ラインが適切に補正された様子を示す図である。
isrc = INPUTIMAGE_HEIGHT / 2 − (− FOCUS × CAM_HEIGHT / Z−FOCUS × (CAM_DEP_ANG + CamPichAng )) / RESOLUTIONV (4)
In this way, by setting the removal line in consideration of the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30, it corresponds to the rear lower end portion of the preceding vehicle even when the pitch angle of the host vehicle is upward. A removal line can be set at the position. As a result, road lane markings can be recognized in a predetermined area set in a more appropriate range. FIG. 13 is a diagram illustrating a state in which the removal line is appropriately corrected.
なお、自車両のピッチ角が上向きの場合にのみ上記補正を行うのは、所定領域を拡げて画像解析を広範囲に行う必要性よりは、先行車両が存在する可能性を排除できない領域にまで画像解析の対象を拡げることにより生じうる、誤認識を避ける必要性が高いことに基づく。 It should be noted that the above correction is performed only when the pitch angle of the host vehicle is upward, rather than the necessity of expanding the predetermined area and performing image analysis over a wide range, the image is extended to an area where the possibility of the presence of the preceding vehicle cannot be excluded. This is based on the high necessity of avoiding misrecognition, which can be caused by expanding the scope of analysis.
以下、画像解析部４０により実行される処理の流れについて説明する。なお、以下の各フロー、エッジ点抽出処理を行って白線等を認識することを前提としている。 Hereinafter, the flow of processing executed by the image analysis unit 40 will be described. It is assumed that a white line or the like is recognized by performing the following flow and edge point extraction processing.
［処理フロー１＿１］
図１４は、画像解析部４０により実行される特徴的な処理の流れを示すフローチャートである。
[Processing flow 1_1]
FIG. 14 is a flowchart showing a flow of characteristic processing executed by the image analysis unit 40.
まず、画像解析部４０は、所定領域内でエッジ点抽出処理を行う（Ｓ１００）。 First, the image analysis unit 40 performs edge point extraction processing within a predetermined region (S100).
そして、ピッチ角取得部３０により取得された自車両のピッチ角が正の値であるか否かを判定する（Ｓ１０２）。 And it is determined whether the pitch angle of the own vehicle acquired by the pitch angle acquisition part 30 is a positive value (S102).
ピッチ角取得部３０により取得された自車両のピッチ角がゼロ又は負の値である場合は、先行車両との車間距離に基づいて、すなわち上式（３）により除去ラインを設定する（Ｓ１０４）。 When the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30 is zero or a negative value, a removal line is set based on the inter-vehicle distance from the preceding vehicle, that is, the above equation (3) (S104). .
ピッチ角取得部３０により取得された自車両のピッチ角が正の値である場合は、先行車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式（４）により除去ラインを設定する（Ｓ１０６）。 When the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30 is a positive value, the removal line is set based on the inter-vehicle distance from the preceding vehicle and the pitch angle of the host vehicle, that is, the above equation (4). (S106).
Ｓ１０４とＳ１０６のいずれかにおいて除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する（Ｓ１０８）。設定した除去ラインが所定領域を通過する場合は、設定した除去ラインよりも遠方側のエッジ点を除去する（Ｓ１１０）。 When a removal line is set in either S104 or S106, it is determined whether or not the set removal line passes through a predetermined area (S108). When the set removal line passes through the predetermined area, the edge point farther from the set removal line is removed (S110).
そして、残されたエッジ点を用いて道路区画線の認識を行う（Ｓ１１２）。 Then, the road lane marking is recognized using the remaining edge points (S112).
なお、このフローにおいて、「除去ライン設定」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。 In this flow, the processing may be performed in the order of “removal line setting” → “extract edge points in a region of the predetermined area before the removal line”.
［処理フロー１＿２］
また、画像解析部４０は、設定した除去ラインが所定領域を通過する場合には、所定領域を自車両に近い側に移動させるものとしてもよい。図１５は、この場合に、画像解析部４０により実行される特徴的な処理の流れを示すフローチャートである。
[Processing flow 1_2]
Further, when the set removal line passes through the predetermined area, the image analysis unit 40 may move the predetermined area closer to the own vehicle. FIG. 15 is a flowchart showing a flow of characteristic processing executed by the image analysis unit 40 in this case.
まず、画像解析部４０は、所定領域内でエッジ点抽出処理を行う（Ｓ２００）。 First, the image analysis unit 40 performs edge point extraction processing within a predetermined region (S200).
そして、ピッチ角取得部３０により取得された自車両のピッチ角が正の値であるか否かを判定する（Ｓ２０２）。 And it is determined whether the pitch angle of the own vehicle acquired by the pitch angle acquisition part 30 is a positive value (S202).
ピッチ角取得部３０により取得された自車両のピッチ角がゼロ又は負の値である場合は、先行車両との車間距離に基づいて、すなわち上式（３）により除去ラインを設定する（Ｓ２０４）。 If the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30 is zero or a negative value, a removal line is set based on the inter-vehicle distance from the preceding vehicle, that is, the above equation (3) (S204). .
ピッチ角取得部３０により取得された自車両のピッチ角が正の値である場合は、先行車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式（４）により除去ラインを設定する（Ｓ２０６）。 When the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30 is a positive value, the removal line is set based on the inter-vehicle distance from the preceding vehicle and the pitch angle of the host vehicle, that is, the above equation (4). (S206).
Ｓ２０４とＳ２０６のいずれかにおいて除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する（Ｓ２０８）。設定した除去ラインが所定領域を通過する場合は、所定領域を自車両に近い側に移動させる（Ｓ２１０）。ここで、所定領域の移動量は、前方カメラ１０の取り付け位置と自車両前部（フェンダー部）の位置関係から許容される最も下方（自車両手前側）まで移動させるものとする。そして、移動させた所定領域を除去ラインが通過する場合は、除去ラインよりも遠方側のエッジ点を除去する（Ｓ２１２、Ｓ２１４）。図１６は、所定領域を自車両に近い側に移動させる様子を示す図である。 When the removal line is set in either S204 or S206, it is determined whether or not the set removal line passes through a predetermined area (S208). If the set removal line passes through the predetermined area, the predetermined area is moved closer to the host vehicle (S210). Here, the movement amount of the predetermined region is moved to the lowest position (front side of the host vehicle) allowed from the positional relationship between the mounting position of the front camera 10 and the front portion (fender portion) of the host vehicle. If the removal line passes through the moved predetermined area, the edge point farther from the removal line is removed (S212, S214). FIG. 16 is a diagram illustrating a state in which the predetermined area is moved closer to the own vehicle.
そして、残されたエッジ点を用いて道路区画線の認識を行う（Ｓ２１６）。 Then, the road marking line is recognized using the remaining edge points (S216).
なお、このフローにおいても、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。 Also in this flow, the processing may be performed in the order of “removal line setting” → “predetermined area movement” → “extract edge point in a region of the predetermined area before the removal line”.
［処理フロー１＿３］
また、画像解析部４０は、ピッチ角取得部３０により取得された自車両のピッチ角の向きに拘わらず、自車両のピッチ角を加味して除去ラインを設定するものとしてもよい。図１７は、この場合に、画像解析部４０により実行される特徴的な処理の流れを示すフローチャートである。
まず、画像解析部４０は、所定領域内でエッジ点抽出処理を行う（Ｓ３００）。
[Processing flow 1_3]
Further, the image analysis unit 40 may set the removal line in consideration of the pitch angle of the host vehicle regardless of the direction of the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30. FIG. 17 is a flowchart showing a flow of characteristic processing executed by the image analysis unit 40 in this case.
First, the image analysis unit 40 performs edge point extraction processing within a predetermined region (S300).
次に、先行車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式（４）により除去ラインを設定する（Ｓ３０２）。 Next, a removal line is set based on the inter-vehicle distance from the preceding vehicle and the pitch angle of the host vehicle, that is, the above equation (4) (S302).
Ｓ３０２において除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する（Ｓ３０４）。設定した除去ラインが所定領域を通過する場合は、設定した除去ラインよりも遠方側のエッジ点を除去する（Ｓ３０６）。 When a removal line is set in S302, it is determined whether or not the set removal line passes through a predetermined area (S304). If the set removal line passes through the predetermined area, the edge point farther from the set removal line is removed (S306).
そして、残されたエッジ点を用いて道路区画線の認識を行う（Ｓ３０８）。 Then, the road lane marking is recognized using the remaining edge points (S308).
なお、このフローにおいても、「除去ライン設定」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよいし、図１６のように所定領域を移動させる処理を行ってもよい。後者の場合、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。 Also in this flow, the processing may be performed in the order of “removal line setting” → “extract edge point in the area in front of the removal line in the predetermined area” or move the predetermined area as shown in FIG. You may perform the process to make. In the latter case, the process may be performed in the order of “removal line setting” → “predetermined area movement” → “extract edge point in an area of the predetermined area before the removal line”.
［処理フロー１＿４］
また、画像解析部４０は、ピッチ角取得部３０により取得された自車両のピッチ角を加味せずに除去ラインを設定し、設定した除去ラインが所定領域を通過する場合には、所定領域を自車両に近い側に移動させるものとしてもよい。図１８は、この場合に、画像解析部４０により実行される特徴的な処理の流れを示すフローチャートである。
[Processing flow 1_4]
Further, the image analysis unit 40 sets a removal line without taking into account the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30, and when the set removal line passes through the predetermined region, the image analysis unit 40 sets the predetermined region. It is good also as what moves to the near side of the own vehicle. FIG. 18 is a flowchart showing a flow of characteristic processing executed by the image analysis unit 40 in this case.
まず、画像解析部４０は、所定領域内でエッジ点抽出処理を行う（Ｓ４００）。 First, the image analysis unit 40 performs edge point extraction processing within a predetermined region (S400).
次に、画像解析部４０は、先行車両との車間距離に基づいて、すなわち上式（３）により除去ラインを設定する（Ｓ４０２）。 Next, the image analysis unit 40 sets a removal line based on the inter-vehicle distance from the preceding vehicle, that is, the above equation (3) (S402).
Ｓ４０２において除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する（Ｓ４０４）。設定した除去ラインが所定領域を通過する場合は、所定領域を自車両に近い側に移動させる（Ｓ４０６）。ここで、所定領域の移動量は、前方カメラ１０の取り付け位置と自車両前部（フェンダー部）の位置関係から許容される最も下方（自車両手前側）まで移動させるものとする。そして、移動させた所定領域を除去ラインが通過する場合は、除去ラインよりも遠方側のエッジ点を除去する（Ｓ４０８、Ｓ４１０）。 When the removal line is set in S402, it is determined whether or not the set removal line passes through a predetermined area (S404). If the set removal line passes through the predetermined area, the predetermined area is moved closer to the host vehicle (S406). Here, the movement amount of the predetermined region is moved to the lowest position (front side of the host vehicle) allowed from the positional relationship between the mounting position of the front camera 10 and the front portion (fender portion) of the host vehicle. If the removal line passes through the moved predetermined area, the edge point farther from the removal line is removed (S408, S410).
そして、残されたエッジ点を用いて道路区画線の認識を行う（Ｓ４１２）。 Then, the road lane marking is recognized using the remaining edge points (S412).
なお、このフローにおいても、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。 Also in this flow, the processing may be performed in the order of “removal line setting” → “predetermined area movement” → “extract edge point in a region of the predetermined area before the removal line”.
［利用例］
本実施例の車両用対象物認識装置１によって認識された道路区画線は、その画像上の位置に基づいて、自車両に対する相対位置が把握される。このように把握された自車両と道路区画線の相対位置は、前述のように、ＬＫＡ（Lane Keeping Assist）と称される車線維持支援制御システムやＬＤＷ（Lane Departure Warninng）と称される車線逸脱警報制御システムに利用される。また、車両用対象物認識装置１が横断歩道や一時停止位置を認識する場合、自動制動制御、自動シフトダウン制御、一時停止勧告のためのメッセージ出力制御等に利用される。
[Usage example]
The road lane markings recognized by the vehicle object recognition device 1 of this embodiment are grasped relative to the host vehicle based on the positions on the image. As described above, the relative position of the own vehicle and the road lane line grasped in this way is a lane maintenance assist control system called LKA (Lane Keeping Assist) or a lane departure called LDW (Lane Departure Warninng). Used for alarm control systems. Further, when the vehicle object recognition device 1 recognizes a pedestrian crossing or a temporary stop position, it is used for automatic braking control, automatic shift down control, message output control for temporary stop recommendation, and the like.
［まとめ］
以上説明した本実施例の車両用対象物認識装置１によれば、ピッチ角取得部３０により取得された自車両のピッチ角を加味して除去ラインを設定したり、設定した除去ラインが所定領域を通過する場合には所定領域を自車両に近い側に移動させたりするため、より適切な範囲に設定された所定領域で対象物の認識を行うことができる。
[Summary]
According to the vehicle object recognition device 1 of the present embodiment described above, a removal line is set in consideration of the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30, or the set removal line is a predetermined area. Since the predetermined area is moved closer to the own vehicle when passing the vehicle, the object can be recognized in the predetermined area set in a more appropriate range.
＜第２実施例＞
［構成及び機能］
以下、図面を参照し、本発明の第２実施例に係る車両用対象物認識装置２について説明する。図１９は、本発明の第２実施例に係る車両用対象物認識装置２の機能ブロック図である。車両用対象物認識装置２は、主要な構成として、後方カメラ１５と、車間距離取得部２０と、ピッチ角取得部３０と、画像解析部４０と、を備える。後述するように、車間距離取得部２０、ピッチ角取得部３０、及び画像解析部４０は、独立した装置であってもよいが、同一のコンピュータ装置が有する各機能であってもよい。
<Second embodiment>
[Configuration and function]
Hereinafter, a vehicle object recognition device 2 according to a second embodiment of the present invention will be described with reference to the drawings. FIG. 19 is a functional block diagram of the vehicle object recognition device 2 according to the second embodiment of the present invention. The vehicle object recognition device 2 includes a rear camera 15, an inter-vehicle distance acquisition unit 20, a pitch angle acquisition unit 30, and an image analysis unit 40 as main components. As will be described later, the inter-vehicle distance acquisition unit 20, the pitch angle acquisition unit 30, and the image analysis unit 40 may be independent devices, or may be functions of the same computer device.
後方カメラ１５は、例えば自車両後部バンパー付近に取り付けられた、ＣＣＤやＣＭＯＳ等の撮像素子を利用したカメラであり、自車両（車両用対象物認識装置２が搭載された車両をいう）の後方斜め下方を撮像領域とし、数［ｍｓ］毎に繰り返し撮像を行なう。後方カメラ１５は、公知のバックガイドモニターシステム用のカメラと共用することができる。この場合、後方カメラ１５には、広角レンズ等が取り付けられている。後方カメラ１５の撮像画像は、例えばＮＴＳＣ等のインターレース方式によって生成される画像信号として、定期的に（例えば、撮像フレーム毎に）画像解析部４０に送信される。 The rear camera 15 is a camera using an image sensor such as a CCD or a CMOS, which is attached near the rear bumper of the host vehicle, for example, and is located behind the host vehicle (which means a vehicle on which the vehicle object recognition device 2 is mounted). An imaging area is defined obliquely below, and imaging is performed every several [ms]. The rear camera 15 can be shared with a known camera for a back guide monitor system. In this case, a wide-angle lens or the like is attached to the rear camera 15. The captured image of the rear camera 15 is transmitted to the image analysis unit 40 periodically (for example, for each imaging frame) as an image signal generated by an interlace method such as NTSC, for example.
車間距離取得部２０は、例えば自車両後部のバンパー付近に取り付けられたミリ波レーダー装置であり、ミリ波の反射波が帰ってくるまでの時間、反射波の位相、及び周波数変化等を利用して自車両の後方に存在する物体との距離、方位、相対速度を検出する。車間距離取得部２０は、このような検出を定期的に行なって、例えば反射波の強度が所定値以上であり、且つ相対速度が所定値未満である場合に、検出した物体が、自車両の直後を走行する後続車両であると判断し、物体に関する情報（距離、方位、相対速度）を画像解析部４０に送信する。 The inter-vehicle distance acquisition unit 20 is, for example, a millimeter wave radar device attached near the bumper at the rear of the host vehicle, and uses the time until the reflected wave of the millimeter wave returns, the phase of the reflected wave, the frequency change, and the like. The distance, direction, and relative speed with the object behind the vehicle are detected. The inter-vehicle distance acquisition unit 20 periodically performs such detection. For example, when the intensity of the reflected wave is equal to or higher than a predetermined value and the relative speed is lower than the predetermined value, the detected object is It is determined that the vehicle is a subsequent vehicle traveling immediately after it, and information (distance, azimuth, relative speed) related to the object is transmitted to the image analysis unit 40.
なお、車間距離取得のための手段としては、上記ミリ波レーダーの他、レーザーレーダーや赤外線レーダー、ステレオカメラ、後方カメラ１５の撮像画像解析によるものが考えられる。後方カメラ１５の撮像画像解析やステレオカメラによる車間距離の取得は、第１実施例において図２〜１０に即して説明した原理を援用することができるため、説明を省略する。 As a means for acquiring the inter-vehicle distance, it is possible to use a captured image analysis of a laser radar, an infrared radar, a stereo camera, and a rear camera 15 in addition to the millimeter wave radar. The analysis of the captured image of the rear camera 15 and the acquisition of the inter-vehicle distance by the stereo camera can use the principle described with reference to FIGS.
また、ピッチ角取得部３０による自車両のピッチ角の取得手法についても、第１実施例と同様の手法を採用すればよいため、説明を省略する。 Also, the method for acquiring the pitch angle of the host vehicle by the pitch angle acquisition unit 30 may be the same as that of the first embodiment, and thus the description thereof is omitted.
画像解析部４０は、前方カメラ１０により撮像された撮像画像における所定領域について画像解析を行い、当該所定領域に存在する道路区画線を認識する。 The image analysis unit 40 performs image analysis on a predetermined area in the captured image captured by the front camera 10, and recognizes road marking lines existing in the predetermined area.
また、画像解析部４０は、車間距離取得部２０により取得された後続車両との車間距離に基づいて、後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、除去ラインよりも遠方側の領域を所定領域から除外して画像解析を行う。除去ラインの縦方向座標isrcは、上式（３）で求められる。この除去ラインは、後続車両の前端部（車間距離の基準位置）から路面に垂線を下ろした路面上の位置に対応している。 Further, the image analysis unit 40 has a vertical coordinate on the image corresponding to the front lower end portion of the subsequent vehicle based on the inter-vehicle distance acquired by the inter-vehicle distance acquisition unit 20 and extends in the horizontal direction of the image. An existing removal line is set, and an image analysis is performed by excluding an area farther from the removal line from a predetermined area. The vertical coordinate isrc of the removal line is obtained by the above equation (3). This removal line corresponds to a position on the road surface that is perpendicular to the road surface from the front end (reference position of the inter-vehicle distance) of the following vehicle.
また、画像解析部４０は、ピッチ角取得部３０により取得された自車両のピッチ角が水平方向よりも下向きである（負の値をもつ）場合には、次式（５）のように除去ラインの縦方向座標isrcを補正する。式中、CamPichAngは、ピッチ角取得部３０により取得された自車両のピッチ角を示している。 Further, when the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30 is downward (has a negative value), the image analysis unit 40 removes the following equation (5). Correct the vertical coordinate isrc of the line. In the equation, CamPichAng represents the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30.
isrc＝INPUTIMAGE_HEIGHT／2−（−FOCUS×CAM_HEIGHT／Z−FOCUS×（CAM_DEP_ANG−CamPichAng））／RESOLUTIONV …（５）
このように、ピッチ角取得部３０により取得された自車両のピッチ角を加味して除去ラインを設定することにより、自車両のピッチ角が下向きである場合でも、後続車両の前下端部に対応した位置に除去ラインを設定することができる。この結果、より適切な範囲に設定された所定領域で道路区画線の認識を行うことができる。
isrc = INPUTIMAGE_HEIGHT / 2 − (− FOCUS × CAM_HEIGHT / Z−FOCUS × (CAM_DEP_ANG− CamPichAng )) / RESOLUTIONV (5)
In this way, by setting the removal line in consideration of the pitch angle of the host vehicle acquired by the pitch angle acquiring unit 30, even if the pitch angle of the host vehicle is downward, it corresponds to the front lower end portion of the following vehicle A removal line can be set at the position. As a result, road lane markings can be recognized in a predetermined area set in a more appropriate range.
なお、自車両のピッチ角が下向きの場合にのみ上記補正を行うのは、所定領域を拡げて画像解析を広範囲に行う必要性よりは、後続車両が存在する可能性を排除できない領域にまで画像解析の対象を拡げることにより生じうる、誤認識を避ける必要性が高いことに基づく。 Note that the above correction is performed only when the pitch angle of the host vehicle is downward, rather than the necessity of expanding the predetermined area and performing image analysis over a wide range, the image is extended to an area where the possibility of the presence of the following vehicle cannot be excluded. This is based on the high necessity of avoiding misrecognition, which can be caused by expanding the scope of analysis.
以下、画像解析部４０により実行される処理の流れについて説明する。なお、以下の各フロー、エッジ点抽出処理を行って白線等を認識することを前提としている。 Hereinafter, the flow of processing executed by the image analysis unit 40 will be described. It is assumed that a white line or the like is recognized by performing the following flow and edge point extraction processing.
［処理フロー２＿１］
図２０は、画像解析部４０により実行される特徴的な処理の流れを示すフローチャートである。
[Processing flow 2_1]
FIG. 20 is a flowchart showing a flow of characteristic processing executed by the image analysis unit 40.
まず、画像解析部４０は、所定領域内でエッジ点抽出処理を行う（Ｓ５００）。 First, the image analysis unit 40 performs edge point extraction processing within a predetermined region (S500).
そして、ピッチ角取得部３０により取得された自車両のピッチ角が負の値であるか否かを判定する（Ｓ５０２）。 And it is determined whether the pitch angle of the own vehicle acquired by the pitch angle acquisition part 30 is a negative value (S502).
ピッチ角取得部３０により取得された自車両のピッチ角がゼロ又は正の値である場合は、後続車両との車間距離に基づいて、すなわち上式（３）により除去ラインを設定する（Ｓ５０４）。 If the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30 is zero or a positive value, a removal line is set based on the inter-vehicle distance from the following vehicle, that is, the above equation (3) (S504). .
ピッチ角取得部３０により取得された自車両のピッチ角が負の値である場合は、後続車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式（５）により除去ラインを設定する（Ｓ５０６）。 If the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30 is a negative value, the removal line is set based on the inter-vehicle distance from the following vehicle and the pitch angle of the host vehicle, that is, the above equation (5). (S506).
Ｓ５０４とＳ５０６のいずれかにおいて除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する（Ｓ５０８）。設定した除去ラインが所定領域を通過する場合は、設定した除去ラインよりも遠方側のエッジ点を除去する（Ｓ５１０）。 If a removal line is set in either S504 or S506, it is determined whether or not the set removal line passes through a predetermined area (S508). If the set removal line passes through the predetermined area, the edge point farther from the set removal line is removed (S510).
そして、残されたエッジ点を用いて道路区画線の認識を行う（Ｓ５１２）。 Then, the road lane marking is recognized using the remaining edge points (S512).
なお、このフローにおいて、「除去ライン設定」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。 In this flow, the processing may be performed in the order of “removal line setting” → “extract edge points in a region of the predetermined area before the removal line”.
［処理フロー２＿２］
また、画像解析部４０は、設定した除去ラインが所定領域を通過する場合には、所定領域を自車両に近い側に移動させるものとしてもよい。図２１は、この場合に、画像解析部４０により実行される特徴的な処理の流れを示すフローチャートである。
[Processing flow 2_2]
Further, when the set removal line passes through the predetermined area, the image analysis unit 40 may move the predetermined area closer to the own vehicle. FIG. 21 is a flowchart showing the flow of characteristic processing executed by the image analysis unit 40 in this case.
まず、画像解析部４０は、所定領域内でエッジ点抽出処理を行う（Ｓ６００）。 First, the image analysis unit 40 performs edge point extraction processing within a predetermined region (S600).
そして、ピッチ角取得部３０により取得された自車両のピッチ角が負の値であるか否かを判定する（Ｓ６０２）。 And it is determined whether the pitch angle of the own vehicle acquired by the pitch angle acquisition part 30 is a negative value (S602).
ピッチ角取得部３０により取得された自車両のピッチ角がゼロ又は正の値である場合は、後続車両との車間距離に基づいて、すなわち上式（３）により除去ラインを設定する（Ｓ６０４）。 If the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30 is zero or a positive value, a removal line is set based on the inter-vehicle distance from the following vehicle, that is, the above equation (3) (S604). .
ピッチ角取得部３０により取得された自車両のピッチ角が負の値である場合は、後続車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式（５）により除去ラインを設定する（Ｓ６０６）。 If the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30 is a negative value, the removal line is set based on the inter-vehicle distance from the following vehicle and the pitch angle of the host vehicle, that is, the above equation (5). (S606).
Ｓ６０４とＳ６０６のいずれかにおいて除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する（Ｓ６０８）。設定した除去ラインが所定領域を通過する場合は、所定領域を自車両に近い側に移動させる（Ｓ６１０）。ここで、所定領域の移動量は、前方カメラ１０の取り付け位置と自車両後部（バンパー部）の位置関係から許容される最も下方（自車両手前側）まで移動させるものとする。そして、移動させた所定領域を除去ラインが通過する場合は、除去ラインよりも遠方側のエッジ点を除去する（Ｓ６１２、Ｓ６１４）。 When a removal line is set in either S604 or S606, it is determined whether or not the set removal line passes a predetermined area (S608). If the set removal line passes through the predetermined area, the predetermined area is moved closer to the host vehicle (S610). Here, the movement amount of the predetermined region is moved to the lowest position (front side of the host vehicle) allowed from the positional relationship between the mounting position of the front camera 10 and the rear portion (bumper portion) of the host vehicle. When the removal line passes through the moved predetermined area, the edge point farther from the removal line is removed (S612, S614).
そして、残されたエッジ点を用いて道路区画線の認識を行う（Ｓ６１６）。 Then, the road marking line is recognized using the remaining edge points (S616).
なお、このフローにおいても、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。 Also in this flow, the processing may be performed in the order of “removal line setting” → “predetermined area movement” → “extract edge point in a region of the predetermined area before the removal line”.
［処理フロー２＿３］
また、画像解析部４０は、ピッチ角取得部３０により取得された自車両のピッチ角の向きに拘わらず、自車両のピッチ角を加味して除去ラインを設定するものとしてもよい。図２２は、この場合に、画像解析部４０により実行される特徴的な処理の流れを示すフローチャートである。
まず、画像解析部４０は、所定領域内でエッジ点抽出処理を行う（Ｓ７００）。
[Processing flow 2_3]
Further, the image analysis unit 40 may set the removal line in consideration of the pitch angle of the host vehicle regardless of the direction of the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30. FIG. 22 is a flowchart showing the flow of characteristic processing executed by the image analysis unit 40 in this case.
First, the image analysis unit 40 performs edge point extraction processing within a predetermined region (S700).
次に、後続車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式（５）により除去ラインを設定する（Ｓ７０２）。 Next, a removal line is set based on the inter-vehicle distance from the following vehicle and the pitch angle of the host vehicle, that is, the above equation (5) (S702).
Ｓ３０２において除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する（Ｓ７０４）。設定した除去ラインが所定領域を通過する場合は、設定した除去ラインよりも遠方側のエッジ点を除去する（Ｓ７０６）。 When the removal line is set in S302, it is determined whether or not the set removal line passes a predetermined area (S704). If the set removal line passes through the predetermined area, the edge point farther from the set removal line is removed (S706).
そして、残されたエッジ点を用いて道路区画線の認識を行う（Ｓ７０８）。 Then, the road marking line is recognized using the remaining edge points (S708).
なお、このフローにおいても、「除去ライン設定」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよいし、図１２のように所定領域を移動させる処理を行ってもよい。後者の場合、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。 Also in this flow, the processing may be performed in the order of “removal line setting” → “extract edge points in the area in front of the removal line in the predetermined area” or move the predetermined area as shown in FIG. You may perform the process to make. In the latter case, the process may be performed in the order of “removal line setting” → “predetermined area movement” → “extract edge point in an area of the predetermined area before the removal line”.
［処理フロー２＿４］
また、画像解析部４０は、ピッチ角取得部３０により取得された自車両のピッチ角を加味せずに除去ラインを設定し、設定した除去ラインが所定領域を通過する場合には、所定領域を自車両に近い側に移動させるものとしてもよい。図２３は、この場合に、画像解析部４０により実行される特徴的な処理の流れを示すフローチャートである。
[Processing flow 2_4]
Further, the image analysis unit 40 sets a removal line without taking into account the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30, and when the set removal line passes through the predetermined region, the image analysis unit 40 sets the predetermined region. It is good also as what moves to the near side of the own vehicle. FIG. 23 is a flowchart showing the flow of characteristic processing executed by the image analysis unit 40 in this case.
まず、画像解析部４０は、所定領域内でエッジ点抽出処理を行う（Ｓ８００）。 First, the image analysis unit 40 performs edge point extraction processing within a predetermined region (S800).
次に、画像解析部４０は、後続車両との車間距離に基づいて、すなわち上式（３）により除去ラインを設定する（Ｓ８０２）。 Next, the image analysis unit 40 sets a removal line based on the inter-vehicle distance from the following vehicle, that is, the above equation (3) (S802).
Ｓ８０２において除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する（Ｓ８０４）。設定した除去ラインが所定領域を通過する場合は、所定領域を自車両に近い側に移動させる（Ｓ８０６）。ここで、所定領域の移動量は、前方カメラ１０の取り付け位置と自車両後部（バンパー部）の位置関係から許容される最も下方（自車両手前側）まで移動させるものとする。そして、移動させた所定領域を除去ラインが通過する場合は、除去ラインよりも遠方側のエッジ点を除去する（Ｓ８０８、Ｓ８１０）。 When the removal line is set in S802, it is determined whether or not the set removal line passes through a predetermined area (S804). If the set removal line passes through the predetermined area, the predetermined area is moved closer to the host vehicle (S806). Here, the movement amount of the predetermined region is moved to the lowest position (front side of the host vehicle) allowed from the positional relationship between the mounting position of the front camera 10 and the rear portion (bumper portion) of the host vehicle. If the removal line passes through the moved predetermined area, the edge point farther from the removal line is removed (S808, S810).
そして、残されたエッジ点を用いて道路区画線の認識を行う（Ｓ８１２）。 Then, the road edge line is recognized using the remaining edge points (S812).
なお、このフローにおいても、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。 Also in this flow, the processing may be performed in the order of “removal line setting” → “predetermined area movement” → “extract edge point in a region of the predetermined area before the removal line”.
［利用例］については第１実施例と同様であるため、説明を省略する。 Since [Usage Example] is the same as that of the first embodiment, description thereof is omitted.
［まとめ］
以上説明した本実施例の車両用対象物認識装置２によれば、ピッチ角取得部３０により取得された自車両のピッチ角を加味して除去ラインを設定したり、設定した除去ラインが所定領域を通過する場合には所定領域を自車両に近い側に移動させたりするため、より適切な範囲に設定された所定領域で対象物の認識を行うことができる。
[Summary]
According to the vehicle object recognition device 2 of the present embodiment described above, a removal line is set in consideration of the pitch angle of the host vehicle acquired by the pitch angle acquisition unit 30, or the set removal line is a predetermined area. Since the predetermined area is moved closer to the own vehicle when passing the vehicle, the object can be recognized in the predetermined area set in a more appropriate range.
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 The best mode for carrying out the present invention has been described above with reference to the embodiments. However, the present invention is not limited to these embodiments, and various modifications can be made without departing from the scope of the present invention. And substitutions can be added.
１、２ 車両用対象物認識装置
１０ 前方カメラ
１５ 後方カメラ
２０ 車間距離取得部
３０ ピッチ角取得部
４０ 画像解析部
DESCRIPTION OF SYMBOLS 1, 2 Vehicle target recognition apparatus 10 Front camera 15 Rear camera 20 Inter-vehicle distance acquisition part 30 Pitch angle acquisition part 40 Image analysis part
Claims (6)
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記ピッチ角取得手段により取得された自車両のピッチ角が水平方向よりも上向きである場合には、前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて前記除去ラインを補正することを特徴とする、
車両用対象物認識装置。 Imaging means for imaging the front of the host vehicle;
Image analysis means for recognizing a recognition object on a road surface existing in a predetermined area in an image picked up by the image pickup means;
An inter-vehicle distance acquisition means for acquiring an inter-vehicle distance from a preceding vehicle traveling immediately before the host vehicle;
Pitch angle acquisition means for acquiring the pitch angle of the host vehicle,
The image analysis means includes
Based on the inter-vehicle distance acquired by the inter-vehicle distance acquisition means, a removal line having a vertical coordinate on the image corresponding to the rear lower end portion of the preceding vehicle and extending in the horizontal direction of the image is set and set. A means for recognizing the recognition object by excluding an area farther from the removal line from the predetermined area,
When the pitch angle of the host vehicle acquired by the pitch angle acquiring unit is higher than the horizontal direction, the removal line is corrected based on the pitch angle of the host vehicle acquired by the pitch angle acquiring unit. Characterized by the
Vehicle object recognition device.
前記前記画像解析手段は、前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置。 The vehicle object recognition device according to claim 1 ,
The image analysis means, when the set removal line passes through the predetermined area, moves the predetermined area closer to the own vehicle.
Vehicle object recognition device.
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置。 Imaging means for imaging the front of the host vehicle;
Image analysis means for recognizing a recognition object on a road surface existing in a predetermined area in an image picked up by the image pickup means;
An inter-vehicle distance acquisition means for acquiring an inter-vehicle distance from a preceding vehicle traveling immediately before the host vehicle;
With
The image analysis means includes
Based on the inter-vehicle distance acquired by the inter-vehicle distance acquisition means, a removal line having a vertical coordinate on the image corresponding to the rear lower end portion of the preceding vehicle and extending in the horizontal direction of the image is set and set. A means for recognizing the recognition object by excluding an area farther from the removal line from the predetermined area,
When the set removal line passes through the predetermined area, the predetermined area is moved closer to the own vehicle,
Vehicle object recognition device.
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記ピッチ角取得手段により取得された自車両のピッチ角が水平方向よりも下向きである場合には、前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて前記除去ラインを補正することを特徴とする、
車両用対象物認識装置。 Imaging means for imaging the rear of the vehicle;
Image analysis means for recognizing a recognition object on a road surface existing in a predetermined area in an image picked up by the image pickup means;
An inter-vehicle distance acquisition means for acquiring an inter-vehicle distance with a subsequent vehicle traveling immediately after the host vehicle;
Pitch angle acquisition means for acquiring the pitch angle of the host vehicle,
The image analysis means includes
Based on the inter-vehicle distance acquired by the inter-vehicle distance acquisition means, a removal line having a vertical coordinate on the image corresponding to the front lower end portion of the succeeding vehicle and extending in the horizontal direction of the image is set. A means for recognizing the recognition object by excluding an area farther from the removal line from the predetermined area,
When the pitch angle of the host vehicle acquired by the pitch angle acquiring unit is downward from the horizontal direction, the removal line is corrected based on the pitch angle of the host vehicle acquired by the pitch angle acquiring unit. Characterized by the
Vehicle object recognition device.
前記前記画像解析手段は、前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置。 The vehicle object recognition device according to claim 4 ,
The image analysis means, when the set removal line passes through the predetermined area, moves the predetermined area closer to the own vehicle.
Vehicle object recognition device.
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置。 Imaging means for imaging the rear of the vehicle;
Image analysis means for recognizing a recognition object on a road surface existing in a predetermined area in an image picked up by the image pickup means;
An inter-vehicle distance acquisition means for acquiring an inter-vehicle distance with a subsequent vehicle traveling immediately after the host vehicle;
With
The image analysis means includes
Based on the inter-vehicle distance acquired by the inter-vehicle distance acquisition means, a removal line having a vertical coordinate on the image corresponding to the front lower end portion of the succeeding vehicle and extending in the horizontal direction of the image is set. A means for recognizing the recognition object by excluding an area farther from the removal line from the predetermined area,
When the set removal line passes through the predetermined area, the predetermined area is moved closer to the own vehicle,
Vehicle object recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010213774A JP5561064B2 (en) | 2010-09-24 | 2010-09-24 | Vehicle object recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010213774A JP5561064B2 (en) | 2010-09-24 | 2010-09-24 | Vehicle object recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012068935A JP2012068935A (en) | 2012-04-05 |
| JP5561064B2 true JP5561064B2 (en) | 2014-07-30 |
Family
ID=46166137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010213774A Expired - Fee Related JP5561064B2 (en) | 2010-09-24 | 2010-09-24 | Vehicle object recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5561064B2 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5777031B2 (en) * | 2012-06-11 | 2015-09-09 | 日本電信電話株式会社 | Image processing apparatus, method, and program |
| JP6173962B2 (en) * | 2014-04-01 | 2017-08-02 | 本田技研工業株式会社 | Lane mark recognition device |
| JP6132807B2 (en) * | 2014-04-24 | 2017-05-24 | 本田技研工業株式会社 | Lane mark recognition device |
| JP6132808B2 (en) * | 2014-05-08 | 2017-05-24 | 本田技研工業株式会社 | Recognition device |
| JP6163453B2 (en) | 2014-05-19 | 2017-07-12 | 本田技研工業株式会社 | Object detection device, driving support device, object detection method, and object detection program |
| JP2016170270A (en) * | 2015-03-12 | 2016-09-23 | 株式会社ゼンリンデータコム | Map display system and map display method |
| KR102278387B1 (en) * | 2015-07-07 | 2021-07-16 | 주식회사 만도 | Distance calculating apparatus and distance calculating method and driving assist apparatus and driving assist system |
| JP6661988B2 (en) * | 2015-11-16 | 2020-03-11 | スズキ株式会社 | Driving support system and automobile equipped with the same |
| JP6855325B2 (en) * | 2017-05-25 | 2021-04-07 | 京セラ株式会社 | Image processing equipment, stereo camera systems, moving objects, road surface shape detection methods and programs |
| US11790555B2 (en) | 2020-01-17 | 2023-10-17 | Electronics And Telecommunications Research Institute | System and method for fusion recognition using active stick filter |
| KR102441424B1 (en) * | 2020-01-17 | 2022-09-07 | 한국전자통신연구원 | System and method for fusion recognition using active stick filter |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09264954A (en) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | Image processing system using radar |
| JP2002329298A (en) * | 2001-05-02 | 2002-11-15 | Nissan Motor Co Ltd | Travel controller for vehicle |
| JP4432730B2 (en) * | 2004-11-01 | 2010-03-17 | 日産自動車株式会社 | Road marking detection device for vehicles |
| JP2009146289A (en) * | 2007-12-17 | 2009-07-02 | Toyota Motor Corp | Vehicle travel control device |
| JP2010006270A (en) * | 2008-06-27 | 2010-01-14 | Toyota Motor Corp | Vehicle behavior detecting device |
| JP2010019589A (en) * | 2008-07-08 | 2010-01-28 | Toyota Motor Corp | Inter-vehicle distance detector, drive recorder apparatus |
-
2010
- 2010-09-24 JP JP2010213774A patent/JP5561064B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012068935A (en) | 2012-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5561064B2 (en) | Vehicle object recognition device | |
| EP1796043B1 (en) | Object detection | |
| US8305431B2 (en) | Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images | |
| US20100110193A1 (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
| JP6270102B2 (en) | Moving surface boundary line recognition apparatus, moving body device control system using the moving surface boundary line recognition method, and moving surface boundary line recognition program | |
| JP4901275B2 (en) | Travel guidance obstacle detection device and vehicle control device | |
| CN109196304B (en) | Object distance detection device | |
| US10672141B2 (en) | Device, method, system and computer-readable medium for determining collision target object rejection | |
| JP6315308B2 (en) | Control object identification device, mobile device control system, and control object recognition program | |
| JP2014006885A (en) | Level difference recognition apparatus, level difference recognition method, and program for level difference recognition | |
| CN110088801B (en) | Driving region detection device and driving assistance system | |
| US8160300B2 (en) | Pedestrian detecting apparatus | |
| JP2013250907A (en) | Parallax calculation device, parallax calculation method and parallax calculation program | |
| JP2010224930A (en) | Road recognition device | |
| JP2007316685A (en) | Traveling path boundary detection device and traveling path boundary detection method | |
| JP2007264712A (en) | Lane detector | |
| JP2020187474A (en) | Traveling lane recognition device, traveling lane recognition method and program | |
| JP2007249257A (en) | Apparatus and method for detecting movable element | |
| US9824449B2 (en) | Object recognition and pedestrian alert apparatus for a vehicle | |
| JP4956099B2 (en) | Wall detector | |
| JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
| JP2013161190A (en) | Object recognition device | |
| JP2007310591A (en) | Image processor and parking space determination method | |
| JP5950193B2 (en) | Disparity value calculation device, disparity value calculation system including the same, moving surface area recognition system, disparity value calculation method, and disparity value calculation program | |
| JPH1141521A (en) | Image pickup device, instrument and method for measuring distance between vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130516 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140513 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140526 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5561064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |