WO2012140752A1 - 車載周辺物認識装置及びこれを用いる運転支援装置 - Google Patents

車載周辺物認識装置及びこれを用いる運転支援装置 Download PDF

Info

Publication number
WO2012140752A1
WO2012140752A1 PCT/JP2011/059182 JP2011059182W WO2012140752A1 WO 2012140752 A1 WO2012140752 A1 WO 2012140752A1 JP 2011059182 W JP2011059182 W JP 2011059182W WO 2012140752 A1 WO2012140752 A1 WO 2012140752A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
camera
peripheral object
threshold value
Prior art date
Application number
PCT/JP2011/059182
Other languages
English (en)
French (fr)
Inventor
宇佐美　祐之
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to PCT/JP2011/059182 priority Critical patent/WO2012140752A1/ja
Priority to JP2013509703A priority patent/JP5617999B2/ja
Priority to US13/997,825 priority patent/US8970357B2/en
Priority to EP11863329.6A priority patent/EP2698777B1/en
Publication of WO2012140752A1 publication Critical patent/WO2012140752A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/11—Linear movements of the vehicle
    • B60Q2300/112—Vehicle speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30—Indexing codes relating to the vehicle environment
    • B60Q2300/31—Atmospheric conditions
    • B60Q2300/314—Ambient light

Definitions

  • the present invention relates to a vehicle-mounted peripheral object recognition device including a camera that captures an environment around a vehicle and an image processing device, a driving support device using the same, and the like.
  • the same object may be captured in a different manner by the camera.
  • the near-infrared light is projected forward of a vehicle by a front illumination device of the vehicle and image recognition is performed using a near-infrared light camera
  • the near-infrared light is projected when the near-infrared light is projected.
  • the color characteristics of the image of the same object change when the light is not illuminated.
  • an object of the present invention is to provide an on-vehicle peripheral object recognition device that changes a recognition method of a recognition target object according to a lighting state of a front lighting device of a vehicle, a driving support device using the same, and the like.
  • a camera that images the surrounding environment of the vehicle;
  • An image processing apparatus The image processing apparatus performs image processing on an image captured by the camera, calculates an index value of a color component of an image having a predetermined luminance or higher, and based on a relationship between the calculated index value of the color component and a predetermined threshold value Determining whether the image is related to the lighting of other vehicles in the vicinity, The predetermined threshold value is changed according to the lighting state of the front lighting device of the vehicle, and an on-vehicle peripheral object recognition device is provided.
  • an on-vehicle peripheral object recognition device that changes a recognition method of a recognition target object according to a lighting state of a front lighting device of a vehicle, a driving support device using the same, and the like can be obtained.
  • FIG. 4 is a flowchart illustrating an example of a tail lamp detection method for a forward vehicle executed by the image processing device 14; It is a figure which shows typically an example of the front environment image processed by the image processing apparatus. It is a figure which shows an example of the pixel structure (CMOS imager color Bayer arrangement
  • FIG. 4 is a flowchart illustrating an example of a tail lamp detection method for a forward vehicle executed by the image processing device 14; It is a figure which shows typically an example of the front environment image processed by the image processing apparatus. It is a figure which shows an example of the pixel structure (CMOS imager color Bayer arrangement
  • sequence CMOS imager color Bayer arrangement
  • FIG. 1 is a system diagram illustrating an example of a driving support device 100 including an in-vehicle peripheral object recognition device 1 according to the present embodiment.
  • 4 is a flowchart showing an example of lamp lighting control executed by a lamp control ECU.
  • 4 is a flowchart illustrating an example of driving support control executed by the driving support device 100. It is a figure which shows an example of the spectral characteristic of the headlight 4 in each case of three types of light sources (LED, halogen, HID). It is a figure which shows an example of the camera spectral luminance characteristic in which the spectral characteristic of the headlight 4 was considered.
  • FIG. 1 is a diagram showing a configuration of an in-vehicle peripheral object recognition device 1 according to an embodiment of the present invention.
  • the on-vehicle peripheral object recognition device 1 includes a camera 12 and an image processing device 14.
  • the camera 12 is a near-infrared light camera, and includes a front environment including a road surface in front of the vehicle by an image sensor such as a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) having high sensitivity to near-infrared light. Get an image.
  • the camera 12 is attached to, for example, the rear side (front surface of the vehicle) of the rearview mirror.
  • the vehicle front area imaged by the camera 12 includes all or at least most of the low beam irradiation area described later.
  • the vehicle front area imaged by the camera 12 includes all or a part of a near-red light projection area described later.
  • the camera 12 may acquire a front environment image in real time while the vehicle is running, and supply it to the image processing device 14 in a stream format with a predetermined frame period.
  • the image processing device 14 performs image processing on the forward environment image obtained from the camera 12 to detect a forward vehicle (preceding vehicle or oncoming vehicle) that may exist in front of the vehicle. A method for detecting the forward vehicle in the forward environment image will be described in detail later.
  • FIG. 2 is a diagram showing an example of the relationship between the low beam irradiation area and the near-red light projection area together with an example of the mounting state of the camera 12.
  • FIG. 3 is a diagram illustrating an example of the near-infrared projector 6.
  • the vehicle on which the on-vehicle peripheral object recognition device 1 is mounted has a near-infrared projector 6 along with the headlight 4.
  • the headlight 4 emits visible light toward the front of the vehicle.
  • the headlight 4 can be switched on / off, and emits visible light when turned on.
  • the headlight 4 can be switched between a low beam and a high beam.
  • the low beam light source and the high beam light source may be different from each other or may be common. In the latter case, switching between the low beam and the high beam may be realized by driving a movable shade to selectively block the high beam light.
  • FIG. 2 shows an example of a low beam irradiation region as a low beam irradiation region.
  • Near-infrared projector 6 emits near-infrared light toward the front of the vehicle.
  • the near-infrared projector 6 can be switched on / off, and emits near-infrared light when it is on.
  • the near-infrared projector 6 is mounted on both sides of the front part of the vehicle, for example.
  • the near-infrared projector 6 may be incorporated in the high beam lamp 4a as shown in FIG.
  • the near-infrared projector 6 includes an infrared transmission filter 6a and a solenoid 6b.
  • the solenoid 6b drives the infrared transmission filter 6a between the off position shown in FIG. 3 (A) and the on position shown in FIG. 3 (B).
  • FIG. 3A shows an example of the near-red light projection area.
  • the near-red light projection area is substantially the same as the high beam irradiation area (high beam irradiation area). In the following, it is assumed that the near-red light projection region and the high beam irradiation region are the same in order to prevent the explanation from becoming complicated.
  • the near-red light projecting area is set on the far side from the low beam irradiation area.
  • the near-red light projection area is set to an area where the low beam cannot be illuminated or the amount of illumination is insufficient, thereby monitoring a pedestrian or the like in a distance that is difficult for the driver to visually recognize.
  • the low beam irradiation area may be an area up to about 20 m ahead of the vehicle, and the near-red projection area may be an area ahead of the vehicle relative to the low beam irradiation area.
  • the near-red light projection area and the low beam irradiation area may be close to each other and partially overlap.
  • a low beam irradiation area that does not include a near-red light projection area is also simply referred to as a non-near red light projection area.
  • FIG. 4 is a flowchart showing an example of a tail lamp detection method for a forward vehicle executed by the image processing device 14.
  • the processing routine shown in FIG. 4 may be executed at predetermined intervals while the headlight 4 is turned on, for example.
  • FIG. 5 is a diagram schematically illustrating an example of the front environment image processed by the image processing device 14. In FIG. 5, the near-red light projection area in the front environment image is shown as an area in the frame 70.
  • RGB vectors of high luminance points in the front environment image are extracted.
  • the high luminance point is a pixel or a set of pixels having a predetermined luminance or higher, and the predetermined luminance is set and adapted to a value with which an image related to the light of the tail lamp is reliably extracted.
  • the RGB vectors are (R / (R 2 + G 2 + B 2 ) 0.5 , G / (R 2 + G 2 + B 2 ) 0.5 , B / (R 2 + G 2 + B 2 ) 0.5 ).
  • the RGB vector may be derived as an average value of each pixel constituting the set.
  • an RGB vector is calculated for each high-luminance point, and the processing after step 402 may be executed.
  • RGB vectors are calculated for the two pairs of high-intensity points, and the processing from step 402 onward may be executed.
  • the RGB vectors may be calculated by combining the two pairs of high luminance points as one light luminance point, and the processing from step 402 onward may be executed.
  • the reflected light 802 of the roadside reflector in this example, the delineator
  • the light 804 of the tail lamp of the preceding vehicle and the light 806 of the headlight of the oncoming vehicle are high-intensity points. Can be detected.
  • the reflected light 802 of the delineator is mainly caused by light from the headlight 4 of the vehicle (own vehicle).
  • the light 804 from the tail lamp of the preceding vehicle and the light 806 from the headlight of the oncoming vehicle are light (self-luminous) generated when the respective lamps are turned on.
  • step 402 whether or not the near-infrared projector 6 is on (near-red light is being projected) and a high-luminance point is present in the near-red light projection area (see reference numeral 70 in FIG. 5). Determine whether. If the near-infrared projector 6 is on and the high-luminance point is in the near-red projection region, the process proceeds to step 404. On the other hand, if either or both are not satisfied, go to step 406. For example, if the near-infrared projector 6 is on, but the high luminance point is outside the near-red projection area, the process proceeds to step 406.
  • the determination threshold value for near-infrared projection is selected, and the process proceeds to step 408.
  • the determination threshold for near-infrared light projection is a threshold value for separating the light of the tail lamp of the preceding vehicle and the reflected light of the roadside reflector in the near-red light projection area.
  • the threshold value is used to separate these using such a difference.
  • the determination threshold for near-infrared light projection is determined based on test data (for example, an RGB vector of a high-intensity point caused by the light of a tail lamp of a preceding vehicle in the near-red light projection area, and roadside reflection in the near-red light projection area. It may be set / adapted based on RGB vector test data of a high luminance point caused by reflected light of an object). Other examples of the method for setting the determination threshold for near-infrared light projection will be described later together with other methods for setting the determination threshold.
  • the determination threshold for non-near infrared projection is selected, and the process proceeds to step 408.
  • the determination threshold for non-near infrared projection is a threshold for separating the light of the tail lamp of the preceding vehicle and the reflected light of the roadside reflector in the non-near red projection region.
  • the high brightness point caused by the light of the tail lamp of the preceding vehicle in the non-near red light projection area and the high brightness point caused by the reflected light of the roadside reflector in the non-near red light projection area Since there is a difference, this is a threshold for separating these using such a difference.
  • the determination threshold for non-near infrared light projection is determined based on test data (for example, an RGB vector of a high-intensity point caused by the light of the tail lamp of a preceding vehicle in the non-near red light projection region, and the non-near red light projection region. It may be set / adapted based on RGB vector test data of a high-luminance point caused by reflected light of a certain roadside reflector.
  • the determination threshold for non-near infrared projection and the determination threshold for near infrared projection are different from each other. This is because the spectral sensitivity characteristics of the camera 12 are different between the near-red projection area and the non-near-red projection area.
  • Other examples of the method for setting the determination threshold for non-near infrared light projection will be described later together with other methods for setting the determination threshold.
  • step 408 it is determined whether or not the high beam is on and a high luminance point exists in the high beam irradiation area. If the high beam is on and a high luminance point exists in the high beam irradiation area, the process proceeds to step 410, and otherwise (at least one of the conditions is not satisfied), the process proceeds to step 412.
  • a high beam determination threshold is selected, and the process proceeds to step 412.
  • the determination threshold for high beam may be selected based on a determination threshold that has already been selected (a determination threshold for near-infrared projection or a determination threshold for non-near infrared projection). For example, when the near-infrared projection determination threshold is selected, the high-beam determination threshold may be a threshold corrected by a predetermined luminance increase with respect to the near-infrared projection determination threshold. This is because when the high beam is on, the luminance of the high luminance point (only the visible light range) is increased due to the reflected light of the roadside reflector in the near-red light projection region.
  • the high beam determination threshold when the non-near infrared projection determination threshold is selected may be the same threshold as the non-near infrared projection determination threshold.
  • Other examples of the method for setting the determination threshold for high beam will be described later together with other methods for setting the determination threshold.
  • step 412 based on the relationship between the selected determination threshold and the RGB vector calculated in step 400, it is determined whether or not the high brightness point is caused by the reflected light of the roadside reflector. If it is determined that the high brightness point is caused by the reflected light of the roadside reflector, the process proceeds to step 414. If it is determined that the high brightness point is not caused by the reflected light of the roadside reflector, the process proceeds to step 416.
  • step 414 the high luminance point determined to be caused by the reflected light of the roadside reflector is removed, and the process proceeds to step 416. If there is no remaining high luminance point as a result of this removal, the processing may be terminated as it is (in this case, it is determined that the tail lamp of the preceding vehicle is not detected in the current processing cycle).
  • step 416 it is determined whether or not the high brightness point is caused by the light of the tail lamp of the preceding vehicle.
  • This determination method may be arbitrary. For example, the determination may be made in consideration of the color characteristics, attributes (for example, whether there are two pairs), movement, etc. of the tail lamp of the preceding vehicle. An example of a tail lamp detection method will be described later.
  • step 418 the high brightness point is determined to be caused by the light of the tail lamp of the preceding vehicle. That is, the tail lamp of the preceding vehicle is detected.
  • the index value (for example, each element of the RGB vector) of the color component of the high luminance point derived by image processing of the front environment image is the same object (for example, a roadside reflection object).
  • the object for example, a roadside reflection object.
  • the tail lamp or the roadside reflector of the preceding vehicle is changed depending on the lighting state of the front illumination device of the vehicle (that is, each state of the high beam and near infrared projector). Since the determination threshold value for the determination is changed, it is possible to accurately separate the recognition target (or removal target) object from other objects (including noise and the like). Thereby, the image recognition accuracy of the preceding vehicle by the image processing device 14 is improved.
  • the determination in step 416 may be omitted depending on the high luminance point extraction mode in step 400. For example, only two pairs of high-intensity points are extracted in step 400 above, and the high-intensity points due to the light of the headlights are removed. Further, after step 414 or a negative determination in step 412, 2 is obtained. If only a pair of high-intensity points remain, the two pairs of high-intensity points may be determined as being caused by the light of the tail lamp of the preceding vehicle.
  • step 412 based on the relationship between the selected determination threshold and the RGB vectors of the two pairs of high-intensity points calculated in step 400, the two pairs of high-intensity points are preceded. It is determined whether it is caused by the light of the tail lamp of the car or the light reflected by the roadside reflector.
  • a high luminance point for example, the light 806 of the oncoming vehicle headlight in FIG. 5 due to the light of the headlight of the oncoming vehicle is different in color, brightness (relatively high), and movement (relative speed). Based on characteristics such as (relatively large), the high luminance point by the light of the tail lamp of the preceding vehicle and the high luminance point by the reflected light of the roadside reflector may be identified and removed.
  • FIG. 6 shows an example of a pixel configuration (CMOS imager color Bayer array) of the camera 12 configured as a CMOS camera as an example.
  • FIG. 7 is a diagram illustrating an example of spectral sensitivity characteristics of the camera 12, (A) is a graph illustrating spectral transmittance characteristics of a color filter used in the camera 12, and (B) is imaging of the camera 12. It is a graph which shows the sensitivity characteristic of an element, (C) is a graph which shows the spectral sensitivity characteristic of the camera 12.
  • FIG. 7A an infrared cut filter that cuts an infrared wavelength of 700 nm or more is provided in order to ensure color reproducibility in a configuration that does not perform near infrared projection. Since infrared projection is performed, no infrared cut filter is provided to ensure infrared sensitivity.
  • FIG. 7C corresponds to a graph obtained by multiplying the characteristics of FIGS. 7A and 7B. As is clear from FIG. 7, the fine part of the characteristic in FIG. 7C varies depending on the characteristics of the color filter and the image sensor of the camera 12.
  • FIG. 8 is a diagram showing the spectral range of a denier (an example of a roadside reflector) in the characteristics of FIG. 7C, and is an explanatory diagram of a method for setting a determination threshold for non-near infrared light projection.
  • FIG. 9 is a diagram illustrating the spectral range of the denierita in the characteristics of FIG. 7C, and is an explanatory diagram of a method for setting a determination threshold value for near-infrared light projection.
  • the reflected light of the denier is mainly in the spectral range A1 (about 550 nm to 620 nm) in the non-near red projection region, whereas in the near red projection region, the spectral range A2 is reflected. (About 700 nm or more). Therefore, the reflected light of the denier in the non-near red light projection area becomes an RGB vector depending on the characteristics of the spectral range A1, whereas the reflected light of the denier in the near red light projection area is in the spectral range.
  • the RGB vector depends on the characteristics of A2.
  • the determination threshold for non-near infrared projection is the integrated values lr A1 , lg A1 , and lb A1 of RGB intensities (luminances) in the spectral range A1 (the spectral range A1 in FIG. 8 is the integration interval).
  • Red component reference value Refr lr A1 / (lr A1 + lg A1 + lb A1 )
  • Green component reference value Refg lg A1 / (lr A1 + lg A1 + lb A1 )
  • Blue component reference value Refb lb A1 / (lr A1 + lg A1 + lb A1 )
  • the determination threshold value for near-infrared light projection is the integral values lr A1 + A2 , lg A1 + A2 and lb A1 + A2 of the RGB intensities in the spectral range A1 and the spectral range A2 (the spectral range A1 and the spectral range A2 in FIG. 9 are integrated intervals).
  • Red component reference value Refr lr A1 + A2 / (lr A1 + A2 + lg A1 + A2 + lb A1 + A2 )
  • Green component reference value Refg lg A1 + A2 / (lr A1 + A2 + lg A1 + A2 + lb A1 + A2 )
  • Blue component reference value Refb lb A1 + A2 / (lr A1 + A2 + lg A1 + A2 + lb A1 + A2 )
  • Such a determination threshold for near-infrared light projection is suitable particularly when the near-red light projection region at least partially overlaps the low beam irradiation region (for the overlap region).
  • the determination threshold value for near-infrared projection is obtained by integrating the integral values lr A2 , lg A2 , and lb A2 of the RGB intensities in the spectral range A2 (integrating each curve using the spectral range A2 in FIG. 9 as an integration interval). Value) may be set based on the following reference value.
  • Red component reference value Refr lr A2 / (lr A2 + lg A2 + lb A2 )
  • Green component reference value Refg lg A2 / (lr A2 + lg A2 + lb A2 )
  • Blue component reference value Refb lb A2 / (lr A2 + lg A2 + lb A2 )
  • Such a determination threshold value for near-infrared light projection is particularly suitable when the near-red light projection region does not overlap with the low beam irradiation region (for non-overlapping regions).
  • the determination threshold value for high beam is an integrated value lr A1 , lg A1 , lb A1 of each intensity in the spectral range A1 (FIG. 9).
  • the integrated values lr A2 , lg A2 , and lb A2 of the RGB intensities in the spectral range A2 (each of the spectral ranges A2 in FIG. 9 as the integration interval). May be set based on the following reference value using a value obtained by integrating the curve).
  • Red component reference value Refr (lr A1 + lr A2 + ⁇ ) / ⁇ (lr A1 + lg A1 + lb A1 ) + (lr A2 + lg A2 + lb A2 ) + ⁇ + ⁇ + ⁇ ) ⁇
  • Green component reference value Refg (lg A1 + lg A2 + ⁇ ) / ⁇ (lr A1 + lg A1 + lb A1 ) + (lr A2 + lg A2 + lb A2 ) + ⁇ + ⁇ + ⁇ ) ⁇
  • Blue component reference value Refb (lb A1 + lb A2 + ⁇ ) / ⁇ (lr A1 + lg A1 + lb A1 ) + (lr A2 + lg A2 + lb A2 ) + ⁇ + ⁇ + ⁇ ) ⁇
  • ⁇ , ⁇ , and ⁇ correspond to the increase in luminance due to the high
  • FIG. 10 is a diagram illustrating another example of the determination threshold.
  • FIG. 10 shows a spherical surface representing a determination threshold value in an orthogonal coordinate system having three component directions of RGB as three axes.
  • the spherical surface is represented as follows. (R-Refr) 2 + (G-Refg) 2 + (B-Refb) 2 ⁇ e 2
  • e is an allowable error, and may be 0.05 (5%), for example.
  • (Refr, Refg, Refb) are the above-mentioned reference values.
  • the determination threshold for near infrared projection the determination threshold for non-infrared projection, and the determination threshold for high beam And different.
  • the end point of the RGB vector of the high brightness point starting from the origin of the Cartesian coordinates is included in the spherical surface, it is determined that the high brightness point is caused by the reflected light of the denier, and the outside of the spherical surface is determined. If it is located at, it may be determined that the high luminance point is not caused by the reflected light of the denier (see step 412 in FIG. 4).
  • FIG. 11 is a diagram showing the spectral range of the tail lamp in the characteristic of FIG. 7C
  • FIG. 11A is a graph showing the spectral range when the tail lamp of the preceding vehicle is an LED (light-emitting diode).
  • (B) are graphs showing the spectral range when the tail lamp of the preceding vehicle is a halogen bulb.
  • the light of the tail lamp is in the spectral range B1 when it is an LED, whereas it is in the spectral range B2 when it is a halogen sphere.
  • the tail lamp determination threshold values are integrated values lr LED , lg LED , lb LED of RGB intensities (luminances) in the spectral range B1 (with the spectral range B1 in FIG. 11 as integration intervals). May be set based on the following reference value using a value obtained by integrating the curve).
  • the tail lamp determination threshold values are integrated values lr hal , lg hal , and lb hal of RGB intensities (luminances) in the spectral range B 2 (the spectral range B 2 in FIG.
  • Red component reference value Refr lr hal / (lr hal + lg hal + lb hal )
  • Green component reference value Refg lg hal / (lr hal + lg hal + lb hal )
  • Blue component reference value Refb lb hal / (lr hal + lg hal + lb hal )
  • each component of the RGB vector of the high luminance point is within ⁇ 5% of the reference value of each component in the case of an LED, or the reference of each component in the case of a halogen sphere
  • the value is within ⁇ 5% of the value, it is determined that the high brightness point is caused by the light of the tail lamp of the preceding vehicle, and in other cases, the high brightness point is the light of the tail lamp of the preceding car.
  • the threshold value for tail lamp determination by the spherical surface is as follows. (R-Refr) 2 + (G-Refg) 2 + (B-Refb) 2 ⁇ e 2
  • e is an allowable error, and may be 5 [%], for example.
  • (Refr, Refg, Refb) are the above-mentioned reference values. At this time, two spherical surfaces are formed for the case of the LED and the case of the halogen sphere.
  • the end point of the RGB vector of the high brightness point starting from the origin of the orthogonal coordinates is included in any spherical surface, it is determined that the high brightness point is caused by the light of the tail lamp of the preceding vehicle. If it is located outside any spherical surface, it may be determined that the high brightness point is not caused by the light of the tail lamp of the preceding vehicle (see step 416 in FIG. 4).
  • the tail lamp determination threshold value corresponding thereto may be used alone.
  • the determination threshold for near-infrared projection is, for example, the spherical surface shown in FIG. 10 (the spherical surface using the reference value for the determination threshold for near-infrared projection) and the tail lamp determination described with reference to FIG. It may be expressed by a function that separates the sphere for use threshold.
  • the non-near-infrared projection determination threshold value is described with reference to, for example, the spherical surface shown in FIG. 10 (the spherical surface using the reference value for the non-near-infrared projection determination threshold value) and FIG. It may be expressed by a function that separates the tail lamp determination threshold spherical surface.
  • FIG. 12 is a system diagram showing an embodiment of the driving support device 100 including the on-vehicle peripheral object recognition device 1 of the present embodiment.
  • the driving support device 100 includes an on-vehicle peripheral object recognition device 1, an ECB / ECU 104, a lamp control ECU 106, and an obstacle collision determination ECU 110.
  • the obstacle collision determination ECU 110 is connected to the on-vehicle peripheral object recognition device 1 and the millimeter wave radar 136, and is also connected to the lamp control ECU 106 and the meter 108.
  • the obstacle collision determination ECU 110 is connected to the ECB / ECU 104 and the yaw rate sensor 130 via an appropriate bus 150 such as a CAN (controller area network).
  • the ECB / ECU 104 is connected to a brake actuator 120, a wheel speed sensor 132, an alarm buzzer 140, and the like.
  • FIG. 13 is a flowchart showing an example of lamp lighting control executed by the lamp control ECU 106.
  • step 1302 it is determined whether the ambient brightness is lower than a predetermined threshold value ⁇ .
  • the ambient brightness may be determined based on information from a sunshine sensor, for example. If the ambient brightness is lower than the predetermined threshold ⁇ , the process proceeds to step 1304. If the ambient brightness is equal to or higher than the predetermined threshold ⁇ , the process proceeds to step 1310.
  • step 1304 it is determined whether or not the low beam is on. If the low beam is on, the process proceeds to step 1306. If the low beam is off, the process proceeds to step 1310. If the low beam is off, the low beam may be turned on and the process may proceed to step 1306.
  • step 1306 based on the wheel speed sensor 132, it is determined whether or not the vehicle speed is higher than 20 km / h. If the vehicle speed is higher than 20 km / h, the process proceeds to step 1308. If the vehicle speed is 20 km / h or less, the process proceeds to step 1310.
  • step 1308 the near-infrared projector 6 is turned on.
  • step 1310 the near-infrared projector 6 is turned off.
  • FIG. 14 is a flowchart illustrating an example of driving support control executed by the driving support device 100.
  • step 1402 the vehicle-mounted peripheral object recognition device 1 detects the tail lamp of the preceding vehicle according to the process shown in FIG.
  • step 1404 the image processing device 14 of the on-vehicle peripheral object recognition device 1 calculates (estimates) the distance to the preceding vehicle and the direction (lateral position) of the preceding vehicle based on the detected pixel position of the tail lamp. At this time, the image processing device 14 may calculate a relative speed with respect to the preceding vehicle based on a change mode of the distance to the preceding vehicle. The on-vehicle peripheral object recognition device 1 transmits these pieces of information to the lamp control ECU 106 and the obstacle collision determination ECU 110.
  • step 1406 driving support control is executed based on the detection result of the tail lamp by the vehicle-mounted peripheral object recognition device 1.
  • the obstacle collision determination ECU 110 determines the possibility of a collision between the preceding vehicle and the vehicle based on the detection result of the tail lamp of the preceding vehicle by the on-vehicle peripheral object recognition device 1.
  • the obstacle collision determination ECU 110 outputs an alarm by the alarm buzzer 140 via the ECB / ECU 104, and the driver performs independent braking.
  • Encourage collision avoidance operations such as operations.
  • the obstacle collision determination ECU 110 operates the brake actuator 120 via the ECB / ECU 104 to generate a braking force (intervention). control).
  • the determination logic for the possibility of a collision with the preceding vehicle is widely known in the field of pre-crash control, and any method may be used.
  • the detection result of a radar sensor such as the millimeter wave radar 136 may be used to determine the possibility of a collision with a preceding vehicle.
  • the lamp control ECU 106 may execute the light distribution control of the headlight 4 based on the detection result of the tail lamp of the preceding vehicle by the on-vehicle peripheral object recognition device 1.
  • the lamp control ECU 106 controls the light distribution of the headlight 4 so that the preceding vehicle is not irradiated with the high beam (the glare is not given to the driver of the preceding vehicle by the high beam).
  • the light distribution control may be realized by adjusting the swivel angle of the headlight 4 or changing the shielding portion that shields a part of the high beam irradiation range by moving the shade.
  • These driving support controls may be executed by any one, any two combinations, or all three.
  • the determination threshold is changed according to whether or not the high beam is turned on (see step 410 in FIG. 4), but such a change may be omitted. This is because, for example, an overlapping portion of the low beam irradiation region and the near-red light projection region does not greatly differ in spectral characteristics depending on whether or not the high beam is turned on.
  • the determination threshold when the high-intensity point belongs to the near-red light projection area not including the low beam irradiation area is the integrated values lr A2 and lg A2 of the RGB intensities in the spectral range A2, as described with reference to FIG. , Lb A2 may be used as a determination threshold value.
  • the determination threshold when the high brightness point belongs to the overlapping portion of the low beam irradiation region and the near-red light projection region is the intensity of each of RGB in the spectral range A1 and the spectral range A2 as described with reference to FIG.
  • the determination threshold value may be set using the integrated values lr A1 + A2 , lg A1 + A2 , and lb A1 + A2 .
  • a determination threshold is further set according to whether or not the high beam is turned on. It may be changed.
  • the determination threshold for high beam may be a determination threshold that takes into account the luminance increase ( ⁇ , ⁇ , ⁇ ) due to the high beam described above.
  • the near-infrared projection determination threshold values are integrated values lr A1 , lg A1 , lb A1 of each intensity in the spectral range A1 and integrated values lr A2 of RGB in the spectral range A2 ,
  • the values may be set based on the following reference values using lg A2 and lb A2 (values obtained by integrating the curves with the spectral range A1 and the spectral range A2 in FIG. 9 as integration intervals).
  • Red component reference value Refr (K ⁇ lr A1 + lr A2 ) / ⁇ K ⁇ (lr A1 + lg A1 + lb A1 ) + (lr A2 + lg A2 + lb A2 ) ⁇
  • Green component reference value Refg (K ⁇ lg A1 + lg A2 ) / ⁇ K ⁇ (lr A1 + lg A1 + lb A1 ) + (lr A2 + lg A2 + lb A2 ) ⁇
  • Blue component reference value Refb (K ⁇ lb A1 + lb A2 ) / ⁇ K ⁇ (lr A1 + lg A1 + lb A1 ) + (lr A2 + lg A2 + lb A2 ) ⁇
  • K is a constant, and may be a value of 1 or less for the overlapping portion of the low beam irradiation region and the near red
  • K may be varied so that the distance from the vehicle increases, and K is set to zero in the near-red light projection area that does not include the low beam irradiation area.
  • K may be a value greater than 1 when the high beam is turned on. Also in this case, it may be varied so that K decreases as the distance from the vehicle increases.
  • the spectral characteristics of the headlight 4 are not considered in the determination method of various determination thresholds, but the spectral characteristics of the headlight 4 can also be considered.
  • a camera spectral luminance characteristic obtained by multiplying the RGB spectral sensitivity characteristic of the camera 12 shown in FIG. 7C by the spectral characteristic of the headlight 4 as shown in FIG. May be used. That is, in the above-described embodiment, the RGB spectral sensitivity characteristics of the camera 12 shown in FIG. 7C are used for determining various determination thresholds.
  • a camera spectral brightness characteristic as shown in FIG. 16 may be used.
  • FIG. 16 a camera spectral luminance characteristic obtained by multiplying the RGB spectral sensitivity characteristic of the camera 12 shown in FIG. 7C by the spectral characteristic of the headlight 4 as shown in FIG.
  • FIG. 16 is a diagram showing an example of the camera spectral luminance characteristics
  • (A) is a graph showing the camera spectral luminance characteristics when the light source of the headlight 4 is a halogen sphere
  • (B) is a graph showing camera spectral luminance characteristics when the light source of the headlight 4 is HID (High Intensity Discharge)
  • FIG. 8C is a graph showing camera spectral luminance characteristics when the light source of the headlight 4 is an LED. It is.
  • a delineator that is orange and round and regularly arranged along the road is assumed as an example of the roadside reflector.
  • the present invention is applicable to roadside reflectors other than the delineator, which have any color feature and have any particular shape.
  • the on-vehicle peripheral object recognition device 1 mainly removes roadside reflectors such as a delineator that is easily erroneously recognized as the taillight in order to detect the taillight of the oncoming vehicle.
  • it may be embodied as a device for detecting a roadside reflector such as a delineator.
  • the detection result of roadside reflectors such as a delineator can be used for various purposes other than the purpose of detecting the tail lamp of the oncoming vehicle.
  • the detection result of a roadside reflector such as a delineator may be used for detection of a traveling lane of the vehicle, detection of a planned traveling direction, and light distribution control of the headlight 4.
  • the light distribution control of the headlight 4 for example, the light distribution of the headlight 4 may be varied so that light from a roadside reflector such as a delineator does not give glare to the driver of the vehicle.
  • the camera 12 that images the front of the vehicle is used, but a camera that images the side of the vehicle and the rear of the vehicle may be used.
  • the RGB vector is used as the index value of the color component.
  • the index value of the color component is an arbitrary index indicating the ratio of each color component or the relative size (strength). May be a value. It is also possible to use index values of two or one color component or index values of four or more color components.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Regulating Braking Force (AREA)
  • Image Analysis (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

　車載周辺物認識装置は、車両の周辺環境を撮像するカメラと、画像処理装置とを備え、前記画像処理装置は、前記カメラにより撮像された画像を画像処理して、所定輝度以上の像の色成分の指標値を算出し、前記算出した色成分の指標値と所定閾値との関係に基づいて、前記像が周辺他車の灯火に係る像であるか否かを判断し、前記所定閾値は、車両の前方照明装置の灯火状態に応じて変更されることを特徴とする。

Description

車載周辺物認識装置及びこれを用いる運転支援装置
　本発明は、車両の周辺環境を撮像するカメラと、画像処理装置とを備えた車載周辺物認識装置及びこれを用いる運転支援装置等に関する。
　従来から、カメラにより撮像された画像を画像処理し、クラス化を行うことで先行車のテールランプやヘッドライト、路側の照明や標識等を認識する技術が知られている（例えば、特許文献１参照）。
米国特許公開２００７／０２２１８２２号
　しかしながら、車両の前方照明装置の灯火状態によっては、同一の対象物であっても、カメラにより異なる態様で捕捉される場合がある。例えば、車両の前方照明装置により近赤外光を車両前方に投光し、近赤外光カメラを用いて画像認識を行う場合、近赤外光を投光した場合と近赤外光を投光していない場合とで、同一の対象物の像の色特性が変化する。
　そこで、本発明は、車両の前方照明装置の灯火状態に応じて認識対象物の認識方法を可変する車載周辺物認識装置及びこれを用いる運転支援装置等の提供を目的とする。
　本発明の一局面によれば、車両の周辺環境を撮像するカメラと、
　画像処理装置とを備え、
　前記画像処理装置は、前記カメラにより撮像された画像を画像処理して、所定輝度以上の像の色成分の指標値を算出し、前記算出した色成分の指標値と所定閾値との関係に基づいて、前記像が周辺他車の灯火に係る像であるか否かを判断し、
　前記所定閾値は、車両の前方照明装置の灯火状態に応じて変更されることを特徴とする、車載周辺物認識装置が提供される。
　本発明によれば、車両の前方照明装置の灯火状態に応じて認識対象物の認識方法を可変する車載周辺物認識装置及びこれを用いる運転支援装置等が得られる。
本発明の一実施例による車載周辺物認識装置１の構成を示す図である。 カメラ１２の搭載状態の一例と共に、ロービーム照射領域と近赤投光領域の関係の一例を示す図である。 近赤外投光装置６の一例を示す図である。 画像処理装置１４により実行される前方車両のテールランプ検出方法の一例を示すフローチャートである。 画像処理装置１４により処理される前方環境画像の一例を模式的に示す図である。 カメラ１２の画素構成（ＣＭＯＳイメージャカラーベイヤ配列）の一例を示す図である。 カメラ１２の分光感度特性の一例を示す図である。 図７（Ｃ）の特性におけるデニリエータの分光範囲を示す図であり、非近赤外投光用判定閾値の設定方法の説明図である。 図７（Ｃ）の特性におけるデニリエータの分光範囲を示す図であり、近赤外投光用判定閾値の設定方法の説明図である。 判定閾値のその他の例を示す図である。 図７（Ｃ）の特性におけるテールランプの分光範囲を示す図である。 本実施例の車載周辺物認識装置１を含む運転支援装置１００の一実施例を示すシステム図である。 ランプ制御ＥＣＵ１０６により実行されるランプ点灯制御の一例を示すフローチャートである。 運転支援装置１００により実行される運転支援制御の一例を示すフローチャートである。 ３種類の光源（ＬＥＤ，ハロゲン、ＨＩＤ）のそれぞれの場合のヘッドライト４の分光特性の一例を示す図である。 ヘッドライト４の分光特性が考慮されたカメラ分光輝度特性の一例を示す図である。
　以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
　図１は、本発明の一実施例による車載周辺物認識装置１の構成を示す図である。
　車載周辺物認識装置１は、カメラ１２と、画像処理装置１４とを含む。
　カメラ１２は、近赤外光カメラであり、近赤外光に高い感度を有するＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、車両前方の路面を含む前方環境画像を取得する。カメラ１２は、図２に示すように、例えばルームミラーの裏側（車両前側の面）に取り付けられる。カメラ１２により撮像される車両前方領域は、後述のロービーム照射領域の全部若しくは少なくともその大部分を含む。また、カメラ１２により撮像される車両前方領域は、後述の近赤投光領域の全部若しくは一部を含む。カメラ１２は、車両走行中にリアルタイムに前方環境画像を取得し、所定のフレーム周期のストリーム形式で画像処理装置１４に供給するものであってよい。
　画像処理装置１４は、カメラ１２から得られる前方環境画像を画像処理して、車両前方に存在しうる前方車両（先行車や対向車）を検出する。前方環境画像中の前方車両を検出する方法は後に詳説する。
　図２は、カメラ１２の搭載状態の一例と共に、ロービーム照射領域と近赤投光領域の関係の一例を示す図である。図３は、近赤外投光装置６の一例を示す図である。
　車載周辺物認識装置１が搭載される車両は、ヘッドライト４と共に、近赤外投光装置６を有する。ヘッドライト４は、車両前方に向けて可視光を放つ。ヘッドライト４は、オン／オフの切換が可能であり、オン時に可視光を照射する。また、ヘッドライト４は、ロービームとハイビームとを切り替え可能である。尚、ロービーム用の光源とハイビーム用の光源とは別であってもよいし、共通であってもよい。後者の場合、ロービームとハイビームとの間の切り替えは、ハイビーム光を選択的に遮るように可動するシェードを駆動することにより実現されてもよい。図２には、ロービームによる照射領域の一例がロービーム照射領域として図示されている。
　近赤外投光装置６は、車両前方に向けて近赤外光を放つ。近赤外投光装置６は、オン／オフの切換が可能であり、オン時に近赤外光を照射する。近赤外投光装置６は、例えば車両前部両側に装着される。近赤外投光装置６は、図３に示すように、ハイビームランプ４ａに組み込まれてもよい。図示の例では、近赤外投光装置６は、赤外線透過フィルタ６ａと、ソレノイド６ｂとを含む。ソレノイド６ｂは、赤外線透過フィルタ６ａを、図３（Ａ）に示すオフ位置と、図３（Ｂ）に示すオン位置の間で駆動する。オフ位置では、図３（Ａ）に示すように、赤外線透過フィルタ６ａがハイビームの光路外に退避され、ハイビーム光が車両前方に照射される。他方、オン位置では、図３（Ｂ）に示すように、赤外線透過フィルタ６ａがハイビームの光路上に配置され、近赤外光が車両前方に照射される。図２には、近赤投光領域の一例が図示されている。なお、図３に示す近赤外投光装置６を用いる場合、近赤投光領域は、ハイビームによる照射領域（ハイビーム照射領域）と実質的に同一となる。以下では、説明の複雑化を防止するため、近赤投光領域とハイビーム照射領域とは同一であるものとする。
　近赤投光領域は、例えば、図２に示すように、ロービーム照射領域よりも遠方側に設定される。これは、近赤投光領域を、ロービームでは照明不能若しくは照明量が不足する領域に設定することで、運転者が目視により認識し難い遠方にいる歩行者等を監視するためである。例えば、ロービーム照射領域は、車両前方２０ｍ程度までの領域であってよく、近赤投光領域は、ロービーム照射領域よりも車両前方の領域であってよい。近赤投光領域とロービーム照射領域とは、互いに近接し、一部が重複してもよい。尚、以下では、近赤投光領域を含まないロービーム照射領域を、単に非近赤投光領域ともいう。
　図４は、画像処理装置１４により実行される前方車両のテールランプ検出方法の一例を示すフローチャートである。図４に示す処理ルーチンは、例えばヘッドライト４がオンされている間、所定周期毎に実行されてもよい。図５は、画像処理装置１４により処理される前方環境画像の一例を模式的に示す図である。図５には、前方環境画像中における近赤投光領域が枠７０の中の領域として示されている。
　ステップ４００では、前方環境画像における高輝度点のＲＧＢベクトルを抽出する。高輝度点は、所定輝度以上の画素又はその集合であり、所定輝度は、テールランプの光に係る像が確実に抽出される値に設定・適合される。ＲＧＢベクトルは、（Ｒ／（Ｒ２＋Ｇ２＋Ｂ２）０．５、Ｇ／（Ｒ２＋Ｇ２＋Ｂ２）０．５、Ｂ／（Ｒ２＋Ｇ２＋Ｂ２）０．５）である。尚、高輝度点が複数の画素の集合からなる場合は、ＲＧＢベクトルは、当該集合を構成する各画素の平均値として導出されてもよい。
　尚、高輝度点が複数存在する場合には、各高輝度点に対して、それぞれ、ＲＧＢベクトルが算出され、ステップ４０２以降の処理が実行されてよい。或いは、テールランプ候補として２つのペアの高輝度点が検出された場合に、当該２つのペアの高輝度点に対して、それぞれ、ＲＧＢベクトルが算出され、ステップ４０２以降の処理が実行されてよいし、当該２つのペアの高輝度点を１つの光輝度点としてまとめてＲＧＢベクトルが算出され、ステップ４０２以降の処理が実行されてよい。
　例えば本ステップ４００では、図５に示す例の場合、路側反射物（本例ではデリニエータ）の反射光８０２と、先行車のテールランプの光８０４と、対向車のヘッドライトの光８０６が高輝度点として検出されうる。尚、デリニエータの反射光８０２は、主に、車両（自車）のヘッドライト４からの光に起因するものである。先行車のテールランプの光８０４及び対向車のヘッドライトの光８０６は、それぞれのランプの点灯状態で発生される光(自発光)である。
　ステップ４０２では、近赤外投光装置６がオンであり（近赤投光中であり）、且つ、高輝度点が近赤投光領域内（図５の符号７０参照）に存在するか否かを判定する。近赤外投光装置６がオンであり、且つ、高輝度点が近赤投光領域内にある場合、ステップ４０４に進む。他方、いずれか又は双方が満たされない場合は、ステップ４０６に進む。例えば、近赤外投光装置６がオンであるが、高輝度点が近赤投光領域外にある場合には、ステップ４０６に進む。
　ステップ４０４では、近赤外投光用判定閾値を選択して、ステップ４０８に進む。近赤外投光用判定閾値は、近赤投光領域内にある先行車のテールランプの光と路側反射物の反射光とを切り分けるための閾値である。近赤投光領域内にある先行車のテールランプの光に起因した高輝度点と、近赤投光領域内にある路側反射物の反射光に起因した高輝度点とは、ＲＧＢベクトルに相違があるので、かかる相違を利用してこれらを切り分ける閾値である。近赤外投光用判定閾値は、試験データ（例えば、近赤投光領域内にある先行車のテールランプの光に起因した高輝度点のＲＧＢベクトルと、近赤投光領域内にある路側反射物の反射光に起因した高輝度点のＲＧＢベクトルの試験データ）に基づいて設定・適合されてもよい。近赤外投光用判定閾値の設定方法の他の例については、他の判定閾値の設定方法と共に後述する。
　ステップ４０６では、非近赤外投光用判定閾値を選択して、ステップ４０８に進む。非非近赤外投光用判定閾値は、非近赤投光領域内にある先行車のテールランプの光と路側反射物の反射光とを切り分けるための閾値である。非近赤投光領域内にある先行車のテールランプの光に起因した高輝度点と、非近赤投光領域内にある路側反射物の反射光に起因した高輝度点とは、ＲＧＢベクトルに相違があるので、かかる相違を利用してこれらを切り分ける閾値である。非近赤外投光用判定閾値は、試験データ（例えば、非近赤投光領域内にある先行車のテールランプの光に起因した高輝度点のＲＧＢベクトルと、非近赤投光領域内にある路側反射物の反射光に起因した高輝度点のＲＧＢベクトルの試験データ）に基づいて設定・適合されてもよい。ここで、非近赤外投光用判定閾値と近赤外投光用判定閾値とは、互いに異なる。これは、近赤投光領域と非近赤投光領域とでは、カメラ１２の分光感度特性が異なるためである。非近赤外投光用判定閾値の設定方法の他の例については、他の判定閾値の設定方法と共に後述する。
　ステップ４０８では、ハイビームがオンであり、且つ、高輝度点がハイビーム照射領域に存在するか否かを判定する。ハイビームがオンであり、且つ、高輝度点がハイビーム照射領域に存在する場合には、ステップ４１０に進み、それ以外の場合（少なくともいずれかが満たされない場合）、ステップ４１２に進む。
　ステップ４１０では、ハイビーム用判定閾値を選択して、ステップ４１２に進む。ハイビーム用判定閾値は、既にいずれか選択した判定閾値（近赤外投光用判定閾値又は非近赤外投光用判定閾値）に基づいて選択されてもよい。例えば、近赤外投光用判定閾値が選択された場合のハイビーム用判定閾値は、近赤外投光用判定閾値に対して所定輝度増加分だけ補正された閾値であってよい。これは、ハイビームがオンしている場合には、近赤投光領域における路側反射物の反射光に起因して高輝度点の輝度(可視光範囲のみ)が高くなるためである。他方、非近赤外投光用判定閾値が選択された場合のハイビーム用判定閾値は、非近赤外投光用判定閾値と同一の閾値であってよい。ハイビーム用判定閾値の設定方法の他の例については、他の判定閾値の設定方法と共に後述する。
　ステップ４１２では、選択した判定閾値と、上記ステップ４００で算出したＲＧＢベクトルとの関係に基づいて、高輝度点が路側反射物の反射光に起因するものか否かを判定する。高輝度点が路側反射物の反射光に起因するものと判定した場合、ステップ４１４に進み、高輝度点が路側反射物の反射光に起因するものでないと判定した場合、ステップ４１６に進む。
　ステップ４１４では、路側反射物の反射光に起因すると判定した高輝度点を除去して、ステップ４１６に進む。尚、この除去の結果、残りの高輝度点が存在しない場合は、そのまま終了してもよい(この場合、今回の処理周期では先行車のテールランプが検出されないと判断されることになる)。
　ステップ４１６では、高輝度点が先行車のテールランプの光に起因するものか否かを判定する。この判定方法は、任意であってよい。例えば先行車のテールランプの色の特性、属性（例えば２個ペアか否か）、動き等を考慮して判定されてもよい。テールランプの検出方法の一例については後述する。
　ステップ４１８では、高輝度点が先行車のテールランプの光に起因するものとして確定する。即ち、先行車のテールランプを検出する。
　ところで、上述の如く、前方環境画像を画像処理して導出される高輝度点の色成分の指標値（例えばＲＧＢベクトルの各要素）は、同一の対象物（例えば路側反射物）であっても、当該対象物が近赤投光領域内に存在するか非近赤投光領域に存在するかによって異なる。
　この点、本実施例によれば、上述の如く、車両の前方照明装置の灯火状態（即ち、ハイビーム、近赤外投光装置の各状態）に応じて、先行車のテールランプ又は路側反射物を判定するための判定閾値が変更されるので、認識対象（又は除去対象）の対象物を他の物体（ノイズ等を含む）から精度良く切り分けることができる。これにより、画像処理装置１４による前方車両の画像認識精度が向上する。
　尚、図４に示す処理において、上記ステップ４１６の判定は、上記ステップ４００での高輝度点の抽出態様によっては、省略されてもよい。例えば、上記ステップ４００で２個のペアの高輝度点のみが抽出され、且つ、ヘッドライトの光による高輝度点が除去されており、更に、ステップ４１４を経て又はステップ４１２の否定判定を経て２個のペアの高輝度点のみが残存している場合には、当該２個のペアの高輝度点を、先行車のテールランプの光に起因するものとして確定してもよい。この場合は、ステップ４１２では、選択した判定閾値と、上記ステップ４００で算出した２個のペアの高輝度点のＲＧＢベクトルとの関係に基づいて、当該２個のペアの高輝度点が、先行車のテールランプの光に起因するものか、又は、路側反射物の反射光に起因するものかが判定されることになる。尚、対向車のヘッドライトの光による高輝度点（例えば、図５の対向車のヘッドライトの光８０６）は、色の相違や輝度の相違（輝度が比較的高い）、動き（相対速度が比較的大きい）等の特徴に基づいて、先行車のテールランプの光による高輝度点や路側反射物の反射光による高輝度点に対して識別・除去されてもよい。
　次に、近赤外投光用判定閾値及び非近赤外投光用判定閾値の設定方法の具体例について説明する。
　ここでは、先ず、カメラ１２の分光感度特性について説明する。
　図６は、一例としてＣＭＯＳカメラとして構成されるカメラ１２の画素構成（ＣＭＯＳイメージャカラーベイヤ配列）の一例を示す。図７は、カメラ１２の分光感度特性の一例を示す図であり、（Ａ）は、カメラ１２で用いられるカラーフィルタの分光透過率特性を示すグラフであり、（Ｂ）は、カメラ１２の撮像素子の感度特性を示すグラフであり、（Ｃ）は、カメラ１２の分光感度特性を示すグラフである。
　図７（Ａ）に示すように、近赤外投光を行わない構成では色再現性確保のために７００ｎｍ以上の赤外波長をカットする赤外カットフィルタが設けられるが、本例では、近赤外投光を行うため、赤外感度確保のために赤外カットフィルタは設けられない。図７（Ｃ）は、図７（Ａ）と図７（Ｂ）の特性を乗算したグラフに相当する。尚、図７から明らかなように、図７（Ｃ）の特性の細かい部分は、カメラ１２のカラーフィルタや撮像素子の特性に応じて異なってくる。
　図８は、図７（Ｃ）の特性におけるデニリエータ（路側反射物の一例）の分光範囲を示す図であり、非近赤外投光用判定閾値の設定方法の説明図である。図９は、図７（Ｃ）の特性におけるデニリエータの分光範囲を示す図であり、近赤外投光用判定閾値の設定方法の説明図である。
　図８及び図９に示すように、デニリエータの反射光は、非近赤投光領域では主に分光範囲Ａ１（約５５０ｎｍ～６２０ｎｍ）であるのに対して、近赤投光領域では分光範囲Ａ２（約７００ｎｍ以上）である。従って、非近赤投光領域内にあるデニリエータの反射光は、分光範囲Ａ１の特性に依存したＲＧＢベクトルとなるのに対して、近赤投光領域内にあるデニリエータの反射光は、分光範囲Ａ２の特性に依存したＲＧＢベクトルとなる。この点に着目して、非近赤外投光用判定閾値は、分光範囲Ａ１のＲＧＢの各強度（輝度）の積分値ｌｒＡ１、ｌｇＡ１、ｌｂＡ１（図８の分光範囲Ａ１を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝ｌｒＡ１／（ｌｒＡ１＋ｌｇＡ１＋ｌｂＡ１）
緑成分基準値Ｒｅｆｇ＝ｌｇＡ１／（ｌｒＡ１＋ｌｇＡ１＋ｌｂＡ１）
青成分基準値Ｒｅｆｂ＝ｌｂＡ１／（ｌｒＡ１＋ｌｇＡ１＋ｌｂＡ１）
この場合、例えば、高輝度点のＲＧＢベクトルの各成分が、各成分の基準値に対して±５％に収まっている場合には、当該高輝度点がデニリエータの反射光に起因するものと判定し、それ以外の場合（いずれかの成分で基準値に対して５％を超える乖離がある場合）には、当該高輝度点がデニリエータの反射光に起因するものでないと判定してもよい（図４のステップ４１２参照）。
　同様に、近赤外投光用判定閾値は、分光範囲Ａ１及び分光範囲Ａ２のＲＧＢの各強度の積分値ｌｒＡ１＋Ａ２、ｌｇＡ１＋Ａ２、ｌｂＡ１＋Ａ２（図９の分光範囲Ａ１及び分光範囲Ａ２を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝ｌｒＡ１＋Ａ２／（ｌｒＡ１＋Ａ２＋ｌｇＡ１＋Ａ２＋ｌｂＡ１＋Ａ２）
緑成分基準値Ｒｅｆｇ＝ｌｇＡ１＋Ａ２／（ｌｒＡ１＋Ａ２＋ｌｇＡ１＋Ａ２＋ｌｂＡ１＋Ａ２）
青成分基準値Ｒｅｆｂ＝ｌｂＡ１＋Ａ２／（ｌｒＡ１＋Ａ２＋ｌｇＡ１＋Ａ２＋ｌｂＡ１＋Ａ２）
このような近赤外投光用判定閾値は、特に近赤投光領域がロービーム照射領域と少なくとも部分的に重複する場合に(重複領域に対して)好適である。この場合、同様に、例えば、高輝度点のＲＧＢベクトルの各成分が、各成分の基準値に対して±５％に収まっている場合には、当該高輝度点がデニリエータの反射光に起因するものと判定し、それ以外の場合（いずれかの成分で基準値に対して５％を超える乖離がある場合）には、当該高輝度点がデニリエータの反射光に起因するものでないと判定してもよい（図４のステップ４１２参照）。
　或いは、近赤外投光用判定閾値は、分光範囲Ａ２のＲＧＢの各強度の積分値ｌｒＡ２、ｌｇＡ２、ｌｂＡ２（図９の分光範囲Ａ２を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝ｌｒＡ２／（ｌｒＡ２＋ｌｇＡ２＋ｌｂＡ２）
緑成分基準値Ｒｅｆｇ＝ｌｇＡ２／（ｌｒＡ２＋ｌｇＡ２＋ｌｂＡ２）
青成分基準値Ｒｅｆｂ＝ｌｂＡ２／（ｌｒＡ２＋ｌｇＡ２＋ｌｂＡ２）
このような近赤外投光用判定閾値は、特に近赤投光領域がロービーム照射領域と重複しない場合に(非重複領域に対して)好適である。この場合、同様に、例えば、高輝度点のＲＧＢベクトルの各成分が、各成分の基準値に対して±５％に収まっている場合には、当該高輝度点がデニリエータの反射光に起因するものと判定し、それ以外の場合（いずれかの成分で基準値に対して５％を超える乖離がある場合）には、当該高輝度点がデニリエータの反射光に起因するものでないと判定してもよい（図４のステップ４１２参照）。
　また、近赤外投光用判定閾値が選択された場合のハイビーム用判定閾値（図４のステップ４１０参照）は、分光範囲Ａ１の各強度の積分値ｌｒＡ１、ｌｇＡ１、ｌｂＡ１（図９の分光範囲Ａ１を積分区間として各曲線を積分して得られる値）及び分光範囲Ａ２のＲＧＢの各強度の積分値ｌｒＡ２、ｌｇＡ２、ｌｂＡ２（図９の分光範囲Ａ２を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝（ｌｒＡ１＋ｌｒＡ２＋α）／{（ｌｒＡ１＋ｌｇＡ１＋ｌｂＡ１）＋（ｌｒＡ２＋ｌｇＡ２＋ｌｂＡ２）＋α＋β＋γ）}
緑成分基準値Ｒｅｆｇ＝（ｌｇＡ１＋ｌｇＡ２＋β）／{（ｌｒＡ１＋ｌｇＡ１＋ｌｂＡ１）＋（ｌｒＡ２＋ｌｇＡ２＋ｌｂＡ２）＋α＋β＋γ）}
青成分基準値Ｒｅｆｂ＝（ｌｂＡ１＋ｌｂＡ２＋γ）／{（ｌｒＡ１＋ｌｇＡ１＋ｌｂＡ１）＋（ｌｒＡ２＋ｌｇＡ２＋ｌｂＡ２）＋α＋β＋γ）}
ここで、α、β、γは、それぞれの色成分におけるハイビームによる輝度増加分に対応する。この場合、同様に、例えば、高輝度点のＲＧＢベクトルの各成分が、各成分の基準値に対して±５％に収まっている場合には、当該高輝度点がデニリエータの反射光に起因するものと判定し、それ以外の場合（いずれかの成分で基準値に対して５％を超える乖離がある場合）には、当該高輝度点がデニリエータの反射光に起因するものでないと判定してもよい（図４のステップ４１２参照）。
　図１０は、判定閾値のその他の例を示す図である。図１０には、ＲＧＢの各成分方向を３軸とした直交座標系において、判定閾値を表す球面が示されている。
球面は、以下で表される。
（Ｒ－Ｒｅｆｒ）２＋（Ｇ－Ｒｅｆｇ）２＋（Ｂ－Ｒｅｆｂ）２≦ｅ２
ここで、ｅは許容誤差であり、例えば０．０５（５％）であってよい。（Ｒｅｆｒ、Ｒｅｆｇ、Ｒｅｆｂ）は、上述の基準値であり、上述の如く、近赤外投光用判定閾値の場合と、非赤外投光用判定閾値の場合と、ハイビーム用判定閾値の場合とで異なる。この場合、この直交座標の原点を始点とする高輝度点のＲＧＢベクトルの終点が球面内に含まれる場合には、当該高輝度点がデニリエータの反射光に起因するものと判定し、球面の外に位置する場合には、当該高輝度点がデニリエータの反射光に起因するものでないと判定してもよい（図４のステップ４１２参照）。
　次に、図４のステップ４１６に適用されてもよいテールランプの検出方法の一例について説明する。
　図１１は、図７（Ｃ）の特性におけるテールランプの分光範囲を示す図であり、（Ａ）は、先行車のテールランプがＬＥＤ（light-emitting diode）である場合の分光範囲を示すグラフであり、（Ｂ）は、先行車のテールランプがハロゲン球である場合の分光範囲を示すグラフである。
　テールランプの光は、ＬＥＤである場合には分光範囲Ｂ１であるのに対して、ハロゲン球である場合には分光範囲Ｂ２となる。先行車のテールランプがＬＥＤである場合のテールランプ判定用閾値は、分光範囲Ｂ１のＲＧＢの各強度（輝度）の積分値ｌｒＬＥＤ、ｌｇＬＥＤ、ｌｂＬＥＤ（図１１の分光範囲Ｂ１を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝ｌｒＬＥＤ／（ｌｒＬＥＤ＋ｌｇＬＥＤ＋ｌｂＬＥＤ）
緑成分基準値Ｒｅｆｇ＝ｌｇＬＥＤ／（ｌｒＬＥＤ＋ｌｇＬＥＤ＋ｌｂＬＥＤ）
青成分基準値Ｒｅｆｂ＝ｌｂＬＥＤ／（ｌｒＬＥＤ＋ｌｇＬＥＤ＋ｌｂＬＥＤ）
同様に、先行車のテールランプがハロゲン球である場合のテールランプ判定用閾値は、分光範囲Ｂ２のＲＧＢの各強度（輝度）の積分値ｌｒｈａｌ、ｌｇｈａｌ、ｌｂｈａｌ（図１１の分光範囲Ｂ２を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝ｌｒｈａｌ／（ｌｒｈａｌ＋ｌｇｈａｌ＋ｌｂｈａｌ）
緑成分基準値Ｒｅｆｇ＝ｌｇｈａｌ／（ｌｒｈａｌ＋ｌｇｈａｌ＋ｌｂｈａｌ）
青成分基準値Ｒｅｆｂ＝ｌｂｈａｌ／（ｌｒｈａｌ＋ｌｇｈａｌ＋ｌｂｈａｌ）
この場合、例えば、高輝度点のＲＧＢベクトルの各成分が、ＬＥＤである場合の各成分の基準値に対して±５％に収まっている場合、又は、ハロゲン球である場合の各成分の基準値に対して±５％に収まっている場合、当該高輝度点が先行車のテールランプの光に起因するものと判定し、それ以外の場合には、当該高輝度点が先行車のテールランプの光に起因するものでないと判定してもよい。或いは、図１０に示した球面の閾値と同様の考え方を使用してもよい。即ち、球面によるテールランプ判定用閾値は、以下の通りである。
（Ｒ－Ｒｅｆｒ）２＋（Ｇ－Ｒｅｆｇ）２＋（Ｂ－Ｒｅｆｂ）２≦ｅ２
ここで、ｅは許容誤差であり、例えば５［％］であってよい。（Ｒｅｆｒ、Ｒｅｆｇ、Ｒｅｆｂ）は、上述の基準値である。この際、ＬＥＤである場合とハロゲン球である場合とで２つの球面が形成される。この場合、この直交座標の原点を始点とする高輝度点のＲＧＢベクトルの終点がいずれかの球面内に含まれる場合には、当該高輝度点が先行車のテールランプの光に起因するものと判定し、いずれの球面の外に位置する場合には、当該高輝度点が先行車のテールランプの光に起因するものでないと判定してもよい（図４のステップ４１６参照）。尚、例えば車者間通信等により先行車のテールランプの種類（ＬＥＤ、ハロゲン球）が既知である場合には、それに応じたテールランプ判定用閾値が単独で使用されてもよい。
　尚、図８乃至図１１では、デニリエータ又はテールランプを検出することでデニリエータとテールランプとを切り分ける閾値の設定方法が説明されているが、デニリエータとテールランプとを直接的に切り分ける判定閾値が使用されてもよい。この場合、近赤外投光用判定閾値は、例えば図１０に示した球面（近赤外投光用判定閾値用の基準値を使用した球面）と、図１１を参照して説明したテールランプ判定用閾値用の球面とを切り分ける関数で表現されてもよい。同様に、非近赤外投光用判定閾値は、例えば図１０に示した球面（非近近赤外投光用判定閾値用の基準値を使用した球面）と、図１１を参照して説明したテールランプ判定用閾値用の球面とを切り分ける関数で表現されてもよい。
　図１２は、本実施例の車載周辺物認識装置１を含む運転支援装置１００の一実施例を示すシステム図である。
　運転支援装置１００は、図１２に示すように、車載周辺物認識装置１と、ＥＣＢ・ＥＣＵ１０４と、ランプ制御ＥＣＵ１０６と、障害物衝突判断ＥＣＵ１１０とを含む。障害物衝突判断ＥＣＵ１１０は、車載周辺物認識装置１やミリ波レーダー１３６に接続されると共に、ランプ制御ＥＣＵ１０６やメーター１０８に接続される。また、障害物衝突判断ＥＣＵ１１０は、ＥＣＢ・ＥＣＵ１０４やヨーレートセンサ１３０にCAN（controller area network）などの適切なバス１５０を介して接続される。ＥＣＢ・ＥＣＵ１０４には、ブレーキアクチュエータ１２０、車輪速センサ１３２、警報ブザー１４０等が接続される。
　図１３は、ランプ制御ＥＣＵ１０６により実行されるランプ点灯制御の一例を示すフローチャートである。
　ステップ１３０２では、周囲の明るさが所定閾値αより低いか否かを判定する。周囲の明るさは、例えば日照センサからの情報に基づいて判断されてもよい。周囲の明るさが所定閾値αより低い場合は、ステップ１３０４に進み、周囲の明るさが所定閾値α以上である場合は、ステップ１３１０に進む。
　ステップ１３０４では、ロービームがオンであるか否かを判定する。ロービームがオンである場合は、ステップ１３０６に進み、ロービームがオフである場合は、ステップ１３１０に進む。尚、ロービームがオフである場合は、ロービームをオンにして、ステップ１３０６に進むこととしてもよい。
　ステップ１３０６では、車輪速センサ１３２に基づいて、車速が２０ｋｍ／ｈより大きいか否かを判定する。車速が２０ｋｍ／ｈより大きい場合は、ステップ１３０８に進み、車速が２０ｋｍ／ｈ以下である場合は、ステップ１３１０に進む。
　ステップ１３０８では、近赤外投光装置６をオンにする。
　ステップ１３１０では、近赤外投光装置６をオフにする。
　図１４は、運転支援装置１００により実行される運転支援制御の一例を示すフローチャートである。
　ステップ１４０２では、車載周辺物認識装置１は、上述の図４に示した処理に従って先行車のテールランプを検出する。
　ステップ１４０４では、車載周辺物認識装置１の画像処理装置１４は、検出したテールランプの画素位置に基づいて、先行車までの距離及び先行車の方向（横位置）を算出（推定）する。この際、画像処理装置１４は、先行車までの距離の変化態様に基づいて、先行車との相対速度を算出してもよい。車載周辺物認識装置１は、これらの情報をランプ制御ＥＣＵ１０６及び障害物衝突判断ＥＣＵ１１０に送信する。
　ステップ１４０６では、車載周辺物認識装置１によるテールランプの検出結果に基づいて、運転支援制御が実行される。例えば、障害物衝突判断ＥＣＵ１１０は、車載周辺物認識装置１による先行車のテールランプの検出結果に基づいて、先行車と車両との間の衝突の可能性を判断する。先行車と車両との間の衝突の可能性があると判断した場合には、障害物衝突判断ＥＣＵ１１０は、ＥＣＢ・ＥＣＵ１０４を介して警報ブザー１４０により警報を出力し、運転者による自主的なブレーキ操作等の衝突回避操作を促す。或いは、先行車と車両との間の衝突の可能性があると判断した場合には、障害物衝突判断ＥＣＵ１１０は、ＥＣＢ・ＥＣＵ１０４を介してブレーキアクチュエータ１２０を作動させて制動力を発生させる（介入制御）。尚、先行車との衝突の可能性の判断ロジックは、プリクラッシュ制御の分野で広く知られており、任意の方法が使用されてもよい。また、先行車との衝突の可能性の判断には、ミリ波レーダー１３６のようなレーダセンサの検出結果が利用されてもよい。また、ランプ制御ＥＣＵ１０６は、車載周辺物認識装置１による先行車のテールランプの検出結果に基づいて、ヘッドライト４の配光制御を実行してもよい。例えば、ランプ制御ＥＣＵ１０６は、先行車がハイビームにより照射されないように（先行車の運転者にハイビームによりグレアを与えないように）ヘッドライト４の配光を制御する。配光制御は、ヘッドライト４のスイブル角度を調整することや、シェードを動かしてハイビームの照射範囲の一部を遮蔽する遮蔽部分を可変することによって、実現されてもよい。尚、これらの運転支援制御は、任意の１つだけ又は任意の２つの組み合わせ又は３つの全てが実行されてもよい。
　以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
　例えば、上述した実施例では、好ましい実施例として、ハイビームの点灯の有無に応じて判定閾値を変更しているが（図４のステップ４１０参照）、かかる変更は省略されてもよい。これは、例えばロービーム照射領域と近赤投光領域の重複部分は、ハイビームの点灯の有無に応じて分光特性が大きく異ならないためである。
　また、上述した実施例において、（１）非近赤投光領域、（２）ロービーム照射領域と近赤投光領域の重複部分、（３）ロービーム照射領域を含まない近赤投光領域、の３つの領域毎に判定閾値を変更してもよい。例えば、高輝度点がこれらの３つの領域のいずれに属するかに応じて、判定閾値を変更してもよい。ロービーム照射領域を含まない近赤投光領域に高輝度点が属する場合の判定閾値は、図９を参照して説明したような、分光範囲Ａ２のＲＧＢの各強度の積分値ｌｒＡ２、ｌｇＡ２、ｌｂＡ２を用いて設定される判定閾値であってよい。他方、ロービーム照射領域と近赤投光領域の重複部分に高輝度点が属する場合の判定閾値は、図９を参照して説明したような、分光範囲Ａ１及び分光範囲Ａ２のＲＧＢの各強度の積分値ｌｒＡ１＋Ａ２、ｌｇＡ１＋Ａ２、ｌｂＡ１＋Ａ２を用いて設定される判定閾値であってよい。また、ロービーム照射領域と近赤投光領域の重複部分、又は、ロービーム照射領域を含まない近赤投光領域に高輝度点が属する場合には、ハイビームの点灯の有無に応じて更に判定閾値を変更してもよい。この場合、ハイビーム用判定閾値は、上述したハイビームによる輝度増加分（α、β、γ）を考慮した判定閾値であってよい。
　また、上述した実施例において、近赤外投光用判定閾値は、分光範囲Ａ１の各強度の積分値ｌｒＡ１、ｌｇＡ１、ｌｂＡ１及び分光範囲Ａ２のＲＧＢの各強度の積分値ｌｒＡ２、ｌｇＡ２、ｌｂＡ２（図９の分光範囲Ａ１及び分光範囲Ａ２を積分区間として各曲線を積分して得られる値）を用いて、以下の基準値に基づいて設定されてもよい。
赤成分基準値Ｒｅｆｒ＝（Ｋ×ｌｒＡ１＋ｌｒＡ２）／{Ｋ×（ｌｒＡ１＋ｌｇＡ１＋ｌｂＡ１）＋（ｌｒＡ２＋ｌｇＡ２＋ｌｂＡ２）}
緑成分基準値Ｒｅｆｇ＝（Ｋ×ｌｇＡ１＋ｌｇＡ２）／{Ｋ×（ｌｒＡ１＋ｌｇＡ１＋ｌｂＡ１）＋（ｌｒＡ２＋ｌｇＡ２＋ｌｂＡ２）}
青成分基準値Ｒｅｆｂ＝（Ｋ×ｌｂＡ１＋ｌｂＡ２）／{Ｋ×（ｌｒＡ１＋ｌｇＡ１＋ｌｂＡ１）＋（ｌｒＡ２＋ｌｇＡ２＋ｌｂＡ２）}
ここで、Ｋは、定数であり、ハイビームが点灯されていない場合におけるロービーム照射領域と近赤投光領域の重複部分に対しては１以下の値であってよい。この場合、車両からの距離が遠くなるにつれてＫが小さくなるように可変されてもよく、ロービーム照射領域を含まない近赤投光領域ではＫがゼロとされる。また、Ｋは、ハイビームが点灯されている場合は１より大きい値であってもよい。この場合も、車両からの距離が遠くなるにつれてＫが小さくなるように可変されてもよい。
　また、上述した実施例では、各種判定閾値の決定方法において、ヘッドライト４の分光特性が考慮されていないが、ヘッドライト４の分光特性を考慮することも可能である。具体的には、図７（Ｃ）に示したカメラ１２のRGB分光感度特性に、図１５に示すようなヘッドライト４の分光特性を、乗じて得られるカメラ分光輝度特性（図１６参照）が使用されてもよい。即ち、上述の実施例では、図７（Ｃ）に示したカメラ１２のRGB分光感度特性が各種判定閾値の決定に使用されているが、各種判定閾値の決定には、図７（Ｃ）に示したカメラ１２のRGB分光感度特性に代えて、図１６に示すようなカメラ分光輝度特性が使用されてもよい。ここで、図１６は、カメラ分光輝度特性の一例を示す図であり、（Ａ）は、ヘッドライト４の光源がハロゲン球である場合のカメラ分光輝度特性を示すグラフであり、（Ｂ）は、ヘッドライト４の光源がＨＩＤ（High Intensity Discharge）である場合のカメラ分光輝度特性を示すグラフであり、（Ｃ）は、ヘッドライト４の光源がＬＥＤである場合のカメラ分光輝度特性を示すグラフである。
　また、上述した実施例では、路側反射物の一例として、橙色であり丸型であり走行道路に沿って規則正しく配置されているデリニエータが想定されている。但し、本発明は、デリニエータ以外の路側反射物であって、任意の色特徴を有し且つ任意の特定の形状を有する路側反射物にも適用可能である。
　また、上述した実施例では、車載周辺物認識装置１は、主に、対向車のテールランプを検出するために、当該テールランプとして誤って認識されやすいデリニエータ等の路側反射物を除去するものであったが、デリニエータ等の路側反射物を検出するための装置として具現化されてもよい。これは、デリニエータ等の路側反射物の検出結果は、対向車のテールランプを検出するための用途以外にも、種々の用途に利用可能であるためである。例えば、デリニエータ等の路側反射物の検出結果は、車両の走行レーン検出や走行予定方向の検出、ヘッドライト４の配光制御に利用されてもよい。ヘッドライト４の配光制御の場合、例えばデリニエータ等の路側反射物からの光が車両の運転者にグレアを与えないようにヘッドライト４の配光を可変する制御であってもよい。
　また、上述した実施例では、車両前方を撮像するカメラ１２を用いているが、車両側方や車両後方を撮像するカメラを用いてもよい。
　また、上述した実施例では、色成分の指標値としてＲＧＢベクトルを使用しているが、色成分の指標値は、各色成分の割合や、相対的な大きさ(強さ)を表す任意の指標値であってよい。また、２つ又は１つの色成分の指標値若しくは４つ以上の色成分の指標値を使用することも可能である。
　１　　車載周辺物認識装置
　４　　ヘッドライト
　６　　近赤外投光装置
　６ａ　　赤外線透過フィルタ
　６ｂ　　ソレノイド
　１２　　カメラ
　１４　　画像処理装置
　１００　　運転支援装置

Claims (9)

  1. 　車両の周辺環境を撮像するカメラと、
    　画像処理装置とを備え、
    　前記画像処理装置は、前記カメラにより撮像された画像を画像処理して、所定輝度以上の像の色成分の指標値を算出し、前記算出した色成分の指標値と所定閾値との関係に基づいて、前記像が周辺他車の灯火に係る像であるか否かを判断し、
    　前記所定閾値は、車両の前方照明装置の灯火状態に応じて変更されることを特徴とする、車載周辺物認識装置。
  2. 　前記所定閾値は、周辺他車の灯火に係る像と路側反射物に係る像とを切り分けるための閾値である、請求項１に記載の車載周辺物認識装置。
  3. 　色成分の指標値は、所定の色成分の割合を表し、
    　前記所定の色成分の割合が、前記所定閾値に対応する所定範囲内にある場合に、前記像が、路側反射物に係る像であると判断する、請求項２に記載の車載周辺物認識装置。
  4. 　前記カメラは、近赤外光カメラであり、
    　前記車両の前方照明装置の灯火状態は、近赤外光を車両前方に投光しているか否かの灯火状態を含む、請求項１～３のうちのいずれか１項に記載の車載周辺物認識装置。
  5. 　前記車両の前方照明装置の灯火状態は、ハイビームによる光を車両前方に投光しているか否かの灯火状態を含む、請求項１～４のうちのいずれか１項に記載の車載周辺物認識装置。
  6. 　前記所定閾値は、前記所定輝度以上の像が、ロービームが投光され近赤外光が投光されない領域と、ロービームと近赤外光の双方が投光される領域と、ロービームが投光されず近赤外光が投光される領域のうちのいずれの領域に属しているかに応じて、変更される、請求項１～３のうちのいずれか１項に記載の車載周辺物認識装置。
  7. 　請求項１～６のうちのいずれか１項に記載の車載周辺物認識装置と、
    　前記車載周辺物認識装置により前記像が周辺他車の灯火に係る像であると判断された場合に、前記像の検出結果に基づいて、運転支援制御を実行する制御装置とを含み、
    　前記運転支援制御は、周辺他車との接近状態を警報する接近警報制御、周辺他車との衝突を回避する衝突回避制御、周辺他車へのハイビームの照射範囲を制御する配光制御のうちの少なくともいずれか１つである、運転支援装置。
  8. 　車載カメラにより車両の周辺環境を撮像し、
    　画像処理装置により、前記カメラにより撮像された画像を画像処理して、所定輝度以上の像の色成分の指標値を算出し、前記算出した色成分の指標値と所定閾値との関係に基づいて、前記像が周辺他車の灯火に係る像であるか否かを判断することを含み、
    　前記所定閾値は、車両の前方照明装置の灯火状態に応じて変更されることを特徴とする、車両周辺物認識方法。
  9. 　車両の周辺環境を撮像するカメラと、
    　画像処理装置とを備え、
    　前記画像処理装置は、前記カメラにより撮像された画像を画像処理して、所定輝度以上の像の色成分の指標値を算出し、前記算出した色成分の指標値と所定閾値との関係に基づいて、前記像が路側反射物に係る像であるか否かを判断し、
    　前記所定閾値は、車両の前方照明装置の灯火状態に応じて変更されることを特徴とする、車載周辺物認識装置。
PCT/JP2011/059182 2011-04-13 2011-04-13 車載周辺物認識装置及びこれを用いる運転支援装置 WO2012140752A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2011/059182 WO2012140752A1 (ja) 2011-04-13 2011-04-13 車載周辺物認識装置及びこれを用いる運転支援装置
JP2013509703A JP5617999B2 (ja) 2011-04-13 2011-04-13 車載周辺物認識装置及びこれを用いる運転支援装置
US13/997,825 US8970357B2 (en) 2011-04-13 2011-04-13 Vehicle-mounted surrounding object recognizing apparatus and drive support apparatus using the same
EP11863329.6A EP2698777B1 (en) 2011-04-13 2011-04-13 Vehicle-mounted peripheral object recognition device and driving assistance device using same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/059182 WO2012140752A1 (ja) 2011-04-13 2011-04-13 車載周辺物認識装置及びこれを用いる運転支援装置

Publications (1)

Publication Number Publication Date
WO2012140752A1 true WO2012140752A1 (ja) 2012-10-18

Family

ID=47008958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/059182 WO2012140752A1 (ja) 2011-04-13 2011-04-13 車載周辺物認識装置及びこれを用いる運転支援装置

Country Status (4)

Country Link
US (1) US8970357B2 (ja)
EP (1) EP2698777B1 (ja)
JP (1) JP5617999B2 (ja)
WO (1) WO2012140752A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014231301A (ja) * 2013-05-29 2014-12-11 富士重工業株式会社 画像処理装置
JP2016138755A (ja) * 2015-01-26 2016-08-04 株式会社小糸製作所 車両検出装置
JP2017097658A (ja) * 2015-11-25 2017-06-01 富士重工業株式会社 車外環境認識装置
JP2017097657A (ja) * 2015-11-25 2017-06-01 富士重工業株式会社 車外環境認識装置
JP2017100594A (ja) * 2015-12-02 2017-06-08 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JPWO2020129522A1 (ja) * 2018-12-18 2021-10-07 日立Astemo株式会社 画像処理装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5051405B2 (ja) * 2009-11-09 2012-10-17 トヨタ自動車株式会社 距離測定装置、及び距離測定方法
US11611595B2 (en) 2011-05-06 2023-03-21 David H. Sitrick Systems and methodologies providing collaboration among a plurality of computing appliances, utilizing a plurality of areas of memory to store user input as associated with an associated computing appliance providing the input
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
JP2014024411A (ja) * 2012-07-25 2014-02-06 Denso Corp 自発光光源検出装置、ライト制御装置、および自発光光源検出プログラム
CN107002056A (zh) 2014-09-05 2017-08-01 诺维信公司 碳水化合物结合模块变体以及编码它们的多核苷酸
US9168869B1 (en) 2014-12-29 2015-10-27 Sami Yaseen Kamal Vehicle with a multi-function auxiliary control system and heads-up display
US20180339655A1 (en) * 2015-03-03 2018-11-29 HangZhou HaiCun Information Technology Co., Ltd. Detecting Method for Front-Parked Vehicles At Night
US10737617B2 (en) * 2015-03-03 2020-08-11 HangZhou HaiCun Information Technology Co., Ltd. Detecting method for front-parked vehicles at night
JP6527456B2 (ja) * 2015-12-02 2019-06-05 株式会社Ｓｕｂａｒｕ 車外環境認識装置
CN106408033B (zh) * 2016-10-09 2020-01-03 深圳市捷顺科技实业股份有限公司 一种车身平滑区域定位方法和设备
US10207411B2 (en) 2017-02-01 2019-02-19 Toyota Research Institute, Inc. Systems and methods for servicing a vehicle
US10611378B2 (en) 2017-02-01 2020-04-07 Toyota Research Institute, Inc. Systems and methods for operating a vehicle on a roadway
JP6586685B2 (ja) * 2017-12-27 2019-10-09 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10916135B2 (en) 2018-01-13 2021-02-09 Toyota Jidosha Kabushiki Kaisha Similarity learning and association between observations of multiple connected vehicles
US10586118B2 (en) * 2018-01-13 2020-03-10 Toyota Jidosha Kabushiki Kaisha Localizing traffic situation using multi-vehicle collaboration
US10963706B2 (en) 2018-01-13 2021-03-30 Toyota Jidosha Kabushiki Kaisha Distributable representation learning for associating observations from multiple vehicles
US10369923B1 (en) * 2018-04-30 2019-08-06 Automotive Research & Testing Center Operation method of adaptive driving beam headlamp system
US10493900B2 (en) 2018-05-04 2019-12-03 International Business Machines Corporation Adaptive headlights for the trajectory of a vehicle
DE102018216254A1 (de) * 2018-09-24 2020-03-26 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug
US11092480B2 (en) * 2018-09-27 2021-08-17 International Business Machines Corporation Light obstruction sensor
KR102614146B1 (ko) * 2018-09-27 2023-12-14 현대자동차주식회사 차량용 조명장치
JP7252755B2 (ja) * 2018-12-27 2023-04-05 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具
US11396986B2 (en) * 2019-05-23 2022-07-26 Valeo North America, Inc. Apparatus and method for masking residual visible light from an infrared emission source
EP4394243A1 (de) * 2022-12-28 2024-07-03 ZKW Group GmbH Leuchtmodul für eine kraftfahrzeugleuchte und verfahren zum betreiben eines solchen leuchtmoduls

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092857A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 画像処理システム及び車両制御システム
JP2005534903A (ja) * 2002-07-30 2005-11-17 ジェンテックス コーポレイション 車両外部照明自動制御のための光源検出及び分類システムと製造方法
US20070221822A1 (en) 2006-03-24 2007-09-27 Mobileye Technologies Ltd. Headlight, Taillight And Streetlight Detection
JP2008293116A (ja) * 2007-05-22 2008-12-04 Nippon Soken Inc 車載用車両灯検出装置および車両用照明装置
JP2010512271A (ja) * 2006-11-27 2010-04-22 アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング カメラによる車両電灯の識別
JP2011005924A (ja) * 2009-06-25 2011-01-13 Koito Mfg Co Ltd 車両用灯具の配光制御システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5837994C1 (en) * 1997-04-02 2001-10-16 Gentex Corp Control system to automatically dim vehicle head lamps
JP3872179B2 (ja) 1997-07-17 2007-01-24 富士重工業株式会社 車両の衝突防止装置
JP2006268366A (ja) 2005-03-23 2006-10-05 Denso Corp 障害物検知装置
JP2008015871A (ja) 2006-07-07 2008-01-24 Konica Minolta Holdings Inc 認証装置、及び認証方法
JP4914234B2 (ja) 2007-01-31 2012-04-11 富士重工業株式会社 先行車両検出装置
JP5077184B2 (ja) 2008-10-16 2012-11-21 トヨタ自動車株式会社 車両検出装置
JP2010250503A (ja) 2009-04-14 2010-11-04 Toyota Motor Corp 車両制御装置、及び車載用撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005534903A (ja) * 2002-07-30 2005-11-17 ジェンテックス コーポレイション 車両外部照明自動制御のための光源検出及び分類システムと製造方法
JP2005092857A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 画像処理システム及び車両制御システム
US20070221822A1 (en) 2006-03-24 2007-09-27 Mobileye Technologies Ltd. Headlight, Taillight And Streetlight Detection
JP2010512271A (ja) * 2006-11-27 2010-04-22 アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング カメラによる車両電灯の識別
JP2008293116A (ja) * 2007-05-22 2008-12-04 Nippon Soken Inc 車載用車両灯検出装置および車両用照明装置
JP2011005924A (ja) * 2009-06-25 2011-01-13 Koito Mfg Co Ltd 車両用灯具の配光制御システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2698777A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014231301A (ja) * 2013-05-29 2014-12-11 富士重工業株式会社 画像処理装置
JP2016138755A (ja) * 2015-01-26 2016-08-04 株式会社小糸製作所 車両検出装置
JP2017097658A (ja) * 2015-11-25 2017-06-01 富士重工業株式会社 車外環境認識装置
JP2017097657A (ja) * 2015-11-25 2017-06-01 富士重工業株式会社 車外環境認識装置
CN106965739A (zh) * 2015-11-25 2017-07-21 株式会社斯巴鲁 车外环境识别装置
CN106965739B (zh) * 2015-11-25 2018-11-06 株式会社斯巴鲁 车外环境识别装置
US10286834B2 (en) 2015-11-25 2019-05-14 Subaru Corporation Vehicle exterior environment recognition apparatus
JP2017100594A (ja) * 2015-12-02 2017-06-08 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JPWO2020129522A1 (ja) * 2018-12-18 2021-10-07 日立Astemo株式会社 画像処理装置
JP7241772B2 (ja) 2018-12-18 2023-03-17 日立Astemo株式会社 画像処理装置

Also Published As

Publication number Publication date
EP2698777A1 (en) 2014-02-19
EP2698777A4 (en) 2014-10-08
US20140022068A1 (en) 2014-01-23
EP2698777B1 (en) 2016-04-13
JPWO2012140752A1 (ja) 2014-07-28
US8970357B2 (en) 2015-03-03
JP5617999B2 (ja) 2014-11-05

Similar Documents

Publication Publication Date Title
JP5617999B2 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
JP5680573B2 (ja) 車両の走行環境認識装置
US10139708B2 (en) Adjustable camera mount for a vehicle windshield
JP4253271B2 (ja) 画像処理システム及び車両制御システム
US9481292B2 (en) Method and control unit for influencing a lighting scene ahead of a vehicle
JP4253275B2 (ja) 車両制御システム
JP5855272B2 (ja) ブレーキ状況を認識する方法および装置
JP5077184B2 (ja) 車両検出装置
US9269006B2 (en) Imaging apparatus, vehicle system, and image-processing method for image magnification and expansion
US9469242B2 (en) Headlamp light distribution control device
WO2015190299A1 (ja) 車両用照明装置
US9187027B2 (en) Vehicle headlight
JP2010263272A (ja) 車両用監視カメラ及び車両用監視カメラシステム
WO2018110389A1 (ja) 車両用照明システムおよび車両
JP5361901B2 (ja) 前照灯制御装置
JP7436696B2 (ja) 自動車の周囲モニタリングシステム
Feng et al. A comprehensive survey of vision based vehicle intelligent front light system
JP2015232846A5 (ja)
KR20150134793A (ko) 차량용 램프 및 그 제어 방법
JP2012196999A (ja) 車両用照明装置及び方法
JP7084223B2 (ja) 画像処理装置および車両用灯具
JP6853890B2 (ja) 物体検出システム
JP2012185669A (ja) 車両検知装置及びこれを用いる車両配光制御装置
WO2019156087A1 (ja) 画像処理装置および車両用灯具
JP5405207B2 (ja) 車両用灯具の配光制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11863329

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013509703

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13997825

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011863329

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE