WO2022185085A1 - 物体検出方法及び物体検出装置 - Google Patents

物体検出方法及び物体検出装置 Download PDF

Info

Publication number
WO2022185085A1
WO2022185085A1 PCT/IB2021/000123 IB2021000123W WO2022185085A1 WO 2022185085 A1 WO2022185085 A1 WO 2022185085A1 IB 2021000123 W IB2021000123 W IB 2021000123W WO 2022185085 A1 WO2022185085 A1 WO 2022185085A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
floating
detected
vehicle
preceding vehicle
Prior art date
Application number
PCT/IB2021/000123
Other languages
English (en)
French (fr)
Inventor
池上尭史
野田邦昭
Original Assignee
日産自動車株式会社
ルノー エス． ア． エス．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社, ルノー エス． ア． エス． filed Critical 日産自動車株式会社
Priority to PCT/IB2021/000123 priority Critical patent/WO2022185085A1/ja
Priority to EP21928380.1A priority patent/EP4303850A4/en
Priority to JP2023503517A priority patent/JPWO2022185085A1/ja
Priority to CN202180095095.8A priority patent/CN117121075A/zh
Priority to US18/280,022 priority patent/US20240248196A1/en
Publication of WO2022185085A1 publication Critical patent/WO2022185085A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93275—Sensor installation details in the bumper area
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector

Definitions

  • the present invention relates to an object detection method and an object detection device.
  • Patent Document 1 Conventionally, there has been known an object detection device that can determine whether or not a detected object is a floating object when using a sensor with low resolution (see Patent Document 1).
  • the object detection device described in Patent Document 1 calculates the rate of change in size per unit time of an object detected by a sensor, and when the rate of change in size exceeds a predetermined threshold, the detected object floats. It is judged as a thing.
  • the present invention has been made in view of the above problems, and its object is to provide an object detection method capable of more accurately determining whether or not a detected object is a floating object.
  • An object detection method irradiates an electromagnetic wave in front of the vehicle and detects an object in front of the vehicle based on the reflected wave of the electromagnetic wave.
  • An image is acquired by capturing an image of the area in front of the own vehicle, and when the state in which no object is detected changes to the state in which an object is detected, it is determined whether or not the object is a floating object based on the acquired image. .
  • FIG. 1 is a block diagram showing the configuration of the object detection device according to the first embodiment.
  • FIG. 2 is a flow chart showing a process of determining whether or not an object is a floating object by the object detection device according to the first embodiment.
  • FIG. 3 is a block diagram showing the configuration of an object detection device according to the first modification of the first embodiment.
  • FIG. 4 is a flowchart showing a process of determining whether or not an object is a floating object by the object detection device according to the first modification of the first embodiment.
  • FIG. 5 is a conceptual diagram showing processing for determining an object as a floating object by the object detection device according to the first modification of the first embodiment.
  • FIG. 6 is a conceptual diagram showing processing for determining that an object is not a floating object by the object detection device according to the first modification of the first embodiment.
  • FIG. 7 is a block diagram showing the configuration of an object detection device according to the second modification of the first embodiment.
  • FIG. 8 is a flowchart showing a process of determining whether or not an object is a floating object by the object detection device according to the second modification of the first embodiment.
  • FIG. 9 is a block diagram showing the configuration of an object detection device according to the second embodiment.
  • FIG. 10A is a flowchart showing a process of determining whether an object is a floating object by the object detection device according to the second embodiment.
  • FIG. 10A is a flowchart showing a process of determining whether an object is a floating object by the object detection device according to the second embodiment.
  • FIG. 10B is a flowchart showing a process of determining whether or not an object is a floating object by the object detection device according to the second embodiment
  • FIG. 11 is a block diagram showing the configuration of an object detection device according to the third embodiment.
  • FIG. 12A is a flowchart showing a process of determining whether an object is a floating object by the object detection device according to the third embodiment
  • FIG. 12B is a flowchart showing a process of determining whether or not an object is a floating object by the object detection device according to the third embodiment
  • FIG. 12C is a flowchart showing a process of determining whether an object is a floating object by the object detection device according to the third embodiment
  • An object detection device is a device that detects an object in front of a vehicle and determines whether or not the object is a floating object.
  • the object detection device includes a radar 10 , a camera 20 , a control section 30 and a storage section 40 .
  • the radar 10 is mounted in the front bumper or front grill in front of the vehicle.
  • the radar 10 is a sensor that radiates electromagnetic waves in front of the vehicle and detects objects in front of the vehicle based on reflected waves of the radiated electromagnetic waves.
  • the radar 10 detects an object, measures the azimuth of the object, which is the position information of the object, and the distance from the own vehicle to the object, and calculates the position coordinates of the object based on the position of the own vehicle. Additionally, the radar 10 measures the velocity of the object in addition to this information.
  • a radar is used as means for detecting an object, but a lidar (LiDER) may be used to detect an object in front of the vehicle.
  • LiDER lidar
  • the camera 20 is mounted in front of the interior of the vehicle.
  • the camera 20 acquires a plurality of images in front of the vehicle by repeatedly capturing an image of the front of the vehicle at a predetermined cycle.
  • the camera 20 forms an image of light rays from a subject on a light receiving plane of an imaging element by a lens, and obtains an optical image generated based on the contrast of light in the formed subject image.
  • Optical images are images produced by light in the visible, infrared, or ultraviolet range.
  • the camera 20 acquires a plurality of images by repeatedly imaging the front of the vehicle until the state in which no object is detected changes to the state in which an object is detected.
  • the control unit 30 is a general-purpose microcomputer equipped with a CPU (central processing unit), memory, and input/output unit.
  • a computer program for functioning as the control unit 30 is installed in the microcomputer.
  • the microcomputer By executing the computer program, the microcomputer functions as a plurality of information processing circuits included in the control section 30 .
  • an example of realizing a plurality of information processing circuits provided in the control unit 30 by software is shown. It is also possible to construct a processing circuit. Also, a plurality of information processing circuits may be configured by individual hardware.
  • the storage unit 40 is composed of information storage devices including HDD (Hard Disk Drive) and SSD (Solid State Drive).
  • the storage unit 40 stores a plurality of images of the front of the vehicle captured by the camera 20 in chronological order.
  • the storage unit 40 stores at least an image captured when the object is not detected until the state in which the object is not detected changes to the state in which the object is detected. That is, when the state in which the object is not detected changes to the state in which the object is detected, the second image when the state changes to the state in which the object is detected (hereinafter also referred to as the second optical image) and a first image (hereinafter also referred to as a first optical image) in a state in which no object was detected one cycle or several cycles before.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • the storage unit 40 stores a plurality of past images captured at a predetermined cycle. Identify the image as a second optical image. Then, the storage unit 40 specifies, as the first optical image, the image in the state in which the object is not detected one cycle or several cycles before, and thus the image other than the first optical image and the second optical image is specified. Two or more images including images may be stored. In this embodiment, the storage unit 40 stores the images captured by the camera 20. If the memory provided in the control unit 30 can store these data, the memory provided in the control unit 30 can store these data. good too.
  • control unit 30 and the storage unit 40 are mounted on the own vehicle. Note that the control unit 30 and the storage unit 40 may be mounted on the vehicle as one controller.
  • control unit 30 a plurality of information processing circuits provided in the control unit 30 will be specifically described.
  • the control unit 30 includes a floating object determination unit 31.
  • the floating object determination unit 31 determines whether or not the object detected by the radar 10 is a floating object based on the optical image captured by the camera 20 .
  • Floating matter is objects that float in the air, such as exhaust gas, water spray, and dust. In other words, suspended matter is an aggregate of minute particles that float.
  • the floating object determination unit 31 is composed of a determination range determination unit 311 , a difference calculation unit 312 and a difference determination unit 313 .
  • the determination range determination unit 311 When the determination range determination unit 311 detects that the state in which the object is not detected changes to the state in which the object is detected, the determination range determination unit 311 transmits the second optical image, which is the image captured when the object is detected, to the camera. 20 to determine the extent of the image to determine whether the object is a floating object. Processing executed by the determination range determination unit 311 will be specifically described below.
  • the determination range determination unit 311 detects that the state in which no object has been detected has changed to the state in which an object has been detected.
  • the information output from the radar 10 is, for example, a flag indicating whether or not an object has been detected.
  • the radar 10 outputs values such as the azimuth of the object and the distance from the vehicle to the object, which are the position information of the object, as invalid values (values that must not be used for control). In this case, the determination range determination unit 311 may use these values.
  • the determination range determining unit 311 detects a change in the value of the flag output from the radar 10 or the position information of the object, thereby detecting that the state in which the object has not been detected has changed to the state in which the object has been detected. be able to.
  • the determination range determination unit 311 detects that the state in which the object is not detected changes to the state in which the object is detected, the determination range determination unit 311 outputs the second optical image captured when the object is detected to the camera. 20.
  • the determination range determination unit 311 acquires the position information of the object from the radar 10 and selects a pixel area corresponding to the position of the object detected by the radar 10 from the second optical image.
  • the radar 10 and the camera 20 are mounted on the vehicle and have a detection range or an imaging range in front of the vehicle. Therefore, the position coordinates of the object output by the radar 10 and the pixel positions of the image acquired by the camera 20 are synchronized in advance.
  • the determination range determination unit 311 can select the pixel position of the image corresponding to the position of the object detected by the radar 10 .
  • the determination range determination unit 311 sets the pixel area of the second optical image corresponding to the position of the object as the range of the image for determining whether the object is floating matter.
  • the difference calculation unit 312 calculates the difference between the first optical image captured when the object is not detected and the second optical image captured when the object is detected. Specifically, the difference calculation unit 312 acquires the first optical image captured when the object is not detected from the storage unit 40, and the determination range determination unit 311 acquires the second optical image and the object if the object is a floating object. Obtain a pixel region corresponding to the position of the object, which is the range of the image to be determined. Then, the difference calculation unit 312 calculates the brightness, saturation, and hue of the first optical image and the second optical image at the same pixel position in the pixel region of the image for determining whether or not the object is floating matter. Calculate at least one difference. For example, when the image acquired by the camera 20 is a grayscale image, the difference calculator 312 calculates the difference in brightness. Moreover, when the image acquired by the camera 20 is a color image, all differences in brightness, saturation, and hue may be calculated.
  • the difference determination unit 313 determines whether the difference between the first optical image and the second optical image calculated by the difference calculation unit 312 is less than the threshold difference.
  • the difference between the first optical image and the second optical image when detecting floating matter such as exhaust gas, water spray, and dust (floating matter as an aggregate of microscopic particles floating) is the difference between the first optical image and the second optical image. is smaller than the difference when an object that is an obstacle to the vehicle is detected. Therefore, when the difference between the first optical image and the second optical image is less than the threshold difference, the difference determination unit 313 determines that the object is a floating object. If the difference between the first optical image and the second optical image is greater than or equal to the threshold difference, the difference determination unit 313 determines that the object is not floating matter.
  • the threshold difference and the threshold ratio can be determined by experimentally acquiring in advance the luminance difference and the ratio of pixels whose luminance difference is less than the threshold difference when floating matter is generated. For example, when the optical image acquired by the camera 20 is grayscale and the brightness is processed with 8-bit data, the brightness threshold difference is hexadecimal 10 (0x10) and the threshold ratio is 70%.
  • the difference determination unit 313 calculates the average value of the differences in the pixel region for determining whether or not the object is a floating object, and if the average value of the differences is less than the threshold average value, determines that the object is a floating object. can be determined.
  • the vehicle control unit 50 controls the own vehicle based on information about the surroundings of the own vehicle acquired by sensors mounted on the own vehicle including the radar 10 and the camera 20, and map data stored in advance in the storage unit 40. , driving assistance and autonomous driving.
  • the vehicle control unit 50 detects an object on the travel route of the own vehicle and determines that the distance to the detected object is likely to be less than a predetermined distance, the detected object is a floating object. Based on the result of whether or not there is an object, it is determined whether or not to control the host vehicle so as to avoid a state in which the distance to the object is less than a predetermined distance.
  • the vehicle control unit 50 When the vehicle control unit 50 detects an object in front of the vehicle and determines that the detected object is not a floating object, the vehicle control unit 50 executes control to avoid a state in which the distance to the object is less than a predetermined distance. Specifically, the vehicle control unit 50 prohibits start control during start standby, and executes deceleration control or avoidance control for steering and driving the steered wheels during running to increase the distance from the object to a predetermined distance or more. Control the vehicle to keep
  • the vehicle control unit 50 When the vehicle control unit 50 detects an object in front of the vehicle and determines that the detected object is a floating object, the vehicle control unit 50 prohibits execution of control to avoid a state in which the distance to the object is less than a predetermined distance. do.
  • step S0 the radar 10 emits electromagnetic waves in front of the own vehicle and detects objects based on the reflected waves of the electromagnetic waves. Specifically, the presence or absence of an object and the position of the object are detected.
  • step S5 the camera 20 acquires a plurality of images in front of the vehicle by repeatedly capturing images of the front of the vehicle at predetermined intervals until the state in which the object is not detected changes to the state in which the object is detected.
  • the storage unit 40 stores a plurality of images of the front of the vehicle captured by the camera 20 in chronological order.
  • step S10 the determination range determining unit 311 detects that the state in which no object has been detected has changed to the state in which an object has been detected, based on the information output from the radar 10. If determination range determination unit 311 detects that the state in which no object has been detected has changed to the state in which an object has been detected (YES in step S10), the process proceeds to step S20. If determination range determination unit 311 does not detect a change from the state in which no object is detected to the state in which object is detected (NO in step S10), the process ends.
  • the difference calculation unit 312 acquires from the storage unit 40 the first optical image captured when no object is detected.
  • the determination range determination unit 311 acquires from the camera 20 the second optical image captured while the object is being detected.
  • the determination range determination unit 311 acquires the position information of the object from the radar 10, and selects a pixel area corresponding to the position of the object detected by the radar 10 from the second optical image.
  • the determination range determination unit 311 sets the pixel area of the second optical image corresponding to the position of the detected object as the image range for determining whether or not the object is a floating object.
  • the difference calculation unit 312 acquires the second optical image from the determination range determination unit 311 and the range of the image for determining whether or not the object is a floating object.
  • the difference between the first optical image and the second optical image at the same pixel position is calculated in the pixel region of the image for which the determination is made.
  • step S60 when the difference determination unit 313 determines that the difference between the first optical image and the second optical image is less than the threshold difference (YES in step S60), the process proceeds to step S70, Determine that the object is a floating object.
  • step S90 the vehicle control unit 50 continues to control the own vehicle. That is, the vehicle control unit 50 prohibits execution of control for avoiding a state in which the distance to the object is less than the predetermined distance.
  • step S60 when the difference determination unit 313 determines that the difference in brightness between the first optical image and the second optical image is equal to or greater than the threshold difference (NO in step S60), the process proceeds to step S80. , determine that the object is not a floating object.
  • the vehicle control unit 50 controls the own vehicle to avoid a state in which the distance to the object is less than a predetermined distance.
  • the object detection device emits electromagnetic waves in front of the vehicle and detects objects in front of the vehicle based on the reflected waves of the emitted electromagnetic waves.
  • the object detection device obtains an image by capturing an image of the area in front of the vehicle, and determines whether or not the object is a floating object based on the image when the state in which the object is not detected changes to the state in which the object is detected. to judge. That is, detection of an object is performed by reflected waves of electromagnetic waves, and determination as to whether or not the detected object is a floating object is performed by an image. As a result, the object detection device can more accurately detect an object and determine whether or not the detected object is a floating object.
  • the object detection device acquires a first optical image by imaging the front of the vehicle when no object is detected, and acquires a second optical image by imaging the front of the vehicle when the object is detected. .
  • the object detection device calculates the difference between the first optical image and the second optical image, and determines that the object is a floating object when the difference is less than the threshold difference. Thereby, the object detection device can determine whether or not the object is a floating substance when the object is detected, and can more quickly determine whether or not the object is a floating substance.
  • the preceding vehicle information generation unit 32 determines whether the detected object is the preceding vehicle in front of the own vehicle, and if the object is the preceding vehicle, measures the behavior of the preceding vehicle. Then, the preceding vehicle information generator 32 determines whether or not the behavior of the preceding vehicle is within the threshold behavior.
  • the preceding vehicle information generating section 32 is composed of a preceding vehicle detecting section 321 and a preceding vehicle behavior determining section 322 .
  • the preceding vehicle detection unit 321 determines whether the detected object is the preceding vehicle. Specifically, the preceding vehicle detection unit 321 acquires the distance to each position of the object measured by the radar 10, and identifies the shape and size of the object from the distance to each position of the object. The preceding vehicle detection unit 321 determines whether the object is the preceding vehicle based on the shape and size of the object. Specifically, the preceding vehicle detection unit 321 calculates the matching rate between the shape and size of the identified object and the shape and size of the vehicle stored in advance in the storage unit 40, and the matching rate is higher than the threshold matching rate. is also high, it is determined that the object is the preceding vehicle.
  • the preceding vehicle detection unit 321 determines whether or not the object is the preceding vehicle based on the distance to each position of the object measured by the radar 10. It may be determined whether or not the object is the preceding vehicle based on the obtained image. It should be noted that it is possible to determine whether or not the object is the preceding vehicle by image analysis using a known image recognition technique.
  • the preceding vehicle behavior determining unit 322 acquires the speed of the preceding vehicle from the change in the distance to the preceding vehicle over time, that is, the speed relative to the own vehicle and the speed of the own vehicle. and determine the behavior of the preceding vehicle.
  • the preceding vehicle behavior determination unit 322 detects that the preceding vehicle has started from a stopped state (less than 0.5 km/h) from the change in the speed of the preceding vehicle, and detects the threshold value after the preceding vehicle has started. Determine whether time has passed. For example, the threshold time is 3 seconds.
  • the preceding vehicle behavior determination unit 322 determines whether the speed of the preceding vehicle is less than the threshold speed.
  • the threshold speed is 10 km/h.
  • a preceding vehicle behavior determination unit 322 detects that the preceding vehicle has started from a stopped state, and if the threshold time has not elapsed since the preceding vehicle started moving, it determines that the behavior of the preceding vehicle is within the threshold behavior. to decide. Alternatively, when the speed of the preceding vehicle is less than the threshold speed, the preceding vehicle behavior determination unit 322 determines that the behavior of the preceding vehicle is within the threshold behavior.
  • the determination range determination unit 311 determines the second position corresponding to the position of the object.
  • a pixel area of the optical image is set as an image range for determining whether or not the object is a floating object.
  • the floating object tracking unit 33 tracks objects determined to be floating objects by the floating object determination unit 31 . Specifically, the floating object tracking unit 33 sets an object determined as a floating object by the difference determination unit 313 as a tracking target, and tracks the floating object using an image acquired by the camera 20 or the radar 10 . Note that the floating object tracking unit 33 may track an object using both the image acquired by the camera 20 and the radar 10 . The floating object tracking unit 33 outputs the object being tracked to the floating object determination unit 31 .
  • step S11 the preceding vehicle detection unit 321 acquires the distance to each position of the object measured by the radar 10, and identifies the shape and size of the object from the distance to each position of the object.
  • the preceding vehicle detection unit 321 determines whether the object is the preceding vehicle based on the shape and size of the object.
  • the process proceeds to step S12. If the preceding vehicle detection unit 321 determines that the object is not the preceding vehicle (NO in step S11), the process proceeds to step S20.
  • step S12 the preceding vehicle behavior determination unit 322 acquires the speed of the preceding vehicle from the radar 10 and determines the behavior of the preceding vehicle. Specifically, the preceding vehicle behavior determination unit 322 detects that the preceding vehicle has started from a stopped state, and if the threshold time has not elapsed since the preceding vehicle started moving, or if the speed of the preceding vehicle is If the speed is less than the threshold, it is determined that the behavior of the preceding vehicle is within the threshold behavior. When the preceding vehicle behavior determination unit 322 determines that the behavior of the preceding vehicle is within the threshold behavior (YES in step S12), the process proceeds to step S13. If the preceding vehicle behavior determination unit 322 determines that the behavior of the preceding vehicle is not within the threshold behavior (NO in step S12), the process ends.
  • step S13 when the determination range determining unit 311 detects that the state in which no object is detected behind the preceding vehicle changes to the state in which an object is detected (YES in step S13), the process proceeds to step S20. move on.
  • determination range determination unit 311 has not detected a change from the state in which an object is not detected to the state in which an object is detected behind the preceding vehicle (NO in step S13), the process ends.
  • the object detection device detects a preceding vehicle, and determines whether the object detected behind the preceding vehicle is a floating object. A specific description will be given of the processing for determining whether or not.
  • the preceding vehicle detection unit 321 acquires the distance to each position of the object 1 measured by the radar 10, Object 1 is determined to be the preceding vehicle based on the shape and size of the object.
  • the preceding vehicle behavior determination unit 322 acquires the speed of the preceding vehicle from the radar 10 and determines the behavior of the preceding vehicle. At the time when the first optical image a and the second optical image b are acquired by the camera 20, the speed of the preceding vehicle is less than the threshold speed. Therefore, the preceding vehicle behavior determination unit 322 determines that the behavior of the preceding vehicle is within the threshold behavior.
  • the determination range determining unit 311 determines whether the object 2 is detected from the state in which the object 2 is not detected. Detects a change to the detected state.
  • the difference calculation unit 312 acquires from the storage unit 40 the first optical image a captured when the object 2 behind the preceding vehicle is not detected, and the determination range determination unit 311 calculates the object 2 behind the preceding vehicle.
  • a second optical image b captured when is detected is acquired from the camera 20 .
  • the determination range determining unit 311 sets the pixel area of the second optical image b corresponding to the position of the object 2 detected by the radar 10 as the image range 3 for determining whether the object 2 is a floating object. do.
  • the difference calculation unit 312 acquires the second optical image b and the range 3 of the image for determining whether or not the object 2 is a floating object from the determination range determination unit 311, and determines whether or not the object 2 is a floating object.
  • the difference between the first optical image a and the second optical image b at the same pixel position is calculated in the range 3 of the image for which the determination is made.
  • the difference between the first optical image a and the second optical image b is less than the threshold difference. Therefore, the difference determination unit 313 determines that the object 2 is a floating object.
  • the determination range determination unit 311 sets the pixel area of the second optical image d corresponding to the position of the object 2 detected by the radar 10 as the image range 3 for determining whether the object 2 is a floating object. do.
  • the difference calculation unit 312 acquires the second optical image d and the image range 3 for determining whether the object 2 is a floating substance from the determination range determination unit 311, and determines whether the object 2 is a floating substance.
  • the difference between the first optical image c and the second optical image d at the same pixel position is calculated in the range 3 of the image for which the determination is made.
  • the difference between the first optical image c and the second optical image d is equal to or greater than the threshold difference. Therefore, the difference determination unit 313 determines that the object 2 is not floating.
  • the object detection device detects the object as a floating object until a threshold time elapses after the preceding vehicle starts moving. determine whether there is Vehicles generate more floating matter such as exhaust gas, water spray and dust when starting. Therefore, the object detection device determines whether or not the detected object is a floating object until a predetermined time has elapsed since the preceding vehicle started moving. Objects such as exhaust gas, splashes of water, and dust can be determined as floating objects.
  • the object detection device determines whether the object is a floating object when the object is located behind the preceding vehicle in front of the vehicle and the speed of the preceding vehicle is less than the threshold speed. If the preceding vehicle is traveling below the threshold speed, there is a high possibility that the preceding vehicle will accelerate thereafter. Vehicles produce more floating matter such as exhaust fumes, water spray and dust as they accelerate. Therefore, when the speed of the preceding vehicle is less than the threshold speed, the object detection device determines whether or not the detected object is a floating object. Objects such as exhaust gas, splashes of water, and dust can be determined as floating objects.
  • the object detection device can reduce the process of re-determining whether or not an object once determined to be a floating matter is a floating matter. As a result, the object detection device can reduce the load of processing for determining whether or not the detected object is a floating object.
  • the preceding vehicle exhaust pipe detection unit 323 detects the exhaust pipe of the preceding vehicle detected by the preceding vehicle detection unit 321 from the image acquired by the camera 20 . Specifically, the preceding vehicle exhaust pipe detection unit 323 detects the position of the exhaust pipe of the vehicle, which is stored in advance in the storage unit 40, from the pixel position of the image corresponding to the height from 1/5 of the total height of the preceding vehicle to the ground. A part with a similar shape is detected and identified as the exhaust pipe of the preceding vehicle.
  • the judgment range determination unit 311 sets the image range for judging whether or not the object is a floating object to the position of the exhaust pipe of the preceding vehicle. set accordingly. Specifically, the determination range determination unit 311 acquires an image from the camera 20, and determines that the object is a floating object in a pixel region of a predetermined range above the detected exhaust pipe in the pixel region of the image corresponding to the preceding vehicle. It is set as the range of the image for judging whether or not it is.
  • the predetermined range of pixel regions is a pixel region of a range corresponding to a predetermined distance range with respect to the exhaust pipe.
  • the predetermined distance range is, for example, 1 meter.
  • the determination range determining unit 311 determines the pixel region of the second image corresponding to the position of the detected object as being a floating object. Set as the range of the image to determine whether or not there is.
  • step S14 and step S15 are further provided, and step S40 is deleted in the processing after step S15. Therefore, only the difference will be described, and description of other common processes will be omitted.
  • step S ⁇ b>14 the preceding vehicle exhaust pipe detection unit 323 detects the exhaust pipe of the preceding vehicle from the image acquired by the camera 20 . If the preceding vehicle exhaust pipe detection unit 323 detects the exhaust pipe of the preceding vehicle (YES in step S14), the process proceeds to step S15. If the preceding vehicle exhaust pipe detector 323 has not detected the exhaust pipe of the preceding vehicle (NO in step S14), the process proceeds to step S13.
  • step S15 the judgment range determination unit 311 sets the image range for judging whether or not the object is a floating object according to the position of the exhaust pipe of the preceding vehicle. Specifically, the determination range determination unit 311 acquires an image from the camera 20, and determines that the object is a floating object in a pixel region of a predetermined range above the detected exhaust pipe in the pixel region of the image corresponding to the preceding vehicle. It is set as the range of the image for judging whether or not it is. After setting the range of the image, the process proceeds to step S13.
  • step S13 the determination range determination unit 311 determines that the exhaust pipe of the preceding vehicle has been detected, and the state in which the object has not been detected has changed to the state in which the object has been detected in the pixel region within a predetermined range above the exhaust pipe. is detected (YES in step S13), the process proceeds to step S20. If the determination range determining unit 311 has not detected a change from a state in which an object is not detected to a state in which an object is detected in a pixel region within a predetermined range above the exhaust pipe (NO in step S13), End the process.
  • the object detection device detects whether the object is a floating object or not. Set according to the position of the tube. As a result, the object detection device can more accurately determine the exhaust gas generated by the preceding vehicle as floating matter.
  • the camera 20 captures an image of the front of the vehicle, measures the brightness of the infrared rays, and acquires an infrared image showing the brightness of the infrared rays.
  • the determination range determination unit 311 determines a predetermined range above the detected exhaust pipe in the pixel region of the infrared image corresponding to the preceding vehicle. is set as the range of the image for judging whether or not the object is a floating object.
  • the determination range determining unit 311 determines that the pixel area of the infrared image corresponding to the position of the detected object is a floating object. Set as the range of the image to determine whether or not.
  • the temperature calculation unit 314 calculates the temperature of the object based on the infrared luminance at the position corresponding to the object in the infrared image. Specifically, when the state behind the preceding vehicle changes from a state in which an object is not detected to a state in which an object is detected, the temperature calculation unit 314 acquires an infrared image captured when the object was detected. Then, the temperature of the object in the range of the image for judging whether or not the object is a floating substance is calculated from the brightness of the infrared image at the corresponding position.
  • the temperature calculation unit 314 calculates the amount of change in the temperature of the object based on the infrared luminance at the position corresponding to the object in the infrared image. Specifically, the temperature calculation unit 314 detects the exhaust pipe of the preceding vehicle, and determines whether or not the object is a floating object. , the amount of change in temperature of the object in the range of the image is calculated from the amount of change in brightness of the infrared image at the corresponding position.
  • the temperature calculation unit 314 can calculate the amount of change in temperature from the amount of change in luminance of the infrared image when the state in which no object is detected changes to the state in which an object is detected.
  • the temperature calculator 314 may calculate the amount of change in brightness of the infrared image instead of the amount of change in temperature.
  • the temperature determination unit 315 determines that the object is It is determined to be floating matter.
  • the threshold temperature is, for example, 50°C.
  • the temperature determination unit 315 determines whether the temperature of the object in the range of the image in which the exhaust pipe of the preceding vehicle is detected and whether or not the object is floating is less than the threshold temperature. is greater than or equal to the threshold change amount, it is determined that the object is a floating object.
  • the threshold temperature is, for example, 50.degree. C.
  • the threshold change amount is, for example, 20.degree.
  • the temperature determination unit 315 sets a higher threshold temperature as the outside air temperature increases. Specifically, the temperature determination unit 315 changes the threshold temperature within the range of the temperature of the exhaust gas obtained in advance by experiments or the like. For example, the threshold temperature is set to 50°C when the outside air temperature is 25°C, and the threshold temperature is set higher by 1°C each time the outside air temperature rises by 1°C.
  • step S31 the determination range determination unit 311 acquires from the camera 20 an infrared image captured while the radar 10 is detecting the object.
  • the temperature calculation unit 314 calculates the temperature of the detected object based on the infrared luminance at the position corresponding to the object in the infrared image. Specifically, the temperature calculation unit 314 acquires the image range for determining whether or not the object is a floating object from the determination range determination unit 311, and obtains from the infrared image captured when the object is detected. Calculate the temperature of the object in the range of the infrared image to determine whether the object is a floating object.
  • the temperature calculation unit 314 calculates the amount of change in the temperature of the detected object based on the infrared luminance at the position corresponding to the object in the infrared image. Specifically, the temperature calculation unit 314 detects the exhaust pipe of the preceding vehicle and determines whether the object is a floating object or not in the range of the image in which the object is not detected, and the object is detected. When the state changes, the amount of change in temperature of the object within the range of the image is calculated from the amount of change in brightness of the infrared image at the corresponding position.
  • the temperature calculation unit 314 may calculate the amount of change in brightness of the infrared image instead of the amount of change in temperature.
  • the determination of whether the amount of change in temperature is greater than or equal to the threshold change in step S62 described later is performed when the amount of change in brightness of the infrared image is greater than or equal to the threshold change in brightness. or not.
  • step S61 when the temperature determination unit 315 determines that the temperature of the object is equal to or higher than the threshold temperature (YES in step S61), the process proceeds to step S70.
  • step S13 When the exhaust pipe of the preceding vehicle is detected (YES in step S13) and the temperature determination unit 315 determines in step S61 that the temperature of the object is lower than the threshold temperature (NO in step S61), the process proceeds to step S62. proceed to
  • step S62 when the temperature determination unit 315 determines that the amount of change in the temperature of the object is equal to or greater than the threshold amount of change (YES in step S62), the process proceeds to step S70.
  • step S62 when temperature determination unit 315 determines that the amount of change in the temperature of the object is less than the threshold amount of change (NO in step S62), the process proceeds to step S80.
  • the object detection device captures an infrared image in front of the vehicle, and calculates the temperature of the object based on the brightness of the infrared light at the position corresponding to the object in the infrared image.
  • the object detection device determines that the object is a floating object when the temperature of the object is equal to or higher than the threshold temperature.
  • the object detection device can determine whether or not the object is a floating substance based on the temperature of the object, and can more accurately determine that the exhaust gas of a vehicle having a temperature equal to or higher than the threshold temperature is a floating substance. can be done.
  • the object detection device When the object detection device detects the exhaust pipe of the preceding vehicle, it sets the range of the infrared image for judging whether the object is a floating object according to the position of the exhaust pipe of the preceding vehicle.
  • the object detection device calculates the amount of change in temperature of an object detected in the range of the infrared image for determining whether or not the object is a floating object from the amount of change in brightness of the infrared image at the corresponding position, and detects If the amount of change in temperature of the detected object is greater than or equal to the threshold change amount, the object is determined to be floating.
  • the preceding vehicle If the amount of change in the temperature of the object detected in the range of the infrared image used to determine whether the object is floating matter is greater than or equal to the threshold change amount, the preceding vehicle emits the exhaust gas that is floating matter. likely to be. Therefore, it is possible to more accurately determine the exhaust gas emitted by the preceding vehicle as floating matter.
  • the object detection device sets the threshold temperature higher as the outside air temperature rises.
  • the temperature of the exhaust gas at the outlet of the exhaust pipe is higher than the surface temperature of the human body.
  • the higher the outside air temperature the higher the surface temperature of the human body. Therefore, the higher the outside air temperature, the smaller the difference between the surface temperature of the human body and the temperature of the exhaust gas. Therefore, by setting the threshold temperature higher as the outside air temperature increases, the object detection apparatus can prevent erroneous determination of a human body as a floating object, and can more accurately determine an object as a floating object. can.
  • step S61 if it is determined in step S61 that the temperature of the object is lower than the threshold temperature, the process proceeds to step S62.
  • step S62 if it is determined in step S61 that the temperature of the object is lower than the threshold temperature, the process proceeds to step S62.
  • the determination of whether the temperature of the object is equal to or higher than the threshold temperature in step S61 is omitted, and the object is determined to be a floating substance based only on the determination of whether the temperature change amount is equal to or higher than the threshold change amount in step S62. It may be determined whether or not
  • the determination of whether or not the amount of change in temperature is equal to or greater than the threshold change amount in step S62 is based on the change in luminance of the infrared image. It may be used as a judgment of whether or not.
  • step S61 If the temperature of the object is equal to or higher than the threshold temperature in step S61, it is determined that the object is floating, and if the temperature of the object is lower than the threshold temperature in step S61, the process after step S62 is omitted. , it may be determined that it is not a floating substance.
  • step S61 if the temperature of the object is less than the threshold temperature in step S61, it is determined whether or not the amount of change in the temperature of the object is equal to or greater than the threshold change in step S62.
  • the reason for determining whether or not is that the purpose is to improve the determination accuracy of floating matter by combining the processing of step S61 and the processing of step S62, and either the processing of step S61 or step S62 It is possible to determine whether or not the object is floating matter by itself.
  • the object detection method according to the third embodiment has a configuration in which the processing of the second modification of the first embodiment and the processing of the second embodiment are connected at the conditional branching of step S60. Therefore, only the processing in step S60 will be described, and description of other common processing will be omitted.
  • step S60 when the difference determination unit 313 determines that the difference in brightness between the first optical image and the second optical image is less than the threshold difference (YES in step S60), the process proceeds to step S70. , determine that the object is a floating object.
  • step S60 when the difference determination unit 313 determines that the difference in luminance between the first optical image and the second optical image is equal to or greater than the threshold difference (NO in step S60), the process proceeds to step S11. .
  • the object detection device acquires an optical image and an infrared image
  • the difference in brightness between the first optical image and the second optical image is equal to or greater than the threshold difference
  • the temperature of the object is equal to or greater than the threshold temperature
  • the difference in luminance between the first optical image and the second optical image is equal to or greater than the threshold difference
  • the object is determined to be a floating object based on the temperature of the object calculated based on the infrared image. It is possible to judge whether or not That is, in a state where the vehicle exhaust gas, which is floating matter, remains, it is possible to determine that the vehicle exhaust gas is floating matter based on the temperature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

物体検出方法は、自車両前方に電磁波を照射し、電磁波の反射波に基づいて自車両前方の物体を検出する。自車両前方を撮像して画像を取得し、物体が検出されていない状態から、物体が検出された状態へ変化した場合、取得した画像に基づいて物体が浮遊物であるか否かを判断する。

Description

物体検出方法及び物体検出装置
　本発明は、物体検出方法及び物体検出装置に関する。
　従来から、分解能が低いセンサを用いた場合において、検出された物体が浮遊物であるか否かを判断することができる物体検出装置が知られている（特許文献１参照）。特許文献１に記載された物体検出装置は、センサが検出した物体の単位時間あたりのサイズの変化率を算出し、当該サイズの変化率が所定の閾値を超えた場合に検出された物体が浮遊物であると判定する。
特開２０１４−９３０２８号公報
　しかしながら、特許文献１に記載された物体検出装置は、風が無く浮遊物が滞留しやすい環境では、検出した物体（浮遊物）の単位時間あたりのサイズの変化率が所定の閾値を超えず、検出した物体を浮遊物と判定できない場合がある。
　本発明は、上記課題に鑑みて成されたものであり、その目的は、検出した物体が浮遊物であるか否かをより精度良く判定することができる物体検出方法を提供することである。
　本発明の一態様に係わる物体検出方法は、自車両前方に電磁波を照射し、電磁波の反射波に基づいて自車両前方の物体を検出する。自車両前方を撮像して画像を取得し、物体が検出されていない状態から、物体が検出された状態へ変化した場合、取得した画像に基づいて物体が浮遊物であるか否かを判断する。
　本発明の一態様によれば、検出した物体が浮遊物であるか否かをより精度良く判定することができる。
図１は、第１実施形態に係る物体検出装置の構成を示すブロック図である。 図２は、第１実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図３は、第１実施形態の第１変形例に係る物体検出装置の構成を示すブロック図である。 図４は、第１実施形態の第１変形例に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図５は、第１実施形態の第１変形例に係る物体検出装置が物体を浮遊物と判定する処理を示す概念図である。 図６は、第１実施形態の第１変形例に係る物体検出装置が物体を浮遊物でないと判定する処理を示す概念図である。 図７は、第１実施形態の第２変形例に係る物体検出装置の構成を示すブロック図である。 図８は、第１実施形態の第２変形例に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図９は、第２実施形態に係る物体検出装置の構成を示すブロック図である。 図１０Ａは、第２実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図１０Ｂは、第２実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図１１は、第３実施形態に係る物体検出装置の構成を示すブロック図である。 図１２Ａは、第３実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図１２Ｂは、第３実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図１２Ｃは、第３実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。
　図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
　（第１実施形態）
　［物体検出装置の構成］
　図１を参照して、第１実施形態に係る物体検出装置の構成を説明する。物体検出装置は、自車両前方の物体を検出し、当該物体が浮遊物であるか否かを判断する装置である。物体検出装置は、レーダ１０、カメラ２０、制御部３０、記憶部４０を備えている。
　レーダ１０は、自車両前方のフロントバンパ又はフロントグリル内に搭載される。レーダ１０は、自車両前方に電磁波を照射し、照射した電磁波の反射波に基づいて自車両前方の物体を検出するセンサである。レーダ１０は、物体を検出すると同時に、物体の位置情報である物体の方位、自車両から物体までの距離を測定し、自車両の位置を基準とする物体の位置座標を算出する。さらに、レーダ１０は、これらの情報に加え、物体の速度を測定する。なお、本実施形態では、物体を検出する手段としてレーダを例示するが、ライダ（ＬｉＤＥＲ）を利用して自車両前方の物体を検出してもよい。
　カメラ２０は、自車両の車室内前方に搭載される。カメラ２０は、自車両前方を所定の周期で繰り返し撮像して自車両前方の複数の画像を取得する。具体的には、カメラ２０は、被写体からの光線をレンズによって撮像素子の受光平面に結像させ、結像した被写体像の光の明暗に基づいて生成された光学画像を取得する。光学画像は、可視光域、赤外線領域、又は紫外線領域の光により生成される画像である。カメラ２０は、物体が検出されていない状態から物体が検出された状態へ変化するまで、自車両前方を繰り返し撮像して複数の画像を取得する。
　制御部３０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、制御部３０として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、制御部３０が備える複数の情報処理回路として機能する。なお、本実施形態では、ソフトウェアによって制御部３０が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。
　記憶部４０は、ＨＤＤ（ハードディスクドライブ）及びＳＳＤ（ソリッドステートドライブ）を含む情報記憶装置で構成される。記憶部４０は、カメラ２０によって撮像された自車両前方の複数の画像を時系列に記憶する。記憶部４０は、少なくとも、物体が検出されていない時に撮像された画像を、物体が検出されていない状態から物体が検出された状態へ変化するまで記憶する。すなわち、物体が検出されていない状態から物体が検出された状態へ変化した場合には、物体が検出された状態へ変化した時の第２の画像（以下、第２の光学画像とも記載する）と、一周期あるいは数周期前の物体が検出されていない状態の時の第１の画像（以下、第１の光学画像とも記載する）とを記憶する。
　なお、記憶部４０は所定の周期で撮像される画像を過去複数回分記憶しておき、記憶した複数の画像のうち、物体が検出されていない状態から物体が検出された状態へ変化した時の画像を第２の光学画像として特定する。そして、記憶部４０は、一周期あるいは数周期前の物体が検出されていない状態の時の画像を第１の光学画像として特定する事により、第１の光学画像と第２の光学画像以外の画像を含めた２枚以上の複数の画像を記憶しても良い。本実施形態では、記憶部４０が、カメラ２０によって撮像された画像を記憶するが、制御部３０が備えるメモリがこれらデータを記憶できる場合、制御部３０が備えるメモリがこれらのデータを記憶してもよい。
　制御部３０及び記憶部４０は、自車両に搭載される。なお、制御部３０及び記憶部４０は、１つの制御コントローラとして車両に搭載されていてもよい。
　ここで、制御部３０が備える複数の情報処理回路について具体的に説明する。
　制御部３０は、浮遊物判定部３１備えている。浮遊物判定部３１は、レーダ１０が検出した物体が浮遊物であるか否かをカメラ２０が撮像した光学画像に基づいて判定する。浮遊物とは、排気ガス、水しぶき、砂埃などの空気中に浮遊する物体のことである。すなわち、浮遊物は、浮遊する微小な粒子の集合体のことである。
　浮遊物判定部３１は、判定範囲決定部３１１、差分算出部３１２、差分判定部３１３で構成される。
　判定範囲決定部３１１は、物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合、物体が検出されている時に撮像された画像である第２の光学画像をカメラ２０から取得し、物体が浮遊物であるか否かを判断する画像の範囲を決定する。以下にて、判定範囲決定部３１１が実行する処理について具体的に説明する。
　先ず、判定範囲決定部３１１は、レーダ１０から出力される情報に基づいて、物体が検出されていない状態から物体が検出された状態へ変化したことを検出する。レーダ１０から出力される情報とは、例えば、物体が検出された状態であるか否かを示すためのフラグである。レーダ１０が、物体が検出されていない状態の時に物体の位置情報である物体の方位、自車両から物体までの距離などの値を無効な値（制御に使用してはいけない値）として出力する場合、判定範囲決定部３１１はこれらの値を使用してもよい。判定範囲決定部３１１は、レーダ１０から出力されるフラグ又は物体の位置情報の値の変化を検出することで、物体が検出されていない状態から物体が検出された状態へ変化したことを検出することができる。
　次に、判定範囲決定部３１１は、物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合、物体が検出されている時に撮像された第２の光学画像をカメラ２０から取得する。判定範囲決定部３１１は、レーダ１０から物体の位置情報を取得し、第２の光学画像からレーダ１０によって検出された物体の位置に対応する画素領域を選択する。レーダ１０とカメラ２０は、自車両に搭載され、且つ、自車両前方を検出範囲又は撮像範囲としている。よって、レーダ１０が出力する物体の位置座標とカメラ２０が取得する画像の画素位置は、予め同期されている。そのため、判定範囲決定部３１１は、レーダ１０によって検出された物体の位置に対応する画像の画素位置を選択することができる。判定範囲決定部３１１は、物体の位置に対応する第２の光学画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。
　差分算出部３１２は、物体が検出されていない時に撮像された第１の光学画像と物体が検出されている時に撮像された第２の光学画像との差分を算出する。具体的には、差分算出部３１２は、記憶部４０から物体が検出されていない時に撮像された第１の光学画像を取得し、判定範囲決定部３１１から第２の光学画像及び物体が浮遊物であるか否かを判断する画像の範囲である物体の位置に対応する画素領域を取得する。そして、差分算出部３１２は、物体が浮遊物であるか否かを判断する画像の画素領域において、同画素位置における第１の光学画像と第２の光学画像との明度、彩度、色相の少なくとも一つ以上の差分を算出する。例えば、カメラ２０が取得する画像が、グレースケール画像である場合、差分算出部３１２は明度の差分を算出する。また、カメラ２０が取得する画像がカラー画像である場合、明度、彩度、色相の全ての差分を算出してもよい。
　差分判定部３１３は、差分算出部３１２によって算出された第１の光学画像と第２の光学画像との差分がしきい差分未満であるか否かを判断する。排気ガス、水しぶき、砂埃などの浮遊物（浮遊する微小な粒子の集合体としての浮遊物）を検出した際の第１の光学画像と第２の光学画像との差分は、人間、構造物などの車両の障害物となる物体を検出した際の差分よりも小さい。そのため、差分判定部３１３は、第１の光学画像と第２の光学画像との差分がしきい差分未満である場合、物体が浮遊物であると判定する。差分判定部３１３は、第１の光学画像と第２の光学画像との差分がしきい差分以上である場合、物体が浮遊物でないと判断する。
　より具体的には、差分判定部３１３は、物体が浮遊物であるか否かを判断する画像の画素領域において、差分がしきい差分未満となる画素の割合がしきい割合以上である場合、検出した物体が浮遊物であると判断する。しきい差分及びしきい割合は、浮遊物が発生した際の輝度の差分及び輝度の差分がしきい差分未満となる画素の割合を予め実験により取得することで決定することができる。例えば、カメラ２０が取得する光学画像がグレースケールであり、明度を８ビットデータで処理する場合、明度のしきい差分は１６進数で１０（０ｘ１０）、しきい割合を７０％とする。
なお、第１の光学画像と第２の光学画像との差分を用いて物体が浮遊物であるか否かを判断する方法はこれに限定されない。例えば、差分判定部３１３は、物体が浮遊物であるか否かを判断する画素領域における差分の平均値を算出し、差分の平均値がしきい平均値未満である場合に、物体を浮遊物と判定してもよい。
　車両制御部５０は、レーダ１０及びカメラ２０を含む自車両に搭載されたセンサによって取得された自車両周囲の情報、及び記憶部４０に予め記憶されている地図データに基づいて自車両を制御し、運転支援及び自動運転をおこなう。車両制御部５０は、自車両の走行経路上に物体を検出し、検出した物体との距離が予め定められた所定距離未満となる可能性が高いと判断した場合、検出した物体が浮遊物であるか否かの結果に基づいて、物体との距離が所定距離未満となる状態を回避するよう自車両を制御するか否かを判断する。
　車両制御部５０は、自車両前方に物体を検出し、検出した物体が浮遊物でないと判断された場合、物体との距離が所定距離未満となる状態を回避するための制御を実行する。具体的には、車両制御部５０は、発進待機中は発進制御を禁止し、走行中は減速制御あるいは転舵輪を転舵駆動する回避制御を実行して、物体との距離を所定距離以上に保つように車両を制御する。
　車両制御部５０は、自車両前方に物体を検出し、検出した物体が浮遊物であると判断された場合、物体との距離が所定距離未満となる状態を回避するための制御の実行を禁止する。
　［物体検出方法］
　次に、図２を参照して図１の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。図２のフローチャートに示す物体検出装置の動作は、自車両のイグニッションスイッチ又はパワースイッチがＯＮとなると同時に開始され、イグニッションスイッチ又はパワースイッチがＯＦＦとなった時点で処理を終了する。
　ステップＳ０において、レーダ１０は、自車両の前方に電磁波を照射し、電磁波の反射波に基づいて物体を検出する。具体的には、物体の有無及び物体の位置を検出する。
　ステップＳ５において、カメラ２０は、物体が検出されていない状態から物体が検出された状態へ変化するまで、自車両前方を所定の周期で繰り返し撮像して自車両前方の複数の画像を取得する。記憶部４０は、カメラ２０によって撮像された自車両前方の複数の画像を時系列に記憶する。
　ステップＳ１０において、判定範囲決定部３１１は、レーダ１０から出力される情報に基づいて物体が検出されていない状態から物体が検出された状態へ変化したことを検出する。判定範囲決定部３１１は、物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合（ステップＳ１０でＹＥＳ）、処理はステップＳ２０に進む。判定範囲決定部３１１は、物体が検出されていない状態から物体が検出された状態へ変化したことを検出していない場合（ステップＳ１０でＮＯ）、処理を終了する。
　ステップＳ２０に進み、差分算出部３１２は、物体が検出されていない時に撮像された第１の光学画像を記憶部４０から取得する。
　ステップＳ３０に進み、判定範囲決定部３１１は、物体が検出されている時に撮像された第２の光学画像をカメラ２０から取得する。
　ステップＳ４０に進み、判定範囲決定部３１１は、レーダ１０から物体の位置情報を取得し、第２の光学画像からレーダ１０によって検出された物体の位置に対応する画素領域を選択する。判定範囲決定部３１１は、検出された物体の位置に対応する第２の光学画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。
　ステップＳ５０に進み、差分算出部３１２は、判定範囲決定部３１１から第２の光学画像及び物体が浮遊物であるか否かを判断する画像の範囲を取得し、物体が浮遊物であるか否かを判断する画像の画素領域において、同画素位置における第１の光学画像と第２の光学画像との差分を算出する。
　ステップＳ６０に進み、差分判定部３１３は、第１の光学画像と第２の光学画像との差分がしきい差分未満であると判断した場合（ステップＳ６０でＹＥＳ）、処理はステップＳ７０に進み、物体が浮遊物であると判定する。
　ステップＳ９０に進み、車両制御部５０は、自車両の制御を継続する。すなわち、車両制御部５０は、物体との距離が所定距離未満となる状態を回避するための制御の実行を禁止する。
　ステップＳ６０において、差分判定部３１３は、第１の光学画像と第２の光学画像との輝度の差分がしきい差分以上であると判断した場合（ステップＳ６０でＮＯ）、処理はステップＳ８０に進み、物体が浮遊物でないと判断する。
　ステップＳ１００に進み、車両制御部５０は、物体との距離が予め定められた所定距離未満となる状態を回避するよう自車両を制御する。
　以上、説明したように第１実施形態によれば以下の作用効果が得られる。
　物体検出装置は、自車両前方に電磁波を照射し、照射した電磁波の反射波に基づいて自車両前方の物体を検出する。物体検出装置は、自車両前方を撮像して画像を取得し、物体が検出されていない状態から、物体が検出された状態へ変化した場合、画像に基づいて物体が浮遊物であるか否かを判断する。すなわち、物体の検出は電磁波の反射波によって行われ、検出した物体が浮遊物であるか否かの判断は画像によって行われる。これにより、物体検出装置は、物体の検出及び検出した物体が浮遊物であるか否かの判断をより精度良く行うことができる。
　物体検出装置は、物体が検出されていない時に自車両前方を撮像して第１の光学画像を取得し、物体が検出されている時に自車両前方を撮像して第２の光学画像を取得する。物体検出装置は、第１の光学画像と第２の光学画像との差分を算出し、差分がしきい差分未満である場合、物体が浮遊物であると判定する。これにより、物体検出装置は、物体が検出された時に物体が浮遊物であるか否かを判断することができ、物体が浮遊物であるか否かをより早く判断することができる。
　（第１実施形態の第１変形例）
　［物体検出装置の構成］
　図３を参照して、第１実施形態の第１変形例に係る物体検出装置の構成を説明する。第１実施形態との相違点は、制御部３０が先行車情報生成部３２、浮遊物トラッキング部３３をさらに備える点、及び、判定範囲決定部３１１の一部処理である。よって、当該相違点についてのみ説明し、その他共通する構成については説明を省略する。
　先行車情報生成部３２は、検出された物体が自車両前方の先行車であるか否かを判定し、物体が先行車である場合、先行車の挙動を測定する。そして、先行車情報生成部３２は、先行車の挙動がしきい挙動以内であるか否かを判定する。先行車情報生成部３２は、先行車検出部３２１と先行車挙動判定部３２２で構成される。
　先行車検出部３２１は、検出された物体が先行車であるか否かを判定する。具体的には、先行車検出部３２１は、レーダ１０によって計測された物体の各位置までの距離を取得し、物体の各位置までの距離から物体の形状及び大きさを特定する。先行車検出部３２１は、物体の形状及び大きさに基づいて物体が先行車であるか否かを判断する。具体的には、先行車検出部３２１は、特定した物体の形状及び大きさと、記憶部４０に予め記憶された車両の形状及び大きさとの一致率を算出し、一致率がしきい一致率よりも高い場合、物体が先行車であると判定する。
　なお、本実施形態では、先行車検出部３２１は、レーダ１０によって測定された物体の各位置までの距離に基づいて物体が先行車であるか否かを判定しているが、カメラ２０が取得した画像に基づいて物体が先行車であるか否かを判定してもよい。なお、画像解析による物体が先行車であるか否かの判定は、既知の画像認識技術を利用することにより可能である。
　先行車挙動判定部３２２は、先行車検出部３２１によって先行車が検出された場合、先行車との距離の時間変化、すなわち、自車両に対する相対速度と自車両の速度から先行車の速度を取得し、先行車の挙動を判定する。
　具体的には、先行車挙動判定部３２２は、先行車の速度の変化から先行車が停車状態（０．５ｋｍ／ｈ未満）から発進したことを検出し、先行車が発進してからしきい時間が経過したか否かを判断する。例えば、しきい時間は３秒である。
　さらに、先行車挙動判定部３２２は、先行車の速度がしきい速度未満であるか否かを判断する。例えば、しきい速度は１０ｋｍ／ｈである。
　先行車挙動判定部３２２は、先行車が停車状態から発進したことを検出し、先行車が発進してからしきい時間が経過していない場合、先行車の挙動がしきい挙動以内であると判断する。又は、先行車挙動判定部３２２は、先行車の速度がしきい速度未満である場合、先行車の挙動がしきい挙動以内であると判断する。
　判定範囲決定部３１１は、先行車が検出され、先行車の後方において物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合、物体の位置に対応する第２の光学画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。
　浮遊物トラッキング部３３は、浮遊物判定部３１によって浮遊物と判定された物体をトラッキングする。具体的には、浮遊物トラッキング部３３は、差分判定部３１３によって浮遊物と判定された物体をトラッキング対象として設定し、カメラ２０が取得する画像又はレーダ１０で浮遊物をトラッキングする。なお、浮遊物トラッキング部３３は、カメラ２０が取得した画像とレーダ１０との両方で物体をトラッキングしてもよい。浮遊物トラッキング部３３は、トラッキング中の物体を浮遊物判定部３１へ出力する。
　［物体検出方法］
　次に、図４を参照して図３の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。第１実施形態との相違点は、ステップＳ１１からステップＳ１３をさらに備える点である。よって当該相違点についてのみ説明し、その他共通する処理については説明を省略する。
　ステップＳ１１において、先行車検出部３２１は、レーダ１０によって計測された物体の各位置までの距離を取得し、物体の各位置までの距離から物体の形状及び大きさを特定する。先行車検出部３２１は、物体の形状及び大きさに基づいて物体が先行車であるか否かを判断する。先行車検出部３２１は、物体が先行車であると判断した場合（ステップＳ１１でＹＥＳ）、処理はステップＳ１２に進む。先行車検出部３２１は、物体が先行車でないと判断した場合（ステップＳ１１でＮＯ）、処理はステップＳ２０に進む。
　ステップＳ１２において、先行車挙動判定部３２２は、レーダ１０から先行車の速度を取得し、先行車の挙動を判定する。具体的には、先行車挙動判定部３２２は、先行車が停車状態から発進したことを検出し、先行車が発進してからしきい時間が経過していない場合、又は、先行車の速度がしきい速度未満ある場合、先行車の挙動がしきい挙動以内であると判断する。先行車挙動判定部３２２は、先行車の挙動がしきい挙動以内であると判断した場合（ステップＳ１２でＹＥＳ）、処理はステップＳ１３に進む。先行車挙動判定部３２２は、先行車の挙動がしきい挙動以内でないと判断した場合（ステップＳ１２でＮＯ）処理を終了する。
　ステップＳ１３において、判定範囲決定部３１１は、先行車の後方において物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合（ステップＳ１３でＹＥＳ）、処理はステップＳ２０に進む。判定範囲決定部３１１は、先行車の後方において、物体が検出されていない状態から物体が検出された状態へ変化したことを検出していない場合（ステップＳ１３でＮＯ）、処理を終了する。
　ここで、図５及び図６を参照して、第１実施形態の第１変形例に係る物体検出装置が、先行車を検出し、先行車の後方に検出された物体が浮遊物であるか否かを判断する処理について具体的に説明する。
　先ず、図５を参照して、第１実施形態の第１変形例に係る物体検出装置が、自車両前方の先行車よりも後方に位置する物体を浮遊物と判定する処理について説明する。
　カメラ２０が第１の光学画像ａを取得した時刻において、レーダ１０が物体１を検出した場合、先行車検出部３２１は、レーダ１０によって測定された物体１の各位置までの距離を取得し、物体の形状及び大きさに基づいて物体１を先行車と判断する。
　先行車挙動判定部３２２は、レーダ１０から先行車の速度を取得し、先行車の挙動を判定する。カメラ２０によって第１の光学画像ａ及び第２の光学画像ｂが取得された時刻において、先行車の速度はしきい速度未満である。そのため、先行車挙動判定部３２２は、先行車の挙動がしきい挙動以内であると判断する。
　レーダ１０は、カメラ２０が第２の光学画像ｂを取得した時刻において、先行車の後方の物体２を検出した場合、判定範囲決定部３１１は、物体２が検出されていない状態から物体２が検出された状態へ変化したことを検出する。
　差分算出部３１２は、先行車の後方の物体２が検出されていない時に撮像された第１の光学画像ａを記憶部４０から取得し、判定範囲決定部３１１は、先行車の後方の物体２が検出されている時に撮像された第２の光学画像ｂをカメラ２０から取得する。
　判定範囲決定部３１１は、レーダ１０によって検出された物体２の位置に対応する第２の光学画像ｂの画素領域を、物体２が浮遊物であるか否かを判断する画像の範囲３として設定する。
　差分算出部３１２は、判定範囲決定部３１１から第２の光学画像ｂ及び物体２が浮遊物であるか否かを判断する画像の範囲３を取得し、物体２が浮遊物であるか否かを判断する画像の範囲３において、同画素位置における第１の光学画像ａと第２の光学画像ｂとの差分を算出する。
　第１の光学画像ａと第２の光学画像ｂとの差分はしきい差分未満である。そのため、差分判定部３１３は、物体２を浮遊物であると判定する。
　次に、図６を参照して、第１実施形態の第１変形例に係る物体検出装置が、自車両前方の先行車よりも後方に位置する物体２を浮遊物でないと判定する処理について説明する。
　図５との相違点は、先行車の後方の物体２が歩行者である点である。そのため、図５で説明した処理とは、物体２が浮遊物であるか否かを判断する画像の範囲３を設定する処理以降が相違する。よって、図５で説明した処理との相違点についてのみ説明する。
　判定範囲決定部３１１は、レーダ１０によって検出された物体２の位置に対応する第２の光学画像ｄの画素領域を、物体２が浮遊物であるか否かを判断する画像の範囲３として設定する。
　差分算出部３１２は、判定範囲決定部３１１から第２の光学画像ｄ及び物体２が浮遊物であるか否かを判断する画像の範囲３を取得し、物体２が浮遊物であるか否かを判断する画像の範囲３において、同画素位置における第１の光学画像ｃと第２の光学画像ｄとの差分を算出する。
　第１の光学画像ｃと第２の光学画像ｄとの差分は、しきい差分以上である。そのため、差分判定部３１３は、物体２を浮遊物でないと判定する。
　以上、説明したように第１実施形態の第１変形例によれば第１実施形態の作用効果に加え、以下の作用効果が得られる。
　物体検出装置は、物体が自車両前方の先行車よりも後方に位置し、先行車が停車状態から発進した場合、先行車が発進してからしきい時間が経過するまで、物体が浮遊物であるか否かを判断する。車両は発進する際に排気ガス、水しぶき、砂埃などの浮遊物をより多く発生させる。そのため、物体検出装置は、先行車の発進から所定の時間が経過するまで、検出された物体が浮遊物であるか否かを判断することにより、自車両前方の先行車が発進する際に発生させる排気ガス、水しぶき、砂埃などの物体を浮遊物として判定することができる。
　物体検出装置は、物体が自車両前方の先行車よりも後方に位置し、先行車の速度がしきい速度未満である場合、物体が浮遊物であるか否かを判断する。先行車がしきい速度未満で走行している場合、先行車は以後加速する可能性が高い。車両は、加速する際に排気ガス、水しぶき、砂埃などの浮遊物をより多く発生させる。そのため、物体検出装置は、先行車の速度がしきい速度未満である場合、検出された物体が浮遊物であるか否かを判断することにより、自車両前方の先行車が加速する際に発生させる排気ガス、水しぶき、砂埃などの物体を浮遊物として判定することができる。
　物体検出装置は、浮遊物をトラッキングすることにより、一度浮遊物と判定した物体を再度、浮遊物か否か判定する処理を削減することができる。これにより、物体検出装置は、検出した物体が浮遊物であるか否かを判断する処理に掛かる負荷を削減することができる。
　（第１実施形態の第２変形例）
　［物体検出装置の構成］
　図７を参照して、第１実施形態の第２変形例に係る物体検出装置の構成を説明する。第１実施形態の第１変形例との相違点は、先行車情報生成部３２が先行車排気管検出部３２３をさらに備える点、及び、判定範囲決定部３１１の一部処理である。よって、当該相違点についてのみ説明し、その他共通する構成については説明を省略する。
　先行車排気管検出部３２３は、カメラ２０が取得した画像から先行車検出部３２１によって検出された先行車の排気管を検出する。具体的には、先行車排気管検出部３２３は、先行車の全高の１／５の高さから地面までに対応する画像の画素位置から、記憶部４０に予め記憶された車両の排気管の形状に類似する部分を検出し、先行車の排気管として特定する。
　判定範囲決定部３１１は、先行車排気管検出部３２３によって先行車の排気管が検出された場合、物体が浮遊物であるか否かを判断する画像の範囲を先行車の排気管の位置に応じて設定する。具体的には、判定範囲決定部３１１は、カメラ２０から画像を取得し、先行車に対応する画像の画素領域であって検出された排気管から上方の所定範囲の画素領域を物体が浮遊物であるか否かを判断する画像の範囲として設定する。所定範囲の画素領域は、排気管に対して予め定められた所定の距離範囲に相当する範囲の画素領域である。所定の距離範囲は、例えば、１メートルである。判定範囲決定部３１１は、先行車の排気管が検出された場合、物体が浮遊物であるか否かを判断する画像の範囲であって、排気管から上方の所定範囲の画素領域において物体が検出されたか否かを判断する。
　判定範囲決定部３１１は、先行車排気管検出部３２３によって先行車の排気管が検出されていない場合、検出された物体の位置に対応する第２の画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。
　［物体検出方法］
　次に、図８を参照して図７の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。第１実施形態の第１変形例との相違点は、ステップＳ１４、ステップＳ１５をさらに備え、ステップＳ１５以降の処理においてステップＳ４０が削除されている点である。よって当該相違点についてのみ説明し、その他共通する処理については説明を省略する。
　ステップＳ１４において、先行車排気管検出部３２３は、カメラ２０が取得した画像から先行車の排気管を検出する。先行車排気管検出部３２３が、先行車の排気管を検出した場合（ステップＳ１４でＹＥＳ）、処理はステップＳ１５に進む。先行車排気管検出部３２３が、先行車の排気管を検出していない場合（ステップＳ１４でＮＯ）、処理はステップＳ１３に進む。
　ステップＳ１５において、判定範囲決定部３１１は、物体が浮遊物であるか否かを判断する画像の範囲を先行車の排気管の位置に応じて設定する。具体的には、判定範囲決定部３１１は、カメラ２０から画像を取得し、先行車に対応する画像の画素領域であって検出された排気管から上方の所定範囲の画素領域を物体が浮遊物であるか否かを判断する画像の範囲として設定する。当該画像の範囲を設定後、処理はステップＳ１３に進む。
　ステップＳ１３において、判定範囲決定部３１１は、先行車の排気管が検出され、排気管から上方の所定範囲の画素領域において、物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合（ステップＳ１３でＹＥＳ）、処理はステップＳ２０に進む。判定範囲決定部３１１は、排気管から上方の所定範囲の画素領域において、物体が検出されていない状態から物体が検出された状態へ変化したことを検出していない場合（ステップＳ１３でＮＯ）、処理を終了する。
　以上、説明したように第１実施形態の第２変形例によれば第１実施形態の第１変形例に加え、以下の作用効果が得られる。
　物体検出装置は、物体が自車両前方の先行車よりも後方に位置し、先行車の排気管を検出した場合、物体が浮遊物であるか否かを判断する画像の範囲を先行車の排気管の位置に応じて設定する。これにより、物体検出装置は、先行車が発生させる排気ガスを浮遊物としてより精度良く判定することができる。
　（第２実施形態）
　［物体検出装置の構成］
　図９を参照して、第２実施形態に係る物体検出装置の構成を説明する。第１実施形態の第２変形例との相違点は、カメラ２０の仕様、判定範囲決定部３１１の一部処理、差分算出部３１２、差分判定部３１３に代えて、温度算出部３１４、温度判定部３１５を備える点である。よって、当該相違点についてのみ説明し、その他共通する構成については説明を省略する。
　カメラ２０は、自車両前方を撮像して赤外線の輝度を測定し、赤外線の輝度を示す赤外画像を取得する。
　判定範囲決定部３１１は、先行車排気管検出部３２３によって先行車の排気管が検出された場合、先行車に対応する赤外画像の画素領域であって検出された排気管から上方の所定範囲の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。
　判定範囲決定部３１１は、先行車排気管検出部３２３によって先行車の排気管が検出されていない場合、検出された物体の位置に対応する赤外画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。
　温度算出部３１４は、赤外画像の物体に対応する位置の赤外線の輝度に基づいて、物体の温度を算出する。具体的には、温度算出部３１４は、先行車の後方において、物体が検出されていない状態から物体が検出された状態へ変化した場合、物体が検出された時に撮像された赤外画像を取得し、物体が浮遊物であるか否かを判断する画像の範囲における物体の温度を、対応する位置の赤外画像の輝度から算出する。
　温度算出部３１４は、赤外画像の物体に対応する位置の赤外線の輝度に基づいて、物体の温度の変化量を算出する。具体的には、温度算出部３１４は、先行車の排気管が検出され、物体が浮遊物であるか否かを判断する画像の範囲において物体が検出されていない状態から物体が検出された状態へ変化した場合、当該画像の範囲における物体の温度の変化量を、対応する位置の赤外画像の輝度の変化量から算出する。
　なお、赤外画像における画像の輝度は、温度によって変化する。すなわち、温度の変化量は画像の輝度の変化量に対応する。従って、温度算出部３１４は、物体が検出されていない状態から物体が検出された状態へ変化した場合の赤外画像の輝度の変化量から温度の変化量を算出することができる。温度算出部３１４は、温度の変化量に替えて赤外画像の輝度の変化量を算出しても良い。
　温度判定部３１５は、先行車の排気管が検出されておらず、物体が浮遊物であるか否かを判断する画像の範囲に対応する位置の温度がしきい温度以上である場合、物体が浮遊物であると判定する。しきい温度は、例えば５０℃である。
　温度判定部３１５は、先行車の排気管が検出され、物体が浮遊物であるか否かを判断する画像の範囲における物体の温度がしきい温度未満であり、当該画像の範囲における物体の温度の変化量がしきい変化量以上である場合、物体が浮遊物であると判定する。しきい温度は、例えば５０℃、しきい変化量は、例えば２０℃である。
　温度判定部３１５は、外気温が高くなるほど高いしきい温度を設定する。具体的には、温度判定部３１５は、予め実験等で求めた排気ガスの温度の範囲内でしきい温度を変化させる。例えば、外気温が２５℃時のしきい温度５０℃とし、外気温が１℃上昇する毎にしきい温度を１℃高く設定する。
　［物体検出方法］
　次に、図１０Ａ、１０Ｂを参照して図９の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。第１実施形態の第２変形例との相違点は、ステップＳ２０、ステップＳ３０、ステップＳ５０に処理に代えて、ステップＳ３１、ステップＳ５１、ステップＳ５２、ステップＳ６１、ステップＳ６２の処理を行う点である。よって当該相違点についてのみ説明し、その他共通する処理については説明を省略する。
　ステップＳ３１において、判定範囲決定部３１１は、レーダ１０によって物体が検出されている時に撮像された赤外画像をカメラ２０から取得する。
　ステップＳ５１において、温度算出部３１４は、赤外画像の物体に対応する位置の赤外線の輝度に基づいて、検出された物体の温度を算出する。具体的には、温度算出部３１４は、判定範囲決定部３１１から物体が浮遊物であるか否かを判断する画像の範囲を取得し、物体が検出されている時に撮像された赤外画像から物体が浮遊物であるか否かを判断する赤外画像の範囲における物体の温度を算出する。
　ステップＳ５２において、温度算出部３１４は、赤外画像の物体に対応する位置の赤外線の輝度に基づいて、検出された物体の温度の変化量を算出する。具体的には、温度算出部３１４は、先行車の排気管が検出され、物体が浮遊物であるか否かを判断する画像の範囲において、物体が検出されていない状態から物体が検出された状態へ変化した場合、当該画像の範囲における物体の温度の変化量を、対応する位置の赤外画像の輝度の変化量から算出する。
　なお、ステップＳ５２において、温度算出部３１４は、温度の変化量に替えて赤外画像の輝度の変化量を算出しても良い。赤外画像の輝度の変化量を用いる場合、後述するステップＳ６２における、温度の変化量はしきい変化量以上か否かの判断は、赤外画像の輝度の変化量はしきい輝度変化量以上か否かの判断となる。
　ステップＳ６１において、温度判定部３１５は、物体の温度がしきい温度以上であると判断した場合（ステップＳ６１でＹＥＳ）、処理はステップＳ７０に進む。先行車の排気管が検出され（ステップＳ１３でＹＥＳ）、ステップＳ６１において、温度判定部３１５は、物体の温度がしきい温度未満であると判断した場合（ステップＳ６１でＮＯ）、処理はステップＳ６２に進む。
　ステップＳ６２において、温度判定部３１５は、物体の温度の変化量がしきい変化量以上であると判断した場合（ステップＳ６２でＹＥＳ）、処理はステップＳ７０に進む。ステップＳ６２において、温度判定部３１５は、物体の温度の変化量がしきい変化量未満であると判断した場合（ステップＳ６２でＮＯ）、処理はステップＳ８０に進む。
　以上、説明したように第２実施形態よれば以下の作用効果が得られる。
　物体検出装置は、自車両前方を撮像して赤外画像を取得し、赤外画像の物体に対応する位置の赤外線の輝度に基づいて物体の温度を算出する。物体検出装置は、物体の温度がしきい温度以上である場合、物体が浮遊物であると判定する。これにより、物体検出装置は、物体の温度に基づいて物体が浮遊物であるか否かを判断することができ、しきい温度以上となる車両の排気ガスを浮遊物としてより精度良く判定することができる。
　物体検出装置は、先行車の排気管を検出した場合、物体が浮遊物であるか否かを判断する赤外画像の範囲を先行車の排気管の位置に応じて設定する。物体検出装置は、物体が浮遊物であるか否かを判断する赤外画像の範囲において検出された物体の温度の変化量を対応する位置の赤外画像の輝度の変化量から算出し、検出された物体の温度の変化量がしきい変化量以上である場合、物体が浮遊物であると判断する。物体が浮遊物であるか否かを判断する赤外画像の範囲において検出された物体の温度の変化量がしきい変化量以上である場合、先行車は浮遊物である排気ガスを排出している可能性が高い。よって、先行車の排出した排気ガスを浮遊物としてより精度よく判定することができる。
　物体検出装置は、しきい温度を外気温が高いほど高く設定する。排気管出口における排気ガスの温度は人体の表面温度よりも高い。しかしながら、外気温が高くなるほど人体の表面温度は高くなるため、外気温が高いほど人体の表面温度と排気ガスの温度との差は小さくなる。そのため、物体検出装置は、しきい温度を外気温が高いほど高く設定することにより、人体を浮遊物と誤判定することを防止することができ、物体を浮遊物とより精度良く判定することができる。
　なお、本実施形態では、ステップＳ６１で物体の温度がしきい温度未満と判断された場合にステップＳ６２に進み、ステップＳ６２で温度の変化量が所定値以上か否かを判断することで物体が浮遊物であるか否かを判定する例を記載したがこれに限定されない。
　例えば、ステップＳ６１における物体の温度がしきい温度以上か否かの判断を省略し、ステップＳ６２における温度の変化量がしきい変化量以上か否かの判断のみに基づいて物体が浮遊物であるか否かを判定しても良い。
　また、ステップＳ６２における温度の変化量がしきい変化量以上か否かの判断は、赤外画像の輝度変化に基づいて、赤外画像の輝度の変化量がしきい輝度変化量以上であるか否かの判断としても良い。
　また、ステップＳ６２以降の処理を省略し、ステップＳ６１で物体の温度がしきい温度以上である場合、物体は浮遊物であると判定し、ステップＳ６１で物体の温度がしきい温度未満である場合、浮遊物では無いと判定しても良い。
　すなわち、本実施形態においてステップＳ６１で物体の温度がしきい温度未満である場合に、ステップＳ６２で物体の温度の変化量がしきい変化量以上か否かの判断に基づいて、物体が浮遊物であるか否かを判定している理由は、ステップＳ６１の処理とステップＳ６２の処理を組み合わせることによって浮遊物の判定精度を向上することを目的としており、ステップＳ６１の処理あるいはステップＳ６２のいずれかの処理は単独でも浮遊物であるか否かを判定することが可能である。
　（第３実施形態）
　［物体検出装置の構成］
　図１１を参照して、第３実施形態に係る物体検出装置の構成を説明する。第２実施形態との相違点は、差分算出部３１２、差分判定部３１３をさらに備える点である。なお、差分算出部３１２、差分判定部３１３は第１実施形態と共通であり、説明を省略する。
　［物体検出方法］
　次に、図１２を参照して図１１の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。第３実施形態に係る物体検出方法は、ステップＳ６０の条件分岐にて第１実施形態の第２変形例と第２実施形態との処理が接続される構成となっている。よって、ステップＳ６０での処理についてのみ説明し、その他共通する処理については説明を省略する。
　ステップＳ６０において、差分判定部３１３は、第１の光学画像と第２の光学画像との輝度の差分がしきい差分未満であると判断した場合（ステップＳ６０でＹＥＳ）、処理はステップＳ７０に進み、物体が浮遊物であると判定する。
　ステップＳ６０において、差分判定部３１３は、第１の光学画像と第２の光学画像との輝度の差分がしきい差分以上であると判断した場合（ステップＳ６０でＮＯ）、処理はステップＳ１１に進む。
　以上、説明したように第３実施形態によれば以下の作用効果が得られる。
　物体検出装置は、光学画像及び赤外画像を取得し、第１の光学画像と第２の光学画像との輝度の差分がしきい差分以上であり、物体の温度がしきい温度以上である場合、物体が浮遊物であると判定する。これにより、第１の光学画像と第２の光学画像との輝度の差分がしきい差分以上となる浮遊物の場合、赤外画像に基づいて算出された物体の温度から物体が浮遊物であるか否かを判断することができる。すなわち、浮遊物である車両の排気ガスが滞留した状態において、車両の排気ガスを温度に基づいて浮遊物として判定することができる。
　上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
　１０　レーダ
　２０　カメラ
　３０　制御部
　３１　　浮遊物判定部
　３１１　判定範囲決定部
　３１２　差分算出部
　３１３　差分判定部
　３１４　温度算出部
　３１５　温度判定部
　３２　先行車情報生成部
　３２１　先行車検出部
　３２２　先行車挙動判定部
　３２３　先行車排気管検出部
　３３　浮遊物トラッキング部

Claims (12)

  1. 　自車両前方に電磁波を照射し、
    　前記電磁波の反射波に基づいて前記自車両前方の物体を検出し、
    　前記自車両前方を撮像して画像を取得し、
    　前記物体が検出されていない状態から、前記物体が検出された状態へ変化した場合、前記画像に基づいて前記物体が浮遊物であるか否かを判断する
    ことを特徴とする物体検出方法。
  2. 　前記画像は、光学画像であって、
    　前記物体が検出されていない時に前記自車両前方を撮像して第１の画像を取得し、
    　前記物体が検出されている時に前記自車両前方を撮像して第２の画像を取得し、
    　前記第１の画像と前記第２の画像との差分を算出し、
    　前記差分がしきい差分未満である場合、前記物体が前記浮遊物であると判定する
    ことを特徴とする請求項１に記載の物体検出方法。
  3. 　前記画像は、赤外画像であって、
    　前記赤外画像の前記物体に対応する位置の赤外線の輝度に基づいて、前記物体の温度を算出し、
    　前記物体の温度がしきい温度以上である場合、前記物体が前記浮遊物であると判定する
    ことを特徴とする請求項１に記載の物体検出方法。
  4. 　前記画像は、赤外画像であって、
    　前記赤外画像の前記物体に対応する位置の赤外線の輝度の変化に基づいて、前記物体の温度の変化量を算出し、
    　前記物体の温度の変化量がしきい変化量以上である場合、前記物体が前記浮遊物であると判定する
    ことを特徴とする請求項１に記載の物体検出方法。
  5. 　前記物体の温度がしきい温度未満である場合、前記物体の温度の変化量を算出し、
    　前記物体の温度の変化量が前記しきい変化量以上である場合、前記物体が前記浮遊物であると判定する
    ことを特徴とする請求項４に記載の物体検出方法。
  6. 　前記画像は、前記光学画像又は前記赤外画像であって、
    　前記第１の画像と前記第２の画像との差分がしきい差分以上であり、前記物体の温度がしきい温度以上である場合、前記物体が前記浮遊物であると判定する
    ことを特徴とする請求項２に記載の物体検出方法。
  7. 　前記物体は、前記自車両前方の先行車よりも後方に位置し、
    　前記先行車が停車状態から発進した場合、前記先行車が発進してからしきい時間が経過するまで、前記物体が浮遊物であるか否かを判断する
    ことを特徴とする請求項１から６のいずれか一項に記載の物体検出方法。
  8. 　前記物体は、前記自車両前方の先行車よりも後方に位置し、
    　前記先行車の速度がしきい速度未満である場合、前記物体が浮遊物であるか否かを判断する
    ことを特徴とする請求項１から７のいずれか一項に記載の物体検出方法。
  9. 　前記物体は、前記自車両前方の先行車よりも後方に位置し、
    　前記画像から前記先行車の排気管を検出した場合、前記物体が浮遊物であるか否かを判断する前記画像の範囲を前記先行車の前記排気管の位置に応じて設定する
    ことを特徴とする請求項１から８のいずれか一項に記載の物体検出方法。
  10. 　前記しきい温度は、外気温が高いほど高く設定する
    ことを特徴とする請求項３、５、６のいずれか一項に記載の物体検出方法。
  11. 　前記浮遊物をトラッキングする
    ことを特徴する請求項１から９のいずれか一項に記載の物体検出方法。
  12. 　自車両前方に電磁波を照射し、前記電磁波の反射波に基づいて前記自車両前方の物体を検出するセンサと、
    　前記自車両前方を撮像して画像を取得するカメラと、
    　制御部と、を備え、
    　前記制御部は、前記物体が検出されていない状態から、前記物体が検出された状態へ変化した場合、前記画像に基づいて前記物体が浮遊物であるか否かを判断する
    ことを特徴とする物体検出装置。
PCT/IB2021/000123 2021-03-03 2021-03-03 物体検出方法及び物体検出装置 WO2022185085A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/IB2021/000123 WO2022185085A1 (ja) 2021-03-03 2021-03-03 物体検出方法及び物体検出装置
EP21928380.1A EP4303850A4 (en) 2021-03-03 2021-03-03 OBJECT DETECTION METHOD AND OBJECT DETECTION DEVICE
JP2023503517A JPWO2022185085A1 (ja) 2021-03-03 2021-03-03
CN202180095095.8A CN117121075A (zh) 2021-03-03 2021-03-03 物体检测方法以及物体检测装置
US18/280,022 US20240248196A1 (en) 2021-03-03 2021-03-03 Object Detection Method and Object Detecting Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2021/000123 WO2022185085A1 (ja) 2021-03-03 2021-03-03 物体検出方法及び物体検出装置

Publications (1)

Publication Number Publication Date
WO2022185085A1 true WO2022185085A1 (ja) 2022-09-09

Family

ID=83154780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2021/000123 WO2022185085A1 (ja) 2021-03-03 2021-03-03 物体検出方法及び物体検出装置

Country Status (5)

Country Link
US (1) US20240248196A1 (ja)
EP (1) EP4303850A4 (ja)
JP (1) JPWO2022185085A1 (ja)
CN (1) CN117121075A (ja)
WO (1) WO2022185085A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116021983A (zh) * 2022-12-14 2023-04-28 深圳禄华科技有限公司 一种基于汽车热量管理的进风控制方法、系统、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110168A (ja) * 2007-10-29 2009-05-21 Fuji Heavy Ind Ltd 物体検出装置および接触回避システム
JP2013203337A (ja) * 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd 運転支援装置
JP2013206328A (ja) * 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd 物体検出装置
JP2014093028A (ja) 2012-11-06 2014-05-19 Denso Corp 監視装置
JP2014518412A (ja) * 2011-06-17 2014-07-28 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両の周辺区域の気象条件を認識する方法および制御装置
JP2019105648A (ja) * 2013-04-11 2019-06-27 ウェイモ エルエルシー 車載センサを用いて気象状態を検出する方法及びシステム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5202692A (en) * 1986-06-16 1993-04-13 Millitech Corporation Millimeter wave imaging sensors, sources and systems
US5563982A (en) * 1991-01-31 1996-10-08 Ail Systems, Inc. Apparatus and method for detection of molecular vapors in an atmospheric region
CN1258679C (zh) * 2001-10-08 2006-06-07 赵桂林 对汽车尾气进行实时检测用的红外激光检测系统和方法
JP4482599B2 (ja) * 2008-10-24 2010-06-16 本田技研工業株式会社 車両の周辺監視装置
US8102306B2 (en) * 2010-05-13 2012-01-24 The United States Of America As Represented By The Secretary Of The Navy Active-radar-assisted passive composite imagery for aiding navigation or detecting threats
JP2012243049A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP5615862B2 (ja) * 2012-03-07 2014-10-29 クラリオン株式会社 車両周囲監視装置
JP2014024427A (ja) * 2012-07-26 2014-02-06 Nissan Motor Co Ltd 排気ガス検出装置及び排気ガス検出方法
JP6031908B2 (ja) * 2012-09-14 2016-11-24 オムロン株式会社 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
US20140198213A1 (en) * 2013-01-15 2014-07-17 Gentex Corporation Imaging system and method for detecting fog conditions
JP6284408B2 (ja) * 2014-04-03 2018-02-28 オリンパス株式会社 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム
JP6331789B2 (ja) * 2014-07-10 2018-05-30 株式会社リコー 撮影システム、画像処理装置及びプログラム
US10809375B1 (en) * 2015-09-14 2020-10-20 Rockwell Collins, Inc. Radar system and method for detecting hazards associated with particles or bodies
JP2019528587A (ja) * 2017-07-07 2019-10-10 トヨタ モーター ヨーロッパ 一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム
US11194043B2 (en) * 2018-01-18 2021-12-07 Analog Devices International Unlimited Company Radar for weather detection and dynamic control and actuation of vehicle systems
US11480686B2 (en) * 2019-03-27 2022-10-25 Zoox, Inc. Identifying and/or removing false positive detections from lidar sensor output
US11740335B2 (en) * 2019-03-27 2023-08-29 Zoox, Inc. Identifying and/or removing false positive detections from LIDAR sensor output
US11643072B2 (en) * 2019-09-27 2023-05-09 Zoox, Inc. Planning accommodations for particulate matter
CN111008998A (zh) * 2019-12-25 2020-04-14 沈阳天眼智云信息科技有限公司 基于双目视觉的自动消防水炮的火焰检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110168A (ja) * 2007-10-29 2009-05-21 Fuji Heavy Ind Ltd 物体検出装置および接触回避システム
JP2014518412A (ja) * 2011-06-17 2014-07-28 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両の周辺区域の気象条件を認識する方法および制御装置
JP2013203337A (ja) * 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd 運転支援装置
JP2013206328A (ja) * 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd 物体検出装置
JP2014093028A (ja) 2012-11-06 2014-05-19 Denso Corp 監視装置
JP2019105648A (ja) * 2013-04-11 2019-06-27 ウェイモ エルエルシー 車載センサを用いて気象状態を検出する方法及びシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4303850A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116021983A (zh) * 2022-12-14 2023-04-28 深圳禄华科技有限公司 一种基于汽车热量管理的进风控制方法、系统、设备及介质
CN116021983B (zh) * 2022-12-14 2024-02-02 深圳禄华科技有限公司 一种基于汽车热量管理的进风控制方法、系统、设备及介质

Also Published As

Publication number Publication date
EP4303850A4 (en) 2024-05-01
EP4303850A1 (en) 2024-01-10
US20240248196A1 (en) 2024-07-25
CN117121075A (zh) 2023-11-24
JPWO2022185085A1 (ja) 2022-09-09

Similar Documents

Publication Publication Date Title
JP6246014B2 (ja) 外界認識システム、車両、及びカメラの汚れ検出方法
JP5012718B2 (ja) 画像処理装置
JP2009174900A (ja) 物体検出装置、物体検出方法および物体検出システム
WO2018207782A1 (ja) 駐車空間検出装置
JP2008170283A (ja) 車載霧判定装置
JP2010092422A (ja) 車両検出装置、車両検出プログラム、およびライト制御装置
CN111052201B (zh) 碰撞预测装置、碰撞预测方法以及存储介质
JP2017138761A (ja) 車両用撮像システム
US20180239020A1 (en) Object detection device, object detection method, and program
JP2007248146A (ja) レーダ装置
WO2022185085A1 (ja) 物体検出方法及び物体検出装置
JP2016171509A (ja) キャリブレーション装置
US10789850B2 (en) Obstacle detection device, driving assistance system, and obstacle detection method
JP4930256B2 (ja) 隣接車両検出装置および隣接車両検出方法
JP4762830B2 (ja) 周辺監視システム
JP2003308599A (ja) 走行路環境検出装置
JP2008051759A (ja) 距離計測装置及び距離計測方法
JP2020047210A (ja) 物体検出装置
JP4321410B2 (ja) 物体検出装置、および方法
JP2009181310A (ja) 道路パラメータ推定装置
JP5272431B2 (ja) 対象物測距装置及びプログラム
JP2019197270A (ja) 物体検知装置および物体検知方法
JP2018146342A (ja) 付着検知装置
JP2009031299A (ja) 周辺監視センサ
KR102441048B1 (ko) 근접 차량 검출 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21928380

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023503517

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2021928380

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021928380

Country of ref document: EP

Effective date: 20231004