WO2021106196A1 - 物体認識装置及び物体認識方法 - Google Patents

物体認識装置及び物体認識方法 Download PDF

Info

Publication number
WO2021106196A1
WO2021106196A1 PCT/JP2019/046806 JP2019046806W WO2021106196A1 WO 2021106196 A1 WO2021106196 A1 WO 2021106196A1 JP 2019046806 W JP2019046806 W JP 2019046806W WO 2021106196 A1 WO2021106196 A1 WO 2021106196A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
point
sensor
information sensor
data
Prior art date
Application number
PCT/JP2019/046806
Other languages
English (en)
French (fr)
Inventor
森 正憲
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2021561108A priority Critical patent/JP7217817B2/ja
Priority to DE112019007921.2T priority patent/DE112019007921T5/de
Priority to CN201980102307.3A priority patent/CN114730014A/zh
Priority to PCT/JP2019/046806 priority patent/WO2021106196A1/ja
Priority to US17/778,101 priority patent/US20220414920A1/en
Publication of WO2021106196A1 publication Critical patent/WO2021106196A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862Combination of radar systems with sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66Sonar tracking systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93272Sensor installation details in the back of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93275Sensor installation details in the bumper area
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • the present invention relates to an object recognition device and an object recognition method.
  • the position of the detection point when the sensor detects an object is applied to the shape model of the object, and the position of the track point forming the track of the object is specified based on the position of the detection point in the shape model of the object.
  • the device is known (see, for example, Patent Document 1).
  • the present invention has been made to solve the above problems, and an object of the present invention is to obtain an object recognition device and an object recognition method capable of improving the accuracy of track data of an object.
  • the object recognition device includes a temporary setting unit that sets the position of at least one candidate point on the object based on the specifications of the sensor that detects the object, and a detection point when the sensor detects the object.
  • a temporary setting unit that sets the position of at least one candidate point on the object based on the specifications of the sensor that detects the object, and a detection point when the sensor detects the object.
  • an update processing unit that corrects the position of the detection point with respect to the sensor based on the position of the candidate point on the object and updates the track data indicating the track of the object based on the corrected position of the detection point with respect to the sensor.
  • the accuracy of the track data of the object can be improved.
  • FIG. It is a block diagram which shows the functional structure example of the vehicle control system according to Embodiment 1.
  • FIG. It is a figure which shows an example of the relative positional relationship between a sensor of FIG. 1 and an object. It is a figure which shows an example of the candidate point which becomes the 1st candidate of the position of the detection point in the vehicle corresponding to the vehicle of FIG. It is a figure which shows an example of the candidate point which becomes the 2nd candidate of the position P of the detection point in the vehicle corresponding to the vehicle of FIG. It is a figure which shows an example of the candidate point which becomes other candidate of the position of the detection point in a vehicle. It is a figure which shows the setting example of the reliability of the candidate points of FIGS. 3 to 5 when N is a natural number.
  • FIG. 5 is a flowchart illustrating a process branched depending on the case where the determination result of the determination process in step S22 of FIG. 13 is Yes. It is a flowchart explaining the process branched depending on the case where the determination result of the determination process in step S51 of FIG. 15 is No, and the case where the determination result of the determination process in step S54 is Yes.
  • FIG. 5 is a flowchart illustrating a process branched depending on whether the determination result of the determination process in step S51 of FIG. 15 according to the second embodiment is No and the determination result of the determination process in step S54 is Yes.
  • FIG. 5 is a flowchart illustrating a process branched depending on whether the determination result of the determination process in step S51 of FIG.
  • FIG. 5 is a flowchart illustrating a process branched depending on whether the determination result of the determination process in step S51 of FIG. 15 according to the fourth embodiment is No and the determination result of the determination process in step S54 is Yes.
  • FIG. 5 is a flowchart illustrating a position correction process in step S20 of FIG. 13 according to the fifth embodiment. It is a figure explaining the hardware configuration example. It is a figure explaining another hardware configuration example.
  • FIG. 1 is a block diagram showing a functional configuration example of the vehicle control system according to the first embodiment.
  • the vehicle control system includes a plurality of vehicle exterior information sensors 1, a plurality of vehicle information sensors 2, an object recognition device 3, a notification control device 4, and a vehicle control device 5.
  • Each of the plurality of vehicle exterior information sensors 1 is attached to the own vehicle.
  • some vehicle exterior information sensors 1 are individually attached to the inside of the front bumper, the inside of the rear bumper, and the passenger compartment side of the windshield.
  • the vehicle exterior information sensor 1 mounted inside the front bumper targets an object in front of or to the side of the vehicle for observation.
  • the vehicle exterior information sensor 1 mounted inside the rear bumper targets an object behind or to the side of the vehicle for observation.
  • the vehicle exterior information sensor 1 attached to the passenger compartment side of the windshield is located next to the inner rear view mirror.
  • the vehicle exterior information sensor 1 mounted next to the inner rear view mirror on the vehicle interior side of the windshield targets an object in front of the vehicle for observation.
  • each of the plurality of external information sensors 1 attached to the own vehicle is a sensor capable of acquiring information on an object around the own vehicle as detection data dd.
  • the respective detection data dds related to the objects around the own vehicle acquired by each of the plurality of vehicle exterior information sensors 1 are integrated and generated as the detection data DD.
  • the detection data DD is generated in a data structure that can be supplied to the object recognition device 3.
  • the detection data DD includes at least one piece of information regarding the position P of at least one detection point DP with respect to the vehicle exterior information sensor 1.
  • the vehicle exterior information sensor 1 observes an object by detecting any point on the surface of the object as a detection point.
  • Each detection point DP indicates each point in the object observed by the vehicle exterior information sensor 1 around the own vehicle.
  • the vehicle exterior information sensor 1 irradiates the surroundings of the vehicle with light as irradiation light, and receives the reflected light reflected at each reflection point on the object.
  • Each of these reflection points corresponds to each detection point DP.
  • the information about the object that can be observed at the detection point DP differs depending on the measurement principle of the external information sensor 1.
  • a millimeter wave radar, a laser sensor, an ultrasonic sensor, an infrared sensor, a camera and the like can be used as the type of the vehicle exterior information sensor 1.
  • the description of the ultrasonic sensor and the infrared sensor will be omitted.
  • the millimeter wave radar is attached to each of the front bumper and the rear bumper of the own vehicle, for example.
  • the millimeter wave radar has one transmitting antenna and a plurality of receiving antennas.
  • Millimeter-wave radar can measure distance and relative velocity to an object. The distance to the object and the relative velocity are measured by, for example, the FMCW (Frequency Modulation Continuous Wave) method. Therefore, the position P of the detection point DP with respect to the vehicle exterior information sensor 1 and the speed V of the detection point DP can be observed based on the distance to the object and the relative speed measured by the millimeter wave radar.
  • FMCW Frequency Modulation Continuous Wave
  • the speed V of the detection point DP may be the relative speed between the own vehicle and the object, or may be the speed based on the absolute position by further using GPS.
  • the millimeter wave radar can measure the azimuth angle of an object.
  • the azimuth of an object is measured based on the phase difference of each radio wave received by each of the plurality of receiving antennas. Therefore, the orientation ⁇ of the object can be observed based on the azimuth angle of the object measured by the millimeter wave radar.
  • the detection data DD including the velocity V of the detection point DP and the direction ⁇ of the object can be observed in addition to the position P of the detection point DP with respect to the vehicle outside information sensor 1.
  • the velocity V of the detection point DP, and the orientation ⁇ of the object are a dynamic element that specifies the state of the object.
  • Each of these dynamic elements is an object-specific element.
  • the Doppler frequency is detected. Since the detected Doppler frequency is proportional to the relative velocity with the object, the relative velocity can be derived from the Doppler frequency.
  • the velocity resolution of the millimeter wave radar is determined by the resolution of the Doppler frequency.
  • the resolution of the Doppler frequency is the reciprocal of the observation time of the received signal. Therefore, the longer the observation time, the higher the resolution of the Doppler frequency. Therefore, the longer the observation time, the higher the velocity resolution of the millimeter-wave radar.
  • the observation time of the millimeter wave radar is set longer than when the own vehicle is traveling on a general road.
  • the speed resolution of the millimeter wave radar can be set high. Therefore, when the own vehicle is traveling on the highway, the change in speed can be observed faster than when the own vehicle is traveling on the general road. This makes it possible to observe objects around the vehicle faster.
  • the distance resolution of the millimeter wave radar is defined by dividing the speed of light by the modulation frequency bandwidth. Therefore, the wider the modulation frequency bandwidth, the higher the distance resolution of the millimeter wave radar.
  • the modulation frequency bandwidth is set to be wider than when the own vehicle is traveling on a general road or an expressway.
  • the distance resolution of the millimeter wave radar can be set high.
  • the minimum unit distance that can be detected becomes small around the own vehicle, so that it is possible to distinguish between adjacent objects.
  • the laser sensor is attached to the outside of the roof of the own vehicle, for example.
  • a laser sensor for example, LIDAR (LIGHT Detection And Ringing) is attached to the outside of the roof of the own vehicle.
  • LIDAR has a plurality of light emitting units, one light receiving unit, and a calculation unit.
  • the plurality of light projecting units are arranged at a plurality of angles in the vertical direction with respect to the front in the moving direction of the own vehicle.
  • the TOF (Time Of Flight) method is adopted for LIDAR.
  • the plurality of light projecting units in LIDAR have a function of projecting laser light radially while rotating in the horizontal direction for a preset light projecting time.
  • the light receiving unit in the lidar has a function of receiving the reflected light from the object during a preset light receiving time.
  • the calculation unit in the lidar has a function of obtaining a round-trip time which is a difference between the light-emitting time in the plurality of light-emitting units and the light-receiving time in the light-receiving unit.
  • the calculation unit in LIDAR has a function of obtaining a distance to an object based on this round-trip time.
  • LIDAR has a function of measuring the direction with an object by obtaining the distance with the object. Therefore, from the measurement result measured by LIDAR, the position P of the detection point DP with respect to the vehicle exterior information sensor 1, the velocity V of the detection point DP, and the direction ⁇ of the object are observed.
  • the detection data DD including the velocity V of the detection point DP and the direction ⁇ of the object can be observed in addition to the position P of the detection point DP with respect to the vehicle outside information sensor 1. ..
  • the speed V of the detection point DP, and the direction ⁇ of the object each of the speed V of the detection point DP and the direction ⁇ of the object identifies the object as described above. It is an element.
  • the velocity resolution of LIDAR is determined by the emission interval of the pulses constituting the laser beam. Therefore, the shorter the emission interval of the pulses constituting the laser beam, the higher the velocity resolution of LIDAR.
  • the emission interval of the pulses constituting the laser beam emitted from the LIDAR should be set shorter than when the own vehicle is traveling on a general road. Therefore, the speed resolution of LIDAR can be set high. Therefore, when the own vehicle is traveling on the highway, the change in speed can be observed faster than when the own vehicle is traveling on the general road. This makes it possible to observe objects around the vehicle faster.
  • the distance resolution of LIDAR is determined by the pulse width constituting the laser beam. Therefore, the shorter the pulse width constituting the laser beam, the higher the distance resolution of LIDAR.
  • the pulse width constituting the laser beam emitted from the LIDAR is set shorter than when the own vehicle is traveling on a general road or a highway. .. Thereby, the distance resolution of LIDAR can be set high.
  • the distance resolution of LIDAR is set high, the minimum detectable unit distance becomes small around the own vehicle, so that it is possible to distinguish between adjacent objects.
  • a pedestrian and a vehicle exist as objects around the own vehicle
  • a pedestrian having a low reflection intensity and a vehicle having a high reflection intensity coexist with respect to the laser beam emitted from the LIDAR.
  • the pedestrian can be detected because the reflected light reflected from the pedestrian is not absorbed by the reflected light reflected from the vehicle.
  • the camera is installed next to the inner rear view mirror on the passenger compartment side of the windshield.
  • a monocular camera is used.
  • the monocular camera has an image sensor.
  • the image sensor is, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the monocular camera continuously detects the presence or absence of an object and the distance with the pixel level in the two-dimensional space orthogonal to the image pickup direction of the image sensor as the minimum unit.
  • the monocular camera includes, for example, a structure in which filters for the primary colors of red, green, and blue are added to the lens.
  • the distance can be obtained from the parallax of the light rays divided by using the primary color filter. Therefore, from the measurement result measured by the camera, the position P of the detection point DP with respect to the vehicle exterior information sensor 1, the width W and the length L of the object are observed.
  • the detection data DD including the width W and the length L of the object can be observed in addition to the position P of the detection point DP with respect to the vehicle exterior information sensor 1.
  • the width W and length L of the object is a static element that specifies the size of the object.
  • Each of these static elements is an object-specific element.
  • TOF cameras In addition to monocular cameras, TOF cameras, stereo cameras, infrared cameras, etc. are used as cameras.
  • the plurality of vehicle information sensors 2 have a function of detecting vehicle information of the own vehicle such as vehicle speed, steering angle, yaw rate, etc. as own vehicle data cd.
  • the own vehicle data cd is generated in a data structure that can be supplied to the object recognition device 3.
  • the object recognition device 3 includes a time measurement unit 31, a data reception unit 32, a temporary setting unit 33, a prediction processing unit 34, a correlation processing unit 35, and an update processing unit 36.
  • the time measurement unit 31, the data reception unit 32, the temporary setting unit 33, the prediction processing unit 34, the correlation processing unit 35, and the update processing unit 36 are driven by a CPU that executes a program stored in the non-volatile memory or the volatile memory. It has a function to be realized.
  • the time measuring unit 31 has a function of measuring the time of the object recognition device 3.
  • the time measurement unit 31 generates the measured time as a common time CT.
  • the common time CT is generated in a data structure that can be supplied to the data receiving unit 32.
  • the data receiving unit 32 has an input interface function.
  • the data receiving unit 32 has a function of receiving the detection data dd from each outside information sensor 1. Each detection data dd is integrated as detection data DD by the data receiving unit 32.
  • the data receiving unit 32 has a function of generating the detection data DD RT by associating the common time CT generated by the time measuring unit 31 with the detection data DD as the related time RT.
  • the detection data DD RT is generated in a data structure that can be supplied to each of the temporary setting unit 33 and the correlation processing unit 35.
  • the data receiving unit 32 When the data receiving unit 32 receives the detection data dd from the vehicle exterior information sensor 1, it determines that the detection data dd has been acquired. The data receiving unit 32 sets the defect flag indicating that the corresponding outside information sensor 1 has a defect to 0, and generates the detection data DD RT.
  • the defect flag when the defect flag is set to 0, it indicates that the corresponding vehicle exterior information sensor 1 has no defect. Further, when the defect flag is set to 1, it indicates that the corresponding vehicle exterior information sensor 1 has a defect.
  • the data receiving unit 32 when the data receiving unit 32 does not receive the detection data dd from the vehicle outside information sensor 1, it determines that the detection data dd cannot be acquired, sets the defect flag to 1, and does not generate the detection data DD RT.
  • the data receiving unit 32 determines the validity of the detection data dd.
  • the data receiving unit 32 determines that the detection data dd is not valid, the data receiving unit 32 determines that the detection data dd cannot be acquired, and indicates that the detection data dd corresponding to the corresponding external information sensor 1 is not valid. Set the gender flag to 0.
  • the data receiving unit 32 determines that the detection data dd is valid, it determines that the detection data dd has been acquired, and sets the validity flag to 1.
  • the determination result of whether or not the detection data dd by the data receiving unit 32 could be acquired can be referred to by referring to at least one of the defect flag and the validity flag.
  • the data receiving unit 32 has a function of receiving the own vehicle data cd from the vehicle information sensor 2.
  • the data receiving unit 32 has a function of generating the own vehicle data CD RT by associating the common time CT generated by the time measuring unit 31 with the own vehicle data cd as the related time RT.
  • the own vehicle data CD RT is generated in a data structure that can be supplied to the prediction processing unit 34.
  • the temporary setting unit 33 has a function of setting the position HP of at least one candidate point DPH on the object based on the resolution of the vehicle exterior information sensor 1 that has detected the object.
  • the temporary setting unit 33 has a function of generating temporary setting data DH including the position HP of at least one candidate point DPH.
  • the temporary setting data DH is generated in a data structure that can be supplied to the correlation processing unit 35 by the temporary setting unit 33.
  • the resolution of the vehicle exterior information sensor 1 is included in the specifications of the vehicle exterior information sensor 1.
  • the specifications of the vehicle exterior information sensor 1 specify, for example, attributes related to the operation setting of the vehicle exterior information sensor 1, attributes related to the arrangement status of the vehicle exterior information sensor 1, and the like.
  • the attributes related to the operation setting of the vehicle exterior information sensor 1 are the observable measurement range, the resolution of the measurement range, the sampling frequency, and the like.
  • the attributes related to the arrangement status of the outside information sensor 1 are the possible arrangement angle of the outside information sensor 1, the durable ambient temperature of the outside information sensor 1, the measurable distance between the outside information sensor 1 and the observation target, and the like.
  • the prediction processing unit 34 has a function of receiving the own vehicle data CD RT from the data receiving unit 32.
  • the prediction processing unit 34 has a function of receiving the track data TD RT-1 from the update processing unit 36.
  • the track data TD RT-1 is associated with the previous related time RT, that is, the related time RT-1, which corresponds to one before the current related time RT in the track data TD.
  • the prediction processing unit 34 uses a well-known algorithm based on the own vehicle data CD RT at the related time RT and the track data TD RT-1 at the related time RT-1, and predicts the track data TD RT at the related time RT. It has a function to generate TD RT pred.
  • a well-known algorithm is an algorithm that can estimate the center point of an object that changes in time series from observed values, such as a Kalman filter.
  • the correlation processing unit 35 has a function of receiving the detection data DD RT , the provisional setting data DH including the position HP of the candidate point DPH, and the prediction data TD RT pred of the track data TD RT.
  • the correlation processing unit 35 has a function of determining whether or not there is a correlation between the detection data DD RT and the prediction data TD RT pred of the track data TD. Whether or not there is a correlation between the detection data DD RT and the prediction data TD RTpred of the track data TD RT is determined by using the SNN (Simple Nearest Neighbor) algorithm, the GNN (Global Nearest Neighbor) algorithm, the JPDA (Joint Probabilistic Algorithm) algorithm, etc. It is judged.
  • SNN Simple Nearest Neighbor
  • GNN Global Nearest Neighbor
  • JPDA Joint Probabilistic Algorithm
  • the presence or absence of a correlation between the detection data DD RT and the prediction data TD RT pred of the track data TD RT is determined based on whether or not the Mahalanobis distance is included in the gate range.
  • the Mahalanobis distance is derived based on the position P of the detection point DP included in the detection data DD RT with respect to the vehicle outside information sensor 1 and the position P of the center point in the object included in the prediction data TD RT pred of the track data TD RT. ..
  • the derived Mahalanobis distance is included in the gate range, it is determined that there is a correlation between the detected data DD RT and the predicted data TD RT pred of the track data TD RT. If the derived Mahalanobis distance is not included in the gate range, it is determined that there is no correlation between the detected data DD RT and the predicted data TD RT pred of the track data TD RT.
  • the gate range is set to the observable range of the outside information sensor 1.
  • the observable range of the vehicle exterior information sensor 1 differs depending on the type of the vehicle exterior information sensor 1. Therefore, the gate range differs depending on the type of the vehicle exterior information sensor 1.
  • the correlation processing unit 35 determines that there is a correspondence between the detection data DD RT and the prediction data TD RT pred of the track data TD RT. It has a function.
  • the correlation processing unit 35 integrates the detection data DD RT , the provisional setting data DH including the position HP of the candidate point DPH, and the prediction data TD RT pred of the track data TD RT together with the data related to the determined correspondence relationship. It has a function to generate RT.
  • the correlation data RD RT is generated in a data structure that can be supplied to the update processing unit 36 by the correlation processing unit 35.
  • the update processing unit 36 has a function of receiving the correlation data RD RT.
  • the update processing unit 36 has a function of updating the track data TD RT based on the position P of the detection point DP and the position HP of the candidate point DPH. The details of the function for updating the track data TD RT will be described later.
  • the notification control device 4 has a function of receiving track data TD RT.
  • the notification control device 4 has a function of generating notification data based on the track data TD RT.
  • the notification data is data that specifies the content of the notification, and is generated in a format corresponding to the output destination device.
  • the notification control device 4 outputs the notification data to a display (not shown) so that the display is notified of the contents of the notification data. As a result, the content of the notification data is visually notified to the driver in the vehicle interior.
  • the notification control device 4 outputs the notification data to the speaker so that the speaker notifies the contents of the notification data. As a result, the content of the notification data is audibly notified to the driver in the vehicle interior.
  • the vehicle control device 5 has a function of receiving the track data TD RT output by the update processing unit 36.
  • the vehicle control device 5 has a function of controlling the operation of the own vehicle based on the track data TD RT.
  • the vehicle control device 5 controls the operation of the own vehicle so that the own vehicle avoids the object based on the track data TD RT.
  • FIG. 2 is a diagram showing an example of the relative positional relationship between the vehicle exterior information sensor 1 of FIG. 1 and an object.
  • the origin O is the point at the center when the external information sensor 1 is viewed from the front.
  • the horizontal axis in the left-right direction passing through the origin O is defined as the Ys axis.
  • the Ys axis defines the right direction as a positive direction when the vehicle exterior information sensor 1 is viewed from the front.
  • the vertical axis in the vertical direction passing through the origin O is defined as the Zs axis.
  • the Zs axis determines the upward direction in the positive direction when the vehicle exterior information sensor 1 is viewed from the front.
  • the axis in the front-rear direction that passes through the origin O and is orthogonal to the Ys axis and the Zs axis is defined as the Xs axis.
  • the Xs axis defines the front of the vehicle exterior information sensor 1 in the positive direction.
  • the observable range of the vehicle exterior information sensor 1 is divided into a plurality of virtual resolution cells.
  • the resolution cell is specified based on the resolution of the vehicle exterior information sensor 1.
  • the resolution cell divides the observable range of the vehicle exterior information sensor 1 according to the angular resolution and the distance resolution of the vehicle exterior information sensor 1.
  • the angular resolution and the distance resolution of the vehicle exterior information sensor 1 differ depending on the measurement principle of the vehicle exterior information sensor 1 as described above.
  • Each resolution cell is specified by the minimum detection range MR (i, j).
  • i specifies the location of the resolution cell along the circumferential direction with respect to the origin O.
  • j specifies the location of the resolution cell along the radial direction of the concentric circles with respect to the origin O. Therefore, the number of i varies depending on the angular resolution of the external information sensor 1. Therefore, as the angular resolution of the vehicle exterior information sensor 1 increases, the maximum number of i increases.
  • the number of j varies depending on the distance resolution of the outside information sensor 1. Therefore, as the distance resolution of the vehicle exterior information sensor 1 increases, the maximum number of j increases.
  • the clockwise direction with respect to the Xs axis is the positive circumferential direction
  • the counterclockwise direction with respect to the Xs axis is the negative circumferential direction.
  • the detection point DP (Ca) When the vehicle exterior information sensor 1 detects the vehicle Ca, the detection point DP (Ca) is included in the minimum detection range MR (3, 3).
  • the minimum detection range MR (3, 3) is set to a size that includes only the rear left side of the vehicle Ca. Therefore, since the positional relationship between the position P of the detection point DP (Ca) and the vehicle Ca is specified, the position P of the detection point DP (Ca) in the vehicle Ca is specified on the rear left side of the vehicle Ca. Further, since the detection point DP (Ca) is included in the minimum detection range MR (3, 3), the position P of the detection point DP (Ca) with respect to the vehicle exterior information sensor 1 is from the vehicle exterior information sensor 1 to the vehicle Ca. It is identified as the position P of the nearest point with the shortest distance.
  • the detection point DP (Cb) is included in the minimum detection range MR (2, 7). Comparing along the radial direction of the concentric circles with respect to the origin O, the minimum detection range MR (2,7) is farther from the origin O than the minimum detection range MR (3,3).
  • the minimum detection range MR (2, 7) is set to a size including the entire rear part of the vehicle Cb. Therefore, the position P of the detection point DP (Cb) cannot be determined as to which position P is in the entire rear part of the vehicle Cb. Therefore, the positional relationship between the position P of the detection point DP (Cb) and the vehicle Cb cannot be specified. As a result, the position P of the detection point DP (Cb) on the vehicle Cb cannot be specified.
  • FIG. 3 is a diagram showing an example of a candidate point DPH (1) which is a first candidate for the position P of the detection point DP (C model1 ) in the vehicle C model 1 corresponding to the vehicle Ca of FIG.
  • the detection point DP (C model 1 ) is included in the minimum detection range MR (3, 3).
  • the minimum detection range MR (3, 3) is set to a size that includes only the rear left side of the vehicle C model 1. Therefore, as described above, the latest point is assumed as the position P of the detection point DP (C model1 ) in the vehicle C model1. If the closest point is assumed as the position P of the detection point DP (C model1) in the vehicle C model1 the position HP of the candidate point DPH (1) is the position P of the detection points in the vehicle C model1 DP (C model1) Is the first candidate for.
  • the position HP of the candidate point DPH (1) is the first candidate for the position P of the detection point DP (C model1 ) in the vehicle C model1.
  • FIG. 4 is a diagram showing an example of a candidate point DPH (2) that is a second candidate for the position P of the detection point DP (C model1 ) in the vehicle C model 1 corresponding to the vehicle Cb of FIG.
  • the detection point DP (C model 1 ) is included in the minimum detection range MR (2, 7).
  • the minimum detection range MR (2, 7) is set to a size including the entire rear part of the vehicle C model 1. Therefore, as described above, the position P of the detection point DP (C model1 ) cannot be determined as to which position P is in the entire rear part of the vehicle C model.
  • the position HP of the candidate point DPH (2) is the detection point DP ( 2) in the vehicle C model1. It is the second candidate for the position P of C model1).
  • the position HP of the candidate point DPH (2) assumes the rear center point at the rear of the vehicle C model 1.
  • the rear center point is a point at the center when the rear part of the vehicle C model 1 is viewed from the front.
  • the position HP of the candidate point DPH (2) is the second candidate of the position P of the detection point DP (C model1 ) in the vehicle C model1.
  • FIG. 5 is a diagram showing an example of a candidate point DPH (3) which is another candidate for the position P of the detection point DP (C model1 ) in the vehicle C model1.
  • the detection point DP (C model 1) is included in the minimum detection range MR ( -1, 7).
  • the minimum detection range MR (-1,7) is farther from the origin O than the minimum detection range MR (-1,3). Therefore, the angular resolution of the vehicle exterior information sensor 1 in the minimum detection range MR (-1, 7) is lower than the angular resolution of the vehicle exterior information sensor 1 in the minimum detection range MR (-1, 3).
  • the minimum detection range MR (-1,7) is set to a size including the entire front of the vehicle C model 1. Therefore, the position P of the detection point DP (C model1 ) cannot be determined as to which position P is in the entire front of the vehicle C model1. If the position P of the detection point DP (C model1) is not determined is whether any positions P in the entire front of the vehicle C model, the position HP of the candidate points DPH (3) is detected points on the vehicle C model1 DP ( It is another candidate for position P of C model1). The position HP of the candidate point DPH (3) assumes the front center point in the front part of the vehicle C model 1. The front center point is a point at the center when the front part of the vehicle C model 1 is viewed from the front.
  • the position HP of the candidate point DPH (3) is another candidate of the position P of the detection point DP (C model1 ) in the vehicle C model1.
  • the vehicle exterior information sensor 1 is a millimeter-wave radar that monitors the front of the own vehicle
  • the respective position HPs of the candidate point DPH (1) and the candidate point DPH (2) are the vehicle C model1. It is a candidate for the position P of the detection point DP (C model1) in.
  • the position HP of the candidate point DPH (2) is the position P of the detection point DP (C model1 ) in the vehicle C model1. Become a candidate.
  • the vehicle exterior information sensor 1 is a millimeter-wave radar that monitors the rear of the own vehicle
  • the respective position HPs of the candidate point DPH (1) and the candidate point DPH (3) are the vehicles. It is a candidate for the position P of the detection point DP (C model1) in C model1.
  • FIG. 6 is a diagram showing an example of setting the reliability DOR (N) of the candidate points DPH (N) of FIGS. 3 to 5 when N is a natural number.
  • the reliability DOR (N) is set to a real number of 0 or more and 1 or less.
  • the candidate point DPH (1) and the candidate point DPH (2) are the detection points DP (C model1 ) in the vehicle C model1. ) Candidates.
  • the candidate point DPH (1) and the candidate point DPH (2) are compared.
  • the candidate point DPH (1) or the candidate point DPH (2) is adopted.
  • the reliability DOR of the candidate point DPH is obtained based on the distance from the outside information sensor 1 to the detection point DP.
  • the reliability DOR (1) for the candidate point DPH (1) is set to 1.
  • the reliability DOR (2) for the candidate point DPH (2) is set to 0.
  • the reliability DOR (1) is selected.
  • the candidate point DPH (1) corresponding to the reliability DOR (1) is adopted.
  • the position HP of the candidate point DPH (1) in the vehicle C model 1 is the position P of the latest point in the vehicle C model 1.
  • the position P of the detection point DP (C model1) in the vehicle C model1 is the position HP of the adopted candidate points DPH (1), is assumed to be in the position P of the nearest point on the vehicle C model1.
  • the position P of the detection point DP (C model1 ) in the vehicle C model1 is assumed to be in the position P of the nearest point on the vehicle C model1.
  • the reliability DOR (1) for the candidate point DPH (1) is set to 0.
  • the reliability DOR (2) for the candidate point DPH (2) is set to 1. In this case, since the reliability DOR (2) has a higher reliability DOR than the reliability DOR (1), the reliability DOR (2) is selected.
  • the candidate point DPH (2) corresponding to the reliability DOR (2) is adopted.
  • Position HP of the candidate point DPH (2) in the vehicle C model1 is the position P of the rear center point of the vehicle C model1.
  • the position P of the detection point DP (C model1) in the vehicle C model1 is the position HP of the adopted candidate point DPH (2), is assumed to be in the position P of the rear center point of the vehicle C model1.
  • the position P of the detection point DP (C model1 ) in the vehicle C model1 is assumed to be in the position P of the rear center point of the vehicle C model1.
  • the determination threshold distance D TH1 in FIG. 6 is set to a distance including the minimum detection range MR (3, 3) in FIG. 3 or FIG. 5 among the distances from the origin O along the radial direction of the concentric circles. .. That is, the determination threshold distance D TH1 in FIG. 6 is set to a distance including the minimum detection range MR (i, 3) in FIGS. 3, 4, and 5 among the distances from the origin O along the radial direction of the concentric circles. Has been done.
  • the determination threshold distance D TH2 in FIG. 6 is set to a distance including the minimum detection range MR (2, 7) in FIG. 4 among the distances from the origin O along the radial direction of the concentric circles. That is, the determination threshold distance D TH2 in FIG. 6 is set to a distance including the minimum detection range MR (i, 7) in FIGS. 3, 4, and 5 among the distances from the origin O along the radial direction of the concentric circles. Has been done.
  • the determination threshold distance D TH2 is set to a distance farther from the origin O than the determination threshold distance D TH1.
  • the reliability DOR (1) is determined in less than the threshold distance D TH1 is set to 1, it begins to fall in decision threshold distance D TH1 and later, in the determination threshold distance D TH2 later is set to 0 There is.
  • the reliability DOR (2) in less than determination threshold distance D TH1 is set to 0, the beginning up in determination threshold distance D TH1 or later, in determining the threshold distance D TH2 later is set to 1.
  • each of the reliability DOR (1) and the reliability DOR (2) is set so as to show opposite tendencies between the determination threshold distance D TH1 or less and the determination threshold distance D TH2 or later.
  • Each of the reliability DOR (1) and the reliability DOR (2) at the determination threshold distance D TH1 or more and the determination threshold distance D TH2 or less is determined based on the ratio of the distance resolution and the angular resolution in the external information sensor 1. ..
  • FIG. 7 is a diagram showing an example of the track data TD of FIG.
  • Track data TD includes the position P of the center point of the vehicle C model2, velocity V of the center point of the vehicle C model2, four of the width W and length L of the vehicle C model2 vehicle C model2.
  • Position P of the center point of the vehicle C model2, velocity V of the center point of the vehicle C model2, of the four width W and length L of the vehicle C model2 vehicle C model2, velocity V of the center point of the vehicle C model2, vehicle three of the length L of the width W and the vehicle C model2 of C model2 are object specific element.
  • Velocity V of the center point at the position P and the vehicle C model2 of the center point of the vehicle C model2 shows the state of the observable object by the millimeter wave radar or LIDAR.
  • Width W and length L of the vehicle C model2 vehicle C model2 indicates the magnitude of the observable object by a camera.
  • the track data TD is data formed by integrating the observation results of a plurality of different types of vehicle exterior information sensors 1.
  • the track data TD is configured as vector data such as TD (P, V, W, L).
  • FIG. 8 is a diagram showing a correction example of the detection data DD of FIG.
  • Each object-specific element included in the detection data DD corresponds to each object-specific element included in the track data TD.
  • the detection data DD is configured as vector data such as DD (P, V, W, L) like the track data TD.
  • the position P of the detection point DP with respect to the vehicle exterior information sensor 1 is specified based on the position HP of the candidate point DPH (1), and then the detection data after the correction. As DD after , it is corrected to the center point in the object.
  • the track data TD of FIG. 7 is updated based on the corrected position P of the detection point DP included in the detection data DD after with respect to the vehicle exterior information sensor 1.
  • the update processing unit 36 corrects the position P of the detection point DP with respect to the vehicle exterior information sensor 1 based on the position HP of the candidate point DPH in the object, and the corrected position P of the detection point DP with respect to the vehicle exterior information sensor 1.
  • the track data TD indicating the track of the object is updated based on.
  • the update processing unit 36 when the update processing unit 36 has a plurality of candidate point DPHs corresponding to one detection point DP, the update processing unit 36 sets the plurality of candidate point DPHs as a preliminary step for updating the track data TD indicating the track of the object.
  • the position P of the detection point DP with respect to the vehicle exterior information sensor 1 is corrected based on each reliability DOR and each position HP of the plurality of candidate point DPHs on the object.
  • the update processing unit 36 sets the position P of the detection point DP with respect to the vehicle exterior information sensor 1 based on the position HP of the candidate point DPH having the highest reliability DOR among the plurality of candidate point DPHs in the object. to correct.
  • the candidate point DPH (1) is adopted.
  • the position HP of the candidate point DPH (1) is the position P of the latest point in the vehicle C model 2 as described above.
  • the position P of the detection point DP in the vehicle C model2 is assumed to be the position P of the nearest point on the vehicle C model2.
  • the coordinates of the rear left end position P in the vehicle C model 2 have the origin O as the vehicle exterior information sensor 1.
  • the coordinates of the rear left end position P in the vehicle C model 2 are determined from the coordinates of the position P with respect to the vehicle exterior information sensor 1 of the detection point DP.
  • the vehicle C model 2 can be used from the rear left end position P in the vehicle C model 2 by using the width W and length L of the vehicle C model 2 detected by the external information sensor 1.
  • the amount of correction up to the center point in C model 2 is accurately determined. In this way, the position P of the center point in the vehicle C model 2 is specified from the position P of the detection point DP via the position HP of the candidate point DPH (1).
  • the candidate point DPH (2) is adopted.
  • the position HP of the candidate point DPH (2) is the position P of the rear center point as described above.
  • the position P of the detection point DP in the vehicle C model2 is assumed position P of the rear center point of the vehicle C model2.
  • the position P of the rear surface center point in the vehicle C model 2 has the vehicle exterior information sensor 1 as the origin O.
  • the position P of the rear center point in the vehicle C model 2 is determined from the coordinates of the position P with respect to the vehicle exterior information sensor 1 of the detection point DP. If the coordinates of the position P of the rear center point in the vehicle C model 2 are determined, the width W of the vehicle C model 2 detected by the vehicle exterior information sensor 1 and the length L of the vehicle C model 2 detected by the vehicle exterior information sensor 1 are used. Therefore, the correction amount from the position P of the rear surface center point in the vehicle C model 2 to the center point in the vehicle C model 2 is accurately determined. In this way, the position P of the center point in the vehicle C model 2 is specified from the position P of the detection point DP via the position HP of the candidate point DPH (2).
  • the position P included in the detection data DD before before correction 1/2 of the length L of the vehicle C model 2 is added to the position P Xs in the Xs axis direction. Further, at the position P included in the detection data DD before before correction, since the candidate point DPH (2) is adopted for the position P Ys in the Ys axis direction, it remains as it is. As a result, the position P of the center point in the vehicle C model 2 is specified from the position P of the detected detection point DP via the position HP of the candidate point DPH (2).
  • the update processing unit 36 assumes the position P of the detection point DP on the object to be the position HP of the selected candidate point DPH.
  • the position P of the detection point DP in the object is specified as the position HP of the candidate point DPH.
  • the position P of the detection point DP in the object is specified by specifying the positional relationship between the object and the position P of the detection point DP.
  • the position P of the detection point DP with respect to the vehicle exterior information sensor 1 has been observed. Therefore, if the positional relationship between the position P of the detection point DP in the object and the position P of the center point of the object is specified, the position P of the detection point DP with respect to the vehicle exterior information sensor 1 is corrected to the position P of the center point of the object. can do.
  • the update processing unit 36 obtains a correction amount for correcting the position P of the specified detection point DP in the object to the position P of the center point of the object.
  • the update processing unit 36 corrects the position P of the detection point DP in the object to the position P of the center point of the object by using the obtained correction amount. As a result, the update processing unit 36 corrects the position P of the detection point DP with respect to the vehicle exterior information sensor 1.
  • the update processing unit 36 updates the track data TD indicating the track of the object based on the corrected position P of the detection point DP with respect to the vehicle exterior information sensor 1.
  • the object identification element included in the observable detection data DD differs depending on the type of the vehicle exterior information sensor 1, specifically, the measurement principle of the vehicle exterior information sensor 1.
  • the object-specific element identifies at least one of the state and size of the object, as described above.
  • the update processing unit 36 corrects the position P of the detection point DP with respect to the vehicle exterior information sensor 1 based on the object identification element that specifies at least one of the state and size of the object.
  • the update processing unit 36 updates the track data TD based on the corrected position P of the detection point DP with respect to the vehicle exterior information sensor 1.
  • the position P of the detection point DP is assumed to be the position HP of the candidate point DPH.
  • the positional relationship between the position P of the detection point DP and the vehicle C model 2 is specified via the position HP of the candidate point DPH.
  • the position P of the detection point DP in the vehicle C model2 is specified through the position P of the detection point DP in the vehicle C model2, around the position P with respect to the vehicle exterior information sensor 1 sensing point DP in the vehicle C model2 The amount of correction to be corrected to the position P of the point can be obtained.
  • the position P of the center point is the corrected position P of the detection point DP with respect to the vehicle exterior information sensor 1.
  • the track data TD is updated based on the position P of the center point.
  • the detection data DD includes only the position P of the detection point DP with respect to the vehicle exterior information sensor 1, the speed V of the detection point DP, and the width W of the vehicle C model 2 , the Ys axis direction of the detection point DP.
  • the position P Ys as specified in the position P of the center point of the Ys axis direction of the vehicle C model2, the position P Xs of Xs-axis direction of detection points DP is a position P Xs of Xs-axis direction of candidate points DPH Assumed.
  • the position P of the center point of the Ys axis direction of the vehicle C model2 through the position P Xs of Xs-axis direction of candidate points DPH, the position P of the detection point DP, the positional relationship between the vehicle C model2 Be identified.
  • the position P of the detection point DP in the vehicle C model2 is specified through the position P of the detection point DP in the vehicle C model2, around the position P with respect to the vehicle exterior information sensor 1 sensing point DP in the vehicle C model2
  • the amount of correction to be corrected to the position P of the point can be obtained.
  • the position P of the center point is the corrected position P of the detection point DP with respect to the vehicle exterior information sensor 1.
  • the track data TD is updated based on the position P of the center point.
  • the detection data DD includes only the position P of the detection point DP with respect to the vehicle exterior information sensor 1, the speed V of the detection point DP, and the length L of the vehicle C model 2 , the Xs axis of the detection point DP. the direction of the position P Xs, as specified in the position P of the center point of Xs-axis direction in the vehicle C model2, the position P Ys of Ys-axis direction of detection points DP, the position P Ys of Ys axis method candidate points DPH Is specified in.
  • the positional relationship between the detection point DP and the vehicle C model 2 can be changed via the position P of the center point in the Xs axis direction in the vehicle C model 2 and the position P Ys of the Ys axis method of the candidate point DPH. Be identified.
  • the position P of the detection point DP in the vehicle C model2 is specified through the position P of the detection point DP in the vehicle C model2, around the position P with respect to the vehicle exterior information sensor 1 sensing point DP in the vehicle C model2 The amount of correction to be corrected to the position P of the point can be obtained.
  • the position P of the center point is the corrected position P of the detection point DP with respect to the vehicle exterior information sensor 1.
  • the track data TD is updated based on the position P of the center point.
  • the detection point DP when the detection data DD includes only the position P of the detection point DP with respect to the vehicle exterior information sensor 1, the speed V of the detection point DP, the width W and the length L of the vehicle C model 2, the detection point DP
  • the position P Ys in the Ys axis direction is specified at the position P of the center point in the Ys axis direction in the vehicle C model 2
  • the position P Xs in the Xs axis direction of the detection point DP is in the Xs axis direction in the vehicle C model 2 . It is specified at the position P of the center point.
  • the position P of the center point of the Ys axis direction of the vehicle C model2, through the position P of the center point of Xs-axis direction in the vehicle C model2, the position P of the detection point DP, the position of the vehicle C model2 The relationship is identified.
  • the position P of the detection point DP in the vehicle C model2 is specified through the position P of the detection point DP in the vehicle C model2, around the position P with respect to the vehicle exterior information sensor 1 sensing point DP in the vehicle C model2
  • the amount of correction to be corrected to the position P of the point can be obtained.
  • the position P of the center point is the corrected position P of the detection point DP with respect to the vehicle exterior information sensor 1.
  • the track data TD is updated based on the position P of the center point.
  • the track data TD is updated by tracking processing such as the least squares method, Kalman filter, and particle filter.
  • the position HP of the candidate point DPH weighted and averaged by the reliability DOR for each position P of the plurality of candidate point DPH may be used.
  • the update processing unit 36 weights and averages the respective positions P of the plurality of candidate point DPHs on the object according to each reliability DOR, thereby averaging the positions of the detection point DPs with respect to the vehicle exterior information sensor 1. Correct P.
  • FIG. 9 is a diagram showing an example of updating the track data TD of FIG. 7 based on the detection data DD of FIG.
  • set values are individually set in advance corresponding to the object specific elements that cannot be acquired from the vehicle exterior information sensor 1. If it cannot be obtained from the vehicle exterior information sensor 1, it is processed as if there is no object specific element.
  • the update processing unit 36 can acquire at least one of the width W and the length L of the object from the vehicle exterior information sensor 1 as an object identification element, if there is a correlation between the detection data DD and the track data TD, the vehicle exterior information sensor The track data TD is updated based on the object specific element obtained from 1.
  • the update processing unit 36 individually corresponds to each of the width W and the length L of the object.
  • the value of the object specific element that cannot be acquired from the vehicle exterior information sensor 1 is specified based on the set value corresponding to the object specific element that cannot be acquired from the vehicle exterior information sensor 1.
  • FIG. 10 is a diagram showing an example in which the direction ⁇ is further included in the track data TD of FIG. 7.
  • Width W of the vehicle C model2 is a magnitude of the vehicle C model2 perpendicular to the direction ⁇ of the vehicle C model2.
  • the length L of the vehicle C model2 is a magnitude of the parallel vehicle C model2 to the orientation ⁇ of the vehicle C model2.
  • the orientation ⁇ of the vehicle C model 2 When the orientation ⁇ of the vehicle C model 2 can be acquired according to the measurement principle of the vehicle exterior information sensor 1, the orientation ⁇ of the vehicle C model 2 is added as an object identification element of the detection data DD. If the orientation ⁇ of the vehicle C model 2 cannot be obtained due to the measurement principle of the vehicle exterior information sensor 1, the setting of the orientation ⁇ changes according to the vehicle C model 2 , that is, the ground speed of the object.
  • the direction ⁇ of the vehicle C model 2 can be obtained as the direction of the ground speed vector because it can be observed.
  • the initial angle 0 [deg] is included in the provisional setting data DH as a preset setting value.
  • FIG. 11 is a diagram showing an example in which the height H is further included in the track data TD of FIG. 7.
  • the orientation ⁇ of the vehicle C model 2 is parallel to the road surface RS and perpendicular to the height H of the vehicle C model 2.
  • the height H of the vehicle C model 2 When the height H of the vehicle C model 2 can be acquired according to the measurement principle of the vehicle exterior information sensor 1, the height H of the vehicle C model 2 is added as an object identification element of the detection data DD. When the height H of the vehicle C model 2 cannot be acquired due to the measurement principle of the vehicle exterior information sensor 1, the initial height 1.5 [m] is included in the temporary setting data DH as a preset setting value.
  • FIG. 12 is a diagram showing an example in which the track data TD of FIG. 7 further includes the position of the upper end Z H and the position of the lower end Z L. However, the position of the upper end Z H ⁇ the position of the lower end Z L.
  • the position of the lower end Z L is larger than 0 [m], it is determined that the object is an object existing above the object, such as a signboard or a road sign.
  • the position of the upper end Z H and the position of the lower end Z L can be acquired by the measurement principle of the vehicle exterior information sensor 1
  • FIG. 13 is a flowchart illustrating processing by the object recognition device 3 of FIG.
  • step S11 the time measuring unit 31 determines whether or not the current time has reached the processing time tk.
  • the processing in step S11 shifts to the processing in step S12. If the time measuring unit 31 determines that the current time has not reached the processing time tk, the processing in step S11 continues.
  • step S12 the data receiving unit 32 receives the detection data dd from each of the vehicle exterior information sensors 1. Next, the process of step S12 shifts to the process of step S13.
  • step S13 the data receiving unit 32 associates the time when the detection data dd is received from each outside information sensor 1 with the detection data DD as the related time RT this time.
  • step S13 shifts to the process of step S14.
  • step S14 the data receiving unit 32 marks all the vehicle exterior information sensors 1 as unused. Next, the process of step S14 shifts to the process of step S15.
  • step S15 the data receiving unit 32 determines whether or not an unused vehicle exterior information sensor 1 exists.
  • the process of step S15 shifts to the process of step S16.
  • the process of step S15 ends without shifting to another process.
  • step S16 the prediction processing unit 34 calculates the prediction data TD RTpred of the track data TD at the current related time RT from the track data TD at the previous related time RT.
  • step S16 shifts to the process of step S17.
  • step S17 the temporary setting unit 33 selects the vehicle exterior information sensor 1 to be used.
  • step S17 shifts to the process of step S18.
  • step S18 the temporary setting unit 33 sets the position HP of at least one candidate point DPH in the object detected by the selected out-of-vehicle information sensor 1 based on the resolution of the selected out-of-vehicle information sensor 1.
  • step S18 shifts to the process of step S19.
  • step S19 the correlation processing unit 35 determines whether or not there is a correlation between the detection data DD RT and the prediction data TD RT pred of the track data TD.
  • the process of step S19 shifts to the process of step S20.
  • the process of step S19 shifts to the process of step S22.
  • step S20 the update processing unit 36 executes the position correction process described later with reference to FIG. Next, the process of step S20 shifts to the process of step S21.
  • step S21 the update processing unit 36 updates the track data TD at the current related time RT based on the corrected position P of the detection point DP with respect to the vehicle outside information sensor 1 at the current related time RT.
  • step S21 shifts to the process of step S22.
  • step S22 the temporary setting unit 33 determines whether or not the detection data DD includes an object specific element.
  • the process of step S22 shifts to the process of step S51, which will be described later with reference to FIG.
  • the process of step S22 shifts to the process of step S23.
  • step S23 the data receiving unit 32 marks the selected out-of-vehicle information sensor 1 as used. Next, the process of step S23 shifts to the process of step S15.
  • FIG. 14 is a flowchart illustrating the position correction process in step S20 of FIG.
  • step S31 the update processing unit 36 determines whether or not there are a plurality of candidate point DPHs.
  • the processing in step S31 shifts to the processing in step S32.
  • the processing in step S31 shifts to the processing in step S37.
  • step S32 the update processing unit 36 obtains the reliability DOR of each of the plurality of candidate point DPHs based on the distance from the selected out-of-vehicle information sensor 1 to the detection point DP.
  • step S32 shifts to the process of step S33.
  • step S33 the update processing unit 36 determines whether or not to execute the weighted averaging.
  • the processing in step S33 shifts to the processing in step S34.
  • the process of step S33 shifts to the process of step S36.
  • step S34 the update processing unit 36 weights and averages the respective positions P of the plurality of candidate point DPHs on the object according to each reliability DOR, thereby averaging the positions P of the detection point DP with respect to the vehicle exterior information sensor 1. Find the amount of correction for.
  • step S34 shifts to the process of step S35.
  • step S35 the update processing unit 36 determines the position of the detection point DP included in the detection data DD at the related time RT this time with respect to the vehicle outside information sensor 1 based on the correction amount for the position P of the detection point DP with respect to the vehicle outside information sensor 1. Correct P. Next, the process of step S35 does not shift to another process, and ends the position correction process.
  • step S36 the update processing unit 36 corrects the position P of the detection point DP with respect to the vehicle exterior information sensor 1 based on the position HP of the candidate point DPH having the highest reliability DOR among the position HPs of the plurality of candidate point DPHs. Find the amount.
  • step S36 shifts to the process of step S35.
  • step S37 the update processing unit 36 adopts the set candidate point DPH.
  • step S37 shifts to the process of step S38.
  • step S38 the update processing unit 36 obtains a correction amount for the position P of the detection point DP with respect to the vehicle exterior information sensor 1 based on the position HP of the adopted candidate point DPH.
  • step S38 shifts to the process of step S35.
  • FIG. 15 is a flowchart illustrating a process branched depending on the case where the determination result of the determination process in step S22 of FIG. 13 is Yes.
  • step S51 the temporary setting unit 33 determines whether or not the detection data dd received from the selected out-of-vehicle information sensor 1 includes the speed V of the detection point DP.
  • the process of step S51 shifts to the process of step S52. ..
  • the process of step S51 will be described later with reference to FIG. The process proceeds to step S81.
  • step S52 the correlation processing unit 35 determines whether or not there is a correlation between the detection data DD RT and the prediction data TD RT pred of the track data TD.
  • the process of step S52 shifts to the process of step S53.
  • the process of step S52 shifts to the process of step S54.
  • step S53 the update processing unit 36 updates the velocity V of the center point of the object included in the track data TD at the related time RT this time, based on the velocity V of the detection point DP at the related time RT this time.
  • step S53 shifts to the process of step S54.
  • step S54 the temporary setting unit 33 determines whether or not the detection data dd received from the selected out-of-vehicle information sensor 1 includes another object-specific element.
  • the process of step S54 will be described later with reference to FIG. The process proceeds to step S81.
  • the process of step S54 shifts to the process of step S55.
  • step S55 the data receiving unit 32 marks the selected out-of-vehicle information sensor 1 as used. Next, the process of step S55 returns to the process of step S15 of FIG.
  • FIG. 16 is a flowchart illustrating a process branched depending on the case where the determination result of the determination process in step S51 of FIG. 15 is No and the case where the determination result of the determination process in step S54 is Yes.
  • the temporary setting unit 33 sets at least one of the width W and the length L of the object, which are the remaining object-specific elements included in the detection data dd received from the selected vehicle-outside information sensor 1, as the object-specific elements outside the vehicle. It is determined whether or not the data can be obtained from the information sensor 1.
  • step S81 From the vehicle exterior information sensor 1 by the temporary setting unit 33, at least one of the width W and the length L of the object, which is the remaining object identification element included in the detection data dd received from the selected vehicle exterior information sensor 1, is set as the object identification element. If it is determined that the data has been acquired, the process of step S81 shifts to the process of step S82. From the vehicle exterior information sensor 1 by the temporary setting unit 33, at least one of the width W and the length L of the object, which is the remaining object identification element included in the detection data dd received from the selected vehicle exterior information sensor 1, is set as the object identification element. If it is determined that the data cannot be acquired, the process of step S81 shifts to the process of step S85.
  • step S82 the correlation processing unit 35 determines whether or not there is a correlation between the detection data DD RT and the prediction data TD RT pred of the track data TD.
  • the process of step S82 shifts to the process of step S83.
  • the process of step S82 shifts to the process of step S84.
  • step S83 the update processing unit 36 has the track data at the related time RT this time based on the object specific element acquired from the outside information sensor 1 among the width W and the length L of the object at the related time RT this time.
  • the object-specific element corresponding to the object-specific element acquired from the vehicle exterior information sensor 1 is updated.
  • the process of step S83 shifts to the process of step S84.
  • step S84 the data receiving unit 32 marks the selected out-of-vehicle information sensor 1 as used.
  • step S84 returns to the process of step S15 of FIG.
  • step S85 the update processing unit 36 has a set value corresponding to an object specific element that cannot be acquired from the external information sensor 1 among the set values individually preset corresponding to each of the width W and the length L of the object. Based on, the object identification element that cannot be acquired from the vehicle exterior information sensor 1 is specified. Next, the process of step S85 shifts to the process of step S86.
  • step S86 the update processing unit 36 determines the object identification element corresponding to the specified object identification element among the object identification elements included in the track data TD at the related time RT this time, based on the value of the specified object identification element. To update. Next, the process of step S86 shifts to the process of step S84.
  • the temporary setting unit 33 sets the position HP of at least one candidate point DPH on the object based on the specifications of the vehicle exterior information sensor 1 that has detected the object. Further, in the object recognition device 3, the update processing unit 36 corrects the position of the detection point DP with respect to the vehicle exterior information sensor 1 when the vehicle exterior information sensor 1 detects the object, based on the position HP of the candidate point DPH on the object. The update processing unit 36 updates the track data TD indicating the track of the object based on the corrected position P of the detection point DP with respect to the vehicle exterior information sensor 1.
  • the update processing unit 36 corrects the position P of the detection point DP based on the position of the candidate point DPH before updating the track data TD.
  • the temporary setting unit 33 is the position HP of at least one candidate point DPH in the object based on the specifications of the vehicle exterior information sensor 1 that detected the object before the position P of the detection point DP is corrected by the update processing unit 36.
  • the track data TD can be updated based on the corrected position P of the detection point DP with respect to the vehicle exterior information sensor 1 which has corrected the deviation due to the resolution included in the specifications of the vehicle exterior information sensor 1. Thereby, the accuracy of the track data TD of the object can be improved.
  • the update processing unit 36 sets the reliability DOR of each of the plurality of candidate point DPHs and the respective positions P of the plurality of candidate point DPHs on the object.
  • the position P of the detection point DP with respect to the vehicle exterior information sensor 1 is corrected based on the above. Therefore, the position P of the detection point DP with respect to the vehicle exterior information sensor 1 is corrected after considering the reliability DOR of the position HP of the candidate point DPH. As a result, each of the plurality of candidate point DPHs can be effectively used.
  • the update processing unit 36 corrects the position P of the detection point DP with respect to the vehicle exterior information sensor 1 based on the position HP of the candidate point DPH having the highest reliability DOR among the position HPs of the plurality of candidate point DPHs on the object. To do.
  • the update processing unit 36 has the position P of the detection point DP with respect to the vehicle exterior information sensor 1 based on the position HP of the candidate point DPH having the maximum reliability DOR among the position HPs of the plurality of candidate point DPHs in one object. To correct. Therefore, the position HP of the candidate point DPH with the highest setting accuracy in one object can be used. As a result, it is possible to use the position HP of the candidate point DPH with the highest setting accuracy among the position HPs of the plurality of candidate point DPHs in one object set based on the resolution of the same vehicle exterior information sensor 1.
  • the update processing unit 36 weights and averages the respective positions P of the plurality of candidate point DPHs in one object according to each reliability DOR, so that the position P of the detection point DP with respect to the vehicle exterior information sensor 1 is obtained. To correct.
  • the update processing unit 36 corrects the position P of the detection point DP with respect to the vehicle exterior information sensor 1 by weighting and averaging the position HPs of the plurality of candidate point DPHs in one object. Therefore, among a plurality of candidate point DPHs in one object, the influence of the candidate point DPH having a low reliability DOR is weakened, the influence of the candidate point DPH having a high reliability DOR is strengthened, and then the external information sensor of the detection point DP is used. The position P with respect to 1 can be corrected.
  • the reliability DOR of each of the position HPs of the plurality of candidate point DPHs in one object set based on the resolution of the same vehicle exterior information sensor 1 is reflected, and then the detection point DP is relative to the vehicle exterior information sensor 1.
  • the position P can be corrected.
  • the update processing unit 36 obtains each reliability DOR based on the distance from the outside information sensor 1 to the detection point DP.
  • the resolution of the vehicle exterior information sensor 1 differs depending on the distance from the vehicle exterior information sensor 1 to the detection point DP.
  • the vehicle exterior information sensor 1 is composed of a millimeter-wave radar
  • the detection point DP is the latest point.
  • the detection point DP is assumed to be a reflection point reflected from the center of the object. Therefore, the update processing unit 36 obtains each reliability based on the distance from the vehicle exterior information sensor 1 to the detection point DP.
  • the reliability DOR can be obtained based on the performance of the vehicle exterior information sensor 1.
  • the update processing unit 36 individually corresponds to each of the width W and the length L of the object.
  • the value of the object specific element that cannot be acquired from the vehicle exterior information sensor 1 is specified based on the set value corresponding to the object specific element that cannot be acquired from the vehicle exterior information sensor 1.
  • the track data TD can be updated with the error suppressed.
  • the relative positional relationship between the own vehicle and the object is not significantly deviated, so that the deterioration of the accuracy of the automatic driving of the own vehicle can be minimized.
  • Embodiment 2 In the second embodiment, the description of the same or equivalent configuration and function as the first embodiment will be omitted.
  • the second embodiment is different from the first embodiment in that the process branched depending on whether the determination result of the determination process in step S51 of FIG. 15 is No or the determination result of the determination process in step S54 is Yes.
  • Other configurations are the same as those in the first embodiment. That is, the other configurations have the same or equivalent configurations and functions as those in the first embodiment, and these parts are designated by the same reference numerals.
  • FIG. 17 is a flowchart illustrating a process branched depending on whether the determination result of the determination process in step S51 of FIG. 15 according to the second embodiment is No and the determination result of the determination process in step S54 is Yes. is there.
  • the temporary setting unit 33 identifies at least one of the width W, length L, and direction ⁇ of the remaining object identification elements included in the detection data dd received from the selected vehicle exterior information sensor 1. It is determined whether or not it can be acquired from the vehicle exterior information sensor 1 as an element.
  • the temporary setting unit 33 sets at least one of the width W, length L, and direction ⁇ of the object, which is the remaining object-specific element included in the detection data dd received from the selected vehicle-outside information sensor 1, as the object-specific element.
  • step S91 shifts to the process of step S92.
  • the temporary setting unit 33 sets at least one of the width W, length L, and direction ⁇ of the object, which is the remaining object-specific element included in the detection data dd received from the selected vehicle-outside information sensor 1, as the object-specific element. If it is determined that the data cannot be obtained from the sensor 1, the process of step S91 shifts to the process of step S95.
  • step S92 the correlation processing unit 35 determines whether or not there is a correlation between the detection data DD RT and the prediction data TD RT pred of the track data TD.
  • the process of step S92 shifts to the process of step S93.
  • the process of step S92 shifts to the process of step S94.
  • step S93 the update processing unit 36 determines the current related time RT based on the object identification element obtained from the vehicle exterior information sensor 1 among the width W, length L, and direction ⁇ of the object in the current related time RT. Among the object identification elements included in the track data TD in the above, the object identification element corresponding to the object identification element acquired from the vehicle exterior information sensor 1 is updated. Next, the process of step S93 shifts to the process of step S94.
  • step S94 the data receiving unit 32 marks the selected out-of-vehicle information sensor 1 as used. Next, the process of step S94 returns to the process of step S15 of FIG.
  • step S95 the update processing unit 36 corresponds to an object specific element that cannot be acquired from the vehicle exterior information sensor 1 among the set values individually preset corresponding to the width W, the length L, and the direction ⁇ of the object. Based on the set value to be set, the object identification element that cannot be acquired from the vehicle exterior information sensor 1 is specified. Next, the process of step S95 shifts to the process of step S96.
  • step S96 the update processing unit 36 determines the object identification element corresponding to the specified object identification element among the object identification elements included in the track data TD at the related time RT this time, based on the value of the specified object identification element. To update. Next, the process of step S96 shifts to the process of step S94.
  • the object recognition device 3 when the update processing unit 36 cannot acquire at least one of the width W, the length L, and the direction ⁇ of the object as the object identification element from the vehicle exterior information sensor 1, the object Among the preset values individually set for each of the width W, the length L, and the direction ⁇ , the external information sensor 1 starts from the external information sensor 1 based on the set value corresponding to the object specific element that cannot be acquired from the external information sensor 1. Specify the value of the object specific element that cannot be acquired.
  • the track data TD can be updated while suppressing an error.
  • the relative positional relationship between the own vehicle and the object is not significantly deviated, so that the deterioration of the accuracy of the automatic driving of the own vehicle can be minimized.
  • Embodiment 3 In the third embodiment, the description of the same or equivalent configuration and function as those of the first embodiment and the second embodiment will be omitted.
  • the processes branched depending on the case where the determination result of the determination process in step S51 of FIG. 15 is No and the case where the determination result of the determination process in step S54 is Yes are the processes of the first embodiment and the embodiment. Different from form 2.
  • Other configurations are the same as those of the first embodiment and the second embodiment. That is, the other configurations are the same or the same configurations and functions as those of the first embodiment and the second embodiment, and these parts are designated by the same reference numerals.
  • FIG. 18 is a flowchart illustrating a process branched depending on whether the determination result of the determination process in step S51 of FIG. 15 according to the third embodiment is No and the determination result of the determination process in step S54 is Yes. is there.
  • the temporary setting unit 33 has at least one of the width W, the length L, the direction ⁇ , and the height H of the object which is the remaining object identification element included in the detection data dd received from the selected vehicle exterior information sensor 1. It is determined whether or not one can be acquired from the vehicle exterior information sensor 1 as an object identification element.
  • the temporary setting unit 33 identifies at least one of the width W, length L, direction ⁇ , and height H of the remaining object identification elements included in the detection data dd received from the selected vehicle exterior information sensor 1.
  • step S101 shifts to the process of step S102.
  • the temporary setting unit 33 identifies at least one of the width W, length L, direction ⁇ , and height H of the remaining object identification elements included in the detection data dd received from the selected vehicle exterior information sensor 1.
  • the process of step S101 shifts to the process of step S105.
  • step S102 the correlation processing unit 35 determines whether or not there is a correlation between the detection data DD RT and the prediction data TD RT pred of the track data TD.
  • the process of step S102 shifts to the process of step S103.
  • the process of step S102 shifts to the process of step S104.
  • step S103 the update processing unit 36 is based on the object identification element obtained from the vehicle exterior information sensor 1 among the width W, length L, direction ⁇ , and height H of the object at the related time RT this time. Among the object identification elements included in the track data TD at the related time RT of, the object identification element corresponding to the object identification element acquired from the vehicle exterior information sensor 1 is updated. Next, the process of step S103 shifts to the process of step S104.
  • step S104 the data receiving unit 32 marks the selected out-of-vehicle information sensor 1 as used.
  • step S104 returns to the process of step S15 of FIG.
  • step S105 the update processing unit 36 is an object that cannot be acquired from the vehicle exterior information sensor 1 among the set values individually preset corresponding to the width W, the length L, the direction ⁇ , and the height H of the object. Based on the set value corresponding to the specific element, the object specific element that cannot be acquired from the vehicle exterior information sensor 1 is specified. Next, the process of step S105 shifts to the process of step S106.
  • step S106 the update processing unit 36 determines the object identification element corresponding to the specified object identification element among the object identification elements included in the track data TD at the related time RT this time, based on the value of the specified object identification element. To update. Next, the process of step S106 shifts to the process of step S104.
  • the update processing unit 36 cannot acquire at least one of the width W, the length L, the direction ⁇ , and the height H of the object from the vehicle exterior information sensor 1 as an object identification element.
  • the set value corresponding to the object specific element that cannot be acquired from the external information sensor 1 is selected. Based on this, the value of the object identification element that cannot be acquired from the vehicle exterior information sensor 1 is specified.
  • the track data TD can be updated with less error.
  • the relative positional relationship between the own vehicle and the object is not significantly deviated, so that the deterioration of the accuracy of the automatic driving of the own vehicle can be minimized.
  • Embodiment 4 the description of the same or equivalent configuration and function as those of the first embodiment, the second embodiment and the third embodiment will be omitted.
  • the process branched according to the case where the determination result of the determination process in step S51 of FIG. 15 is No and the case where the determination result of the determination process in step S54 is Yes is the first embodiment. It is different from the second embodiment and the third embodiment.
  • Other configurations are the same as those of the first embodiment, the second embodiment, and the third embodiment. That is, the other configurations are the same or the same configurations and functions as those of the first embodiment, the second embodiment, and the third embodiment, and these parts are designated by the same reference numerals.
  • FIG. 19 is a flowchart illustrating a process branched depending on whether the determination result of the determination process in step S51 of FIG. 15 according to the fourth embodiment is No and the determination result of the determination process in step S54 is Yes. is there.
  • the temporary setting unit 33 determines the position P of the width W, the length L, the direction ⁇ , and the upper end Z H of the object which is the remaining object identification element included in the detection data dd received from the selected vehicle exterior information sensor 1. It is determined whether or not at least one of the positions P of the lower end Z L and the lower end Z L can be acquired from the vehicle exterior information sensor 1 as an object identification element.
  • step S111 shifts to the process of step S112.
  • step S112 the correlation processing unit 35 determines whether or not there is a correlation between the detection data DD RT and the prediction data TD RT pred of the track data TD.
  • the process of step S112 shifts to the process of step S113.
  • the process of step S112 shifts to the process of step S114.
  • step S113 the update processing unit 36 was able to acquire from the vehicle exterior information sensor 1 among the width W, length L, direction ⁇ , the position of the upper end Z H and the position of the lower end Z L at the related time RT this time. Based on the object identification element, among the object identification elements included in the track data TD at the related time RT this time, the object identification element corresponding to the object identification element acquired from the vehicle exterior information sensor 1 is updated. Next, the process of step S113 shifts to the process of step S114.
  • step S114 the data receiving unit 32 marks the selected out-of-vehicle information sensor 1 as used.
  • step S114 returns to the process of step S15 of FIG.
  • step S115 the update processing unit 36 is among the set values individually preset corresponding to the width W, the length L, the direction ⁇ , the position of the upper end Z H , and the position of the lower end Z L of the object.
  • the object identification element that cannot be acquired from the vehicle exterior information sensor 1 is specified based on the set value corresponding to the object identification element that cannot be acquired from the vehicle exterior information sensor 1.
  • step S115 shifts to the process of step S116.
  • step S116 the update processing unit 36 determines the object identification element corresponding to the specified object identification element among the object identification elements included in the track data TD at the related time RT this time, based on the value of the specified object identification element. To update. Next, the process of step S116 shifts to the process of step S114.
  • the update processing unit 36 sets at least one of the width W, the length L, the direction ⁇ , the position of the upper end Z H and the position of the lower end Z L of the object as an object identification element. If it cannot be obtained from the vehicle exterior information sensor 1, among the preset values individually set for each of the width W, length L, orientation ⁇ , position of the upper end Z H , and position of the lower end Z L of the object.
  • the value of the object identification element that cannot be acquired from the vehicle exterior information sensor 1 is specified based on the set value corresponding to the object identification element that cannot be acquired from the vehicle exterior information sensor 1.
  • the track data TD can be updated with an error suppressed. it can.
  • the relative positional relationship between the own vehicle and the object is not significantly deviated, so that the deterioration of the accuracy of the automatic driving of the own vehicle can be minimized.
  • the object is a stationary object.
  • the stationary object is, for example, a signboard.
  • the stationary object may be a road sign. Therefore, the type of the object can be specified. As a result, the accuracy of automatic driving of the own vehicle can be further improved.
  • Embodiment 5 the description of the same or equivalent configuration and function as those of the first embodiment, the second embodiment, the third embodiment and the fourth embodiment will be omitted.
  • the fifth embodiment is different from the first embodiment in that a plurality of candidate point DPHs are narrowed down.
  • Other configurations are the same as those of the first embodiment, the second embodiment, the third embodiment, and the fourth embodiment. That is, the other configurations are the same or the same configurations and functions as those of the first embodiment, the second embodiment, the third embodiment, and the fourth embodiment, and these parts are designated by the same reference numerals.
  • FIG. 20 is a flowchart illustrating another example of the position correction process in step S20 of FIG. 13 according to the fifth embodiment.
  • step S161 the update processing unit 36 determines whether or not there are a plurality of candidate point DPHs. When the update processing unit 36 determines that there are a plurality of candidate point DPHs, the processing in step S161 shifts to the processing in step S162. When the update processing unit 36 determines that the number of candidate point DPHs is not a plurality, the processing in step S161 shifts to the processing in step S170.
  • step S162 the update processing unit 36 refers to the update history of the track data TD.
  • step S162 shifts to the process of step S163.
  • step S163 the update processing unit 36 determines whether the type of the vehicle exterior information sensor 1 that observed the detection data DD at the related time RT this time is different from the type of the vehicle exterior information sensor 1 that observed the detection data DD at the previous related time RT. Judge whether or not.
  • the update processing unit 36 determines that the type of the vehicle outside information sensor 1 that observed the detection data DD at the related time RT this time is different from the type of the vehicle outside information sensor 1 that observed the detection data DD at the previous related time RT.
  • the process of step S163 shifts to the process of step S164.
  • the update processing unit 36 determines that the type of the vehicle exterior information sensor 1 that observed the detection data DD at the related time RT this time is not different from the type of the vehicle exterior information sensor 1 that observed the detection data DD at the previous related time RT. In other words, when it is determined that the type of the vehicle outside information sensor 1 that observed the detection data DD at the related time RT this time is the same as the type of the vehicle outside information sensor 1 that observed the detection data DD at the previous related time RT.
  • the process of step S163 shifts to the process of step S168.
  • step S164 the update processing unit 36 is based on the position P of the center point of the object included in the prediction data TD RTpred of the track data TD and the position P of the detection point DP included in the detection data DD with respect to the vehicle exterior information sensor 1. The accuracy of each of the plurality of candidate point DPHs is determined.
  • step S164 shifts to the process of step S165.
  • step S165 the update processing unit 36 discards the candidate point DPH having the lowest accuracy among the plurality of candidate point DPHs.
  • step S165 shifts to the process of step S166.
  • step S166 the update processing unit 36 adopts the candidate point DPH with the highest accuracy among the candidate point DPHs that have not been discarded.
  • step S166 shifts to the process of step S167.
  • step S167 the update processing unit 36 corrects the position P of the detection point DP included in the detection data DD at the related time RT this time with respect to the vehicle exterior information sensor 1 based on the position HP of the adopted candidate point DPH.
  • step S167 does not shift to another process, and ends the position correction process.
  • step S168 the update processing unit 36 calculates the reliability DOR of the candidate point DPH.
  • step S168 shifts to the process of step S169.
  • step S169 the update processing unit 36 adopts the candidate point DPH based on the reliability DOR.
  • step S169 shifts to the process of step S167.
  • step S170 the update processing unit 36 adopts the set candidate point DPH. Next, the process of step S170 shifts to the process of step S167.
  • the detection data dd includes the position P of the detection point DP with respect to the vehicle exterior information sensor 1, the velocity V of the detection point DP, and the width W of the object.
  • the candidate point DPH (2) is a candidate for the position P of the detection point DP on the object. Therefore, the process of step S161, the process of step S170, and the process of step S167 correct the position P of the detection point DP with respect to the vehicle exterior information sensor 1 based on the position HP of the candidate point DPH (2).
  • the detection data dd includes the position P of the detection point DP with respect to the vehicle exterior information sensor 1 and the speed V of the detection point DP.
  • each of the candidate point DPH (1) and the candidate point DPH (2) is a candidate for the position P of the detection point DP in the object.
  • step S161 when the correlation between the camera detection data dd and the track data TD is established, the processing of step S161, the processing of step S170, and the processing of step S167 are executed, and then the detection data dd of the millimeter wave radar and In some cases, a correlation with the track data TD is established.
  • the accuracy of the candidate point DPH (1) is higher than the accuracy of the candidate point DPH (2). It may be judged.
  • the candidate point DPH (2) is discarded from the candidates for the position P of the detection point DP in the object by the process of step S164, the process of step S165, and the process of step S166.
  • Candidate point DPH (1) is adopted.
  • the update processing unit 36 discards a part of the plurality of candidate point DPHs based on the update history of the track data TD.
  • the update history of the track data TD includes a history in which at least the position P of the center point of the object is updated with the movement of the object.
  • the history in which the position P of the center point of the object is updated is associated with the vehicle exterior information sensor 1 that has detected the object. Therefore, if the update history of the track data TD is referred to, the outside of the vehicle used when the position P of the detection point DP with respect to the outside information sensor 1 of the detection point DP is corrected through the history of updating the position P of the center point of the object.
  • the type of information sensor 1 can be referred to.
  • the candidate point DPH used when the position P of the detection point DP with respect to the vehicle exterior information sensor 1 is corrected can be specified. is there.
  • the outside information sensor 1 is composed of millimeter-wave radar, the latest point and the center point are considered to be candidate points DPH. Further, as described above, if the vehicle exterior information sensor 1 is composed of a monocular camera, it is considered that the center point becomes the candidate point DPH.
  • the accuracy of each of the plurality of candidate points DPH is determined based on the position P of the center point of the object and the position P of the detection point DP with respect to the vehicle exterior information sensor 1.
  • the position P of the center point of the object and the position P of the detection point DP with respect to the vehicle exterior information sensor 1 change according to the track of the object. For example, from the positional relationship between the position P of the center point of the object and the position P of the detection point DP with respect to the vehicle exterior information sensor 1, the position P of the center point of the object and the position P of the detection point DP with respect to the vehicle exterior information sensor 1
  • the candidate point DPH with high accuracy can be regarded as the most recent point than the center point. In this case, of the candidate point DPH, the central point is discarded and the latest point is adopted.
  • the determination threshold distance D TH1 in FIG. 6 is defined in a range in which the position P of the detection point DP is not buried in the resolution cell of the external information sensor 1.
  • the center point is the center point of the rear surface of the object.
  • the center point is the front center point of the object if it is an object moving behind the vehicle.
  • the update processing unit 36 discards a part of the plurality of candidate point DPHs based on the update history of the track data TD.
  • the highly accurate candidate point DPH can be used for updating the track data TD.
  • a processing circuit for executing the object recognition device 3 is provided. Even if the processing circuit is dedicated hardware, it is also called a CPU (Central Processing Unit, central processing unit, processing unit, arithmetic unit, microprocessor, microprocessor, processor, DSP) that executes a program stored in the memory. It may be.
  • CPU Central Processing Unit, central processing unit, processing unit, arithmetic unit, microprocessor, microprocessor, processor, DSP
  • FIG. 21 is a diagram illustrating a hardware configuration example.
  • the processing circuit 201 is connected to the bus 202.
  • the processing circuit 201 corresponds to, for example, a single circuit, a composite circuit, a programmed processor, an ASIC, an FPGA, or a combination thereof.
  • Each of the functions of each part of the object recognition device 3 may be realized by the processing circuit 201, or the functions of each part may be collectively realized by the processing circuit 201.
  • FIG. 22 is a diagram illustrating another hardware configuration example.
  • the processor 203 and the memory 204 are connected to the bus 202.
  • the processing circuit is a CPU
  • the functions of each part of the object recognition device 3 are realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is written as a program and stored in memory 204.
  • the processing circuit realizes the functions of each part by reading and executing the program stored in the memory 204. That is, the object recognition device 3 controls the time measurement unit 31, the data reception unit 32, the temporary setting unit 33, the prediction processing unit 34, the correlation processing unit 35, and the update processing unit 36 when executed by the processing circuit. It has a memory 204 for storing a program that will be executed as a result.
  • the memory 204 corresponds to a non-volatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM, EEPROM, or a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, or the like. ..
  • each part of the object recognition device 3 may be realized by dedicated hardware, and some of the functions may be realized by software or firmware.
  • the function of the temporary setting unit 33 can be realized by a processing circuit as dedicated hardware.
  • the function of the correlation processing unit 35 can be realized by the processing circuit reading and executing the program stored in the memory 204.
  • the processing circuit can realize each of the above functions by hardware, software, firmware, or a combination thereof.
  • each detection element included in the detection data DD RT and each track element included in the prediction data TD RT pred of the track data TD RT is within a predetermined error amount e.
  • the correlation processing unit 35 derives the distance difference between the position P with respect to the vehicle outside information sensor 1 included in the detection data DD RT and the position P included in the prediction data TD RT pred of the track data TD RT.
  • the correlation processing unit 35 derives a speed difference between the speed V included in the detection data DD RT and the speed V included in the prediction data TD RT pred of the track data TD RT.
  • the correlation processing unit 35 derives the azimuth angle difference between the azimuth angle included in the detection data DD RT and the azimuth angle included in the prediction data TD RT pred of the track data TD RT.
  • the correlation processing unit 35 obtains the square root of the sum of the squares of the distance difference, the speed difference, and the azimuth angle difference. The correlation processing unit 35 determines that there is no correlation when the obtained square root exceeds the error amount e. The correlation processing unit 35 determines that there is a correlation when the obtained square root is equal to or less than the error amount e. By such a determination process, it may be determined whether or not there is a correlation between the detection data DD RT and the prediction data TD RT pred of the track data TD RT.
  • the ground speed at the detection point DP may be obtained based on the velocity V of the detection point DP. If the ground speed at the detection point DP is required, the object identification of the detection data DD when it can be determined that the object detected by the vehicle exterior information sensor 1 is the vehicle C model 2 based on the ground speed at the detection point DP.
  • the elements may not include the width W and length L of the vehicle C model 2. In such a case, the width W of the vehicle C model 2 is set to 2 [m], and the length L of the vehicle C model 2 is set to 4.5 [m].
  • the width W and length L of the vehicle C model 2 set in this way are also individually preset values corresponding to the object specific elements that cannot be acquired from the vehicle exterior information sensor 1.
  • the update processing unit 36 may update the track data TD based on the speed V of the detection point DP when the object is detected by the vehicle exterior information sensor 1.
  • the track data TD can be updated based on the velocity V of the detection point DP in consideration of the observation result observed by the vehicle exterior information sensor 1.
  • the relative positional relationship between the own vehicle and the object can be accurately grasped, so that the accuracy of automatic driving of the own vehicle can be further improved.
  • steps S81 to S86 shown in FIG. 16 in the first embodiment the processing of steps S91 to S96 shown in FIG. 17 in the second embodiment, and the processing of steps S101 to S106 shown in FIG. 18 in the third embodiment.
  • steps S111 to S116 shown in FIG. 19 in the fourth embodiment can be executed in parallel by the CPU.
  • 1 External information sensor 2 Vehicle information sensor, 3 Object recognition device, 4 Notification control device, 5 Vehicle control device, 31 Time measurement unit, 32 Data reception unit, 33 Temporary setting unit, 34 Prediction processing unit, 35 Correlation processing unit, 36 Update processing department.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

物体認識装置は、仮設定部と更新処理部とを含む。仮設定部は、物体を検知した車外情報センサの仕様に基づいて、物体における少なくとも1つの候補点の位置を設定する。更新処理部は、車外情報センサが物体を検知したときの検知点の車外情報センサに対する位置を物体における候補点の位置に基づいて補正し、検知点の車外情報センサに対する補正後の位置に基づいて、物体の航跡を示す航跡データを更新する。

Description

物体認識装置及び物体認識方法
 この発明は、物体認識装置及び物体認識方法に関する。
 従来、センサが物体を検知したときの検知点の位置を物体の形状モデルに当てはめ、物体の形状モデルにおける検知点の位置に基づいて、物体の航跡を形成する航跡点の位置を特定する物体認識装置が知られている(例えば、特許文献1参照)。
特開2017-215161号公報
 しかし、特許文献1に示されている従来の物体認識装置では、センサの分解能によっては、検知点の位置が物体のどの位置なのかを特定することができない場合がある。この場合、検知点の位置を物体の形状モデルに当てはめることができず、物体における航跡点の位置を特定することができない。従って、物体の航跡を示す物体の航跡データの精度が下がる。
 この発明は、上記のような課題を解決するためになされたものであり、物体の航跡データの精度を向上させることができる物体認識装置及び物体認識方法を得ることを目的とする。
 この発明に係る物体認識装置は、物体を検知したセンサの仕様に基づいて、前記物体における少なくとも1つの候補点の位置を設定する仮設定部と、前記センサが前記物体を検知したときの検知点の前記センサに対する位置を前記物体における前記候補点の位置に基づいて補正し、前記検知点の前記センサに対する補正後の位置に基づいて、前記物体の航跡を示す航跡データを更新する更新処理部と、を備えている。
 この発明に係る物体認識装置によれば、物体の航跡データの精度を向上させることができる。
実施の形態1による車両制御システムの機能構成例を示すブロック図である。 図1のセンサと物体との相対的な位置関係の一例を示す図である。 図2の車両に対応する車両における検知点の位置の第1の候補となる候補点の一例を示す図である。 図2の車両に対応する車両における検知点の位置Pの第2の候補となる候補点の一例を示す図である。 車両における検知点の位置の他の候補となる候補点の一例を示す図である。 Nを自然数としたとき図3から図5の候補点の信頼度の設定例を示す図である。 図1の航跡データの一例を示す図である。 図1の検知データの補正例を示す図である。 図8の検知データに基づいた図7の航跡データの更新例を示す図である。 図7の航跡データに向きがさらに含まれている一例を示す図である。 図7の航跡データに高さがさらに含まれている一例を示す図である。 図7の航跡データに上端の位置及び下端の位置がさらに含まれている一例を示す図である。 図1の物体認識装置による処理を説明するフローチャートである。 図13のステップS20における位置補正処理を説明するフローチャートである。 図13のステップS22における判定処理の判定結果がYesである場合により分岐された処理を説明するフローチャートである。 図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。 実施の形態2による図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。 実施の形態3による図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。 実施の形態4による図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。 実施の形態5による図13のステップS20における位置補正処理を説明するフローチャートである。 ハードウェア構成例を説明する図である。 他のハードウェア構成例を説明する図である。
 実施の形態1.
 図1は、実施の形態1による車両制御システムの機能構成例を示すブロック図である。図1に示すように、車両制御システムは、複数の車外情報センサ1、複数の車両情報センサ2、物体認識装置3、報知制御装置4及び車両制御装置5を備えている。
 複数の車外情報センサ1のそれぞれは、自車に取り付けられている。例えば、複数の車外情報センサ1のうち、一部の車外情報センサ1は、フロントバンパーの内部、リアバンパーの内部及びフロントガラスの車室側に個別に取り付けられている。フロントバンパーの内部に取り付けられた車外情報センサ1は、車両の前方又は側方にある物体を観測対象としている。リアバンパーの内部に取り付けられた車外情報センサ1は、車両の後方又は側方にある物体を観測対象としている。
 また、フロントガラスの車室側に取り付けられた車外情報センサ1は、インナーリアビューミラーの隣に配置されている。フロントガラスの車室側のうちインナーリアビューミラーの隣に取り付けられた車外情報センサ1は、車両の前方にある物体を観測対象としている。
 よって、自車に取り付けられた複数の車外情報センサ1のそれぞれは、自車周辺の物体に関する情報を検知データddとして取得可能なセンサである。複数の車外情報センサ1のそれぞれが取得した自車周辺の物体に関するそれぞれの検知データddは、検知データDDとして統合されて生成されている。検知データDDは、物体認識装置3に供給可能なデータ構成に生成されている。検知データDDには、少なくとも1つの検知点DPの車外情報センサ1に対する位置Pに関する情報が少なくとも1つ含まれている。
 車外情報センサ1は、物体の表面におけるいずれかの点を検知点として検知することによって、物体を観測する。各検知点DPは、自車周辺において車外情報センサ1によって観測された物体における各点を示す。例えば、車外情報センサ1は、自車の周囲に光を照射光として照射し、物体における各反射点で反射した反射光を受光する。この各反射点が、各検知点DPに相当する。
 また、車外情報センサ1の測定原理によって検知点DPで観測可能な物体に関する情報は異なる。車外情報センサ1の種類としては、ミリ波レーダー、レーザセンサ、超音波センサ、赤外線センサ、カメラ等を用いることができる。なお、超音波センサ及び赤外線センサの説明については省略する。
 ミリ波レーダーは、例えば、自車におけるフロントバンパー及びリアバンパーのそれぞれに取り付けられている。ミリ波レーダーは、1つの送信アンテナと、複数の受信アンテナとを有している。ミリ波レーダーは、物体との距離及び相対速度を測定可能である。物体との距離及び相対速度は、例えば、FMCW(Frequency Modulation Continuous Wave)方式によって測定される。従って、ミリ波レーダーによって測定された物体との距離及び相対速度に基づいて、検知点DPの車外情報センサ1に対する位置P及び検知点DPの速度Vが観測可能である。
 なお、以後の説明において、検知点DPの速度Vは、自車と物体との相対速度であってもよく、GPSをさらに利用することにより絶対位置を基準とした速度であってもよい。
 ミリ波レーダーは、物体の方位角を測定可能である。物体の方位角は、複数の受信アンテナのそれぞれによって受信する各電波の位相差に基づいて測定される。従って、ミリ波レーダーによって測定された物体の方位角に基づいて、物体の向きθが観測可能である。
 このように、ミリ波レーダーによれば、物体に関する情報として、検知点DPの車外情報センサ1に対する位置Pの他に、検知点DPの速度V及び物体の向きθを含む検知データDDが観測可能である。検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V及び物体の向きθのうち、検知点DPの速度V及び物体の向きθのそれぞれは、物体の状態を特定する動的要素である。これらの動的要素のそれぞれは、物体特定要素である。
 なお、FMCW方式のミリ波レーダーにおいては、物体との相対速度を測定するときに送信信号の周波数と受信信号の周波数とのドップラー効果による周波数シフト、即ちドップラー周波数を検知する。その検知したドップラー周波数は物体との相対速度に比例するため、ドップラー周波数から相対速度が導出可能である。
 また、ミリ波レーダーの速度分解能は、ドップラー周波数の分解能によって決定される。ドップラー周波数の分解能は、受信信号の観測時間の逆数となる。よって、観測時間が長くなるほど、ドップラー周波数の分解能は高くなる。従って、観測時間が長くなるほど、ミリ波レーダーの速度分解能は高くなる。
 例えば、自車が高速道路を走行中である場合には、自車が一般道路を走行中である場合と比べて、ミリ波レーダーの観測時間を長く設定する。これによって、ミリ波レーダーの速度分解能を高く設定することができる。従って、自車が高速道路を走行中である場合には、自車が一般道路を走行中である場合と比べ、速度の変化をより早く観測することができる。これにより、より早く自車の周囲の物体を観測することができる。
 また、ミリ波レーダーの距離分解能は、光速を変調周波数帯域幅で除したもので定義されている。従って、変調周波数帯域幅が拡がるほど、ミリ波レーダーの距離分解能は高くなる。
 例えば、自車が駐車場を走行中である場合には、自車が一般道路又は高速道路を走行中である場合と比べて、変調周波数帯域幅を拡げて設定する。これによって、ミリ波レーダーの距離分解能を高く設定することができる。ミリ波レーダーの距離分解能が高く設定された場合、自車の周囲において、検出可能な最小単位距離が細かくなるため、隣接して並んでいる物体同士を区別することができる。
 例えば、自車の周囲の物体として、歩行者と車両とが存在する場合、ミリ波レーダーから照射される電磁波に対して、反射強度の低い歩行者と、反射強度の高い車両とが混在する状態である。このような状態であったとしても、歩行者から反射される電磁波が車両から反射される電磁波に吸収されないため、歩行者を検出することができる。
 レーザセンサは、例えば、自車のルーフの車外に取り付けられている。レーザセンサとして、例えば、LIDAR(LIght Detection And Ranging)が自車のルーフの車外に取り付けられている。LIDARは、複数の投光部と、1つの受光部と、演算部とを有している。複数の投光部は、自車の移動方向前方に対して、垂直方向に複数の角度で配置されている。
 LIDARには、TOF(Time Of Flight)方式が採用されている。具体的には、LIDARにおける複数の投光部は、予め設定された投光時間の間、水平方向に回転しながら放射状にレーザ光を投光する機能を有している。LIDARにおける受光部は、予め設定された受光時間の間、物体からの反射光を受光する機能を有している。LIDARにおける演算部は、複数の投光部における投光時刻と、受光部における受光時刻との差分となる往復時間を求める機能を有している。LIDARにおける演算部は、この往復時間に基づいて物体との距離を求める機能を有している。
 LIDARは、物体との距離を求めることによって、物体との方向も測定する機能を有している。従って、LIDARによって測定された測定結果から検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V及び物体の向きθが観測される。
 このように、LIDARによれば、物体に関する情報として、検知点DPの車外情報センサ1に対する位置Pの他に、検知点DPの速度V及び物体の向きθを含む検知データDDが観測可能である。検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V及び物体の向きθのうち、検知点DPの速度V及び物体の向きθのそれぞれは、上記で説明したように、物体特定要素である。
 また、LIDARの速度分解能は、レーザ光を構成するパルスの発光間隔によって決定される。従って、レーザ光を構成するパルスの発光間隔が短くなるほど、LIDARの速度分解能は高くなる。
 例えば、自車が高速道路を走行中である場合には、自車が一般道路を走行中である場合に比べて、LIDARから照射されるレーザ光を構成するパルスの発光間隔を短く設定することによって、LIDARの速度分解能を高く設定することができる。従って、自車が高速道路を走行中である場合には、自車が一般道路を走行中である場合と比べ、速度の変化をより早く観測することができる。これにより、より早く自車の周囲の物体を観測することができる。
 また、LIDARの距離分解能は、レーザ光を構成するパルス幅によって決定される。従って、レーザ光を構成するパルス幅が短くなるほど、LIDARの距離分解能は高くなる。
 例えば、自車が駐車場を走行中である場合には、自車が一般道路又は高速道路を走行中である場合に比べて、LIDARから照射されるレーザ光を構成するパルス幅を短く設定する。これによって、LIDARの距離分解能を高く設定することができる。LIDARの距離分解能が高く設定された場合、自車の周囲において、検出可能な最小単位距離が細かくなるため、隣接して並んでいる物体同士を区別することができる。
 例えば、自車の周囲の物体として、歩行者と車両とが存在する場合、LIDARから照射されるレーザ光に対して、反射強度の低い歩行者と、反射強度の高い車両とが混在する状態である。このような状態であったとしても、歩行者から反射される反射光が車両から反射される反射光に吸収されないため、歩行者を検出することができる。
 カメラは、フロントガラスの車室側のうちインナーリアビューミラーの隣に取り付けられている。カメラには、例えば、単眼カメラが用いられている。単眼カメラは、撮像素子を有している。撮像素子は、例えば、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。単眼カメラは、撮像素子の撮像方向に対して直交する2次元空間における画素レベルを最小単位として連続的に物体の有無と距離とを検出する。単眼カメラには、例えば、赤、緑及び青の原色のフィルタをレンズに追加させた構造が含まれている。このような構造により、原色のフィルタを用いて分割した光線の視差から距離を求めることができる。従って、カメラによって測定された測定結果から検知点DPの車外情報センサ1に対する位置P、物体の幅W及び長さLが観測される。
 このように、カメラによれば、物体に関する情報として、検知点DPの車外情報センサ1に対する位置Pの他に、物体の幅W及び長さLを含む検知データDDが観測可能である。検知点DPの車外情報センサ1に対する位置P、物体の幅W及び長さLのうち、物体の幅W及び長さLのそれぞれは、物体の大きさを特定する静的要素である。これらの静的要素のそれぞれは、物体特定要素である。
 なお、カメラには、単眼カメラの他にも、TOFカメラ、ステレオカメラ、赤外線カメラ等が用いられている。
 複数の車両情報センサ2は、車速、ステアリング角、ヨーレート等の自車の車両情報を自車データcdとして検出する機能を有している。自車データcdは、物体認識装置3に供給可能なデータ構成に生成されている。
 物体認識装置3は、時刻計測部31、データ受信部32、仮設定部33、予測処理部34、相関処理部35及び更新処理部36を備えている。なお、時刻計測部31、データ受信部32、仮設定部33、予測処理部34、相関処理部35及び更新処理部36は、不揮発性メモリ又は揮発性メモリに記憶されたプログラムを実行するCPUによって実現される機能を有している。
 時刻計測部31は、物体認識装置3の時刻を計測する機能を有している。時刻計測部31は、計測した時刻を共通時刻CTとして生成する。共通時刻CTは、データ受信部32に供給可能なデータ構成に生成されている。
 データ受信部32は、入力インターフェースの機能を有している。
 具体的には、データ受信部32は、各車外情報センサ1から検知データddを受信する機能を有している。それぞれの検知データddはデータ受信部32によって検知データDDとして統合されている。データ受信部32は、時刻計測部31によって生成された共通時刻CTを関連時刻RTとして検知データDDに関連付けることによって、検知データDDRTを生成する機能を有している。検知データDDRTは、仮設定部33及び相関処理部35のそれぞれに供給可能なデータ構成に生成されている。
 データ受信部32は、車外情報センサ1から検知データddを受信した場合、検知データddを取得できたと判定する。データ受信部32は、該当する車外情報センサ1に不具合が生じていることを示す不具合フラグを0に設定し、検知データDDRTを生成する。
 ここで、不具合フラグが0に設定されている場合、該当する車外情報センサ1に不具合が生じていないことを示す。また、不具合フラグが1に設定されている場合、該当する車外情報センサ1に不具合が生じていることを示す。
 一方、データ受信部32は、車外情報センサ1から検知データddを受信しない場合、検知データddを取得できないと判定し、不具合フラグを1に設定し、検知データDDRTを生成しない。
 また、データ受信部32は、車外情報センサ1から検知データddを受信した場合、検知データddの妥当性を判定する。データ受信部32は、検知データddの妥当性がないと判定する場合、検知データddを取得できないと判定し、該当する車外情報センサ1に対応する検知データddに妥当性がないことを示す妥当性フラグを0に設定する。データ受信部32は、検知データddの妥当性があると判定する場合、検知データddを取得できたと判定し、上記妥当性フラグを1に設定する。
 このように、データ受信部32による検知データddを取得できたか否かの判定結果は、不具合フラグ及び妥当性フラグの少なくとも一方を参照することによって、参照可能である。
 また、データ受信部32は、車両情報センサ2から自車データcdを受信する機能を有している。データ受信部32は、時刻計測部31によって生成された共通時刻CTを関連時刻RTとして自車データcdに関連付けることによって、自車データCDRTを生成する機能を有している。自車データCDRTは予測処理部34に供給可能なデータ構成に生成されている。
 仮設定部33は、物体を検知した車外情報センサ1の分解能に基づいて、物体における少なくとも1つの候補点DPHの位置HPを設定する機能を有している。仮設定部33は、少なくとも1つの候補点DPHの位置HPを含む仮設定データDHを生成する機能を有している。仮設定データDHは、仮設定部33によって相関処理部35に供給可能なデータ構成に生成されている。
 なお、車外情報センサ1の分解能は、車外情報センサ1の仕様に含まれている。
 具体的には、車外情報センサ1の仕様によって、例えば、車外情報センサ1の動作設定に関する属性、車外情報センサ1の配置状況に関する属性等が特定される。車外情報センサ1の動作設定に関する属性は、観測可能な計測範囲、計測範囲の分解能、サンプリング周波数等である。車外情報センサ1の配置状況に関する属性は、車外情報センサ1の可能配置角度、車外情報センサ1の耐久可能な周囲温度、車外情報センサ1と観測対象との間の測定可能距離等である。
 予測処理部34は、データ受信部32から自車データCDRTを受信する機能を有している。予測処理部34は、更新処理部36から航跡データTDRT-1を受信する機能を有している。航跡データTDRT-1には、航跡データTDのうち、今回の関連時刻RTよりも1つ前に相当する前回の関連時刻RT、即ち、関連時刻RT-1が関連付けられている。予測処理部34は、関連時刻RTにおける自車データCDRTと、関連時刻RT-1における航跡データTDRT-1とに基づいて、周知のアルゴリズムによって、関連時刻RTにおける航跡データTDRTの予測データTDRTpredを生成する機能を有している。周知のアルゴリズムは、例えば、カルマンフィルタのように観測値から時系列的に変化する物体における中心点を推定することができるアルゴリズムである。
 相関処理部35は、検知データDDRTと、候補点DPHの位置HPを含む仮設定データDHと、航跡データTDRTの予測データTDRTpredとを受信する機能を有している。相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する機能を有している。検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係の有無は、SNN(Simple Nearest Neighbor)アルゴリズム、GNN(Global Nearest Neighbor)アルゴリズム、JPDA(Joint Probabilistic Data Association)アルゴリズム等を用いて判定される。
 具体的には、検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係の有無は、マハラノビス距離がゲート範囲に含まれるか否かに基づいて判定される。マハラノビス距離は、検知データDDRTに含まれる検知点DPの車外情報センサ1に対する位置Pと、航跡データTDRTの予測データTDRTpredに含まれる物体における中心点の位置Pとに基づいて導出される。導出されたマハラノビス距離がゲート範囲に含まれる場合、検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係は有ると判定される。導出されたマハラノビス距離がゲート範囲に含まれない場合、検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係は無いと判定される。
 ゲート範囲は、車外情報センサ1における観測可能範囲に設定されている。車外情報センサ1における観測可能範囲は、車外情報センサ1の種類によって異なっている。従って、ゲート範囲は、車外情報センサ1の種類に応じて異なっている。
 相関処理部35は、検知データDDRTと航跡データTDRTの予測データTDRTpredとに相関がある場合、検知データDDRTと航跡データTDRTの予測データTDRTpredとの対応関係があると決定する機能を有している。相関処理部35は、決定した対応関係に関するデータと共に、検知データDDRTと、候補点DPHの位置HPを含む仮設定データDHと、航跡データTDRTの予測データTDRTpredとを統合した相関データRDRTを生成する機能を有している。相関データRDRTは、相関処理部35によって更新処理部36に供給可能なデータ構成に生成されている。
 更新処理部36は、相関データRDRTを受信する機能を有している。更新処理部36は、検知点DPの位置Pと、候補点DPHの位置HPと、に基づいて、航跡データTDRTを更新する機能を有している。航跡データTDRTを更新する機能の詳細については後述する。
 報知制御装置4は、航跡データTDRTを受信する機能を有している。報知制御装置4は、航跡データTDRTに基づいて、報知データを生成する機能を有している。報知データは、報知内容を特定するデータであって、出力先のデバイスに応じた形式で生成される。報知制御装置4は、報知データを図示しないディスプレイに出力することによって、ディスプレイに報知データの内容を報知させる。これにより、報知データの内容は、車室内にいる運転手に視覚的に報知される。報知制御装置4は、報知データをスピーカに出力することによって、スピーカに報知データの内容を報知させる。これにより、報知データの内容は、車室内にいる運転手に聴覚的に報知される。
 車両制御装置5は、更新処理部36によって出力される航跡データTDRTを受信する機能を有している。車両制御装置5は、航跡データTDRTに基づいて、自車の動作を制御する機能を有している。車両制御装置5は、航跡データTDRTに基づいて、自車が物体を回避するように、自車の動作を制御する。
 図2は、図1の車外情報センサ1と物体との相対的な位置関係の一例を示す図である。
 ここで、車外情報センサ1を正面視したときの中央における点を原点Oとする。原点Oを通る左右方向の水平軸をYs軸とする。Ys軸は、車外情報センサ1を正面視したときに右方向を正の方向に定める。原点Oを通る上下方向の鉛直軸をZs軸とする。Zs軸は、車外情報センサ1を正面視したときに上方向を正の方向に定める。原点Oを通り、Ys軸及びZs軸と直交する前後方向の軸をXs軸とする。Xs軸は、車外情報センサ1の前方を正の方向に定める。
 図2の破線によって示すように、車外情報センサ1の観測可能範囲は、複数の仮想的な分解能セルに分割されている。分解能セルは、車外情報センサ1の分解能に基づいて特定されている。分解能セルは、車外情報センサ1の角度分解能及び距離分解能によって車外情報センサ1の観測可能範囲を分割している。車外情報センサ1の角度分解能及び距離分解能は、上記で説明したように、車外情報センサ1の測定原理によって異なっている。
 各分解能セルは、最小検知範囲MR(i,j)で特定される。ここで、iは、原点Oを基準とした周方向に沿って分解能セルの場所を特定する。jは、原点Oを基準とした同心円の径方向に沿って分解能セルの場所を特定する。従って、iの数は、車外情報センサ1の角度分解能に応じて変動する。このため、車外情報センサ1の角度分解能が高くなるほど、iの最大数は増加する。一方、jの数は、車外情報センサ1の距離分解能に応じて変動する。このため、車外情報センサ1の距離分解能が高くなるほど、jの最大数は増加する。なお、iの正負の符号については、Xs軸を基準とした時計回りを正の周方向とし、Xs軸を基準とした反時計周りを負の周方向とする。
 車外情報センサ1が車両Caを検知したときには、検知点DP(Ca)は、最小検知範囲MR(3,3)に含まれている。最小検知範囲MR(3,3)は、車両Caの後方左側しか含まない大きさに設定されている。よって、検知点DP(Ca)の位置Pと、車両Caとの位置関係が特定されるので、車両Caにおける検知点DP(Ca)の位置Pは、車両Caの後方左側に特定される。また、検知点DP(Ca)が最小検知範囲MR(3,3)に含まれているため、検知点DP(Ca)の車外情報センサ1に対する位置Pは、車外情報センサ1から車両Caまでの距離が最短となる最近点の位置Pであると特定される。
 一方、車外情報センサ1が車両Cbを検知したときには、検知点DP(Cb)は、最小検知範囲MR(2,7)に含まれている。原点Oを基準とした同心円の径方向に沿って比較すると、最小検知範囲MR(3,3)よりも最小検知範囲MR(2,7)の方が原点Oから離れている。最小検知範囲MR(i,j)、即ち、分解能セルが同心円の径方向に沿って原点Oから離れるほど、車外情報センサ1の角度分解能は低くなる。このため、最小検知範囲MR(2,7)における車外情報センサ1の角度分解能は、最小検知範囲MR(3,3)における車外情報センサ1の角度分解能よりも低い。
 また、最小検知範囲MR(2,7)は、車両Cbの後方全体を含む大きさに設定されている。従って、検知点DP(Cb)の位置Pは、車両Cbの後方全体においてどの位置Pであるかが定まらない。従って、検知点DP(Cb)の位置Pと、車両Cbとの位置関係を特定することができない。これにより、車両Cbにおける検知点DP(Cb)の位置Pを特定することができない。
 そこで、車両Cbにおける検知点DP(Cb)の位置Pを特定するための処理について説明する。
 図3は、図2の車両Caに対応する車両Cmodel1における検知点DP(Cmodel1)の位置Pの第1の候補となる候補点DPH(1)の一例を示す図である。車外情報センサ1が物体として車両Cmodel1を検知したときには、検知点DP(Cmodel1)は、最小検知範囲MR(3,3)に含まれている。最小検知範囲MR(3,3)は、車両Cmodel1の後方左側しか含まない大きさに設定されている。従って、上記で説明したように、車両Cmodel1における検知点DP(Cmodel1)の位置Pとして、最近点が想定される。車両Cmodel1における検知点DP(Cmodel1)の位置Pとして最近点が想定される場合には、候補点DPH(1)の位置HPが、車両Cmodel1における検知点DP(Cmodel1)の位置Pの第1の候補となる。
 換言すれば、図3の一例では、候補点DPH(1)の位置HPは、車両Cmodel1における検知点DP(Cmodel1)の位置Pの第1の候補である。
 図4は、図2の車両Cbに対応する車両Cmodel1における検知点DP(Cmodel1)の位置Pの第2の候補となる候補点DPH(2)の一例を示す図である。車外情報センサ1が物体として車両Cmodel1を検知したときには、検知点DP(Cmodel1)は、最小検知範囲MR(2,7)に含まれている。最小検知範囲MR(2,7)は、車両Cmodel1の後方全体を含む大きさに設定されている。従って、上記で説明したように、検知点DP(Cmodel1)の位置Pは、車両Cmodelの後方全体においてどの位置Pであるかが定まらない。検知点DP(Cmodel1)の位置Pが車両Cmodelの後方全体においてどの位置Pであるかが定まらない場合には、候補点DPH(2)の位置HPが、車両Cmodel1における検知点DP(Cmodel1)の位置Pの第2の候補となる。候補点DPH(2)の位置HPは、車両Cmodel1の後部における後面中央点を想定している。後面中央点とは、車両Cmodel1の後部を正面視したときの中央における点である。
 換言すれば、図4の一例では、候補点DPH(2)の位置HPは、車両Cmodel1における検知点DP(Cmodel1)の位置Pの第2の候補である。
 図5は、車両Cmodel1における検知点DP(Cmodel1)の位置Pの他の候補となる候補点DPH(3)の一例を示す図である。車外情報センサ1が物体として車両Cmodel1を検知したときには、検知点DP(Cmodel1)は、最小検知範囲MR(-1,7)に含まれている。例えば、最小検知範囲MR(-1,3)よりも最小検知範囲MR(-1,7)の方が原点Oから離れている。このため、最小検知範囲MR(-1,7)における車外情報センサ1の角度分解能は、最小検知範囲MR(-1,3)における車外情報センサ1の角度分解能よりも低い。
 具体的には、最小検知範囲MR(-1,7)は、車両Cmodel1の前方全体を含む大きさに設定されている。従って、検知点DP(Cmodel1)の位置Pは、車両Cmodel1の前方全体においてどの位置Pであるかが定まらない。検知点DP(Cmodel1)の位置Pが車両Cmodelの前方全体においてどの位置Pであるかが定まらない場合には、候補点DPH(3)の位置HPが、車両Cmodel1における検知点DP(Cmodel1)の位置Pの他の候補となる。候補点DPH(3)の位置HPは、車両Cmodel1の前部における前面中央点を想定している。前面中央点とは、車両Cmodel1の前部を正面視したときの中央における点である。
 換言すれば、図5の一例では、候補点DPH(3)の位置HPは、車両Cmodel1における検知点DP(Cmodel1)の位置Pの他の候補である。
 図3及び図4を参照すると、車外情報センサ1が自車の前方を監視するミリ波レーダーである場合、候補点DPH(1)及び候補点DPH(2)のそれぞれの位置HPが車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補となる。
 また、図4を参照すると、車外情報センサ1が自車の前方を監視するカメラであれば、候補点DPH(2)の位置HPが車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補となる。
 また、図3及び図5を参照すると、車外情報センサ1が自車の後方を監視するミリ波レーダーであれば、候補点DPH(1)及び候補点DPH(3)のそれぞれの位置HPが車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補となる。
 このように、検知点DP(Cmodel1)の位置Pの候補点DPHが複数ある場合には、複数の候補点DPH(N)のうち、1つの候補点DPHを選択する処理が実行されないと、車両Cmodel1における検知点DP(Cmodel1)の位置Pを特定することができない。そこで、複数ある候補点DPH(N)のうち、1つの候補点DPHを選択して車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補に採用する処理について説明する。
 図6は、Nを自然数としたとき図3から図5の候補点DPH(N)の信頼度DOR(N)の設定例を示す図である。図6の一例では、信頼度DOR(N)には、0以上1以下の実数が設定されている。上記で説明したように、車外情報センサ1が自車の前方を監視するミリ波レーダーであれば、候補点DPH(1)及び候補点DPH(2)が車両Cmodel1における検知点DP(Cmodel1)の候補となる。
 そこで、候補点DPH(1)に対する信頼度DOR(1)と、候補点DPH(2)に対する信頼度DOR(2)とが比較されることによって、候補点DPH(1)及び候補点DPH(2)のいずれか一方が選択され、車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補として設定される。これにより、候補点DPH(1)及び候補点DPH(2)のいずれか一方が採用される。
 具体的には、上記で説明したように、分解能セルが同心円の径方向に沿って原点Oから離れるほど、車外情報センサ1の角度分解能は低くなる。言い換えれば、分解能セルが同心円の径方向に沿って原点Oに近づくほど、車外情報センサ1の角度分解能は高くなる。
 従って、車外情報センサ1から検知点DP(Cmodel1)までの距離が近ければ、車両Cmodel1の後部は分解能セルに埋もれない。従って、車外情報センサ1から検知点DP(Cmodel1)までの距離が近ければ、信頼度DORは高い。
 換言すれば、候補点DPHの信頼度DORは、車外情報センサ1から検知点DPまでの距離に基づいて求まる。
 そこで、車外情報センサ1から検知点DP(Cmodel1)までの距離が図6の判定閾値距離DTH1未満である場合、候補点DPH(1)に対する信頼度DOR(1)が1に設定され、候補点DPH(2)に対する信頼度DOR(2)が0に設定されている。この場合、信頼度DOR(2)よりも信頼度DOR(1)の方が信頼度DORは高いため、信頼度DOR(1)が選択される。信頼度DOR(1)が選択されて設定される場合、信頼度DOR(1)に対応する候補点DPH(1)が採用される。車両Cmodel1における候補点DPH(1)の位置HPは、車両Cmodel1における最近点の位置Pである。
 従って、車両Cmodel1における検知点DP(Cmodel1)の位置Pは、採用された候補点DPH(1)の位置HPによって、車両Cmodel1における最近点の位置Pにあると仮定される。
 換言すれば、車外情報センサ1から検知点DP(Cmodel1)までの距離が図6の判定閾値距離DTH1未満である場合、車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補として、複数の候補点DPH(N)のうち、候補点DPH(1)の位置HPが採用される。これにより、車両Cmodel1における検知点DP(Cmodel1)の位置Pは、車両Cmodel1における最近点の位置Pにあると仮定される。
 一方、車外情報センサ1から検知点DP(Cmodel1)までの距離が遠ければ、車両Cmodel1の後部は分解能セルに埋もれる。従って、車外情報センサ1から検知点DP(Cmodel1)までの距離が遠ければ、信頼度DORは低い。
 そこで、車外情報センサ1から検知点DP(Cmodel1)までの距離が図6の判定閾値距離DTH2以上である場合、候補点DPH(1)に対する信頼度DOR(1)が0に設定され、候補点DPH(2)に対する信頼度DOR(2)が1に設定されている。この場合、信頼度DOR(1)よりも信頼度DOR(2)の方が信頼度DORは高いため、信頼度DOR(2)が選択される。信頼度DOR(2)が選択されて設定される場合、信頼度DOR(2)に対応する候補点DPH(2)が採用される。車両Cmodel1における候補点DPH(2)の位置HPは、車両Cmodel1における後面中央点の位置Pである。
 従って、車両Cmodel1における検知点DP(Cmodel1)の位置Pは、採用された候補点DPH(2)の位置HPによって、車両Cmodel1における後面中央点の位置Pにあると仮定される。
 換言すれば、車外情報センサ1から検知点DP(Cmodel1)までの距離が図6の判定閾値距離DTH2以上である場合、車両Cmodel1における検知点DP(Cmodel1)の位置Pの候補として、複数ある候補点DPH(N)のうち、候補点DPH(2)の位置HPが採用される。これにより、車両Cmodel1における検知点DP(Cmodel1)の位置Pは、車両Cmodel1における後面中央点の位置Pにあると仮定される。
 なお、図6の判定閾値距離DTH1は、同心円の径方向に沿った原点Oからの距離のうち、図3又は図5の最小検知範囲MR(3,3)を含む距離に設定されている。つまり、図6の判定閾値距離DTH1は、同心円の径方向に沿った原点Oからの距離のうち、図3、図4及び図5の最小検知範囲MR(i,3)を含む距離に設定されている。
 一方、図6の判定閾値距離DTH2は、同心円の径方向に沿った原点Oからの距離のうち、図4の最小検知範囲MR(2,7)を含む距離に設定されている。つまり、図6の判定閾値距離DTH2は、同心円の径方向に沿った原点Oからの距離のうち、図3、図4及び図5の最小検知範囲MR(i,7)を含む距離に設定されている。
 換言すれば、判定閾値距離DTH2は、判定閾値距離DTH1よりも原点Oから離れた距離に設定されている。具体的には、信頼度DOR(1)は、判定閾値距離DTH1未満においては1に設定され、判定閾値距離DTH1以降においては下がり始め、判定閾値距離DTH2以降においては0に設定されている。一方、信頼度DOR(2)は、判定閾値距離DTH1未満においては0に設定され、判定閾値距離DTH1以降においては上がり始め、判定閾値距離DTH2以降においては1に設定されている。このように、信頼度DOR(1)及び信頼度DOR(2)のそれぞれは、判定閾値距離DTH1未満と判定閾値距離DTH2以降とでは、互いに逆の傾向を示すように設定されている。判定閾値距離DTH1以上と判定閾値距離DTH2未満における信頼度DOR(1)及び信頼度DOR(2)のそれぞれは、車外情報センサ1における距離分解能と角度分解能との比率に基づいて決定される。
 図7は、図1の航跡データTDの一例を示す図である。航跡データTDは、車両Cmodel2における中心点の位置P、車両Cmodel2における中心点の速度V、車両Cmodel2の幅W及び車両Cmodel2の長さLの4つを含んでいる。車両Cmodel2における中心点の位置P、車両Cmodel2における中心点の速度V、車両Cmodel2の幅W及び車両Cmodel2の長さLの4つのうち、車両Cmodel2における中心点の速度V、車両Cmodel2の幅W及び車両Cmodel2の長さLの3つは、物体特定要素である。車両Cmodel2における中心点の位置P及び車両Cmodel2における中心点の速度Vは、ミリ波レーダー又はLIDARによって観測可能な物体の状態を示す。車両Cmodel2の幅W及び車両Cmodel2の長さLは、カメラによって観測可能な物体の大きさを示す。
 従って、航跡データTDとは、複数の異なる種類の車外情報センサ1の観測結果が統合されて形成されたデータである。例えば、航跡データTDは、TD(P,V,W,L)のようなベクトルデータとして構成されている。
 図8は、図1の検知データDDの補正例を示す図である。検知データDDに含まれる各物体特定要素は、航跡データTDに含まれる各物体特定要素と対応している。具体的には、検知データDDは、検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V、車両Cmodel2の幅W及び車両Cmodel2の長さLのうち、検知点DPの速度V、車両Cmodel2の幅W及び車両Cmodel2の長さLを物体特定要素として含んでいる。
 従って、例えば、検知データDDは、航跡データTDと同様に、DD(P,V,W,L)のようなベクトルデータとして構成されている。
 図8の一例では、補正前の検知データDDbeforeのうち検知点DPの車外情報センサ1に対する位置Pは、候補点DPH(1)の位置HPに基づいて特定された後、補正後の検知データDDafterとして、物体における中心点に補正されている。この検知データDDafterに含まれる検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、図7の航跡データTDは更新される。
 換言すれば、更新処理部36は、検知点DPの車外情報センサ1に対する位置Pを物体における候補点DPHの位置HPに基づいて補正し、検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、物体の航跡を示す航跡データTDを更新する。
 具体的には、更新処理部36は、1つの検知点DPに対応する候補点DPHの数が複数ある場合、物体の航跡を示す航跡データTDを更新する前段階として、複数の候補点DPHのそれぞれの信頼度DORと、物体における複数の候補点DPHのそれぞれの位置HPとに基づいて、検知点DPの車外情報センサ1に対する位置Pを補正する。
 より具体的には、更新処理部36は、物体における複数の候補点DPHのうち、最も信頼度DORの高い候補点DPHの位置HPに基づいて、検知点DPの車外情報センサ1に対する位置Pを補正する。
 例えば、最も信頼度DORが高い候補点DPHが候補点DPH(1)である場合、候補点DPH(1)が採用される。候補点DPH(1)の位置HPは、上記で説明したように、車両Cmodel2における最近点の位置Pである。これにより、車両Cmodel2における検知点DPの位置Pは、車両Cmodel2における最近点の位置Pになると仮定される。
 この最近点は、図8の一例では、車両Cmodel2における後部左端に該当する。従って、車両Cmodel2における後部左端の位置Pの座標は、車外情報センサ1を原点Oとしている。車両Cmodel2における後部左端の位置Pの座標は、検知点DPの車外情報センサ1に対する位置Pの座標から定まる。車両Cmodel2における後部左端の位置Pの座標が定まれば、車外情報センサ1により検知された車両Cmodel2の幅W及び長さLを用いることにより、車両Cmodel2における後部左端の位置Pから車両Cmodel2における中心点までの補正量が正確に定まる。このように、検知点DPの位置Pから候補点DPH(1)の位置HPを介して車両Cmodel2における中心点の位置Pが特定される。
 具体的には、補正前の検知データDDbeforeに含まれる検知点DPの車外情報センサ1に対する位置Pにおいて、Xs軸方向の位置PXsに車両Cmodel2の長さLの1/2が加算される。また、補正前の検知データDDbeforeに含まれる検知点DPの車外情報センサ1に対する位置Pにおいて、Ys軸方向の位置PYsに車両Cmodel2の幅Wの1/2が減算される。この結果、検知点DPの位置Pから候補点DPHの位置HPを介して車両Cmodel2における中心点の位置Pが特定される。
 また、例えば、最も信頼度DORが高い候補点DPHが候補点DPH(2)である場合、候補点DPH(2)が採用される。候補点DPH(2)の位置HPは、上記で説明したように、後面中央点の位置Pである。これにより、車両Cmodel2における検知点DPの位置Pは、車両Cmodel2における後面中央点の位置Pに仮定される。
 従って、車両Cmodel2における後面中央点の位置Pは、車外情報センサ1を原点Oとしている。車両Cmodel2における後面中央点の位置Pは、検知点DPの車外情報センサ1に対する位置Pの座標から定まる。車両Cmodel2における後面中央点の位置Pの座標が定まれば、車外情報センサ1により検知された車両Cmodel2の幅W及び車外情報センサ1により検知された車両Cmodel2の長さLを用いることにより、車両Cmodel2における後面中央点の位置Pから車両Cmodel2における中心点までの補正量が正確に定まる。このように、検知点DPの位置Pから候補点DPH(2)の位置HPを介して車両Cmodel2における中心点の位置Pが特定される。
 具体的には、補正前の検知データDDbeforeに含まれる位置Pにおいて、Xs軸方向の位置PXsに車両Cmodel2の長さLの1/2が加算される。また、補正前の検知データDDbeforeに含まれる位置Pにおいて、Ys軸方向の位置PYsについては、候補点DPH(2)が採用されているため、そのままとなる。この結果、検知された検知点DPの位置Pから候補点DPH(2)の位置HPを介して車両Cmodel2における中心点の位置Pが特定される。
 換言すれば、更新処理部36は、物体における検知点DPの位置Pを、選択した候補点DPHの位置HPに仮定する。これにより、物体における検知点DPの位置Pは候補点DPHの位置HPに特定される。この結果、物体と、検知点DPの位置Pとの位置関係が特定されることにより、物体における検知点DPの位置Pが特定される。
 また、検知点DPの車外情報センサ1に対する位置Pは観測されている。従って、物体における検知点DPの位置Pと、物体の中心点の位置Pとの位置関係が特定されれば、検知点DPの車外情報センサ1に対する位置Pを物体の中心点の位置Pに補正することができる。
 そこで、更新処理部36は、物体における特定された検知点DPの位置Pを物体の中心点の位置Pに補正するための補正量を求める。
 更新処理部36は、求めた補正量を用いることによって、物体における検知点DPの位置Pを物体の中心点の位置Pに補正する。これにより、更新処理部36は、検知点DPの車外情報センサ1に対する位置Pを補正する。更新処理部36は、検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、物体の航跡を示す航跡データTDを更新する。
 ただし、詳しくは上記で説明したように、車外情報センサ1の種類、具体的には、車外情報センサ1の測定原理によって、観測可能な検知データDDに含まれる物体特定要素が異なる。物体特定要素は、上記で説明したように、物体の状態及び大きさの少なくとも1つを特定する。
 そこで、更新処理部36は、物体の状態及び大きさの少なくとも1つを特定する物体特定要素に基づいて、検知点DPの車外情報センサ1に対する位置Pを補正する。更新処理部36は、検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、航跡データTDを更新する。
 例えば、検知データDDには、検知点DPの車外情報センサ1に対する位置P及び検知点DPの速度Vのみが含まれている場合、検知点DPの位置Pは候補点DPHの位置HPに仮定される。これにより、候補点DPHの位置HPを介して、検知点DPの位置Pと、車両Cmodel2との位置関係が特定される。この結果、車両Cmodel2における検知点DPの位置Pが特定されるので、車両Cmodel2における検知点DPの位置Pを介して、検知点DPの車外情報センサ1に対する位置Pを車両Cmodel2における中心点の位置Pに補正する補正量が求まる。この補正量を用いて、車両Cmodel2における検知点DPの位置Pを車両Cmodel2における中心点の位置Pに補正することにより、検知点DPの車外情報センサ1に対する位置Pが補正される。この中心点の位置Pは、検知点DPの車外情報センサ1に対する補正後の位置Pである。この中心点の位置Pに基づいて、航跡データTDは更新される。
 また、例えば、検知データDDには、検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V及び車両Cmodel2の幅Wのみが含まれている場合、検知点DPのYs軸方向の位置PYsについては、車両Cmodel2におけるYs軸方向の中央点の位置Pに特定され、検知点DPのXs軸方向の位置PXsについては、候補点DPHのXs軸方向の位置PXsに仮定される。これにより、車両Cmodel2におけるYs軸方向の中央点の位置Pと、候補点DPHのXs軸方向の位置PXsとを介して、検知点DPの位置Pと、車両Cmodel2との位置関係が特定される。この結果、車両Cmodel2における検知点DPの位置Pが特定されるので、車両Cmodel2における検知点DPの位置Pを介して、検知点DPの車外情報センサ1に対する位置Pを車両Cmodel2における中心点の位置Pに補正する補正量が求まる。この補正量を用いて、車両Cmodel2における検知点DPの位置Pを車両Cmodel2における中心点の位置Pに補正することにより、検知点DPの車外情報センサ1に対する位置Pが補正される。この中心点の位置Pは、検知点DPの車外情報センサ1に対する補正後の位置Pである。この中心点の位置Pに基づいて、航跡データTDは更新される。
 また、例えば、検知データDDには、検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V及び車両Cmodel2の長さLのみが含まれている場合、検知点DPのXs軸方向の位置PXsについては、車両Cmodel2におけるXs軸方向の中央点の位置Pに特定され、検知点DPのYs軸方向の位置PYsについては、候補点DPHのYs軸方法の位置PYsに特定される。これにより、車両Cmodel2におけるXs軸方向の中央点の位置Pと、候補点DPHのYs軸方法の位置PYsとを介して、検知点DPの位置Pと、車両Cmodel2との位置関係が特定される。この結果、車両Cmodel2における検知点DPの位置Pが特定されるので、車両Cmodel2における検知点DPの位置Pを介して、検知点DPの車外情報センサ1に対する位置Pを車両Cmodel2における中心点の位置Pに補正する補正量が求まる。この補正量を用いて、車両Cmodel2における検知点DPの位置Pを車両Cmodel2における中心点の位置Pに補正することにより、検知点DPの車外情報センサ1に対する位置Pが補正される。この中心点の位置Pは、検知点DPの車外情報センサ1に対する補正後の位置Pである。この中心点の位置Pに基づいて、航跡データTDは更新される。
 また、例えば、検知データDDには、検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V、車両Cmodel2の幅W及び長さLのみが含まれている場合、検知点DPのYs軸方向の位置PYsについては、車両Cmodel2におけるYs軸方向の中央点の位置Pに特定され、検知点DPのXs軸方向の位置PXsについては、車両Cmodel2におけるXs軸方向の中央点の位置Pに特定される。これにより、車両Cmodel2におけるYs軸方向の中央点の位置Pと、車両Cmodel2におけるXs軸方向の中央点の位置Pとを介して、検知点DPの位置Pと、車両Cmodel2との位置関係が特定される。この結果、車両Cmodel2における検知点DPの位置Pが特定されるので、車両Cmodel2における検知点DPの位置Pを介して、検知点DPの車外情報センサ1に対する位置Pを車両Cmodel2における中心点の位置Pに補正する補正量が求まる。この補正量を用いて、車両Cmodel2における検知点DPの位置Pを車両Cmodel2における中心点の位置Pに補正することにより、検知点DPの車外情報センサ1に対する位置Pが補正される。この中心点の位置Pは、検知点DPの車外情報センサ1に対する補正後の位置Pである。この中心点の位置Pに基づいて、航跡データTDは更新される。
 航跡データTDは、具体的には、最小二乗法、カルマンフィルタ、粒子フィルタ等の追尾処理によって更新される。
 なお、最も信頼度DORの高い候補点DPHの位置HPではなく、複数の候補点DPHのそれぞれの位置Pに対して信頼度DORで重み付け平均した候補点DPHの位置HPを用いてもよい。具体的には、更新処理部36は、各信頼度DORに応じて、物体における複数の候補点DPHのそれぞれの位置Pに対して重み付け平均することにより、検知点DPの車外情報センサ1に対する位置Pを補正する。
 次に、検知データDDに含まれる物体特定要素と、航跡データTDに含まれる物体特定要素との組み合わせによって、航跡データTDの更新内容が変わる一例について説明する。図9は、図8の検知データDDに基づいた図7の航跡データTDの更新例を示す図である。図9の一例では、車外情報センサ1から取得できない物体特定要素に対応して個別に予め設定値が設定されている。なお、車外情報センサ1から取得できない場合、物体特定要素が無いものとして処理されている。
 更新処理部36は、物体の幅W及び長さLの少なくとも1つを物体特定要素として車外情報センサ1から取得できた場合、検知データDDと航跡データTDとの相関があれば、車外情報センサ1から取得できた物体特定要素に基づいて、航跡データTDを更新する。
 一方、更新処理部36は、物体の幅W及び長さLの少なくとも1つを物体特定要素として車外情報センサ1から取得できない場合、物体の幅W及び長さLのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素の値を特定する。
 図10は、図7の航跡データTDに向きθがさらに含まれている一例を示す図である。車両Cmodel2の幅Wは、車両Cmodel2の向きθに対して垂直な車両Cmodel2の大きさとなる。車両Cmodel2の長さLは、車両Cmodel2の向きθに対して平行な車両Cmodel2の大きさとなる。
 車外情報センサ1の測定原理によって、車両Cmodel2の向きθが取得できる場合には、検知データDDの物体特定要素として車両Cmodel2の向きθが追加される。車外情報センサ1の測定原理によって、車両Cmodel2の向きθが取得できない場合には、車両Cmodel2、即ち、物体の対地速度に応じて向きθの設定が変わる。
 物体の対地速度がゼロでない場合には、対地速度ベクトルの方向として、車両Cmodel2の向きθは観測可能となるので取得できる。一方、物体の対地速度がゼロ、即ち、物体が静止物体である場合には、初期角度0[deg]が予め設定された設定値として仮設定データDHに含まれる。
 図11は、図7の航跡データTDに高さHがさらに含まれている一例を示す図である。車両Cmodel2の向きθは路面RSに平行であって、車両Cmodel2の高さHに垂直とする。
 車外情報センサ1の測定原理によって、車両Cmodel2の高さHが取得できる場合には、検知データDDの物体特定要素として車両Cmodel2の高さHが追加される。車外情報センサ1の測定原理によって、車両Cmodel2の高さHが取得できない場合には、初期高さ1.5[m]が予め設定された設定値として仮設定データDHに含まれる。
 図12は、図7の航跡データTDに上端ZHの位置及び下端ZLの位置がさらに含まれている一例を示す図である。ただし、上端ZHの位置≧下端ZLの位置とする。ここで、下端ZLの位置が0[m]よりも大きい場合には、物体は看板又は道路標識のように物体よりも上方に存在する物であると判定される。
 車外情報センサ1の測定原理によって上端ZHの位置及び下端ZLの位置が取得できる場合には、検知データDDの検知要素として上端ZHの位置及び下端ZLの位置が追加される。車外情報センサ1の測定原理によって上端ZHの位置及び下端ZLの位置が取得できない場合には、初期上端ZHDEF=1.5[m]と初期下端ZLDEF=0[m]とが予め設定された設定値として仮設定データDHに含まれる。
 図13は、図1の物体認識装置3による処理を説明するフローチャートである。ステップS11において、時刻計測部31は、現在時刻が処理時刻tkに到達したか否かを判定する。時刻計測部31によって現在時刻が処理時刻tkに到達したと判定される場合、ステップS11の処理はステップS12の処理に移行する。時刻計測部31によって現在時刻が処理時刻tkに到達していないと判定される場合、ステップS11の処理は継続する。
 ステップS12において、データ受信部32は、それぞれの車外情報センサ1から検知データddを受信する。次に、ステップS12の処理は、ステップS13の処理に移行する。
 ステップS13において、データ受信部32は、各車外情報センサ1から検知データddを受信した時刻を今回の関連時刻RTとして検知データDDに関連付ける。次に、ステップS13の処理は、ステップS14の処理に移行する。
 ステップS14において、データ受信部32は、全ての車外情報センサ1を未使用にマークする。次に、ステップS14の処理は、ステップS15の処理に移行する。
 ステップS15において、データ受信部32は、未使用の車外情報センサ1が存在するか否かを判定する。データ受信部32によって未使用の車外情報センサ1が存在すると判定される場合、ステップS15の処理は、ステップS16の処理に移行する。データ受信部32によって未使用の車外情報センサ1が存在しないと判定される場合、ステップS15の処理は、別の処理に移行せず、終了する。
 ステップS16において、予測処理部34は、前回の関連時刻RTにおける航跡データTDから今回の関連時刻RTにおける航跡データTDの予測データTDRTpredを計算する。次に、ステップS16の処理は、ステップS17の処理に移行する。
 ステップS17において、仮設定部33は、使用する車外情報センサ1を選択する。次に、ステップS17の処理は、ステップS18の処理に移行する。
 ステップS18において、仮設定部33は、選択した車外情報センサ1の分解能に基づいて、選択した車外情報センサ1が検知した物体における少なくとも1つの候補点DPHの位置HPを設定する。次に、ステップS18の処理は、ステップS19の処理に移行する。
 ステップS19において、相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する。相関処理部35によって検知データDDRTと航跡データTDの予測データTDRTpredとに相関があると判定される場合、ステップS19の処理は、ステップS20の処理に移行する。相関処理部35によって検知データDDRTと航跡データTDの予測データTDRTpredとに相関がないと判定される場合、ステップS19の処理は、ステップS22の処理に移行する。
 ステップS20において、更新処理部36は、図14を用いて後述する位置補正処理を実行する。次に、ステップS20の処理は、ステップS21の処理に移行する。
 ステップS21において、更新処理部36は、今回の関連時刻RTにおいて検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、今回の関連時刻RTにおける航跡データTDを更新する。次に、ステップS21の処理は、ステップS22の処理に移行する。
 ステップS22において、仮設定部33は、検知データDDには物体特定要素が含まれているか否かを判定する。仮設定部33によって検知データDDには物体特定要素が含まれていると判定される場合、ステップS22の処理は、図15を用いて後述されるステップS51の処理に移行する。仮設定部33によって検知データDDには物体特定要素が含まれていないと判定される場合、ステップS22の処理は、ステップS23の処理に移行する。
 ステップS23において、データ受信部32は、選択した車外情報センサ1を使用済みにマークする。次に、ステップS23の処理は、ステップS15の処理に移行する。
 図14は、図13のステップS20における位置補正処理を説明するフローチャートである。ステップS31において、更新処理部36は、候補点DPHの数が複数あるか否かを判定する。更新処理部36によって候補点DPHの数が複数あると判定される場合、ステップS31の処理は、ステップS32の処理に移行する。更新処理部36によって候補点DPHの数が複数ないと判定される場合、ステップS31の処理は、ステップS37の処理に移行する。
 ステップS32において、更新処理部36は、選択された車外情報センサ1から検知点DPまでの距離に基づいて、複数の候補点DPHのそれぞれの信頼度DORを求める。次に、ステップS32の処理は、ステップS33の処理に移行する。
 ステップS33において、更新処理部36は、重み付け平均を実行するか否かを判定する。仮設定部33によって重み付け平均を実行すると判定される場合、ステップS33の処理は、ステップS34の処理に移行する。仮設定部33によって重み付け平均を実行しないと判定される場合、ステップS33の処理は、ステップS36の処理に移行する。
 ステップS34において、更新処理部36は、各信頼度DORに応じて、物体における複数の候補点DPHのそれぞれの位置Pに対して重み付け平均することにより、検知点DPの車外情報センサ1に対する位置Pに対する補正量を求める。次に、ステップS34の処理は、ステップS35の処理に移行する。
 ステップS35において、更新処理部36は、検知点DPの車外情報センサ1に対する位置Pに対する補正量に基づいて、今回の関連時刻RTにおける検知データDDに含まれる検知点DPの車外情報センサ1に対する位置Pを補正する。次に、ステップS35の処理は、別の処理に移行せず、位置補正処理を終了する。
 ステップS36において、更新処理部36は、複数の候補点DPHの位置HPのうち、最も信頼度DORの高い候補点DPHの位置HPに基づいて、検知点DPの車外情報センサ1に対する位置Pに対する補正量を求める。次に、ステップS36の処理は、ステップS35の処理に移行する。
 ステップS37において、更新処理部36は、設定された候補点DPHを採用する。次に、ステップS37の処理は、ステップS38の処理に移行する。
 ステップS38において、更新処理部36は、採用した候補点DPHの位置HPに基づいて、検知点DPの車外情報センサ1に対する位置Pに対する補正量を求める。次に、ステップS38の処理は、ステップS35の処理に移行する。
 図15は、図13のステップS22における判定処理の判定結果がYesである場合により分岐された処理を説明するフローチャートである。ステップS51において、仮設定部33は、選択した車外情報センサ1から受信した検知データddには検知点DPの速度Vが含まれているか否かを判定する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddには検知点DPの速度Vが含まれていると判定される場合、ステップS51の処理は、ステップS52の処理に移行する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddには検知点DPの速度Vが含まれていないと判定される場合、ステップS51の処理は、図16を用いて後述されるステップS81の処理に移行する。
 ステップS52において、相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する。相関処理部35によって検知データDDRTと航跡データTDの予測データTDRTpredとに相関があると判定される場合、ステップS52の処理は、ステップS53の処理に移行する。相関処理部35によって検知データDDRTと航跡データTDの予測データTDRTpredとに相関がないと判定される場合、ステップS52の処理は、ステップS54の処理に移行する。
 ステップS53において、更新処理部36は、今回の関連時刻RTにおける検知点DPの速度Vに基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体における中心点の速度Vを更新する。次に、ステップS53の処理は、ステップS54の処理に移行する。
 ステップS54において、仮設定部33は、選択した車外情報センサ1から受信した検知データddには他の物体特定要素が含まれているか否かを判定する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddには他の物体特定要素が含まれていると判定される場合、ステップS54の処理は、図16を用いて後述されるステップS81の処理に移行する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddには他の物体特定要素が含まれていないと判定される場合、ステップS54の処理は、ステップS55の処理に移行する。
 ステップS55において、データ受信部32は、選択した車外情報センサ1を使用済みにマークする。次に、ステップS55の処理は、図13のステップS15の処理に戻る。
 図16は、図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。ステップS81において、仮設定部33は、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W及び長さLの少なくとも1つを物体特定要素として車外情報センサ1から取得できたか否かを判定する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W及び長さLの少なくとも1つを物体特定要素として車外情報センサ1から取得できたと判定される場合、ステップS81の処理は、ステップS82の処理に移行する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W及び長さLの少なくとも1つを物体特定要素として車外情報センサ1から取得できないと判定される場合、ステップS81の処理は、ステップS85の処理に移行する。
 ステップS82において、相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があると判定される場合、ステップS82の処理は、ステップS83の処理に移行する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関がないと判定される場合、ステップS82の処理は、ステップS84の処理に移行する。
 ステップS83において、更新処理部36は、今回の関連時刻RTにおける物体の幅W及び長さLのうち、車外情報センサ1から取得できた物体特定要素に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、車外情報センサ1から取得できた物体特定要素に対応する物体特定要素を更新する。次に、ステップS83の処理は、ステップS84の処理に移行する。
 ステップS84において、データ受信部32は、選択した車外情報センサ1を使用済みにマークする。次に、ステップS84の処理は、図13のステップS15の処理に戻る。
 ステップS85において、更新処理部36は、物体の幅W及び長さLのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素を特定する。次に、ステップS85の処理は、ステップS86の処理に移行する。
 ステップS86において、更新処理部36は、特定した物体特定要素の値に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、特定した物体特定要素に対応する物体特定要素を更新する。次に、ステップS86の処理は、ステップS84の処理に移行する。
 以上の説明から、物体認識装置3において、仮設定部33は、物体を検知した車外情報センサ1の仕様に基づいて、物体における少なくとも1つの候補点DPHの位置HPを設定する。また、物体認識装置3において、更新処理部36は、車外情報センサ1が物体を検知したときの検知点DPの車外情報センサ1に対する位置を物体における候補点DPHの位置HPに基づいて補正する。更新処理部36は、検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、物体の航跡を示す航跡データTDを更新する。
 車外情報センサ1は、上記で説明したように、車外情報センサ1の仕様によって異なる分解能となる。そこで、更新処理部36は、航跡データTDを更新する前段階で、候補点DPHの位置に基づいて、検知点DPの位置Pを補正する。仮設定部33は、更新処理部36により検知点DPの位置Pが補正される前段階で、物体を検知した車外情報センサ1の仕様に基づいて、物体における少なくとも1つの候補点DPHの位置HPを設定する。従って、車外情報センサ1の仕様に含まれる分解能に起因するずれを補正した検知点DPの車外情報センサ1に対する補正後の位置Pに基づいて、航跡データTDを更新することができる。これにより、物体の航跡データTDの精度を向上させることができる。
 更新処理部36は、1つの検知点DPに対応する候補点DPHの数が複数ある場合、複数の候補点DPHのそれぞれの信頼度DORと、物体における複数の候補点DPHのそれぞれの位置Pとに基づいて、検知点DPの車外情報センサ1に対する位置Pを補正する。従って、候補点DPHの位置HPの信頼度DORも考慮された上で、検知点DPの車外情報センサ1に対する位置Pを補正する。これにより、複数の候補点DPHのそれぞれを効果的に利用することができる。
 また、更新処理部36は、物体における複数の候補点DPHの位置HPのうち、最も信頼度DORの高い候補点DPHの位置HPに基づいて、検知点DPの車外情報センサ1に対する位置Pを補正する。
 1つの物体における候補点DPHが複数あれば、1つの物体における複数の候補点DPHの位置HPのそれぞれの設定精度は、異なる可能性がある。よって、更新処理部36は、1つの物体における複数の候補点DPHの位置HPのうち、信頼度DORが最大の候補点DPHの位置HPに基づいて、検知点DPの車外情報センサ1に対する位置Pを補正する。従って、1つの物体における最も設定精度の高い候補点DPHの位置HPを利用することができる。これにより、同一の車外情報センサ1の分解能に基づいて設定された1つの物体における複数の候補点DPHの位置HPのうち最も設定精度の高い候補点DPHの位置HPを利用することができる。
 また、更新処理部36は、各信頼度DORに応じて、1つの物体における複数の候補点DPHのそれぞれの位置Pに対して重み付け平均することにより、検知点DPの車外情報センサ1に対する位置Pを補正する。
 1つの物体における候補点DPHが複数あれば、1つの物体における複数の候補点DPHの位置HPのそれぞれの設定精度は異なる。よって、更新処理部36は、1つの物体における複数の候補点DPHの位置HPに対して重み付け平均することにより、検知点DPの車外情報センサ1に対する位置Pを補正する。従って、1つの物体における複数の候補点DPHのうち、信頼度DORの低い候補点DPHの影響を弱め、信頼度DORの高い候補点DPHの影響を強めた上で、検知点DPの車外情報センサ1に対する位置Pを補正することができる。これにより、同一の車外情報センサ1の分解能に基づいて設定された1つの物体における複数の候補点DPHの位置HPのそれぞれの信頼度DORを反映させた上で検知点DPの車外情報センサ1に対する位置Pを補正することができる。
 また、更新処理部36は、車外情報センサ1から検知点DPまでの距離に基づいて、各信頼度DORを求める。
 車外情報センサ1の分解能は、車外情報センサ1から検知点DPまでの距離によって異なる分解能となる。例えば、車外情報センサ1がミリ波レーダーから構成されている場合には、検知点DPまでの距離が近ければ、検知点DPが最近点である可能性が高い。一方、検知点DPまでの距離が遠ければ、検知点DPが分解能セルに埋もれる。よって、検知点DPは、物体の中央から反射されている反射点として仮定される。従って、更新処理部36は、車外情報センサ1から検知点DPまでの距離に基づいて、各信頼度を求める。これにより、車外情報センサ1の性能に基づいて信頼度DORを求めることができる。
 また、更新処理部36は、物体の幅W及び長さLの少なくとも1つを物体特定要素として車外情報センサ1から取得できない場合、物体の幅W及び長さLのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素の値を特定する。
 従って、車外情報センサ1から物体の幅W及び長さLを取得できなかったとしても、誤差を抑えて航跡データTDを更新することができる。これにより、自車と、物体との相対的な位置関係を大きく外すことがないので、自車の自動運転の精度の低下を最小限に抑えることができる。
 実施の形態2.
 実施の形態2において、実施の形態1と同一又は同等の構成及び機能については、その説明を省略する。実施の形態2は、図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理が実施の形態1と異なる。他の構成は、実施の形態1と同様である。つまり、その他の構成は実施の形態1と同一又は同等の構成及び機能であり、これらの部分には同一符号を付している。
 図17は、実施の形態2による図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。ステップS91において、仮設定部33は、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL及び向きθの少なくとも1つを物体特定要素として車外情報センサ1から取得できたか否かを判定する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL及び向きθの少なくとも1つを物体特定要素として車外情報センサ1から取得できたと判定される場合、ステップS91の処理は、ステップS92の処理に移行する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL及び向きθの少なくとも1つを物体特定要素として車外情報センサ1から取得できないと判定される場合、ステップS91の処理は、ステップS95の処理に移行する。
 ステップS92において、相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があると判定される場合、ステップS92の処理は、ステップS93の処理に移行する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関がないと判定される場合、ステップS92の処理は、ステップS94の処理に移行する。
 ステップS93において、更新処理部36は、今回の関連時刻RTにおける物体の幅W、長さL及び向きθのうち、車外情報センサ1から取得できた物体特定要素に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、車外情報センサ1から取得できた物体特定要素に対応する物体特定要素を更新する。次に、ステップS93の処理は、ステップS94の処理に移行する。
 ステップS94において、データ受信部32は、選択した車外情報センサ1を使用済みにマークする。次に、ステップS94の処理は、図13のステップS15の処理に戻る。
 ステップS95において、更新処理部36は、物体の幅W、長さL及び向きθのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素を特定する。次に、ステップS95の処理は、ステップS96の処理に移行する。
 ステップS96において、更新処理部36は、特定した物体特定要素の値に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、特定した物体特定要素に対応する物体特定要素を更新する。次に、ステップS96の処理は、ステップS94の処理に移行する。
 以上の説明によれば、物体認識装置3において、更新処理部36は、物体の幅W、長さL及び向きθの少なくとも1つを物体特定要素として車外情報センサ1から取得できない場合、物体の幅W、長さL及び向きθのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素の値を特定する。
 従って、車外情報センサ1から物体の幅W、長さL及び向きθを取得できなかったとしても、誤差を抑えて航跡データTDを更新することができる。これにより、自車と、物体との相対的な位置関係を大きく外すことがないので、自車の自動運転の精度の低下を最小限に抑えることができる。
 実施の形態3.
 実施の形態3において、実施の形態1並びに実施の形態2と同一又は同等の構成及び機能については、その説明を省略する。実施の形態3は、図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理が実施の形態1並びに実施の形態2と異なる。他の構成は、実施の形態1並びに実施の形態2と同様である。つまり、その他の構成は実施の形態1並びに実施の形態2と同一又は同等の構成及び機能であり、これらの部分には同一符号を付している。
 図18は、実施の形態3による図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。ステップS101において、仮設定部33は、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL、向きθ及び高さHの少なくとも1つを物体特定要素として車外情報センサ1から取得できたか否かを判定する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL、向きθ及び高さHの少なくとも1つを物体特定要素として車外情報センサ1から取得できたと判定される場合、ステップS101の処理は、ステップS102の処理に移行する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL、向きθ及び高さHの少なくとも1つを物体特定要素として車外情報センサ1から取得できないと判定される場合、ステップS101の処理は、ステップS105の処理に移行する。
 ステップS102において、相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があると判定される場合、ステップS102の処理は、ステップS103の処理に移行する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関がないと判定される場合、ステップS102の処理は、ステップS104の処理に移行する。
 ステップS103において、更新処理部36は、今回の関連時刻RTにおける物体の幅W、長さL、向きθ及び高さHのうち、車外情報センサ1から取得できた物体特定要素に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、車外情報センサ1から取得できた物体特定要素に対応する物体特定要素を更新する。次に、ステップS103の処理は、ステップS104の処理に移行する。
 ステップS104において、データ受信部32は、選択した車外情報センサ1を使用済みにマークする。次に、ステップS104の処理は、図13のステップS15の処理に戻る。
 ステップS105において、更新処理部36は、物体の幅W、長さL、向きθ及び高さHのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素を特定する。次に、ステップS105の処理は、ステップS106の処理に移行する。
 ステップS106において、更新処理部36は、特定した物体特定要素の値に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、特定した物体特定要素に対応する物体特定要素を更新する。次に、ステップS106処理は、ステップS104の処理に移行する。
 以上の説明によれば、物体認識装置3において、更新処理部36は、物体の幅W、長さL、向きθ及び高さHの少なくとも1つを物体特定要素として車外情報センサ1から取得できない場合、物体の幅W、長さL、向きθ及び高さHのそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素の値を特定する。
 従って、車外情報センサ1から物体の幅W、長さL、向きθ及び高さHを取得できなかったとしても、誤差を抑えて航跡データTDを更新することができる。これにより、自車と、物体との相対的な位置関係を大きく外すことがないので、自車の自動運転の精度の低下を最小限に抑えることができる。
 実施の形態4.
 実施の形態4において、実施の形態1、実施の形態2並びに実施の形態3と同一又は同等の構成及び機能については、その説明を省略する。実施の形態4は、図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理が実施の形態1、実施の形態2並びに実施の形態3と異なる。他の構成は、実施の形態1、実施の形態2並びに実施の形態3と同様である。つまり、その他の構成は実施の形態1、実施の形態2並びに実施の形態3と同一又は同等の構成及び機能であり、これらの部分には同一符号を付している。
 図19は、実施の形態4による図15のステップS51における判定処理の判定結果がNoである場合とステップS54における判定処理の判定結果がYesである場合とにより分岐された処理を説明するフローチャートである。ステップS111において、仮設定部33は、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL、向きθ、上端ZHの位置P及び下端ZLの位置Pの少なくとも1つを物体特定要素として車外情報センサ1から取得できたか否かを判定する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL、向きθ、上端ZHの位置P及び下端ZLの位置Pの少なくとも1つを物体特定要素として車外情報センサ1から取得できたと判定される場合、ステップS111の処理は、ステップS112の処理に移行する。仮設定部33によって、選択した車外情報センサ1から受信した検知データddに含まれる残りの物体特定要素である物体の幅W、長さL、向きθ、上端ZHの位置P及び下端ZLの位置Pの少なくとも1つを物体特定要素として車外情報センサ1から取得できないと判定される場合、ステップS111の処理は、ステップS115の処理に移行する。
 ステップS112において、相関処理部35は、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があるか否かを判定する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関があると判定される場合、ステップS112の処理は、ステップS113の処理に移行する。相関処理部35によって、検知データDDRTと航跡データTDの予測データTDRTpredとに相関がないと判定される場合、ステップS112の処理は、ステップS114の処理に移行する。
 ステップS113において、更新処理部36は、今回の関連時刻RTにおける物体の幅W、長さL、向きθ、上端ZHの位置及び下端ZLの位置のうち、車外情報センサ1から取得できた物体特定要素に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、車外情報センサ1から取得できた物体特定要素に対応する物体特定要素を更新する。次に、ステップS113の処理は、ステップS114の処理に移行する。
 ステップS114において、データ受信部32は、選択した車外情報センサ1を使用済みにマークする。次に、ステップS114の処理は、図13のステップS15の処理に戻る。
 ステップS115において、更新処理部36は、物体の幅W、長さL、向きθ、上端ZHの位置及び下端ZLの位置のそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素を特定する。次に、ステップS115の処理は、ステップS116の処理に移行する。
 ステップS116において、更新処理部36は、特定した物体特定要素の値に基づいて、今回の関連時刻RTにおける航跡データTDに含まれる物体特定要素のうち、特定した物体特定要素に対応する物体特定要素を更新する。次に、ステップS116の処理は、ステップS114の処理に移行する。
 以上の説明によれば、物体認識装置3において、更新処理部36は、物体の幅W、長さL、向きθ、上端ZHの位置及び下端ZLの位置の少なくとも1つを物体特定要素として車外情報センサ1から取得できない場合、物体の幅W、長さL、向きθ、上端ZHの位置及び下端ZLの位置のそれぞれに対応して個別に予め設定された設定値のうち、車外情報センサ1から取得できない物体特定要素に対応する設定値に基づいて、車外情報センサ1から取得できない物体特定要素の値を特定する。
 従って、車外情報センサ1から物体の幅W、長さL、向きθ、上端ZHの位置及び下端ZLの位置を取得できなかったとしても、誤差を抑えて航跡データTDを更新することができる。これにより、自車と、物体との相対的な位置関係を大きく外すことがないので、自車の自動運転の精度の低下を最小限に抑えることができる。
 また、物体の幅W、長さL、向きθに加え、上端ZHの位置及び下端ZLの位置も補正されていれば、物体が静止物体であるか否かを特定できる。静止物体は、例えば、看板である。静止物体は、道路標識であってもよい。従って、物体の種類を特定できる。これにより、自車の自動運転の精度をさらに高めることができる。
 実施の形態5.
 実施の形態5において、実施の形態1、実施の形態2、実施の形態3並びに実施の形態4と同一又は同等の構成及び機能については、その説明を省略する。実施の形態5は、複数の候補点DPHを絞り込む点が実施の形態1と異なる。他の構成は、実施の形態1、実施の形態2、実施の形態3並びに実施の形態4と同様である。つまり、その他の構成は実施の形態1、実施の形態2、実施の形態3並びに実施の形態4と同一又は同等の構成及び機能であり、これらの部分には同一符号を付している。
 図20は、実施の形態5による図13のステップS20における位置補正処理の他の例を説明するフローチャートである。ステップS161において、更新処理部36は、候補点DPHの数が複数あるか否かを判定する。更新処理部36によって、候補点DPHの数が複数あると判定される場合、ステップS161の処理は、ステップS162の処理に移行する。更新処理部36によって、候補点DPHの数が複数ないと判定される場合、ステップS161の処理は、ステップS170の処理に移行する。
 ステップS162において、更新処理部36は、航跡データTDの更新履歴を参照する。次に、ステップS162の処理は、ステップS163の処理に移行する。
 ステップS163において、更新処理部36は、今回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類が前回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類と異なるか否かを判定する。更新処理部36によって、今回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類が前回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類と異なると判定される場合、ステップS163の処理は、ステップS164の処理に移行する。更新処理部36によって、今回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類が前回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類と異ならないと判定される場合、即ち今回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類が前回の関連時刻RTにおける検知データDDを観測した車外情報センサ1の種類と同じであると判定される場合、ステップS163の処理は、ステップS168の処理に移行する。
 ステップS164において、更新処理部36は、航跡データTDの予測データTDRTpredに含まれる物体における中心点の位置Pと、検知データDDに含まれる検知点DPの車外情報センサ1に対する位置Pとに基づいて、複数の候補点DPHのそれぞれの正確度を決める。次に、ステップS164の処理は、ステップS165の処理に移行する。
 ステップS165において、更新処理部36は、複数の候補点DPHのうち、正確度の最も低い候補点DPHを破棄する。次に、ステップS165の処理は、ステップS166の処理に移行する。
 ステップS166において、更新処理部36は、破棄されていない候補点DPHのうち、正確度の最も高い候補点DPHを採用する。次に、ステップS166の処理は、ステップS167の処理に移行する。
 ステップS167において、更新処理部36は、採用した候補点DPHの位置HPに基づいて、今回の関連時刻RTにおける検知データDDに含まれる検知点DPの車外情報センサ1に対する位置Pを補正する。次に、ステップS167の処理は、別の処理に移行せず、位置補正処理を終了する。
 ステップS168において、更新処理部36は、候補点DPHの信頼度DORを計算する。次に、ステップS168の処理は、ステップS169の処理に移行する。
 ステップS169において、更新処理部36は、信頼度DORに基づいて、候補点DPHを採用する。次に、ステップS169の処理は、ステップS167の処理に移行する。
 ステップS170において、更新処理部36は、設定した候補点DPHを採用する。次に、ステップS170の処理は、ステップS167の処理に移行する。
 例えば、車外情報センサ1がカメラである場合、検知データddには、検知点DPの車外情報センサ1に対する位置P、検知点DPの速度V及び物体の幅Wが含まれている。また、車外情報センサ1がカメラである場合、候補点DPH(2)が物体における検知点DPの位置Pの候補になる。よって、ステップS161の処理、ステップS170の処理及びステップS167の処理によって、候補点DPH(2)の位置HPに基づいて、検知点DPの車外情報センサ1に対する位置Pが補正される。
 一方、車外情報センサ1がミリ波レーダーである場合、検知データddには、検知点DPの車外情報センサ1に対する位置P及び検知点DPの速度Vが含まれている。また、車外情報センサ1がミリ波レーダーである場合、候補点DPH(1)及び候補点DPH(2)のそれぞれが物体における検知点DPの位置Pの候補になる。
 ここで、カメラの検知データddと航跡データTDとが相関関係が成立することによって、ステップS161の処理、ステップS170の処理及びステップS167の処理が実行された後、ミリ波レーダーの検知データddと航跡データTDとの相関が成立する場合もある。
 さらに、検知点DPの車外情報センサ1に対する位置Pと、物体の中心点の位置Pとに基づいて、候補点DPH(2)の正確度よりも候補点DPH(1)の正確度が高いと判定される場合がある。このような正確度が判定された場合には、ステップS164の処理、ステップS165の処理及びステップS166の処理によって、物体における検知点DPの位置Pの候補から候補点DPH(2)が破棄され、候補点DPH(1)が採用される。
 以上の説明から、物体認識装置3において、更新処理部36は、航跡データTDの更新履歴に基づいて、複数の候補点DPHの一部を破棄する。
 航跡データTDの更新履歴には、物体の移動に伴い少なくとも物体の中心点の位置Pが更新された履歴が含まれている。物体の中心点の位置Pが更新された履歴は、物体を検知した車外情報センサ1と関連付けられている。従って、航跡データTDの更新履歴が参照されれば、物体の中心点の位置Pが更新された履歴を介して検知点DPの車外情報センサ1に対する位置Pが補正されたときに使用された車外情報センサ1の種類が参照可能である。これにより、物体を検知点DPで検知したときの車外情報センサ1の種類が特定されれば、検知点DPの車外情報センサ1に対する位置Pを補正したときに使用した候補点DPHが特定可能である。
 上記で説明したように、車外情報センサ1がミリ波レーダーから構成されていれば、最近点及び中央点が、候補点DPHになると考えられる。また、上記で説明したように、車外情報センサ1が単眼カメラから構成されていれば、中央点が候補点DPHになると考えられる。
 ここで、複数の候補点DPHのそれぞれの正確度は、物体の中心点の位置Pと、検知点DPの車外情報センサ1に対する位置Pとに基づいて決まる。物体の中心点の位置P及び検知点DPの車外情報センサ1に対する位置Pは、物体の航跡に応じて変化する。例えば、物体の中心点の位置Pと、検知点DPの車外情報センサ1に対する位置Pとの位置関係から、物体の中心点の位置Pと検知点DPの車外情報センサ1に対する位置Pとの間のユークリッド距離が図6の判定閾値距離DTH1未満である場合には、正確度が高い候補点DPHは、中央点よりも最近点であるとみなせる。この場合には、候補点DPHのうち、中央点の方を破棄し、最近点の方が採用される。
 なお、図6の判定閾値距離DTH1は、検知点DPの位置Pが車外情報センサ1の分解能セルに埋もれない範囲に定められている。
 また、中央点は、自車の前方を移動中の物体であれば、物体の後面中央点である。中央点は、自車の後方を移動中の物体であれば、物体の前面中央点である。
 以上の説明から、更新処理部36は、航跡データTDの更新履歴に基づき、複数の候補点DPHの一部を破棄する。これにより、正確度の高い候補点DPHを航跡データTDの更新に利用することができる。
 また、各実施の形態について、物体認識装置3を実行するための処理回路を備えている。処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するCPU(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSPともいう)であってもよい。
 図21は、ハードウェア構成例を説明する図である。図21においては、処理回路201がバス202に接続されている。処理回路201が専用のハードウェアである場合、処理回路201は、例えば、単一回路、複合回路、プログラム化したプロセッサ、ASIC、FPGA又はこれらを組み合わせたものが該当する。物体認識装置3の各部の機能のそれぞれは、処理回路201で実現されてもよいし、各部の機能はまとめて処理回路201で実現されてもよい。
 図22は、他のハードウェア構成例を説明する図である。図22においては、プロセッサ203及びメモリ204がバス202に接続されている。処理回路がCPUの場合、物体認識装置3の各部の機能は、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ204に格納される。処理回路は、メモリ204に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、物体認識装置3は、処理回路により実行されるときに、時刻計測部31、データ受信部32、仮設定部33、予測処理部34、相関処理部35及び更新処理部36を制御するステップが結果的に実行されることになるプログラムを格納するためのメモリ204を備えている。また、これらのプログラムは、時刻計測部31、データ受信部32、仮設定部33、予測処理部34、相関処理部35及び更新処理部36を実行する手順又は方法をコンピュータに実行させるものであるといえる。ここで、メモリ204とは、RAM、ROM、フラッシュメモリ、EPROM、EEPROM等の、不揮発性若しくは揮発性の半導体メモリ又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等が該当する。
 なお、物体認識装置3の各部の機能は、一部が専用のハードウェアで実現され、他の一部がソフトウェア又はファームウェアで実現されるようにしてもよい。例えば、専用のハードウェアとしての処理回路で仮設定部33の機能を実現させることができる。また、処理回路がメモリ204に格納されたプログラムを読み出して実行することによって相関処理部35の機能を実現させることが可能である。
 このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせによって、上記の各機能を実現することができる。
 以上、実施の形態1においては、検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係の有無を、SNNアルゴリズム、GNNアルゴリズム、JPDAアルゴリズム等によって求める処理の一例について説明したが、特にこれに限定されない。
 例えば、検知データDDRTに含まれる各検知要素と、航跡データTDRTの予測データTDRTpredとに含まれる各航跡要素との差分が、予め定めた誤差量eの範囲内であるか否かによって、検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係の有無が判定されてもよい。
 具体的には、相関処理部35は、検知データDDRTに含まれる車外情報センサ1に対する位置Pと、航跡データTDRTの予測データTDRTpredに含まれる位置Pとの距離差を導く。
 相関処理部35は、検知データDDRTに含まれる速度Vと、航跡データTDRTの予測データTDRTpredに含まれる速度Vとの速度差を導く。
 相関処理部35は、検知データDDRTに含まれる方位角と、航跡データTDRTの予測データTDRTpredに含まれる方位角との方位角差を導く。
 相関処理部35は、距離差、速度差及び方位角差のそれぞれを二乗したものを加算したものの平方根を求める。相関処理部35は、求めた平方根が誤差量eを超える場合には相関関係が無いと判定する。相関処理部35は、求めた平方根が誤差量e以下である場合には相関関係が有ると判定する。このような判定処理によって、検知データDDRTと航跡データTDRTの予測データTDRTpredとの相関関係の有無が判定されてもよい。
 また、例えば、検知点DPの速度Vに基づいて検知点DPにおける対地速度が求められてもよい。検知点DPにおける対地速度が求められていれば、検知点DPにおける対地速度に基づいて、車外情報センサ1によって検知された物体が車両Cmodel2であると判別できたとき、検知データDDの物体特定要素に車両Cmodel2の幅W及び長さLが含まれていない場合がある。このような場合には、車両Cmodel2の幅Wが2[m]に設定され、車両Cmodel2の長さLが4.5[m]に設定される。このように設定された車両Cmodel2の幅W及び長さLも、車外情報センサ1から取得できない物体特定要素に対応して個別に予め設定された設定値である。
 なお、更新処理部36は、車外情報センサ1によって物体が検知されたときの検知点DPの速度Vに基づいて、航跡データTDを更新してもよい。これにより、車外情報センサ1によって観測された観測結果を考慮した検知点DPの速度Vに基づいて、航跡データTDを更新することができる。これにより、自車と、物体との相対的な位置関係を正確に捉えることができるので、自車の自動運転の精度をさらに高めることができる。
 なお、実施の形態1における図16に示すステップS81~ステップS86の処理、実施の形態2における図17に示すステップS91~ステップS96の処理、実施の形態3における図18に示すステップS101~ステップS106の処理及び実施の形態4における図19に示すステップS111~ステップS116の処理のそれぞれは、CPUによって並列的に実行されることが可能である。
 1 車外情報センサ、2 車両情報センサ、3 物体認識装置、4 報知制御装置、5 車両制御装置、31 時刻計測部、32 データ受信部、33 仮設定部、34 予測処理部、35 相関処理部、36 更新処理部。

Claims (13)

  1.  物体を検知したセンサの仕様に基づいて、前記物体における少なくとも1つの候補点の位置を設定する仮設定部と、
     前記センサが前記物体を検知したときの検知点の前記センサに対する位置を前記物体における前記候補点の位置に基づいて補正し、前記検知点の前記センサに対する補正後の位置に基づいて、前記物体の航跡を示す航跡データを更新する更新処理部と、
     を備えている物体認識装置。
  2.  前記仮設定部は、前記物体を検知した前記センサの前記仕様に含まれる分解能に基づいて、前記物体における少なくとも1つの前記候補点の位置を設定する
     請求項1記載の物体認識装置。
  3.  前記更新処理部は、1つの前記検知点に対応する前記候補点の数が複数ある場合、複数の前記候補点のそれぞれの信頼度と、前記物体における複数の前記候補点のそれぞれの位置とに基づいて、前記検知点の前記センサに対する位置を補正する請求項1又は請求項2に記載の物体認識装置。
  4.  前記更新処理部は、前記物体における複数の前記候補点の位置のうち、最も信頼度の高い前記候補点の位置に基づいて、前記検知点の前記センサに対する位置を補正する請求項3に記載の物体認識装置。
  5.  前記更新処理部は、各前記信頼度に応じて、前記物体における複数の前記候補点のそれぞれの位置に対して重み付け平均することにより、前記検知点の前記センサに対する位置を補正する請求項3に記載の物体認識装置。
  6.  前記更新処理部は、前記センサから前記検知点までの距離に基づいて、各前記信頼度を求める請求項3から請求項5のいずれか一項に記載の物体認識装置。
  7.  前記更新処理部は、前記航跡データの更新履歴に基づいて、複数の前記候補点のうち、一部の前記候補点を破棄する請求項3から請求項6のいずれか一項に記載の物体認識装置。
  8.  前記更新処理部は、前記物体の状態及び大きさの少なくとも1つを特定する物体特定要素に基づいて、前記検知点の前記センサに対する位置を補正する請求項1から請求項7のいずれか一項に記載の物体認識装置。
  9.  前記更新処理部は、前記物体の幅及び長さの少なくとも1つを前記物体特定要素として前記センサから取得できない場合、前記物体の幅及び長さのそれぞれに対応して個別に予め設定された設定値のうち、前記センサから取得できない前記物体特定要素に対応する前記設定値に基づいて、前記センサから取得できない前記物体特定要素の値を特定する請求項8に記載の物体認識装置。
  10.  前記更新処理部は、前記物体の幅、長さ及び向きの少なくとも1つを前記物体特定要素として前記センサから取得できない場合、前記物体の幅、長さ及び向きのそれぞれに対応して個別に予め設定された設定値のうち、前記センサから取得できない前記物体特定要素に対応する前記設定値に基づいて、前記センサから取得できない前記物体特定要素の値を特定する請求項8に記載の物体認識装置。
  11.  前記更新処理部は、前記物体の幅、長さ、向き及び高さの少なくとも1つを前記物体特定要素として前記センサから取得できない場合、前記物体の幅、長さ、向き及び高さのそれぞれに対応して個別に予め設定された設定値のうち、前記センサから取得できない前記物体特定要素に対応する前記設定値に基づいて、前記センサから取得できない前記物体特定要素の値を特定する請求項8に記載の物体認識装置。
  12.  前記更新処理部は、前記物体の幅、長さ、向き、上端の位置及び下端の位置の少なくとも1つを前記物体特定要素として前記センサから取得できない場合、前記物体の幅、長さ、向き、上端の位置及び下端の位置のそれぞれに対応して個別に予め設定された設定値のうち、前記センサから取得できない前記物体特定要素に対応する前記設定値に基づいて、前記センサから取得できない前記物体特定要素の値を特定する請求項8に記載の物体認識装置。
  13.  物体を検知したセンサの仕様に基づいて、前記物体における少なくとも1つの候補点の位置を設定する工程と、
     前記センサが前記物体を検知したときの検知点の前記センサに対する位置を前記物体における前記候補点の位置に基づいて補正し、前記検知点の前記センサに対する補正後の位置に基づいて、前記物体の航跡を示す航跡データを更新する工程と、
     を含む物体認識方法。
PCT/JP2019/046806 2019-11-29 2019-11-29 物体認識装置及び物体認識方法 WO2021106196A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021561108A JP7217817B2 (ja) 2019-11-29 2019-11-29 物体認識装置及び物体認識方法
DE112019007921.2T DE112019007921T5 (de) 2019-11-29 2019-11-29 Objekterkennungsvorrichtung und Objekterkennungsverfahren
CN201980102307.3A CN114730014A (zh) 2019-11-29 2019-11-29 物体识别装置和物体识别方法
PCT/JP2019/046806 WO2021106196A1 (ja) 2019-11-29 2019-11-29 物体認識装置及び物体認識方法
US17/778,101 US20220414920A1 (en) 2019-11-29 2019-11-29 Object recognition device and object recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/046806 WO2021106196A1 (ja) 2019-11-29 2019-11-29 物体認識装置及び物体認識方法

Publications (1)

Publication Number Publication Date
WO2021106196A1 true WO2021106196A1 (ja) 2021-06-03

Family

ID=76129423

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046806 WO2021106196A1 (ja) 2019-11-29 2019-11-29 物体認識装置及び物体認識方法

Country Status (5)

Country Link
US (1) US20220414920A1 (ja)
JP (1) JP7217817B2 (ja)
CN (1) CN114730014A (ja)
DE (1) DE112019007921T5 (ja)
WO (1) WO2021106196A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7504016B2 (ja) 2020-12-18 2024-06-21 マツダ株式会社 物体認識装置および物体認識方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210391908A1 (en) * 2020-06-10 2021-12-16 Peking University Method, system, computer device, and storage medium for non-contact determination of a sensing boundary

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002122669A (ja) * 2000-10-18 2002-04-26 Nissan Motor Co Ltd 物体位置検出方法
JP2008298543A (ja) * 2007-05-30 2008-12-11 Toyota Motor Corp 物体検出装置、及び車両用制御装置
JP2009014479A (ja) * 2007-07-04 2009-01-22 Honda Motor Co Ltd 車両用物体検知装置
JP2016148514A (ja) * 2015-02-10 2016-08-18 国立大学法人金沢大学 移動物体追跡方法および移動物体追跡装置
JP2017215161A (ja) * 2016-05-30 2017-12-07 株式会社東芝 情報処理装置、および、情報処理方法
WO2019206863A1 (en) * 2018-04-27 2019-10-31 Veoneer Sweden Ab Generic object tracking based on significant points

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002122669A (ja) * 2000-10-18 2002-04-26 Nissan Motor Co Ltd 物体位置検出方法
JP2008298543A (ja) * 2007-05-30 2008-12-11 Toyota Motor Corp 物体検出装置、及び車両用制御装置
JP2009014479A (ja) * 2007-07-04 2009-01-22 Honda Motor Co Ltd 車両用物体検知装置
JP2016148514A (ja) * 2015-02-10 2016-08-18 国立大学法人金沢大学 移動物体追跡方法および移動物体追跡装置
JP2017215161A (ja) * 2016-05-30 2017-12-07 株式会社東芝 情報処理装置、および、情報処理方法
WO2019206863A1 (en) * 2018-04-27 2019-10-31 Veoneer Sweden Ab Generic object tracking based on significant points

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7504016B2 (ja) 2020-12-18 2024-06-21 マツダ株式会社 物体認識装置および物体認識方法

Also Published As

Publication number Publication date
DE112019007921T5 (de) 2022-10-13
CN114730014A (zh) 2022-07-08
JPWO2021106196A1 (ja) 2021-06-03
JP7217817B2 (ja) 2023-02-03
US20220414920A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
EP3521962B1 (en) Self-position estimation method and self-position estimation device
US9863775B2 (en) Vehicle localization system
US9151626B1 (en) Vehicle position estimation system
EP3431926B1 (en) Road surface shape measuring device, measuring method, and program
CN112415502B (zh) 雷达装置
WO2021106197A1 (ja) 物体認識装置及び物体認識方法
JP2011220732A (ja) 車両の周辺監視装置
US20170364775A1 (en) Object recognition integration device and object recognition integration method
US11977159B2 (en) Method for determining a position of a vehicle
WO2020196513A1 (ja) 物体検出装置
WO2021106196A1 (ja) 物体認識装置及び物体認識方法
GB2370706A (en) Determining the position of a vehicle
JP2017044530A (ja) 支障物検知システム
US20220413112A1 (en) Apparatus for determining orientation and position of sensor
CN111492258A (zh) 用于确定车辆所行驶的道路与测量或雷达传感器的检测方向之间的安装角度的方法和装置
US11914028B2 (en) Object detection device for vehicle
US10249056B2 (en) Vehicle position estimation system
JP7303365B2 (ja) 検出値のストリングに基づいたセンサ較正
JP2019132795A (ja) 距離算出装置および距離算出方法
JPH095078A (ja) 車両周囲監視モニタ
JPWO2018212284A1 (ja) 測定装置、測定方法およびプログラム
US20220179077A1 (en) Method for supplementary detection of objects by a lidar system
US20230146935A1 (en) Content capture of an environment of a vehicle using a priori confidence levels
US20240053438A1 (en) Multipath Object Identification For Navigation
CN112485807A (zh) 物体识别装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19954253

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021561108

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19954253

Country of ref document: EP

Kind code of ref document: A1