WO2019230055A1 - 物体認識装置および物体認識方法 - Google Patents

物体認識装置および物体認識方法 Download PDF

Info

Publication number
WO2019230055A1
WO2019230055A1 PCT/JP2019/004204 JP2019004204W WO2019230055A1 WO 2019230055 A1 WO2019230055 A1 WO 2019230055A1 JP 2019004204 W JP2019004204 W JP 2019004204W WO 2019230055 A1 WO2019230055 A1 WO 2019230055A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
correlation
object data
received
prediction
Prior art date
Application number
PCT/JP2019/004204
Other languages
English (en)
French (fr)
Inventor
森　正憲
典由 山科
公司 飯田
真一 立岩
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US17/050,890 priority Critical patent/US11790660B2/en
Priority to CN201980035006.3A priority patent/CN112204423B/zh
Priority to DE112019002753.0T priority patent/DE112019002753T5/de
Publication of WO2019230055A1 publication Critical patent/WO2019230055A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/32—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force responsive to a speed condition, e.g. acceleration or deceleration
    • B60T8/321—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force responsive to a speed condition, e.g. acceleration or deceleration deceleration
    • B60T8/3255—Systems in which the braking action is dependent on brake pedal data
    • B60T8/3275—Systems with a braking assistant function, i.e. automatic full braking initiation in dependence of brake pedal velocity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an object recognition apparatus and an object recognition method for processing object data received from one or more sensors mounted on a host vehicle.
  • a conventional object recognition device (see, for example, Patent Document 1) is mounted on a host vehicle and processes object data received from one or more sensors that detect information on the state of the object as object data. It is configured to recognize surrounding objects. Specifically, the object recognition device described in Patent Document 1 associates a related time for each object data received during a period from the previous processing time to the current processing time at the current processing time, By processing the object data, the state value of the object at the current processing time is estimated.
  • a vehicle control system such as an automatic driving system can be cited.
  • the vehicle control system is configured to perform various vehicle controls such as automatic braking and inter-vehicle maintenance control using the result of the object recognition device recognizing the object.
  • Patent Document 1 the timing at which the object recognition device receives all object data included in the detection data group including a plurality of object data having the same related time and the timing at which the object recognition device starts data processing. No particular mention is made of the relationship. Therefore, there is room for further devising the configuration of the object recognition device in consideration of such a relationship.
  • the present invention has been made in view of the above, and includes a timing at which all object data included in a detection data group including a plurality of object data having the same related time is received and a timing at which data processing is started.
  • An object of the present invention is to obtain an object recognition device and an object recognition method in consideration of the relationship.
  • the object recognition apparatus receives a detection data group including a plurality of object data having the same related time from a sensor, and tracks each object individually corresponding to the plurality of object data included in the received detection data group.
  • An object recognition device that generates data, receives a detection data group from a sensor, associates a related time with the received detection data group, and a prediction that is a predicted value of wake data at the related time for each object Using a prediction processing unit that generates data, a correlation processing unit that individually associates object data at the related time and prediction data at the related time for each object, and corresponding object data and prediction data at the related time for each object
  • An update processing unit that generates track data at the relevant time, and the correlation processing unit If all the object data in the detection data group has not been received and some object data has been received, it is considered that the correlation can be determined for some object data.
  • the object data that is considered not to be determinable is classified, the object data that is considered determinable to correlate with the prediction data, and the object data that is not determinable to be determinable is set as the pending object data. If the remaining object data in the detection data group is received at the next processing time after the processing time, the suspended object data and the prediction data are individually associated with the remaining object data. It is.
  • the object recognition method receives a detection data group composed of a plurality of object data having the same related time from a sensor, and tracks each object individually corresponding to the plurality of object data included in the received detection data group.
  • An object recognition method for generating data comprising: a data reception step for receiving a detection data group from a sensor and associating a related time with the received detection data group; and a prediction that is a predicted value of wake data at the related time for each object
  • a prediction processing step for generating data a correlation processing step for individually associating the object data at the related time with the prediction data at the related time for each object, and the corresponding object data and prediction data at the related time for each object
  • an update processing step for generating track data at the relevant time, In the physical step, if all object data in the detection data group has not been received and some object data has been received at the current processing time, the correlation is performed on some object data.
  • an object recognition device that considers the relationship between the timing at which all object data included in a detection data group composed of a plurality of object data having the same related time is received and the timing at which data processing is started, and An object recognition method can be obtained.
  • FIG. 1 is a block diagram illustrating a configuration of a vehicle control system including an object recognition device 3 according to Embodiment 1 of the present invention.
  • the vehicle control system includes N (N is an integer of 2 or more) sensors 1, a vehicle information sensor 2, an object recognition device 3, an information notification device 4, and a vehicle control device 5.
  • N is an integer of 2 or more
  • sensors 1 a vehicle information sensor 2, an object recognition device 3, an information notification device 4, and a vehicle control device 5.
  • (1),..., (N) are appended to the end of the code “1” of N sensors 1 to distinguish the N sensors 1 from each other.
  • the Sensor 1 is mounted on the vehicle.
  • the sensor 1 detects information related to an object around the own vehicle existing in a detectable range as object data, and transmits the object data to the object recognition device 3.
  • the object data includes information about the object such as a distance to the object, an azimuth angle of the object, or a relative speed of the object.
  • the sensor 1 receives detection waves such as light and electromagnetic waves emitted from an object, and performs processing such as signal processing and image processing on the received detection waves to detect information about the object.
  • a type of sensor may be used.
  • a sensor 1 a sensor of a type that irradiates an object with a detection wave, receives a detection wave reflected from the object, and processes the received detection wave to detect information about the object is used. Also good.
  • a millimeter wave radar, a laser radar, an ultrasonic sensor, an infrared sensor, an optical camera, or the like can be used as the sensor 1, for example, a millimeter wave radar, a laser radar, an ultrasonic sensor, an infrared sensor, an optical camera, or the like can be used.
  • the mounting position of the sensor 1 on the vehicle and the detection range of the sensor 1 are known. Moreover, the mounting position etc. of the sensor 1 to the own vehicle can be arbitrarily set.
  • the number of object data detected by the sensor 1 is the same as the number of objects existing in the detection range of the sensor 1. That is, in the sensor 1, when one object exists in the detection range, the number of object data detected by the sensor 1 is one. Further, in the sensor 1, when a plurality of objects are present in the detection range, the number of object data detected by the sensor 1 is the same as the number of the plurality of objects existing in the detection range.
  • the vehicle information sensor 2 detects information related to the own vehicle as own vehicle data, and transmits the own vehicle data to the object recognition device 3.
  • the own vehicle data includes information such as the speed of the own vehicle, the wheel speed, the steering angle, and the yaw rate.
  • the vehicle information sensor 2 may be configured to detect the latitude, longitude, or traveling direction of the host vehicle as host vehicle data using GPS (Global Positioning System).
  • the object recognition device 3 receives a detection data group composed of a plurality of object data having the same related time from the sensor 1, and track data of each object individually corresponding to the plurality of object data included in the received detection data group. Is generated.
  • the object recognition device 3 includes a time measurement unit 31, a data reception unit 32, a data storage unit 33, a prediction processing unit 34, a correlation processing unit 35, and an update processing unit 36.
  • the object recognition device 3 includes, for example, a microcomputer that executes arithmetic processing, a ROM (Read Only Memory) that stores data such as program data and fixed value data, and a RAM that can be sequentially rewritten by updating the stored data. (Random Access Memory), a communication device that transmits and receives data, and a timer that measures time.
  • the time measuring unit 31 measures time in the object recognition device 3.
  • the data receiving unit 32 receives object data from each of the N sensors 1 and receives own vehicle data from the vehicle information sensor 2.
  • the data receiving unit 32 processes the object data using the own vehicle data as necessary.
  • the data receiving unit 32 determines a related time that is a time when the object data is detected by the sensor 1 that is a transmission source of the object data, and associates the determined related time with the object data.
  • a specific method for determining the related time is disclosed in Patent Document 1.
  • the data receiving unit 32 receives the detection data group from the sensor 1 and associates the related time with the object data included in the received detection data group.
  • the data receiving unit 32 outputs the object data associated with the related time to the correlation processing unit 35 and the prediction processing unit 34, respectively.
  • FIG. 2 is a diagram illustrating a relationship between the timing at which the object recognition device 3 according to Embodiment 1 of the present invention receives all object data included in the detection data group and the timing at which the object recognition device 3 starts data processing.
  • processing times T0 to T4 are shown as an example of a time (hereinafter referred to as processing time) Tk at which the object recognition device 3 starts data processing. Further, in FIG. 2, a certain sensor 1 detects and detects five object data # 1 to # 5 individually corresponding to five objects # 1 to # 5 existing in the detection range at the same time. A case is shown in which a series of processes for transmitting a detection data group composed of object data # 1 to # 5 to the data receiving unit 32 is repeated.
  • G1 to G4 are shown as an example of a plurality of detection data groups G having different corresponding times.
  • the detection data group G1 includes object data # 1 to # 5 corresponding to the related time Ts1.
  • the detection data group G2 includes object data # 1 to # 5 corresponding to the related time Ts2.
  • the detection data group G3 includes object data # 1 to # 5 corresponding to the related time Ts3.
  • the detection data group G4 includes object data # 1 to # 5 corresponding to the related time Ts4.
  • Sensor 1 transmits detection data group G composed of object data # 1 to # 5 detected at the same time to object recognition device 3.
  • the sensor 1 when the sensor 1 is configured to transmit data to the object recognition device 3 via an in-vehicle network such as CAN (Control Area Network) or Ethernet (registered trademark), the sensor 1 has a CAN frame for each object. Alternatively, an IP packet is formed and object data is transmitted for each object.
  • the sensor 1 when transmitting the detection data group G, the sensor 1 transmits the object data # 1 to # 5 included in this group one by one to the data receiving unit 32 one by one. .
  • the data receiving unit 32 transmits the object data # 1 to # 5. Receive one by one in order. The data receiving unit 32 associates the same associated time with the received object data # 1 to # 5.
  • the object data # 1 to # 5 included in the detection data group G are received prior to the processing time Tk can be considered.
  • the object data # 1 to # 5 received before the processing time Tk in the detection data group G is associated with the related time at the processing time Tk.
  • the object data received before the processing time Tk in the detection data group G is associated with the related time at the processing time Tk, and received after the processing time Tk in the detection data group G.
  • the remaining object data is associated with the related time at a processing time later than the processing time Tk.
  • the object data # 1 to # 3 included in the detection data group G2 is received before the processing time T2, and the detection data group is received after the processing time T2.
  • the remaining object data # 4 and # 5 included in G2 are received.
  • the object data # 1 to # 3 are associated with the related time Ts2 at the processing time T2
  • the object data # 4 and # 5 are associated with the related time Ts2 at the processing time T3.
  • the process waits until all the object data in the detection data group is received. Therefore, the processing of the detection data group is delayed, and as a result, the output responsiveness of the object recognition device 3 is delayed. Is considered to be reduced. When such a decrease in output responsiveness occurs, the operation of a preventive safety system such as an emergency automatic brake may be delayed.
  • the object recognition apparatus completes reception of all object data even when some object data in the detection data group is received at the current processing time Tk.
  • the wake data is configured to be updated without waiting until the operation is completed. Therefore, the output responsiveness of the object recognition device 3 can be ensured.
  • the data storage unit 33 stores the object data received by the data receiving unit 32 as necessary.
  • the prediction processing unit 34 receives the track data output by the update processing unit 36 described later and the related time input from the data receiving unit 32, predicts the track data at the related time, and calculates the prediction result as the prediction data. Generate as In addition, as a method for predicting the wake data at the related time, a known technique may be applied, and detailed description of the method is omitted here.
  • the track data includes the state value of the object detected by the sensor 1.
  • the state value of the object is information such as the position, speed, acceleration, and type of the object detected by the sensor 1.
  • the correlation processing unit 35 receives the object data output from the data receiving unit 32 and the prediction data output from the prediction processing unit 34, and determines the correspondence between the object data and the prediction data.
  • the correlation processing unit 35 outputs correlation data obtained by combining the object data and the prediction data together with the determined correspondence relationship to the update processing unit 36.
  • the update processing unit 36 receives the correlation data output from the correlation processing unit 35, and updates the wake data using the corresponding object data and prediction data included in the correlation data.
  • the update processing unit 36 outputs the track data to the prediction processing unit 34, the information notification device 4 and the vehicle control device 5.
  • the information notification device 4 receives the track data output by the update processing unit 36 as an input, and notifies the information visually or audibly according to the track data. For example, the information notification device 4 controls the alarm so as to sound an alarm when the collision between the host vehicle and the preceding vehicle is predicted from the wake data, or controls the display to display the fact. .
  • the vehicle control device 5 receives the wake data output from the update processing unit 36 and controls the operation of the vehicle according to the wake data. For example, when it is determined from the track data that the collision between the host vehicle and the preceding vehicle cannot be avoided, the vehicle control device 5 performs control to activate the brake.
  • FIG. 3 is a flowchart showing a series of data processing operations performed by the object recognition apparatus 3 according to Embodiment 1 of the present invention. Note that the object recognition apparatus 3 repeatedly performs the following operations at a certain operation cycle. FIG. 3 shows a case where data processing is started at the processing time Tk described above.
  • step S101 the data receiving unit 32 checks object data received for each sensor 1 from the previous processing time Tk-1 to the current processing time Tk. Thereafter, the process proceeds to step S102.
  • step S102 the data receiving unit 32 performs the following related time determination process for each sensor 1, and then the process proceeds to step S103.
  • the data receiving unit 32 determines a related time to be associated with the first object data received first in time series in the detection data group G.
  • the data receiving unit 32 associates the determined related time with the first object data.
  • the data receiving unit 32 associates the same received time with the remaining object data received in the detection data group G with the same object time as the top object data.
  • step S103 The following series of processing from step S103 to step S113 is performed for each sensor 1.
  • Such processing is performed, for example, in order from the sensor 1 that has transmitted object data corresponding to an old associated time among the object data received between the processing time Tk-1 and the processing time Tk.
  • step S103 the data receiving unit 32 determines whether or not there is object data that is not marked “used”, that is, unused object data.
  • unused object data includes object data that is not marked as “used” or “pending” (hereinafter referred to as “unmarked object data”) and “pending” only.
  • Object data (hereinafter referred to as holding object data).
  • step S103 if it is determined that there is unused object data, the process proceeds to step S104. If it is determined that this is not the case, the process ends. Note that all the object data received between the processing time Tk-1 and the processing time Tk is unmarked object data.
  • step S104 the prediction processing unit 34 performs the following prediction process for each object, and then the process proceeds to step S105.
  • the prediction processing unit 34 uses the track data at the previous related time before the current related time corresponding to the unused object data, to calculate the prediction data that is the predicted value of the track data at the current related time. Generate.
  • the prediction processing unit 34 generates prediction data that is a predicted value of the wake data at the related time for each object.
  • step S105 the data receiving unit 32 determines whether all object data in the detection data group G has been received. As a result of the determination, if it is determined that all the object data in the detection data group G has been received, the process proceeds to step S106. If it is determined that this is not the case, the process proceeds to step S109. move on.
  • the data reception unit 32 has received the object data transmitted last in the detection data group.
  • the above determination is made according to the result of the determination. That is, if the data receiving unit 32 has received the last transmitted object data included in the detected data group, the data receiving unit 32 determines that all the object data included in the detected data group has been received. On the other hand, if the data reception unit 32 has not received the last transmitted object data included in the detection data group, the data reception unit 32 determines that all the object data included in the detection data group has not been received.
  • the sensor 1 transmits the object data included in the detection data group before transmitting the detection data group.
  • data indicating the number of data is transmitted.
  • the data receiving unit 32 first receives data indicating the number of data, and makes the above determination based on the result of whether or not object data has been received by the number of data. That is, the data receiving unit 32 determines that all object data included in the detection data group has been received if the object data is received by the number of data. On the other hand, if the data reception unit 32 has not received object data corresponding to the number of data, the data reception unit 32 determines that all object data included in the detection data group has not been received.
  • the sensor 1 gives a flag to the object data to be transmitted last included in the detection data group.
  • the data receiving unit 32 makes the above determination based on the result of whether or not the object data to which the flag is given has been received. That is, if the data receiving unit 32 has received the object data to which the flag is given, the data receiving unit 32 determines that all the object data included in the detection data group has been received. On the other hand, the data receiving unit 32 determines that all object data included in the detection data group has not been received unless the object data to which the flag is given has been received.
  • step S106 the correlation processing unit 35 performs the following correlation determination for each object, and then the process proceeds to step S107.
  • the correlation processing unit 35 determines the correspondence between the object data and the predicted data by individually associating the object data at the related time with the predicted data at the related time.
  • the correlation processing unit 35 determines the correspondence between the object data and the prediction data by, for example, an SNN (Simple Nearest Neighbor) algorithm, an MHT (Multiple Hyperthesis Tracking) algorithm, a GNN (Global Nearest Neighbor Neilbor) algorithm, a JPDAb iJDAb in JDAb iJDAbJ (Association) algorithm or the like.
  • SNN Simple Nearest Neighbor
  • MHT Multiple Hyperthesis Tracking
  • GNN Global Nearest Neighbor Neilbor
  • JPDAb iJDAb in JDAb iJDAbJ (Association) algorithm or the like.
  • the correlation processing unit 35 individually associates the object data at the related time with the prediction data at the related time for each object.
  • step S107 the update processing unit 36 performs the following update process for each object using the object data and the prediction data determined in step S106, and then the process proceeds to step S108.
  • the update processing unit 36 uses the corresponding object data and prediction data to update the track data at the previous related time, thereby generating the track data at the current related time.
  • the update processing unit 36 updates the wake data using, for example, a least square method, a Kalman filter, a particle filter, or the like.
  • the update processing unit 36 generates wake data at the related time using the corresponding object data and the prediction data at the related time for each object.
  • step S108 the data receiving unit 32 marks unused object data as “used”. Thereafter, the process returns to step S103.
  • step S109 the correlation processing unit 35 classifies the unused object data into data that can be determined to determine correlation and data that cannot be determined to determine correlation. Thereafter, the process proceeds to step S110.
  • the correlation processing unit 35 sets a small gate smaller than a normal gate corresponding to the prediction data, and regards object data that falls within the small gate as being capable of correlation determination. . If object data enters such a small gate, the correlation result does not change even if the remaining object data is received later, so that the object data entering the small gate is considered to be capable of determining the correlation.
  • the size of the small gate is determined from the predicted value of the wake data, that is, the size information of the object included in the predicted data.
  • FIG. 4A to 4F are explanatory diagrams showing first to sixth patterns of object data reception and correlation determination according to Embodiment 1 of the present invention.
  • the pattern shown in FIG. 4A is a pattern in which object data received before the processing time Tk is in the small gate and object data received after the processing time Tk is outside the small gate.
  • FIG. 4B shows that both the object data received before the processing time Tk and the object data received after the processing time Tk are in the small gate, and the object data received earlier is closer to the prediction data. It is a pattern.
  • both the object data received before the processing time Tk and the object data received after the processing time Tk are both in the small gate, and the object data received later is closer to the prediction data. It is a pattern.
  • FIG. 4D shows a pattern in which object data received before the processing time Tk is outside the small gate and object data received after the processing time Tk is inside the small gate.
  • both the object data received before the processing time Tk and the object data received after the processing time Tk are outside the small gate, and the object data received earlier is closer to the prediction data. It is a pattern.
  • both the object data received before the processing time Tk and the object data received after the processing time Tk are outside the small gate, and the object data received later is closer to the prediction data. It is a pattern.
  • the correlation between the previously received object data and the prediction data is determined before receiving the object data to be received later.
  • the correlation is incorrect.
  • the small gate is sufficiently small, the influence on the accuracy of the wake-up data can be ignored regardless of whether the object data received earlier or the object data received later is correlated.
  • an error in correlation can be avoided by combining with at least one of the following second example (2) to fifth example (5).
  • the correlation with the prediction data is determined after waiting for receiving the object data received later. . In this case, although the correlation is never wrong, the correlation determination is suspended until both object data are received.
  • the correlation processing unit 35 can determine the correlation of object data if the ID (identification) included in the prediction data is the same as the ID included in the received object data. It is considered. For example, a tracking result managed by each sensor is used. Thus, the correlation processing unit 35 considers that object data including the same ID as the ID included in the prediction data can be correlated.
  • the correlation processing unit 35 can determine the correlation of the object data. I reckon. Examples of the object type include a car and a pedestrian. Thus, the correlation processing unit 35 considers that object data including the same type as that included in the prediction data can be correlated.
  • the correlation processing unit 35 considers that the received object data can be correlated. For example, the correlation processing unit 35 considers that object data in which the distance from the object corresponding to the prediction data to the own vehicle is within a set threshold can determine the correlation. Further, for example, the correlation processing unit 35 considers that object data whose collision prediction time until the host vehicle collides with an object corresponding to the prediction data is within a set threshold can be determined. Furthermore, for example, the correlation processing unit 35 considers that object data whose system priority of the vehicle control device mounted on the host vehicle is equal to or higher than a set threshold can be determined.
  • the correlation processing unit 35 can determine the correlation of the received object data based on any of the identification result, sensor type, object data reliability, object data detection time, and number of interpolations. I reckon. For example, when the identification result is a car, when the sensor type is an optical camera, or when the object data reliability is greater than or equal to a set threshold, the correlation processing unit 35 considers that object data can be correlated.
  • the correlation processing unit 35 is in a state in which all object data in the detection data group G has not been received and a part of the object data has been received at the current processing time Tk, Some object data are classified into those that can be determined to be correlated and those that are not considered to be capable of determining correlation.
  • step S110 the following correlation determination is performed for each object as in step S106. Thereafter, the process proceeds to step S111.
  • the correlation processing unit 35 determines the correspondence between the object data and the prediction data by individually associating the object data that is considered to be capable of determining the correlation and the prediction data.
  • the correlation processing unit 35 individually associates the object data regarded as being capable of determining the correlation and the prediction data. In addition, the correlation processing unit 35 sets the object data that is not considered to be capable of determining the correlation as the reserved object data. If the remaining object data in the detection data group G has been received at the next processing time after the current processing time Tk, the suspended object data and the prediction data are individually obtained together with the remaining object data. Associate.
  • step S111 the update processing unit 36 performs the following update process for each object in the same manner as in step S107, using the object data and the prediction data for which the correspondence relationship has been determined in step S110. Thereafter, the process proceeds to step S112.
  • the update processing unit 36 uses the corresponding object data and prediction data to update the track data at the previous related time, thereby generating the track data at the current related time.
  • step S112 the data receiving unit 32 marks the object data deemed to be capable of determining the correlation in step S109 as “used”. Thereafter, the process proceeds to step S113.
  • step S113 the data receiving unit 32 marks the object data that is not considered to be capable of determining the correlation in step S109 as “pending”.
  • the data storage unit 33 stores object data marked as “pending”. Thereafter, the process returns to step S103. If the data receiving unit 32 receives object data having the same related time as the reserved object data stored in the data storage unit 33 after the current processing time Tk, the reserved object data is input to the correlation processing unit 35. Is done.
  • the object recognition apparatus has not received all the object data in the detection data group and has received some object data at the current processing time. If so, a part of the object data is configured to be classified into those that can be determined to be correlated and those that are not considered to be capable of determining the correlation.
  • the object recognition device is configured to individually associate object data deemed to be able to determine the correlation and prediction data, and to set object data not considered to be able to determine the correlation as pending object data. Furthermore, if the remaining object data in the detection data group has been received at the next processing time after the current processing time, the object recognition device predicts the reserved object data together with the remaining object data. Data is associated with each other individually.
  • the wake-up data is generated in consideration of the relationship between the timing at which all the object data included in the detection data group including the plurality of object data having the same related time is received and the timing at which the data processing is started. be able to.
  • Embodiment 2 an object recognition apparatus 3 having a different data processing method from the first embodiment will be described.
  • description of points that are the same as those of the first embodiment will be omitted, and points different from the first embodiment will be mainly described.
  • FIG. 5 is a flowchart showing a series of data processing operations performed by the object recognition apparatus 3 according to Embodiment 2 of the present invention.
  • the object recognition device 3 in the second embodiment performs the same processing as in the first embodiment when not receiving all the object data included in the detection data group. However, the correlation determination is assumed temporarily. Further, when the object recognition device 3 receives all the object data included in the detection data group, the object recognition device 3 newly determines the correlation using all the object data regardless of the temporarily determined correlation. That is, the object recognition device 3 performs a double process.
  • step S201 to step S205 is the same as the processing from step S101 to step S105 in FIG.
  • step S206 the correlation processing unit 35 performs the following correlation determination for each object, and then the process proceeds to step S207.
  • the correlation processing unit 35 determines the correspondence between the object data and the prediction data by individually associating the object data with the prediction data.
  • processing is performed by leaving the corresponding object data and track data as tentatively determined. The load can be reduced.
  • step S207 is the same as the processing in step S107 in FIG.
  • step S208 the correlation processing unit 35 classifies the unused object data into data that can be determined to be correlated and data that cannot be determined to be correlated. Thereafter, the process proceeds to step S209.
  • the correlation processing unit 35 is in a state in which all object data in the detection data group G has not been received and a part of the object data has been received at the current processing time Tk, Some object data are classified into those that can be determined to be correlated and those that are not considered to be capable of determining correlation.
  • step S209 the following correlation provisional determination is performed for each object, and then the process proceeds to step S210.
  • the correlation processing unit 35 provisionally determines the correspondence between the object data and the prediction data by individually associating the object data deemed to be capable of determining the correlation and the prediction data.
  • the correlation processing unit 35 temporarily associates the object data and the prediction data that are regarded as capable of determining the correlation individually. Further, if the remaining object data in the detection data group G has been received at the next processing time after the current processing time Tk, the correlation processing unit 35 will be able to receive all of the detection data groups. Object data and prediction data are individually associated with each other.
  • step S210 is the same as the processing in step S111 in FIG.
  • the object recognition apparatus has not received all the object data in the detection data group and has received some object data at the current processing time. If so, a part of the object data is configured to be classified into those that can be determined to be correlated and those that are not considered to be capable of determining the correlation.
  • the object recognition device is configured to temporarily associate object data and prediction data that are considered to be capable of determining the correlation individually. Further, the object recognition device, when the remaining object data in the detection data group is received at the next processing time after the current processing time, all the object data in the detection data group The prediction data is individually associated with each other. Even in such a configuration, the same effect as in the first embodiment can be obtained.
  • the present invention is not limited to this, and the present invention can be realized even if the number of the sensors 1 is singular.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

物体認識装置は、今回の処理時刻において、検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、相関決定可能とみなされた物体データと予測データとを個別に対応付けし、相関決定可能とみなされなかった物体データを保留物体データとし、今回の処理時刻以降の次回の処理時刻において、検出データ群の中の残りの物体データが受信されている状態であれば、残りの物体データとともに保留物体データと、予測データとを個別に対応付けする。

Description

物体認識装置および物体認識方法
　本発明は、自車に搭載した単数または複数のセンサから受信した物体データを処理する物体認識装置および物体認識方法に関する。
　従来の物体認識装置（例えば、特許文献１参照）は、自車に搭載され、物体の状態に関する情報を物体データとして検出する単数または複数のセンサから受信した物体データを処理することで、自車の周辺物体を認識するように構成されている。具体的には、特許文献１に記載の物体認識装置は、今回の処理時刻において、前回の処理時刻から今回の処理時刻までの期間に受信された物体データごとに関連時刻を関連付け、このような物体データを処理することによって、今回の処理時刻での物体の状態値を推定するように構成されている。
　上述した物体認識装置の適用例として、自動運転システム等の車両制御システムが挙げられる。車両制御システムは、物体認識装置が物体を認識した結果を用いて、自動ブレーキ、車間維持制御などの様々な車両制御を行うように構成されている。
特許第６１６９１４６号公報
　ここで、特許文献１では、関連時刻が同じ複数の物体データからなる検出データ群に含まれる全ての物体データを物体認識装置が受信するタイミングと、物体認識装置がデータ処理を開始するタイミングとの関係について特に言及されていない。したがって、このような関係を考慮して、物体認識装置の構成をより工夫する余地がある。
　本発明は、上記を鑑みてなされたものであり、関連時刻が同じ複数の物体データからなる検出データ群に含まれる全ての物体データが受信されるタイミングと、データ処理が開始されるタイミングとの関係を考慮した物体認識装置および物体認識方法を得ることを目的とする。
　本発明における物体認識装置は、関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した検出データ群に含まれる複数の物体データに個別に対応する各物体の航跡データを生成する物体認識装置であって、センサから検出データ群を受信し、受信した検出データ群に関連時刻を関連付けるデータ受信部と、各物体について、関連時刻における航跡データの予測値である予測データを生成する予測処理部と、各物体について、関連時刻における物体データと関連時刻における予測データとを個別に対応付ける相関処理部と、各物体について、関連時刻における対応する物体データおよび予測データを用いて、関連時刻における航跡データを生成する更新処理部と、を備え、相関処理部は、今回の処理時刻において、検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、相関決定可能とみなされた物体データと予測データとを個別に対応付けし、相関決定可能とみなされなかった物体データを保留物体データとし、今回の処理時刻以降の次回の処理時刻において、検出データ群の中の残りの物体データが受信されている状態であれば、残りの物体データとともに保留物体データと、予測データとを個別に対応付けするものである。
　本発明における物体認識方法は、関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した検出データ群に含まれる複数の物体データに個別に対応する各物体の航跡データを生成する物体認識方法であって、センサから検出データ群を受信し、受信した検出データ群に関連時刻を関連付けるデータ受信ステップと、各物体について、関連時刻における航跡データの予測値である予測データを生成する予測処理ステップと、各物体について、関連時刻における物体データと関連時刻における予測データとを個別に対応付ける相関処理ステップと、各物体について、関連時刻における対応する物体データおよび予測データを用いて、関連時刻における航跡データを生成する更新処理ステップと、を備え、相関処理ステップでは、今回の処理時刻において、検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、相関決定可能とみなされた物体データと予測データとを個別に対応付けし、相関決定可能とみなされなかった物体データを保留物体データとし、今回の処理時刻以降の次回の処理時刻において、検出データ群の中の残りの物体データが受信されている状態であれば、残りの物体データとともに保留物体データと、予測データとを個別に対応付けするものである。
　本発明によれば、関連時刻が同じ複数の物体データからなる検出データ群に含まれる全ての物体データが受信されるタイミングと、データ処理が開始されるタイミングとの関係を考慮した物体認識装置および物体認識方法を得ることができる。
本発明の実施の形態１における物体認識装置を備えた車両制御システムの構成を示すブロック図である。 本発明の実施の形態１における物体認識装置が検出データ群に含まれる全ての物体データを受信するタイミングと、物体認識装置がデータ処理を開始するタイミングとの関係を示す説明図である。 本発明の実施の形態１における物体認識装置によって行われるデータ処理の一連の動作を示すフローチャートである。 本発明の実施の形態１における物体データの受信と相関決定の第１のパターンを示す説明図である。 本発明の実施の形態１における物体データの受信と相関決定の第２のパターンを示す説明図である。 本発明の実施の形態１における物体データの受信と相関決定の第３のパターンを示す説明図である。 本発明の実施の形態１における物体データの受信と相関決定の第４のパターンを示す説明図である。 本発明の実施の形態１における物体データの受信と相関決定の第５のパターンを示す説明図である。 本発明の実施の形態１における物体データの受信と相関決定の第６のパターンを示す説明図である。 本発明の実施の形態２における物体認識装置によって行われるデータ処理の一連の動作を示すフローチャートである。
　以下、本発明による物体認識装置および物体認識方法を、好適な実施の形態にしたがって図面を用いて説明する。なお、図面の説明においては、同一部分または相当部分には同一符号を付し、重複する説明を省略する。
　実施の形態１．
　図１は、本発明の実施の形態１における物体認識装置３を備えた車両制御システムの構成を示すブロック図である。
　図１において、車両制御システムは、Ｎ個（Ｎは２以上の整数）のセンサ１と、車両情報センサ２と、物体認識装置３と、情報報知装置４と、車両制御装置５とを備える。なお、図１では、Ｎ個のセンサ１の符号「１」の末尾にそれぞれ（１），・・・，（Ｎ）を付して、Ｎ個のセンサ１を区別して表記している。
　センサ１は、自車に搭載されている。センサ１は、検出可能な範囲に存在する自車周辺の物体に関する情報を、物体データとして検出し、その物体データを物体認識装置３に送信する。物体データには、例えば、物体までの距離、物体の方位角または物体の相対速度等の物体に関する情報が含まれる。
　センサ１として、例えば、物体から放射された光、電磁波等の検出波を受信し、受信した検出波に対して信号処理、画像処理等の処理が行われることで、その物体に関する情報を検出するタイプのセンサを用いればよい。センサ１として、物体に検出波を照射し、その物体から反射した検出波を受信し、受信した検出波に対して処理が行われることで、その物体に関する情報を検出するタイプのセンサを用いてもよい。具体的には、センサ１として、例えば、ミリ波レーダ、レーザレーダ、超音波センサ、赤外線センサ、光学カメラ等を用いることができる。
　センサ１の自車への搭載位置、およびセンサ１の検出範囲は、既知であるものとする。また、センサ１の自車への搭載位置等は任意に設定することができる。
　センサ１によって検出される物体データの数は、そのセンサ１の検出範囲に存在する物体の数と同数である。すなわち、センサ１において、検出範囲に１つの物体が存在する場合、センサ１によって検出される物体データの数は１である。また、センサ１において、検出範囲に複数の物体が存在する場合、センサ１によって検出される物体データの数は、その検出範囲に存在する複数の物体の数と同数である。
　車両情報センサ２は、自車に関する情報を自車データとして検出し、その自車データを物体認識装置３に送信する。なお、自車データには、例えば、自車の速度、車輪速、ステアリング角、ヨーレート等の情報が含まれる。車両情報センサ２は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）を用いて、自車の緯度、経度または進行方向を、自車データとして検出するように構成されていてもよい。
　物体認識装置３は、関連時刻が同じである複数の物体データからなる検出データ群をセンサ１から受信し、受信した検出データ群に含まれる複数の物体データに個別に対応する各物体の航跡データを生成する。
　物体認識装置３は、時刻計測部３１、データ受信部３２、データ記憶部３３、予測処理部３４、相関処理部３５および更新処理部３６を備える。物体認識装置３は、例えば、演算処理を実行するマイクロコンピュータと、プログラムデータ、固定値データ等のデータを記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、格納されているデータを更新して順次書き換えられるＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、データを送受信する通信機と、時間を計測するタイマによって実現される。
　時刻計測部３１は、物体認識装置３において時刻を計測する。データ受信部３２は、Ｎ個のセンサ１のそれぞれから物体データを受信し、車両情報センサ２から自車データを受信する。データ受信部３２は、必要に応じて、自車データを用いて、物体データを加工する。データ受信部３２は、物体データの送信元であるセンサ１によってその物体データが検出された時刻である関連時刻を確定し、確定した関連時刻を、その物体データに関連付ける。なお、関連時刻を確定する具体的な方法は、特許文献１に開示されている。
　このように、データ受信部３２は、センサ１から検出データ群を受信し、受信した検出データ群に含まれる物体データに関連時刻を関連付ける。データ受信部３２は、関連時刻を関連付けた物体データを、相関処理部３５および予測処理部３４にそれぞれ出力する。
　ここで、関連時刻が同じ複数の物体データからなる検出データ群に含まれる全ての物体データを物体認識装置３が受信するタイミングと、物体認識装置３がデータ処理を開始するタイミングとの関係について、図２を参照しながら説明する。図２は、本発明の実施の形態１における物体認識装置３が検出データ群に含まれる全ての物体データを受信するタイミングと、物体認識装置３がデータ処理を開始するタイミングとの関係を示す説明図である。
　なお、図２では、物体認識装置３がデータ処理を開始する時刻（以下、処理時刻と称す）Ｔｋの一例として、処理時刻Ｔ０～Ｔ４が図示されている。また、図２では、或る１つのセンサ１が、検出範囲に存在する５つの物体＃１～＃５に個別に対応する５つの物体データ＃１～＃５を同じ時刻に検出し、検出した物体データ＃１～＃５からなる検出データ群をデータ受信部３２に送信する一連の処理を繰り返し行う場合を例示している。
　さらに、図２では、対応する関連時刻がそれぞれ異なる複数の検出データ群Ｇの一例として、Ｇ１～Ｇ４が図示されている。検出データ群Ｇ１は、関連時刻Ｔｓ１に対応する物体データ＃１～＃５からなる。検出データ群Ｇ２は、関連時刻Ｔｓ２に対応する物体データ＃１～＃５からなる。検出データ群Ｇ３は、関連時刻Ｔｓ３に対応する物体データ＃１～＃５からなる。検出データ群Ｇ４は、関連時刻Ｔｓ４に対応する物体データ＃１～＃５からなる。
　センサ１は、同じ時刻に検出した物体データ＃１～＃５からなる検出データ群Ｇを物体認識装置３に送信する。特に、センサ１は、ＣＡＮ（Ｃｏｎｔｒｏｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）などの車載ネットワークを介して物体認識装置３にデータ送信を行うように構成される場合、センサ１は、物体単位でＣＡＮフレームまたはＩＰパケットを構成し、物体ごとに物体データを送信する。具体的には、図２に示すように、センサ１は、検出データ群Ｇを送信する際、この群に含まれる物体データ＃１～＃５を１つずつ順番にデータ受信部３２に送信する。
　このように、センサ１は、検出データ群Ｇを送信する際に、物体データ＃１～＃５を１つずつ順番に送信すると、データ受信部３２は、これらの物体データ＃１～＃５を１つずつ順番に受信する。データ受信部３２は、受信したこれらの物体データ＃１～＃５に同じ関連時刻を関連付ける。
　上述の場合、第１のケースとして、処理時刻Ｔｋよりも先に検出データ群Ｇに含まれる全ての物体データ＃１～＃５が受信された状態となっているケースが考えられる。このケースでは、検出データ群Ｇの中の処理時刻Ｔｋよりも先に受信した物体データ＃１～＃５は、処理時刻Ｔｋで関連時刻と関連付けられる。
　第１のケースの具体例では、図２に示すように、処理時刻Ｔ１よりも先に検出データ群Ｇ１に含まれる全ての物体データ＃１～＃５が受信されている。この場合、物体データ＃１～＃５は、処理時刻Ｔ１で関連時刻Ｔｓ１と関連付けられる。
　第２のケースとして、処理時刻Ｔｋよりも先に検出データ群Ｇに含まれる全ての物体データ＃１～＃５が受信されていない状態となっているケースが考えられる。このケースでは、検出データ群Ｇの中の処理時刻Ｔｋよりも先に受信した物体データは、処理時刻Ｔｋで関連時刻と関連付けられ、検出データ群Ｇの中の処理時刻Ｔｋよりも後で受信した残りの物体データは、処理時刻Ｔｋよりも後の処理時刻で関連時刻と関連付けられる。
　第２のケースの具体例では、図２に示すように、処理時刻Ｔ２よりも先に検出データ群Ｇ２に含まれる物体データ＃１～＃３が受信され、処理時刻Ｔ２よりも後に検出データ群Ｇ２に含まれる残りの物体データ＃４，＃５が受信されている。この場合、物体データ＃１～＃３は、処理時刻Ｔ２で関連時刻Ｔｓ２と関連付けられ、物体データ＃４，＃５は、処理時刻Ｔ３で関連時刻Ｔｓ２と関連付けられる。
　ここで、比較例として、図２に示す状況において、今回の処理時刻Ｔｋにおいて、或るセンサから送信される検出データ群の中の全ての物体データが受信されていなければ、全ての物体データが受信されるまで、この検出データ群の処理が待機される場合を考える。この場合、検出データ群の中の全ての物体データが受信された以降の処理時刻において、この検出データ群の処理が開始される。
　したがって、このような比較例では、検出データ群の中の全ての物体データが受信されるまで待機となるので、この検出データ群の処理が遅れ、結果として、物体認識装置３の出力の応答性が低下することが考えられる。このような出力の応答性の低下が発生すると、緊急自動ブレーキなどの予防安全システムの動作が遅れる可能性がある。
　そこで、本実施の形態１では、物体認識装置は、今回の処理時刻Ｔｋにおいて、検出データ群の中の一部の物体データが受信された場合であっても、全ての物体データの受信が完了するまで待機することなく、航跡データが更新されるように構成されている。したがって、物体認識装置３の出力の応答性を確保することができる。
　図１の説明に戻り、データ記憶部３３は、必要に応じて、データ受信部３２が受信した物体データを記憶する。
　予測処理部３４は、後述する更新処理部３６によって出力される航跡データと、データ受信部３２から入力される関連時刻を入力として、その関連時刻における航跡データを予測し、その予測結果を予測データとして生成する。なお、関連時刻における航跡データを予測する方法としては、公知の技術を適用すればよく、ここでは当該方法の詳細な説明を省略する。
　なお、航跡データには、センサ１によって検出された物体の状態値が含まれる。物体の状態値とは、センサ１によって検出された物体の位置、速度、加速度、種別等の情報である。
　相関処理部３５は、データ受信部３２によって出力される物体データと、予測処理部３４によって出力される予測データを入力として、物体データと予測データの対応関係を決定する。相関処理部３５は、決定した対応関係とともに、物体データと予測データとをまとめた相関データを更新処理部３６に出力する。
　更新処理部３６は、相関処理部３５によって出力される相関データを入力として、相関データに含まれる、対応する物体データおよび予測データを用いて、航跡データを更新する。更新処理部３６は、その航跡データを予測処理部３４、情報報知装置４および車両制御装置５に出力する。
　情報報知装置４は、更新処理部３６によって出力される航跡データを入力として、その航跡データに従って情報を視覚的ないし聴覚的に報知する。例えば、情報報知装置４は、航跡データから、自車と前方車両との衝突を予想した場合、警報器が警報を鳴らすように制御したり、ディスプレイがその旨を表示するように制御したりする。
　車両制御装置５は、更新処理部３６によって出力される航跡データを入力として、その航跡データに従って車両の動作を制御する。例えば、車両制御装置５は、航跡データから、自車と前方車両との衝突を回避できないと判断した場合、ブレーキを作動させる制御を行う。
　次に、本実施の形態１における物体認識装置３によって行われるデータ処理の動作について、図３を参照しながら説明する。図３は、本発明の実施の形態１における物体認識装置３によって行われるデータ処理の一連の動作を示すフローチャートである。なお、物体認識装置３は、或る動作周期で、以下の動作を繰り返し行う。図３では、上述した処理時刻Ｔｋでデータ処理が開始される場合について示している。
　ステップＳ１０１において、データ受信部３２は、各センサ１について、前回の処理時刻Ｔｋ－１から今回の処理時刻Ｔｋまでの間に受信した物体データをチェックする。その後、処理がステップＳ１０２へと進む。
　ステップＳ１０２において、データ受信部３２は、各センサ１について、以下の関連時刻確定処理を行い、その後、処理がステップＳ１０３へと進む。
　すなわち、データ受信部３２は、検出データ群Ｇの中で、時系列的に最も先に受信した先頭の物体データに関連付ける関連時刻を確定する。データ受信部３２は、確定した関連時刻をその先頭の物体データに関連付ける。データ受信部３２は、検出データ群Ｇの中の受信した残りの物体データにも先頭の物体データと同じ関連時刻を関連付ける。
　以下のステップＳ１０３～ステップＳ１１３の一連の処理は、各センサ１について行われる。このような処理は、例えば、処理時刻Ｔｋ－１から処理時刻Ｔｋまでの間に受信した物体データの中の、対応する関連時刻が古い物体データを送信したセンサ１から順番に行われる。
　ステップＳ１０３において、データ受信部３２は、「使用済」にマークされていない物体データ、すなわち、未使用の物体データが存在するか否かを判定する。なお、未使用の物体データとしては、「使用済」および「保留中」のいずれにもマークされていない物体データ（以下、未マーク物体データと称す）と、「保留中」にのみマークされている物体データ（以下、保留物体データと称す）とが挙げられる。
　ステップＳ１０３での判定の結果、未使用の物体データが存在すると判定された場合には、処理がステップＳ１０４へと進み、そうでないと判定された場合には、処理が終了となる。なお、処理時刻Ｔｋ－１から処理時刻Ｔｋまでの間に受信した物体データは、全て未マーク物体データである。
　ステップＳ１０４において、予測処理部３４は、各物体について、以下の予測処理を行い、その後、処理がステップＳ１０５へと進む。
　すなわち、予測処理部３４は、未使用の物体データに対応する今回の関連時刻よりも前の前回の関連時刻における航跡データを用いて、今回の関連時刻における航跡データの予測値である予測データを生成する。
　このように、予測処理部３４は、各物体について、関連時刻における航跡データの予測値である予測データを生成する。
　ステップＳ１０５において、データ受信部３２は、検出データ群Ｇの中の物体データを全て受信したか否かを判定する。その判定の結果、検出データ群Ｇの中の物体データを全て受信したと判定された場合には、処理がステップＳ１０６へと進み、そうでないと判定された場合には、処理がステップＳ１０９へと進む。
　ここで、検出データ群に含まれる全ての物体データを受信したか否かを判定する方法としては、以下の例が挙げられる。
　第１の例として、データ受信部３２は、検出データ群に含まれる物体データの数が固定であることが前提である場合、検出データ群に含まれる最後に送信される物体データを受信したか否かの結果によって、上記の判定を行う。すなわち、データ受信部３２は、検出データ群に含まれる最後に送信される物体データを受信していれば、検出データ群に含まれる全ての物体データを受信したと判定する。一方、データ受信部３２は、検出データ群に含まれる最後に送信される物体データを受信していなければ、検出データ群に含まれる全ての物体データを受信していないと判定する。
　第２の例として、検出データ群に含まれる物体データの数が可変であることが前提である場合、センサ１は、検出データ群を送信する前に、その検出データ群に含まれる物体データの数であるデータ数を示すデータを最初に送信する。データ受信部３２は、データ数を示すデータを最初に受信し、そのデータ数の分だけ物体データを受信したか否かの結果によって、上記の判定を行う。すなわち、データ受信部３２は、データ数の分だけ物体データを受信していれば、検出データ群に含まれる全ての物体データを受信したと判定する。一方、データ受信部３２は、データ数の分だけ物体データを受信していなければ、検出データ群に含まれる全ての物体データを受信していないと判定する。
　第３の例として、センサ１は、検出データ群に含まれる最後に送信する物体データにフラグを付与する。データ受信部３２は、フラグが付与された物体データを受信したか否かの結果によって、上記の判定を行う。すなわち、データ受信部３２は、フラグが付与された物体データを受信していれば、検出データ群に含まれる全ての物体データを受信したと判定する。一方、データ受信部３２は、フラグが付与された物体データを受信していなければ、検出データ群に含まれる全ての物体データを受信していないと判定する。
　ステップＳ１０６において、相関処理部３５は、各物体について、以下の相関決定を行い、その後、処理がステップＳ１０７へと進む。
　すなわち、相関処理部３５は、関連時刻における物体データと関連時刻における予測データとを個別に対応付けることで、物体データと予測データとの対応関係を決定する。
　なお、相関処理部３５は、物体データと予測データとの対応関係を、例えば、ＳＮＮ（Ｓｉｍｐｌｅ　Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ）アルゴリズム、ＭＨＴ（Ｍｕｌｔｉｐｌｅ　Ｈｙｐｏｔｈｅｓｉｓ　Ｔｒａｃｋｉｎｇ）アルゴリズム、ＧＮＮ（Ｇｌｏｂａｌ　Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ）アルゴリズム、ＪＰＤＡ（Ｊｏｉｎｔ　Ｐｒｏｂａｂｉｌｉｓｔｉｃ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ）アルゴリズムなどを用いて決定する。
　このように、相関処理部３５は、各物体について、関連時刻における物体データと関連時刻における予測データとを個別に対応付ける。
　ステップＳ１０７において、更新処理部３６は、各物体について、ステップＳ１０６で対応関係を決定した物体データおよび予測データを用いて、以下の更新処理を行い、その後、処理がステップＳ１０８へと進む。
　すなわち、更新処理部３６は、対応する物体データおよび予測データを用いて、前回の関連時刻における航跡データを更新することで、今回の関連時刻における航跡データを生成する。
　なお、更新処理部３６は、例えば、最小二乗法、カルマンフィルタ、粒子フィルタなどを用いて、航跡データを更新する。
　このように、更新処理部３６は、各物体について、関連時刻における対応する物体データおよび予測データを用いて、関連時刻における航跡データを生成する。
　ステップＳ１０８において、データ受信部３２は、未使用の物体データを「使用済」にマークする。その後、処理がステップＳ１０３へと戻る。
　ステップＳ１０９において、相関処理部３５は、未使用の物体データの中で、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類する。その後、処理がステップＳ１１０へと進む。
　ここで、物体データについて、相関決定可能であるとみなす方法としては、以下の例が挙げられる。
　すなわち、第１の例（１）として、相関処理部３５は、予測データに対応する通常のゲートよりも小さい小ゲートを設定し、小ゲート内に入る物体データを、相関決定可能であるとみなす。このような小ゲート内に物体データが入れば、後で残りの物体データを受信しても相関結果が変わらないので、小ゲート内に入った物体データが相関決定可能とみなされる。なお、小ゲートの大きさは、航跡データの予測値、すなわち、予測データに含まれる物体の大きさ情報から決定される。
　図４Ａ～図４Ｆは、本発明の実施の形態１における物体データの受信と相関決定の第１～第６のパターンを示す説明図である。図４Ａに示すパターンは、処理時刻Ｔｋよりも先に受信した物体データが小ゲート内にあり、処理時刻Ｔｋよりも後で受信する物体データが小ゲート外にあるパターンである。図４Ｂは、処理時刻Ｔｋよりも先に受信した物体データと、処理時刻Ｔｋよりも後で受信する物体データとがともに小ゲート内にあり、先に受信した物体データの方が予測データに近いパターンである。
　図４Ｃは、処理時刻Ｔｋよりも先に受信した物体データと、処理時刻Ｔｋよりも後で受信する物体データとがともに小ゲート内にあり、後で受信する物体データの方が予測データに近いパターンである。図４Ｄは、処理時刻Ｔｋよりも先に受信した物体データが小ゲート外にあり、処理時刻Ｔｋよりも後で受信する物体データが小ゲート内にあるパターンである。
　図４Ｅは、処理時刻Ｔｋよりも先に受信した物体データと、処理時刻Ｔｋよりも後で受信する物体データとがともに小ゲート外にあり、先に受信した物体データの方が予測データに近いパターンである。図４Ｆは、処理時刻Ｔｋよりも先に受信した物体データと、処理時刻Ｔｋよりも後で受信する物体データとがともに小ゲート外にあり、後で受信する物体データの方が予測データに近いパターンである。
　図４Ａ～図４Ｃに示すパターンでは、先に受信した物体データと予測データとの相関は、後で受信する物体データを受信する前に決定される。結果として、図４Ｃに示すパターンでは、相関が間違っている。ただし、小ゲートが十分小さければ、先に受信した物体データと後で受信する物体データとのいずれと相関しても、航跡データの精度に与える影響を無視できる。要すれば、以下の第２の例（２）～第５の例（５）の少なくとも１つと組み合わせることで、相関の間違いが回避される。
　一方、図４Ｄ～図４Ｆに示すパターンでは、先に受信した物体データが小ゲート内にないので、後で受信する物体データを受信するのを待ってから、予測データとの相関が決定される。この場合、相関が間違っていることがないものの、両方の物体データが受信されるまでは、相関決定が保留される。
　第２の例（２）として、相関処理部３５は、予測データに含まれるＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と、受信した物体データに含まれるＩＤとが同じであれば、その物体データが相関決定可能であるとみなす。例えば、各センサで管理しているトラッキング結果が利用される。このように、相関処理部３５は、予測データに含まれるＩＤと同じＩＤを含む物体データを、相関決定が可能であるとみなす。
　第３の例（３）として、相関処理部３５は、予測データに含まれる物体種別と、受信した物体データに含まれる物体種別とが同じであれば、その物体データが相関決定可能であるとみなす。物体種別としては、例えば、車、歩行者などが挙げられる。このように、相関処理部３５は、予測データに含まれる種別と同じ種別を含む物体データを、相関決定が可能であるとみなす。
　第４の例（４）として、後段システムにとって重要度の高い場合、例えば車間維持制御で追従中であるなどの場合、相関処理部３５は、受信した物体データが相関決定可能であるとみなす。例えば、相関処理部３５は、予測データに対応する物体から自車までの距離が設定閾値以内である物体データを、相関決定が可能であるとみなす。また、例えば、相関処理部３５は、予測データに対応する物体に自車が衝突するまでの衝突予測時間が設定閾値以内である物体データを、相関決定可能であるとみなす。さらに、例えば、相関処理部３５は、自車に搭載される車両制御装置のシステム優先度が設定閾値以上である物体データ、相関決定可能であるとみなす。
　第５の例（５）として、相関処理部３５は、識別結果、センサ種類、物体データ信頼度、物体データ検出時間および補間回数のいずれかに基づいて、受信した物体データを、相関決定可能とみなす。例えば、識別結果が車である場合、センサ種類が光学カメラである場合、または、物体データ信頼度が設定閾値以上である場合、相関処理部３５は、物体データを相関決定可能とみなす。
　このように、相関処理部３５は、今回の処理時刻Ｔｋにおいて、検出データ群Ｇの中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類する。
　ステップＳ１１０において、各物体について、ステップＳ１０６と同様に以下の相関決定を行う。その後、処理がステップＳ１１１へと進む。
　すなわち、相関処理部３５は、相関決定可能とみなされた物体データと、予測データとを個別に対応付けることで、物体データと予測データとの対応関係を決定する。
　このように、相関処理部３５は、相関決定可能とみなされた物体データと予測データとを個別に対応付けする。また、相関処理部３５は、相関決定可能とみなされなかった物体データを保留物体データとする。今回の処理時刻Ｔｋ以降の次回の処理時刻において、検出データ群Ｇの中の残りの物体データが受信されている状態であれば、残りの物体データとともに保留物体データと、予測データとを個別に対応付けする。
　ステップＳ１１１において、更新処理部３６は、各物体について、ステップＳ１１０で対応関係を決定した物体データおよび予測データを用いて、ステップＳ１０７と同様に以下の更新処理を行う。その後、処理がステップＳ１１２へと進む。
　すなわち、更新処理部３６は、対応する物体データおよび予測データを用いて、前回の関連時刻における航跡データを更新することで、今回の関連時刻における航跡データを生成する。
　ステップＳ１１２において、データ受信部３２は、ステップＳ１０９で相関決定可能とみなされた物体データを「使用済」にマークする。その後、処理がステップＳ１１３へと進む。
　ステップＳ１１３において、データ受信部３２は、ステップＳ１０９で相関決定可能とみなされなかった物体データを「保留中」にマークする。データ記憶部３３は、「保留中」にマークされている物体データを記憶する。その後、処理がステップＳ１０３へと戻る。なお、データ受信部３２は、今回の処理時刻Ｔｋよりも後に、データ記憶部３３が記憶する保留物体データと関連時刻が同じ物体データを受信すれば、その保留物体データが相関処理部３５に入力される。
　以上、本実施の形態１によれば、物体認識装置は、今回の処理時刻において、検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類するように構成されている。また、物体認識装置は、相関決定可能とみなされた物体データと予測データとを個別に対応付けし、相関決定可能とみなされなかった物体データを保留物体データとするように構成されている。さらに、物体認識装置は、今回の処理時刻以降の次回の処理時刻において、検出データ群の中の残りの物体データが受信されている状態であれば、残りの物体データとともに保留物体データと、予測データとを個別に対応付けするように構成されている。
　これにより、関連時刻が同じ複数の物体データからなる検出データ群に含まれる全ての物体データが受信されるタイミングと、データ処理が開始されるタイミングとの関係を考慮して、航跡データを生成することができる。
　実施の形態２．
　本発明の実施の形態２では、先の実施の形態１に対して、データ処理の方法が異なる物体認識装置３について説明する。なお、本実施の形態２では、先の実施の形態１と同様である点の説明を省略し、先の実施の形態１と異なる点を中心に説明する。
　図５は、本発明の実施の形態２における物体認識装置３によって行われるデータ処理の一連の動作を示すフローチャートである。
　ここで、本実施の形態２における物体認識装置３は、検出データ群に含まれる全ての物体データを受信していない場合、先の実施の形態１と同様の処理を行う。ただし、相関決定は仮のものとする。また、物体認識装置３は、検出データ群に含まれる全ての物体データを受信した場合、仮決定した相関に関わらず、改めて全ての物体データを用いて相関決定する。つまり、物体認識装置３は、二重系の処理を行う。
　ステップＳ２０１～ステップＳ２０５の処理は、先の図３のステップＳ１０１～ステップＳ１０５の処理と同様である。
　ステップＳ２０６において、相関処理部３５は、各物体について、以下の相関決定を行い、その後、処理がステップＳ２０７へと進む。
　すなわち、相関処理部３５は、物体データと予測データとを個別に対応付けることで、物体データと予測データとの対応関係を決定する。仮決定した相関から変更がない場合、具体的には、予測データのゲート内に複数の物体データが入らなかった場合などでは、該当する物体データと航跡データは仮決定のままとすることで処理負荷を低減できる。
　ステップＳ２０７の処理は、先の図３のステップＳ１０７の処理と同様である。
　ステップＳ２０８において、相関処理部３５は、未使用の物体データの中で、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類する。その後、処理がステップＳ２０９へと進む。
　このように、相関処理部３５は、今回の処理時刻Ｔｋにおいて、検出データ群Ｇの中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類する。
　ステップＳ２０９において、各物体について、以下の相関仮決定を行い、その後、処理がステップＳ２１０へと進む。
　すなわち、相関処理部３５は、相関決定可能とみなされた物体データと、予測データとを個別に対応付けることで、物体データと予測データとの対応関係を仮決定する。
　このように、相関処理部３５は、相関決定可能とみなされた物体データと予測データとを個別に仮に対応付けする。また、相関処理部３５は、今回の処理時刻Ｔｋ以降の次回の処理時刻において、検出データ群Ｇの中の残りの物体データが受信されている状態であれば、検出データ群の中の全ての物体データと、予測データとを個別に対応付けする。
　ステップＳ２１０の処理は、先の図３のステップＳ１１１の処理と同様である。
　以上、本実施の形態２によれば、物体認識装置は、今回の処理時刻において、検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類するように構成されている。また、物体認識装置は、相関決定可能とみなされた物体データと予測データとを個別に仮に対応付けするように構成されている。さらに、物体認識装置は、今回の処理時刻以降の次回の処理時刻において、検出データ群の中の残りの物体データが受信されている状態であれば、検出データ群の中の全ての物体データと、予測データとを個別に対応付けするように構成されている。このように構成した場合であっても、先の実施の形態１と同様の効果が得られる。
　なお、実施の形態では、センサ１の個数が複数である場合を例示したが、これに限定されず、センサ１の個数が単数であっても、本発明が成立する。
　１　センサ、２　車両情報センサ、３　物体認識装置、４　情報報知装置、５　車両制御装置、３１　時刻計測部、３２　データ受信部、３３　データ記憶部、３４　予測処理部、３５　相関処理部、３６　更新処理部。

Claims (10)

  1. 　関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した前記検出データ群に含まれる前記複数の物体データに個別に対応する各物体の航跡データを生成する物体認識装置であって、
    　前記センサから前記検出データ群を受信し、受信した前記検出データ群に前記関連時刻を関連付けるデータ受信部と、
    　各物体について、前記関連時刻における前記航跡データの予測値である予測データを生成する予測処理部と、
    　各物体について、前記関連時刻における前記物体データと前記関連時刻における前記予測データとを個別に対応付ける相関処理部と、
    　各物体について、前記関連時刻における対応する前記物体データおよび前記予測データを用いて、前記関連時刻における前記航跡データを生成する更新処理部と、
    　を備え、
    　前記相関処理部は、
    　　今回の処理時刻において、前記検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、前記一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、前記相関決定可能とみなされた物体データと前記予測データとを個別に対応付けし、前記相関決定可能とみなされなかった物体データを保留物体データとし、
    　　前記今回の処理時刻以降の次回の処理時刻において、前記検出データ群の中の残りの物体データが受信されている状態であれば、前記残りの物体データとともに前記保留物体データと、前記予測データとを個別に対応付けする
    　物体認識装置。
  2. 　関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した前記検出データ群に含まれる前記複数の物体データに個別に対応する各物体の航跡データを生成する物体認識装置であって、
    　前記センサから前記検出データ群を受信し、受信した前記検出データ群に前記関連時刻を関連付けるデータ受信部と、
    　各物体について、前記関連時刻における前記航跡データの予測値である予測データを生成する予測処理部と、
    　各物体について、前記関連時刻における前記物体データと前記関連時刻における前記予測データとを個別に対応付ける相関処理部と、
    　各物体について、前記関連時刻における対応する前記物体データおよび前記予測データを用いて、前記関連時刻における前記航跡データを生成する更新処理部と、
    　を備え、
    　前記相関処理部は、
    　　今回の処理時刻において、前記検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、前記一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、前記相関決定可能とみなされた物体データと前記予測データとを個別に仮に対応付けし、
    　　前記今回の処理時刻以降の次回の処理時刻において、前記検出データ群の中の残りの物体データが受信されている状態であれば、前記検出データ群の中の全ての物体データと、前記予測データとを個別に対応付けする
    　物体認識装置。
  3. 　前記相関処理部は、
    　　前記予測データに対応する通常のゲートよりも小さい小ゲートを設定し、前記小ゲート内に入る物体データを、相関決定が可能であるとみなす
    　請求項１または２に記載の物体認識装置。
  4. 　前記相関処理部は、
    　　前記予測データに含まれる物体の大きさ情報から、前記小ゲートを設定する
    　請求項３に記載の物体認識装置。
  5. 　前記相関処理部は、
    　　前記予測データに含まれるＩＤと同じＩＤを含む物体データを、相関決定が可能であるとみなす
    　請求項１から４のいずれか１項に記載の物体認識装置。
  6. 　前記相関処理部は、
    　　前記予測データに含まれる種別と同じ種別を含む物体データを、相関決定が可能であるとみなす
    　請求項１から５のいずれか１項に記載の物体認識装置。
  7. 　前記相関処理部は、
    　　前記予測データに対応する物体から自車までの距離が設定閾値以内である、前記予測データに対応する物体に前記自車が衝突するまでの衝突予測時間が設定閾値以内である、あるいは、前記自車に搭載される車両制御装置のシステム優先度が設定閾値以上である、物体データを、相関決定が可能であるとみなす
    　請求項１から６のいずれか１項に記載の物体認識装置。
  8. 　前記相関処理部は、
    　　物体種類識別結果、センサ種類、物体データ信頼度、物体データ検出時間および補間回数のいずれかに基づいて、物体データを、相関決定が可能であるとみなす
    　請求項１から７のいずれか１項に記載の物体認識装置。
  9. 　関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した前記検出データ群に含まれる前記複数の物体データに個別に対応する各物体の航跡データを生成する物体認識方法であって、
    　前記センサから前記検出データ群を受信し、受信した前記検出データ群に前記関連時刻を関連付けるデータ受信ステップと、
    　各物体について、前記関連時刻における前記航跡データの予測値である予測データを生成する予測処理ステップと、
    　各物体について、前記関連時刻における前記物体データと前記関連時刻における前記予測データとを個別に対応付ける相関処理ステップと、
    　各物体について、前記関連時刻における対応する前記物体データおよび前記予測データを用いて、前記関連時刻における前記航跡データを生成する更新処理ステップと、
    　を備え、
    　前記相関処理ステップでは、
    　　今回の処理時刻において、前記検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、前記一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、前記相関決定可能とみなされた物体データと前記予測データとを個別に対応付けし、前記相関決定可能とみなされなかった物体データを保留物体データとし、
    　　前記今回の処理時刻以降の次回の処理時刻において、前記検出データ群の中の残りの物体データが受信されている状態であれば、前記残りの物体データとともに前記保留物体データと、前記予測データとを個別に対応付けする
    　物体認識方法。
  10. 　関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した前記検出データ群に含まれる前記複数の物体データに個別に対応する各物体の航跡データを生成する物体認識方法であって、
    　前記センサから前記検出データ群を受信し、受信した前記検出データ群に前記関連時刻を関連付けるデータ受信ステップと、
    　各物体について、前記関連時刻における前記航跡データの予測値である予測データを生成する予測処理ステップと、
    　各物体について、前記関連時刻における前記物体データと前記関連時刻における前記予測データとを個別に対応付ける相関処理ステップと、
    　各物体について、前記関連時刻における対応する前記物体データおよび前記予測データを用いて、前記関連時刻における前記航跡データを生成する更新処理ステップと、
    　を備え、
    　前記相関処理ステップでは、
    　　今回の処理時刻において、前記検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、前記一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、前記相関決定可能とみなされた物体データと前記予測データとを個別に仮に対応付けし、
    　　前記今回の処理時刻以降の次回の処理時刻において、前記検出データ群の中の残りの物体データが受信されている状態であれば、前記検出データ群の中の全ての物体データと、前記予測データとを個別に対応付けする
    　物体認識方法。
PCT/JP2019/004204 2018-05-29 2019-02-06 物体認識装置および物体認識方法 WO2019230055A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/050,890 US11790660B2 (en) 2018-05-29 2019-02-06 Object recognition device and object recognition method
CN201980035006.3A CN112204423B (zh) 2018-05-29 2019-02-06 物体识别装置和物体识别方法
DE112019002753.0T DE112019002753T5 (de) 2018-05-29 2019-02-06 Objekterkennungsvorrichtung und Objekterkennungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018102605A JP6576511B1 (ja) 2018-05-29 2018-05-29 物体認識装置および物体認識方法
JP2018-102605 2018-05-29

Publications (1)

Publication Number Publication Date
WO2019230055A1 true WO2019230055A1 (ja) 2019-12-05

Family

ID=67982857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/004204 WO2019230055A1 (ja) 2018-05-29 2019-02-06 物体認識装置および物体認識方法

Country Status (5)

Country Link
US (1) US11790660B2 (ja)
JP (1) JP6576511B1 (ja)
CN (1) CN112204423B (ja)
DE (1) DE112019002753T5 (ja)
WO (1) WO2019230055A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113030901A (zh) * 2021-04-01 2021-06-25 中国石油大学(华东) 一种结合姿态仪与毫米波雷达的无人船前方多目标跟踪检测方法
EP3889641A1 (en) * 2020-04-02 2021-10-06 Mitsubishi Electric Corporation Object recognition device and object recognition method
JP2022006245A (ja) * 2020-06-24 2022-01-13 三菱電機株式会社 物体認識装置、物体認識方法及び車両運転支援システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7460499B2 (ja) 2020-10-02 2024-04-02 株式会社Soken 物体追跡装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012163495A (ja) * 2011-02-08 2012-08-30 Hitachi Ltd センサ統合システム及びセンサ統合方法
JP2014025925A (ja) * 2012-07-24 2014-02-06 Toyota Motor Engineering & Manufacturing North America Inc 車両用コントローラ、車両システム
JP2016004014A (ja) * 2014-06-19 2016-01-12 日本電気株式会社 目標追尾装置、目標追尾方法、プログラム
US9563813B1 (en) * 2011-05-26 2017-02-07 Google Inc. System and method for tracking objects
JP6169146B2 (ja) * 2015-10-16 2017-07-26 三菱電機株式会社 物体認識統合装置および物体認識統合方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5863481B2 (ja) * 2012-01-30 2016-02-16 日立マクセル株式会社 車両用衝突危険予測装置
JP6437238B2 (ja) * 2014-08-12 2018-12-12 Ntn株式会社 後輪転舵制御装置
US9754490B2 (en) * 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
JP6194520B1 (ja) * 2016-06-24 2017-09-13 三菱電機株式会社 物体認識装置、物体認識方法および自動運転システム
US10163015B2 (en) * 2016-11-16 2018-12-25 Ford Global Technologies, Llc Detecting foliage using range data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012163495A (ja) * 2011-02-08 2012-08-30 Hitachi Ltd センサ統合システム及びセンサ統合方法
US9563813B1 (en) * 2011-05-26 2017-02-07 Google Inc. System and method for tracking objects
JP2014025925A (ja) * 2012-07-24 2014-02-06 Toyota Motor Engineering & Manufacturing North America Inc 車両用コントローラ、車両システム
JP2016004014A (ja) * 2014-06-19 2016-01-12 日本電気株式会社 目標追尾装置、目標追尾方法、プログラム
JP6169146B2 (ja) * 2015-10-16 2017-07-26 三菱電機株式会社 物体認識統合装置および物体認識統合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAMEDA, HIROSHI ET AL.: "Multi-Target Tracking Using Geographically Separated Radars", IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, vol. J83-B, 25 May 2000 (2000-05-25), pages 726 - 738, ISSN: 1344-4697 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3889641A1 (en) * 2020-04-02 2021-10-06 Mitsubishi Electric Corporation Object recognition device and object recognition method
CN113494938A (zh) * 2020-04-02 2021-10-12 三菱电机株式会社 物体识别装置及物体识别方法
US11921191B2 (en) 2020-04-02 2024-03-05 Mitsubishi Electric Corporation Object recognition device and object recognition method
CN113494938B (zh) * 2020-04-02 2024-05-17 三菱电机株式会社 物体识别装置及物体识别方法
JP2022006245A (ja) * 2020-06-24 2022-01-13 三菱電機株式会社 物体認識装置、物体認識方法及び車両運転支援システム
JP7026734B2 (ja) 2020-06-24 2022-02-28 三菱電機株式会社 物体認識装置、物体認識方法及び車両運転支援システム
CN113030901A (zh) * 2021-04-01 2021-06-25 中国石油大学(华东) 一种结合姿态仪与毫米波雷达的无人船前方多目标跟踪检测方法

Also Published As

Publication number Publication date
JP2019207158A (ja) 2019-12-05
JP6576511B1 (ja) 2019-09-18
CN112204423B (zh) 2024-03-26
US11790660B2 (en) 2023-10-17
DE112019002753T5 (de) 2021-03-04
US20210232829A1 (en) 2021-07-29
CN112204423A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
WO2019230055A1 (ja) 物体認識装置および物体認識方法
CN107571866B (zh) 用于分析传感器数据的方法
US20120136510A1 (en) Apparatus and method for detecting vehicles using laser scanner sensors
US20140297063A1 (en) Vehicle specifying apparatus
KR20160071161A (ko) 충돌 방지 장치 및 방법
JP2020102159A (ja) 車両制御装置及び車両制御方法
US11787396B2 (en) Automatic parking assistance system, in-vehicle device and method
US11210937B2 (en) Method for un-signalized intersection traffic flow management
US10793145B2 (en) Object recognition device, object recognition method, and vehicle control system
CN110858453A (zh) 室内停车设施中的自主停车
JP4582312B2 (ja) 衝突防止装置
JP2009048564A (ja) 車両位置予測装置
JP3356058B2 (ja) 車両用後方モニタシステム
JP2010108343A (ja) 制御対象車両判定装置
JP4480632B2 (ja) 車載レーダ装置
JP6095197B2 (ja) 車両の物体検出装置
JP7213265B2 (ja) 車両制御システム
US20230129168A1 (en) Controller, control method, and non-transitory computer readable media
JP6333437B1 (ja) 物体認識処理装置、物体認識処理方法および車両制御システム
JP5175634B2 (ja) 車両の運転支援装置
JP2007153098A (ja) 周辺車両位置検出装置および周辺車両の位置予測方法
JP2018173800A (ja) 自動走行制御装置
US10403139B2 (en) Local navigation system for vehicle navigation
KR20210020854A (ko) V2x 미탑재 차량 인지를 이용한 교차로 충돌 방지 시스템 및 방법
US20180326978A1 (en) Method and device for generating an environment model for a vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19810167

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19810167

Country of ref document: EP

Kind code of ref document: A1