WO2024084690A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2024084690A1
WO2024084690A1 PCT/JP2022/039320 JP2022039320W WO2024084690A1 WO 2024084690 A1 WO2024084690 A1 WO 2024084690A1 JP 2022039320 W JP2022039320 W JP 2022039320W WO 2024084690 A1 WO2024084690 A1 WO 2024084690A1
Authority
WO
WIPO (PCT)
Prior art keywords
integration
processing
target
information
targets
Prior art date
Application number
PCT/JP2022/039320
Other languages
English (en)
French (fr)
Inventor
俊輔 松尾
茂規 早瀬
佑一 小森谷
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to PCT/JP2022/039320 priority Critical patent/WO2024084690A1/ja
Publication of WO2024084690A1 publication Critical patent/WO2024084690A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to an information processing device and information processing method that integrates and processes targets obtained by a sensor.
  • Driving assistance systems and autonomous driving systems are being developed to achieve various goals, such as reducing traffic accidents, easing the burden on drivers, improving fuel efficiency to reduce the burden on the global environment, and providing a means of transportation for those with limited mobility to create a sustainable society.
  • multiple sensors are installed in the vehicle to monitor the area around the vehicle in place of the driver.
  • Systems have also been developed that use the recognition results of multiple sensors installed in the vehicle to automatically brake for specific targets such as pedestrians and vehicles.
  • Patent Document 1 describes an electronic control device having a priority assignment unit that assigns priority to sensed data according to the external situation and the vehicle's situation, a priority determination unit that dynamically changes and determines the priority to be assigned to the data, a data management unit that stores the prioritized data, an application execution unit, and a data selection unit that selects data to be passed from the data management unit to the application execution unit according to the priority (see abstract).
  • Patent Document 1 describes determining a priority for each target and processing the target with the highest priority, it does not clarify the processing end conditions for this function. For example, in a scene where the number of detected targets increases, such as a scene where a vehicle makes a right or left turn at an intersection, and there are many targets that are important for the control decision of the driving control device (e.g., pedestrians, oncoming vehicles, etc.), the number of targets subject to integration processing increases, the processing load increases, and processing is not completed within a given execution cycle.
  • the number of detected targets increases, such as a scene where a vehicle makes a right or left turn at an intersection, and there are many targets that are important for the control decision of the driving control device (e.g., pedestrians, oncoming vehicles, etc.)
  • the number of targets subject to integration processing increases, the processing load increases, and processing is not completed within a given execution cycle.
  • writing the results to the database may end abnormally, or the previous value may remain when writing and a control decision may be made based on the previous value, which may cause the driving control device to make an incorrect control decision and lead to a malfunction of the automatic brakes.
  • Patent Document 1 describes that for targets with low priority, only counting up is performed during periods when processing is not performed. However, if no processing is performed on the estimation of the target's position, the reliability will remain low when the priority becomes high. As a result, there is a risk of errors in linking targets and estimating their positions when performing subsequent integration processing.
  • an information processing device that generates integrated information by periodically integrating object information acquired by a plurality of sensors that detect objects, and includes a weight setting unit that sets weights to the object information, and an integration processing unit that generates integrated information by integrating the object information in a processing order determined at least by the weights, and ends the integration processing in the current cycle depending on the passage of time or the number of objects related to the object information that has been subjected to the integration processing in the current cycle.
  • the weight setting unit sets the weight of the object information based on an integration history that indicates whether the object information has been subjected to the integration processing in the current cycle.
  • the integration process can be completed within a processing period based on the specified processing conditions.
  • FIG. 1 is a functional block diagram of an information processing device having a function of performing integration processing in order of weight based on an integration history according to a first embodiment of the present invention
  • 1 is a block diagram showing an example of a hardware configuration of an information processing apparatus according to a first embodiment of the present invention
  • 5 is a flowchart showing an example of a procedure of a weight setting process performed by the information processing device according to the first embodiment of the present invention.
  • 5 is a flowchart illustrating an example of a procedure of an integration process performed by an integration processing unit of the information processing apparatus according to the first embodiment of the present invention.
  • FIG. 11 is a diagram showing an example of a method of determining targets for integration processing (main processing) according to the first embodiment of the present invention based on the number of targets.
  • FIG. 11A and 11B are diagrams illustrating an example of a method of determining targets for integration processing (main processing) according to the first embodiment of the present invention using a threshold value.
  • 1 is a diagram showing an overview of tracker management (update) in an information processing device according to a first embodiment of the present invention
  • FIG. 1 is a diagram showing an overview of tracker management (new registration) in an information processing device according to a first embodiment of the present invention
  • FIG. 1 is a conceptual diagram showing an information processing method of only counting up targets with low priority according to the prior art
  • FIG. 1 is a conceptual diagram (1) showing a method for counting up and synchronizing time for targets with low priority in an information processing device according to a first embodiment of the present invention.
  • FIG. 1 is a diagram (1) showing an example of integration processing at a certain integration execution time in an information processing apparatus according to a first embodiment of the present invention.
  • FIG. 11 is a conceptual diagram (2) showing a method for counting up and synchronizing time for targets with low priority in the information processing device according to the first embodiment of the present invention.
  • FIG. 13 is a diagram (2) showing an example of integration processing at a certain integration execution time in the information processing device according to the first embodiment of the present invention.
  • 13 is a flowchart illustrating an example of a procedure of a merge process including simplified merge performed by an information processing device according to a second embodiment of the present invention.
  • FIG. 13 is a conceptual diagram showing a method of performing simplified integration in addition to count-up and time synchronization for targets with low priority in an information processing device according to a second embodiment of the present invention.
  • Fig. 1 is a functional block diagram of an information processing device according to the first embodiment of the present invention, which has a function of performing integration processing in order of weight based on an integration history.
  • the information processing device 1 includes a pre-processing unit 10, a weight setting unit 20, and an integrated processing unit 30.
  • the information processing device 1 receives output signals from an external sensor 2 and a vehicle behavior detection sensor 3.
  • the information processing device 1 is also connected to a driving control device 5 via a post-processing unit 4.
  • the external sensor 2 is one or more sensors that detect targets around the vehicle.
  • the external sensor 2 includes a camera (visible light, near infrared, mid infrared, far infrared camera), millimeter wave radar, LiDAR (Light Detection And Ranging), sonar, TOF (Time Of Flight) sensor, or a sensor that combines these.
  • the detection information of the external sensor 2 includes at least the ID, position, speed, and object type of the target.
  • the target is a point of interest obtained from the information detected by the external sensor 2, and is not limited to moving objects such as humans and vehicles, and structures, but may also include driving lines, holes, light, or its reflections.
  • the external sensor 2 may be simply referred to as a "sensor".
  • the vehicle behavior detection sensor 3 is a group of sensors that detect the speed, yaw rate, and steering angle of the vehicle.
  • the vehicle behavior detection sensor 3 includes a wheel speed sensor, an acceleration sensor, a yaw rate sensor, a steering angle sensor, etc.
  • the information processing device 1 electronic control device
  • the external sensor 2 each include a computer (microcontroller) including an arithmetic unit, a memory, and an input/output device.
  • a computer microcontroller
  • the arithmetic device includes a processor and executes programs stored in memory. Some of the processing performed by the arithmetic device executing the programs may be executed by another arithmetic device, such as an MPU (Micro-Processing Unit). Furthermore, hardware such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit) may be used as the other arithmetic device.
  • MPU Micro-Processing Unit
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • Memory includes ROM, which is a non-volatile storage element, and RAM.
  • ROM stores immutable programs (e.g., BIOS (Basic Input/Output System)).
  • BIOS Basic Input/Output System
  • RAM is a high-speed, volatile storage element such as DRAM (Dynamic Random Access Memory), or a non-volatile storage element such as SRAM (Static Random Access Memory), and stores programs executed by the computing device and data used when executing the programs.
  • the input/output device is an interface that transmits the processing contents of the electronic control device and sensors to the outside and receives data from the outside in accordance with a specified protocol.
  • the programs executed by the arithmetic unit are stored in non-volatile memory, which is a non-transient storage medium of the electronic control device and sensor.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the information processing device 1.
  • the calculator 40 shown in FIG. 2 is hardware used as a so-called computer.
  • the computer 40 comprises a CPU (Central Processing Unit) 41, a ROM (Read Only Memory) 42, a RAM (Random Access Memory) 43, non-volatile storage 46, and a network interface 47, each of which is connected to a bus.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 41 is an example of a processor as a computing device.
  • the ROM 42 and the RAM 43 are examples of memory.
  • the non-volatile storage 46 is a non-volatile storage element with a larger capacity than the memory. Programs that realize the functions of the embodiments of the present invention are stored in the non-volatile storage 46.
  • the non-volatile storage 46 is an example of a computer-readable, non-transient recording medium. The programs may be stored in the ROM 42.
  • the network interface 47 is composed of a communication device that controls communication between other devices.
  • the network interface 47 is an example of an input/output device.
  • the functions of each block of the information processing device 1 ( Figure 1) are described in detail below.
  • the pre-processing unit 10 receives as input the target information of the above-mentioned targets detected by the external sensor 2, the vehicle behavior information detected by the vehicle behavior detection sensor 3, and target information of a fusion target (also called a "tracker") which is a result of integrating target information of a plurality of targets in a previous cycle, and converts the target information of the above-mentioned targets and the vehicle behavior information into a prescribed unified format.
  • Examples of the conversion process into the prescribed unified format include data conversion (e.g., unit conversion, coordinate conversion), additional information calculation (e.g., target reliability calculation), and time synchronization.
  • the target information of the target detected by the external sensor 2 includes at least the position, speed, target ID, and object type.
  • the target ID is assigned in the cycle in which the target is first detected, and the same code is assigned thereafter when tracking the same target as in the previous cycle.
  • the above format also includes at least "time” and "position (coordinates)".
  • time this refers to taking into consideration the time difference between the time detected by the external sensor 2 and the integration execution time, and estimating the target information of the target at the integration execution time using the time difference.
  • time difference integration execution period
  • integration execution period position at previous execution time + (integration execution period x target speed at previous execution).
  • the position and speed may be estimated taking into account the turning behavior of the vehicle using the vehicle's speed and steering angle or yaw rate.
  • coordinates for example, the target information of the above target, with the sensor installation position as the origin, the forward direction of the sensor (front-back direction) as the x-axis, and the leftward direction of the sensor (left-right direction) as the y-axis, is converted into target information based on a coordinate system with the center of the vehicle as the origin, the forward direction of the vehicle (front-back direction) as the x-axis, and the leftward direction of the vehicle (left-right direction) as the y-axis.
  • the pre-processing unit 10 outputs the format-converted information of the above target to the weight setting unit 20.
  • the weight setting unit 20 receives the target information of the target output from the pre-processing unit 10 and sets weights using the target information of the target based on the flow chart shown in FIG.
  • the weight setting unit 20 calculates weights for the target information based on the preprocessed information (target information, vehicle behavior information) output from the preprocessing unit 10 (S100). In this weight calculation, weights are calculated for target information required by an application that uses the output result of the information processing device 1. If this application is an AEB (Autonomous Emergency Brake), for example, the target information of the detected target is used to calculate indicators such as the shortness of the distance from the vehicle and TTC (Time To Collision) to set the weight of the target information.
  • AEB Autonomous Emergency Brake
  • This weight setting may be set not only for a single indicator, but also for multiple indicators such as the shortness of the distance from the vehicle and whether the target type is a vehicle or not.
  • the multiple indicators are multiplied by a weight coefficient according to the importance of the multiple indicators and the sum is taken.
  • the targets for which weights are set are targets obtained by individual sensors (sensor targets) and fusion targets.
  • the value of a counter indicating the number of times (number of periods) the fusion target (tracker) has been excluded from integration processing is referenced to determine whether the number of times it has been excluded from integration processing is equal to or greater than a specified value (S110). If the number of times it has been excluded from integration processing is equal to or greater than the specified value (YES determination in S110), weight adjustment is performed so that the tracker will be included in integration processing in the current period (S120). In weight adjustment, the higher the weight, the higher the priority of integration processing, so a process is performed to add the numerical value of "weight due to not being included in integration processing for a period of equal to or greater than the threshold value" to the weight of the target that meets the condition.
  • step S110 If the number of times that the file was excluded from the integration process in step S110 is less than the specified value (NO in S110), or after the processing in step S130, this process ends.
  • the integration processing unit 30 receives as input the target information of the target that has been preprocessed by the preprocessing unit 10 and has had its weight set by the weight setting unit 20, and performs integration processing using the target information of the targets detected by multiple sensors.
  • FIG. 4 is a flowchart showing an example of the procedure of integration processing by the integration processing unit 30 of the information processing device 1.
  • the integration processing unit 30 has at least three processing blocks. That is, the integration processing unit 30 includes a grouping unit 30a that groups multiple pieces of target information between targets detected by a tracker or a sensor, an integration unit 30b that generates target information for the grouped targets (integration processing), and a tracker management unit 30c that registers, updates, and deletes fusion targets.
  • the integration processing unit 30 determines the target object to be integrated based on the specified number of targets (S200), and repeats the same processing in order of priority.
  • S200 specified number of targets
  • This priority is the same concept as the priority described in Patent Document 1, and the higher the set weight, the higher the priority of the integration processing.
  • the integration processing unit 30 determines whether the target object is a target object for integration processing (S210). If the target object is not a target object for integration processing (NO in S210), the process proceeds to tracker management in step S230. On the other hand, if the target object is a target object for integration processing (YES in S210), the process proceeds to the main processing (grouping, integration processing) in step S220.
  • FIG. 5 is a diagram showing an example of a method of determining targets for integration processing (main processing) by number.
  • the specified condition for integration processing targets is a specified number of targets, and this method determines targets for integration processing (main processing) based on the specified number of targets.
  • the specified number of targets is the number of target targets specified for each priority. In this example, high priority is set to three and medium priority is set to five.
  • FIG. 5 shows an example in which weights of 100 to 20 and priorities of 1 to 9 are assigned to targets 1 to 9. Since the main integration processing is performed for the three targets in descending order of priority, targets 1 to 3 corresponding to priorities 1 to 3 are subject to the main integration processing. Note that targets 4 to 8, which are the five targets with medium priority, are subject to the simplified integration processing described in the second embodiment. Target 9 with low priority is not subject to either the main processing or the simplified processing.
  • k targets with high weights may be classified as high priority targets, j targets as medium priority targets, and the rest as low priority targets.
  • the specified number of targets is shown as an example of the specified condition in Figures 4 and 5, the specified condition is not limited to this example and may be a threshold value. Below, an example of determining targets for integration processing (main processing) using a threshold value as the specified condition will be described with reference to Figure 6.
  • FIG. 6 is a diagram showing an example of a case where a target for integration processing (main processing) is determined by a threshold value.
  • the prescribed condition for the integration processing target is a threshold value
  • the method is to determine the target for integration processing (main processing) based on the threshold value.
  • the threshold value is expressed as 0 to 100
  • the high priority threshold is set to 60 or more
  • the medium priority threshold is set to 30 or more.
  • targets 1 to 5 with weights of 100 to 60 are the targets for the main integration processing.
  • targets 6 to 8 with weights of less than "60" to weights of "30" or more, which correspond to medium priority are the targets for the simplified integration processing described in the second embodiment.
  • Target 9 with low priority is not the target for either the main processing or the simplified processing.
  • the grouping unit 30a uses at least the position information of the multiple detection information for the target that is the subject of the integration process to determine whether the multiple detection information are detection information for the same target. If the grouping unit 30a determines that the multiple detection information are detection information for the same target, it determines a combination of the multiple target information for the target in order to generate a fusion target (S220a).
  • an identity determination is performed on the target information of the fusion target.
  • the identity determination on the estimated information of the fusion target is performed using at least the position of the target information of the fusion target and the positions of multiple target information for the target.
  • an error covariance matrix is obtained from the installation position and specification information of the sensor
  • a Mahalanobis distance which is a probabilistic distance
  • the Mahalanobis distance is compared with a threshold value to determine identity.
  • grouping is performed by threshold determination using a reliability distance (Mahalanobis distance) obtained from the error covariance matrix.
  • the grouping unit 30a outputs the multiple target information of the targets grouped by fusion target ID to the integration unit 30b.
  • the integration unit 30b receives the multiple pieces of detection information for the targets grouped by the grouping unit 30a, and performs a process (integration process) to estimate plausible target information based on the multiple pieces of detection information for the targets grouped (S220b).
  • error characteristics may be given in advance as parameters for each external sensor 2, and the position and speed of the sensor target with the smallest error characteristics from the grouped target information may be adopted as the position and speed of the fusion target.
  • a covariance matrix may be calculated from the target information of the above targets based on the error characteristics, and the position and speed calculated by probability averaging may be adopted.
  • the error characteristics of the sensor may be estimated during integration, or error characteristics included in the target information of the external sensor 2 may be used. Even if the fusion target contains only one detection result from a sensor, the integration unit 30b outputs it as the fusion target.
  • the integration unit 30b outputs the integration result to the tracker management unit 30c. After performing integration processing on all targets to be integrated, the integration unit 30b counts up the number of times integration processing was not performed for trackers on which integration processing was not performed. The integration unit 30b outputs target information of the integrated fusion target to the tracker management unit 30c.
  • the tracker management unit 30c manages the targets. For example, the tracker management unit 30c receives the integrated fusion target output from the integration unit 30b as input, and overwrites (updates) or newly registers the target information of the tracker according to the contents of the integration process (S230).
  • Update of tracker target information For example, in the integration process, when target information detected in the current cycle is linked to a tracker that existed in the previous cycle and integrated, the tracker management unit 30c updates the target information of the fusion target having the same ID as the tracker.
  • FIG. 7 is a diagram showing an overview of tracker management (update) in the information processing device 1.
  • the horizontal axis represents time, and an example is shown in which a fusion target T with target ID "ID1" exists at integration execution time t2.
  • the position of the fusion target T with "ID1" is (x, y), and the speed in the x and y directions is (vx, vy).
  • the camera detection time and the radar detection time arrive, and a target C detected by the camera and a target R detected by the radar are obtained.
  • the grouping unit 30a groups targets C and R into the fusion target T with "ID1" that existed at the previous integration execution time t2, and the integration unit 30b performs integration processing (generates new target information) of the grouped fusion target T, target C, and target R with "ID1". Then, the tracker management unit 30c updates the target information (position, speed) of the fusion target T with "ID1".
  • FIG. 8 is a diagram showing an overview of tracker management (new registration) in the information processing device 1.
  • the horizontal axis represents time, and an example is shown in which the fusion target T does not exist at integration execution time t1.
  • the grouping unit 30a groups the target C and the target R
  • the integration unit 30b integrates the grouped targets C and R to generate the fusion target T and assigns a target ID (for example, "ID1") to the fusion target T.
  • the tracker management unit 30c newly registers the fusion target T with "ID1" generated by the integration process.
  • targets such as sensor targets and fusion targets and their target information are stored in the RAM 43 or non-volatile storage 46.
  • the tracker management unit 30c deletes the tracker.
  • the process end determination unit 30d determines whether the next target can be processed within the processing time (S240). If it is determined that it can be processed within the processing time (YES determination in S240), the integration processing unit 30 determines whether the next target is a target for integration processing (S210). On the other hand, if it is determined that it cannot be processed within the processing time (NO determination in S240), the integration processing unit 30 ends the integration processing.
  • the integration processing unit 30 outputs the target information of the above fusion target processed by the tracker management unit 30c to the post-processing unit 4.
  • the integration processing unit 30 generates integrated information (fusion target) by integrating object information (sensor target, fusion target) in a processing order determined at least by the weight, and ends the integration processing of the current cycle depending on the passage of time or the number of objects related to the object information provided for the integration processing of the current cycle.
  • the post-processing unit 4 receives the target information of the fusion target output from the tracker management unit 30c and writes the target information of the fusion target into a database (not shown) of the system.
  • the database of the system may be configured using the non-volatile storage 46 of the information processing device 1 or another memory.
  • the post-processing unit 4 may be included in the information processing device 1 (for example, a process subsequent to the integrated processing unit 30).
  • the driving control device 5 controls the driving of the vehicle (host vehicle) in which the information processing device 1 is mounted, based on the target information of the above-mentioned targets written to the database by the information processing device 1.
  • the driving control device 5 can be configured using an ECU.
  • the processing end judgment unit 30d judges whether the next target can be processed each time the processing of a target is completed. If it is judged that the next target can be processed, the predetermined processing is carried out for the next target, but if it is judged that the next target cannot be processed, the processing of the integrated processing unit 30 is terminated up to the previous target and the processing of the post-processing unit 4 is started.
  • the integration processing unit 30 determines whether the next target is an object for which integration processing is to be performed, based on a threshold judgment using a predetermined number of targets or weights. If the next target is an object for which integration processing is to be performed, the processing end judgment unit 30d estimates the processing time required for integration processing. For example, in addition to the processing time calculated in advance from the hardware specifications of the ECU and the matrix operations performed in the integration processing, the processing time required for the next integration processing is determined to be the sum of the maximum error and the processing time calculated in advance, taking into account the error in the processing time estimated in advance, taking into account the increased load caused by the ECU heating, etc.
  • the processing end determination unit 30d also refers to the system's timer (not shown) and determines whether the information processing device 1 can complete the series of processing (pre-processing, integration processing, and post-processing) in the remaining time within the processing cycle, based on the time that has elapsed since the information processing device 1 started processing in the current cycle (specifically, the first pre-processing in the current cycle) and the processing time required for the next integration processing that was previously calculated.
  • the information processing device 1 performs processing related to the next integration process (pre-processing, integration process, post-processing).
  • the processing end determination unit 30d determines whether the series of processes can be completed by a processing end determination based on the specified number of targets (quantity) or based on the remaining time within the processing cycle. Therefore, it is desirable to set the specified number of targets with a leeway (predetermined margin) so that the series of processes can be completed within the processing cycle.
  • the information processing device 1 ends the processing. Furthermore, if the next target is not a target for which integration process is performed, the integration process ends at that point.
  • the above processing completion judgment makes it possible to complete processing within the processing time given to the fusion function, even if the number of targets detected by the sensor increases.
  • the processing end determination unit 30d determines whether a series of processes can be completed by both determining processing end based on the number of specified object targets (quantity) and determining processing end based on the remaining time within the processing cycle.
  • [Conventional method of only counting up] 9 is a conceptual diagram showing a conventional information processing method in which only counting up is performed for targets with low priority,
  • the x-axis represents the coordinate in the forward direction of the host vehicle, and the y-axis represents the coordinate in the left direction of the host vehicle.
  • the fusion target T0 at time t0 is determined to be a target with low priority by the weight setting unit 20 and the integration processing unit 30, and is a target for which integration processing with the camera target C1 and the radar target R1 at time t1 is not performed. Therefore, the target information of the fusion target at time t1 is the same as the target information of the fusion target T0 at time t0.
  • the fusion target T0 at time t0 is not integrated with the camera target C2 (C3) and radar target R2 (R3) at time t2 (time t3). Therefore, the target information of the fusion target at times t2 and t3 will be the same as the target information of the fusion target T0 at time t0.
  • FIG. 10 is a conceptual diagram (1) showing a method for counting up and synchronizing the time of targets with low priority in the information processing device 1.
  • the x-axis represents the coordinate in the forward direction of the host vehicle, and the y-axis represents the coordinate in the left direction of the host vehicle.
  • FIG. 11 is a diagram (1) showing an example of integration processing at a certain integration execution time in the information processing device 1.
  • the fusion target T0 of "ID1" at time t0 is determined by the weight setting unit 20 and the integration processing unit 30 to be a target with a low priority, and is not integrated with the camera target C1 and the radar target R1 at time t1.
  • the grouping unit 30a and the integration unit 30b of the integration processing unit 30 perform time synchronization (update) for the fusion target T0 at time t0 and the camera target C1 and the radar target R1 at time t1.
  • the integration unit 30b estimates (updates) the position of the fusion target T1 of "ID1" at least at time t1 based on at least the position and speed of the fusion target T0 of "ID1" generated at time t0.
  • the position of the fusion target T2 of "ID1" at least at time t2 is similarly estimated (updated) based on the target information of the fusion target T1 of "ID1" at the previous time.
  • FIG. 11 shows an example of time synchronization at time t3.
  • time synchronization (update) is also performed for the fusion target T2 that was time synchronized at time t2, and the camera target C3 and radar target R3 at time t3. That is, the integration unit 30b estimates (updates) at least the position of the fusion target T3 of "ID1" at time t3 based on at least the position and speed of the fusion target T2 of "ID1" generated at time t2.
  • FIG. 12 is a conceptual diagram (2) showing a method for counting up and synchronizing the time of targets with low priority in the information processing device 1.
  • the x-axis represents the coordinate in the forward direction of the host vehicle, and the y-axis represents the coordinate in the left direction of the host vehicle.
  • FIG. 13 is a diagram (2) showing an example of integration processing at a certain integration execution time in the information processing device 1.
  • Figures 12 and 13 show the state of each target from time t3 to t4.
  • the position of the fusion target T3' with "ID1" at time t4 is estimated (updated) based on the target information of the fusion target T3 with "ID1" at the previous time t3.
  • the error between the sensor target and the registered fusion target can be reduced approximately from time t1 to time t3 when the target priority is low.
  • grouping and integration processing can be performed with the camera target C4 and radar target R4 detected at time t4 based on the target information of the fusion target T3' estimated by time synchronization until before time t4 (here, time t3).
  • time t3 the target information of the fusion target T3' estimated by time synchronization until before time t4 (here, time t3).
  • the information processing device (information processing device 1) is an information processing device that generates integrated information by integrating object information (sensor targets) acquired by multiple sensors that detect objects every period, and has a weight setting unit (weight setting unit 20) that sets weights to the object information (sensor targets, fusion targets), and an integration processing unit (integration processing unit 30) that integrates the object information (sensor targets, fusion targets) in a processing order determined at least by the weights to generate integrated information (fusion targets) and ends the integration processing for the current period depending on the passage of time or the number of objects related to the object information subjected to the integration processing for the current period.
  • the weight setting unit is configured to set the weight of the object information based on an integration history (the number of times the object information was not subject to the integration processing) that indicates whether the object information was subjected to the integration processing for each period or not.
  • the integration process for the current cycle can be terminated depending on the passage of time or the number of objects related to the object information that has been subjected to the integration process for the current cycle, thereby completing the integration process within the processing cycle.
  • the second embodiment is an example in which the information processing device 1 according to the first embodiment has a simplified integration function based on weight settings.
  • the information processing device according to the second embodiment will be described below with reference to Fig. 14 and Fig. 15.
  • differences from the first embodiment will be mainly described, and the same components will be denoted by the same reference numerals and their description will be omitted.
  • FIG. 14 is a flowchart showing an example of a procedure of a merge process including simplified merge performed by the information processing device 1 according to the second embodiment.
  • 15 is a conceptual diagram showing a method of performing simple integration in addition to counting up and time synchronization for targets with low priority in the information processing device 1 according to the second embodiment.
  • the x-axis represents the coordinate in the forward direction of the host vehicle, and the y-axis represents the coordinate in the left direction of the host vehicle.
  • step S310 is performed for targets with medium priority (subject to simplified integration).
  • the integration processing unit 30 determines targets to be integrated (main processing) and targets to be simplified integrated based on the weights of the targets (S200a), and repeats the same processing in order of priority.
  • the integration processing unit 30 judges whether the target object is a target for integration processing (main processing) (S210). If the target object is a target for integration processing (main processing) (YES judgment in S210), the process proceeds to the main processing (grouping, integration processing) in step S220. On the other hand, if the target object is not a target for integration processing (main processing) (NO judgment in S210), the integration processing unit 30 judges whether the target object is a target for simple integration (S300). Here, if the target object is not a target for simple integration (NO judgment in S300), the process proceeds to tracker management in step S230. On the other hand, if the target object is a target for simple integration (YES judgment in S300), the process proceeds to the main processing (simple integration, count-up) in step S310.
  • two different priority (weight) thresholds are set, and the priority of the target is compared with the threshold to determine whether it is a target for integration processing (YES judgment in S210) or a target for simplified integration (YES judgment in S300). Also, as shown in FIG. 5, it may be possible to determine whether it is a target for integration processing or a target for simplified integration based on the number of targets (predetermined number of targets) that is set in advance for each level of priority.
  • the integration processing unit 30 performs simplified integration processing with a smaller calculation load and less poor estimation accuracy than the integration processing (step S310a).
  • the grouping unit 30a does not perform an error covariance matrix calculation as a simplified grouping, but rather, for example, determines that a target within a certain distance from the position of the fusion target is the same as the fusion target.
  • the integration unit 30b sets, for example, the average value of the target information of the camera target or radar target determined to be the same by the above simplified grouping as the position of the fusion target after the simplified processing.
  • the integration unit 30b may adopt, for example, the target information of the radar target as the x coordinate and the target information of the camera target as the y coordinate according to the combination of sensor targets simply grouped in consideration of the sensor characteristics.
  • step S310a After processing in step S310a, the integration unit 30b counts up the number of times that integration processing was not performed for the trackers for which integration processing was not performed (step S310b).
  • the tracker management unit 30c manages the targets. For example, the tracker management unit 30c receives the integrated processing (main processing) or the simply integrated fusion target output from the integration unit 30b as input, and overwrites (updates) or newly registers the target information of the tracker depending on the content of the processing (S230).
  • the process end determination unit 30d determines whether the next target can be processed within the processing time (S240), and depending on the result of the determination, the process proceeds to step S210 or ends the integration process.
  • the on-board electronic control unit calculates the correction values for the sensor coordinate transformation (i.e., integrated processing), but a computer connected to the vehicle so as to be able to communicate with it may also calculate the correction values for the sensor coordinate transformation.
  • the integration processing unit (integration processing unit 30) is configured to perform simplified integration, which is time synchronization and simplified integration processing, for object information (sensor targets, fusion targets) that is not integrated (S310).
  • the integration processing unit (integration processing unit 30) is configured to perform simplified integration on object information (sensor targets, fusion targets) that was not integrated after the integration process is completed. This allows the integration process with a high processing priority to be completed more reliably within the processing cycle than the simplified integration process by performing simplified integration after the integration process is completed based on the priority determined by the weights.
  • the integration processing unit may be configured to end the integration processing of the current cycle depending on the passage of time, the number of objects related to the object information subjected to the integration processing of the current cycle, and the number of objects related to the object information subjected to the simplified integration of the current cycle. This makes it possible to end the integration processing of the current cycle even in the middle of the simplified integration.
  • the present invention is not limited to the above-described embodiments, and various other applications and modifications are possible without departing from the gist of the present invention as set forth in the claims.
  • the above-described embodiments are described in detail and specifically to clearly explain the present invention, and are not necessarily limited to those including all of the components described. It is also possible to replace part of the configuration of one embodiment with a component of another embodiment. It is also possible to add a component of another embodiment to the configuration of one embodiment. It is also possible to add, replace, or delete other components from part of the configuration of each embodiment.
  • the above-mentioned configurations, functions, processing units, etc. may be realized in part or in whole in hardware, for example by designing them as integrated circuits.
  • Broad processor devices such as FPGAs (Field Programmable Gate Arrays) and ASICs (Application Specific Integrated Circuits) may be used as hardware.
  • Information such as programs, tables, files, etc. that realize each function of the embodiments may be stored in a recording device such as a memory, hard disk, or SSD (Solid State Drive), or in a recording medium such as an IC card, SD card, optical disk, or magneto-optical disk.
  • control lines and information lines are those that are considered necessary for the explanation, and not all control lines and information lines in the product are necessarily shown. In reality, it can be considered that almost all components are connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

物体を検知する複数のセンサで取得した物体情報を周期毎に統合処理して統合情報を生成する情報処理装置において、物体情報に重みを設定する重み設定部と、少なくとも重みによって定まる処理順で物体情報を統合処理して統合情報を生成し、時間経過又は今周期の統合処理に供された物体情報に係る物体数に応じて今周期の統合処理を終了する統合処理部と、を有し、重み設定部は、物体情報が周期毎に統合処理に供されたか否かを示す統合履歴に基づいて、物体情報の重みを設定することを特徴とする。

Description

情報処理装置及び情報処理方法
　本発明は、センサにより得られた物標を統合処理する情報処理装置及び情報処理方法に関する。
　交通事故の低減、ドライバーの負荷軽減、地球環境負荷の低減に向けた燃費改善、サステナブルな社会の実現に向けた交通弱者への移動手段の提供などの様々な目的を実現すべく、運転支援システム及び自動運転システムが開発されている。これら運転支援システム及び自動運転システムでは、ドライバーの代わりに車両周辺を監視するため、車両に複数のセンサが設けられる。また、車両に搭載した複数のセンサの認識結果を用い、歩行者や車両等の特定対象に対して自動ブレーキを行うシステムが開発されている。
　本技術分野の背景技術として、以下の先行技術がある。特許文献１には、外界状況及び自車両状況に応じてセンシングしたデータに優先度を付与する優先度付与部と、データに付与する優先度を動的に変更して決定する優先度決定部と、優先度を付与したデータを格納するデータ管理部と、アプリケーション実行部と、優先度に応じデータ管理部からアプリケーション実行部へ渡すデータを選択するデータ選択部と、を有する電子制御装置が記載されている（要約参照）。
国際公開２０２０／０６６３０５号
　しかしながら、特許文献１では、物標毎に優先度を決定して優先度が高い物標について処理を行うことが記載されているが、その機能の処理終了条件が明確になっていない。例えば、交差点での右左折シーン等、検知物標が増大するシーン、かつ運転制御装置での制御判断に重要な物標（例えば、歩行者、対向車など）が多い場合、統合処理の対象となる物標数が増大して処理負荷が高くなり、与えられた実行周期内に処理が完了しない。この際、統合処理後の後処理として行われるデータベースへの結果の書き込みが異常終了したり、書き込み時に前回値が残ってしまって前回値で制御判断が行われたりすることで、運転制御装置が誤った制御判断を行ってしまい、自動ブレーキの誤動作を招く恐れがある。
　また、特許文献１では、優先度の低い物標について、処理しない周期はカウントアップのみ行う旨が記載されているが、物標の位置の推定等について何も処理を行わない場合、優先度が高くなった際にその信頼度は低いままになってしまう。そのため、その後統合処理する際に物標の紐づけや位置推定を誤ってしまう恐れがある。
　上記の状況から、物標情報が多く入力されたとしても、処理周期内に統合処理を完了する手法が要望されていた。
　上記課題を解決するために、本発明の一態様の情報処理装置は、物体を検知する複数のセンサで取得した物体情報を周期毎に統合処理して統合情報を生成する情報処理装置において、物体情報に重みを設定する重み設定部と、少なくとも重みによって定まる処理順で物体情報を統合処理して統合情報を生成し、時間経過又は今周期の統合処理に供された物体情報に係る物体数に応じて今周期の統合処理を終了する統合処理部と、を有する。そして、重み設定部は、上記物体情報が周期毎に統合処理に供されたか否かを示す統合履歴に基づいて、上記物体情報の重みを設定することを特徴とする。
　本発明の少なくとも一態様によれば、物標情報が多く入力されたとしても、規定された処理条件に基づいて、処理周期内に統合処理を完了することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第１の実施形態に係る、統合履歴に基づく重み順に統合処理を行う機能を有する情報処理装置の機能ブロック図である。 本発明の第１の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。 本発明の第１の実施形態に係る情報処理装置による重み設定処理の手順例を示すフローチャートである。 本発明の第１の実施形態に係る情報処理装置の統合処理部による統合処理の手順例を示すフローチャートである。 本発明の第１の実施形態に係る統合処理（本処理）対象の決め方として個数で決める場合の例を示す図である。 本発明の第１の実施形態に係る統合処理（本処理）対象の決め方として閾値で決める場合の例を示す図である。 本発明の第１の実施形態に係る情報処理装置におけるトラッカ管理（更新）の概要を示す図である。 本発明の第１の実施形態に係る情報処理装置におけるトラッカ管理（新規登録）の概要を示す図である 従来技術の優先度が低い物標についてカウントアップのみ行う情報処理方法を示す概念図である。 本発明の第１の実施形態に係る情報処理装置において、優先度が低い物標についてカウントアップ及び時刻同期を行う方法を示す概念図（１）である。 本発明の第１の実施形態に係る情報処理装置において、ある統合実行時刻での統合処理の例を示す図（１）である。 本発明の第１の実施形態に係る情報処理装置において、優先度が低い物標についてカウントアップ及び時刻同期を行う方法を示す概念図（２）である。 本発明の第１の実施形態に係る情報処理装置において、ある統合実行時刻での統合処理の例を示す図（２）である。 本発明の第２の実施形態に係る情報処理装置による簡易統合を含む統合処理の手順例を示すフローチャートである。 本発明の第２の実施形態に係る情報処理装置において、優先度が低い物標についてカウントアップ及び時刻同期に加えて簡易統合を行う方法を示す概念図である。
　以下、本発明を実施するための形態（以下、「実施形態」と称する）の例について、添付図面を参照して説明する。本明細書及び添付図面において、同一の構成要素又は実質的に同一の機能を有する構成要素には同一の符号を付して重複する説明を省略する。また、同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
＜第１の実施形態＞
［情報処理装置の構成］
　まず、本発明の第１の実施形態に係る情報処理装置の構成について図１を参照して説明する。図１は、本発明の第１の実施形態に係る、統合履歴に基づく重み順に統合処理を行う機能を有する情報処理装置の機能ブロック図である。
　図１に示すように、情報処理装置１は、前処理部１０と、重み設定部２０と、統合処理部３０を備える。情報処理装置１には、外界センサ２及び車両挙動検知センサ３の出力信号が入力される。また、情報処理装置１は、後処理部４を介して、運転制御装置５と接続されている。
　外界センサ２は、自車周辺の物標を検知する１つ以上のセンサである。一例として、外界センサ２には、カメラ（可視光、近赤外、中赤外、遠赤外カメラ）、ミリ波レーダ、ＬｉＤＡＲ（Light Detection And Ranging）、ソナー、ＴＯＦ（Time Of Flight）センサ、又はそれらを組み合わせたセンサなどが含まれる。外界センサ２の検出情報には、少なくとも物標のＩＤ、位置、速度、及び物体種別が含まれる。物標は、外界センサ２で検知された情報から得られる着目点であり、人間や車両などの移動体、構造物に限らず、走行ライン、穴、光又はその反射したものなども着目点に含まれうる。なお、外界センサ２を単に「センサ」と記載することがある。
　車両挙動検知センサ３は、自車の速度、ヨーレート及び舵角を検知するセンサ群である。一例として、車両挙動検知センサ３には、車輪速センサ、加速度センサ、ヨーレートセンサ、舵角センサ等が含まれる。
　前処理部１０、重み設定部２０、及び統合処理部３０の詳細については図３～図１５を用いて後述する。
［情報処理装置のハードウェア構成］
　情報処理装置１（電子制御装置）や外界センサ２は、演算装置、メモリ及び入出力装置を含む計算機（マイクロコントローラ）を含んでいる。
　演算装置は、プロセッサを含み、メモリに格納されたプログラムを実行する。演算装置がプログラムを実行して行う処理の一部を、ＭＰＵ（Micro-Processing Unit）等の他の演算装置で実行してもよい。また、他の演算装置として、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアを用いてもよい。
　メモリは、不揮発性の記憶素子であるＲＯＭ、及びＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ（Basic Input/Output System））などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子、又はＳＲＡＭ（Static Random Access Memory）のような不揮発性の記憶素子であり、演算装置が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。
　入出力装置は、所定のプロトコルに従って、電子制御装置やセンサによる処理内容の外部送信及び外部からのデータ受信を行うインターフェースである
　演算装置が実行するプログラムは、電子制御装置やセンサの非一過性の記憶媒体である不揮発性のメモリに格納される。
　図２は、情報処理装置１のハードウェア構成例を示すブロック図である。図２に示す計算機４０は、いわゆるコンピューターとして用いられるハードウェアである。
　計算機４０は、バスにそれぞれ接続されたＣＰＵ（Central Processing Unit）４１、ＲＯＭ（Read Only Memory）４２、ＲＡＭ（Random Access Memory）４３、不揮発性ストレージ４６、及びネットワークインタフェース４７を備える。
　ＣＰＵ４１は、演算装置としてのプロセッサの一例である。ＲＯＭ４２及びＲＡＭ４３はメモリの一例である。不揮発性ストレージ４６は、メモリよりも大容量の不揮発性の記憶素子である。本発明の実施形態の各機能を実現するプログラムは、不揮発性ストレージ４６に格納される。不揮発性ストレージ４６は、コンピューター読取可能な非一過性の記録媒体の一例である。プログラムは、ＲＯＭ４２に格納されてもよい。
　ネットワークインタフェース４７は、他の装置との間で行われる通信の制御を行う通信デバイス等により構成される。ネットワークインタフェース４７は、入出力装置の一例である。以下、情報処理装置１（図１）の各ブロックの機能について詳細に説明する。
［前処理部］
　前処理部１０は、外界センサ２で検知された上記物標の物標情報と、車両挙動検知センサ３で検知された自車挙動情報と、前の周期で複数の物標の物標情報が統合処理された結果であるフュージョン物標（「トラッカ」とも称する）の物標情報を入力とし、上記物標の物標情報及び上記自車挙動情報を規定の統一フォーマットに変換する。既定の統一フォーマットへの変換処理として、例えば、データ変換（例えば、単位変換、座標変換）、付加情報計算（例えば、物標の信頼度計算）、時刻同期などが挙げられる。
　外界センサ２が検知する物標の物標情報には、少なくとも位置、速度、物標ＩＤ、物体種別が含まれる。なお、物標ＩＤは、上記物標を初めて検知した周期において付与され、以降前周期と同じ物標をトラッキングしている際は同じ符号が付与される。また、上記フォーマットには少なくとも「時刻」と「位置（座標）」が含まれている。
　「時刻」に関しては、外界センサ２が検知した時刻と統合実行時刻との時間差分を考慮し、時間差分を用いて統合実行時刻における上記物標の物標情報を推定することを指す。例えば、「位置」であれば、「センサ統合実行時刻の物標の位置＝センサ検知時刻の位置＋（時間差分×センサ検知時刻の速度）」として演算を行う。
　また、フュージョン物標については、「時間差分＝統合実行周期」となるため、例えば、「センサ統合実行時刻の物標の位置＝前回実行時刻の位置＋（統合実行周期×前回実行時の物標の速度）」と演算する。
　また、自車の速度と舵角又はヨーレートを用いて、自車の旋回挙動を考慮した位置や速度の推定を行ってもよい。座標に関しては、例えば、センサ設置位置を原点、センサの前方方向（前後方向）をｘ軸、センサの左方方向（左右方向）をｙ軸とする上記物標の物標情報を、自車中心を原点、自車の前方方向（前後方向）をｘ軸、自車の左方方向（左右方向）をｙ軸とする座標系を基準とした物標情報に変換する。前処理部１０は、フォーマット変換された上記物標の情報を重み設定部２０に出力する。
［重み設定部］
　重み設定部２０は、前処理部１０から出力された上記物標の物標情報を入力とし、図３に示すフローチャートに基づいて、上記物標の物標情報を用いて重みを設定する。
　図３は、情報処理装置１による重み設定処理の手順例を示すフローチャートである。まず、重み設定部２０は、前処理部１０から出力された前処理済みの情報（物標情報、自車挙動情報）に基づいて、物標情報に関して重みを計算する（Ｓ１００）。この重み計算では、情報処理装置１の出力結果を利用するアプリケーションが必要な物標情報に関して重みを計算する。このアプリケーションがＡＥＢ（Autonomous Emergency Brake）であれば、例えば、検知した物標の物標情報を用いて、自車からの距離の小ささやＴＴＣ（Time To Collision）などの指標を計算して物標情報の重みを設定する。この重み設定は、単一の指標だけでなく、自車からの距離の小ささと物標種別が車両であるか否か等、複数の指標について設定されてよい。この際、複数の指標の重要度に応じて重み係数をかけて和を取る。なお、重みが設定される対象は、個々のセンサにより得られる物標（センサ物標）及びフュージョン物標である。
　次いで、全ての物標について重みを設定した後、フュージョン物標（トラッカ）に関して、統合処理の対象外となった回数（周期数）を示すカウンタの値を参照し、統合処理の対象外となった回数が規定値以上か否かを判定する（Ｓ１１０）。統合処理の対象外となった回数が規定値以上であれば（Ｓ１１０のＹＥＳ判定）、トラッカが今周期に統合処理の対象となるように重み調整を行う（Ｓ１２０）。重み調整では、重みが大きいほど統合処理の優先度が高くなるため、当該条件に当てはまる物標の重みに、「閾値以上の周期の間、統合処理をされなかったことによる重み」の数値を加算する処理を行う。
　次いで、重みを調整された上記トラッカに関するカウンタをリセットすることによりゼロ値を設定する（Ｓ１３０）。
　ステップＳ１１０において統合処理の対象外となった回数が規定値未満であった場合（Ｓ１１０のＮＯ判定）、又はステップＳ１３０の処理後、本処理を終了する。
［統合処理部］
　統合処理部３０は、前処理部１０で前処理が行われ重み設定部２０で重みが設定された物標の物標情報を入力とし、複数のセンサで検知された物標の物標情報を用いて統合処理を行う。
　図４は、情報処理装置１の統合処理部３０による統合処理の手順例を示すフローチャートである。統合処理部３０には、図１に示したように、少なくとも３個の処理ブロックがある。つまり、統合処理部３０は、トラッカ又はセンサで検知された物標間にて複数の物標情報をグルーピングするグルーピング部３０ａと、グルーピングされた物標の物標情報を生成（統合処理）する統合部３０ｂと、フュージョン物標の新規登録、更新、削除を行うトラッカ管理部３０ｃと、を備える。
　統合処理部３０では、これらの処理ブロックによる処理を行う前に、規定物標数に基づき、統合処理対象の物標を決定し（Ｓ２００）、優先度順に同様の処理を繰り返し行う。ここでは、ある任意の物標についての処理を記載する。この優先度は、特許文献１に記載された優先度と同じ概念であって、設定した重みが大きいほど統合処理の優先度が高くなる
　ステップＳ２００の処理後、統合処理部３０は、対象の物標が統合処理対象であるか否かを判定する（Ｓ２１０）。対象の物標が統合処理対象ではない場合（Ｓ２１０のＮＯ判定）、ステップＳ２３０のトラッカ管理へと進む。一方、対象の物標が統合処理対象である場合（Ｓ２１０のＹＥＳ判定）、ステップＳ２２０の本処理（グルーピング、統合処理）へと進む。
（統合処理（本処理）対象の決め方）
　ここで、本実施形態に係る統合処理（ステップＳ２２０の本処理）の対象の決め方について図５及び図６を参照して説明する。
　図５は、統合処理（本処理）対象の決め方として個数で決める場合の例を示す図である。前提として、統合処理対象の規定条件が規定物標数であり、規定物標数に基づいて統合処理（本処理）対象を決める方法である。規定物標数は、優先度毎に規定された対象物標数である。本例では、優先度高を３個、優先度中を５個に設定している。図５では、物標１～９のそれぞれに対して、重み１００～２０及び優先度１～９が付与された例が示されている。優先度が高い順に３個の物標について統合本処理を実施するため、優先度１～３に相当する物標１～３が統合本処理の対象となる。なお、優先度中の５個の物標４～８については、第２の実施形態で説明する統合簡易処理の対象となる。優先度低の物標９については、本処理及び簡易処理のいずれの統合処理についても対象外である。
　このように、重みの大きい物標からｋ個を優先度高の物標、ｊ個を優先度中の物標、残りを優先度低と分けてもよい。なお、図４及び図５では規定条件の例として規定物標数（個数）を示したが、規定条件はこの例に限られず、閾値でもよい。以下、規定条件に閾値を用いて、統合処理（本処理）対象を決める例について図６を参照して説明する。
　図６は、統合処理（本処理）対象の決め方として閾値で決める場合の例を示す図である。前提として、統合処理対象の規定条件が閾値であり、閾値に基づいて統合処理（本処理）対象を決める方法である。本例では、例えば、閾値が０～１００で表現される場合に、優先度高の閾値を６０以上、優先度中の閾値を３０以上に設定している。図６では、図５と同様に、物標１～９のそれぞれに対して、重み１００～２０及び優先度１～９が付与された例が示されている。優先度高に相当する重みが閾値“６０”以上の物標について統合本処理を実施するため、重み１００～６０（優先度１～５）に相当する物標１～５が統合本処理の対象となる。なお、優先度中に相当する重み“６０”未満から重み“３０”以上の３個の物標６～８については、第２の実施形態で説明する統合簡易処理の対象となる。優先度低の物標９については、本処理及び簡易処理のいずれの統合処理についても対象外である。
　図４のフローチャートの説明に戻る。ステップＳ２２０の本処理において、グルーピング部３０ａは、統合処理の対象となった物標について、上記物標に対する複数の検出情報のうち少なくとも位置情報を用いて、複数の検出情報間において当該複数の検出情報が同一物標の検出情報であるか否かを判定する。そして、グルーピング部３０ａは、当該複数の検出情報が同一物標の検出情報であると判定された場合は、フュージョン物標を生成するために、上記物標に対する複数の物標情報の組合せを決定する（Ｓ２２０ａ）。
　組合せを決定する際、前周期のフュージョン物標に基づく物標情報に対して処理を行う場合は、上記フュージョン物標の物標情報に対する同一性判定を行う。ここで、上記フュージョン物標の推定情報に対する同一性判定は、少なくとも上記フュージョン物標の物標情報の位置と上記物標に対する複数の物標情報の位置を用いて行う。例えば、センサの設置位置や諸元情報から誤差共分散行列を求め、誤差共分散行列から確率的な距離であるマハラノビス距離を算出して、そのマハラノビス距離を閾値と比較することにより同一性を判定する。言い換えると、統合処理（本処理）では、誤差共分散行列より求まる信頼度的な距離（マハラノビス距離）を用いて閾値判定によりグルーピングを行う。上記フュージョン物標の物標情報に対して同一だと判定された場合、該当する複数の物標情報による統合処理結果のＩＤは、同一だと判定された上記フュージョン物標のＩＤとなる。グルーピング部３０ａは、フュージョン物標ＩＤ毎にグルーピングされた上記物標の複数の物標情報を統合部３０ｂに出力する。
　統合部３０ｂでは、グルーピング部３０ａでグルーピングされた上記物標に対する複数の検出情報を入力とし、グルーピングされた上記物標に対する複数の検出情報に基づいて、もっともらしい物標情報の推定を行う処理（統合処理）を実施する（Ｓ２２０ｂ）。
　統合方法の一例では、例えば、外界センサ２毎に誤差特性を予めパラメータとして与え、グルーピングされた上記物標情報のうち、誤差特性の一番小さいセンサ物標の位置や速度をフュージョン物標の位置や速度として採用してもよい。あるいは、統合方法の他の例では、誤差特性に基づいて上記物標の物標情報から共分散行列を算出し、確率平均により算出した位置や速度を採用してもよい。また、センサの誤差特性は予め与える他に、統合実行中に推定してもよいし、外界センサ２の物標情報に含まれる誤差特性を用いてもよい。また、フュージョン物標に含まれるセンサの検出結果が１個であったとしても、統合部３０ｂはフュージョン物標として出力する。
　以降の説明で、センサの検出結果１個がグルーピングされた場合でも、フュージョン物標として「統合」するという表現をする。この場合、位置や速度はセンサの検出結果と等しいか、前処理部１０で推定された統合実行時刻における物標の位置及び速度を用いる。統合部３０ｂは、統合結果をトラッカ管理部３０ｃへ出力する。また、統合部３０ｂは、全ての統合処理対象の物標について統合処理を行った後、統合処理が行われなかったトラッカに対して統合処理を実施されなかった回数をカウントアップする。統合部３０ｂは、統合処理されたフュージョン物標の物標情報をトラッカ管理部３０ｃに出力する。
　次いで、ステップＳ２１０においてＮＯ判定の場合、又は、ステップＳ２２０ｂの処理後、トラッカ管理部３０ｃは、物標の管理を行う。例えば、トラッカ管理部３０ｃは、統合部３０ｂから出力される統合処理された上記フュージョン物標を入力とし、統合処理の内容に応じてトラッカの物標情報を上書き（更新）、又は新規登録する（Ｓ２３０）。
（トラッカの物標情報の更新）
　例えば、統合処理において、前周期に存在したトラッカに対して、今周期に検知された物標情報が紐づいて統合処理された場合、トラッカ管理部３０ｃは、上記トラッカと同じＩＤを持つフュージョン物標の物標情報を更新する。
　図７は、情報処理装置１におけるトラッカ管理（更新）の概要を示す図である。図７において横軸は時間を表し、統合実行時刻ｔ２において、物標ＩＤ“ＩＤ１”のフュージョン物標Ｔが存在する例が示されている。“ＩＤ１”のフュージョン物標Ｔの位置は（ｘ、ｙ）、ｘ方向及びｙ方向の速度は（ｖｘ、ｖｙ）である。次の統合実行時刻ｔ３の前に、カメラの検知時刻とレーダの検知時刻が到来し、カメラで検知された物標Ｃとレーダで検知された物標Ｒが得られている。統合実行時刻ｔ３において、グルーピング部３０ａは、前回の統合実行時刻ｔ２に存在した“ＩＤ１”のフュージョン物標Ｔに、物標Ｃと物標Ｒをグルーピングし、統合部３０ｂは、グルーピングされた“ＩＤ１”のフュージョン物標Ｔ、物標Ｃ及び物標Ｒを統合処理（新たな物標情報を生成）する。そして、トラッカ管理部３０ｃは、“ＩＤ１”のフュージョン物標Ｔの物標情報（位置、速度）を更新する。
（トラッカの新規登録）
　また、統合処理において、前周期に存在したトラッカに紐づかなかったがセンサが検知した物標同士が紐づいて統合処理された場合、トラッカ管理部３０ｃは、上記フュージョン物標を新たに生成されたトラッカとして追加する。
　図８は、情報処理装置１におけるトラッカ管理（新規登録）の概要を示す図である。図８において横軸は時間を表し、統合実行時刻ｔ１において、フュージョン物標Ｔが存在しない例が示されている。次の統合実行時刻ｔ２の前に、カメラの検知時刻とレーダの検知時刻が到来し、カメラで検知された物標Ｃとレーダで検知された物標Ｒが得られている。統合実行時刻ｔ２において、グルーピング部３０ａは、物標Ｃと物標Ｒをグルーピングし、統合部３０ｂは、グルーピングされた物標Ｃ及び物標Ｒを統合処理してフュージョン物標Ｔを生成するとともに、そのフュージョン物標Ｔに物標ＩＤ（例えば“ＩＤ１”）を付与する。そして、トラッカ管理部３０ｃは、統合処理により生成された“ＩＤ１”のフュージョン物標Ｔを新規登録する。なお、センサ物標及びフュージョン物標等の物標と、その物標情報は、ＲＡＭ４３又は不揮発性ストレージ４６に格納される。
　さらに、トラッカ管理部３０ｃは、統合処理において、トラッカにセンサで検知された物標が１個も紐づかず、過去の統合処理においても紐づいていなかった場合、紐づかなかった回数が規定値を満たしている場合は（ステップＳ１１０のＮＯ判定に相当）、上記トラッカを削除する。
　上記物標についてステップＳ２３０のトラッカ管理を終えた後、処理終了判定部３０ｄは、次の物標を処理しても処理時間内に収まるか否かを判定する（Ｓ２４０）。処理時間内に収まると判定された場合は（Ｓ２４０のＹＥＳ判定）、統合処理部３０は、次の物標について統合処理対象か否かを判定する（Ｓ２１０）。一方、処理時間内に収まらないと判定された場合は（Ｓ２４０のＮＯ判定）、統合処理部３０は、統合処理を終了する。統合処理部３０は、トラッカ管理部３０ｃで処理された上記フュージョン物標の物標情報を後処理部４に出力する。統合処理部３０は、少なくとも重みによって定まる処理順で物体情報（センサ物標、フュージョン物標）を統合処理して統合情報（フュージョン物標）を生成し、時間経過又は今周期の統合処理に供された物体情報に係る物体数に応じて今周期の統合処理を終了する。
［後処理部］
　図１に示した情報処理装置１の構成の説明に戻る。後処理部４は、トラッカ管理部３０ｃから出力された上記フュージョン物標の物標情報を入力とし、上記フュージョン物標の物標情報をシステムの図示しないデータベースに書き込む。システムのデータベースは、情報処理装置１の不揮発性ストレージ４６、又は他のメモリを用いて構成してもよい。なお、後処理部４は、情報処理装置１（例えば、統合処理部３０の後工程）に含まれてもよい。
　運転制御装置５は、情報処理装置１によってデータベースに書き込まれた上記物標の物標情報に基づいて、情報処理装置１が搭載された車両（自車）の運転を制御する。運転制御装置５は、ＥＣＵを用いて構成することができる。
［処理終了条件］
　次に、統合処理部３０の処理終了判定部３０ｄ（図１）において判定される統合処理の処理終了条件に関して説明する。
　統合処理部３０では、処理終了判定部３０ｄにより、物標の処理を終える度に次の物標を処理できるか否かを判定する。この判定により、処理できると判定した場合は次の物標について決められた処理を行い、処理できないと判定した場合は直前の物標までで統合処理部３０の処理を終了し、後処理部４の処理を開始する。
　ここで、統合処理部３０は、上述したステップＳ２１０において、予め定められた物標数又は重みによる閾値判定に基づいて、次の物標が統合処理を行う物標であるか否かを判別する。次の物標が統合処理を行う物標である場合、処理終了判定部３０ｄは、統合処理にかかる処理時間を推定する。例えば、ＥＣＵのハードウェアスペックと統合処理で行われる行列演算とから事前に計算で求まる処理時間に加えて、ＥＣＵが熱を持つことによる負荷の増加などを加味して予め推定された処理時間の誤差を考慮し、誤差の最大値と事前に求まる処理時間の和を次の統合処理にかかる処理時間とする。
　また、処理終了判定部３０ｄは、システムのタイマー（図示略）を参照し、情報処理装置１が今周期に処理（具体的には今周期の最初の前処理）を始めてから経過した時間と、先に求めた次の統合処理にかかる処理時間とから、処理周期内の残り時間で情報処理装置１が行う一連の処理（前処理、統合処理、及び後処理）を完了できるか否かを判定する。
　情報処理装置１は、処理終了判定部３０ｄで一連の処理を処理周期内に完了できると判定された場合、次の統合処理に関する処理（前処理、統合処理、後処理）を行う。本実施形態では、処理終了判定部３０ｄは、規定物標数（個数）に基づく処理終了判定、又は処理周期内の残り時間に基づく処理終了判定によって、一連の処理を完了できるかどうかを判定する。したがって、規定物標数は、処理周期内で一連の処理が完了するように余裕（所定のマージン）を持って設定されることが望ましい。一連の処理を処理周期内に完了できないと判定された場合、情報処理装置１は、処理を終了する。また、次の物標が統合処理を行う物標ではない場合、その時点で統合処理を終了する。
　以上の処理終了判定により、センサで検知された物標の数が多くなったとしても、フュージョン機能に与えられた処理時間内に処理を完了することができる。
　なお、後述する第２の実施形態において、簡易統合対象ありの場合は、処理終了判定部３０ｄは、規定物標数（個数）に基づく処理終了判定、及び処理周期内の残り時間に基づく処理終了判定の両方で、一連の処理を完了できるかどうかを判定する。
　次に、図９及び図１０～図１３を用いて、優先度が低い物標について、統合処理を実施されなかった周期（回数）のカウントアップのみを行う従来技術と、カウントアップに加え時刻同期を行う本発明との差異について説明する。
［従来のカウントアップのみを行う方法］
　図９は、従来技術の優先度が低い物標についてカウントアップのみ行う情報処理方法を示す概念図である。ｘ軸は自車の前方方向の座標、ｙ軸は自車の左方方向の座標を表す。
　従来技術に関して、図９に示すように、時刻ｔ０にカメラで検知された物標（以下「カメラ物標」）Ｃ０と、レーダで検知された物標（以下「レーダ物標」）Ｒ０が存在し、またカメラ物標Ｃ０及びレーダ物標Ｒ０がグルーピングされて生成された、フュージョン物標Ｔ０が存在するシーンを考える。つまり、時刻ｔ０における各物標の優先度は高い。
　時刻ｔ１において、時刻ｔ０でのフュージョン物標Ｔ０は、重み設定部２０及び統合処理部３０により優先度が低い物標であると判定されて、時刻ｔ１でのカメラ物標Ｃ１及びレーダ物標Ｒ１との統合処理が実施されない物標となっている。そのため、時刻ｔ１におけるフュージョン物標の物標情報は、時刻ｔ０におけるフュージョン物標Ｔ０と同じ物標情報となる。
　以降、時刻ｔ２、時刻ｔ３においても優先度が低い物標であると判定された場合、同様に、時刻ｔ０でのフュージョン物標Ｔ０は、時刻ｔ２（時刻ｔ３）でのカメラ物標Ｃ２（Ｃ３）及びレーダ物標Ｒ２（Ｒ３）と統合処理されない。そのため、時刻ｔ２、時刻ｔ３におけるフュージョン物標の物標情報は、時刻ｔ０におけるフュージョン物標Ｔ０の物標情報と同じになる。
　時刻ｔ４において、フュージョン物標Ｔ０の優先度が高くなり統合処理の対象となった場合、フュージョン物標Ｔ０に関してグルーピングを行うこととなる。しかし、フュージョン物標Ｔ０は時刻ｔ０から処理されていないため、フュージョン物標Ｔ０は時刻ｔ４においても時刻ｔ０と同じ位置及び速度となっている。そのため、フュージョン物標Ｔ０の物標情報は、時刻ｔ４におけるカメラ物標Ｃ４及びレーダ物標Ｒ４と同一性がないと判定され、フュージョン物標Ｔ０とカメラ物標Ｃ４及びレーダ物標Ｒ４とは、グルーピングされない。
［カウントアップ及び時刻同期を行う方法］
　次に、統合処理を実施されなかった周期（回数）のカウントアップに加え、時刻同期を行う本発明の実施形態との差異について説明する。
　図１０は、情報処理装置１において、優先度が低い物標についてカウントアップ及び時刻同期を行う方法を示す概念図（１）である。ｘ軸は自車の前方方向の座標、ｙ軸は自車の左方方向の座標を表す。
　図１１は、情報処理装置１において、ある統合実行時刻での統合処理の例を示す図（１）である。
　図１０において、時刻ｔ０にカメラで検知されたカメラ物標Ｃ０と、レーダで検知されたレーダ物標Ｒ０が存在し、またカメラ物標Ｃ０及びレーダ物標Ｒ０がグルーピングされて生成された、フュージョン物標Ｔ０が存在するシーンを考える。つまり、時刻ｔ０における各物標の優先度は高い。仮にフュージョン物標Ｔ０の物標ＩＤを“ＩＤ１”とする。
　時刻ｔ１において、時刻ｔ０での“ＩＤ１”のフュージョン物標Ｔ０は、重み設定部２０及び統合処理部３０により優先度が低い物標であると判定されて、時刻ｔ１でのカメラ物標Ｃ１及びレーダ物標Ｒ１との統合処理が実施されない物標となっている。ただし、本実施形態においては、統合処理部３０のグルーピング部３０ａ及び統合部３０ｂにおいて、時刻ｔ０でのフュージョン物標Ｔ０と、時刻ｔ１でのカメラ物標Ｃ１及びレーダ物標Ｒ１について、時刻同期（更新）を行う。時刻同期では、統合部３０ｂが、時刻ｔ０に生成された“ＩＤ１”のフュージョン物標Ｔ０の少なくとも位置と速度に基づいて、少なくとも時刻ｔ１における“ＩＤ１”のフュージョン物標Ｔ１の位置を推定（更新）する。時刻ｔ２も、一つ前の時刻における“ＩＤ１”のフュージョン物標Ｔ１の物標情報に基づいて、同様に、少なくとも時刻ｔ２における“ＩＤ１”のフュージョン物標Ｔ２の位置を推定（更新）する。
　図１１では、時刻ｔ３における時刻同期の例が示されている。時刻ｔ３でも、時刻ｔ２で時刻同期されたフュージョン物標Ｔ２と、時刻ｔ３でのカメラ物標Ｃ３及びレーダ物標Ｒ３について、時刻同期（更新）を行う。すなわち、統合部３０ｂが、時刻ｔ２に生成された“ＩＤ１”のフュージョン物標Ｔ２の少なくとも位置と速度に基づいて、少なくとも時刻ｔ３における“ＩＤ１”のフュージョン物標Ｔ３の位置を推定（更新）する。
　図１２は、情報処理装置１において、優先度が低い物標についてカウントアップ及び時刻同期を行う方法を示す概念図（２）である。ｘ軸は自車の前方方向の座標、ｙ軸は自車の左方方向の座標を表す。
　図１３は、情報処理装置１において、ある統合実行時刻での統合処理の例を示す図（２）である。
　図１２及び図１３では、時刻ｔ３～ｔ４における各物標の状態を示している。時刻ｔ４においても、一つ前の時刻ｔ３における“ＩＤ１”のフュージョン物標Ｔ３の物標情報に基づいて、時刻ｔ４における“ＩＤ１”のフュージョン物標Ｔ３´の位置を推定（更新）する。図１０及び図１１を用いて説明したように、物標の優先度が低い状態となっている時刻ｔ１から時刻ｔ３において、おおよそセンサ物標と登録済みのフュージョン物標との誤差を低減できる。このため、時刻ｔ４で再度物標の優先度が高い状態となり統合処理が行われる場合に、時刻ｔ４の前（ここでは、時刻ｔ３）まで時刻同期により推定された上記フュージョン物標Ｔ３´の物標情報に基づいて、時刻ｔ４で検知されたカメラ物標Ｃ４及びレーダ物標Ｒ４とグルーピング及び統合処理を行うことができる。このような統合処理により、フュージョン物標Ｔ３´の物標情報と、カメラ物標Ｃ４及びレーダ物標Ｒ４とから、少なくとも時刻ｔ４における統合処理後のフュージョン物標Ｔ４の位置を推定（更新）することができる。
　以上のとおり、本実施形態に係る情報処理装置（情報処理装置１）は、物体を検知する複数のセンサで取得した物体情報（センサ物標）を周期毎に統合処理して統合情報を生成する情報処理装置において、物体情報（センサ物標、フュージョン物標）に重みを設定する重み設定部（重み設定部２０）と、少なくとも重みによって定まる処理順で物体情報（センサ物標、フュージョン物標）を統合処理して統合情報（フュージョン物標）を生成し、時間経過又は今周期の統合処理に供された物体情報に係る物体数に応じて今周期の統合処理を終了する統合処理部（統合処理部３０）と、を有する。そして、重み設定部は、上記物体情報が周期毎に統合処理に供されたか否かを示す統合履歴（統合処理の対象外となった回数）に基づいて、上記物体情報の重みを設定するように構成されている。
　このような構成の本実施形態に係る情報処理装置によれば、物体情報が多く入力されたとしても、時間経過又は今周期の統合処理に供された物体情報に係る物体数に応じて今周期の統合処理を終了することで、処理周期内に統合処理を完了することができる。
＜第２の実施形態＞
　第２の実施形態は、第１の実施形態に係る情報処理装置１に対して、重み設定に基づく簡易統合機能を有する例である。以下、第２の実施形態に係る情報処理装置について、図１４及び図１５を参照して説明する。第２の実施形態において、第１の実施形態との相違点を主に説明し、同じ構成には同じ符号を付してその説明を省略する。
　図１４は、第２の実施形態に係る情報処理装置１による簡易統合を含む統合処理の手順例を示すフローチャートである。
　図１５は、第２の実施形態に係る情報処理装置１において、優先度が低い物標についてカウントアップ及び時刻同期に加えて簡易統合を行う方法を示す概念図である。ｘ軸は自車の前方方向の座標、ｙ軸は自車の左方方向の座標を表す。
　本実施形態に係る情報処理装置１では、図１４で示される統合処理部３０の処理において、優先度が高い物標に対する統合処理（ステップＳ２２０の本処理）だけでなく、優先度が中(簡易統合対象)の物標に対する簡易統合（ステップＳ３１０）を行う。
　まず、統合処理部３０（図１）では、各処理ブロックによる処理を行う前に、物標の重みに基づき、統合処理（本処理）対象、及び簡易統合対象の物標を決定し（Ｓ２００ａ）、優先度順に同様の処理を繰り返し行う。
　次いで、統合処理部３０は、対象の物標が統合処理（本処理）対象であるか否かを判定する（Ｓ２１０）。対象の物標が統合処理（本処理）対象である場合（Ｓ２１０のＹＥＳ判定）、ステップＳ２２０の本処理（グルーピング、統合処理）へと進む。一方、対象の物標が統合処理（本処理）対象ではない場合（Ｓ２１０のＮＯ判定）、統合処理部３０は、対象の物標が簡易統合対象であるか否かを判定する（Ｓ３００）。ここで、対象の物標が簡易統合対象ではない場合（Ｓ３００のＮＯ判定）、ステップＳ２３０のトラッカ管理へと進む。一方、対象の物標が簡易統合対象である場合（Ｓ３００のＹＥＳ判定）、ステップＳ３１０の本処理（簡易統合、カウントアップ）へと進む。
　例えば、図６に示したように、異なる２つの優先度（重み）の閾値を設定し、その閾値と物標の優先度との比較により統合処理対象（Ｓ２１０のＹＥＳ判定）か、簡易統合対象（Ｓ３００のＹＥＳ判定）かを判定する。また、図５に示したように、予め優先度の高さごとに設定した物標の個数（規定物標数）に基づいて、統合処理対象か、簡易統合対象かを判定するようにしてもよい。
　ステップＳ３１０の簡易統合では、統合処理部３０は、統合処理よりも計算負荷が小さく推定精度が非悪である簡易的な統合処理を行う（ステップＳ３１０ａ）。ステップＳ３１０ａの簡易統合では、グルーピング部３０ａは、簡易的なグルーピングとして、誤差共分散行列演算を行うのではなく、例えば、フュージョン物標の位置から一定の距離以内の物標を、当該フュージョン物標と同一であると判定する。また、統合部３０ｂは、簡易的な位置推定として、例えば、上記簡易的なグルーピングにより同一と判定されたカメラ物標又はレーダ物標の物標情報の平均値を、簡易処理後のフュージョン物標の位置とする。あるいは、統合部３０ｂは、簡易的な位置推定の他の例として、センサ特性を考慮して簡易的にグルーピングされたセンサ物標の組合せに応じて、例えば、ｘ座標はレーダ物標の物標情報を採用し、ｙ座標はカメラ物標の物標情報を採用するようにしてもよい。
　ステップＳ３１０ａの処理後、統合部３０ｂは、統合処理が行われなかったトラッカに対して統合処理を実施されなかった回数をカウントアップする（ステップＳ３１０ｂ）。
　次いで、ステップＳ３００においてＮＯ判定の場合、ステップＳ２２０ｂの処理後、又は、ステップＳ３１０ｂの処理後、トラッカ管理部３０ｃは、物標の管理を行う。例えば、トラッカ管理部３０ｃは、統合部３０ｂから出力される統合処理（本処理）又は簡易統合された上記フュージョン物標を入力とし、処理の内容に応じてトラッカの物標情報を上書き（更新）、又は新規登録する（Ｓ２３０）。
　そして、ステップＳ２３０のトラッカ管理を終えた後、処理終了判定部３０ｄは、次の物標を処理しても処理時間内に収まるか否かを判定し（Ｓ２４０）、その判定結果に応じて、ステップＳ２１０に進む、又は統合処理を終了する。
　このような統合処理（本処理、簡易統合を含む）とすることにより、図１５の時刻ｔ１～ｔ３における優先度が高い状態ではない（例えば、優先度中の）フュージョン物標について、カウントアップだけでなく時刻同期を行い、併せて簡易統合（Ｓ３１０ａ）により位置推定に関して補償を行う。これにより、後の処理周期で優先度が高くなって統合処理の対象となった物標が出現した場合に、簡易統合されたフュージョン物標を用いて正しく統合処理されるようにすることができる。図１５に示す例では、時刻ｔ１～ｔ３における各センサ物標と各フュージョン物標Ｔ１～Ｔ３の各物標情報の内容（位置と移動方向）が、図１０及び図１２に示したセンサ物標とフュージョン物標の例よりも揃っていることが確認できる。
　上述した実施形態の説明では、車載の電子制御装置（ＥＣＵ）がセンサ座標変換の補正値を計算（すなわち統合処理）したが、車両と通信可能に接続された計算機がセンサ座標変換の補正値を計算してもよい。
　以上のとおり、本実施形態に係る情報処理装置（情報処理装置１）では、統合処理部（統合処理部３０）は、統合処理されない物体情報（センサ物標、フュージョン物標）に対し、時刻同期と簡易的な統合処理である簡易統合を行う（Ｓ３１０）ように構成されている。
　このように、本実施形態では、重みによって決まる優先度が低い物標について時刻同期及び簡易的な統合処理を行うことで統合処理とは異なる方法で各時刻における位置を含む物体情報を推定することができる。それゆえ、物体情報の優先度が低い状態から優先度が高くなった場合にも、精度よく統合処理することができる。
　また、本実施形態では、統合処理部（統合処理部３０）は、統合処理が終了後、統合処理されなかった物体情報（センサ物標、フュージョン物標）に対し、簡易統合を行うように構成されている。それにより、重みによって決まる優先度を基に、統合処理が終了後に簡易統合を行うことで、処理の優先度の高い統合処理を簡易統合よりも処理周期内で確実に完了することができる。
　また、本実施形態では、統合処理部（統合処理部３０）は、時間経過、及び今周期の統合処理に供された物体情報に係る物体数と、今周期の簡易統合に供された物体情報に係る物体数とに応じて、今周期の統合処理を終了するように構成してもよい。それにより、簡易統合の途中であっても、今周期の統合処理を終了することができる。
　なお、本発明は上述した実施形態に限られるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した実施形態は本発明を分かりやすく説明するためにその構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成要素を備えるものに限定されない。また、ある実施形態の構成の一部を他の実施形態の構成要素に置き換えることが可能である。また、ある実施形態の構成に他の実施形態の構成要素を加えることも可能である。また、各実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。
　また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。ハードウェアとして、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などの広義のプロセッサデバイスを用いてもよい。また、実施形態の各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又はＩＣカード、ＳＤカード、光ディスク、光磁気ディスク等の記録媒体に格納することができる。
　また、上述した実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成要素が相互に接続されていると考えてもよい。
　１…情報処理装置、　２…外界センサ、　３…車両挙動検知センサ、　４…後処理部、　５…運転制御装置、　１０…前処理部、　２０…重み設定部、　３０…統合処理部、　３０ａ…グルーピング部、　３０ｂ…統合部、　３０ｃ…トラッカ管理部、　３０ｄ…処理終了判定部

Claims (5)

  1. 　物体を検知する複数のセンサで取得した物体情報を周期毎に統合処理して統合情報を生成する情報処理装置において、
    　前記物体情報に重みを設定する重み設定部と、
    　少なくとも前記重みによって定まる処理順で前記物体情報を統合処理して統合情報を生成し、時間経過又は今周期の統合処理に供された物体情報に係る物体数に応じて今周期の統合処理を終了する統合処理部と、を有し、
    　前記重み設定部は、前記物体情報が周期毎に統合処理に供されたか否かを示す統合履歴に基づいて、前記物体情報の重みを設定することを特徴とする
    　情報処理装置。
  2. 　前記統合処理部は、前記統合処理されない前記物体情報に対し、時刻同期と簡易的な統合処理である簡易統合を行うことを特徴とする
    　請求項１に記載の情報処理装置。
  3. 　前記統合処理部は、前記統合処理が終了後、前記統合処理されなかった前記物体情報に対し、前記簡易統合を行うことを特徴とする
    　請求項２に記載の情報処理装置。
  4. 　前記統合処理部は、前記時間経過、及び前記今周期の統合処理に供された物体情報に係る物体数と、前記今周期の簡易統合に供された物体情報に係る物体数とに応じて、前記今周期の統合処理を終了する
    　請求項２に記載の情報処理装置。
  5. 　物体を検知する複数のセンサで取得した物体情報を周期毎に統合処理して統合情報を生成する情報処理装置による情報処理方法であって、
    　前記物体情報に重みを設定する処理と、
    　少なくとも前記重みによって定まる処理順で前記物体情報を統合処理して統合情報を生成し、時間経過又は今周期の統合処理に供された物体情報に係る物体数に応じて今周期の統合処理を終了する処理と、を含み、
    　前記重みを設定する処理では、前記物体情報が周期毎に統合処理に供されたか否かを示す統合履歴に基づいて、前記物体情報の重みを設定することを特徴とする
    　情報処理方法。
PCT/JP2022/039320 2022-10-21 2022-10-21 情報処理装置及び情報処理方法 WO2024084690A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/039320 WO2024084690A1 (ja) 2022-10-21 2022-10-21 情報処理装置及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/039320 WO2024084690A1 (ja) 2022-10-21 2022-10-21 情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2024084690A1 true WO2024084690A1 (ja) 2024-04-25

Family

ID=90737211

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/039320 WO2024084690A1 (ja) 2022-10-21 2022-10-21 情報処理装置及び情報処理方法

Country Status (1)

Country Link
WO (1) WO2024084690A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007232411A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 物体検出装置
JP2018055427A (ja) * 2016-09-29 2018-04-05 マツダ株式会社 車両用物標検出システム
JP2019002690A (ja) * 2017-06-09 2019-01-10 トヨタ自動車株式会社 物標検出装置
WO2020003776A1 (ja) * 2018-06-29 2020-01-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007232411A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 物体検出装置
JP2018055427A (ja) * 2016-09-29 2018-04-05 マツダ株式会社 車両用物標検出システム
JP2019002690A (ja) * 2017-06-09 2019-01-10 トヨタ自動車株式会社 物標検出装置
WO2020003776A1 (ja) * 2018-06-29 2020-01-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置

Similar Documents

Publication Publication Date Title
JP6544908B2 (ja) 予測的運転者支援システムのための複合信頼度推定
US10035508B2 (en) Device for signalling objects to a navigation module of a vehicle equipped with this device
JP2015051761A (ja) アクティブ車両制御のための運転支援技術
JP6922072B2 (ja) 異常診断システム及び異常診断方法
GB2576206A (en) Sensor degradation
US20230148202A1 (en) Vehicle control system
WO2020158058A1 (ja) 演算装置
JPWO2020008515A1 (ja) 車両制御装置
CN108569268B (zh) 车辆防碰撞参数标定方法和装置、车辆控制器、存储介质
WO2024084690A1 (ja) 情報処理装置及び情報処理方法
US11548530B2 (en) Vehicle control system
WO2021024711A1 (ja) エイミング装置、運転制御システム、及びセンサデータの補正量の計算方法
US20200385008A1 (en) Safety-Aware Comparator for Redundant Subsystems in Autonomous Vehicles
US11636691B2 (en) Sensor recognition integration device
CN116736243A (zh) 使用多种假设的稳定的雷达跟踪速度初始化
US20220319244A1 (en) Driving diagnosis device and driving diagnosis method
US20220227358A1 (en) Map-based target heading disambiguation
WO2022215348A1 (ja) 物標検出装置
CN112652006A (zh) 感测车辆周围环境中的物体的方法，数据处理设备，计算机程序产品和计算机可读数据介质
CN112009496B (zh) 用于自主车辆控制的安全架构
US11987266B2 (en) Distributed processing of vehicle sensor data
KR20220062168A (ko) Adas 및 자율주행 차량을 위한 제어 시스템 및 방법
WO2022059314A1 (ja) 信号処理装置
Sundar et al. Demo Abstract: Testbed for Practical Considerations In Mixed-Criticality System Design
US20220319245A1 (en) Driving diagnosis device and driving diagnosis method