WO2021256032A1 - センサ認識統合装置 - Google Patents

センサ認識統合装置 Download PDF

Info

Publication number
WO2021256032A1
WO2021256032A1 PCT/JP2021/011102 JP2021011102W WO2021256032A1 WO 2021256032 A1 WO2021256032 A1 WO 2021256032A1 JP 2021011102 W JP2021011102 W JP 2021011102W WO 2021256032 A1 WO2021256032 A1 WO 2021256032A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
integrated
object information
information
integrated device
Prior art date
Application number
PCT/JP2021/011102
Other languages
English (en)
French (fr)
Inventor
裕也 田中
克朗 渡邉
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US18/008,848 priority Critical patent/US20230221432A1/en
Priority to DE112021002118.4T priority patent/DE112021002118T5/de
Publication of WO2021256032A1 publication Critical patent/WO2021256032A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction

Definitions

  • the present invention relates to a sensor recognition integration device for processing integration of multiple object data (object information) from multiple sensors of different types with a low load, for example.
  • Sensors for detecting objects are diverse, such as radars, cameras, sonars, and laser radars. Since these sensors have various conditions such as detection range, detectable object, detection accuracy, and cost, it is necessary to combine multiple sensors according to the purpose and integrate the object information detected or acquired by each sensor. be. However, as the number of objects to be handled increases, it is necessary to improve the processing performance of the ECU depending on the processing cost of integration, so it is necessary to reduce the load of integration processing.
  • the "processing cost” refers to the processing time for integration.
  • Patent Document 1 is a prior art document that reduces the processing load of information from multiple sensors.
  • the techniques disclosed in FIG. 1 of Patent Document 1 include a first radar with a long calculation time having a first detection range, a second radar with a short calculation time having a second detection range overlapping with the first detection range, and the like.
  • the target detection device when the existence of a target is confirmed in the overlapping range of the first and second radars, the presence or absence of the next target can be determined even with low accuracy, and thus the designation means. If the target whose existence has been confirmed by the existence confirmation means exists in the overlapping range, the calculation result of the second radar with a short calculation time is input to the second determination means, and the present existence after the previous confirmation of the target. Is determined by the second determination means. As a result, the target can be detected at high speed. When the target enters the overlapping area with the first radar from the non-overlapping detection range of the second radar, the focused detection range is set near the boundary between the overlapping range and the non-overlapping range to narrow the detection range. Therefore, the amount of calculation can be reduced.
  • Patent Document 1 assumes that the sensor is a sensor of the same type as a radar, and when the target enters the overlapping area with the first radar from the non-overlapping detection range of the second radar. , The detection range is only narrowed near the boundary between the overlapping range and the non-overlapping range. For example, in a system configuration that handles multiple types of sensors, the load of integrated processing is reduced while maintaining accuracy by utilizing the characteristics of multiple types of sensors. There is a problem that it cannot be planned.
  • the present invention has been made in view of the above circumstances, and an object thereof is to reduce the load of integrated processing so as to satisfy the minimum accuracy required for vehicle traveling control, and to process an ECU.
  • the purpose is to provide a sensor recognition integrated device that can suppress performance improvement and cost increase.
  • the sensor recognition integrated device is a sensor recognition integrated device that integrates a plurality of object information about objects around the vehicle detected by a plurality of external recognition sensors, and is a behavior of the vehicle.
  • a predictive updater that generates predicted object information that predicts the behavior of the object based on the behavior of the own vehicle estimated from the above and the object information detected by the external world recognition sensor, the predicted object information, and the plurality of object information.
  • An integrated processing mode that determines a method of integrating the plurality of object information based on the positional relationship between the association unit that calculates the relationship between the information and the specific area in the overlapping area of the detection areas of the plurality of external recognition sensors and the predicted object information. It is characterized by including an integrated processing mode determination unit for switching between the two, and an integrated target information generation unit for integrating the plurality of object information related to the predicted object information based on the integrated processing mode.
  • the present invention it is possible to reduce the load of integrated processing so as to satisfy the minimum accuracy required for vehicle driving control according to the detection status, and it is possible to improve the processing performance of the ECU and suppress the cost increase. Will be.
  • This is an example of a sensor configuration targeted by the sensor object information integration unit B010 of the sensor recognition integration device B006 of the first embodiment of the present invention.
  • It is a functional block diagram of the sensor object information integration unit B010 of the sensor recognition integration device B006 of the first embodiment of the present invention.
  • It is a flowchart of the association unit 101 executed by the sensor object information integration unit B010 of the first embodiment of the present invention.
  • FIG. 6 is a diagram of an integration example (high processing load integration processing mode) in which components having a small error of each sensor are combined as integration processing of the integration target information generation unit 104 in FIG.
  • FIG. 6 is a diagram of an integration example (high processing load integration processing mode) in which components having a small error of each sensor are combined as integration processing of the integration target information generation unit 104 in FIG.
  • FIG. 6 is a diagram of an integration example (high processing load integration processing mode) in which components having a small error of each sensor are combined as integration processing of the integration target information generation unit 104 in FIG.
  • FIG. 6 is a diagram of an integration example (low processing load integration processing mode) in which an object of each sensor is obtained by averaging processing as integration processing of the integration target information generation unit 104 in FIG. It is a figure which shows the example which uses the overlap area and the boundary part of the detection range as the condition of the integrated processing mode determination part 102 of FIG. It is a schematic diagram which calculates the distance between the boundary part of the overlap area of the detection range of FIG. 11 and a target.
  • FIG. 3 is a configuration diagram of an automatic driving system including a sensor recognition integrated device B006 having a traveling path estimation unit B012 according to a second embodiment of the present invention. It is a figure which shows the example which uses the traveling path as a condition of the integrated processing mode determination part 102 of FIG.
  • FIG. 5 is a configuration diagram of an automatic driving system including a sensor recognition integrated device B006 that inputs a planned trajectory from the automatic driving plan determination device B007 according to the fifth embodiment of the present invention. It is a functional block diagram of the sensor object information integration part B010 of the sensor recognition integration apparatus B006 of the 7th Embodiment of this invention.
  • FIG. 1 is a configuration diagram of an automatic driving system including the sensor recognition integrated device B006 according to the first embodiment of the present invention.
  • the automatic driving system of the present embodiment recognizes an object around the own vehicle (outside world) in a vehicle such as an automobile, plans and judges driving according to the object, and automatically controls the driving of the vehicle, or the driver's It is a system that supports driving operations (maneuvering).
  • the automated driving system of this embodiment includes an information acquisition device B000, an input communication network B005, a sensor recognition integrated device B006, an automated driving plan determination device B007, and an actuator group B008.
  • the information acquisition device B000 includes a vehicle behavior recognition sensor B001, an outside world recognition sensor group B002, a positioning system B003, and a map unit B004.
  • the sensor recognition integration device B006 includes an information storage unit B009, a sensor object information integration unit B010, and a vehicle peripheral information integration unit B011.
  • the own vehicle behavior recognition sensor B001 outputs the recognized information D001 to the input communication network B005.
  • the external recognition sensor group B002 outputs the recognized information D002 to the input communication network B005.
  • the positioning system B003 outputs the positioning information D003 to the input communication network B005.
  • the map unit B004 outputs the acquired information D004 to the input communication network B005.
  • the input communication network B005 takes D001, D002, D003, and D004 as inputs, and outputs the information D005a flowing through the communication network to the sensor recognition integrated device B006. Further, the input communication network B005 takes D001 as an input and outputs the information D005b flowing through the communication network to the automatic operation plan determination device B007.
  • the sensor recognition integrated device B006 inputs the information D005a from the input communication network B005, and outputs the integrated result D011 which is the information around the own vehicle to the automatic driving plan determination device B007 as output information.
  • the automatic operation plan determination device B007 inputs the information D005b from the input communication network B005 and the integration result D011 from the sensor recognition integration device B006, and outputs the plan determination result D007, which is command information, to the actuator group B008 as output information.
  • the information storage unit B009 takes the information D005a from the input communication network B005 as an input, and outputs the stored information D009a to the sensor object information integration unit B010. Further, the information storage unit B009 outputs the stored information D009b to the vehicle peripheral information integration unit B011.
  • the sensor object information integration unit B010 inputs the information D009a from the information storage unit B009, and outputs the integration result D010, which is the integrated object information, to the vehicle peripheral information integration unit B011 as output information.
  • the vehicle peripheral information integration unit B011 inputs the information D009b from the information storage unit B009, and outputs the integration result D011 which is the vehicle peripheral information to the automatic driving plan determination device B007 as output information.
  • the own vehicle behavior recognition sensor B001 includes a gyro sensor, a wheel speed sensor, a steering angle sensor, an acceleration sensor, etc. mounted on the vehicle, and the recognized information D001 includes the yaw rate and wheel speed indicating the behavior of the own vehicle, respectively. Includes steering angle, acceleration, etc.
  • Information D002 recognized from the outside world recognition sensor group B002 includes information (including position information, speed information, etc.) that detects an object outside (periphery) of the own vehicle, a white line on the road, a sign, and the like.
  • a combination of a plurality of outside world recognition sensors such as a radar, a camera, and sonar is used.
  • V2X and C2X may be included, and the configuration of the sensor is not particularly limited.
  • the positioning information D003 from the positioning system B003 includes the result of estimating the position of the own vehicle.
  • An example of what is used as the positioning system B003 is a satellite positioning system.
  • Information D004 acquired from map unit B004 includes map information around the own vehicle. Further, the acquired information D004 may include route information in cooperation with navigation.
  • Information D005a from the input communication network B005 includes all or part of information D001, D002, D003, D004. Further, the information D005b includes at least the information D001.
  • CAN Controller Area Network
  • Ethernet registered trademark
  • wireless communication etc., which are networks generally used in in-vehicle systems, are used.
  • the output information D011 from the sensor recognition integrated device B006 includes the data of the vehicle behavior information, the sensor object information, the sensor road information, the positioning information, and the map information integrated from the input communication network B005 as the information around the vehicle.
  • Command information D007 from the automatic driving plan determination device B007 plans and determines how to move the own vehicle based on the information from the input communication network B005 and the information around the own vehicle from the sensor recognition integrated device B006. Contains information.
  • the actuator group B008 operates the vehicle according to the command information D007 from the automatic driving plan determination device B007.
  • the actuator group B008 includes various actuators such as an accelerator device, a brake device, and a steering device mounted on a vehicle.
  • the sensor recognition integration device B006 of the present embodiment includes an information storage unit B009, a sensor object information integration unit B010, and a vehicle peripheral information integration unit B011.
  • the information storage unit B009 stores information from the input communication network B005, and outputs information D009a in response to a request from the sensor object information integration unit B010 and the vehicle peripheral information integration unit B011.
  • the request from the sensor object information integration unit B010 and the vehicle peripheral information integration unit B011 includes time synchronization of information D002 data from a plurality of sensors constituting the outside world recognition sensor group B002, standardization of the coordinate system, and the like.
  • the sensor object information integration unit B010 acquires information (sensor object information) D009a from the information storage unit B009, and integrates the information of the same object detected by a plurality of sensors constituting the outside world recognition sensor group B002 as the same information (later).
  • the integrated object information D010 can be output even when the positioning system B003 and the map unit B004 are not installed, and the integrated object information D010 is integrated instead of the output information D011 of the vehicle peripheral information integration unit B011. It is established as a system by outputting the object information D010. Therefore, even if the positioning system B003 and the map unit B004 are not necessarily mounted, the operation of the present embodiment is not hindered.
  • the vehicle peripheral information integration unit B011 contains integrated object information D010 from the sensor object information integration unit B010 and information D009b (including vehicle behavior information, sensor road information, positioning information, and map information) from the information storage unit B009. It is acquired, integrated as own vehicle peripheral information D011, and output to the automatic driving plan judgment device B007.
  • the vehicle peripheral information D011 includes information that assigns whether the integrated object information D010 from the sensor object information integration unit B010 belongs to the white line on the road or the lane on the map.
  • FIG. 2 is an example of mounting the external recognition sensor group B002 according to the first embodiment of the present invention.
  • the mounting configuration and the type of sensor are not limited. From the viewpoint of improving redundancy and accuracy, different types of sensor configurations are desirable.
  • FIG. 3 is a functional block diagram of the sensor object information integration unit B010 of the sensor recognition integration device B006 of the first embodiment of the present invention.
  • the sensor object information integration unit B010 includes a prediction update unit 100, an association unit 101, an integration processing mode determination unit 102, an integration target information generation unit 104, an integration update unit 105, and an integrated object information storage unit 106.
  • the processing of the sensor object information integration unit B010 is continuously and repeatedly executed many times. Each execution defines at what time the information is intended to be estimated. For the sake of explanation, it is assumed that the execution of estimating the information at the time t 1 is performed and then the execution of estimating the information at the time t 2 which is the time after the time ⁇ t is performed.
  • the sensor object information 207A and 207B have a sensor object ID assigned by tracking processing in the sensors constituting the external world recognition sensor group B002, a relative position with the own vehicle, a relative speed with the own vehicle, and an error covariance. You may have additional information such as object type, detection time, and reliability of information.
  • the integrated processing mode 209 has a mode for determining the integrated method in the integrated target information generation unit 104.
  • Predicted object information 200, integrated object information 205A, 205B are estimated target time, object ID, relative position of object, relative velocity information of object, error covariance, or them. Has the equivalent of. In addition, it may have additional information such as object type and information reliability.
  • the integrated target information 204 includes information about the integrated sensor object that is the association target for the object ID of each object in the predicted object information 200.
  • the position and speed of the sensor object information included in the integrated target information 204 do not always match the original sensor object information 207A, and the external recognition sensor group B002 is configured based on the integrated processing mode 209 of the integrated processing mode determination unit 102.
  • the integrated value is calculated by taking advantage of the characteristics of the multiple sensors.
  • the association information 201A and 201B have information indicating the correspondence between the predicted object information 200 and the plurality of sensor object information 207A and 207B.
  • the sensor detection range (also called the detection area) 208 has a horizontal FOV (Field of view), a mounting angle, a maximum detection distance, etc. of each sensor constituting the outside world recognition sensor group B002.
  • the prediction update unit 100 receives the integrated object information 205B at time t 1 from the integrated object information storage unit 106 as an input, and generates and outputs the predicted object information 200 at time t 2.
  • the association unit 101 inputs a plurality of sensor object information 207A from the external recognition sensor group B002 and a predicted object information 200 at a time t 2 from the predicted update unit 100, and which predicted object information is a plurality of which at a time t 2.
  • the association information 201A indicating whether or not it corresponds to the sensor object information is output.
  • the sensor object information 207A is output as the sensor object information 207B without being changed. Note that the sensor object information 207A and 207B must be in the same time zone as the predicted object information 200 at time t 2, and the sensor object information 207A and 207B are timed at time t 2 in the information storage unit B009 of FIG. Synchronize.
  • the integrated processing mode determination unit 102 calculates the integrated processing mode 209 based on the sensor object information 207B and the association information 201A from the association unit 101, and the sensor detection range 208 previously stored in the information storage unit B009 and the like in FIG. Output (switch) (detailed later).
  • the association information 201A is output as the association information 201B without being changed.
  • the integration target information generation unit 104 inputs the association information 201B from the integration processing mode determination unit 102 at time t 2 , the sensor object information 207B from the association unit 101, and the integration processing mode 209 from the integration processing mode determination unit 102. For each predicted object at time t 2, the integrated value is calculated from the coordinates and velocity of the corresponding object information and output as the integrated target information 204. At this time, it has a function of switching the integration method based on the integration processing mode 209 from the integration processing mode determination unit 102 (described in detail later).
  • the integrated update unit 105 inputs the integrated target information 204 from the integrated target information generation unit 104 and the predicted object information 200 at time t 2 from the predicted update unit 100, and what state each object is in at time t 2 ( Estimates whether it is (coordinates, velocity, etc.) and outputs it as integrated object information 205A. Inside the integrated update unit 105, it is preferable to create the integrated object information 205A so that the position information and the velocity information of the object do not suddenly change even if the integration method is switched by the integration target information generation unit 104.
  • the integration method that is, the integration processing mode 209
  • the position information and the velocity information can be considered.
  • the method of change may be not only linear interpolation but also interpolation by spline.
  • the integrated object information storage unit 106 stores the integrated object information 205A from the integrated update unit 105 and outputs it as the integrated object information 205B to the predictive update unit 100.
  • FIG. 4 is a flowchart of the association unit 101 executed by the sensor object information integration unit B010 of the first embodiment of the present invention.
  • Start processing (S500).
  • the unprocessed predicted object is extracted (S502) from the predicted object information 200 from the prediction update unit 100. If there is an unprocessed predicted object in S504 (S504: Yes), proceed to S508. Then, at time t 2 , all the sensor objects out of the sensor object information 207A that are candidates for the association target are extracted (S508).
  • S510 when there is an unprocessed sensor object among the sensor objects of the association target candidate (S510: Yes), in S512, the unprocessed sensor object is subjected to the association determination (S512), and S508 is performed. Return to. If there is no unprocessed sensor object in S510 (S510: No), the process returns to S502. In S504, if there is no unprocessed predicted object (S504: No), the process ends (S538).
  • association determination it is determined whether the distance between the predicted object information 200 from the prediction update unit 100 and the position information, velocity information, etc. of the sensor objects included in the plurality of sensor object information 207A from the external recognition sensor group B002 is close. Then, it is determined whether or not to associate. In addition, the result is output as association information 201A.
  • the Mahalanobis distance may be used based on the distance in Euclidean space of the coordinates / velocity of each sensor, the coordinates / velocity of each sensor, and the error covariance.
  • the Mahalanobis distance is a generally defined distance, and the description thereof is omitted in the present embodiment.
  • FIG. 5 is a flowchart of the integrated processing mode determination unit 102 executed by the sensor object information integrated unit B010 of the first embodiment of the present invention.
  • Start processing (S550) and proceed to S551.
  • the unprocessed predicted object is extracted from the predicted object information 200 from the predicted update unit 100.
  • S554 if there is an unprocessed predicted object (S554: Yes), the process proceeds to S557.
  • S557 if there are a plurality of sensor objects in the association information 201A associated with the predicted object information 200 calculated by the association unit 101 (S557: Yes), the process proceeds to S560.
  • S560 the position information of the predicted object information 200 and the distance 561 to the boundary in the sensor detection range 208 stored in advance in the information storage unit B009 or the like in FIG. 1 are calculated, and the process proceeds to S565.
  • the high processing load integrated processing mode hereinafter, also referred to as the high processing load mode
  • the low processing load integrated processing mode hereinafter, also referred to as the low processing load mode
  • the high processing load mode refers to a mode in which the calculation result regarding the position and speed of the object is obtained in relative detail.
  • the low processing load mode refers to a mode in which the calculation result regarding the position and speed of the object is obtained relatively easily.
  • the select processing mode is set (S573).
  • the setting results of S571, S572, and S573 are output as the integrated processing mode 209.
  • select processing mode (S573) means that the object information of a single sensor is adopted.
  • the select processing mode (S573) may be executed in the low processing load integrated processing mode (S572).
  • the integrated processing mode 209 (high processing load integrated processing mode, low processing load integrated processing mode) is set using the position information of the predicted object information 200 and the distance 561 to the boundary in the overlapping region of the sensor detection range 208 as a criterion. (Switching) is performed because the sensor detection error differs between the boundary in the overlapping area of the sensor detection range 208 and the area other than the boundary. Specifically, the detection error of the boundary sensor in the overlapping area of the sensor detection range 208 is relative. This is because it tends to be large.
  • FIG. 6 is a flowchart of the integrated target information generation unit 104 executed by the sensor object information integration unit B010 of the first embodiment of the present invention. Start the processing of the integration target information generation unit 104 on the S600, and proceed to the S603. In S603, the unprocessed predicted object is extracted from the association information 201B from the integrated processing mode determination unit 102, and the process proceeds to S606. In S606, if there is an unprocessed predicted object (S606: Yes), proceed to S609.
  • the sensor object related to the extracted predicted object is extracted, and in S618, the information of the extracted sensor object is integrated based on the integrated processing mode 209 calculated by the integrated processing mode determination unit 102 (described later). .. In addition, the result of integration is output as integration target information 204. Then return to S603. If there is no unprocessed predicted object in S606 (S606: No), the integration target information generation is terminated in S624.
  • FIG. 7 is a flowchart of the prediction update unit 100 executed by the sensor object information integration unit B010 of the first embodiment of the present invention.
  • S650 the processing of the prediction update unit 100 is started, and the process proceeds to S653.
  • S653 the unprocessed integrated object is extracted based on the integrated object information 205B from the integrated object information storage unit 106, and the process proceeds to S656.
  • S656 if there is an unprocessed integrated object (S656: Yes), the process proceeds to S659, and if there is no unprocessed integrated object (S656: No), the process proceeds to S662.
  • the state of the object at time t 2 is predicted without using the sensor object information from the external recognition sensor group B002, the predicted result is output as the predicted object information 200, and the process returns to S653.
  • the processing of the prediction update unit 100 is terminated.
  • predicting S659 it is assumed that the prediction is based on the behavior of the own vehicle and the behavior of the object.
  • the behavior of the own vehicle is estimated based on the speed and yaw rate of the own vehicle.
  • the behavior of the object is estimated from the speed and yaw rate of the object.
  • FIG. 8 is a flowchart of the integrated update unit 105 executed by the sensor object information integrated unit B010 of the first embodiment of the present invention.
  • the unprocessed predicted object is extracted from the integrated target information 204 from the integrated target information generation unit 104, and the process proceeds to S706.
  • S706 if there is an unprocessed predicted object (S706: Yes), the process proceeds to S712, and if there is no unprocessed predicted object (S706: No), the process proceeds to S718. Extract multiple sensor objects to be associated with the predicted object with S712, and proceed to S715.
  • the S715 estimates the object position from the predicted object from the prediction update unit 100 and a plurality of sensor objects, outputs the estimated result as integrated object information 205A, and returns to S703.
  • the sensor object of S715 refers to the object after integration. In S718, the processing of the integrated update unit 105 is terminated.
  • F41 in Fig. 9 represents the position where the object is detected by the radar, and F44 represents the error covariance. Since the error of the radar as an outside world recognition sensor depends on the angular resolution, the error spreads laterally with respect to the mounting direction of the sensor.
  • F42 in FIG. 9 represents the position where the object is detected by the camera, and F45 represents the error covariance. In the error covariance of an object by a camera as an outside world recognition sensor, the error spreads in the vertical direction with respect to the mounting direction of the sensor depending on the size of the pixel pitch and the like. When handling sensors with different principles in this way, it is conceivable that the error spread (error distribution) will be different.
  • the integrated target information generation unit 104 calculates the integrated result F43 based on the high processing load integrated processing mode, so that the position accuracy of the object is accurate. It is possible to increase.
  • This process requires an inverse matrix operation of the error covariance matrix, and is a (detailed) integrated process with a high processing load.
  • the integration method shown in FIG. 10 is can give.
  • F41 in FIG. 10 represents the position where the object is detected by the radar, and F44 represents the error covariance. Further, F42 in FIG. 10 represents the position where the object is detected by the camera, and F45 represents the error covariance.
  • F46 in FIG. 10 shows the integration result based on the low processing load integration processing mode, and the low processing load integration processing mode here is a method of averaging the positions of the objects of each sensor. This process is a (simple) integrated process with a simple operation and a low processing load. The average may be a weighted average, and the weighting parameter may be calculated from the error covariance.
  • the predicted object information F15 belongs to the sensor detection range.
  • F11 and F14 represent areas where the detection range of a single sensor (for example, a camera or radar) overlaps
  • F12 and F13 represent areas where the detection ranges of a plurality of sensors (for example, a camera and radar) overlap.
  • the dotted line of F13 represents the boundary part of the overlapping area
  • F12 represents the non-boundary part of the overlapping area.
  • the region where the sensor detection ranges overlap is targeted, and the predicted object information F15 located at F12 and F13 is targeted for integration.
  • a plurality of objects from the sensor are associated with the predicted object information F15 by the association unit 101, and a plurality of objects from the sensor to be associated can be obtained. Multiple objects from the sensor are subject to integration.
  • the distance between the boundary portion of F13 and the position of the predicted object information F15 is calculated. As a simple method, as shown in Fig.
  • the distance to the part is 561 (d 1 in the example shown in Fig. 12). If the shape of the boundary is complicated, a polygon may be defined and the distance may be calculated for each side. In determining whether the distance of S565 in FIG. 5 is equal to or less than the threshold value, it is advisable to set the threshold value by looking at the margin from the boundary portion. Further, the threshold value may be changed for each sensor, or the threshold value may be variable.
  • the high processing load integrated processing mode is set and the distance from the vehicle to the object (target) is the threshold value. If it is less than, the low processing load mode may be set. Since the detection error of the sensor tends to increase as the distance from the vehicle to the object increases, it is preferable to use a high processing load mode in which the component with less error of the sensor is taken and the accuracy of the integration result is improved.
  • the present embodiment is a sensor recognition integrated device B006 that integrates a plurality of object information (sensor object information) about an object around the own vehicle detected by a plurality of external world recognition sensors, and is the own vehicle.
  • the prediction update unit 100 that generates the predicted object information that predicts the behavior of the object based on the behavior of the own vehicle estimated from the behavior of the vehicle and the object information detected by the outside world recognition sensor, the predicted object information, and the plurality of objects. Based on the positional relationship between the association unit 101 that calculates the relationship (association information) with the object information, the specific area (for example, the boundary part) in the overlapping area of the detection areas of the plurality of external recognition sensors, and the predicted object information.
  • Integrated processing mode that determines the integration method of a plurality of object information (high processing load integration processing mode in which the integration processing of the plurality of object information is relatively detailed processing, and the integration processing of the plurality of object information is relatively
  • the integrated processing mode determination unit 102 that switches the low processing load integrated processing mode for simple processing) and the plurality of object information related to (corresponding to) the predicted object information are integrated based on the integrated processing mode. It is provided with an integrated target information generation unit 104.
  • the integrated target information generation unit 104 that considers the error covariance (error distribution) of the object allows the components with few errors of multiple sensors to be exchanged as a system. It is possible to improve the accuracy.
  • FIG. 13 is a configuration diagram of an automatic driving system including the sensor recognition integrated device B006 according to the second embodiment of the present invention.
  • a sub-configuration is added to the automatic operation system configuration in Fig. 1.
  • the travel path estimation unit B012 is added to the sensor recognition integrated device B006, and the information (data) D009c is output from the information storage unit B009 to the travel path estimation unit B012. Further, the travel path estimation unit B012 outputs the travel path estimation result D012 to the sensor object information integration unit B010.
  • the course estimation unit B012 estimates the course F22 (see FIG. 14) of the own vehicle F20 based on the data D009c from the information storage unit B009.
  • the traveling path of the own vehicle represents the traveling locus of the own vehicle, and may have the speed and yaw rate of the own vehicle on the locus as additional information.
  • the data D009c represents information such as the vehicle speed, yaw rate, and steering angle (for example, acquired by the vehicle behavior recognition sensor B001 and stored in the information storage unit B009), and based on these information, the travel path estimation unit B012 Calculate (estimate) what kind of driving track your vehicle will take in the future.
  • the turning radius of the own vehicle is estimated based on the steering angle and the yaw rate. It predicts when and where the vehicle is located based on the turning radius, and outputs it as the travel path estimation result D012 to the sensor object information integration unit B010.
  • the scene shown in Fig. 14 is a scene in which the pedestrian F21 is crossing the road and the vehicle F20 turns left at the intersection.
  • the predicted position of the traveling path F22 (calculated by the traveling path estimation unit B012) estimated from the own vehicle speed and the yaw rate is located on the sensor detection ranges F23 and F24.
  • priority is given to an object that is highly related to the traveling path F22 on which the own vehicle F20 travels, and the high processing load mode is set only in the overlapping portion of the sensor detection range of the F23 and F24 located on the traveling path F22 of the own vehicle F20.
  • switch to low processing load mode For other sensor detection ranges F25, F26, F27, switch to low processing load mode.
  • it may be combined with the condition based on the boundary portion of the sensor detection range (overlapping region) of FIG. 5 described in the first embodiment.
  • the traveling path F22 of the second embodiment in addition to the effect of the first embodiment, the ratio of the integrated processing having a higher processing load can be minimized, and the effect of reducing the processing load is enhanced.
  • the pedestrian F21 which is likely to require warnings and brakes, is treated preferentially because the route on which the vehicle travels is emphasized.
  • the sensor detection range of F26 in Fig. 14 also has a high priority, so it is necessary to switch the conditions for high processing load mode depending on the scene. For example, if the direction of the traveling path F22 is on the left side, a method of raising the priority of the sensor mounted on the left side of the own vehicle F20 can be considered.
  • Another way of thinking is that the predicted position of the object is estimated, and there is a possibility that the object crosses the path F22, and the relative speed of the object is high (that is, the influence of the object on the path F22 is high).
  • the high processing load mode is applied, and for other objects that are unlikely to cross (that is, for those that have a low influence on the path F22), the low processing load mode is also applied. good.
  • F31 and F32 shown in FIG. 15 are examples of regions in the sensor detection range where reliability is reduced.
  • F31 represents a region in the detection range F02 of the camera where the reliability is lowered, and if the reliability is lowered, the accuracy of the position and speed of the object may be lowered or false detection may occur.
  • F32 represents a region in the radar detection range F03 where the reliability is lowered, and if the reliability is lowered, the accuracy of the position and speed of the object may be lowered or false detection may occur. Therefore, the low processing load mode is applied to the region where the reliability is lower than the other regions, even at the boundary between the overlapping regions of the detection ranges F02 and F03.
  • the high processing load mode is applied at the boundary between the overlapping areas of the detection ranges F02 and F03 for the area where the reliability is higher than the other areas. At this time, in the low processing load mode, the object information of the sensor with high reliability is selected.
  • the ratio of integrated processing with a higher processing load can be minimized, and the processing load can be reduced.
  • the effect is enhanced. Further, by excluding the information from the sensor having low reliability, there is an effect of preventing erroneous detection of the integration result and deterioration of accuracy.
  • the first, second, and third embodiments may be combined, and as shown in FIG. 16, the high processing load mode, the low processing load mode, or the select processing mode may be switched depending on the combination of each condition.
  • the distance condition from the own vehicle is not near, it refers to an object at a distant position, and when it is near, it refers to an object at a near position (see the condition of the first embodiment).
  • the overlapping condition is a boundary region, and the non-boundary region refers to a region other than the boundary portion of the overlapping region of the detection range.
  • the non-overlapping condition is a non-overlapping region, and refers to a region in which the detection ranges do not overlap (see the condition of the first embodiment).
  • the travel path condition is " ⁇ "
  • it indicates the detection range existing on the travel path.
  • the case of "x” indicates a detection range that does not exist on the traveling path (see the conditions of the second embodiment).
  • the reliability condition is " ⁇ ” it means a region where the reliability of the sensor is high, and when it is " ⁇ ”, it means a region where the reliability of the sensor is low (see the condition of the third embodiment).
  • the ratio of integrated processing with a higher processing load can be minimized, and the effect of reducing the processing load is enhanced.
  • the integrated processing mode 209 is switched (set) based on the tracking state of the predicted object.
  • the tracking state here refers to the tracking time in which the predicted object can be continuously tracked without interruption. If tracking is possible in succession, the tracking object will be given the same tracking ID. If the initial detection has a short tracking time of the predicted object, the high processing load mode is set, and if the tracking time becomes long to some extent, the low processing load mode is switched to. Further, the condition may be a case where the tracking time is long and the distance of the object from the own vehicle is long.
  • the low processing load mode is set, and if it is determined that the existence probability of the predicted object is high, the high processing load mode is set. And.
  • the high processing load mode, the low processing load mode, and the select processing mode may be switched according to the existence probability of the sensor object detected by the sensor instead of the predicted object.
  • the ratio of the integrated processing with a higher processing load can be minimized, and the processing can be performed.
  • the load reduction effect is enhanced.
  • FIG. 17 is a configuration diagram of an automatic driving system including the sensor recognition integrated device B006 according to the fifth embodiment of the present invention.
  • a signal connection is added to the automatic operation system configuration in Fig. 13.
  • the additional location outputs the planned track D007b from the automatic operation plan determination device B007 to the information storage unit B009 of the sensor recognition integrated device B006. Further, the information storage unit B009 outputs the planned trajectory D009d to the sensor object information integration unit B010.
  • the planned track refers to the target value of the driving track of the own vehicle planned by the automatic driving plan judgment device B007 based on the integration result D011 during automatic driving.
  • the planned track is converted into a lane-level planned track by the automatic driving plan determination device B007 based on the navigation information from the map unit B004.
  • the planned trajectory D009d is replaced with the travel path estimation result D012 in FIG. 13 in the second embodiment, that is, the traveling path F22 in FIG. 14, and the integrated processing mode is switched by the integrated processing mode determination unit 102 in FIG.
  • the ratio of integrated processing with a higher processing load can be minimized, and the processing load can be minimized.
  • the reduction effect of is enhanced.
  • the integrated processing mode 209 can be switched by using a trajectory with higher accuracy than the second embodiment, the number of erroneous mode switching is reduced, and the accuracy is improved.
  • ⁇ 6th Embodiment As in the first embodiment, the automatic operation system configuration of FIG. 1, the functional block diagram of FIG. 3, and the flowcharts of FIGS. 4 to 8 are adopted. However, the integration conditions of the integration target information generation unit 104 in FIG. 6 are different from those of the first embodiment.
  • the execution frequency (processing cycle) of the high load processing mode is thinned out, and in the processing cycle thinned out instead, the low processing load is applied. Run the mode. That is, the processing cycle of the high load processing mode is made variable based on the tracking state of the predicted object, and when the tracking state is stable, the execution frequency (processing cycle) of the high load processing mode is set long. Stable tracking status means that the object is not frequently detected / undetected from the integrated sensor when the object is running constantly or the tracking time is long. For example, if you have one.
  • the processing cycle of the integrated processing mode such as the high processing load mode may be variable according to the tracking state of the sensor object detected by the sensor instead of the predicted object.
  • the ratio of integrated processing with a higher processing load can be minimized, and the effect of reducing the processing load is enhanced. .. Further, since the tracking state of an object such as a predicted object is stable, a sudden change in the position of the object can be suppressed by the integrated update with the predicted update.
  • FIG. 18 is a functional block diagram of the sensor object information integration unit B010 of the sensor recognition integration device B006 according to the seventh embodiment of the present invention.
  • the association processing mode determination unit 107 is arranged in the pre-stage processing of the association unit 101.
  • the association processing mode determination unit 107 calculates (switches) the association processing mode 210 referred to by the association unit 101 based on the information of the sensor detection range 208 and the predicted object information 200 of the prediction update unit 100, and causes the association unit 101 to calculate (switch). Output.
  • the basic concept of the association processing mode determination unit 107 is the same as that of the integrated processing mode determination unit 102. Similar to the first embodiment, when the predicted object information 200 is located in the boundary region in the sensor detection range 208, the association processing mode is set to the high processing load association mode. Otherwise, set the association processing mode to low processing load association mode.
  • the determination content of the association is calculated by a high processing load calculation (relatively detailed processing) and a low processing load calculation (relatively simple processing).
  • the high processing load includes, for example, a process of calculating the Mahalanobis distance based on the error covariance in order to calculate the relationship between the predicted object and the object from the sensor.
  • the relevance may be determined from the Euclidean distance.
  • the ratio of integrated processing with a high processing load can be minimized, and the effect of reducing the processing load is enhanced.
  • the present invention is not limited to the above-described embodiment, but includes various modified forms.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a storage device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive
  • control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all control lines and information lines in the product. In practice, it can be considered that almost all configurations are interconnected.
  • B000 Information acquisition device B001: Own vehicle behavior recognition sensor B002: External recognition sensor group B003: Positioning system B004: Map unit B005: Input communication network B006: Sensor recognition integrated device B007: Automatic operation plan judgment device (plan judgment unit) B008: Actuator group B009: Information storage unit B010: Sensor object information integration unit B011: Information integration department around own vehicle B012: Travel path estimation unit (second embodiment) 100: Forecast update department 101: Association Department 102: Integrated processing mode determination unit 104: Integration target information generator 105: Integrated update department 106: Integrated object information storage unit 107: Association processing mode determination unit (7th embodiment)

Abstract

車両走行制御が必要とする必要最小限の精度を満たすよう統合処理の負荷低減を図ることができ、ECUの処理性能向上、コストアップを抑止することのできるセンサ認識統合装置を提供する。複数の外界認識センサで検知した自車周辺の物体に関する複数の物体情報を統合するセンサ認識統合装置（B006）であって、前記物体の行動を予測した予測物体情報を生成する予測更新部（100）と、前記予測物体情報と前記複数の物体情報との関連を算出するアソシエーション部（101）と、前記複数の外界認識センサの検知領域の重複領域における特定領域（例えば境界部）と前記予測物体情報の位置関係に基づいて、前記複数の物体情報の統合方法を決定する統合処理モードを切り替える統合処理モード判定部（102）と、前記統合処理モードに基づいて、前記予測物体情報に関連づいた前記複数の物体情報を統合する統合対象情報生成部（104）と、を備える。

Description

センサ認識統合装置
　本発明は、例えば異なる種類の複数センサからの複数物体データ（物体情報）の統合を低負荷で処理するためのセンサ認識統合装置に関する。
　自動車の自動運転では、自車周辺の物体を認識し、それに従って運転の計画・判断を行う。物体を検知するためのセンサは、レーダ、カメラ、ソナー、レーザレーダなど多岐にわたる。これらのセンサは、検知範囲、検知可能な物体、検知精度、コストなどの条件が様々であるため、目的に応じて複数のセンサを組み合わせ、各センサで検知ないし取得した物体情報を統合する必要がある。しかし、取り扱う物体数が増加すると統合の処理コストに依存してECUの処理性能の向上が必要となるため、統合処理の負荷低減が必要である。なお、「処理コスト」とは統合のための処理時間を指す。
　複数センサからの情報の処理負荷を低減する先行技術文献として特許文献1がある。特許文献1の図1に開示された技術は、第１検出範囲を有する長演算時間の第１レーダと、第１検出範囲に重複する第２検出範囲を有する短演算時間の第２レーダと、第１レーダの演算結果に基づき物標の存在判定を行う第１判定手段と、第２レーダの演算結果に基づき物標の存在判定を行う第２判定手段と、第１判定手段の存在判定結果から物標の存在を確定する存在確定手段と、存在確定手段によって前回の存在が確定した物標が、第１及び第２レーダの重複範囲において存在する場合には、第２レーダの演算結果を第２判定手段に入力して、当該第２判定手段で前回の物標の確定後の今回の存在判定を行わせる指定手段とを備えることを特徴とする。この物標検出装置では、第１及び第２レーダの重複範囲において物標の存在が確定した場合には、次の物標の存在の有無は、低い確度であっても確定できるため、指定手段は、存在確定手段によって存在が確定した物標が重複範囲に存在する場合、短演算時間の第２レーダの演算結果を第２判定手段に入力し、前回の物標の確定後の今回の存在を、第２判定手段で判定させる。これにより、物標を高速に検知できる。物標が第２レーダの非重複検出範囲から第１レーダとの重複領域に入ってきた場合には、重複範囲と非重複範囲との境界付近に重点的検出範囲を設定して検出範囲を狭めることで、演算量を低減できる。
特開２００６－０４６９６２号公報
　しかしながら、特許文献1では、センサがレーダという同種類のセンサであることが前提であり、かつ、物標が第２レーダの非重複検出範囲から第１レーダとの重複領域に入ってきた場合に、重複範囲と非重複範囲との境界付近に検出範囲を狭めるだけであり、例えば複数種類のセンサを扱うシステム構成において、複数種類のセンサの特徴を活かして精度を保ちながら、統合処理の負荷低減が図れないといった課題がある。
　本発明は、上記事情に鑑みてなされたもので、その目的とするところは、車両走行制御が必要とする必要最小限の精度を満たすよう統合処理の負荷低減を図ることができ、ECUの処理性能向上、コストアップを抑止することのできるセンサ認識統合装置を提供することにある。
　上記課題を解決するため、本発明によるセンサ認識統合装置は、複数の外界認識センサで検知した自車周辺の物体に関する複数の物体情報を統合するセンサ認識統合装置であって、前記自車の挙動から推定した前記自車の行動と前記外界認識センサで検知した物体情報に基づき、前記物体の行動を予測した予測物体情報を生成する予測更新部と、前記予測物体情報と前記複数の物体情報との関連を算出するアソシエーション部と、前記複数の外界認識センサの検知領域の重複領域における特定領域と前記予測物体情報の位置関係に基づいて、前記複数の物体情報の統合方法を決定する統合処理モードを切り替える統合処理モード判定部と、前記統合処理モードに基づいて、前記予測物体情報に関連づいた前記複数の物体情報を統合する統合対象情報生成部と、を備えることを特徴とする。
　本発明によれば、検知状況に応じて、車両走行制御が必要とする必要最小限の精度を満たすよう統合処理の負荷低減が可能となり、ECUの処理性能向上、コストアップを抑止する効果が得られる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第１実施形態のセンサ認識統合装置B006を含む自動運転システムの構成図である。 本発明の第１実施形態のセンサ認識統合装置B006のセンサ物体情報統合部B010が対象とするセンサ構成例である。 本発明の第１実施形態のセンサ認識統合装置B006のセンサ物体情報統合部B010の機能ブロック図である。 本発明の第１実施形態のセンサ物体情報統合部B010が実行する、アソシエーション部101のフローチャートである。 本発明の第１実施形態のセンサ物体情報統合部B010が実行する、統合処理モード判定部102のフローチャートである。 本発明の第１実施形態のセンサ物体情報統合部B010が実行する、統合対象情報生成部104のフローチャートである。 本発明の第１実施形態のセンサ物体情報統合部B010が実行する、予測更新部100のフローチャートである。 本発明の第１実施形態のセンサ物体情報統合部B010が実行する、統合更新部105のフローチャートである。 図6の統合対象情報生成部104の統合処理として各センサの誤差が少ない成分を組み合わせる統合例（高処理負荷統合処理モード）の図である。 図6の統合対象情報生成部104の統合処理として各センサの物体を平均処理で求める統合例（低処理負荷統合処理モード）の図である。 図5の統合処理モード判定部102の条件として検知範囲の重複領域と境界部を用いる例を表す図である。 図11の検知範囲の重複領域の境界部と物標との距離を算出する模式図である。 本発明の第２実施形態の、進行路推定部B012を有するセンサ認識統合装置B006を含む自動運転システムの構成図である。 図5の統合処理モード判定部102の条件として進行路を用いる例を表す図である。 図5の統合処理モード判定部102の条件として信頼度を用いる例を表す図である。 統合処理モード判定部102の複数条件の組み合わせを表す図である。 本発明の第５実施形態の、自動運転計画判断装置B007からの計画軌道を入力とするセンサ認識統合装置B006を含む自動運転システムの構成図である。 本発明の第７実施形態のセンサ認識統合装置B006のセンサ物体情報統合部B010の機能ブロック図である。
　以下、本発明を実施するための形態を図面に基づいて詳細に説明する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有する部分には同一の符号を付し、その繰り返しの説明は省略する。
≪第１実施形態≫
＜自動運転システムの全体構成＞
　図1は、本発明の第１実施形態のセンサ認識統合装置B006を含む自動運転システムの構成図である。本実施形態の自動運転システムは、自動車等の車両において、自車周辺（外界）の物体を認識し、それに従って運転の計画・判断を行い、車両走行制御を自動で行う、あるいは、運転者の運転操作（操縦）の支援を行うシステムである。
[構成説明]
　本実施形態の自動運転システムは、情報取得装置B000、入力通信網B005、センサ認識統合装置B006、自動運転計画判断装置B007、アクチュエータ群B008から成り立つ。情報取得装置B000は、自車挙動認識センサB001、外界認識センサ群B002、測位システムB003、地図ユニットB004から成り立つ。センサ認識統合装置B006は、情報記憶部B009、センサ物体情報統合部B010、自車周辺情報統合部B011から成り立つ。
[入出力説明]
　自車挙動認識センサB001は、認識した情報D001を入力通信網B005に出力する。
　外界認識センサ群B002は、認識した情報D002を入力通信網B005に出力する。
　測位システムB003は、測位した情報D003を入力通信網B005に出力する。
　地図ユニットB004は、取得した情報D004を入力通信網B005に出力する。
　入力通信網B005は、D001、D002、D003、D004を入力とし、通信網に流れる情報D005aをセンサ認識統合装置B006に出力する。また、入力通信網B005は、D001を入力とし、通信網に流れる情報D005bを自動運転計画判断装置B007に出力する。
　センサ認識統合装置B006は、入力通信網B005からの情報D005aを入力とし、自車周辺情報である統合結果D011を出力情報として自動運転計画判断装置B007に出力する。
　自動運転計画判断装置B007は、入力通信網B005からの情報D005bとセンサ認識統合装置B006からの統合結果D011を入力とし、命令情報である計画判断結果D007を出力情報としてアクチュエータ群B008に出力する。
　情報記憶部B009は、入力通信網B005からの情報D005aを入力とし、記憶した情報D009aをセンサ物体情報統合部B010に出力する。また、情報記憶部B009は、記憶した情報D009bを自車周辺情報統合部B011に出力する。
　センサ物体情報統合部B010は、情報記憶部B009からの情報D009aを入力とし、統合物体情報である統合結果D010を出力情報として自車周辺情報統合部B011に出力する。
　自車周辺情報統合部B011は、情報記憶部B009からの情報D009bを入力とし、自車周辺情報である統合結果D011を出力情報として自動運転計画判断装置B007に出力する。
[データ説明]
　自車挙動認識センサB001は、車両に搭載されるジャイロセンサ、車輪速度センサ、舵角センサ、加速度センサ等を含み、認識した情報D001には、それぞれ、自車の挙動を表すヨーレート、車輪速度、舵角、加速度等を含む。
　外界認識センサ群B002からの認識した情報D002は、自車両の外（周辺）にある物体や、道路の白線、標識などを検知した情報（位置情報、速度情報等を含む）を含む。外界認識センサ群B002には、レーダ、カメラ、ソナーなどの複数の外界認識センサ（以下、単にセンサと呼ぶ）の組み合わせが用いられる。また、V2XやC2Xを含めてもよく、センサの構成には、特に制限はない。
　測位システムB003からの測位した情報D003は、自車両の位置を推定した結果を含む。測位システムB003として用いられるものの一例として、衛星測位システムが挙げられる。
　地図ユニットB004からの取得した情報D004は、自車周辺の地図情報を含む。また、取得した情報D004は、ナビゲーションと連携して経路情報を含んでもよい。
　入力通信網B005からの情報D005aは、情報D001、D002、D003、D004の全て又は一部を含む。また、情報D005bは、少なくとも情報D001を含む。入力通信網B005は、車載システムで一般的に使用されているネットワークであるCAN（Controller Area Network）や、Ethernet（登録商標）、無線通信などが利用される。
　センサ認識統合装置B006からの出力情報D011は、入力通信網B005から自車挙動情報、センサ物体情報、センサ道路情報、測位情報、地図情報のデータを自車周辺情報として統合したものを含む。
　自動運転計画判断装置B007からの命令情報D007は、入力通信網B005からの情報と、センサ認識統合装置B006からの自車周辺情報に基づき、自車両をどのように移動するかを計画・判断した情報を含む。
　アクチュエータ群B008は、自動運転計画判断装置B007からの命令情報D007に従い車両を動作させる。アクチュエータ群B008は、車両に搭載されるアクセル装置、ブレーキ装置、ステアリング装置等の各種アクチュエータを含む。
[サブ構成説明]
　本実施形態のセンサ認識統合装置B006は、情報記憶部B009、センサ物体情報統合部B010、自車周辺情報統合部B011から成り立つ。
[サブデータ説明]
　情報記憶部B009は、入力通信網B005からの情報を記憶し、センサ物体情報統合部B010と自車周辺情報統合部B011からの要求に応じて情報D009aを出力する。センサ物体情報統合部B010と自車周辺情報統合部B011からの要求とは、外界認識センサ群B002を構成する複数センサからの情報D002のデータの時刻同期や、座標系の共通化等を含む。センサ物体情報統合部B010は、情報記憶部B009から情報（センサ物体情報）D009aを取得し、外界認識センサ群B002を構成する複数のセンサで検知した同一物体の情報を同じものとして統合し（後で詳しく説明）、統合物体情報D010として自車周辺情報統合部B011に出力する。従って、センサ物体情報統合部B010については、測位システムB003及び地図ユニットB004を搭載しない場合においても、統合物体情報D010は出力可能であり、自車周辺情報統合部B011の出力情報D011の代わりに統合物体情報D010を出力することでシステムとして成立する。そのため、測位システムB003及び地図ユニットB004が必ずしも搭載されていなくても、本実施形態の動作が妨げられることはない。自車周辺情報統合部B011は、センサ物体情報統合部B010からの統合物体情報D010と、情報記憶部B009からの情報D009b（自車挙動情報、センサ道路情報、測位情報、地図情報を含む）を取得し、それらを自車周辺情報D011として統合して自動運転計画判断装置B007に出力する。自車周辺情報D011には、センサ物体情報統合部B010からの統合物体情報D010が道路上の白線や地図上の車線のいずれに属するかを付与した情報を含む。
＜外界認識センサ群B002の取り付け構成＞
　図2は、本発明の第１実施形態の外界認識センサ群B002の一取り付け例である。自車F01の周辺にセンサ検知範囲F02を持つカメラセンサ、センサ検知範囲F03を持つ左前方レーダセンサ、センサ検知範囲F04を持つ右前方レーダセンサ、センサ検知範囲F05を持つ左後方レーダセンサ、センサ検知範囲F06を持つ右後方レーダセンサを配置し、それぞれのセンサ間で検知範囲が重複する（換言すれば、検知領域の重複領域を有する）構成を想定する。なお、取り付けの構成やセンサの種別は限定しない。冗長性や精度向上の観点より、種類の異なるセンサ構成が望ましい。
＜センサ認識統合装置B006のセンサ物体情報統合部B010の機能ブロック構成＞
　図3は、本発明の第１実施形態のセンサ認識統合装置B006のセンサ物体情報統合部B010の機能ブロック図である。
[構成説明]
　センサ物体情報統合部B010は、予測更新部100、アソシエーション部101、統合処理モード判定部102、統合対象情報生成部104、統合更新部105、統合物体情報記憶部106から成り立つ。センサ物体情報統合部B010の処理は、連続的に何回も繰り返し実行される。それぞれの実行で、どの時刻における情報を推定することを目的とするかが定められている。説明のため、時刻t1における情報を推定する実行がなされた後、時間Δt後の時刻である時刻t2における情報を推定する実行がされたものとする。
[データ説明]
　センサ物体情報207A、207Bは、外界認識センサ群B002を構成するセンサ内の追跡処理により付与されたセンサ物体ID、自車両との相対位置、自車両との相対速度、誤差共分散を持つ。物体種別、検知時刻、情報の信頼度などの情報を追加で持っていてもよい。
　統合処理モード209は、統合対象情報生成部104での統合方法を決定するモードを持つ。
　予測物体情報200、統合物体情報205A、205B（図1の統合物体情報D010と同義）は、推定対象の時刻、物体ID、物体の相対位置、物体の相対速度の情報、誤差共分散、あるいはそれらに相当するものを持つ。他に、物体種別、情報の信頼度などの情報を追加で持つ場合もある。
　統合対象情報204については、予測物体情報200の各物体の物体IDに対して、関連付け対象である統合後のセンサ物体についての情報が含まれる。統合対象情報204に含まれるセンサ物体情報の位置・速度は、元のセンサ物体情報207Aとは必ずしも一致せず、統合処理モード判定部102の統合処理モード209に基づき、外界認識センサ群B002を構成する複数センサの特徴を活かした統合値が算出される。
　アソシエーション情報201A、201Bは、予測物体情報200と複数のセンサ物体情報207A、207Bの対応を表す情報を持つ。
　センサ検知範囲（検知領域とも呼ぶ）208は、図2に示すように外界認識センサ群B002を構成する各センサの水平FOV（Field of view）、取り付け角度や最大検知距離等を持つ。
[流れ説明]
（予測更新部100）
　予測更新部100は、統合物体情報記憶部106からの時刻t1における統合物体情報205Bを入力とし、時刻t2における予測物体情報200を生成して出力する。
（アソシエーション部101）
　アソシエーション部101は、外界認識センサ群B002からの複数のセンサ物体情報207A、予測更新部100からの時刻t2における予測物体情報200を入力とし、時刻t2において、どの予測物体情報が複数のどのセンサ物体情報と対応づいているかを表すアソシエーション情報201Aを出力する。また、センサ物体情報207Aを変更せずに、センサ物体情報207Bとして出力する。なお、センサ物体情報207A及び207Bは、時刻t2における予測物体情報200と同じ時刻帯である必要があり、センサ物体情報207A及び207Bは、図1の情報記憶部B009で、時刻t2に時刻同期する。
（統合処理モード判定部102）
　統合処理モード判定部102は、アソシエーション部101からのセンサ物体情報207B及びアソシエーション情報201A、予め図1の情報記憶部B009等に記憶されたセンサ検知範囲208に基づき、統合処理モード209を算出して（切り替えて）出力する（後で詳しく説明）。また、アソシエーション情報201Aを変更せずに、アソシエーション情報201Bとして出力する。
（統合対象情報生成部104）
　統合対象情報生成部104は、統合処理モード判定部102からの時刻t2におけるアソシエーション情報201B、アソシエーション部101からのセンサ物体情報207B、統合処理モード判定部102からの統合処理モード209を入力とし、時刻t2における各予測物体について、対応づいている物体情報の座標・速度から統合値を算出し、統合対象情報204として出力する。この際、統合処理モード判定部102からの統合処理モード209に基づき、統合方法を切り替える機能を持つ（後で詳しく説明）。
（統合更新部105）
　統合更新部105は、統合対象情報生成部104からの統合対象情報204と、予測更新部100からの時刻t2における予測物体情報200を入力とし、時刻t2において各物体がどのような状態（座標・速度等）であるかを推定し、統合物体情報205Aとして出力する。統合更新部105内部で、統合対象情報生成部104で統合方法が切り替わった場合でも物体の位置情報や速度情報が急に変化しないように統合物体情報205Aを作成するとよい。なお、統合対象情報生成部104で統合方法（すなわち、統合処理モード209）が切り替わった時に統合後の物体情報である統合物体情報205Aを滑らかに（連続的に）変化させるために、位置情報や速度情報が急変した場合は、変化前の値から変化後の値に線形補間で変化させる方法が考えられる。また、変化の方法は、線形補間だけでなく、スプラインによる補間としてもよい。
（統合物体情報記憶部106）
　統合物体情報記憶部106は、統合更新部105からの統合物体情報205Aを記憶し、統合物体情報205Bとして予測更新部100へ出力する。
[フローチャート説明]
（アソシエーション部101）
　図4は、本発明の第１実施形態のセンサ物体情報統合部B010が実行する、アソシエーション部101のフローチャートである。処理を開始（S500）する。予測更新部100からの予測物体情報200から未処理の予測物体を抽出（S502）する。S504において、未処理の予測物体が存在した場合（S504:Yes）、S508に進む。そして、時刻t2においてアソシエーション対象候補となるセンサ物体情報207Aのうちの全てのセンサ物体を抽出（S508）する。あるいはインデックス化などの手法により、少なくともアソシエーション対象となるもの全てが含まれる集合を抜き出すことも可である。次にS510において、アソシエーション対象候補のセンサ物体のうち、未処理のセンサ物体が存在する場合（S510:Yes）、S512において、未処理のセンサ物体に対して、アソシエーション判定（S512）を行い、S508に戻る。S510において未処理のセンサ物体が存在しなかった場合は（S510:No）、S502に戻る。S504において、未処理の予測物体が存在しない場合（S504:No）、処理を終了（S538）する。
　アソシエーション判定（S512）では、予測更新部100からの予測物体情報200と外界認識センサ群B002からの複数のセンサ物体情報207Aに含まれるセンサ物体の位置情報や速度情報等の距離が近いかを判定し、アソシエーションするか否かを判定する。また、その結果をアソシエーション情報201Aとして出力する。この際に求める距離は、各センサにおける座標・速度のユークリッド空間上の距離や各センサにおける座標・速度、誤差共分散に基づきマハラノビス距離を用いてもよい。なお、マハラノビス距離は一般的に定義されている距離であり、本実施形態では説明を割愛する。
（統合処理モード判定部102）
　図5は、本発明の第１実施形態のセンサ物体情報統合部B010が実行する、統合処理モード判定部102のフローチャートである。処理を開始（S550）し、S551に進む。S551では、予測更新部100からの予測物体情報200から未処理の予測物体を抽出する。そして、S554において、未処理の予測物体が存在する場合（S554:Yes）、S557に進む。S557において、アソシエーション部101で算出した予測物体情報200に紐づくアソシエーション情報201Aに複数のセンサ物体が存在する場合（S557:Yes）、S560に進む。S560では、予測物体情報200の位置情報と予め図1の情報記憶部B009等に記憶されたセンサ検知範囲208における境界までの距離561を算出し、S565に進む。S565において、算出された距離561が閾値以下の場合（S565:Yes）、高処理負荷統合処理モード（以下、高処理負荷モードとも呼ぶ）を設定（S571）する。S565において、算出された距離561が閾値以下ではない場合（S565:No）、低処理負荷統合処理モード（以下、低処理負荷モードとも呼ぶ）を設定（S572）する。なお、例えば、高処理負荷モードは、相対的に詳細に物体の位置及び速度に関する演算結果を求めるモードを指す。また、低処理負荷モードは、相対的に簡易的に物体の位置及び速度に関する演算結果を求めるモードを指す。S557において、アソシエーション情報201Aに単一のセンサ物体しか存在しない場合は（S557:No）、セレクト処理モードを設定（S573）する。また、S571、S572、S573の設定の結果を統合処理モード209として出力する。
　S571、S572、S573の設定をすると、S551に戻る。そして、S554において未処理の予測物体が存在しなくなるまで繰り返し、未処理の予測物体が存在しない場合は（S554:No）、S588で、統合処理モード判定部102の処理を終了する。
　なお、セレクト処理モード（S573）とは、単独のセンサの物体情報を採用することを意味する。低処理負荷統合処理モード（S572）でセレクト処理モード（S573）を実施してもよい。
　ここで、予測物体情報200の位置情報とセンサ検知範囲208の重複領域における境界までの距離561を判定基準として、統合処理モード209（高処理負荷統合処理モード、低処理負荷統合処理モード）の設定（切り替え）を行うのは、センサ検知範囲208の重複領域における境界と境界以外の領域とでセンサの検知誤差が異なる、詳しくは、センサ検知範囲208の重複領域における境界のセンサの検知誤差が相対的に大きくなる傾向があるためである。
（統合対象情報生成部104）
　図6は、本発明の第１実施形態のセンサ物体情報統合部B010が実行する、統合対象情報生成部104のフローチャートである。S600で統合対象情報生成部104の処理を開始し、S603に進む。S603で、統合処理モード判定部102からのアソシエーション情報201Bから未処理の予測物体を抽出し、S606に進む。S606で、未処理の予測物体が存在する場合（S606:Yes）、S609に進む。S609で、抽出した予測物体に関連づいたセンサ物体を抽出し、S618において、統合処理モード判定部102で算出した統合処理モード209に基づき、抽出したセンサ物体の情報を統合する（後で説明）。また、統合した結果を統合対象情報204として出力する。そして、S603に戻る。S606において、未処理の予測物体が存在しない場合（S606:No）、S624において統合対象情報生成を終了する。
　どの予測物体とも紐づかないセンサからの物体については、各センサの物体間で図4の通りアソシエーションの判断を実施し、図5の統合処理モードを判定し、図6で同様に統合するとよい。
（予測更新部100）
　図7は、本発明の第１実施形態のセンサ物体情報統合部B010が実行する、予測更新部100のフローチャートである。S650において、予測更新部100の処理を開始し、S653に進む。S653で、統合物体情報記憶部106からの統合物体情報205Bを基に、未処理の統合物体を抽出し、S656に進む。S656において、未処理の統合物体が存在する場合（S656:Yes）、S659に進み、未処理の統合物体が存在しない場合（S656:No）、S662に進む。S659において、外界認識センサ群B002からのセンサ物体情報は利用せずに、時刻t2での物体の状態を予測し、予測した結果を予測物体情報200として出力し、S653に戻る。S662において予測更新部100の処理を終了する。S659の予測の際は、自車の行動と物体の行動に基づき予測することを想定する。自車の行動は、自車の速度やヨーレート等により推定する。また、物体の行動は、物体の速度やヨーレート等により推定する。
（統合更新部105）
　図8は、本発明の第１実施形態のセンサ物体情報統合部B010が実行する、統合更新部105のフローチャートである。S700で統合更新部105の処理を開始し、S703に進む。S703で、統合対象情報生成部104からの統合対象情報204から未処理の予測物体を抽出し、S706に進む。S706で、未処理の予測物体が存在する場合（S706:Yes）、S712に進み、未処理の予測物体が存在しない場合（S706:No）、S718に進む。S712で予測物体のアソシエーション対象である複数のセンサ物体を抽出し、S715に進む。S715で、予測更新部100からの予測物体と複数のセンサ物体から物体位置を推定し、推定した結果を統合物体情報205Aとして出力し、S703に戻る。S715のセンサ物体とは、統合後の物体を指す。S718において統合更新部105の処理を終了する。
[統合処理モードの追加説明]
　統合処理モード判定部102における高処理負荷統合処理モードの一例、換言すれば、統合対象情報生成部104の統合処理で用いる高処理負荷統合処理モードの一例として、図9に示す統合方法があげられる。図9は自車の進行方向が上に向かう例である。
　図9のF41はレーダによる物体の検知位置を表し、F44は誤差共分散を表す。外界認識センサとしてのレーダの誤差は角度分解能に依存するため、センサの取り付け方向に対して横方向に誤差が広がる。また、図9のF42はカメラによる物体の検知位置を表し、F45は誤差共分散を表す。外界認識センサとしてのカメラによる物体の誤差共分散は、画素ピッチのサイズ等によりセンサの取り付け方向に対して縦方向に誤差が広がる。このように原理の異なるセンサを扱う場合は、誤差の広がり（誤差分布）が異なることが考えられる。高処理負荷統合処理モードでは、各センサの誤差が少ない成分を取り、統合対象情報生成部104にて、その高処理負荷統合処理モードに基づき、統合結果F43を算出することで、物体の位置精度を高めることが可能である。本処理は、誤差共分散行列の逆行列演算が必要となり、高処理負荷な（詳細な）統合処理である。
　また、統合処理モード判定部102における低処理負荷統合処理モードの一例、換言すれば、統合対象情報生成部104の統合処理で用いる低処理負荷統合処理モードの一例として、図10に示す統合方法があげられる。
　図9と同様に、図10のF41はレーダによる物体の検知位置を表し、F44は誤差共分散を表す。また、図10のF42はカメラによる物体の検知位置を表し、F45は誤差共分散を表す。図10のF46が低処理負荷統合処理モードに基づく統合結果を表し、ここでの低処理負荷統合処理モードは、各センサの物体の位置の平均をとる方法である。本処理は、演算が単純であり、低処理負荷な（簡易な）統合処理である。なお、平均は重みづけ平均としてもよく、重みパラメータを誤差共分散から算出してもよい。低処理負荷でもセンサの特徴を考慮できるよう、重みをセンサ特有の情報から設定するのが望ましい。他にも低処理負荷な統合処理として、複数センサで検知した物体が存在する場合、どちらかのセンサの情報を採用する方法と使い分けるとよい。なお、どちらかのセンサの情報を採用する方法と図5のセレクト処理モード（S573）は同義である。
[境界までの距離算出の追加説明]
　図5のS560における予測物体情報200の位置情報とセンサ検知範囲208における境界までの距離561の算出方法について補足する。図11において、予測物体情報F15がセンサ検知範囲に属している。F11、F14は単独のセンサ（例えばカメラ、又は、レーダ）の検知範囲、F12、F13は複数センサ（例えばカメラとレーダ）の検知範囲が重複する領域を表す。F13の点線は重複領域の境界部を表し、F12は重複領域の非境界部を表す。
　統合対象情報生成部104では、センサ検知範囲が重複する領域が対象となり、F12、F13に位置する予測物体情報F15が統合の対象となる。なお、予測物体情報F15に対し、センサからの複数の物体をアソシエーション部101にてアソシエーションし、アソシエーションの対象となるセンサからの複数の物体が得られる。センサからの複数の物体同士が統合の対象となる。まず、予測物体情報F15がF12に属するかF13に属するかを決定するために、F13の境界部と予測物体情報F15の位置との距離を算出する。単純な方法として、図12に示す通り、F13の境界部に対し、予測更新情報F15の位置から垂線を引き、最も近い辺との距離d=min(d1,d2,d3)を境界部までの距離561（図12に示す例ではd1）とする。境界部の形状が複雑な場合は、多角形ポリゴンを定義し、各辺に対して距離を算出してもよい。図5におけるS565の距離が閾値以下かの判定では、境界部からのマージンを見て閾値を設定するとよい。また、センサ毎に閾値を変えてもよいし、閾値を可変としてもよい。
　別途、図5の条件に加え、自車から物体（物標とも呼ぶ）までの距離が閾値以上の場合は、高処理負荷統合処理モードとし、自車から物体（物標）までの距離が閾値未満の場合は低処理負荷モードとしてもよい。これは、自車から物体までの距離が遠いほど、センサの検知誤差が拡大する傾向にあるため、センサの誤差が少ない成分を取り、統合結果の精度を高める高処理負荷モードとするとよい。
[効果の説明]
　以上で説明したように、本実施形態は、複数の外界認識センサで検知した自車周辺の物体に関する複数の物体情報（センサ物体情報）を統合するセンサ認識統合装置B006であって、前記自車の挙動から推定した前記自車の行動と前記外界認識センサで検知した物体情報に基づき、前記物体の行動を予測した予測物体情報を生成する予測更新部100と、前記予測物体情報と前記複数の物体情報との関連（アソシエーション情報）を算出するアソシエーション部101と、前記複数の外界認識センサの検知領域の重複領域における特定領域（例えば境界部）と前記予測物体情報の位置関係に基づいて、前記複数の物体情報の統合方法を決定する統合処理モード（前記複数の物体情報の統合処理を相対的に詳細な処理とする高処理負荷統合処理モード、前記複数の物体情報の統合処理を相対的に簡易な処理とする低処理負荷統合処理モード）を切り替える統合処理モード判定部102と、前記統合処理モードに基づいて、前記予測物体情報に関連づいた（対応づいた）前記複数の物体情報を統合する統合対象情報生成部104と、を備える。
　本実施形態により、例えば、センサの重複領域における境界部に高処理負荷な統合処理を割り当て、それ以外は低処理負荷の統合処理とすることで、全体の高処理負荷な統合処理の割合を最小化し、処理負荷の低減効果が見込める。また、高処理負荷統合処理や低処理負荷統合処理に関わらず、物体の誤差共分散（誤差分布）を考慮した統合対象情報生成部104により、複数センサの誤差が少ない成分を取り合い、システムとしての精度向上が可能となる。
　本実施形態によれば、検知状況に応じて、車両走行制御が必要とする必要最小限の精度を満たすよう統合処理の負荷低減が可能となり、ECUの処理性能向上、コストアップを抑止する効果が得られる。
≪第２実施形態≫
　本第２実施形態では、第１実施形態と同じく、図3の機能ブロック図、図4～図8のフローチャートを採用する。ただし、図1の自動運転システム構成、図5の統合処理モード判定部102の判定条件が第１実施形態と異なる。図13は、本発明の第２実施形態のセンサ認識統合装置B006を含む自動運転システムの構成図である。
　図13では、図1の自動運転システム構成にサブ構成を追加している。追加箇所は、センサ認識統合装置B006に進行路推定部B012を追加するとともに、情報記憶部B009から情報（データ）D009cを進行路推定部B012に出力する。また、進行路推定部B012は、進行路推定結果D012をセンサ物体情報統合部B010に出力する。
　進行路推定部B012は、情報記憶部B009からのデータD009cに基づき、自車F20の進行路F22（図14参照）を推定する。なお、自車の進行路とは、自車の走行軌跡を表し、付加的な情報として、軌跡上の自車の速度やヨーレートを持ってもよい。データD009cは、自車速度やヨーレート、舵角などの情報（例えば、自車挙動認識センサB001で取得されて情報記憶部B009に記憶）を表し、これらの情報に基づき、進行路推定部B012で今後自車がどのような走行軌跡をとるかを算出（推定）する。具体的には、舵角やヨーレートの状態に基づき自車の旋回半径を推定する。旋回半径に基づき自車がいつどの位置にいるかを予測し、進行路推定結果D012として、センサ物体情報統合部B010に出力する。
　図14に示すシーンは、歩行者F21が道路を横断している状況で、自車F20が交差点を左折するシーンである。図14では、自車速度とヨーレートから推定した進行路F22（進行路推定部B012により算出）の予測位置がセンサ検知範囲F23、F24上に位置する。この場合、自車F20が走行する進行路F22に関連性の高い物体を優先とし、自車F20の進行路F22上に位置するF23、F24のセンサ検知範囲の重複部分においてのみ高処理負荷モードとし、それ以外のセンサ検知範囲F25、F26、F27に関しては、低処理負荷モードに切り替える。なお、第１実施形態に記載の図5のセンサ検知範囲（の重複領域）の境界部に基づく条件と組み合わせてもよい。
　本第２実施形態の進行路F22を採用することにより、第１実施形態の効果に加え、より高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。なお、自車が走行する進行路を重視するため、警報やブレーキが必要となる可能性が高い歩行者F21は優先的に処理される。また、自車の左隣を通過する自転車やバイクが存在する場合は、図14のF26のセンサ検知範囲も優先度が高いため、シーンによって高処理負荷モードとする条件を切り替える必要がある。例えば、進行路F22の向きが左側だとすると、自車F20の左側に搭載のセンサの優先度を上げる方法が考えられる。また、別の考え方として、物体の予測位置を推定し、進行路F22に対し、横切る可能性があり、物体の相対速度が速いものに対し（つまり、進行路F22に対する物体の影響度が高いものに対し）、高処理負荷モードを適用し、それ以外の横切る可能性が低い物体に対しては（つまり、進行路F22に対する物体の影響度が低いものに対しては）低処理負荷モードとしてもよい。
≪第３実施形態≫
　本第３実施形態では、第１実施形態と同じく、図1の自動運転システム構成、図3の機能ブロック図、図4～図8のフローチャートを採用する。ただし、図5の統合処理モード判定部102の判定条件が第１実施形態と異なる。
　図15に示すF31、F32は、センサ検知範囲に存在する信頼度が低下する領域の例である。F31は、カメラの検知範囲F02における信頼度が低下する領域を表し、信頼度が低下すると物体の位置や速度の精度低下や誤検知が起こりえる。また、F32は、レーダの検知範囲F03における信頼度が低下する領域を表し、信頼度が低下すると物体の位置や速度の精度低下や誤検知が起こりえる。従って、信頼度が他の領域よりも低下する領域については、検知範囲F02、F03の重複領域の境界部であっても、低処理負荷モードを適用する。信頼度が他の領域よりも高い領域に対し、検知範囲F02、F03の重複領域の境界部では、高処理負荷モードを適用する。この際、低処理負荷モードでは、信頼度が高いセンサの物体情報をセレクトする。
　本第３実施形態のセンサ（外界認識センサ）の信頼度の考え方を採用することにより、第１実施形態の効果に加え、より高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。また、信頼度が低いセンサからの情報を除外することで、統合結果の誤検知や精度の低下を防止する効果がある。
　また、上記第１、第２、第３実施形態を組み合わせ、図16に示すように各条件の組み合わせで高処理負荷モードか低処理負荷モードかセレクト処理モードかを切り替えてもよい。自車からの距離条件が非近傍の場合は、遠い位置にある物体を指し、近傍の場合は、近い位置にある物体を指す（第１実施形態の条件を参照）。また、重複条件が境界領域とは、検知範囲の重複領域の境界部を指し、非境界領域とは、検知範囲の重複領域の境界部以外を指す。重複条件が非重複領域とは、検知範囲が重複しない領域を指す（第１実施形態の条件を参照）。進行路条件が「○」のものは、進行路上に存在する検知範囲を指す。「×」の場合は、進行路上に存在しない検知範囲を指す（第２実施形態の条件を参照）。信頼度条件が「○」のものは、センサの信頼度が高い領域を指し、「×」の場合は、センサの信頼度が低い領域を指す（第３実施形態の条件を参照）。図16に示すように各条件の組み合わせで、より高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。
≪第４実施形態≫
　本第４実施形態では、第１実施形態と同じく、図1の自動運転システム構成、図3の機能ブロック図、図4～図8のフローチャートを採用する。ただし、図5の統合処理モード判定部102の判定条件が第１実施形態と異なる。
　本第４実施形態では、統合処理モード209を予測物体の追跡状態に基づき切り替える（設定する）。ここでの追跡状態とは、予測物体を途切れることなく連続して追跡できた追跡時間を指す。連続して追跡できた場合は、追跡物体は同じ追跡IDが付与される。予測物体の追跡時間が短い初期検知である場合は、高処理負荷モードとし、ある程度、追跡時間が長くなった場合は、低処理負荷モードに切り替える。また、条件を追跡時間が長いかつ自車からの物体の距離が遠い場合としてもよい。また、予測物体の存在確率（例えば、予測物体の追跡時間等から算出）が低いと判断した場合は、低処理負荷モードとし、予測物体の存在確率が高いと判断した場合は、高処理負荷モードとする。他にも予測物体ではなく、センサで検知したセンサ物体の存在確率に応じて、高処理負荷モード、低処理負荷モード、セレクト処理モードを切り替えてもよい。
　本第４実施形態の予測物体あるいはセンサ物体等からなる物体の追跡状態の考え方を採用することにより、第１実施形態の効果に加え、より高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。
≪第５実施形態≫
　本第５実施形態では、第１実施形態と同じく、図3の機能ブロック図、図4～図8のフローチャートを採用する。ただし、図1の自動運転システム構成、図5の統合処理モード判定部102の判定条件が第１実施形態と異なる。図17は、本発明の第５実施形態のセンサ認識統合装置B006を含む自動運転システムの構成図である。
　図17では、図13の自動運転システム構成に信号接続を追加している。追加箇所は、自動運転計画判断装置B007から計画軌道D007bをセンサ認識統合装置B006の情報記憶部B009に出力する。また、情報記憶部B009は、計画軌道D009dをセンサ物体情報統合部B010に出力する。
　計画軌道とは、自動運転の際に統合結果D011を基に自動運転計画判断装置B007が計画した自車の走行軌道の目標値を指す。計画軌道は、地図ユニットB004からのナビゲーション情報に基づき、自動運転計画判断装置B007で車線レベルの計画軌道に変換したものである。
　計画軌道D009dを、上記第２実施形態における図13の進行路推定結果D012、つまり図14の進行路F22に置き換えて、図5の統合処理モード判定部102で統合処理モードを切り替える。
　本第５実施形態の車両（自車）を制御するための計画軌道D009dを採用することにより、第１実施形態の効果に加え、より高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。また、第２実施形態より精度の高い軌道を用いて、統合処理モード209を切り替え可能となり、誤ったモード切り替えが少なくなり、精度が高まる。
≪第６実施形態≫
　本第６実施形態では、第１実施形態と同じく、図1の自動運転システム構成、図3の機能ブロック図、図4～図8のフローチャートを採用する。ただし、図6の統合対象情報生成部104の統合条件が第１実施形態と異なる。
　本第６実施形態では、予測物体の追跡状態に基づき、追跡状態が安定している場合は、高負荷処理モードの実行頻度（処理周期）を間引き、代わりに間引いた処理周期では、低処理負荷モードを実行する。すなわち、高負荷処理モードの処理周期を予測物体の追跡状態に基づき可変とし、追跡状態が安定している場合は、高負荷処理モードの実行頻度（処理周期）を長く設定する。追跡状態が安定しているとは、物体が一定走行している場合やこれまでの追跡時間が長い場合、統合するセンサからの物体が頻繁に検知・非検知を繰り返していない状況が継続している場合などがあげられる。他にも予測物体ではなく、センサで検知したセンサ物体の追跡状態に応じて、高処理負荷モード等の統合処理モードの処理周期を可変としてもよい。
　本第６実施形態の高負荷処理モードの実行周期を長く設定することにより、第１実施形態の効果に加え、より高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。また、予測物体等の物体の追跡状態が安定している場合に限られるため、予測更新との統合更新により、急な物体の位置の変化は抑えられる。
≪第７実施形態≫
　本第７実施形態では、第１～第６実施形態と同じく、図1の自動運転システム構成、図3の機能ブロック図、図4～図8のフローチャートを採用する。ただし、図5の統合処理モード判定部102の統合処理モードを参照する処理が図4のアソシエーション部101となる。図18は、本発明の第７実施形態のセンサ認識統合装置B006のセンサ物体情報統合部B010の機能ブロック図である。
　図18に示すように、アソシエーション部101の前段処理にアソシエーション処理モード判定部107を配置する。アソシエーション処理モード判定部107は、センサ検知範囲208と予測更新部100の予測物体情報200の情報に基づき、アソシエーション部101で参照するアソシエーション処理モード210を算出して（切り替えて）、アソシエーション部101に出力する。なお、アソシエーション処理モード判定部107の基本的な考え方は統合処理モード判定部102と同様である。第１実施形態と同様に、センサ検知範囲208で境界領域に予測物体情報200が位置する場合、アソシエーション処理モードを高処理負荷アソシエーションモードに設定する。それ以外の場合は、アソシエーション処理モードを低処理負荷アソシエーションモードに設定する。その他、上記第２～第６実施形態の考え方に準ずる。
　また、図4のアソシエーション部101の処理では、アソシエーション処理モード210に基づき、アソシエーションの判定内容を高処理負荷の演算（相対的に詳細な処理）と低処理負荷の演算（相対的に簡易な処理）に切り替える。高処理負荷とは、例えば、予測物体とセンサからの物体の関連性を算出するために誤差共分散に基づきマハラノビス距離を算出する処理があげられる。低処理負荷では、ユークリッド距離から関連性を判定してもよい。但し、アソシエーションの精度を保つために、低処理負荷とする場合は、別途自車から物体が遠い場合など車両走行制御への影響が小さいシーンに限るとよい。
　本第７実施形態により、第１実施形態と同様に、高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
B000：情報取得装置
B001：自車挙動認識センサ
B002：外界認識センサ群
B003：測位システム
B004：地図ユニット
B005：入力通信網
B006：センサ認識統合装置
B007：自動運転計画判断装置（計画判断部）
B008：アクチュエータ群
B009：情報記憶部
B010：センサ物体情報統合部
B011：自車周辺情報統合部
B012：進行路推定部（第２実施形態）
100：予測更新部
101：アソシエーション部
102：統合処理モード判定部
104：統合対象情報生成部
105：統合更新部
106：統合物体情報記憶部
107：アソシエーション処理モード判定部（第７実施形態）

Claims (15)

  1. 　複数の外界認識センサで検知した自車周辺の物体に関する複数の物体情報を統合するセンサ認識統合装置であって、
    　前記自車の挙動から推定した前記自車の行動と前記外界認識センサで検知した物体情報に基づき、前記物体の行動を予測した予測物体情報を生成する予測更新部と、
    　前記予測物体情報と前記複数の物体情報との関連を算出するアソシエーション部と、
    　前記複数の外界認識センサの検知領域の重複領域における特定領域と前記予測物体情報の位置関係に基づいて、前記複数の物体情報の統合方法を決定する統合処理モードを切り替える統合処理モード判定部と、
    　前記統合処理モードに基づいて、前記予測物体情報に関連づいた前記複数の物体情報を統合する統合対象情報生成部と、を備えることを特徴とするセンサ認識統合装置。
  2. 　請求項１に記載のセンサ認識統合装置において、
    　前記特定領域は、前記複数の外界認識センサの検知領域の重複領域における境界部であることを特徴とするセンサ認識統合装置。
  3. 　請求項１に記載のセンサ認識統合装置において、
    　前記特定領域は、前記自車の挙動から推定した前記自車の進行路上に位置する前記複数の外界認識センサの検知領域の重複領域であることを特徴とするセンサ認識統合装置。
  4. 　請求項１に記載のセンサ認識統合装置において、
    　前記特定領域は、前記複数の外界認識センサの検知領域の重複領域において前記外界認識センサの信頼度が低下する領域であることを特徴とするセンサ認識統合装置。
  5. 　請求項１に記載のセンサ認識統合装置において、
    　前記統合処理モードは、前記複数の物体情報が前記特定領域に属する場合に前記複数の物体情報の統合処理を相対的に詳細な処理とする第一のモードと、前記複数の物体情報の少なくとも一つが前記特定領域に属さない場合に前記複数の物体情報の統合処理を相対的に簡易な処理とする第二のモードとを有することを特徴とするセンサ認識統合装置。
  6. 　請求項１に記載のセンサ認識統合装置において、
    　前記統合対象情報生成部は、各外界認識センサの誤差分布に基づく前記統合処理モードに基づいて、前記複数の物体情報を統合することを特徴とするセンサ認識統合装置。
  7. 　請求項１に記載のセンサ認識統合装置において、
    　前記統合処理モード判定部は、前記統合処理モードの切り替えを前記物体の追跡状態に基づいて行うことを特徴とするセンサ認識統合装置。
  8. 　請求項７に記載のセンサ認識統合装置において、
    　前記物体の追跡状態は、前記物体の追跡時間であることを特徴とするセンサ認識統合装置。
  9. 　請求項７に記載のセンサ認識統合装置において、
    　前記物体の追跡状態は、前記物体の存在確率であることを特徴とするセンサ認識統合装置。
  10. 　請求項１に記載のセンサ認識統合装置において、
    　前記統合処理モードの切り替え時に前記統合後の物体情報を連続的に変化させることを特徴とするセンサ認識統合装置。
  11. 　請求項１に記載のセンサ認識統合装置において、
    　統合された物体情報により前記自車を制御するための計画軌道を計画する計画判断部を備え、
    　前記統合処理モード判定部は、前記計画軌道に基づき、前記統合処理モードを切り替えることを特徴とするセンサ認識統合装置。
  12. 　請求項５に記載のセンサ認識統合装置において、
    　前記詳細な処理の処理周期を前記物体の追跡状態に基づき可変とすることを特徴とするセンサ認識統合装置。
  13. 　請求項３に記載のセンサ認識統合装置において、
    　前記自車の挙動から推定した前記自車の進行路に対する前記物体の影響度により、前記統合処理モードを切り替えることを特徴とするセンサ認識統合装置。
  14. 　請求項１に記載のセンサ認識統合装置において、
    　前記アソシエーション部における前記物体のアソシエーション処理を相対的に詳細な処理と相対的に簡易な処理に切り替えるアソシエーション処理モード判定部を有することを特徴とするセンサ認識統合装置。
  15. 　請求項１に記載のセンサ認識統合装置において、
    　前記統合処理モード判定部は、前記自車から前記物体までの距離に基づいて、前記統合処理モードを切り替えることを特徴とするセンサ認識統合装置。
PCT/JP2021/011102 2020-06-15 2021-03-18 センサ認識統合装置 WO2021256032A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/008,848 US20230221432A1 (en) 2020-06-15 2021-03-18 Sensor recognition integration device
DE112021002118.4T DE112021002118T5 (de) 2020-06-15 2021-03-18 Sensorerkennungsintegrationsvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-103101 2020-06-15
JP2020103101A JP7432447B2 (ja) 2020-06-15 2020-06-15 センサ認識統合装置

Publications (1)

Publication Number Publication Date
WO2021256032A1 true WO2021256032A1 (ja) 2021-12-23

Family

ID=79196915

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011102 WO2021256032A1 (ja) 2020-06-15 2021-03-18 センサ認識統合装置

Country Status (4)

Country Link
US (1) US20230221432A1 (ja)
JP (1) JP7432447B2 (ja)
DE (1) DE112021002118T5 (ja)
WO (1) WO2021256032A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7186412B1 (ja) * 2022-04-04 2022-12-09 和博 山内 車両群

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006046962A (ja) * 2004-07-30 2006-02-16 Toyota Motor Corp 物標検出装置
JP2017132285A (ja) * 2016-01-25 2017-08-03 日立オートモティブシステムズ株式会社 車両走行制御システム、及び車両走行制御方法
JP2017223607A (ja) * 2016-06-17 2017-12-21 三菱電機株式会社 物体認識統合装置および物体認識統合方法
JP2018092483A (ja) * 2016-12-06 2018-06-14 トヨタ自動車株式会社 物体認識装置
JP2019158390A (ja) * 2018-03-08 2019-09-19 日立オートモティブシステムズ株式会社 信号処理システム、及びその評価システム、並びにその信号処理システムに用いられる信号処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006046962A (ja) * 2004-07-30 2006-02-16 Toyota Motor Corp 物標検出装置
JP2017132285A (ja) * 2016-01-25 2017-08-03 日立オートモティブシステムズ株式会社 車両走行制御システム、及び車両走行制御方法
JP2017223607A (ja) * 2016-06-17 2017-12-21 三菱電機株式会社 物体認識統合装置および物体認識統合方法
JP2018092483A (ja) * 2016-12-06 2018-06-14 トヨタ自動車株式会社 物体認識装置
JP2019158390A (ja) * 2018-03-08 2019-09-19 日立オートモティブシステムズ株式会社 信号処理システム、及びその評価システム、並びにその信号処理システムに用いられる信号処理装置

Also Published As

Publication number Publication date
JP7432447B2 (ja) 2024-02-16
DE112021002118T5 (de) 2023-03-09
JP2021195018A (ja) 2021-12-27
US20230221432A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
CN111986514B (zh) 基于交通工具的数据处理方法、装置、设备以及介质
JP6404634B2 (ja) 予測的な先進運転支援システムの一貫性のある挙動生成
CN103935361B (zh) 用于自主的车道变换、经过和超越行为的有效数据流算法
US9708004B2 (en) Method for assisting a driver in driving an ego vehicle and corresponding driver assistance system
US11648965B2 (en) Method and system for using a reaction of other road users to ego-vehicle actions in autonomous driving
JP7193656B2 (ja) 割り込んでくる又は抜け出て行く車両を認識する制御ユニット及び方法
US11027728B2 (en) Vehicle control device
WO2020121010A1 (ja) 他車動作予測方法及び他車動作予測装置
CN113168512A (zh) 用于操作交通工具的自动纵向和/或横向引导功能的方法和控制单元
US20210074162A1 (en) Methods and systems for performing lane changes by an autonomous vehicle
CN112088117A (zh) 用于运行机动车以改善机动车的评估单元的工作条件的方法、用于执行这种方法的控制系统和带有这种控制系统的机动车
US20220392276A1 (en) Vehicle behavior evaluation device, vehicle behavior evaluation method, and vehicle behavior evaluation program product
WO2021256032A1 (ja) センサ認識統合装置
CN112445226A (zh) 针对自主驾驶围绕停放车辆导航的机动计划的方法
KR20210068449A (ko) 자동차의 경로 및/또는 궤적을 계획하는 장치
JP2020163975A (ja) 車両運転支援システム
JP7356892B2 (ja) 車両の走行環境推定方法、及び、走行環境推定システム
KR102179835B1 (ko) 무선통신을 포함한 차량센서 기반의 객체선정 알고리즘 및 주변차량 주행 의도를 고려한 경로 예측 방법 및 시스템
KR20200133122A (ko) 차량 충돌 방지 장치 및 방법
CN115675466A (zh) 车道变换协商方法和系统
CN113654569A (zh) 一种路径规划方法、系统及存储介质
KR102514146B1 (ko) 자동차 전용도로 환경에서 강화학습을 이용한 자율주행 차량의 차선 변경 판단 방법 및 이를 기록한 기록매체
TWI838994B (zh) 針對緊急車輛的自駕車路徑預測系統及自駕車路徑預測方法
US20230410652A1 (en) Parking assistance method, parking assistance apparatus, and non-transitory computer readable recording medium
JP2018028743A (ja) 車両制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21825758

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21825758

Country of ref document: EP

Kind code of ref document: A1