WO2023286522A1 - 処理システム、処理装置、処理方法、処理プログラム - Google Patents
処理システム、処理装置、処理方法、処理プログラム Download PDFInfo
- Publication number
- WO2023286522A1 WO2023286522A1 PCT/JP2022/024209 JP2022024209W WO2023286522A1 WO 2023286522 A1 WO2023286522 A1 WO 2023286522A1 JP 2022024209 W JP2022024209 W JP 2022024209W WO 2023286522 A1 WO2023286522 A1 WO 2023286522A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- recognition
- rate
- moving body
- host
- probability distribution
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 76
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000004927 fusion Effects 0.000 claims abstract description 87
- 238000009826 distribution Methods 0.000 claims abstract description 78
- 230000002596 correlated effect Effects 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 3
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000013461 design Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/35—Data fusion
Definitions
- the present disclosure relates to techniques for performing recognition-related processing related to recognition of target mobiles in host mobiles.
- Patent Document 1 uses multiple dictionaries as recognition models in order to recognize a pedestrian as a target mobile object in a vehicle as a host mobile object.
- Patent Document 1 searches for and selectively uses the dictionary with the lowest resolution in order to reduce the computation time.
- the required recognition performance required for the dictionary changes according to the driving area of the vehicle, it may be difficult to ensure recognition accuracy only by recognition based on the minimum resolution dictionary.
- a first aspect of the present disclosure is A processing system having a processor for performing recognition-related processing associated with recognition of a target mobile in a host mobile, comprising: The processor obtaining a probability distribution of presence of the target moving object with respect to the distance from the host moving object according to the travel area of the host moving object; Acquiring a recognition rate for recognizing a target moving body for each of a plurality of recognition models; fusing recognition data from each recognition model according to a fusion rate based on a recognition score that correlates to a recognition rate and a probability distribution for each recognition model.
- a second aspect of the present disclosure is A processing device having a processor and configured to be mounted on a host mobile for performing recognition-related processing associated with recognition of a target mobile in the host mobile, comprising: The processor obtaining a probability distribution of presence of the target moving object with respect to the distance from the host moving object according to the travel area of the host moving object; Acquiring a recognition rate for recognizing a target moving body for each of a plurality of recognition models; fusing recognition data from each recognition model according to a fusion rate based on a recognition score that correlates to a recognition rate and a probability distribution for each recognition model.
- a third aspect of the present disclosure is A processing method executed by a processor to perform recognition-related processing associated with recognition of a target mobile in a host mobile, comprising: obtaining a probability distribution of presence of the target moving object with respect to the distance from the host moving object according to the travel area of the host moving object; Acquiring a recognition rate for recognizing a target moving body for each of a plurality of recognition models; fusing the recognition data from each recognition model according to a fusion rate based on the recognition score that correlates to the recognition rate and probability distribution for each recognition model.
- a fourth aspect of the present disclosure is A processing program stored in a storage medium and comprising instructions for execution by a processor to perform recognition-related processing associated with recognition of a target mobile in a host mobile, comprising: the instruction is Acquiring a probability distribution of presence of the target moving object with respect to the distance from the host moving object according to the travel area of the host moving object; Acquiring a recognition rate for recognizing a target moving object for each of a plurality of recognition models; fusing the recognition data from each recognition model according to a fusion rate based on the recognition score that correlates to the recognition rate and probability distribution for each recognition model.
- the probability distribution of the presence of the target moving object with respect to the distance from the host moving object is obtained according to the travel area of the host moving object. Therefore, in the first to fourth aspects, according to the recognition rate for each of the multiple recognition models that recognize the target moving object and thus the fusion rate based on the recognition score, which correlates with the acquisition probability distribution, the recognition data by each recognition model is calculated. is fused. According to this, even if the required recognition performance required according to the driving area changes, appropriate fusion can be realized by following the fusion rate according to the recognition score in which the change can be reflected by the probability distribution. . Therefore, it is possible to ensure the recognition accuracy of the target moving body in the host moving body.
- FIG. 1 is a schematic diagram showing a running environment of a host vehicle to which one embodiment is applied;
- FIG. It is a block diagram which shows the functional structure of the processing system by one Embodiment.
- 4 is a flowchart illustrating a processing flow according to one embodiment; 4 is a graph for explaining probability distributions according to an embodiment; 5 is a graph for explaining velocity distribution according to one embodiment; 4 is a graph for explaining acceleration distribution according to one embodiment;
- FIG. 4 is a schematic diagram illustrating a track crossing scene according to one embodiment;
- FIG. 4 is a schematic diagram illustrating a track crossing scene according to one embodiment;
- FIG. 4 is a schematic diagram illustrating a track crossing scene according to one embodiment;
- FIG. 4 is a schematic diagram illustrating a track crossing scene according to one embodiment;
- FIG. 4 is a schematic diagram illustrating a track crossing scene according to one embodiment;
- FIG. 4 is a schematic diagram illustrating a track crossing scene according to one embodiment;
- FIG. 4 is a
- FIG. 4 is a schematic diagram illustrating a track crossing scene according to one embodiment
- FIG. 4 is a schematic diagram illustrating a track crossing scene according to one embodiment
- 4 is a chart showing critical gaps according to one embodiment.
- FIG. 4 is a block diagram illustrating multiple recognition models according to one embodiment
- FIG. 4 is a schematic diagram for explaining a recognition rate according to one embodiment
- 4 is a characteristic table for explaining a recognition rate according to one embodiment
- 4 is a property table for describing recognition scores according to one embodiment.
- 4 is a characteristic table for explaining a fusion rate optimization calculation according to an embodiment
- It is a schematic diagram for demonstrating the restrictions of the operation design area
- the processing system 1 of one embodiment shown in FIG. 1 performs recognition-related processing related to recognition of a target vehicle 3 in a host vehicle 2 shown in FIG. 2 as a host vehicle. From a viewpoint centering on the host vehicle 2, the host vehicle 2 can be said to be an ego-vehicle.
- the host vehicle 2 is a moving body such as an automobile that can travel on a road while a passenger is on board. From a viewpoint centering on the host vehicle 2, it can be said that the target moving body 3 is a user on another road.
- the target moving body 3 includes at least one of automobiles, motorcycles, bicycles, autonomous robots, pedestrians, animals, and the like.
- the host vehicle 2 is given an automatic driving mode that is classified according to the degree of manual intervention of the driver in the driving task.
- Autonomous driving modes may be achieved by autonomous cruise control, such as conditional driving automation, advanced driving automation, or full driving automation, in which the system performs all driving tasks when activated.
- Autonomous driving modes may be provided by advanced driving assistance controls, such as driving assistance or partial driving automation, in which the occupant performs some or all driving tasks.
- the automatic driving mode may be realized by either one, combination, or switching of the autonomous driving control and advanced driving support control.
- the host vehicle 2 is equipped with the sensor system 4, communication system 5, information presentation system 6, and map database 7 shown in FIG.
- the sensor system 4 obtains sensor information that can be used by the processing system 1 by detecting the external and internal worlds of the host vehicle 2 . Therefore, the sensor system 4 includes an external sensor 40 and an internal sensor 42 .
- the external sensor 40 acquires external world information as sensor information from the external world that is the surrounding environment of the host vehicle 2 .
- the external world sensor 40 may acquire external world information by detecting targets existing in the external world of the host vehicle 2 .
- the target detection type external sensor 40 is, for example, at least one type of camera, LiDAR (Light Detection and Ranging/Laser Imaging Detection and Ranging), radar, sonar, and the like.
- the inner world sensor 42 acquires inner world information that can be used by the processing system 1 from the inner world that is the internal environment of the host vehicle 2 .
- the inner world sensor 42 may acquire inner world information by detecting a specific kinematic physical quantity in the inner world of the host vehicle 2 .
- the physical quantity sensing type internal sensor 42 is at least one of, for example, a running speed sensor, an acceleration sensor, a gyro sensor, and the like.
- the inner world sensor 42 may acquire inner world information by detecting a specific state of the occupant in the inner world of the host vehicle 2 .
- the occupant detection type internal sensor 42 is, for example, at least one of a driver status monitor (registered trademark), a biosensor, a seating sensor, an actuator sensor, an in-vehicle equipment sensor, and the like.
- the communication system 5 acquires communication information that can be used by the processing system 1 through wireless communication.
- the communication system 5 may receive positioning signals from artificial satellites of GNSS (Global Navigation Satellite System) existing outside the host vehicle 2 .
- the positioning type communication system 5 is, for example, a GNSS receiver or the like.
- the communication system 5 may transmit and receive communication signals with a V2X system existing outside the host vehicle 2 .
- the V2X type communication system 5 is, for example, at least one of a DSRC (Dedicated Short Range Communications) communication device, a cellular V2X (C-V2X) communication device, and the like.
- the communication system 5 may transmit and receive communication signals to and from terminals existing inside the host vehicle 2 .
- the terminal communication type communication system 5 is, for example, at least one of Bluetooth (registered trademark) equipment, Wi-Fi (registered trademark) equipment, infrared communication equipment, and the like.
- the information presentation system 6 presents notification information to the occupants of the host vehicle 2.
- the information presentation system 6 may present notification information by stimulating the visual sense of the occupant.
- the visual stimulus type information presentation system 6 is at least one of, for example, a HUD (Head-Up Display), an MFD (Multi-Function Display), a combination meter, a navigation unit, a light-emitting unit, and the like.
- the information presentation system 6 may present notification information by stimulating the sense of hearing of the occupant.
- the auditory stimulus type information presentation system 6 is at least one of a speaker, a buzzer, a vibration unit, and the like.
- the map database 7 stores map information that can be used by the processing system 1.
- the map database 7 includes at least one type of non-transitory tangible storage medium, such as semiconductor memory, magnetic medium, and optical medium.
- the map database 7 may be a database of locators for estimating self-state quantities including the self-position of the host vehicle 2 .
- the map database 7 may be the database of a navigation unit that navigates the travel route of the host vehicle 2 .
- the map database 7 may be configured by combining a plurality of types of these databases.
- the map database 7 acquires and stores the latest map information through communication with an external center via the V2X type communication system 5, for example.
- the map information is two-dimensional or three-dimensional data as information representing the running environment of the host vehicle 2 .
- the three-dimensional map data digital data of a high-precision map should be adopted.
- the map information may include road information representing at least one of the position, shape, road surface condition, and the like of the road itself.
- the map information may include sign information representing at least one of the position and shape of signs attached to roads and lane markings, for example.
- the map information may include structure information representing at least one of the positions and shapes of buildings facing roads and traffic lights, for example.
- the processing system 1 connects a sensor system 4, a communication system 5, an information presentation system 6, and a map database via at least one of a LAN (Local Area Network) line, a wire harness, an internal bus, and a wireless communication line. 7 is connected.
- the processing system 1 includes at least one dedicated computer.
- the dedicated computer that configures the processing system 1 may be an operation control ECU (Electronic Control Unit) that controls the operation of the host vehicle 2 .
- a dedicated computer that configures the processing system 1 may be a navigation ECU that navigates the travel route of the host vehicle 2 .
- a dedicated computer that configures the processing system 1 may be a locator ECU that estimates the self-state quantity of the host vehicle 2 .
- the dedicated computer that constitutes the processing system 1 may be an actuator ECU that controls the travel actuators of the host vehicle 2 .
- the dedicated computer that configures the processing system 1 may be an HCU (HMI (Human Machine Interface) Control Unit) that controls information presentation by the information presentation system 6 in the host vehicle 2 .
- the dedicated computer that configures the processing system 1 may be a computer other than the host vehicle 2 that configures an external center or a mobile terminal that can communicate via the V2X type communication system 5, for example.
- a dedicated computer that constitutes the processing system 1 has at least one memory 10 and at least one processor 12 .
- the memory 10 stores computer-readable programs and data non-temporarily, for example, at least one type of non-transitory physical storage medium (non-transitory storage medium) among semiconductor memory, magnetic medium, optical medium, etc. tangible storage medium).
- the processor 12 is, for example, CPU (Central Processing Unit), GPU (Graphics Processing Unit), RISC (Reduced Instruction Set Computer)-CPU, DFP (Data Flow Processor), GSP (Graph Streaming Processor), etc. At least one type as a core.
- a processor 12 in the processing system 1 executes a plurality of instructions contained in a processing program stored in memory 10 to perform recognition-related processing in the host vehicle 2 .
- the processing system 1 constructs a plurality of functional blocks for performing recognition-related processing in the host vehicle 2 .
- a plurality of functional blocks constructed in the processing system 1 include a distribution acquisition block 100, a recognition rate acquisition block 110, a fusion block 120, and a constraint block 130, as shown in FIG.
- the processing method for the processing system 1 to perform recognition-related processing in the host vehicle 2 is executed according to the processing flow shown in FIG.
- This processing flow is repeatedly executed while the host vehicle 2 is running.
- Each "S" in this processing flow means a plurality of steps executed by a plurality of instructions included in the processing program.
- the distribution acquisition block 100 determines the driving scene including the self-position of the host vehicle 2 based on the information acquired or stored in the sensor system 4, the communication system 5, and the map database 7. to specify the travel area Ad (see FIG. 2).
- the travel area Ad is specified as an area within a distance range in which the host vehicle 2 needs to recognize the target moving body 3 in the horizontal direction left and right and the vertical direction front and rear of the host vehicle 2 .
- the distribution acquisition block 100 obtains the probability distribution Dp that the target moving object 3 exists with respect to the distance Lh from the host vehicle 2 according to the traveling area Ad of the host vehicle 2, as shown in FIG. get.
- the distribution acquisition block 100 in S102 obtains a velocity distribution Dv representing a situation in which the velocity vm taken by the moving object in the travel area Ad is continuously dispersed or intermittently dispersed (that is, histogram dispersion) as shown in FIG. Acquired from the sensor system 4, the communication system 5, and the map database 7 or based on the stored information.
- the distribution acquisition block 100 in S102 obtains the acceleration distribution Da representing the state in which the acceleration am taken by the moving body in the travel area Ad is continuously dispersed or intermittently dispersed as shown in FIG. , and based on the acquisition or storage information of the map database 7 .
- velocity distributions Dv and acceleration distributions Da provide an overall percentage or number as to the frequency of moving objects taking a velocity vm or acceleration am of interest. Therefore, the velocity distribution Dv and the acceleration distribution Da may be obtained as data unique to each travel area Ad using, for example, the latest traffic information accumulated in an external center.
- the distribution acquisition block 100 in S102 determines which of the critical gap tc of the moving object in the travel area Ad and the required recognition time ts of the host vehicle 2 in the travel area Ad is the larger side as shown in Equation 1 and FIG. is obtained as the upper limit time tm.
- the critical gap tc is defined as, for example, when a moving object on the side of changing the traveling trajectory in a track crossing scene such as intersection entry, merging, or lane change where the traveling trajectories of a plurality of moving objects intersect as shown in FIGS. It means the equal gap between the probability of executing the orbit change and the probability of forgoing the orbit change.
- the moving body on the side of changing the travel track is drawn as the host vehicle 2
- the moving body on the side of forming the gap is drawn as the target moving body 3.
- the critical gap tc should be obtained as illustrated in FIG. 13 using, for example, the latest gap access information accumulated in the external center. Also, the critical gap tc may be forced to a value of 0 when no track crossing scene is assumed in the host vehicle 2 .
- the required recognition time ts means the maximum time required for the host vehicle 2 to recognize the target moving body 3 in the travel area Ad. Therefore, the required recognition time ts may be acquired using, for example, the route planning information of the host vehicle 2 . Further, the required recognition time ts may be set to the time until the host vehicle 2 starts changing the track from the present time, for example, in a track crossing scene.
- the distribution acquisition block 100 in S102 acquires the probability distribution Dp corresponding to the travel area Ad within the movement distance range ⁇ L in which the host vehicle 2 moves between the current time and the upper limit time tm.
- the probability distribution Dp indicates the dispersion state of the total ratio or number of the target moving bodies 3 existing with respect to the distance Lh from the host vehicle 2 . That is, the probability distribution Dp provides a dispersed overall ratio or number as the existence probability of the target moving body 3 depending on the distance Lh. Therefore, the probability distribution Dp is obtained by synthesizing the velocity distribution Dv and the acceleration distribution Da so as to satisfy Equation 2 with the upper limit time tm as a variable.
- the recognition rate acquisition block 110 acquires the recognition rate for recognizing the target moving body 3 in the travel area Ad for each of the plurality of recognition models Mn.
- each recognition model Mn is stored in the memory 10 as shown in FIG. 14 as a rule model (that is, recognition logic) or machine learning model for recognizing the target moving body 3 according to the driving scene in the driving area Ad. remembered.
- the suffix n in the code Mn means an integer from 1 to N as an index for identifying each of the N recognition models Mn.
- each recognition model Mn is a mesh area obtained by dividing the traveling area Ad into a plurality of rectangular lattices (that is, mesh areas) as shown in FIG.
- a recognition rate is defined for each Am (also called a grid).
- the shape of each mesh area Am may be set to a shape other than the rectangular lattice shape as long as there is no gap area between the mesh areas Am.
- each numerical value within each mesh area Am represents the recognition rate.
- the recognition rates defined for each mesh area Am in each recognition model Mn of the present embodiment are, as shown in FIG. It contains at least one of the degrees FP and FN.
- the matching degree TP (True Positive) is a recognition success rate at which the recognition result matches the presence of the target moving object 3 in the real world.
- the degree of matching TN (True Negative) is a recognition success rate in which the recognition result matches the non-existence of the target moving object 3 in the real world.
- the non-matching degree FP (False Positive) is a false recognition rate at which the recognition result is non-matching with the existence of the target moving object 3 in the real world, whereas the non-existence of the target moving object 3 exists.
- the non-matching degree FN (False Negative) is a false recognition rate at which the recognition result is non-matching with the existence of the target moving object 3 in the real world.
- the fusion block 120 acquires the recognition data by each recognition model Mn based on the acquisition or storage information of the sensor system 4, the communication system 5, and the map database 7.
- Recognition data by each recognition model Mn is acquired as data relating to the target moving body 3, including at least one of, for example, position, speed, shape, type, and recognition confidence (that is, recognition confidence). be.
- the fusion block 120 performs recognition by each recognition model Mn according to the fusion rate ⁇ n based on the recognition score Sn, which correlates the recognition rate and the probability distribution Dp for each recognition model Mn as shown in FIG. Fuse data.
- the suffix n in the symbols Sn and ⁇ n also means an integer from 1 to N as an index for identifying the recognition score Sn and the fusion rate ⁇ n corresponding to the N recognition models Mn.
- the fusion block 120 in S105 acquires the recognition score Sn for each recognition model Mn by correcting the recognition rate for each recognition model Mn using the probability distribution Dp.
- the correction for acquiring the recognition score Sn is realized by multiplying the recognition rate for each recognition model Mn by the existence probability of the target moving object 3 depending on the distance Lh in the probability distribution Dp, as shown in FIG. .
- the recognition rate is corrected for each recognition model Mn by multiplying the existence probability for the distance Lh. Acquisition of the recognition score Sn is executed.
- the recognition rate for each recognition model Mn includes a plurality of each of the matching degrees TP and TN and the mismatching degrees FP and FN
- the existence probability is multiplied for each of these types.
- the recognition rate for each recognition model Mn includes one of each of the matching degrees TP and TN and the non-matching degrees FP and FN, the one type is multiplied by the existence probability.
- acquisition of the recognition score Sn for each recognition model Mn is stopped.
- the fusion block 120 in S105 optimizes the fusion rate ⁇ n for each recognition model Mn based on the recognition score Sn obtained for each recognition model Mn.
- the recognition score Sn for each mesh area Am in which the distance Lh to the center position of the area is within the moving distance range ⁇ L for example, the total value or average value in the mesh area Am is calculated for each recognition model Mn. It is used as a score representative value ⁇ n (see FIG. 18 described later).
- the suffix n in the symbol ⁇ n also means an integer from 1 to N as an index for identifying the score representative value ⁇ n corresponding to each of the N recognition models Mn.
- the fusion block 120 in S105 defines Equation 3 that weights the score representative value ⁇ n for each recognition model Mn by the fusion rate ⁇ n for each recognition model Mn to obtain the weighted average J in FIG. Under this definition, one of the calculations C1 to C7 shown in FIG. 18 is adopted as the optimization calculation of the fusion rate ⁇ n using Equation 3.
- the calculation C1 optimizes the fusion rate ⁇ n so that the weighted average J(TP+TN) using the score representative value ⁇ n of the sum of the recognition scores Sn correlated with the matching degrees TP and TN is maximized.
- the calculation C1 optimizes the fusion rate ⁇ n so that the reciprocal of the weighted average J(TP+TN) using the score representative value S ⁇ n of the sum of the recognition scores Sn correlated with the degrees of matching TP and TN is minimized. do.
- Calculation C2 optimizes the fusion rate ⁇ n such that the reciprocal of the weighted average J(FP+FN) using the score representative value ⁇ n of the sum of the recognition scores Sn correlated with the degrees of mismatch FP and FN is maximized. .
- the calculation C2 optimizes the fusion rate ⁇ n such that the weighted average J(FP+FN) using the score representative value ⁇ n of the sum of the recognition scores Sn correlated with the degrees of mismatch FP and FN is minimized.
- the calculation C3 optimizes the fusion rate ⁇ n so that the reciprocal of the weighted average J(FP) using the score representative value ⁇ n of the recognition score Sn correlated with the degree of mismatch FP is maximized.
- the calculation C3 optimizes the fusion rate ⁇ n such that the weighted average J(FP) using the score representative value ⁇ n of the recognition score Sn correlated with the degree of mismatch FP is minimized.
- the calculation C4 optimizes the fusion rate ⁇ n so that the reciprocal of the weighted average J(FN) using the score representative value ⁇ n of the recognition score Sn correlated with the degree of mismatch FN is maximized.
- the calculation C4 optimizes the fusion rate ⁇ n such that the weighted average J(FN) using the score representative value ⁇ n of the recognition score Sn correlated with the degree of mismatch FN is minimized.
- Calculation C5 is a weighted average J(TP+TN) using the score representative value S ⁇ n of the sum of the recognition scores Sn correlated with the degrees of matching TP and TN, and the sum of the recognition scores Sn correlated with the degrees of mismatch FP and FN.
- the fusion rate ⁇ n is optimized so as to maximize the sum with the reciprocal of the weighted average J(FP+FN) using the score representative value ⁇ n of .
- the calculation C5 is the reciprocal of the weighted average J(TP+TN) using the score representative value S ⁇ n of the sum of the recognition scores Sn correlated with the degrees of matching TP and TN, and the recognition score correlated with the degrees of mismatch FP and FN.
- the fusion rate ⁇ n is optimized so that the sum with the weighted average J(FP+FN) using the score representative value ⁇ n of the sum of Sn is minimized.
- Calculation C6 is a weighted average J(TP+TN) using the score representative value S ⁇ n of the sum of the recognition scores Sn correlated with the degree of matching TP and TN, and the score representative value S of the recognition score Sn correlated with the degree of disagreement FP.
- the fusion rate ⁇ n is optimized so that the sum with the reciprocal of the weighted average J(FP) using ⁇ n is maximized.
- the calculation C6 is the reciprocal of the weighted average J(TP+TN) using the score representative value S ⁇ n of the sum of the recognition scores Sn correlated with the degree of matching TP and TN, and the score of the recognition score Sn correlated with the degree of mismatch FP.
- the fusion rate ⁇ n is optimized so that the sum with the weighted average J(FP) using the representative value ⁇ n is minimized.
- Calculation C7 is a weighted average J(TP+TN) using the score representative value S ⁇ n of the sum of the recognition scores Sn correlated with the degree of matching TP and TN, and the score representative value S of the recognition score Sn correlated with the degree of disagreement FN.
- the fusion rate ⁇ n is optimized so that the sum with the reciprocal of the weighted average J(FN) using ⁇ n is maximized.
- the calculation C7 is the reciprocal of the weighted average J(TP+TN) using the score representative value S ⁇ n of the sum of the recognition scores Sn correlated with the degree of matching TP and TN, and the score of the recognition score Sn correlated with the degree of non-matching FN.
- the fusion rate ⁇ n is optimized so that the sum with the weighted average J(FN) using the representative value ⁇ n is minimized.
- the fusion block 120 in S105 fuses the recognition data from each recognition model Mn into integrated data by weighting it with the optimized fusion rate ⁇ n.
- the recognition data by each recognition model Mn includes the position coordinates of the target moving body 3
- the position coordinates by each recognition model Mn are weighted by the fusion rate ⁇ n, so that the position coordinates after weighted averaging are integrated. It should be output as data.
- the fusion rate ⁇ n of the recognition model Mn whose recognition confidence level has fallen outside the allowable range becomes zero. may be forced.
- the fusion rate ⁇ n may be normalized to fuse the other types of data. In this way, the other types of data acquired by the recognition model Mn with low recognition confidence may be excluded from the fusion to the integrated data regardless of the optimized fusion rate ⁇ n.
- the fusion block 120 in S105 may associate at least one of the optimized fusion rate ⁇ n and the recognition data fused thereby with the time stamp and store it in the memory 10 .
- the fusion block 120 in S105 transmits at least one of the optimized fusion rate ⁇ n and the recognition data fused thereby to the external server through the communication system 5 as information associated with a time stamp. It may be stored in the server.
- the fusion block 120 in S105 may cause the information presentation system 6 to display and output the recognition data fused with the optimized fusion rate ⁇ n.
- the constraint block 130 weights the recognition score Sn for each recognition model Mn and for each mesh area Am using the optimized fusion rate ⁇ n for each recognition model Mn, and Define Equation 4, which determines the weighted average K of .
- the constraint block 130 of S105 sets constraints based on the weighted average K on the Operational Design Domain (ODD) for the host vehicle 2 in autonomous driving mode.
- ODD Operational Design Domain
- the mesh area Am in which the weighted average K using the recognition score Sn correlated with at least one of the degrees of matching TP, TN and the degrees of mismatching FP, FN is outside the set range is considered as a restriction target. 19 will be removed from the ODD as exemplified by crossing out.
- the restriction trigger for the mesh area Am is Become.
- the restriction trigger for the mesh area Am is Become.
- the probability distribution Dp that the target moving body 3 exists with respect to the distance Lh from the host vehicle 2 is acquired according to the travel area Ad of the host vehicle 2 . Therefore, in the present embodiment, each of the multiple recognition models Mn for recognizing the target moving object 3 is recognized according to the recognition rate and thus the fusion rate ⁇ n based on the recognition score Sn, which correlates with the acquisition probability distribution Dp. Recognition data by is fused. According to this, even if the required recognition performance required according to the driving area Ad changes, appropriate fusion is realized by following the fusion rate ⁇ n that matches the recognition score Sn, in which the change can be reflected by the probability distribution Dp. can do. Therefore, it is possible to ensure the recognition accuracy of the target moving body 3 in the host vehicle 2 .
- the probability distribution Dp is acquired based on the velocity distribution Dv and the acceleration distribution Da of the moving object in the travel area Ad. According to this, even if the required recognition performance changes according to the speed distribution Dv and the acceleration distribution Da that influence the probability distribution Dp of the travel area Ad, the fusion rate ⁇ n according to the recognition score Sn that can reflect the change , proper fusion can be realized. Therefore, it is possible to improve the recognition accuracy of the target moving body 3 in the host vehicle 2 .
- the larger side of the movement distance range ⁇ L in which the host vehicle 2 moves A probability distribution Dp is obtained. According to this, even if the required recognition performance changes according to the probability distribution Dp limited within the moving distance range ⁇ L on the safe side of the critical gap tc and the required recognition time ts, the change can be reflected. Appropriate fusion can be achieved by the fusion rate ⁇ n that matches the recognition score Sn. Therefore, it is possible to ensure the recognition accuracy of the target moving body 3 in the host vehicle 2 in the shortest possible processing time.
- the fusion rate ⁇ n is optimized based on the recognition score Sn for each recognition model Mn, which is obtained by correcting the recognition rate, which is at least one of the recognition matching degrees TP and TN, with the probability distribution Dp. become. According to this, the fusion rate ⁇ n can be optimized so as to ensure the matching of recognition with reality after fusion. Therefore, it is possible to ensure high recognition accuracy of the target moving body 3 in the host vehicle 2 .
- the fusion rate ⁇ n is optimized based on the recognition score Sn for each recognition model Mn, which is obtained by correcting the recognition rate, which is at least one of the degrees of discrepancy FP and FN of recognition with respect to reality, using the probability distribution Dp. become.
- the fusion rate ⁇ n can be optimized so as to reduce the discrepancy in recognition of reality after fusion. Therefore, it is possible to ensure high recognition accuracy of the target moving body 3 in the host vehicle 2 .
- the fusion rate ⁇ n is optimized based on the recognition score Sn for each recognition model Mn, which is the recognition rate corrected by the presence probability dependent on the distance Lh from the host vehicle 2 in the probability distribution Dp. be. According to this, even if the demanded recognition performance changes, appropriate fusion can be realized by the fusion rate ⁇ n that matches the recognition score Sn that can reflect the change according to the distance Lh in the travel area Ad. can be done. Therefore, it is possible to ensure the recognition accuracy of the target moving body 3 over the travel area Ad of the host vehicle 2 .
- the fusion rate ⁇ n is based on the recognition score Sn for each recognition model Mn, which is obtained by correcting the recognition rate for each mesh area Am obtained by dividing the driving area Ad into a plurality of parts by the existence probability of the probability distribution Dp. optimized. According to this, the fusion rate ⁇ n can be precisely optimized with respect to the required recognition performance in each mesh area Am according to the distance Lh from the host vehicle 2 . Therefore, it is possible to secure the recognition accuracy of the target moving body 3 over the travel area Ad of the host vehicle 2 in a short time with high accuracy.
- the ODD constraint for the host vehicle 2 in the automatic driving mode is set based on the weighted average K obtained by weighting the recognition score Sn for each recognition model Mn and for each mesh area Am by the fusion rate ⁇ n. be done. According to this, even if the required recognition performance required according to the driving area Ad changes, the host vehicle 2 in the automatic driving mode limits the ODD according to the recognition score Sn and the fusion rate ⁇ n that can reflect the change. can be given to Therefore, in the host vehicle 2, in addition to the recognition accuracy of the target moving body 3, it is possible to ensure the ODD setting accuracy.
- the dedicated computer that constitutes the processing system 1 may have at least one of digital circuits and analog circuits as a processor.
- Digital circuits here include, for example, ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), SOC (System on a Chip), PGA (Programmable Gate Array), and CPLD (Complex Programmable Logic Device).
- ASIC Application Specific Integrated Circuit
- FPGA Field Programmable Gate Array
- SOC System on a Chip
- PGA Programmable Gate Array
- CPLD Complex Programmable Logic Device
- the movement distance range ⁇ L may be limited to the distance range in which the host vehicle 2 moves in the critical gap tc. In S102 by the distribution acquisition block 100 of the modified example, the movement distance range ⁇ L may be limited to the distance range in which the host vehicle 2 moves during the required recognition time ts. In S102 by the distribution acquisition block 100 of the modified example, the moving distance range ⁇ L may be limited to a fixed value other than those of these modified examples. In S102 by the distribution acquisition block 100 of the modified example, the probability distribution Dp itself specific to each travel area Ad may be acquired, for example, from an external center or the like.
- the recognition rate continuously dispersed with respect to the distance Lh is acquired for each recognition model Mn in at least a part of the direction centered on the host vehicle 2 in the travel area Ad.
- the recognition score Sn which is continuously dispersed with respect to the distance Lh, is acquired for each recognition model Mn in at least a part of the direction centered on the host vehicle 2 in the travel area Ad.
- the recognition rate for each recognition model Mn may be acquired as a common value over the entire travel area Ad.
- the recognition score Sn for each recognition model Mn is obtained as a common value over the entire driving area Ad.
- optimization of the fusion rate ⁇ n may be executed by combining a plurality of the calculations C1 to C7.
- S106 by constraint block 130 may be omitted.
- the host mobile body to which the processing system 1 is applied may be, for example, an autonomous mobile robot capable of remote control of travel.
- the above-described embodiments and modifications are provided as a processing device that can be mounted on the host vehicle 2.
- a controller having at least one processor 12 and one memory 10 of the processing system 1 ( For example, it may be implemented in the form of a control ECU, etc.).
- the processing device configured to be mountable on the host vehicle 2 is a semiconductor device (for example, a semiconductor chip) having at least one processor 12 and at least one memory 10 of the processing system 1. may be implemented in the form
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
ホスト移動体におけるターゲット移動体の認識に関連した、認識関連処理を遂行する処理システムのプロセッサは、ホスト移動体からの距離(Lh)に対してターゲット移動体が存在する確率分布(Dp)を、ホスト移動体の走行エリア(Ad)に応じて取得することと、ターゲット移動体を認識する認識率を、複数の認識モデルMn毎に取得することと、各認識モデルMn毎に認識率と確率分布(Dp)とに相関する、認識スコア(Sn)に基づいたフュージョン率(ωn)に従って、各認識モデル(Mn)による認識データをフュージョンすることとを、実行するように構成される。
Description
この出願は、2021年7月12日に日本に出願された特許出願第2021-115163号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
本開示は、ホスト移動体におけるターゲット移動体の認識に関連した、認識関連処理を遂行する技術に関する。
特許文献1に開示される技術は、ホスト移動体としての車両においてターゲット移動体としての歩行者を認識するために、認識モデルとしての辞書を複数利用している。
特許文献1の開示技術は、演算時間を低減するために、最低解像度となる辞書を探索して選択的に利用している。しかし、辞書に対して求められる要求認識性能は、車両の走行エリアに応じて変化するため、最低解像度の辞書に基づく認識だけでは認識精度の確保が困難となるおそれがあった。
本開示の課題は、ホスト移動体におけるターゲット移動体の認識精度を確保する処理システムを、提供することにある。本開示の別の課題は、ホスト移動体におけるターゲット移動体の認識精度を確保する処理装置を、提供することにある。本開示のまた別の課題は、ホスト移動体におけるターゲット移動体の認識精度を確保する処理方法を、提供することにある。本開示のさらに別の課題は、ホスト移動体におけるターゲット移動体の認識精度を確保する処理プログラムを、提供することにある。
以下、課題を解決するための本開示の技術的手段について、説明する。
本開示の第一態様は、
プロセッサを有し、ホスト移動体におけるターゲット移動体の認識に関連した、認識関連処理を遂行する処理システムであって、
プロセッサは、
ホスト移動体からの距離に対してターゲット移動体が存在する確率分布を、ホスト移動体の走行エリアに応じて取得することと、
ターゲット移動体を認識する認識率を、複数の認識モデル毎に取得することと、
各認識モデル毎に認識率と確率分布とに相関する、認識スコアに基づいたフュージョン率に従って、各認識モデルによる認識データをフュージョンすることとを、実行するように構成される。
プロセッサを有し、ホスト移動体におけるターゲット移動体の認識に関連した、認識関連処理を遂行する処理システムであって、
プロセッサは、
ホスト移動体からの距離に対してターゲット移動体が存在する確率分布を、ホスト移動体の走行エリアに応じて取得することと、
ターゲット移動体を認識する認識率を、複数の認識モデル毎に取得することと、
各認識モデル毎に認識率と確率分布とに相関する、認識スコアに基づいたフュージョン率に従って、各認識モデルによる認識データをフュージョンすることとを、実行するように構成される。
本開示の第二態様は、
プロセッサを有し、ホスト移動体に搭載可能に構成され、ホスト移動体におけるターゲット移動体の認識に関連した、認識関連処理を遂行する処理装置であって、
プロセッサは、
ホスト移動体からの距離に対してターゲット移動体が存在する確率分布を、ホスト移動体の走行エリアに応じて取得することと、
ターゲット移動体を認識する認識率を、複数の認識モデル毎に取得することと、
各認識モデル毎に認識率と確率分布とに相関する、認識スコアに基づいたフュージョン率に従って、各認識モデルによる認識データをフュージョンすることとを、実行するように構成される。
プロセッサを有し、ホスト移動体に搭載可能に構成され、ホスト移動体におけるターゲット移動体の認識に関連した、認識関連処理を遂行する処理装置であって、
プロセッサは、
ホスト移動体からの距離に対してターゲット移動体が存在する確率分布を、ホスト移動体の走行エリアに応じて取得することと、
ターゲット移動体を認識する認識率を、複数の認識モデル毎に取得することと、
各認識モデル毎に認識率と確率分布とに相関する、認識スコアに基づいたフュージョン率に従って、各認識モデルによる認識データをフュージョンすることとを、実行するように構成される。
本開示の第三態様は、
ホスト移動体におけるターゲット移動体の認識に関連した、認識関連処理を遂行するためにプロセッサにより実行される処理方法であって、
ホスト移動体からの距離に対してターゲット移動体が存在する確率分布を、ホスト移動体の走行エリアに応じて取得することと、
ターゲット移動体を認識する認識率を、複数の認識モデル毎に取得することと、
各認識モデル毎に認識率と確率分布とに相関する、認識スコアに基づいたフュージョン率に従って、各認識モデルによる認識データをフュージョンすることとを、含む。
ホスト移動体におけるターゲット移動体の認識に関連した、認識関連処理を遂行するためにプロセッサにより実行される処理方法であって、
ホスト移動体からの距離に対してターゲット移動体が存在する確率分布を、ホスト移動体の走行エリアに応じて取得することと、
ターゲット移動体を認識する認識率を、複数の認識モデル毎に取得することと、
各認識モデル毎に認識率と確率分布とに相関する、認識スコアに基づいたフュージョン率に従って、各認識モデルによる認識データをフュージョンすることとを、含む。
本開示の第四態様は、
ホスト移動体におけるターゲット移動体の認識に関連した、認識関連処理を遂行するために記憶媒体に記憶され、プロセッサに実行させる命令を含む処理プログラムであって、
命令は、
ホスト移動体からの距離に対してターゲット移動体が存在する確率分布を、ホスト移動体の走行エリアに応じて取得させることと、
ターゲット移動体を認識する認識率を、複数の認識モデル毎に取得させることと、
各認識モデル毎に認識率と確率分布とに相関する、認識スコアに基づいたフュージョン率に従って、各認識モデルによる認識データをフュージョンさせることとを、含む。
ホスト移動体におけるターゲット移動体の認識に関連した、認識関連処理を遂行するために記憶媒体に記憶され、プロセッサに実行させる命令を含む処理プログラムであって、
命令は、
ホスト移動体からの距離に対してターゲット移動体が存在する確率分布を、ホスト移動体の走行エリアに応じて取得させることと、
ターゲット移動体を認識する認識率を、複数の認識モデル毎に取得させることと、
各認識モデル毎に認識率と確率分布とに相関する、認識スコアに基づいたフュージョン率に従って、各認識モデルによる認識データをフュージョンさせることとを、含む。
これら第一~第四態様によると、ホスト移動体からの距離に対してターゲット移動体の存在する確率分布が、ホスト移動体の走行エリアに応じて取得される。そこで第一~第四態様では、ターゲット移動体を認識する複数認識モデル毎に認識率と、こうして取得の確率分布とに相関する、認識スコアに基づいたフュージョン率に従って、それら各認識モデルによる認識データがフュージョンされる。これによれば、走行エリアに応じて求められる要求認識性能が変化したとしても、当該変化が確率分布によって反映され得る認識スコアに合わせたフュージョン率に従うことで、適正なフュージョンを実現することができる。故に、ホスト移動体におけるターゲット移動体の認識精度を、確保することが可能となる。
以下、本開示の一実施形態を図面に基づき説明する。
図1に示す一実施形態の処理システム1は、ホスト移動体としての図2に示すホスト車両2におけるターゲット移動体3の認識に関連した、認識関連処理を遂行する。ホスト車両2を中心とする視点において、ホスト車両2は自車両(ego-vehicle)であるともいえる。ホスト車両2は、乗員の搭乗状態において走行路を走行可能な、例えば自動車等の移動体である。ホスト車両2を中心とする視点において、ターゲット移動体3は他道路ユーザであるともいえる。ターゲット移動体3は、例えば自動車、バイク、自転車、自律走行ロボット、歩行者、及び動物等のうち、少なくとも一種類を含む。
ホスト車両2においては、運転タスクにおける乗員の手動介入度に応じてレベル分けされる、自動運転モードが与えられる。自動運転モードは、条件付運転自動化、高度運転自動化、又は完全運転自動化といった、作動時のシステムが全ての運転タスクを実行する自律走行制御により、実現されてもよい。自動運転モードは、運転支援、又は部分運転自動化といった、乗員が一部若しくは全ての運転タスクを実行する高度運転支援制御により、実現されてもよい。自動運転モードは、それら自律走行制御と高度運転支援制御とのいずれか一方、組み合わせ、又は切り替えにより実現されてもよい。
ホスト車両2には、図1に示すセンサ系4、通信系5、情報提示系6、及び地図データベース7が搭載される。センサ系4は、処理システム1により利用可能なセンサ情報を、ホスト車両2の外界及び内界の検出により取得する。そのためにセンサ系4は、外界センサ40及び内界センサ42を含んで構成されている。
外界センサ40は、ホスト車両2の周辺環境となる外界から、センサ情報としての外界情報を取得する。外界センサ40は、ホスト車両2の外界に存在する物標を検知することで、外界情報を取得してもよい。物標検知タイプの外界センサ40は、例えばカメラ、LiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)、レーダ、及びソナー等のうち、少なくとも一種類である。
内界センサ42は、ホスト車両2の内部環境となる内界から、処理システム1により利用可能な内界情報を取得する。内界センサ42は、ホスト車両2の内界において特定の運動物理量を検知することで、内界情報を取得してもよい。物理量検知タイプの内界センサ42は、例えば走行速度センサ、加速度センサ、及びジャイロセンサ等のうち、少なくとも一種類である。内界センサ42は、ホスト車両2の内界において乗員の特定状態を検知することで、内界情報を取得してもよい。乗員検知タイプの内界センサ42は、例えばドライバーステータスモニター(登録商標)、生体センサ、着座センサ、アクチュエータセンサ、及び車内機器センサ等のうち、少なくとも一種類である。
通信系5は、処理システム1により利用可能な通信情報を、無線通信により取得する。通信系5は、ホスト車両2の外界に存在するGNSS(Global Navigation Satellite System)の人工衛星から、測位信号を受信してもよい。測位タイプの通信系5は、例えばGNSS受信機等である。通信系5は、ホスト車両2の外界に存在するV2Xシステムとの間において、通信信号を送受信してもよい。V2Xタイプの通信系5は、例えばDSRC(Dedicated Short Range Communications)通信機、及びセルラV2X(C-V2X)通信機等のうち、少なくとも一種類である。通信系5は、ホスト車両2の内界に存在する端末との間において、通信信号を送受信してもよい。端末通信タイプの通信系5は、例えばブルートゥース(Bluetooth:登録商標)機器、Wi-Fi(登録商標)機器、及び赤外線通信機器等のうち、少なくとも一種類である。
情報提示系6は、ホスト車両2の乗員へ向けた報知情報を提示する。情報提示系6は、乗員の視覚を刺激することで、報知情報を提示してもよい。視覚刺激タイプの情報提示系6は、例えばHUD(Head-Up Display)、MFD(Multi-Function Display)、コンビネーションメータ、ナビゲーションユニット、及び発光ユニット等のうち、少なくとも一種類である。情報提示系6は、乗員の聴覚を刺激することで、報知情報を提示してもよい。聴覚刺激タイプの情報提示系6は、例えばスピーカ、ブザー、及びバイブレーションユニット等のうち、少なくとも一種類である。
地図データベース7は、処理システム1により利用可能な地図情報を、記憶する。地図データベース7は、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)を含んで構成されている。地図データベース7は、ホスト車両2の自己位置を含む自己状態量を推定するロケータの、データベースであってもよい。地図データベース7は、ホスト車両2の走行経路をナビゲートするナビゲーションユニットの、データベースであってもよい。地図データベース7は、これらのデータベース等のうち複数種類の組み合わせにより、構成されていてもよい。
地図データベース7は、例えばV2Xタイプの通信系5を介した外部センタとの通信等により、最新の地図情報を取得して記憶する。ここで地図情報は、ホスト車両2の走行環境を表す情報として、二次元又は三次元にデータ化されている。特に三次元の地図データとしては、高精度地図のデジタルデータが採用されるとよい。地図情報は、例えば道路自体の位置、形状、及び路面状態等のうち、少なくとも一種類を表した道路情報を含んでいてもよい。地図情報は、例えば道路に付属する標識及び区画線の位置並びに形状等のうち、少なくとも一種類を表した標示情報を含んでいてもよい。地図情報は、例えば道路に面する建造物及び信号機の位置並びに形状等のうち、少なくとも一種類を表した構造物情報を含んでいてもよい。
処理システム1は、例えばLAN(Local Area Network)回線、ワイヤハーネス、内部バス、及び無線通信回線等のうち、少なくとも一種類を介してセンサ系4、通信系5、情報提示系6、及び地図データベース7に接続されている。処理システム1は、少なくとも一つの専用コンピュータを含んで構成されている。
処理システム1を構成する専用コンピュータは、ホスト車両2の運転を制御する、運転制御ECU(Electronic Control Unit)であってもよい。処理システム1を構成する専用コンピュータは、ホスト車両2の走行経路をナビゲートする、ナビゲーションECUであってもよい。処理システム1を構成する専用コンピュータは、ホスト車両2の自己状態量を推定する、ロケータECUであってもよい。処理システム1を構成する専用コンピュータは、ホスト車両2の走行アクチュエータを制御する、アクチュエータECUであってもよい。処理システム1を構成する専用コンピュータは、ホスト車両2において情報提示系6による情報提示を制御する、HCU(HMI(Human Machine Interface) Control Unit)であってもよい。処理システム1を構成する専用コンピュータは、例えばV2Xタイプの通信系5を介して通信可能な外部センタ又はモバイル端末等を構成する、ホスト車両2以外のコンピュータであってもよい。
処理システム1を構成する専用コンピュータは、メモリ10及びプロセッサ12を、少なくとも一つずつ有している。メモリ10は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ12は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、RISC(Reduced Instruction Set Computer)-CPU、DFP(Data Flow Processor)、及びGSP(Graph Streaming Processor)等のうち、少なくとも一種類をコアとして含んでいる。
処理システム1においてプロセッサ12は、ホスト車両2における認識関連処理を遂行するためにメモリ10に記憶された、処理プログラムに含まれる複数の命令を実行する。これにより処理システム1は、ホスト車両2における認識関連処理を遂行するための機能ブロックを、複数構築する。処理システム1において構築される複数の機能ブロックには、図3に示すように分布取得ブロック100、認識率取得ブロック110、フュージョンブロック120、及び制約ブロック130が含まれている。
これらのブロック100,110の共同により、処理システム1がホスト車両2における認識関連処理を遂行するための処理方法は、図4に示す処理フローに従って実行される。本処理フローは、ホスト車両2の起動中に繰り返し実行される。尚、本処理フローにおける各「S」は、処理プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味している。
処理フローのS101において分布取得ブロック100は、センサ系4、通信系5、及び地図データベース7の取得又は記憶情報に基づき、ホスト車両2の自己位置を含む走行シーンを判断することで、ホスト車両2の走行エリアAd(図2参照)を特定する。このとき走行エリアAdは、ホスト車両2の横方向の左右と縦方向の前後とにおいて、ホスト車両2がターゲット移動体3を認識する必要のある距離範囲のエリアに、特定される。
処理フローのS102において分布取得ブロック100は、図5に示すように、ホスト車両2からの距離Lhに対してターゲット移動体3が存在する確率分布Dpを、ホスト車両2の走行エリアAdに応じて取得する。
具体的にS102の分布取得ブロック100は、走行エリアAdにおいて移動体の取る速度vmが図6に示すように連続分散、若しくは断続分散(即ち、ヒストグラム分散)する状況を表した速度分布Dvを、センサ系4、通信系5、及び地図データベース7の取得又は記憶情報に基づき取得する。それと共にS102の分布取得ブロック100は、走行エリアAdにおいて移動体の取る加速度amが図7に示すように連続分散、若しくは断続分散する状況を表した加速度分布Daを、センサ系4、通信系5、及び地図データベース7の取得又は記憶情報に基づき取得する。これら速度分布Dv及び加速度分布Daは、対象とする速度vm若しくは加速度amを取る移動体の頻度として、全体割合又は数を提供する。そこで速度分布Dv及び加速度分布Daは、走行エリアAd毎に特有のデータとして、例えば外部センタに蓄積された最新の交通情報等を用いて取得されるとよい。
S102の分布取得ブロック100は、走行エリアAdにおける移動体の臨界ギャップtcと、走行エリアAdにおけるホスト車両2の認識必要時間tsとのうち、数1及び図5に示すように大側となる一方を上限時間tmとして取得する。
ここで臨界ギャップtcは、例えば図8~12に示すように複数移動体の走行軌道が交錯する交差点進入、合流、又は車線変更等の軌道交錯シーンにおいて、走行軌道を変化させる側の移動体が当該軌道変化を実行する確率と、当該軌道変化を見送る確率との、等しくなるギャップを意味する。尚、図8~12では、走行軌道を変化させる側の移動体がホスト車両2として描かれ、ギャップを形成する側の移動体がターゲット移動体3として描かれている。
そこで臨界ギャップtcは、例えば外部センタに蓄積された最新のギャップアクセスタンス情報等を用いて、図13に例示するように取得されるとよい。また臨界ギャップtcは、ホスト車両2において軌道交錯シーンが想定されていない場合には、0値に強制されるとよい。
一方で認識必要時間tsは、走行エリアAdにおいてホスト車両2がターゲット移動体3を認識する必要のある最大時間を、意味する。そこで認識必要時間tsは、例えばホスト車両2における経路計画情報等を用いて、取得されるとよい。また認識必要時間tsは、例えば軌道交錯シーンでは、ホスト車両2が現在から軌道変化を開始するまでの時間等に、設定されるとよい。
S102の分布取得ブロック100は、図5に示すように、現在から上限時間tmの間にホスト車両2が移動する移動距離範囲ΔL内において、走行エリアAdに応じた確率分布Dpを取得する。ここで確率分布Dpは、ホスト車両2からの距離Lhに対してターゲット移動体3が存在する全体割合又は数の分散状況を、示している。即ち確率分布Dpは、距離Lhに依存したターゲット移動体3の存在確率として、分散した全体割合又は数を提供する。そこで確率分布Dpは、上限時間tmを変数とした数2を満たすように、速度分布Dv及び加速度分布Daが合成されることで、取得される。
図4に示す処理フローのS103において認識率取得ブロック110は、走行エリアAdにおいてターゲット移動体3を認識する認識率を、複数の認識モデルMn毎に取得する。ここで各認識モデルMnは、走行エリアAdでの走行シーンに応じてターゲット移動体3を認識するためのルールモデル(即ち、認識ロジック)又は機械学習モデルとして、図14に示すようにメモリ10に記憶されている。尚、符号Mnにおけるサフィックスnは、N個の認識モデルMnをそれぞれ識別するためのインデックスとして、1~Nの整数を意味する。
具体的に各認識モデルMnは、ホスト車両2の横方向の左右と縦方向の前後とにおいて、図15に示すように走行エリアAdをそれぞれ複数ずつの矩形格子状に分割したメッシュエリア(即ち、グリッドともいう)Am毎に、認識率を規定している。こうした各メッシュエリアAmの形状は、それらメッシュエリアAm間に隙間エリアが発生しない限りにおいて、矩形格子状以外の形状に設定されてもよい。尚、図15において各メッシュエリアAm内の数値は、それぞれ認識率を表している。
本実施形態の各認識モデルMnにおいてメッシュエリアAm毎に規定される認識率は、図16に示すように、現実世界と認識とでの一致度TP,TN、及び現実世界と認識とでの不一致度FP,FNのうち、少なくとも一種類を含んでいる。ここで一致度TP(True Positive)は、現実世界でのターゲット移動体3の存在有りに対して、認識結果が存在有りと一致する、認識成功率である。一致度TN(True Negative)は、現実世界でのターゲット移動体3の存在無しに対して、認識結果が存在無しと一致する、認識成功率である。不一致度FP(False Positive)は、現実世界でのターゲット移動体3の存在無しに対して、認識結果が存在有りの不一致となる、誤認識率である。不一致度FN(False Negative)は、現実世界でのターゲット移動体3の存在有りに対して、認識結果が存在無しの不一致となる、誤認識率である。
図4に示す処理フローのS104においてフュージョンブロック120は、各認識モデルMnによる認識データを、センサ系4、通信系5、及び地図データベース7の取得又は記憶情報に基づき取得する。各認識モデルMnによる認識データは、それぞれターゲット移動体3に関するデータとして、例えば位置、速度、形状、種別、及び認識自信度(即ち、認識信頼度)等のうち、少なくとも一種類を含んで取得される。
処理フローのS105においてフュージョンブロック120は、各認識モデルMn毎に認識率と確率分布Dpとに図17に示すように相関する、認識スコアSnに基づいたフュージョン率ωnに従って、各認識モデルMnによる認識データをフュージョンする。尚、符号Sn,ωnにおけるサフィックスnも、N個の認識モデルMnにそれぞれ対応する認識スコアSn及びフュージョン率ωnを識別するためのインデックスとして、1~Nの整数を意味する。
具体的にS105のフュージョンブロック120は、各認識モデルMn毎の認識率を確率分布Dpにより補正することで、それら各認識モデルMn毎の認識スコアSnを取得する。このとき認識スコアSnを取得する補正は、確率分布Dpにおいて距離Lhに依存したターゲット移動体3の存在確率を、図17の如く各認識モデルMn毎の認識率に乗算することで、実現される。
そこで、ホスト車両2からエリア中心位置までの距離Lhが確率分布Dpの移動距離範囲ΔL内となる複数メッシュエリアAmでは、当該距離Lhに対する存在確率の乗算によって各認識モデルMn毎に認識率を補正した、認識スコアSnの取得を実行する。ここで、一致度TP,TN及び不一致度FP,FNのうち複数種類ずつを各認識モデルMn毎の認識率が含む場合、それら各種類別に存在確率が乗算されることになる。一方、一致度TP,TN及び不一致度FP,FNのうち一種類ずつを各認識モデルMn毎の認識率が含む場合、当該一種類に存在確率が乗算されることになる。但し、ホスト車両2からエリア中心位置までの距離Lhが確率分布Dpの移動距離範囲ΔL外となる少なくとも一つのメッシュエリアAmでは、各認識モデルMn毎での認識スコアSnの取得が中止される。
S105のフュージョンブロック120は、各認識モデルMn毎に取得した認識スコアSnに基づくことで、それら各認識モデルMn毎のフュージョン率ωnを最適化する。このとき、エリア中心位置までの距離Lhが移動距離範囲ΔL内となる各メッシュエリアAm別の認識スコアSnに関して、それらメッシュエリアAmでの例えば総和値又は平均値等が、各認識モデルMn毎のスコア代表値S^n(後述の図18参照)として用いられる。尚、符号S^nにおけるサフィックスnも、N個の認識モデルMnにそれぞれ対応するスコア代表値S^nを識別するためのインデックスとして、1~Nの整数を意味する。
そこでS105のフュージョンブロック120は、各認識モデルMn毎のスコア代表値S^nを、各認識モデルMn毎のフュージョン率ωnにより重み付けして図18の加重平均Jを求める、数3を定義する。この定義の下、数3を用いたフュージョン率ωnの最適化演算として、図18に示す演算C1~C7のうち、いずれかが採用される。
演算C1は、一致度TP,TNにそれぞれ相関する認識スコアSnの和のスコア代表値S^nを用いた加重平均J(TP+TN)が最大となるように、フュージョン率ωnを最適化する。あるいは演算C1は、一致度TP,TNにそれぞれ相関する認識スコアSnの和のスコア代表値S^nを用いた加重平均J(TP+TN)の逆数が最小となるように、フュージョン率ωnを最適化する。
演算C2は、不一致度FP,FNにそれぞれ相関する認識スコアSnの和のスコア代表値S^nを用いた加重平均J(FP+FN)の逆数が最大となるように、フュージョン率ωnを最適化する。あるいは演算C2は、不一致度FP,FNにそれぞれ相関する認識スコアSnの和のスコア代表値S^nを用いた加重平均J(FP+FN)が最小となるように、フュージョン率ωnを最適化する。
演算C3は、不一致度FPに相関する認識スコアSnのスコア代表値S^nを用いた加重平均J(FP)の逆数が最大となるように、フュージョン率ωnを最適化する。あるいは演算C3は、不一致度FPに相関する認識スコアSnのスコア代表値S^nを用いた加重平均J(FP)が最小となるように、フュージョン率ωnを最適化する。
演算C4は、不一致度FNに相関する認識スコアSnのスコア代表値S^nを用いた加重平均J(FN)の逆数が最大となるように、フュージョン率ωnを最適化する。あるいは演算C4は、不一致度FNに相関する認識スコアSnのスコア代表値S^nを用いた加重平均J(FN)が最小となるように、フュージョン率ωnを最適化する。
演算C5は、一致度TP,TNにそれぞれ相関する認識スコアSnの和のスコア代表値S^nを用いた加重平均J(TP+TN)と、不一致度FP,FNにそれぞれ相関する認識スコアSnの和のスコア代表値S^nを用いた加重平均J(FP+FN)の逆数との、総和が最大となるように、フュージョン率ωnを最適化する。あるいは演算C5は、一致度TP,TNにそれぞれ相関する認識スコアSnの和のスコア代表値S^nを用いた加重平均J(TP+TN)の逆数と、不一致度FP,FNにそれぞれ相関する認識スコアSnの和のスコア代表値S^nを用いた加重平均J(FP+FN)との、総和が最小となるように、フュージョン率ωnを最適化する。
演算C6は、一致度TP,TNにそれぞれ相関する認識スコアSnの和のスコア代表値S^nを用いた加重平均J(TP+TN)と、不一致度FPに相関する認識スコアSnのスコア代表値S^nを用いた加重平均J(FP)の逆数との、総和が最大となるように、フュージョン率ωnを最適化する。あるいは演算C6は、一致度TP,TNにそれぞれ相関する認識スコアSnの和のスコア代表値S^nを用いた加重平均J(TP+TN)の逆数と、不一致度FPに相関する認識スコアSnのスコア代表値S^nを用いた加重平均J(FP)との、総和が最小となるように、フュージョン率ωnを最適化する。
演算C7は、一致度TP,TNにそれぞれ相関する認識スコアSnの和のスコア代表値S^nを用いた加重平均J(TP+TN)と、不一致度FNに相関する認識スコアSnのスコア代表値S^nを用いた加重平均J(FN)の逆数との、総和が最大となるように、フュージョン率ωnを最適化する。あるいは演算C7は、一致度TP,TNにそれぞれ相関する認識スコアSnの和のスコア代表値S^nを用いた加重平均J(TP+TN)の逆数と、不一致度FNに相関する認識スコアSnのスコア代表値S^nを用いた加重平均J(FN)との、総和が最小となるように、フュージョン率ωnを最適化する
S105のフュージョンブロック120は、各認識モデルMnによる認識データを、最適化したフュージョン率ωnにより重み付けすることで、統合データへとフュージョンする。このとき、例えば各認識モデルMnによる認識データがターゲット移動体3の位置座標を含む場合、各認識モデルMnによる当該位置座標がフュージョン率ωnにより重み付けされることで、加重平均後の位置座標が統合データとして出力されるとよい。
また、例えば各認識モデルMnによる認識データがターゲット移動体3に対する認識自信度及び他種類データを含む場合、当該認識自信度が許容範囲外まで低下した認識モデルMnのフュージョン率ωnは、0値に強制されてもよい。ここで後者の例示において、認識自信度が低下した認識モデルMn以外となる認識モデルMnでは、フュージョン率ωnが正規化されることで、他種類データがフュージョンされるとよい。このように、認識自信度が低い認識モデルMnにより取得の他種類データは、最適化されたフュージョン率ωnに拘らず、統合データへのフュージョンから除外されもよいのである。
S105のフュージョンブロック120は、最適化したフュージョン率ωnと、それによってフュージョンした認識データとのうち、少なくとも一方をタイムスタンプと関連付けて、メモリ10に記憶してもよい。S105のフュージョンブロック120は、最適化したフュージョン率ωnと、それによってフュージョンした認識データとのうち、少なくとも一方をタイムスタンプと関連付けた情報として通信系5を通じて外部サーバへと送信することで、当該外部サーバに蓄積させてもよい。S105のフュージョンブロック120は、最適化したフュージョン率ωnによってフュージョンした認識データを、情報提示系6から表示出力させてもよい。
図4に示す処理フローのS106において制約ブロック130は、最適化された各認識モデルMn毎のフュージョン率ωnにより、各認識モデルMn毎且つ各メッシュエリアAm別の認識スコアSnを重み付けして図19の加重平均Kを求める、数4を定義する。この定義の下、S105の制約ブロック130は、自動運転モードでのホスト車両2に対する運行設計領域(ODD:Operational Design Domain)に関して、制約を加重平均Kに基づき設定する。このとき、一致度TP,TN及び不一致度FP,FNのうち少なくとも一種類に相関する認識スコアSnを用いての加重平均Kが、設定範囲外となっているメッシュエリアAmは、制約対象として図19に×印を付して例示するように、ODDから外されることになる。
ここで、一致度TP,TNのうち少なくとも一方に相関する認識スコアSnを用いた加重平均Kは、当該一致度TP,TN側の許容範囲外まで低下した場合に、メッシュエリアAmの制約トリガとなる。一方で、不一致度FP,FNのうち少なくとも一方に相関する認識スコアSnを用いた加重平均Kは、当該不一致度FP,FN側の許容範囲外まで上昇した場合に、メッシュエリアAmの制約トリガとなる。
(作用効果)
以上説明した本実施形態の作用効果を、以下に説明する。
以上説明した本実施形態の作用効果を、以下に説明する。
本実施形態によると、ホスト車両2からの距離Lhに対してターゲット移動体3の存在する確率分布Dpが、ホスト車両2の走行エリアAdに応じて取得される。そこで本実施形態では、ターゲット移動体3を認識する複数認識モデルMn毎に認識率と、こうして取得の確率分布Dpとに相関する、認識スコアSnに基づいたフュージョン率ωnに従って、それら各認識モデルMnによる認識データがフュージョンされる。これによれば、走行エリアAdに応じて求められる要求認識性能が変化したとしても、当該変化が確率分布Dpによって反映され得る認識スコアSnに合わせたフュージョン率ωnに従うことで、適正なフュージョンを実現することができる。故に、ホスト車両2におけるターゲット移動体3の認識精度を、確保することが可能となる。
本実施形態によると、走行エリアAdにおける移動体の速度分布Dv及び加速度分布Daに基づくことで、確率分布Dpが取得される。これによれば、走行エリアAdの確率分布Dpを左右する速度分布Dv及び加速度分布Daに応じて要求認識性能が変化したとしても、当該変化の反映され得る認識スコアSnに合わせたフュージョン率ωnにより、適正なフュージョンを実現することができる。故に、ホスト車両2におけるターゲット移動体3の認識精度を、高めることが可能となる。
本実施形態によると、走行エリアAdにおける移動体の臨界ギャップtcと、走行エリアAdにおけるホスト車両2の認識必要時間tsとのうち、大側においてホスト車両2が移動する移動距離範囲ΔL内での確率分布Dpが取得される。これによれば、臨界ギャップtc及び認識必要時間tsのうち、安全側での移動距離範囲ΔL内に限定される確率分布Dpに応じて要求認識性能が変化したとしても、当該変化の反映され得る認識スコアSnに合わせたフュージョン率ωnにより、適正なフュージョンを実現することができる。故に、ホスト車両2におけるターゲット移動体3の認識精度を、可及的に短い処理時間にて確保することが可能となる。
本実施形態によると、現実に対する認識の一致度TP,TNのうち少なくとも一方である認識率を確率分布Dpによって補正した、各認識モデルMn毎の認識スコアSnに基づくことで、フュージョン率ωnが最適化される。これによれば、フュージョン後において現実に対する認識の一致を担保するように、フュージョン率ωnを最適化することができる。故に、ホスト車両2におけるターゲット移動体3の認識精度を、高精度に確保することが可能となる。
本実施形態によると、現実に対する認識の不一致度FP,FNのうち少なくとも一方である認識率を確率分布Dpによって補正した、各認識モデルMn毎の認識スコアSnに基づくことで、フュージョン率ωnが最適化される。これによれば、フュージョン後において現実に対する認識の不一致を低減するように、フュージョン率ωnを最適化することができる。故に、ホスト車両2におけるターゲット移動体3の認識精度を、高精度に確保することが可能となる。
本実施形態によると、確率分布Dpにおいてホスト車両2からの距離Lhに依存する存在確率により認識率を補正した、各認識モデルMn毎の認識スコアSnに基づくことで、フュージョン率ωnが最適化される。これによれば、求められる要求認識性能が変化したとしても、走行エリアAdでの距離Lhに応じて当該変化が反映され得る認識スコアSnに合わせたフュージョン率ωnにより、適正なフュージョンを実現することができる。故に、ターゲット移動体3の認識精度を、ホスト車両2の走行エリアAdに亘って確保することが可能となる。
本実施形態によると、走行エリアAdを複数に分割したメッシュエリアAm別の認識率を確率分布Dpの存在確率によって補正した、各認識モデルMn毎の認識スコアSnに基づくことで、フュージョン率ωnが最適化される。これによれば、ホスト車両2からの距離Lhに応じた各メッシュエリアAmでの要求認識性能に対して、フュージョン率ωnを緻密に最適化することができる。故に、ホスト車両2の走行エリアAdに亘るターゲット移動体3の認識精度を、高精度且つ短時間に確保することが可能となる。
本実施形態によると、各認識モデルMn毎且つ各メッシュエリアAm別の認識スコアSnをフュージョン率ωnによって重み付けした加重平均Kに基づくことで、自動運転モードでのホスト車両2に対するODDの制約が設定される。これによれば、走行エリアAdに応じて求められる要求認識性能が変化したとしても、当該変化の反映され得る認識スコアSn及びフュージョン率ωnに合わせたODDの制約を、自動運転モードのホスト車両2に対して与えることができる。故にホスト車両2では、ターゲット移動体3の認識精度に加え、ODDの設定精度も確保することが可能となる。
(他の実施形態)
以上、一実施形態について説明したが、本開示は、当該説明の実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
以上、一実施形態について説明したが、本開示は、当該説明の実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
変形例において処理システム1を構成する専用コンピュータは、デジタル回路及びアナログ回路のうち、少なくとも一方をプロセッサとして有していてもよい。ここでデジタル回路とは、例えばASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)、及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを記憶したメモリを、有していてもよい。
変形例の分布取得ブロック100によるS102では、臨界ギャップtcにおいてホスト車両2が移動する距離範囲に、移動距離範囲ΔLが限定されてもよい。変形例の分布取得ブロック100によるS102では、認識必要時間tsにおいてホスト車両2が移動する距離範囲に、移動距離範囲ΔLが限定されてもよい。変形例の分布取得ブロック100によるS102では、これら変形例以外の固定値に移動距離範囲ΔLが限定されてもよい。変形例の分布取得ブロック100によるS102では、走行エリアAd毎に特有の確率分布Dp自体が、例えば外部センタ等から取得されてもよい。
変形例の認識率取得ブロック110によるS103では、走行エリアAdのうちホスト車両2を中心とした少なくとも一部の方位において、距離Lhに対して連続分散する認識率が、各認識モデルMn毎に取得されてもよい。この場合にフュージョンブロック120によるS105では、走行エリアAdのうちホスト車両2を中心とした少なくとも一部の方位において、距離Lhに対して連続分散する認識スコアSnが、各認識モデルMn毎に取得されてもよい。
変形例の認識率取得ブロック110によるS103では、各認識モデルMn毎の認識率が、走行エリアAdの全域に亘る共通値として取得されてもよい。この場合にフュージョンブロック120によるS105では、各認識モデルMn毎の認識スコアSnが、走行エリアAdの全域に亘る共通値として取得される。
変形例のフュージョンブロック120によるS105では、演算C1~C7のうち複数が組み合わされることで、フュージョン率ωnの最適化が実行されてもよい。変形例において制約ブロック130によるS106は、省かれてもよい。変形例において処理システム1の適用されるホスト移動体は、例えば走行をリモート制御可能な自律走行ロボット等であってもよい。
ここまでの説明形態の他、上述の実施形態及び変形例は、ホスト車両2に搭載可能に構成される処理装置として、処理システム1のプロセッサ12及びメモリ10を少なくとも一つずつ有した制御装置(例えば制御ECU等)の形態で実施されてもよい。また、上述の実施形態及び変形例は、ホスト車両2に搭載可能に構成される処理装置として、処理システム1のプロセッサ12及びメモリ10を少なくとも一つずつ有した半導体装置(例えば半導体チップ等)の形態で実施されてもよい。
Claims (16)
- プロセッサ(12)を有し、ホスト移動体(2)におけるターゲット移動体(3)の認識に関連した、認識関連処理を遂行する処理システムであって、
前記プロセッサは、
前記ホスト移動体からの距離(Lh)に対して前記ターゲット移動体が存在する確率分布(Dp)を、前記ホスト移動体の走行エリア(Ad)に応じて取得することと、
前記ターゲット移動体を認識する認識率を、複数の認識モデル(Mn)毎に取得することと、
各前記認識モデル毎に前記認識率と前記確率分布とに相関する、認識スコア(Sn)に基づいたフュージョン率(ωn)に従って、各前記認識モデルによる認識データをフュージョンすることとを、実行するように構成される処理システム。 - 前記確率分布を取得することは、
前記走行エリアにおける移動体の速度分布(Dv)及び加速度分布(Da)に基づき、前記確率分布を取得することを、含む請求項1に記載の処理システム。 - 前記確率分布を取得することは、
前記走行エリアにおける移動体の臨界ギャップ(tc)と、前記走行エリアにおける前記ホスト移動体の認識必要時間(ts)とのうち、大側において前記ホスト移動体が移動する移動距離範囲(ΔL)内での前記確率分布を取得することを、含む請求項2に記載の処理システム。 - 前記認識データをフュージョンすることは、
現実に対する認識の一致度(TP,TN)である前記認識率を前記確率分布により補正した、各前記認識モデル毎の前記認識スコアに基づき、前記フュージョン率を最適化することを、含む請求項1~3のいずれか一項に記載の処理システム。 - 前記認識データをフュージョンすることは、
現実に対する認識の不一致度(FP,FN)である前記認識率を前記確率分布により補正した、各前記認識モデル毎の前記認識スコアに基づき、前記フュージョン率を最適化することを、含む請求項1~4のいずれか一項に記載の処理システム。 - 前記認識データをフュージョンすることは、
前記確率分布において前記距離に依存する存在確率により前記認識率を補正した、各前記認識モデル毎の前記認識スコアに基づき、前記フュージョン率を最適化することを、含む請求項1~5のいずれか一項に記載の処理システム。 - 前記認識データをフュージョンすることは、
前記走行エリアを複数に分割したメッシュエリア(Am)別の前記認識率を前記存在確率により補正した、各前記認識モデル毎の前記認識スコアに基づき、前記フュージョン率を最適化することを、含む請求項6に記載の処理システム。 - 前記プロセッサは、
各前記認識モデル毎且つ各前記メッシュエリア別の前記認識スコアを前記フュージョン率により重み付けした加重平均(K)に基づき、自動運転モードでの前記ホスト移動体に対する運行設計領域の制約を設定することを、さらに実行するように構成される請求項7に記載の処理システム。 - 記憶媒体(10)を有し、
前記プロセッサは、
前記フュージョン率を前記記憶媒体に記憶することを、さらに実行するように構成される請求項1~8のいずれか一項に記載の処理システム。 - プロセッサ(12)を有し、ホスト移動体(2)におけるターゲット移動体(3)の認識に関連した、認識関連処理を遂行する処理システムであって、
前記プロセッサは、
現実に対する認識の一致度(TP,TN)及び不一致度(FP,FN)のうち、少なくとも一種類である認識率を、前記ターゲット移動体を認識する複数の認識モデル(Mn)毎に取得することと、
各前記認識モデル毎の前記認識率に基づいたフュージョン率(ωn)に従って、各前記認識モデルによる認識データをフュージョンすることとを、実行するように構成される処理システム。 - プロセッサ(12)を有し、ホスト移動体(2)に搭載可能に構成され、前記ホスト移動体におけるターゲット移動体(3)の認識に関連した、認識関連処理を遂行する処理装置であって、
前記プロセッサは、
前記ホスト移動体からの距離(Lh)に対して前記ターゲット移動体が存在する確率分布(Dp)を、前記ホスト移動体の走行エリア(Ad)に応じて取得することと、
前記ターゲット移動体を認識する認識率を、複数の認識モデル(Mn)毎に取得することと、
各前記認識モデル毎に前記認識率と前記確率分布とに相関する、認識スコア(Sn)に基づいたフュージョン率(ωn)に従って、各前記認識モデルによる認識データをフュージョンすることとを、実行するように構成される処理装置。 - プロセッサ(12)を有し、ホスト移動体(2)に搭載可能に構成され、前記ホスト移動体におけるターゲット移動体(3)の認識に関連した、認識関連処理を遂行する処理装置であって、
前記プロセッサは、
現実に対する認識の一致度(TP,TN)及び不一致度(FP,FN)のうち、少なくとも一種類である認識率を、前記ターゲット移動体を認識する複数の認識モデル(Mn)毎に取得することと、
各前記認識モデル毎の前記認識率に基づいたフュージョン率(ωn)に従って、各前記認識モデルによる認識データをフュージョンすることとを、実行するように構成される処理装置。 - ホスト移動体(2)におけるターゲット移動体(3)の認識に関連した、認識関連処理を遂行するためにプロセッサ(12)により実行される処理方法であって、
前記ホスト移動体からの距離(Lh)に対して前記ターゲット移動体が存在する確率分布(Dp)を、前記ホスト移動体の走行エリア(Ad)に応じて取得することと、
前記ターゲット移動体を認識する認識率を、複数の認識モデル(Mn)毎に取得することと、
各前記認識モデル毎に前記認識率と前記確率分布とに相関する、認識スコア(Sn)に基づいたフュージョン率(ωn)に従って、各前記認識モデルによる認識データをフュージョンすることとを、含む処理方法。 - ホスト移動体(2)におけるターゲット移動体(3)の認識に関連した、認識関連処理を遂行するためにプロセッサ(12)により実行される処理方法であって、
現実に対する認識の一致度(TP,TN)及び不一致度(FP,FN)のうち、少なくとも一種類である認識率を、前記ターゲット移動体を認識する複数の認識モデル(Mn)毎に取得することと、
各前記認識モデル毎の前記認識率に基づいたフュージョン率(ωn)に従って、各前記認識モデルによる認識データをフュージョンすることとを、含む処理方法。 - ホスト移動体(2)におけるターゲット移動体(3)の認識に関連した、認識関連処理を遂行するために記憶媒体(10)に記憶され、プロセッサ(12)に実行させる命令を含む処理プログラムであって、
前記命令は、
前記ホスト移動体からの距離(Lh)に対して前記ターゲット移動体が存在する確率分布(Dp)を、前記ホスト移動体の走行エリア(Ad)に応じて取得させることと、
前記ターゲット移動体を認識する認識率を、複数の認識モデル(Mn)毎に取得させることと、
各前記認識モデル毎に前記認識率と前記確率分布とに相関する、認識スコア(Sn)に基づいたフュージョン率(ωn)に従って、各前記認識モデルによる認識データをフュージョンさせることとを、含む処理プログラム。 - ホスト移動体(2)におけるターゲット移動体(3)の認識に関連した、認識関連処理を遂行するために記憶媒体(10)に記憶され、プロセッサ(12)に実行させる命令を含む処理プログラムであって、
前記命令は、
現実に対する認識の一致度(TP,TN)及び不一致度(FP,FN)のうち、少なくとも一種類である認識率を、前記ターゲット移動体を認識する複数の認識モデル(Mn)毎に取得させることと、
各前記認識モデル毎の前記認識率に基づいたフュージョン率(ωn)に従って、各前記認識モデルによる認識データをフュージョンさせることとを、含む処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202280048386.6A CN117730356A (zh) | 2021-07-12 | 2022-06-16 | 处理系统、处理装置、处理方法、处理程序 |
US18/408,213 US20240140477A1 (en) | 2021-07-12 | 2024-01-09 | Processing system, processing device, and processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021115163A JP7444141B2 (ja) | 2021-07-12 | 2021-07-12 | 処理システム、処理装置、処理方法、処理プログラム |
JP2021-115163 | 2021-07-12 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/408,213 Continuation US20240140477A1 (en) | 2021-07-12 | 2024-01-09 | Processing system, processing device, and processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023286522A1 true WO2023286522A1 (ja) | 2023-01-19 |
Family
ID=84919286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/024209 WO2023286522A1 (ja) | 2021-07-12 | 2022-06-16 | 処理システム、処理装置、処理方法、処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240140477A1 (ja) |
JP (1) | JP7444141B2 (ja) |
CN (1) | CN117730356A (ja) |
WO (1) | WO2023286522A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020046762A (ja) * | 2018-09-14 | 2020-03-26 | 本田技研工業株式会社 | 移動体検知装置 |
-
2021
- 2021-07-12 JP JP2021115163A patent/JP7444141B2/ja active Active
-
2022
- 2022-06-16 CN CN202280048386.6A patent/CN117730356A/zh active Pending
- 2022-06-16 WO PCT/JP2022/024209 patent/WO2023286522A1/ja active Application Filing
-
2024
- 2024-01-09 US US18/408,213 patent/US20240140477A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020046762A (ja) * | 2018-09-14 | 2020-03-26 | 本田技研工業株式会社 | 移動体検知装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2023011352A (ja) | 2023-01-24 |
US20240140477A1 (en) | 2024-05-02 |
JP7444141B2 (ja) | 2024-03-06 |
CN117730356A (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7160262B2 (ja) | 自律走行に関する走行情報のフレームワークとバッチ調整との結合 | |
CN110377025B (zh) | 用于自动驾驶车辆的传感器聚合框架 | |
CN113128326B (zh) | 具有语义地图和lstm的车辆轨迹预测模型 | |
CN108475057B (zh) | 基于车辆周围的情境预测车辆的一个或多个轨迹的方法和系统 | |
KR102279078B1 (ko) | 자율 주행 차량의 v2x 통신 기반의 차량 차로 시스템 | |
CN116710977B (zh) | 用于构建远程机器学习模型的数据的智能车载选择的自主车辆系统 | |
CN112149487B (zh) | 一种用于自动驾驶的用于训练神经网络对象检测模型的用于确定锚框的方法 | |
WO2019130945A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び移動体 | |
JP7048456B2 (ja) | 学習装置、学習方法、およびプログラム | |
CN116529783A (zh) | 用于构建机器学习模型的数据的智能选择的系统和方法 | |
CN113544467A (zh) | 对齐用于导航的道路信息 | |
CN111380534A (zh) | 用于自动驾驶车辆的基于st图学习的决策 | |
US11321211B1 (en) | Metric back-propagation for subsystem performance evaluation | |
JP2023126642A (ja) | 情報処理装置、情報処理方法、及び、情報処理システム | |
KR102611507B1 (ko) | 주행 지원 방법 및 주행 지원 장치 | |
CN113064143B (zh) | 用于具有多LiDAR传感器的自动驾驶车辆的再校准确定系统 | |
CN111208814B (zh) | 用于自动车辆的、利用动态模型的、基于记忆的最优运动规划 | |
US20220180106A1 (en) | Vehicle neural network localization | |
CN111259712B (zh) | 用于车辆行为预测的压缩环境特征的表示 | |
CN111348043A (zh) | 用于确定理想化超车过程的方法和设备 | |
JP2020087191A (ja) | 車線境界設定装置、車線境界設定方法 | |
CN115220449A (zh) | 路径规划的方法、装置、存储介质、芯片及车辆 | |
WO2022024602A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2023286522A1 (ja) | 処理システム、処理装置、処理方法、処理プログラム | |
US20230121905A1 (en) | Information processing apparatus, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22841866 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202280048386.6 Country of ref document: CN |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 22841866 Country of ref document: EP Kind code of ref document: A1 |