WO2019114757A1 - 多传感器目标信息融合的优化方法及装置、计算机设备和记录介质 - Google Patents

多传感器目标信息融合的优化方法及装置、计算机设备和记录介质 Download PDF

Info

Publication number
WO2019114757A1
WO2019114757A1 PCT/CN2018/120627 CN2018120627W WO2019114757A1 WO 2019114757 A1 WO2019114757 A1 WO 2019114757A1 CN 2018120627 W CN2018120627 W CN 2018120627W WO 2019114757 A1 WO2019114757 A1 WO 2019114757A1
Authority
WO
WIPO (PCT)
Prior art keywords
actual measurement
measurement results
fusion
unit
covariance
Prior art date
Application number
PCT/CN2018/120627
Other languages
English (en)
French (fr)
Inventor
彭思崴
Original Assignee
蔚来汽车有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 蔚来汽车有限公司 filed Critical 蔚来汽车有限公司
Priority to EP18888791.3A priority Critical patent/EP3726428A4/en
Publication of WO2019114757A1 publication Critical patent/WO2019114757A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D3/00—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups
    • G01D3/08—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups with provision for safeguarding the apparatus, e.g. against abnormal operation, against breakdown
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D3/00—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups
    • G01D3/028—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups mitigating undesired influences, e.g. temperature, pressure
    • G01D3/036—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups mitigating undesired influences, e.g. temperature, pressure on measuring arrangements themselves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Definitions

  • the present invention relates to the field of automobiles, and more particularly to an optimization method and apparatus for multi-sensor target information fusion, a computer device, and a recording medium.
  • the present invention has been made to overcome one or more of the above disadvantages, or other disadvantages, and the technical solutions employed are as follows.
  • an optimization method for multi-sensor target information fusion comprising: step S1: obtaining, for each time, a fusion prediction result of all sensors related to a target state at a current time; step S2: obtaining The actual measurement result of each sensor at the current moment with respect to the target state; step S3: obtaining, for each set of actual measurement results, the optimal state of the corresponding sensor at the current time based on the fusion prediction result and the set of actual measurement results Estimating the result; and step S4: fusing the optimal estimation results of all the sensors to determine a weight corresponding to each of the optimal estimation results, thereby obtaining an optimal fusion estimation result with respect to the target state at the current time.
  • the step S3 includes: Step S31: calculating, for each set of actual measurement results, a corresponding conversion matrix based on the fusion prediction result and the set of actual measurement results; Step S32 Calculating a covariance corresponding to each set of actual measurement results; step S33: calculating, for each set of actual measurement results, a corresponding Kalman gain based on the corresponding conversion matrix and the corresponding covariance; And step S34: calculating, according to the fusion prediction result, the corresponding Kalman gain, the set of actual measurement results, and the corresponding transformation matrix, for each set of actual measurement results, corresponding to the current moment The optimal estimation result of the corresponding sensor with respect to the target state.
  • the step S4 includes: step S41: determining a weight corresponding to each of the optimal estimation results according to a covariance corresponding to each set of actual measurement results; and step S42: based on Each of the optimal estimation results and the corresponding weights calculates an optimal fusion estimation result for all sensors of the target state at the current time.
  • step S5 correcting the covariance obtained in step S32 according to the conversion matrix obtained in step S31 and the Kalman gain obtained in step S33 to obtain Corrected covariance.
  • the covariance corresponding to each set of actual measurement results at the current time is obtained by using the corrected covariance at the previous moment.
  • the fusion prediction result at the current time is obtained by using the optimal fusion estimation result about the target state at the previous time.
  • an apparatus for optimizing multi-sensor target information fusion comprising: a first unit: obtaining, for each time, a fusion prediction result of all sensors related to a target state at a current time ; Unit 2: Obtain actual measurement results of the respective sensors at the current time with respect to the target state; Unit 3: for each set of actual measurement results, based on the fusion prediction result and the actual measurement result of the set to obtain the current time The optimal estimation result of the corresponding sensor with respect to the target state; and the fourth unit: fusing the optimal estimation results of all the sensors to determine the weight corresponding to each of the optimal estimation results, thereby obtaining the target at the current time The optimal fusion estimation result of the state.
  • the third unit includes: a 3A unit: calculating, for each set of actual measurement results, a corresponding conversion matrix based on the fusion prediction result and the set of actual measurement results a 3B unit: calculating a covariance corresponding to each set of actual measurement results; a 3C unit: calculating, for each set of actual measurement results, a correspondence based on the corresponding conversion matrix and the corresponding covariance Kalman gain; and a 3D unit: for each set of actual measurement results, based on the fusion prediction result, the corresponding Kalman gain, the set of actual measurement results, and the corresponding transformation matrix Corresponding optimal estimation results of the corresponding sensors at the current time with respect to the target state.
  • the fourth unit includes: a 4A unit: determining a weight corresponding to each of the optimal estimation results according to a covariance corresponding to each set of actual measurement results; and 4B unit: Calculate an optimal fusion estimation result for all sensors of the target state at the current time based on each of the optimal estimation results and corresponding weights.
  • the method further includes: the fifth unit: correcting the obtained in the 3B unit according to the conversion matrix obtained in the 3A unit and the Kalman gain obtained in the 3C unit Covariance to obtain a corrected covariance.
  • the covariance corresponding to each of the actual measurement results at the current time is the corrected covariance at the previous moment. acquired.
  • the fusion prediction result at the current time is obtained using an optimal fusion estimation result with respect to a target state at a previous time.
  • a computer apparatus comprising a memory, a processor, and a computer program stored on the memory and operable on the processor, the processor executing the program to implement one according to the present invention The steps of the method.
  • a recording medium having stored thereon a computer program executed by a computer to implement the steps of the method according to an aspect of the present invention.
  • an assisted driving method including an optimized method of multi-sensor target information fusion in accordance with an aspect of the present invention.
  • an assisted driving system including an apparatus for optimizing multi-sensor target information fusion in accordance with another aspect of the present invention.
  • the present invention can obtain one or more of the following beneficial effects:
  • the fusion weight can be calculated in real time to ensure that the result of the weight assignment is appropriate in most scenarios
  • each weight corresponding to the optimal estimation result can be determined, so that even if the sensor is affected by the hardware performance and the environment, the detection result does not conform to the physical motion principle, and the weight can be adjusted in real time. Achieve optimal fusion estimation of the target and improve the performance of the fusion estimation.
  • FIG. 1 is an example flow diagram of an optimization method for multi-sensor target information fusion in accordance with an embodiment of the present invention.
  • step S3 of FIG. 1 is an example sub-flow diagram of step S3 of FIG. 1 in accordance with one embodiment of the present invention.
  • step S4 of FIG. 1 is an example sub-flow diagram of step S4 of FIG. 1 in accordance with one embodiment of the present invention.
  • FIG. 4 is an example block diagram of an apparatus for optimizing multi-sensor target information fusion in accordance with an embodiment of the present invention.
  • FIG. 5 is an example block diagram of a computer device for performing an optimization method for multi-sensor target information fusion in accordance with an embodiment of the present invention, in accordance with an embodiment of the present invention.
  • the computer program instructions may be stored in a computer readable memory, which may instruct a computer or other programmable processor to perform functions in a particular manner such that the instructions stored in the computer readable memory comprise an implementation flow diagram and/or The production of the instruction part of the function/operation specified in one or more boxes of the block diagram.
  • These computer program instructions can be loaded onto a computer or other programmable data processor to cause a series of operational steps to be performed on a computer or other programmable processor to form a computer-implemented process for the computer or other programmable data.
  • the instructions executed on the processor provide steps for implementing the functions or operations specified in one or more of the blocks of the flowchart and/or block diagram. It should also be noted that in some alternative implementations, the functions/operations shown in the blocks may occur out of the order shown in the flowchart. For example, two blocks shown in succession may be executed substantially concurrently or the blocks may be executed in the reverse order, depending upon the function/operation involved.
  • the method and apparatus for optimizing multi-sensor target information fusion according to the present invention can be applied, for example, to a scene in which a target around a vehicle is sensed.
  • the longitudinal position relative to the vehicle position, the longitudinal speed, the longitudinal acceleration, the lateral relative vehicle position, the lateral speed, and the lateral acceleration can be used to characterize the motion state of any one of the targets around the vehicle, and multiple vehicles on the vehicle.
  • Each set of measurements sensed by each of the sensors involves the above six aspects or can be calculated by calculating the above six aspects. Since the characteristics of each sensor and the measurement error for each aspect are different, the optimal fusion result for any one target can be obtained by the optimization method and apparatus for multi-sensor target information fusion according to the present invention described in detail below. And the fusion weight is reasonably determined.
  • the method S100 includes the steps of: obtaining, for each time, a fusion prediction result of all sensors regarding the target state at the current time (step S1).
  • the following formula (1) can be utilized to determine a fusion prediction result for a target state of a certain target:
  • F is the system state transition matrix
  • X(t-1) is the optimal fusion estimation result (described later) about the target state at time t-1
  • W(t) is the system noise.
  • the method S100 may further include the step of obtaining actual measurement results of the respective sensors at the current time with respect to the target state (step S2).
  • the method S100 may further include the following steps: obtaining, for each set of actual measurement results, a corresponding sensor at the current moment based on the fusion prediction result and the set of actual measurement results.
  • the optimal estimation result regarding the target state step S3.
  • step S3 The details of step S3 will be described in detail in conjunction with FIG. 2.
  • the step S3 includes the following steps: calculating, for each set of actual measurement results, a corresponding conversion matrix based on the fusion prediction result and the set of actual measurement results (Ste S31).
  • equation (2) can be used to determine the corresponding transformation matrix:
  • Z ik (t) is the kth actual measurement result of the i-th sensor with respect to the target state at time t
  • H ik is the conversion matrix corresponding to the actual measurement result of the kth set of the i-th sensor. It is the fusion prediction result of all the sensors with respect to the target state at time t
  • V(t) is the measurement noise.
  • the step S3 may further include the following steps: calculating a covariance corresponding to each set of actual measurement results (step S32).
  • equation (3) can be used to determine the corresponding covariance:
  • I the covariance corresponding to the kth actual measurement result of the i-th sensor at time t with respect to the target state
  • F is the system state transition matrix
  • F T is the transposed matrix of the system state transition matrix
  • P ik (t-1) It is the covariance (described later) corresponding to the optimal estimation result of the kth actual measurement result for the i-th sensor at time t-1
  • Q is the covariance of the system process noise.
  • the step S3 may further include: calculating, for each set of actual measurement results, a corresponding one based on the corresponding conversion matrix and the corresponding covariance Kalman gain (step S33).
  • kg ik (t) is the Kalman gain corresponding to the kth actual measurement result of the i-th sensor at time t with respect to the target state
  • H ik is the conversion matrix corresponding to the actual measurement result of the kth set of the i-th sensor
  • H ik T is the same
  • R is the covariance of the measurement process noise.
  • the step S3 may further include the following steps: for each set of actual measurement results, based on the fusion prediction result, the corresponding Kalman gain, and the actual set The measurement result and the corresponding conversion matrix are used to calculate an optimal estimation result of the corresponding sensor at the current time with respect to the target state (step S34).
  • X ik (t) is the optimal estimation result corresponding to the actual measurement result of the kth set of the i-th sensor at time t
  • kg ik (t) is the Kalman gain corresponding to the kth actual measurement result of the i-th sensor at time t with respect to the target state
  • H ik is the conversion matrix corresponding to the kth actual measurement result of the i-th sensor.
  • the method S100 may further include the steps of: fusing the optimal estimation results of all the sensors to determine a weight corresponding to each of the optimal estimation results, thereby obtaining The optimal fusion estimation result with respect to the target state at the current time (step S4).
  • equation (6) can be utilized to obtain an optimal fusion estimate for the target state at the current time:
  • X(t) is the optimal fusion estimation result for all sensors with respect to the target state at time t
  • f is the fusion function
  • X ik (t) is the actual measurement of the kth set with the i-th sensor at time t
  • step S4 will be described in detail in conjunction with FIG.
  • the step S4 includes the following steps: determining a weight corresponding to each of the optimal estimation results according to a covariance corresponding to each set of actual measurement results (step S41) .
  • the covariance corresponding to all sets of actual measurements of all sensors is calculated using equation (3) above (ie, After that, each of the optimal estimation results corresponding to each set of actual measurement results according to the size of each covariance (ie, X 11 (t), X 12 (t), ..., X ik (t) Assign weights (ie, w 11 (t), w 12 (t), ..., w ik (t)).
  • the step S4 may further include the step of: calculating an optimality of all sensors regarding the target state at the current time based on each of the optimal estimation results and corresponding weights.
  • the estimation result is merged (step S42).
  • the corresponding optimal estimate (ie, X 11 (t) is utilized for the assigned weights (ie, w 11 (t), w 12 (t), ..., w ik (t)) , X 12 (t), ..., X ik (t)) performs a weighting operation to obtain an optimal fusion estimation result for all sensors with respect to the target state at time t. Further, as shown in the above formula (1), X(t) at time t can also be used to calculate the time at t+1.
  • the method S100 may further include the following steps: correcting the covariance obtained in step S32 according to the conversion matrix obtained in step S31 and the Kalman gain obtained in step S33, Obtaining a corrected covariance (step S5, not shown), the corrected covariance may be used to calculate a covariance corresponding to the corresponding actual measurement at the next moment of the current time (see the above equation ( 3)).
  • equation (7) is used to obtain the corrected covariance at the current time:
  • P ik (t) is the corrected covariance of the kth actual measurement result for the i-th sensor at time t
  • I is the identity matrix
  • kg ik (t) is obtained in step S33 above.
  • the IK sensor at time t corresponds to the Kalman gain corresponding to the kth actual measurement result of the target state
  • H ik is the conversion matrix corresponding to the actual measurement result of the kth set of the i-th sensor obtained in step S31.
  • the weights can be adjusted in real time to obtain an accurate target fusion estimation result.
  • step S1 in FIG. 1 may be performed after step S2, or may be performed simultaneously, for example, in FIG. Step S31 may be performed after step S32, or may be performed simultaneously, and the like.
  • the apparatus 100 includes a first unit 101 configured to obtain, for each time instant, a fusion prediction result for all sensors of a target state at a current time.
  • equation (8) can be utilized to determine a fusion prediction result for a target state of a certain target:
  • F is the system state transition matrix
  • X(t-1) is the optimal fusion estimation result (described later) about the target state at time t-1
  • W(t) is the system noise.
  • the apparatus 100 may further include a second unit configured to obtain actual measurements of the respective sensors at the current time with respect to the target state.
  • the apparatus 100 may further include a third unit configured to obtain, based on the fusion prediction result and the set of actual measurement results, for each set of actual measurement results. The optimal estimate of the target state at the current time.
  • the internal structure of the third unit 103 will be described in detail below.
  • the third unit 103 includes a 3A unit (not shown) configured to be based on the fusion prediction result and the actual measurement result for each set of actual measurement results. To calculate the corresponding transformation matrix.
  • Z ik (t) is the kth actual measurement result of the i-th sensor with respect to the target state at time t
  • H ik is the conversion matrix corresponding to the actual measurement result of the kth set of the i-th sensor. It is the fusion prediction result of all the sensors with respect to the target state at time t
  • V(t) is the measurement noise.
  • the third unit 103 may further include a 3B unit (not shown) configured to calculate a covariance corresponding to each set of actual measurements.
  • I the covariance corresponding to the kth actual measurement result of the i-th sensor at time t with respect to the target state
  • F is the system state transition matrix
  • F T is the transposed matrix of the system state transition matrix
  • P ik (t-1) It is the covariance (described later) corresponding to the optimal estimation result of the kth actual measurement result for the i-th sensor at time t-1
  • Q is the covariance of the system process noise.
  • the third unit 103 may further include a 3C unit (not shown) configured to be based on the corresponding conversion matrix and the corresponding for each set of actual measurement results. The covariance is used to calculate the corresponding Kalman gain.
  • kg ik (t) is the Kalman gain corresponding to the kth actual measurement result of the i-th sensor at time t with respect to the target state
  • H ik is the conversion matrix corresponding to the actual measurement result of the kth set of the i-th sensor
  • H ik T is the same
  • R is the covariance of the measurement process noise.
  • the third unit 103 may further include a 3D unit (not shown) configured to, based on the fusion prediction result, the corresponding one for each set of actual measurement results
  • the Kalman gain, the set of actual measurements, and the corresponding transformation matrix are used to calculate an optimal estimate of the corresponding sensor at the current time with respect to the target state.
  • equation (12) can be used to calculate the corresponding optimal estimate:
  • X ik (t) is the optimal estimation result corresponding to the actual measurement result of the kth set of the i-th sensor at time t
  • kg ik (t) is the Kalman gain corresponding to the kth actual measurement result of the i-th sensor at time t with respect to the target state
  • H ik is the conversion matrix corresponding to the kth actual measurement result of the i-th sensor.
  • the apparatus 100 may further include a fourth unit 104 configured to fuse the optimal estimation results for all of the sensors to determine each of the optimal estimation results. The corresponding weights, and thus the optimal fusion estimation results for the target state at the current time.
  • equation (13) can be utilized to obtain an optimal fusion estimate for the target state at the current time:
  • X(t) is the optimal fusion estimation result for all sensors with respect to the target state at time t
  • f is the fusion function
  • X ik (t) is the actual measurement of the kth set with the i-th sensor at time t
  • the internal structure of the fourth unit 104 will be described in detail below.
  • the fourth unit 104 includes a 4A unit (not shown) configured to determine each of the optimal estimation results according to a covariance corresponding to each set of actual measurement results. Corresponding weights.
  • the covariance corresponding to all sets of actual measurements of all sensors is calculated using equation (10) above (ie, After that, each of the optimal estimation results corresponding to each set of actual measurement results according to the size of each covariance (ie, X 11 (t), X 12 (t), ..., X ik (t) Assign weights (ie, w 11 (t), w 12 (t), ..., w ik (t)).
  • the fourth unit 104 may further include a 4B unit (not shown) configured to calculate a target at the current time based on each of the optimal estimation results and corresponding weights Optimal fusion estimation results for all sensors in the state.
  • a 4B unit (not shown) configured to calculate a target at the current time based on each of the optimal estimation results and corresponding weights Optimal fusion estimation results for all sensors in the state.
  • the corresponding optimal estimate (ie, X 11 (t) is utilized for the assigned weights (ie, w 11 (t), w 12 (t), ..., w ik (t)) , X 12 (t), ..., X ik (t)) performs a weighting operation to obtain an optimal fusion estimation result for all sensors with respect to the target state at time t.
  • X(t) at time t can also be used to calculate the time at t+1.
  • the apparatus 100 may further include a fifth unit (not shown) configured to: according to the conversion matrix obtained in the 3A unit and the Carl obtained in the 3C unit Manner gain to correct the covariance obtained in the 3B unit to obtain a corrected covariance, which can be used to calculate the covariance corresponding to the corresponding actual measurement at the next moment in the current time (See equation (10) above).
  • a fifth unit (not shown) configured to: according to the conversion matrix obtained in the 3A unit and the Carl obtained in the 3C unit Manner gain to correct the covariance obtained in the 3B unit to obtain a corrected covariance, which can be used to calculate the covariance corresponding to the corresponding actual measurement at the next moment in the current time (See equation (10) above).
  • equation (14) is used to obtain the corrected covariance at the current time:
  • P ik (t) is the corrected covariance of the kth actual measurement result for the i-th sensor at time t
  • I is the identity matrix
  • kg ik (t) is obtained in step S33 above.
  • H ik is the conversion matrix corresponding to the actual measurement result of the k-th set of the i-th sensor obtained in step S31.
  • the weights can be adjusted in real time to obtain an accurate target fusion estimation result.
  • the above-described multi-sensor target information fusion optimization method and apparatus can enable the assisted driving system to adopt more optimized data when assisted driving, thereby facilitating decision-making and control thereof, for example, adaptive Auxiliary driving functions or scenes such as cruising, emergency braking, etc. can make better decisions based on optimized data, such functions or scenarios can also include body stability control and the like.
  • assisted driving including the above method
  • the manner of the method or the manner of the assisted driving system of the above apparatus or the computer apparatus for performing the above method or the computer program for executing the above method or the computer program for realizing the functions of the above apparatus or recorded The manner in which a computer program can read a recording medium.
  • FIG. 5 A computer device for performing an optimization method of multi-sensor target information fusion according to an embodiment of the present invention is illustrated in FIG. 5, in accordance with one embodiment of the present invention.
  • computer device 200 includes a memory 201 and a processor 202.
  • computer device 200 also includes a computer program stored on memory 201 and executable on processor 202.
  • the processor executes the program to implement various steps of an optimization method for multi-sensor target information fusion according to an embodiment of the present invention as shown in FIGS. 1, 2, and 3.
  • the present invention can also be embodied as a recording medium in which a program for causing a computer to execute an optimization method of multi-sensor target information fusion according to an embodiment of the present invention is stored.
  • a disk for example, a magnetic disk, an optical disk, or the like
  • a card for example, a memory card, an optical card, or the like
  • a semiconductor memory for example, a ROM, a nonvolatile memory, or the like
  • a tape can be used as the recording medium.
  • Various types of recording media such as tapes, cassette tapes, and the like.
  • a computer program for causing a computer to execute an optimization method of multi-sensor target information fusion in the above-described embodiment or a computer program for causing a computer to implement the function of the multi-sensor target information fusion optimization apparatus in the above-described embodiment by recording in these recording media The circulation thereof can improve the cost, portability, and versatility.
  • the above-mentioned recording medium is loaded on a computer, and a computer program recorded on the recording medium is read by the computer and stored in the memory, and the processor (CPU: Central Processing Unit), MPU: Micro Processing Unit (micro processing unit) reads and executes the computer program from the memory, thereby enabling the optimization method of multi-sensor target information fusion in the above embodiment and optimizing the multi-sensor target information fusion in the above embodiment The function of the device.
  • CPU Central Processing Unit
  • MPU Micro Processing Unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种多传感器目标信息融合的优化方法及优化装置、计算机设备和记录介质。所述多传感器目标信息融合的优化方法包括以下步骤：针对每个时刻，获得在当前时刻的关于目标状态的所有传感器的融合预测结果；获得在当前时刻的各个传感器关于目标状态的实际测量结果；针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来获得在当前时刻的相应传感器关于目标状态的最优估计结果；以及对所有传感器的所述最优估计结果进行融合以确定每个所述最优估计结果对应的权重、进而获得在当前时刻的关于目标状态的最优融合估计结果。

Description

多传感器目标信息融合的优化方法及装置、计算机设备和记录介质 技术领域
本发明涉及汽车领域，更具体地涉及多传感器目标信息融合的优化方法及装置、计算机设备、记录介质。
背景技术
目前，在全世界汽车领域，“智能化”是一个明确的发展方向。美国国家交通安全管理局(NHTSA)也已经给出了从辅助驾驶到自动驾驶的汽车分级标准，但无论是辅助驾驶还是自动驾驶，都需要对目标感测传感器的结果进行融合，以用于减少重叠目标和弥补不同传感器结果的缺点。
然而，说起涉及目标的传感器结果的融合，就会涉及到用于感测目标的多个传感器的结果之间的权重分配问题。由于这样的融合需要实时处理大量的传感器结果并对这些结果进行滤波以便向决策模块提供一个稳定线性变化的目标群，所以往往需要消耗大量处理能力，而传统嵌入式处理器芯片的处理性能比较低下，因此，在利用传统嵌入式处理器芯片来处理这样的融合过程时，只能根据传感器的特性和结果的最大误差来人为地确定融合权重分配。由于这样获得的融合权重是事前定义好的权重，因此，特别是在传感器存在跳变的情况下，存在权重分配不合理且不具有普适性的问题，进而无法获得准确的目标融合估计结果。
发明内容
本发明是为了克服上述缺点的一个或多个、或其它缺点而完成的，所采用的技术方案如下。
按照本发明的一个方面，提供一种多传感器目标信息融合的优化方法，包括：步骤S1：针对每个时刻，获得在当前时刻的关于目标状态的所有传感器的融合预测结果；步骤S2：获得在当前时刻的各个传感器关于目标状态的实际测量结果；步骤S3：针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来获得在当前时刻的相应传感器关于目标状态的最优估计结果；以及步骤S4：对所有传感器的所述最优估计结果进行融合以确定每个所述最优估计结果对应的权重、进而获得在当前时刻的关于目标状态的最优融合估计结果。
进一步地，在根据本发明的一个方面中，所述步骤S3包括：步骤S31：针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来计算对应的转换矩阵；步骤S32：计算所述每一套实际测量结果对应的协方差；步骤S33：针对所述每一套实际测量结果，基于所述对应的转换矩阵和所述对应的协方差来计算对应的卡尔曼增益；以及步骤S34：针对所述每一套实际测量结果，基于所述融合预测结果、所述对应的卡尔曼增益、该套实际测量结果以及所述对应的转换矩阵，来计算对应的在当前时刻的相应传感器关于目标状态的最优估计结果。
进一步地，在根据本发明的一个方面中，所述步骤S4包括：步骤S41：根据各套实际测量结果对应的协方差来确定每个所述最优估计结果对应的权重；以及步骤S42：基于每个所述最优估计结果以及对应的权重来计算在当前时刻的关于目标状态的所有传感器的最优融合估计结果。
进一步地，在根据本发明的一个方面中，还包括：步骤S5：根据在步骤S31中得到的转换矩阵和在步骤S33中得到的卡尔曼增益来校正在步骤S32中得到的协方差，以获得经校正的协方差。
进一步地，在根据本发明的一个方面中，在所述步骤S32中，在当前时刻的所述每一套实际测量结果对应的协方差是利用在前一时刻的经校正的协方差来获得的。
进一步地，在根据本发明的一个方面中，在所述步骤S1中，在当前时刻的所述融合预测结果是利用前一时刻的关于目标状态的最优融合估计结果来获得的。
按照本发明的另一个方面，提供一种多传感器目标信息融合的优化装置，其特征在于，包括：第1单元：针对每个时刻，获得在当前时刻的关于目标状态的所有传感器的融合预测结果；第2单元：获得在当前时刻的各个传感器关于目标状态的实际测量结果；第3单元：针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来获得在当前时刻的相应传感器关于目标状态的最优估计结果；以及第4单元：对所有传感器的所述最优估计结果进行融合以确定每个所述最优估计结果对应的权重、进而获得在当前时刻的关于目标状态的最优融合估计结果。
进一步地，在根据本发明的另一个方面中，所述第3单元包括：第3A单元：针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来计算对应的转换矩阵；第3B单元：计算所述每一套实际测量结果对应的协方差；第3C单元：针对所述每一套实际测量结果，基于所述对应的转换矩阵和所述对应的协方差来计算对应的卡尔曼增益；以及第3D单元：针对所述每一套实际测量结果，基于所述融合预测结果、所述对应的卡尔曼增益、该套实际测量结果以及 所述对应的转换矩阵，来计算对应的在当前时刻的相应传感器关于目标状态的最优估计结果。
进一步地，在根据本发明的另一个方面中，所述第4单元包括：第4A单元：根据各套实际测量结果对应的协方差来确定每个所述最优估计结果对应的权重；以及第4B单元：基于每个所述最优估计结果以及对应的权重来计算在当前时刻的关于目标状态的所有传感器的最优融合估计结果。
进一步地，在根据本发明的另一个方面中，还包括：第5单元：根据在第3A单元中得到的转换矩阵和在第3C单元中得到的卡尔曼增益来校正在第3B单元中得到的协方差，以获得经校正的协方差。
进一步地，在根据本发明的另一个方面中，在所述第3B单元中，在当前时刻的所述每一套实际测量结果对应的协方差是利用在前一时刻的经校正的协方差来获得的。
进一步地，在根据本发明的另一个方面中，在所述第1单元中，在当前时刻的所述融合预测结果是利用前一时刻的关于目标状态的最优融合估计结果来获得的。
按照本发明的又一个方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现根据本发明的一个方面的方法的步骤。
按照本发明的再一个方面，提供一种记录介质，其上存储有计算机程序，该程序被计算机执行以实现根据本发明的一个方面的方法的步骤。
按照本发明的再又一个方面，提供一种辅助驾驶方法，包括根据 本发明的一个方面的多传感器目标信息融合的优化方法。
按照本发明的再另一个方面，提供一种辅助驾驶系统，包括根据本发明的另一个方面的多传感器目标信息融合的优化装置。
相对于现有技术，本发明可以获得如下有益效果的一个或多个：
1)根据本发明，能够实时计算融合权重，确保在大部分场景下，权重分配的结果是合适的；
2)根据本发明，通过对每一个传感器的每套测量结果都应用卡尔曼滤波，得到所有测量结果对应的协方差和最优估计结果，进而计算出关于目标状态的最优融合估计结果，使得结合传感器测量结果的协方差，能够决定最优估计结果对应的各个权重，由此即使出现传感器由于受到硬件性能和环境的影响，检测结果出现不符合物理运动原理的情况，也能够实时调整权重，实现对目标的最优融合估计，提高融合估计的性能。
附图说明
图1是根据本发明的一个实施方式的多传感器目标信息融合的优化方法的示例流程图。
图2是根据本发明的一个实施例的图1中的步骤S3的示例子流程图。
图3是根据本发明的一个实施例的图1中的步骤S4的示例子流程图。
图4是根据本发明的一个实施方式的多传感器目标信息融合的优 化装置的示例框图。
图5是根据本发明的一个实施方式的用于执行根据本发明的一个实施方式的多传感器目标信息融合的优化方法的计算机设备的示例框图。
具体实施方式
以下将结合附图对本发明涉及的多传感器目标信息融合的优化方法及装置、计算机设备和记录介质作进一步的详细描述。需要注意的是，以下的具体实施方式是示例性而非限制的，其旨在提供对本发明的基本了解，并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
下文参考本发明实施例的方法和装置的框图说明、框图和/或流程图来描述本发明。将理解这些流程图说明和/或框图的每个框、以及流程图说明和/或框图的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以构成机器，以便由计算机或其它可编程数据处理设备的处理器执行的这些指令创建用于实施这些流程图和/或框和/或一个或多个流程框图中指定的功能/操作的部件。
可以将这些计算机程序指令存储在计算机可读存储器中，这些指令可以指示计算机或其它可编程处理器以特定方式实现功能，以便存储在计算机可读存储器中的这些指令构成包含实施流程图和/或框图的一个或多个框中指定的功能/操作的指令部件的制作产品。
可以将这些计算机程序指令加载到计算机或其它可编程数据处理器上以使一系列的操作步骤在计算机或其它可编程处理器上执行， 以便构成计算机实现的进程，以使计算机或其它可编程数据处理器上执行的这些指令提供用于实施此流程图和/或框图的一个或多个框中指定的功能或操作的步骤。还应该注意在一些备选实现中，框中所示的功能/操作可以不按流程图所示的次序来发生。例如，依次示出的两个框实际可以基本同时地执行或这些框有时可以按逆序执行，具体取决于所涉及的功能/操作。
本发明所涉及的多传感器目标信息融合的优化方法及装置例如可以应用在对车辆周围的目标进行感测的场景中。在这样的场景下，例如可以用纵向相对本车位置、纵向速度、纵向加速度、横向相对本车位置、横向速度、横向加速度来表征车辆周围的任何一个目标的运动状态，而车辆上的多个传感器中的每一个所感测得到的每一套测量结果均涉及上述六个方面或能通过计算得出上述六个方面的数值。由于每个传感器的特性和对于每个方面的测量误差不同，因此，通过以下详细说明的本发明所涉及的多传感器目标信息融合的优化方法及装置，可以获得针对任何一个目标的最优融合结果并且合理地确定融合权重。
图1是根据本发明的一个实施方式的多传感器目标信息融合的优化方法的示例流程图。如图1所示，该方法S100包括以下步骤：针对每个时刻，获得在当前时刻的关于目标状态的所有传感器的融合预测结果(步骤S1)。
在一个示例中，对于时刻t，可以利用以下数式(1)来确定关于某个目标的目标状态的融合预测结果：
Figure PCTCN2018120627-appb-000001
其中，
Figure PCTCN2018120627-appb-000002
是在t时刻的关于目标状态的所有传感器的融合预测结果，F是系统状态转移矩阵，X(t－1)是在t-1时刻的关于目标状态的最优 融合估计结果(后述)，W(t)是系统噪声。
在一个实施例中，如图1所示，所述方法S100还可以包括如下步骤：获得在当前时刻的各个传感器关于目标状态的实际测量结果(步骤S2)。
在一个实施例中，如图1所示，所述方法S100还可以包括如下步骤：针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来获得在当前时刻的相应传感器关于目标状态的最优估计结果(步骤S3)。
关于步骤S3的细节，将结合图2来详细说明。
具体地，在一个实施例中，如图2所示，所述步骤S3包括以下步骤：针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来计算对应的转换矩阵(步骤S31)。
在一个示例中，对于各个传感器所获得的各套实际测量结果，可以利用以下数式(2)来确定对应的转换矩阵：
Figure PCTCN2018120627-appb-000003
其中，Z ik(t)是在t时刻的第i个传感器关于目标状态的第k套实际测量结果，H ik是与第i个传感器的第k套实际测量结果对应的转换矩阵，
Figure PCTCN2018120627-appb-000004
是在t时刻的关于目标状态的所有传感器的融合预测结果，V(t)是测量噪声。
在一个实施例中，如图2所示，所述步骤S3还可以包括如下步骤：计算所述每一套实际测量结果对应的协方差(步骤S32)。
在一个示例中，对于各个传感器所获得的各套实际测量结果，可 以利用以下数式(3)来确定对应的协方差：
Figure PCTCN2018120627-appb-000005
其中，
Figure PCTCN2018120627-appb-000006
是在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的协方差，F是系统状态转移矩阵，F T是系统状态转移矩阵的转置矩阵，P ik(t－1)是在t-1时刻的针对第i个传感器的第k套实际测量结果的最优估计结果对应的协方差(后述)，Q是系统过程噪声的协方差。
在一个实施例中，如图2所示，所述步骤S3还可以包括如下步骤：针对所述每一套实际测量结果，基于所述对应的转换矩阵和所述对应的协方差来计算对应的卡尔曼增益(步骤S33)。
在一个示例中，对于各个传感器所获得的各套实际测量结果，可以利用以下数式(4)来计算对应的卡尔曼增益：
Figure PCTCN2018120627-appb-000007
其中，kg ik(t)是在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的卡尔曼增益，
Figure PCTCN2018120627-appb-000008
是在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的协方差，H ik是与第i个传感器的第k套实际测量结果对应的转换矩阵，H ik T是与第i个传感器的第k套实际测量结果对应的转换矩阵的转置矩阵，R是测量过程噪声的协方差。
在一个实施例中，如图2所示，所述步骤S3还可以包括如下步骤：针对所述每一套实际测量结果，基于所述融合预测结果、所述对应的卡尔曼增益、该套实际测量结果以及所述对应的转换矩阵，来计算对应的在当前时刻的相应传感器关于目标状态的最优估计结果(步骤S34)。
在一个示例中，对于各个传感器所获得的各套实际测量结果，可以利用以下数式(5)来计算对应的最优估计结果：
Figure PCTCN2018120627-appb-000009
其中，X ik(t)是在t时刻的与第i个传感器的第k套实际测量结果对应的最优估计结果，
Figure PCTCN2018120627-appb-000010
是在t时刻的关于目标状态的所有传感器的融合预测结果，kg ik(t)是在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的卡尔曼增益，Z ik(t)是在t时刻的第i个传感器关于目标状态的第k套实际测量结果，H ik是与第i个传感器的第k套实际测量结果对应的转换矩阵。
在针对每一套实际测量结果计算出在当前时刻的相应传感器关于目标状态的最优估计结果之后，返回至图1。在一个实施例中，如图1所示，所述方法S100还可以包括如下步骤：对所有传感器的所述最优估计结果进行融合以确定每个所述最优估计结果对应的权重、进而获得在当前时刻的关于目标状态的最优融合估计结果(步骤S4)。
在一个示例中，可以利用以下数式(6)来获得在当前时刻的关于目标状态的最优融合估计结果：
Figure PCTCN2018120627-appb-000011
其中，X(t)是在t时刻的关于目标状态的所有传感器的最优融合估计结果，f是融合函数，X ik(t)是在t时刻的与第i个传感器的第k套实际测量结果对应的最优估计结果，
Figure PCTCN2018120627-appb-000012
是在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的协方差。
关于步骤S4的细节，将结合图3来详细说明。
具体地，在一个实施例中，如图3所示，所述步骤S4包括以下 步骤：根据各套实际测量结果对应的协方差来确定每个所述最优估计结果对应的权重(步骤S41)。
在一个示例中，在利用上述数式(3)来计算出所有传感器的所有套实际测量结果对应的协方差(即，
Figure PCTCN2018120627-appb-000013
)之后，根据各个协方差的大小来对与每一套实际测量结果对应的每一个最优估计结果(即，X 11(t),X 12(t),...,X ik(t))分配权重(即，w 11(t),w 12(t),...,w ik(t))。
在一个实施例中，如图3所示，所述步骤S4还可以包括如下步骤：基于每个所述最优估计结果以及对应的权重来计算在当前时刻的关于目标状态的所有传感器的最优融合估计结果(步骤S42)。
在一个示例中，利用所分配的权重(即，w 11(t),w 12(t),...,w ik(t))对相应的最优估计结果(即，X 11(t),X 12(t),...,X ik(t))进行加权运算，从而得到在t时刻的关于目标状态的所有传感器的最优融合估计结果。此外，如上述数式(1)所示，在t时刻的X(t)还可以用于计算在t+1时刻的
Figure PCTCN2018120627-appb-000014
可选地，在一个实施例中，所述方法S100还可以包括如下步骤：根据在步骤S31中得到的转换矩阵和在步骤S33中得到的卡尔曼增益来校正在步骤S32中得到的协方差，以获得经校正的协方差(步骤S5，未示出)，所述经校正的协方差可以用于计算在当前时刻的下一时刻的对应的实际测量结果对应的协方差(请参见上述数式(3))。
在一个示例中，利用以下数式(7)来获得在当前时刻的经校正的协方差：
Figure PCTCN2018120627-appb-000015
其中，P ik(t)是在t时刻的针对第i个传感器的第k套实际测量结果的经校正的协方差，I是单位矩阵，kg ik(t)是在上述步骤S33中得到的在t 时刻的第i个传感器关于目标状态的第k套实际测量结果对应的卡尔曼增益，H ik是在步骤S31中得到的与第i个传感器的第k套实际测量结果对应的转换矩阵，
Figure PCTCN2018120627-appb-000016
是在步骤S32中得到的在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的协方差，此外，在t时刻的P ik(t)还可以用于计算在t+1时刻的
Figure PCTCN2018120627-appb-000017
通过以上步骤，能够实时地调整权重，从而获得准确的目标融合估计结果。
此外，需要说明的是，虽然在图1、图2、图3中示出了步骤之间的顺序，但是本领域技术人员应当理解，图1、图2、图3仅仅是示例，上述步骤之间的先后关系并不限定于图1、图2、图3中所示出的情况，例如，图1中的步骤S1可以在步骤S2之后执行，也可以同时执行，又例如，图2中的步骤S31可以在步骤S32之后执行，也可以同时执行，等等。
接下来，参照图4来说明用于执行图1中所示出的方法的多传感器目标信息融合的优化装置。
如图4所示，该装置100包括第1单元101，其被配置成，针对每个时刻，获得在当前时刻的关于目标状态的所有传感器的融合预测结果。
在一个示例中，对于时刻t，可以利用以下数式(8)来确定关于某个目标的目标状态的融合预测结果：
Figure PCTCN2018120627-appb-000018
其中，
Figure PCTCN2018120627-appb-000019
是在t时刻的关于目标状态的所有传感器的融合预测结果，F是系统状态转移矩阵，X(t－1)是在t-1时刻的关于目标状态的最优融合估计结果(后述)，W(t)是系统噪声。
在一个实施例中，如图4所示，所述装置100还可以包括第2单元，其被配置成获得在当前时刻的各个传感器关于目标状态的实际测量结果。
在一个实施例中，如图4所示，所述装置100还可以包括第3单元，其被配置成，针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来获得在当前时刻的相应传感器关于目标状态的最优估计结果。
关于第3单元103的内部结构，将在下面详细说明。
具体地，在一个实施例中，所述第3单元103包括第3A单元(未示出)，其被配置成，针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来计算对应的转换矩阵。
在一个示例中，对于各个传感器所获得的各套实际测量结果，可以利用以下数式(9)来确定对应的转换矩阵：
Figure PCTCN2018120627-appb-000020
其中，Z ik(t)是在t时刻的第i个传感器关于目标状态的第k套实际测量结果，H ik是与第i个传感器的第k套实际测量结果对应的转换矩阵，
Figure PCTCN2018120627-appb-000021
是在t时刻的关于目标状态的所有传感器的融合预测结果，V(t)是测量噪声。
在一个实施例中，所述第3单元103还可以包括第3B单元(未示出)，其被配置成计算所述每一套实际测量结果对应的协方差。
在一个示例中，对于各个传感器所获得的各套实际测量结果，可以利用以下数式(10)来确定对应的协方差：
Figure PCTCN2018120627-appb-000022
其中，
Figure PCTCN2018120627-appb-000023
是在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的协方差，F是系统状态转移矩阵，F T是系统状态转移矩阵的转置矩阵，P ik(t－1)是在t-1时刻的针对第i个传感器的第k套实际测量结果的最优估计结果对应的协方差(后述)，Q是系统过程噪声的协方差。
在一个实施例中，所述第3单元103还可以包括第3C单元(未示出)，其被配置成，针对所述每一套实际测量结果，基于所述对应的转换矩阵和所述对应的协方差来计算对应的卡尔曼增益。
在一个示例中，对于各个传感器所获得的各套实际测量结果，可以利用以下数式(11)来计算对应的卡尔曼增益：
Figure PCTCN2018120627-appb-000024
其中，kg ik(t)是在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的卡尔曼增益，
Figure PCTCN2018120627-appb-000025
是在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的协方差，H ik是与第i个传感器的第k套实际测量结果对应的转换矩阵，H ik T是与第i个传感器的第k套实际测量结果对应的转换矩阵的转置矩阵，R是测量过程噪声的协方差。
在一个实施例中，所述第3单元103还可以包括第3D单元(未示出)，其被配置成，针对所述每一套实际测量结果，基于所述融合预测结果、所述对应的卡尔曼增益、该套实际测量结果以及所述对应的转换矩阵，来计算对应的在当前时刻的相应传感器关于目标状态的最优估计结果。
在一个示例中，对于各个传感器所获得的各套实际测量结果，可以利用以下数式(12)来计算对应的最优估计结果：
Figure PCTCN2018120627-appb-000026
其中，X ik(t)是在t时刻的与第i个传感器的第k套实际测量结果对应的最优估计结果，
Figure PCTCN2018120627-appb-000027
是在t时刻的关于目标状态的所有传感器的融合预测结果，kg ik(t)是在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的卡尔曼增益，Z ik(t)是在t时刻的第i个传感器关于目标状态的第k套实际测量结果，H ik是与第i个传感器的第k套实际测量结果对应的转换矩阵。
在针对每一套实际测量结果计算出在当前时刻的相应传感器关于目标状态的最优估计结果之后，返回至图4。在一个实施例中，如图4所示，所述装置100还可以第4单元104，其被配置成，对所有传感器的所述最优估计结果进行融合以确定每个所述最优估计结果对应的权重、进而获得在当前时刻的关于目标状态的最优融合估计结果。
在一个示例中，可以利用以下数式(13)来获得在当前时刻的关于目标状态的最优融合估计结果：
Figure PCTCN2018120627-appb-000028
其中，X(t)是在t时刻的关于目标状态的所有传感器的最优融合估计结果，f是融合函数，X ik(t)是在t时刻的与第i个传感器的第k套实际测量结果对应的最优估计结果，
Figure PCTCN2018120627-appb-000029
是在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的协方差。
关于第4单元104的内部结构，将在下面详细说明。
具体地，在一个实施例中，所述第4单元104包括第4A单元(未示出)，其被配置成，根据各套实际测量结果对应的协方差来确定每个所述最优估计结果对应的权重。
在一个示例中，在利用上述数式(10)来计算出所有传感器的所 有套实际测量结果对应的协方差(即，
Figure PCTCN2018120627-appb-000030
)之后，根据各个协方差的大小来对与每一套实际测量结果对应的每一个最优估计结果(即，X 11(t),X 12(t),...,X ik(t))分配权重(即，w 11(t),w 12(t),...,w ik(t))。
在一个实施例中，所述第4单元104还可以包括第4B单元(未示出)，其被配置成，基于每个所述最优估计结果以及对应的权重来计算在当前时刻的关于目标状态的所有传感器的最优融合估计结果。
在一个示例中，利用所分配的权重(即，w 11(t),w 12(t),...,w ik(t))对相应的最优估计结果(即，X 11(t),X 12(t),...,X ik(t))进行加权运算，从而得到在t时刻的关于目标状态的所有传感器的最优融合估计结果。此外，如上述数式(8)所示，在t时刻的X(t)还可以用于计算在t+1时刻的
Figure PCTCN2018120627-appb-000031
可选地，在一个实施例中，所述装置100还可以包括第5单元(未示出)，其被配置成：根据在第3A单元中得到的转换矩阵和在第3C单元中得到的卡尔曼增益来校正在第3B单元中得到的协方差，以获得经校正的协方差，所述经校正的协方差可以用于计算在当前时刻的下一时刻的对应的实际测量结果对应的协方差(请参见上述数式(10))。
在一个示例中，利用以下数式(14)来获得在当前时刻的经校正的协方差：
Figure PCTCN2018120627-appb-000032
其中，P ik(t)是在t时刻的针对第i个传感器的第k套实际测量结果的经校正的协方差，I是单位矩阵，kg ik(t)是在上述步骤S33中得到的在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的卡尔曼增益，H ik是在步骤S31中得到的与第i个传感器的第k套实际测量 结果对应的转换矩阵，
Figure PCTCN2018120627-appb-000033
是在步骤S32中得到的在t时刻的第i个传感器关于目标状态的第k套实际测量结果对应的协方差，此外，在t时刻的P ik(t)还可以用于计算在t+1时刻的
Figure PCTCN2018120627-appb-000034
通过以上单元，能够实时地调整权重，从而获得准确的目标融合估计结果。
根据本发明的一个实施方式的上述多传感器目标信息融合的优化方法及装置在应用于辅助驾驶时能够使得辅助驾驶系统采用更为优化的数据，从而有助于其决策与控制，例如使自适应巡航、紧急制动等辅助驾驶功能或场景能基于优化的数据做出更好的决策，这样的功能或场景还可以包括车身稳定控制等。
虽然在此之前以多传感器目标信息融合的优化方法及装置的实施方式为中心进行了说明，但是本发明不限定于这些实施方式，也可以将本发明实施为以下方式：包含上述方法的辅助驾驶方法的方式或者包含上述装置的辅助驾驶系统的方式或者用于执行上述方法的计算机设备或者用于执行上述方法的计算机程序的方式或者用于实现上述装置的功能的计算机程序的方式或者记录有该计算机程序的计算机可读取的记录介质的方式。
在图5中示出了根据本发明的一个实施方式的用于执行根据本发明的一个实施方式的多传感器目标信息融合的优化方法的计算机设备。如图5所示，计算机设备200包括存储器201和处理器202。虽然未图示，但是计算机设备200还包括存储在存储器201上并可在处理器202上运行的计算机程序。所述处理器执行所述程序时实现例如如图1、图2、图3所示的根据本发明的一个实施方式的多传感器目标信息融合的优化方法的各个步骤。
另外，如上所述，本发明也可以被实施为一种记录介质，在其中 存储有用于使计算机执行根据本发明的一个实施方式的多传感器目标信息融合的优化方法的程序。
在此，作为记录介质，能采用盘类(例如，磁盘、光盘等)、卡类(例如，存储卡、光卡等)、半导体存储器类(例如，ROM、非易失性存储器等)、带类(例如，磁带、盒式磁带等)等各种方式的记录介质。
通过在这些记录介质中记录使计算机执行上述实施方式中的多传感器目标信息融合的优化方法的计算机程序或使计算机实现上述实施方式中的多传感器目标信息融合的优化装置的功能的计算机程序并使其流通，从而能使成本的低廉化以及可携带性、通用性提高。
而且，在计算机上装载上述记录介质，由计算机读出在记录介质中记录的计算机程序并储存在存储器中，计算机所具备的处理器(CPU：Central Processing Unit(中央处理单元)、MPU：Micro Processing Unit(微处理单元))从存储器读出该计算机程序并执行，由此，能执行上述实施方式中的多传感器目标信息融合的优化方法并能实现上述实施方式中的多传感器目标信息融合的优化装置的功能。
本领域普通技术人员应当了解，本发明不限定于上述的实施方式，本发明可以在不偏离其主旨与范围内以许多其它的形式实施。因此，所展示的示例与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (16)

  1. 一种多传感器目标信息融合的优化方法，其特征在于，包括：
    步骤S1：针对每个时刻，获得在当前时刻的关于目标状态的所有传感器的融合预测结果；
    步骤S2：获得在当前时刻的各个传感器关于目标状态的实际测量结果；
    步骤S3：针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来获得在当前时刻的相应传感器关于目标状态的最优估计结果；以及
    步骤S4：对所有传感器的所述最优估计结果进行融合以确定每个所述最优估计结果对应的权重、进而获得在当前时刻的关于目标状态的最优融合估计结果。
  2. 根据权利要求1所述的优化方法，其特征在于，所述步骤S3包括：
    步骤S31：针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来计算对应的转换矩阵；
    步骤S32：计算所述每一套实际测量结果对应的协方差；
    步骤S33：针对所述每一套实际测量结果，基于所述对应的转换矩阵和所述对应的协方差来计算对应的卡尔曼增益；以及
    步骤S34：针对所述每一套实际测量结果，基于所述融合预测结果、所述对应的卡尔曼增益、该套实际测量结果以及所述对应的转换 矩阵，来计算对应的在当前时刻的相应传感器关于目标状态的最优估计结果。
  3. 根据权利要求2所述的优化方法，其特征在于，所述步骤S4包括：
    步骤S41：根据各套实际测量结果对应的协方差来确定每个所述最优估计结果对应的权重；以及
    步骤S42：基于每个所述最优估计结果以及对应的权重来计算在当前时刻的关于目标状态的所有传感器的最优融合估计结果。
  4. 根据权利要求2所述的优化方法，其特征在于，还包括：
    步骤S5：根据在步骤S31中得到的转换矩阵和在步骤S33中得到的卡尔曼增益来校正在步骤S32中得到的协方差，以获得经校正的协方差。
  5. 根据权利要求4所述的优化方法，其特征在于，在所述步骤S32中，在当前时刻的所述每一套实际测量结果对应的协方差是利用在前一时刻的经校正的协方差来获得的。
  6. 根据权利要求1至5中的任一项所述的方法，其特征在于，在所述步骤S1中，在当前时刻的所述融合预测结果是利用前一时刻的关于目标状态的最优融合估计结果来获得的。
  7. 一种多传感器目标信息融合的优化装置，其特征在于，包括：
    第1单元：针对每个时刻，获得在当前时刻的关于目标状态的所有传感器的融合预测结果；
    第2单元：获得在当前时刻的各个传感器关于目标状态的实际测 量结果；
    第3单元：针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来获得在当前时刻的相应传感器关于目标状态的最优估计结果；以及
    第4单元：对所有传感器的所述最优估计结果进行融合以确定每个所述最优估计结果对应的权重、进而获得在当前时刻的关于目标状态的最优融合估计结果。
  8. 根据权利要求7所述的优化装置，其特征在于，所述第3单元包括：
    第3A单元：针对每一套实际测量结果，基于所述融合预测结果和该套实际测量结果来计算对应的转换矩阵；
    第3B单元：计算所述每一套实际测量结果对应的协方差；
    第3C单元：针对所述每一套实际测量结果，基于所述对应的转换矩阵和所述对应的协方差来计算对应的卡尔曼增益；以及
    第3D单元：针对所述每一套实际测量结果，基于所述融合预测结果、所述对应的卡尔曼增益、该套实际测量结果以及所述对应的转换矩阵，来计算对应的在当前时刻的相应传感器关于目标状态的最优估计结果。
  9. 根据权利要求8所述的优化装置，其特征在于，所述第4单元包括：
    第4A单元：根据各套实际测量结果对应的协方差来确定每个所述最优估计结果对应的权重；以及
    第4B单元：基于每个所述最优估计结果以及对应的权重来计算在当前时刻的关于目标状态的所有传感器的最优融合估计结果。
  10. 根据权利要求8所述的优化装置，其特征在于，还包括：
    第5单元：根据在第3A单元中得到的转换矩阵和在第3C单元中得到的卡尔曼增益来校正在第3B单元中得到的协方差，以获得经校正的协方差。
  11. 根据权利要求10所述的优化装置，其特征在于，在所述第3B单元中，在当前时刻的所述每一套实际测量结果对应的协方差是利用在前一时刻的经校正的协方差来获得的。
  12. 根据权利要求7至11中的任一项所述的优化装置，其特征在于，在所述第1单元中，在当前时刻的所述融合预测结果是利用前一时刻的关于目标状态的最优融合估计结果来获得的。
  13. 一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现根据权利要求1至6中的任一项所述的方法的步骤。
  14. 一种记录介质，其上存储有计算机程序，其特征在于，该程序被计算机执行以实现根据权利要求1至6中的任一项所述的方法的步骤。
  15. 一种辅助驾驶方法，其特征在于，包括根据权利要求1至6中的任一项所述的多传感器目标信息融合的优化方法。
  16. 一种辅助驾驶系统，其特征在于，包括根据权利要求7至12中的任一项所述的多传感器目标信息融合的优化装置。
PCT/CN2018/120627 2017-12-15 2018-12-12 多传感器目标信息融合的优化方法及装置、计算机设备和记录介质 WO2019114757A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP18888791.3A EP3726428A4 (en) 2017-12-15 2018-12-12 OPTIMIZATION PROCESS AND APPARATUS FOR MERGING TARGET INFORMATION FROM MULTIPLE SENSORS, COMPUTER DEVICE AND RECORDING MEDIA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711346317.0A CN108573271B (zh) 2017-12-15 2017-12-15 多传感器目标信息融合的优化方法及装置、计算机设备和记录介质
CN201711346317.0 2017-12-15

Publications (1)

Publication Number Publication Date
WO2019114757A1 true WO2019114757A1 (zh) 2019-06-20

Family

ID=63575915

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/120627 WO2019114757A1 (zh) 2017-12-15 2018-12-12 多传感器目标信息融合的优化方法及装置、计算机设备和记录介质

Country Status (3)

Country Link
EP (1) EP3726428A4 (zh)
CN (1) CN108573271B (zh)
WO (1) WO2019114757A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110850403A (zh) * 2019-11-18 2020-02-28 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法
CN111881955A (zh) * 2020-07-15 2020-11-03 北京经纬恒润科技有限公司 多源传感器信息融合方法及装置
CN112068092A (zh) * 2020-08-31 2020-12-11 西安工业大学 一种用于高精度弹道实时定轨的抗差加权观测融合平方根ukf滤波方法
CN112380073A (zh) * 2020-10-12 2021-02-19 浙江天垂科技有限公司 一种故障位置的检测方法、装置及可读存储介质
CN113242524A (zh) * 2021-04-06 2021-08-10 杭州电子科技大学 一种基于信息加权的一致性滤波方法
CN115453580A (zh) * 2022-09-13 2022-12-09 广东汇天航空航天科技有限公司 Gnss传感器的故障诊断方法、装置、导航系统及交通工具
CN117493775A (zh) * 2023-12-29 2024-02-02 北京华龙通科技有限公司 数据链的相对导航方法、装置、电子设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573270B (zh) * 2017-12-15 2020-04-28 上海蔚来汽车有限公司 使多传感器目标信息融合与多传感器感测同步的方法及装置、计算机设备和记录介质
CN108573271B (zh) * 2017-12-15 2022-06-28 上海蔚来汽车有限公司 多传感器目标信息融合的优化方法及装置、计算机设备和记录介质
CN109343051A (zh) * 2018-11-15 2019-02-15 众泰新能源汽车有限公司 一种用于高级辅助驾驶的多传感器数据融合方法
CN109635868B (zh) * 2018-12-10 2021-07-20 百度在线网络技术（北京）有限公司 障碍物类别的确定方法、装置、电子设备及存储介质
CN112712717B (zh) * 2019-10-26 2022-09-23 华为技术有限公司 一种信息融合的方法、装置和设备
CN112817301B (zh) * 2019-10-30 2023-05-16 北京魔门塔科技有限公司 一种多传感器数据的融合方法、装置及系统
CN111191734B (zh) * 2020-01-03 2024-05-28 北京汽车集团有限公司 传感器数据融合方法、装置、设备及存储介质
CN112597122A (zh) * 2020-09-03 2021-04-02 禾多科技（北京）有限公司 自动驾驶车辆的车载数据处理方法、装置和电子设备
CN114429186A (zh) * 2022-01-26 2022-05-03 中国第一汽车股份有限公司 基于多传感器的数据融合方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105352535A (zh) * 2015-09-29 2016-02-24 河海大学 一种基于多传感器数据融合的测量方法
CN106101640A (zh) * 2016-07-18 2016-11-09 北京邮电大学 自适应视频传感器融合方法及装置
US20170032196A1 (en) * 2015-07-31 2017-02-02 Magna Electronics Inc. Vehicle vision system with object and lane fusion
CN108573271A (zh) * 2017-12-15 2018-09-25 蔚来汽车有限公司 多传感器目标信息融合的优化方法及装置、计算机设备和记录介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298868B2 (en) * 2002-10-08 2007-11-20 Siemens Corporate Research, Inc. Density estimation-based information fusion for multiple motion computation
US7719461B1 (en) * 2008-08-05 2010-05-18 Lockheed Martin Corporation Track fusion by optimal reduced state estimation in multi-sensor environment with limited-bandwidth communication path
CN103502075B (zh) * 2011-04-04 2016-10-05 斯堪尼亚商用车有限公司 道路倾斜度的估计
CN102261033A (zh) * 2011-05-03 2011-11-30 北京航空航天大学 一种基于惯性测量单元的车载路面检测系统的运补算法
CN102322861B (zh) * 2011-05-31 2013-03-13 电子科技大学 一种航迹融合方法
CN103105611B (zh) * 2013-01-16 2016-01-20 广东工业大学 一种分布式多传感器智能信息融合方法
DE102014211166A1 (de) * 2013-11-20 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren, Fusionsfilter und System zur Fusion von Sensorsignalen mit unterschiedlichen zeitlichen Signalausgabeverzügen zu einem Fusionsdatensatz
CN103776654B (zh) * 2014-02-21 2016-08-31 黑龙江省科学院自动化研究所 多传感器信息融合的故障诊断方法
CN104778358B (zh) * 2015-04-09 2017-11-10 西安工程大学 多传感器存在监测区域部分重叠的扩展目标跟踪方法
CN106815591B (zh) * 2015-11-29 2020-11-06 西南技术物理研究所 多传感器系统数据融合精度的提高方法
CN106054170B (zh) * 2016-05-19 2017-07-25 哈尔滨工业大学 一种约束条件下的机动目标跟踪方法
CN106680806A (zh) * 2016-11-24 2017-05-17 清华大学 一种多雷达点迹融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032196A1 (en) * 2015-07-31 2017-02-02 Magna Electronics Inc. Vehicle vision system with object and lane fusion
CN105352535A (zh) * 2015-09-29 2016-02-24 河海大学 一种基于多传感器数据融合的测量方法
CN106101640A (zh) * 2016-07-18 2016-11-09 北京邮电大学 自适应视频传感器融合方法及装置
CN108573271A (zh) * 2017-12-15 2018-09-25 蔚来汽车有限公司 多传感器目标信息融合的优化方法及装置、计算机设备和记录介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110850403A (zh) * 2019-11-18 2020-02-28 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法
CN111881955A (zh) * 2020-07-15 2020-11-03 北京经纬恒润科技有限公司 多源传感器信息融合方法及装置
CN111881955B (zh) * 2020-07-15 2023-07-04 北京经纬恒润科技股份有限公司 多源传感器信息融合方法及装置
CN112068092A (zh) * 2020-08-31 2020-12-11 西安工业大学 一种用于高精度弹道实时定轨的抗差加权观测融合平方根ukf滤波方法
CN112380073A (zh) * 2020-10-12 2021-02-19 浙江天垂科技有限公司 一种故障位置的检测方法、装置及可读存储介质
CN112380073B (zh) * 2020-10-12 2022-07-26 浙江天垂科技有限公司 一种故障位置的检测方法、装置及可读存储介质
CN113242524A (zh) * 2021-04-06 2021-08-10 杭州电子科技大学 一种基于信息加权的一致性滤波方法
CN113242524B (zh) * 2021-04-06 2022-01-14 杭州电子科技大学 一种基于信息加权的一致性滤波方法
CN115453580A (zh) * 2022-09-13 2022-12-09 广东汇天航空航天科技有限公司 Gnss传感器的故障诊断方法、装置、导航系统及交通工具
CN117493775A (zh) * 2023-12-29 2024-02-02 北京华龙通科技有限公司 数据链的相对导航方法、装置、电子设备及存储介质
CN117493775B (zh) * 2023-12-29 2024-05-14 北京华龙通科技有限公司 数据链的相对导航方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3726428A1 (en) 2020-10-21
CN108573271B (zh) 2022-06-28
CN108573271A (zh) 2018-09-25
EP3726428A4 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
WO2019114757A1 (zh) 多传感器目标信息融合的优化方法及装置、计算机设备和记录介质
WO2019114807A1 (zh) 多传感器目标信息融合
US7873447B2 (en) Position estimation apparatus, position estimation method and program recording medium
CN109598781B (zh) 通过回归分析从2d边界框获取伪3d框的方法以及使用该方法的学习装置和测试装置
CN116205947B (zh) 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质
CN111489285A (zh) 利用循环gan将真实图像变换成虚拟图像的方法及装置
US10482584B1 (en) Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same
Zhai et al. Robust vision-aided inertial navigation system for protection against ego-motion uncertainty of unmanned ground vehicle
EP4083920A1 (en) Method and apparatus for accelerating simultaneous localization and mapping
CN112986977B (zh) 一种克服雷达扩展卡尔曼航迹滤波发散的方法
Tanaka et al. Learning to bundle-adjust: A graph network approach to faster optimization of bundle adjustment for vehicular slam
CN113932815B (zh) 稳健性优化Kalman滤波相对导航方法、装置、设备和存储介质
CN110481561A (zh) 无人驾驶车辆自动控制信号生成方法和装置
CN107967691B (zh) 一种视觉里程计算方法和装置
CN108240807B (zh) 估计空间占据的方法
US7671787B2 (en) Target tracking apparatus and method
CN108241365B (zh) 估计空间占据的方法和装置
Khound et al. Performance index modeling from fault injection analysis for an autonomous lane-keeping system
Lenac et al. Revival of filtering based SLAM? Exactly sparse delayed state filter on Lie groups
US20240169562A1 (en) Device and method with camera pose estimation
CN113034538A (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
Nguyen Computationally-efficient visual inertial odometry for autonomous vehicle
WO2024009377A1 (ja) 情報処理装置、自己位置推定方法、及び非一時的なコンピュータ可読媒体
CN112967388B (zh) 三维时序图像神经网络模型的训练方法和装置
US12013980B2 (en) Information processing apparatus, information processing method, learning method, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18888791

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018888791

Country of ref document: EP

Effective date: 20200715