WO2023050586A1 - 定位传感器的异常检测方法、装置及终端设备 - Google Patents

定位传感器的异常检测方法、装置及终端设备 Download PDF

Info

Publication number
WO2023050586A1
WO2023050586A1 PCT/CN2021/138060 CN2021138060W WO2023050586A1 WO 2023050586 A1 WO2023050586 A1 WO 2023050586A1 CN 2021138060 W CN2021138060 W CN 2021138060W WO 2023050586 A1 WO2023050586 A1 WO 2023050586A1
Authority
WO
WIPO (PCT)
Prior art keywords
positioning
positioning sensor
moment
measurement data
motion state
Prior art date
Application number
PCT/CN2021/138060
Other languages
English (en)
French (fr)
Inventor
邵翠萍
李慧云
邹晨
陈贝章
Original Assignee
中国科学院深圳先进技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院深圳先进技术研究院 filed Critical 中国科学院深圳先进技术研究院
Publication of WO2023050586A1 publication Critical patent/WO2023050586A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/393—Trajectory determination or predictive tracking, e.g. Kalman filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present application belongs to the technical field of automatic driving, and in particular relates to an abnormal detection method, device and terminal equipment of a positioning sensor.
  • self-driving equipment such as self-driving cars, self-driving aircraft, and self-driving ships.
  • driverless cars At present, driverless takeaway cars and driverless taxis have begun to appear on public roads.
  • unmanned vehicles In order to realize automatic driving under unmanned control, unmanned vehicles need to sense the road environment conditions during driving through vehicle positioning sensors, analyze and process the acquired information at the same time, automatically plan driving routes and navigate vehicles, thus arrive at the intended destination.
  • the positioning sensors can not only obtain the relative positional relationship between the equipment and the external environment, but also determine the absolute position of the equipment through equipment state perception. This also leads to abnormal behavior of the autonomous driving equipment, or even catastrophic accidents, once the positioning sensor is attacked and becomes abnormal. Therefore, it is necessary to detect in time whether the positioning sensor of the automatic driving device is attacked, so as to take safety measures to avoid abnormal driving of the automatic driving device.
  • the convolutional neural network is usually used to detect whether the vehicle positioning sensor is abnormal, or the deep reinforcement learning algorithm is used to learn the optimal sensor fusion strategy for the autonomous vehicle, in case some sensors may be attacked.
  • the existing monitoring methods can only monitor whether the vehicle-mounted positioning sensor is abnormal, but it is difficult to locate the abnormal positioning sensor, that is, it is impossible to determine which positioning sensor is abnormal, so it affects the subsequent monitoring of the automatic driving equipment.
  • the embodiment of the present application provides an abnormality detection method, device, terminal device and storage medium of a positioning sensor, which can solve the problem that the abnormal positioning sensor cannot be positioned when the related technology detects the abnormality of the positioning sensor on the automatic driving equipment question.
  • the embodiment of the present application provides a method for abnormality detection of a positioning sensor, which is applied to an automatic driving device.
  • the automatic driving device is provided with a plurality of the positioning sensors, which is characterized in that it includes:
  • the motion state parameters of the automatic driving device it is determined that there is an abnormal positioning sensor among the plurality of positioning sensors, then for each positioning sensor, use the measurement data of the positioning sensor to determine the positioning measuring state parameters of the sensor, and determining whether the positioning sensor is abnormal according to the measuring state parameters of the positioning sensor.
  • this method can promptly determine which positioning sensor is abnormal while judging that there is an abnormality in the positioning sensor, so that the automatic driving device that has the abnormality can be recovered in a targeted manner.
  • the measurement data of the positioning sensor includes first measurement data of the positioning sensor at a first moment and second measurement data at a second moment, and the second moment The first moment is the next moment in the time series; the fusion processing is performed on the measurement data of a plurality of the positioning sensors, and the motion state parameters of the automatic driving device are determined, including:
  • the determining the motion state prediction parameter of the automatic driving device at the second moment according to the first measurement data of a plurality of positioning sensors includes:
  • the method further includes: updating the motion state prediction parameters at the second moment based on the extended Kalman filter algorithm, to obtain the automatic driving device corresponding to the plurality of positioning sensors at the second moment.
  • the second desired motion state parameter at the moment is a value that is a value that is a value that is a value that is a value that is a value that is a value that is a value that is a value that is a value that is a value that is based on the extended Kalman filter algorithm.
  • determining that there is an abnormal positioning sensor among the plurality of positioning sensors includes:
  • the motion state parameter is not within the first preset range, it is determined that there is an abnormal positioning sensor among the plurality of positioning sensors.
  • the determining that there is an abnormal positioning sensor among the plurality of positioning sensors according to the motion state parameters of the automatic driving device includes:
  • the automatic driving equipment and the motion state parameters corresponding to each moment in the target historical time period are accumulated and calculated to obtain the average motion state parameter corresponding to the target historical time period;
  • the average motion state parameter is not within the second preset range, it is determined that there is an abnormal positioning sensor among the plurality of positioning sensors.
  • the measurement data of the positioning sensor includes first measurement data of the positioning sensor at a first moment and second measurement data at a second moment, and the second moment The first moment is the next moment in the time sequence; for each of the positioning sensors, using the measurement data of the positioning sensor to determine the measurement state parameters of the positioning sensor; including:
  • Residual calculation is performed on the second state measurement parameter and the state prediction parameter to obtain a measurement state parameter of each positioning sensor at the second moment.
  • the root determines the state prediction parameter of the positioning sensor at the second moment according to the first measurement data of each positioning sensor; including:
  • first expected state parameter of each of the positioning sensors at the first moment is a state prediction parameter of the positioning sensor at the first moment by using an extended Kalman filter algorithm obtained by updating;
  • an abnormality detection device for a positioning sensor including:
  • a measurement data acquisition unit configured to acquire measurement data of each of the positioning sensors
  • a motion state parameter acquisition unit configured to perform fusion processing on the measurement data of a plurality of positioning sensors, and determine the motion state parameters of the automatic driving device
  • An abnormality judging unit configured to determine, according to the motion state parameters of the automatic driving device, that there is an abnormal positioning sensor among the plurality of positioning sensors, then for each of the positioning sensors, use the The measurement data determines the measurement state parameter of the positioning sensor, and determines whether the positioning sensor is abnormal according to the measurement state parameter of the positioning sensor.
  • an embodiment of the present application provides a terminal device, including a memory, a processor, and a computer program stored in the memory and operable on the processor, wherein the processor executes the When the computer program is used, the method for detecting abnormality of the positioning sensor described in any one of the first aspects is realized.
  • an embodiment of the present application provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and it is characterized in that, when the computer program is executed by a processor, any one of the first aspects is implemented.
  • an embodiment of the present application provides a computer program product, which, when the computer program product is run on a terminal device, enables the terminal device to execute the abnormality detection method for a positioning sensor described in any one of the above-mentioned first aspects.
  • Fig. 1 is a schematic flow chart of an abnormality detection method of a positioning sensor provided by an embodiment of the present application
  • FIG. 2 is a schematic flowchart of a method for performing fusion processing on the measurement data of a plurality of positioning sensors in step S120 provided by an embodiment of the present application to determine the motion state parameters of the automatic driving device;
  • Fig. 3 is a schematic diagram of a vehicle motion model provided by an embodiment of the present application.
  • FIG. 4 is a flowchart of the extended Kalman filter provided by an embodiment of the present application.
  • Fig. 5 is a position measurement result diagram of the self-driving car after the lidar is attacked in the self-driving simulator experiment provided by an embodiment of the present application;
  • Fig. 6 is a schematic structural diagram of an abnormality detection device for a positioning sensor provided by an embodiment of the present application.
  • Fig. 7 is a schematic structural diagram of a terminal device provided by an embodiment of the present application.
  • the term “if” may be construed, depending on the context, as “when” or “once” or “in response to determining” or “in response to detecting “.
  • the phrase “if determined” or “if [the described condition or event] is detected” may be construed, depending on the context, to mean “once determined” or “in response to the determination” or “once detected [the described condition or event] ]” or “in response to detection of [described condition or event]”.
  • references to "one embodiment” or “some embodiments” or the like in the specification of the present application means that a particular feature, structure, or characteristic described in connection with the embodiment is included in one or more embodiments of the present application.
  • appearances of the phrases “in one embodiment,” “in some embodiments,” “in other embodiments,” “in other embodiments,” etc. in various places in this specification are not necessarily All refer to the same embodiment, but mean “one or more but not all embodiments” unless specifically stated otherwise.
  • the terms “including”, “comprising”, “having” and variations thereof mean “including but not limited to”, unless specifically stated otherwise.
  • This application is mainly aimed at detecting the abnormality of the positioning sensor on the automatic driving equipment.
  • the automatic driving vehicle is relatively common in the automatic driving equipment. narrative.
  • the present application provides an abnormality detection method of a positioning sensor, which determines whether there is an abnormal positioning sensor among the multiple positioning sensors by performing fusion processing on the measurement data of multiple positioning sensors; if there is an abnormal positioning sensor sensors, traverse the plurality of positioning sensors, and use the measurement data of each positioning sensor to determine whether each positioning sensor is abnormal, thereby solving the positioning problem of abnormal sensors.
  • a method for detecting an abnormality of a positioning sensor provided by the present application will be exemplarily described below in conjunction with specific embodiments.
  • an embodiment of the present application provides a flow chart of an embodiment of an abnormal detection method for a positioning sensor, which is applied to an automatic driving device, and multiple positioning sensors are provided on the automatic driving device; as shown in FIG. 1
  • the method may include the following steps:
  • step S110 the measurement data of each positioning sensor is acquired.
  • the automatic driving device can obtain measurement data through multiple positioning sensors arranged on it, such as the driving speed, position and driving direction of the automatic driving vehicle.
  • the autopilot device in the embodiment of the present application may be an autopilot car, an autopilot aircraft, an autopilot ship, and the like.
  • step S120 fusion processing is performed on the measurement data of a plurality of positioning sensors to determine the motion state parameters of the automatic driving device.
  • the measurement data of each positioning sensor is acquired, the measurement data of multiple positioning sensors are fused to determine the motion state parameters of the automatic driving device.
  • the motion state parameter of the automatic driving device is used to characterize whether the actual motion state of the automatic driving device conforms to the expected motion state.
  • step S130 if it is determined according to the motion state parameters of the automatic driving device that there is an abnormal positioning sensor among the plurality of positioning sensors, then for each positioning sensor, use the measurement of the positioning sensor The data determine the measurement state parameters of the positioning sensor, and determine whether the positioning sensor is abnormal according to the measurement state parameters of the positioning sensor.
  • both the motion state parameters and the measurement state parameters can be quantified values, and it is determined whether there is a positioning sensor by comparing the quantifiable motion state parameters and measurement state parameters with their respective preset thresholds abnormal. When it is determined that there is an abnormality in the positioning sensor, it is possible to sequentially check which positioning sensor is abnormal according to the measurement data of each positioning sensor.
  • the abnormality detection method of the positioning sensor provided by the embodiment of the present application can locate the specific abnormal positioning sensor in time while detecting the abnormality of the positioning sensor among the multiple positioning sensors on the automatic driving device, which improves the positioning accuracy.
  • the measurement data of the positioning sensors include The first measurement data of the positioning sensor at the first moment and the second measurement data at the second moment, the second moment being the next moment in the time sequence of the first moment; as shown in Figure 2, determine the automatic driving device
  • the methods of motion state parameters specifically include:
  • Step S121 according to the first measurement data of a plurality of the positioning sensors at the first moment, determine the motion state prediction parameters of the automatic driving device at the second moment, wherein the second moment is the time sequence of the first moment the next moment.
  • the second moment may be the current moment when anomaly detection is performed.
  • the movement state at the second moment is predicted according to the first measurement data of the plurality of positioning sensors at the previous moment, and the movement state prediction parameter of the automatic driving device at the second moment is obtained.
  • the motion state prediction parameter may be the predicted vehicle pose of the autonomous vehicle at the second moment, where the predicted vehicle pose specifically includes the predicted position coordinates and heading angle of the vehicle.
  • Step S122 Determine a second motion state measurement parameter of the automatic driving device at the second moment according to the second measurement data of the plurality of positioning sensors at the second moment.
  • the second motion state measurement parameter is obtained according to the second measurement data of a plurality of positioning sensors at the second moment. Specifically, some data may be selected from the second measurement data to form the second motion state measurement parameter.
  • the second motion state measurement parameter may be the measured vehicle pose of the self-driving device at the second moment, wherein the measured vehicle pose specifically includes the vehicle's position coordinates and heading angle.
  • Step S123 performing residual calculation on the second motion state measurement parameter and the motion state prediction parameter to obtain the motion state parameter of the automatic driving device at the second moment.
  • the motion state prediction parameter of the automatic driving device at the second moment is predicted, and the second movement state of the multiple positioning sensors at the second moment
  • a residual calculation is performed on the state measurement parameters and the motion state prediction parameters to obtain the motion state parameters of the automatic driving device at the second moment.
  • step S121 determines the motion state prediction parameter of the automatic driving device at the second moment according to the first measurement data of multiple positioning sensors.
  • determine the automatic The method for predicting parameters of the motion state of the driving device at the second moment specifically includes:
  • Step S1211 obtaining a first expected motion state parameter of the automatic driving device corresponding to a plurality of positioning sensors at the first moment, wherein the first expected motion state parameter is obtained by using an extended Kalman filter algorithm to It is obtained by updating the motion state prediction parameters at the first moment.
  • the first expected motion state parameter is obtained by using an extended Kalman filter algorithm to update the motion state prediction parameter at the first moment.
  • the extended Kalman filter algorithm combines the predicted value with the measured value.
  • the specific filtering process will be introduced in detail later, and will not be repeated here.
  • Step S1212 inputting the first measurement data and the first expected motion state parameters into a pre-established motion model for processing, to obtain motion state prediction parameters of the automatic driving device at the second moment.
  • the motion model will be described in detail by taking the actual self-driving vehicle as an example.
  • the essence of an abnormality in the positioning sensor is that the data of the positioning sensor has changed abnormally.
  • Anomaly detection is to detect whether the data of the positioning sensor An exception has occurred. Therefore, the establishment of a data model can specify the impact of positioning sensor abnormalities on automatic driving equipment on the data, which can provide analysis objects for subsequent positioning sensor abnormal detection and abnormal positioning.
  • the data model of the positioning sensor is established based on the motion model of the vehicle.
  • the motion model of the bicycle can be selected to model the motion state of the vehicle.
  • the model assumes that the vehicle is a moving object on a two-dimensional plane, and the structure of the vehicle is the same as that of a bicycle, that is, the two fronts of the vehicle The tires have a consistent angle and speed while the front tires control the cornering of the vehicle.
  • the vehicle motion scene on the two-dimensional plane can be obtained, and the vehicle motion model shown in Figure 3 is obtained.
  • the motion state of the vehicle is represented by the pose of the vehicle, specifically, the coordinates and heading angle of the vehicle.
  • the input vector ⁇ k-1 of the automatic driving vehicle motion model [ v k-1 , ⁇ k-1 ] T
  • the output of the vehicle motion model is shown in formula (2):
  • T s is the time interval between time k-1 and time k;
  • x pre is the motion state prediction parameter of the vehicle at time k;
  • a k-1 and b k-1 are the expectations of the vehicle at time k-1
  • Position coordinates ⁇ k-1 is the expected heading angle of the vehicle at time k-1,
  • v k-1 is the measured velocity of the vehicle at time k-1;
  • ⁇ k is an independent and identically distributed Gaussian random with mean value 0 and covariance Q>0 variable. Therefore the expression of the vehicle motion model in the embodiment of the present application is as shown in formula (3):
  • x pre f(x k-1 , ⁇ k-1 , ⁇ k-1 ) (1)
  • f( ⁇ ) is a nonlinear function.
  • y k is the measurement parameter of the vehicle’s motion state at the k-th moment
  • x k [a k , b k , ⁇ k ] T is the initial motion state measurement parameter of the vehicle at the k-th moment (at x k It is obtained directly from the measurement data of the positioning sensor, and has a different meaning from the updated final desired motion state parameter x k in Fig.
  • ⁇ k has the same dimension as y k
  • ⁇ a, k , ⁇ b, k , ⁇ ⁇ , k are independent random variables
  • ⁇ k means 0, and the covariance is Q> 0 independent and identically distributed Gaussian random variable.
  • the measurement noise vector is introduced so that the obtained motion state measurement parameters are more in line with the actual motion state of the vehicle.
  • the first motion state measurement parameter of the vehicle at the first moment can be obtained.
  • the first measurement data and the first expected motion state parameters at the first moment can be predicted to obtain the motion state prediction parameters of the vehicle at the second moment, and then the vehicle's positioning sensor obtains the first motion state parameter at the second moment
  • the second measurement data is to obtain the second motion state measurement parameter of the vehicle at the second moment.
  • the motion state prediction parameters at the second moment can also be updated based on the extended Kalman filter algorithm, and the automatic driving device corresponding to the multiple positioning sensors is obtained.
  • the second expected motion state parameter at the second moment is used as the input value of the motion model at the next moment at the second moment, so as to complete the recursive cycle.
  • the step is to update the motion state prediction parameters at the second moment based on the extended Kalman filter algorithm, so as to obtain the second expected motion state parameters of the automatic driving device corresponding to the plurality of positioning sensors at the second moment; specifically include:
  • the motion state prediction parameter at the second moment is updated based on the Kalman gain and the second motion state measurement parameter to obtain a second desired motion state parameter.
  • the updating of the motion state prediction parameters is obtained by recursive estimation using an Extended Kalman Filter (EKF) algorithm.
  • EKF Extended Kalman Filter
  • the essence of the Extended Kalman Filter (EKF) algorithm is a parameterized Bayesian model.
  • the filtering operation is discussed below:
  • x pre f(x k-1 , ⁇ k-1 ,0) (5)
  • a k-1 and B k-1 in the formula are the partial derivative matrices obtained by the first-order approximation of the motion state model according to the Taylor expansion.
  • the specific expression is as follows:
  • K k P pre H k T (H k P pre H k T +R) -1
  • the space domain detector fuses the measurement data of multiple positioning sensors to predict the motion state parameters of the automatic driving device, and the detection result is to judge the position of multiple positioning sensors Whether any sensor is attacked (abnormal).
  • the time domain detector is to predict the measurement state parameters of the corresponding positioning sensor for the measurement data of each positioning sensor on the premise that the sensor is judged to be attacked by the space domain detector, and the detection result is to judge whether the corresponding positioning sensor is Attacked (abnormal).
  • the update step (c) is expanded separately for the spatial domain detector and the temporal domain detection domain as follows:
  • the observation model (4) comes from the measurement data of multiple positioning sensors (assuming there are n positioning sensors), namely:
  • y n, k represent the motion state measurement parameters of sensor n at time k;
  • C is a 3n ⁇ 3n order unit matrix;
  • ⁇ n,k is the measurement noise vector of sensor n at time k, and R n,k can be obtained as the measurement noise covariance matrix of sensor n at time k, so it can be obtained:
  • a single positioning sensor is detected, and the position data (a k , b k , ⁇ k ) of y k in the model (4) are all derived from the measurement data of the same positioning sensor at time k.
  • observation model formula (4) is modified as:
  • K 1, k P 1, pre H k T (H k P 1, pre H k T + R 1 ) -1
  • observation model formula (4) is modified as:
  • y 2, k represents the state measurement parameters of positioning sensor 2; ⁇ 2, k represents the measurement noise of positioning sensor 2, and its covariance is R 2 .
  • step S130 determines that there is an abnormal positioning sensor among the plurality of positioning sensors according to the motion state parameters of the automatic driving device. Specifically, it may include: if the motion state parameters are not in the If within a preset range, it is determined that there is an abnormal positioning sensor among the plurality of positioning sensors.
  • the method further includes: according to the motion state parameters of the automatic driving device, determining that there is no abnormal positioning sensor among the plurality of positioning sensors, specifically, it may include: if the If the motion state parameter is within the first preset range, it is determined that there is no abnormal position sensor among the plurality of position sensors.
  • the motion state parameter is a residual value r k of the motion state prediction parameter and the second motion state measurement parameter, and the specific expression is as described above.
  • the step is to determine that there is an abnormal positioning sensor among the plurality of positioning sensors according to the motion state parameters of the automatic driving device, specifically The following steps may also be included:
  • the measurement data corresponding to each moment of each positioning sensor in the target historical time period is acquired.
  • Fusion processing is performed on the measurement data of the plurality of positioning sensors at each time, to determine the motion state parameters of the automatic driving device corresponding to each time in the target historical time period.
  • the automatic driving device and the motion state parameters corresponding to each moment in the target historical time period are accumulated and averaged to obtain the average motion state parameters corresponding to the target historical time period.
  • the average motion state parameter is not within the second preset range, it is determined that there is an abnormal positioning sensor among the plurality of positioning sensors.
  • the average motion state parameter is within the second preset range, it is determined that there is no abnormal positioning sensor among the plurality of positioning sensors.
  • the above embodiments mainly focus on the detailed description of the method for judging that there is an abnormal positioning sensor among the multiple positioning sensors.
  • the above method for judging whether there is an abnormal positioning sensor among the plurality of positioning sensors is also applicable to judging whether each positioning sensor on the automatic driving device is abnormal.
  • step S130 for each of the positioning sensors, using the measurement data of the positioning sensors to determine the measurement status parameters of the positioning sensors, including:
  • Residual calculation is performed on the state prediction parameter and the second state measurement parameter to obtain the measurement state parameter of each positioning sensor at the second moment.
  • the step of determining the state prediction parameters of the positioning sensor at the second moment according to the first measurement data of each positioning sensor includes:
  • first expected state parameter of each of the positioning sensors at the first moment is a state prediction parameter of the positioning sensor at the first moment by using an extended Kalman filter algorithm obtained by updating;
  • the method for judging whether each positioning sensor is abnormal further includes:
  • the state prediction parameters of each positioning sensor at the second moment are updated based on the extended Kalman filter algorithm to obtain a second expected state parameter of each positioning sensor at the second moment.
  • the step of determining whether the positioning sensor is abnormal according to the measurement state parameters of the positioning sensor includes:
  • the step of determining whether the positioning sensor is abnormal according to the measurement state parameters of the positioning sensor includes:
  • the measurement state parameter of the positioning sensor is within a third preset range, it is determined that the positioning sensor is abnormal.
  • the step of determining whether the positioning sensor is abnormal according to the measurement state parameters of the positioning sensor includes:
  • the positioning sensor is not abnormal.
  • the residual value r k obeys a normal distribution
  • the preset range (including the first preset range, the second preset range, the third preset range and the fourth preset range) is the same as the confidence level The corresponding confidence interval.
  • the method for determining the preset range is as follows:
  • the corresponding confidence interval M satisfies the following conditions:
  • n the sample size. The higher the required reliability, the narrower the judgment interval of no abnormality.
  • Table 1 takes the attack positioning scheme of detecting two positioning sensors as an example, in which the time domain detector 1 is aimed at GPS, and the time domain detector 2 is aimed at LiDAR. The specific description is as follows:
  • Case 3 In this case, the spatial domain detector and time domain detector 1 detect anomalies, while the time domain detector 2 remains silent, which means that the positioning sensor 1 is attacked, and the positioning sensor 2 is working normally. Therefore, the measurements of position sensor 1 and position sensor 2 do not agree, triggering an alarm in the spatial domain detector.
  • Case 4 In this case, anomalies are detected in both spatial domain detector and temporal domain detector 2, while detector 1 remains silent. Similar to the analysis of case 3, it can be concluded that the positioning sensor 2 is under attack.
  • Case 5 In this case, all three detectors detect anomalies, which can easily conclude that both positioning sensor 1 and positioning sensor 2 are affected. Anomalies in spatial domain detectors are due to inconsistent measurements.
  • a spatial domain detector and a time domain detector are designed from the correlation of positioning sensors.
  • the main novelty of this attack detection scheme is that there will be spatial correlation
  • the positioning sensor first detects to determine whether a sensor is attacked, and then judges which sensor is attacked in terms of time correlation for a single positioning sensor, which improves the detection speed.
  • the space domain detector in the embodiment analyzes the complementary difference between different sensor data from the spatial dimension
  • the time domain detector analyzes the temporal continuous difference of the same sensor data from the time dimension.
  • the two detectors also reduce the delay in real-time detection attack requirements, making autonomous vehicles safer during driving.
  • the self-driving car is driven on a pre-planned path, and a series of data collected are tested.
  • a series of data collected are tested.
  • All data available for perception, planning and control are stored.
  • the focus of this experiment is on the detection and identification of positioning sensor attacks (anomalies), so the pose data of positioning sensors GPS and LiDAR in the stored data and the controller command data including speed and steering angle are used.
  • Table 2 is the data format in the stored data, where x and y in the position coordinates correspond to the position coordinates a and b, yaw in the attitude data of the vehicle corresponds to the heading angle ⁇ , the vehicle speed v and the front wheel steering angle at different moments v is obtained from the stored data in the controller instruction.
  • the self-driving car moves on the self-driving simulation platform, and the laser radar is attacked to conduct the positioning sensor attack detection experiment. After the lidar is attacked, the position measurement values collected in real time are all wrong and can further mislead the vehicle. Specifically, in the experiment, we made the position measurement of the lidar gradually biased towards the adjacent lane. The position measurement results are shown in Figure 5.
  • the attack time is randomly determined, and the lateral offset caused by the attack and the vehicle’s real lane is also randomly generated from [3.5, 7] ⁇ [-7,-3.5] meters, which means that the vehicle with a lane width equal to 3.5m is currently Adjacent lanes to the left and right of the lane.
  • the lidar attack occurred at 43.07 seconds, with a lateral offset equal to 5.342 meters, which means that the position measurement data of the lidar system becomes the left adjacent lane, while the bearing measurement data remains unaffected.
  • Fig. 6 shows a structural block diagram of the abnormality detection device of the positioning sensor provided by the embodiment of the present application. relevant part.
  • the abnormal detection device 6 of the positioning sensor includes:
  • a measurement data acquisition unit 61 configured to acquire measurement data of each positioning sensor
  • a motion state parameter acquisition unit 62 configured to perform fusion processing on the measurement data of a plurality of positioning sensors, and determine the motion state parameters of the automatic driving device;
  • the abnormality judging unit 63 is configured to determine, according to the motion state parameters of the automatic driving device, that there is an abnormal positioning sensor among the plurality of positioning sensors, then for each of the positioning sensors, use the positioning sensor.
  • the measurement data of the positioning sensor is used to determine the measurement state parameter of the positioning sensor, and it is determined whether the positioning sensor is abnormal according to the measurement state parameter of the positioning sensor.
  • the device shown in Figure 6 can be a software unit, a hardware unit, or a combination of software and hardware built into existing terminal equipment, or it can be integrated into the terminal equipment as an independent pendant, or it can be used as an independent terminal device exists.
  • FIG. 7 is a schematic structural diagram of a terminal device provided by an embodiment of the present application.
  • the terminal device 7 of this embodiment includes: at least one processor 70 (only one processor is shown in FIG. 7 ), a memory 71 and stored in the memory 71 and can be processed in the at least one processor.
  • the terminal device 7 may be computing devices such as desktop computers, notebooks, palmtop computers, and cloud servers.
  • the terminal device may include, but not limited to, a processor 70 and a memory 71 .
  • FIG. 7 is only an example of the terminal device 7, and does not constitute a limitation on the terminal device 7. It may include more or less components than those shown in the figure, or combine some components, or different components. , for example, may also include input and output devices, network access devices, and so on.
  • the so-called processor 70 can be a central processing unit (Central Processing Unit, CPU), and the processor 70 can also be other general processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit) , ASIC), off-the-shelf programmable gate array (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • a general-purpose processor may be a microprocessor, or the processor may be any conventional processor, or the like.
  • the storage 71 may be an internal storage unit of the terminal device 7 in some embodiments, such as a hard disk or memory of the terminal device 7 .
  • the memory 71 can also be an external storage device of the terminal device 7 in other embodiments, such as a plug-in hard disk equipped on the terminal device 7, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, flash memory card (Flash Card), etc. Further, the memory 71 may also include both an internal storage unit of the terminal device 7 and an external storage device.
  • the memory 71 is used to store operating system, application program, boot loader (BootLoader), data and other programs, such as the program code of the computer program.
  • the memory 71 can also be used to temporarily store data that has been output or will be output.
  • the embodiment of the present application also provides a network device, which includes: at least one processor, a memory, and a computer program stored in the memory and operable on the at least one processor, and the processor executes The computer program implements the steps in any of the above method embodiments.
  • the embodiment of the present application also provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the steps in each of the foregoing method embodiments can be realized.
  • An embodiment of the present application provides a computer program product.
  • the computer program product When the computer program product is run on a mobile terminal, the mobile terminal can implement the steps in the foregoing method embodiments when executed.
  • the integrated unit is realized in the form of a software function unit and sold or used as an independent product, it can be stored in a computer-readable storage medium. Based on this understanding, all or part of the procedures in the methods of the above embodiments in the present application can be completed by instructing related hardware through computer programs, and the computer programs can be stored in a computer-readable storage medium.
  • the computer program When executed by a processor, the steps in the above-mentioned various method embodiments can be realized.
  • the computer program includes computer program code, and the computer program code may be in the form of source code, object code, executable file or some intermediate form.
  • the computer-readable medium may at least include: any entity or device capable of carrying computer program codes to an abnormality detection device/terminal device of a positioning sensor, a recording medium, a computer memory, a read-only memory (ROM, Read-Only Memory), Random Access Memory (RAM, Random Access Memory), electrical carrier signals, telecommunication signals, and software distribution media.
  • ROM Read-only memory
  • RAM Random Access Memory
  • electrical carrier signals telecommunication signals
  • software distribution media Such as U disk, mobile hard disk, magnetic disk or optical disk, etc.
  • computer readable media may not be electrical carrier signals and telecommunication signals under legislation and patent practice.
  • the disclosed device/network device and method may be implemented in other ways.
  • the device/network device embodiments described above are only illustrative.
  • the division of the modules or units is only a logical function division.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be through some interfaces, and the indirect coupling or communication connection of devices or units may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components shown as units may or may not be physical units, that is, they may be located in one place, or may be distributed to multiple network units. Part or all of the units can be selected according to actual needs to achieve the purpose of the solution of this embodiment.

Abstract

自动驾驶技术领域，提供了定位传感器的异常检测方法、装置及终端设备。该方法应用于自动驾驶设备，自动驾驶设备上设置有多个定位传感器，该方法包括：获取每个定位传感器的测量数据(S110)；对多个定位传感器的测量数据进行融合处理，确定自动驾驶设备的运动状态参数(S120)；若根据自动驾驶设备的运动状态参数，确定多个定位传感器中存在出现异常的定位传感器，则针对每个定位传感器，利用定位传感器的测量数据确定定位传感器的测量状态参数，并根据定位传感器的测量状态参数确定定位传感器是否出现异常(S130)。上述方法在判断有定位传感器出现异常的同时可以及时确定具体哪个定位传感器出现异常，后续可以有针对性的对出现异常的自动驾驶设备进行恢复。

Description

定位传感器的异常检测方法、装置及终端设备 技术领域
本申请属于自动驾驶技术领域，尤其涉及一种定位传感器的异常检测方法、装置及终端设备。
背景技术
随着自动驾驶技术的迅速发展，自动驾驶设备的研究也越来越多，例如自动驾驶汽车、自动驾驶飞机、自动驾驶船舶等。较为常见的自动驾驶设备为无人驾驶汽车，目前无人驾驶外卖车、无人驾驶出租车等已经开始出现在公共道路上。为了实现无人操控状态下的自动驾驶，无人驾驶汽车需要通过车载定位传感器感知汽车行驶过程中的道路环境状况，同时对获取的信息进行分析处理，自动规划行车路线并对车辆进行导航，从而到达预定目的地。
一般来说，在自动驾驶设备上设置多个定位传感器，定位传感器不仅可以获取设备与外界环境的相对位置关系，还可以通过设备状态感知确定设备的绝对位置。这也导致了一旦定位传感器受到攻击出现异常后，自动驾驶设备可能会出现异常行为，甚至发生灾难性事故。因此，需要及时检测自动驾驶设备的定位传感器是否受到攻击，以便采取安全措施避免自动驾驶设备出现异常行驶。
现有技术中，通常利用卷积神经网络来检测车载定位传感器是否异常，或是使用深度强化学习算法来学习用于自主车辆的最优传感器融合策略，以防某些传感器可能被攻击。但是现有的监测方法仅仅能对车载定位传感器是否出现异常进行监测，但是难以对出现异常的定位传感器进行定位，即无法确定具体哪个定位传感感器出现了异常，因此影响后续对自动驾驶设备的定位传感器有针对性的恢复工作。
发明内容
本申请实施例提供了定位传感器的异常检测方法、装置、终端设备和存储介质，可以解决相关技术在对自动驾驶设备上的定位传感器进行异常检测时，无法对出现异常的定位传感器进行定位的技术问题。
第一方面，本申请实施例提供了一种定位传感器的异常检测方法，应用于自动驾驶设备，所述自动驾驶设备上设置有多个所述定位传感器，其特征于，包括：
获取每个所述定位传感器的测量数据；
对多个所述定位传感器的测量数据进行融合处理，确定所述自动驾驶设备的运动状态参数；
若根据所述自动驾驶设备的运动状态参数，确定多个所述定位传感器中存在出现异常的所述定位传感器，则针对每个所述定位传感器，利用所述定位传感器的测量数据确定所述定位传感器的测量状态参数，并根据所述定位传感器的测量状态参数确定所述定位传感器是否出现异常。
基于上述方法，首先根据多个定位传感器的测量数据获得自动驾驶设备的运动状态参数，在根据运动状态参数确定多个定位传感器存在出现异常的定位传感器的情况下，针对每个定位传感器进行分析，得到该定位传感器对应的测量状态参数，根据每个定位传感器对应的测量状态参数确定对应的定位传感器是否出现异常。因此该方法在判断有定位传感器出现异常的同时可以及时确定具体哪个定位传感器出现异常，从而使得后续可以有针对性的对出现异常的自动驾驶设备进行恢复。
在第一方面的一种可能的实现方式中，所述定位传感器的测量数据包括所述定位传感器在第一时刻的第一测量数据和在第二时刻的第二测量数据，所述第二时刻为所述第一时刻在时间序列上的下一时刻；所述对多个所述定位传感器的测量数据进行融合处理，确定所述自动驾驶设备的运动状态参数，包括：
根据多个所述定位传感器的第一测量数据，确定所述自动驾驶设备在所述 第二时刻的运动状态预测参数；
根据多个所述定位传感器的第二测量数据，确定所述自动驾驶设备在所述第二时刻的第二运动状态测量参数；
对所述第二运动状态测量参数和所述运动状态预测参数进行残差计算，得到所述自动驾驶设备在所述第二时刻的运动状态参数。
在第一方面的一种可能的实现方式中，所述根据多个所述定位传感器的第一测量数据，确定所述自动驾驶设备在所述第二时刻的运动状态预测参数，包括：
获取与多个所述定位传感器对应的所述自动驾驶设备在所述第一时刻的第一期望运动状态参数，其中所述第一期望运动状态参数是利用扩展卡尔曼滤波算法对所述第一时刻的运动状态预测参数进行更新得到的；
将所述第一测量数据和所述第一期望运动状态参数输入到预先建立的运动模型中处理，得到所述自动驾驶设备在所述第二时刻的运动状态预测参数。
示例性的，所述方法还包括：基于扩展卡尔曼滤波算法对所述第二时刻的运动状态预测参数进行更新，得到与多个所述定位传感器对应的所述自动驾驶设备在所述第二时刻的第二期望运动状态参数。
示例性的，所述根据所述自动驾驶设备的运动状态参数，确定多个所述定位传感器中存在出现异常的所述定位传感器，包括：
若所述运动状态参数不在第一预设范围内，则确定多个所述定位传感器中存在出现异常的所述定位传感器。
在第一方面的一种可能的实现方式中，所述根据所述自动驾驶设备的运动状态参数，确定多个所述定位传感器中存在出现异常的所述定位传感器，包括：
获取每个所述定位传感器在目标历史时间段内各个时刻对应的测量数据；
对多个所述定位传感器每个所述时刻的测量数据分别进行融合处理，确定所述自动驾驶设备与目标历史时间段内各个时刻对应的运动状态参数；
将所述自动驾驶设备与目标历史时间段内各个时刻对应的运动状态参数进 行累加和均值计算，得到与所述目标历史时间段对应的平均运动状态参数；
若所述平均运动状态参数不在第二预设范围内，确定多个所述定位传感器中存在出现异常的所述定位传感器。
在第一方面的一种可能的实现方式中，所述定位传感器的测量数据包括所述定位传感器在第一时刻的第一测量数据和在第二时刻的第二测量数据，所述第二时刻为所述第一时刻在时间序列上的下一时刻；所述针对每个所述定位传感器，利用所述定位传感器的测量数据确定所述定位传感器的测量状态参数；包括：
根据每个所述定位传感器的第一测量数据，确定所述定位传感器在所述第二时刻的状态预测参数；
根据每个所述定位传感器的第二测量数据，确定所述定位传感器在所述第二时刻的第二状态测量参数；
对所述第二状态测量参数和所述状态预测参数进行残差计算，得到每个定位传感器在所述第二时刻的测量状态参数。
示例性的，所述根根据每个所述定位传感器的第一测量数据，确定所述定位传感器在所述第二时刻的状态预测参数；包括：
获取每个所述定位传感器在所述第一时刻的第一期望状态参数，其中所述第一期望状态参数是利用扩展卡尔曼滤波算法对所述定位传感器在所述第一时刻的状态预测参数进行更新得到的；
将所述第一测量数据和所述第一期望状态参数输入到预先建立的运动模型中处理，得到每个所述定位传感器在所述第二时刻的状态预测参数。
第二方面，本申请实施例提供了一种定位传感器的异常检测装置，包括：
测量数据获取单元，用于获取每个所述定位传感器的测量数据；
运动状态参数获取单元，用于对多个所述定位传感器的测量数据进行融合处理，确定所述自动驾驶设备的运动状态参数；
异常判断单元，用于若根据所述自动驾驶设备的运动状态参数，确定多个 所述定位传感器中存在出现异常的所述定位传感器，则针对每个所述定位传感器，利用所述定位传感器的测量数据确定所述定位传感器的测量状态参数，并根据所述定位传感器的测量状态参数确定所述定位传感器是否出现异常。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现第一方面中任一项所述的定位传感器的异常检测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面中任一项所述的定位传感器的异常检测方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的定位传感器的异常检测方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的定位传感器的异常检测方法的流程示意图；
图2是本申请一实施例提供的步骤S120对多个所述定位传感器的测量数据进行融合处理，确定所述自动驾驶设备的运动状态参数的方法的流程示意图；
图3是本申请一实施例提供的车辆运动模型的示意图；
图4是本申请一实施例提供的扩展卡尔曼滤波工作流程图；
图5是本申请一实施例提供的自动驾驶仿真器实验中的激光雷达受攻击后的自动驾驶汽车的位置测量结果图；
图6是本申请一实施例提供的定位传感器的异常检测装置的结构示意图；
图7是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特 点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请主要是针对自动驾驶设备上的定位传感器的异常进行检测，在自动驾驶设备中自动驾驶车辆较为常见，为了便于理解，下面以自动驾驶车辆上的定位传感器的检测为例对本申请的思想进行叙述。
在自动驾驶车辆行驶过程中，需要通过该车辆上设置的多个定位传感器获取车辆当前的定位数据，例如车辆位置、行驶速度和行驶方向等。通过这些定位数据来指导车辆在下一时刻行驶状态，例如速度是否需要调整，方向是否需要改变等等。然而在自动驾驶车辆上的定位传感器因受到攻击等原因出现异常时，通过定位传感器获取到的定位数据往往也是有问题的，这会直接影响自动驾驶车辆在下一时刻的行驶状态，进而很可能造成交通事故。
为此，本申请提供一种定位传感器的异常检测方法，通过对多个定位传感器的测量数据进行融合处理，来确定该多个定位传感器中是否存在出现异常的定位传感器；若存在出现异常的定位传感器，则遍历该多个定位传感器，利用每个定位传感器各自的测量数据判断各个定位传感器是否出现异常，从而解决异常传感器的定位问题。
下面结合具体实施例对本申请提供一种定位传感器的异常检测方法进行示例性的说明。
参见图1，为本申请实施例提供了一种定位传感器的异常检测方法的一个实施例的流程图，应用于自动驾驶设备，自动驾驶设备上设置有多个所述定位传感器；如图1所示，该方法可以包括以下步骤：
在步骤S110中，获取每个所述定位传感器的测量数据。
实施例中，自动驾驶设备在自动驾驶过程中，可以通过设置在其上的多个 定位传感器获取测量数据，例如自动驾驶车辆的行驶速度、位置和行驶方向等。本申请实施例中的自动驾驶设备可以是自动驾驶汽车、自动驾驶飞机、自动驾驶船舶等。
在步骤S120中，对多个所述定位传感器的测量数据进行融合处理，确定所述自动驾驶设备的运动状态参数。
本申请实施例中，在获取每个定位传感器的测量数据后，对多个定位传感器的测量数据进行融合处理，确定自动驾驶设备的运动状态参数。其中，自动驾驶设备的运动状态参数用于表征该自动驾驶设备的实际运动状态是否符合期望的运动状态。
在步骤S130中，若根据所述自动驾驶设备的运动状态参数，确定多个所述定位传感器中存在出现异常的所述定位传感器，则针对每个所述定位传感器，利用所述定位传感器的测量数据确定所述定位传感器的测量状态参数，并根据所述定位传感器的测量状态参数确定所述定位传感器是否出现异常。
本申请实施例中，运动状态参数和测量状态参数都可以为量化的数值，通过将可以量化的运动状态参数和测量状态参数分别与各自对应的预设阈值进行比较，来确定是否有定位传感器出现异常。当确定有定位传感器存在异常的情况下，即可根据各个定位传感器的测量数据依次排查具体哪个定位传感器出现异常。
在实施例中，若根据所述自动驾驶设备的运动状态参数，确定多个所述定位传感器中不存在出现异常的所述定位传感器，则重复步骤S110和步骤S120。
本申请实施例提供的定位传感器的异常检测方法，在检测到自动驾驶设备上的多个定位传感器中有定位传感器出现异常的同时，还可以及时定位到具体的出现异常的定位传感器，提高了定位传感器遗产检测的效率；使得后续对定位传感器的修复工作更有针对性。
基于上述实施例，为了详细阐述步骤S120对多个所述定位传感器的测量数据进行融合处理，确定自动驾驶设备的运动状态参数，在本申请提供的又一 实施例中，定位传感器的测量数据包括定位传感器在第一时刻的第一测量数据和在第二时刻的第二测量数据，第二时刻为所述第一时刻在时间序列上的下一时刻；如图2所示，确定自动驾驶设备的运动状态参数的方法具体包括：
步骤S121，根据多个所述定位传感器在第一时刻的第一测量数据，确定所述自动驾驶设备在第二时刻的运动状态预测参数，其中第二时刻为所述第一时刻在时间序列上的下一时刻。
在实施例中，其中第二时刻可以为进行异常检测的当前时刻。根据多个定位传感器前一时刻的第一测量数据对第二时刻的运动状态进行预测，得到自动驾驶设备在第二时刻的运动状态预测参数。以自动驾驶车辆为例，其中运动状态预测参数可以是自动驾驶车辆在第二时刻的预测车辆位姿，其中预测车辆位姿具体包括预测得到的车辆的位置坐标和航向角。
步骤S122，根据多个所述定位传感器在第二时刻的第二测量数据，确定所述自动驾驶设备在所述第二时刻的第二运动状态测量参数。
实施例中第二运动状态测量参数是根据多个定位传感器在在第二时刻的第二测量数据得到的，具体来说可以是从第二测量数据中选取部分数据组成第二运动状态测量参数。以自动驾驶车辆为例，其中第二运动状态测量参数可以是自动驾驶设备在第二时刻的测量车辆位姿，其中测量车辆位姿具体包括车辆的位置坐标和航向角。
步骤S123，对所述第二运动状态测量参数和所述运动状态预测参数进行残差计算，得到所述自动驾驶设备在所述第二时刻的运动状态参数。
本实施例中，基于多个定位传感器在第一时刻时的第一测量数据来预测自动驾驶设备在在第二时刻的运动状态预测参数，通过将多个定位传感器在第二时刻的第二运动状态测量参数与运动状态预测参数进行残差计算来得到自动驾驶设备在第二时刻的运动状态参数。后续通过运动状态参数来确定多个定位传感器中是否存在出现异常的定位传感器，具体来说是通过计算得到的残差值来确定的。这样通过多个定位传感器在某个时刻的运动状态测量参数和运动状态 预测参数就可以及时判定是否发生异常，避免相关技术中在需要通过训练模型来实现定位传感器异常的判断时，因训练样本不足可能导致的无法及时检测设备是否异常的情况。
基于上述实施例，为了详细阐述步骤S121根据多个定位传感器的第一测量数据，确定自动驾驶设备在所述第二时刻的运动状态预测参数，在本申请提供的又一实施例中，确定自动驾驶设备在第二时刻的运动状态预测参数的方法具体包括：
步骤S1211，获取与多个所述定位传感器对应的所述自动驾驶设备在所述第一时刻的第一期望运动状态参数，其中所述第一期望运动状态参数是利用扩展卡尔曼滤波算法对所述第一时刻的运动状态预测参数进行更新得到的。
实施例中，第一期望运动状态参数是利用扩展卡尔曼滤波算法对所述第一时刻的运动状态预测参数进行更新得到的。
扩展卡尔曼滤波算法是将预测值和测量值相结合，具体滤波过程在后续进行详细介绍，在此不做赘述。
步骤S1212，将所述第一测量数据和所述第一期望运动状态参数输入到预先建立的运动模型中处理，得到所述自动驾驶设备在所述第二时刻的运动状态预测参数。
下面以实际以自动驾驶车辆为例对运动模型进行详细的阐述，具体来说，定位传感器发生异常(例如受到攻击)的本质是定位传感器数据发生了异常变化，异常检测也就是检测定位传感器数据是否发生了异常。因此，建立数据模型可以将定位传感器异常对自动驾驶设备的影响具体到数据上，这样可以为之后定位传感器异常检测和异常定位提供分析对象。实施例中，定位传感器的数据模型是以车辆的运动模型建立起来的。
本申请实施例可以选用的自行车的运动模型来对车辆运动状态建模，该模型假设了车辆是一个在二维平面上的运动物体，且车辆的结构就和自行车一样，即车辆前面的两个轮胎具有一致的角度和转速同时前面的轮胎控制该车辆的转 角。由自行车模型的假设可得到在二维平面上的车辆运动场景，得到如图3所示的车辆运动模型。
图3中，假设自动驾驶车辆的轴距(前后轮胎的距离)为L，在世界坐标中的航向角为θ，角速度为w，前轮转角为δ，p＝(a，b)是车辆在直角坐标系下的位置，v是车辆的速度。由运动学原理可得：
Figure PCTCN2021138060-appb-000001
Figure PCTCN2021138060-appb-000002
Figure PCTCN2021138060-appb-000003
实施例中，车辆运动状态以车辆位姿来表示，具体来说是采用车辆的坐标和航向角来表示。在k-1时刻的第一期望运动状态参数为x k-1＝[a k-1，b k-1，θ k-1] T，自动驾驶车辆运动模型的输入向量μ k-1＝[v k-1，δ k-1] T，车辆运动模型的的输出量如式(2)所示：
Figure PCTCN2021138060-appb-000004
式(2)中T s是k-1时刻和k时刻的时间间隔；x pre为车辆在k时刻的运动状态预测参数；a k-1和b k-1为车辆在k-1时刻的期望位置坐标，θ k-1为车辆在k-1时刻的期望航向角，v k-1为车辆在k-1时刻的测量得到的速度；ξ v，k-1和ξ δ，k-1为车辆在k-1时刻的运动过程噪声，我们定义ω k＝[ξ v，k，ξ δ，k] T，且ω k是均值为0，协方差为Q＞0的独立同分布的高斯随机变量。因此本申请实施例中的车辆运动模型的表达式如式(3)所示：
x pre＝f(x k-1，μ k-1，ω k-1)    (1)
式(3)中，f(·)是非线性函数。
在实际过程中，定位传感器往往会受到噪声的干扰，因此车辆的观测模型 (即为车辆实际的运动状态测量参数)如式(4)所示：
Figure PCTCN2021138060-appb-000005
式(4)中，y k为车辆在第k时刻的运动状态测量参数，x k＝[a k，b k，θ k] T为车辆在第k时刻的初始运动状态测量参数(在x k由定位传感器的测量数据直接得到的，与图4中更新后得到的最终的期望运动状态参数x k的含义不同)，∈ k＝[∈ a，k，∈ b，k，∈ θ，k] T表示测量噪声向量，∈ k与y k的维数相同，且∈ a，k，∈ b，k，∈ θ，k是相互独立的随机变量，∈ k是均值为0、协方差为Q＞0的独立同分布的高斯随机变量。
在用于获得车辆实际的运动状态测量参数的观测模型中，通过引入测量噪声向量使得得到的运动状态测量参数更加符合车辆的实际运动状态。
在获得车辆的定位传感器的第一时刻的第一测量数据时，可以得到车辆在第一时刻的第一运动状态测量参数。通过预先建立车辆运动模型，将第一时刻的第一测量数据和第一期望运动状态参数可以预测得到该车辆在第二时刻的运动状态预测参数，然后通过车辆的定位传感器获取第二时刻的第二测量数据，得到车辆在第二时刻的第二运动状态测量参数。
在一个实施例中，在得到第二时刻的运动状态预测参数之后，还可以基于扩展卡尔曼滤波算法对第二时刻的运动状态预测参数进行更新，得到与多个定位传感器对应的自动驾驶设备在第二时刻的第二期望运动状态参数。更新得到的第二期望运动状态参数作为第二时刻的下一时刻运动模型的输入值，以此完成递归循环。
在一个具体实施例中，步骤基于扩展卡尔曼滤波算法对第二时刻的运动状态预测参数进行更新，得到与多个定位传感器对应的自动驾驶设备在第二时刻的第二期望运动状态参数；具体包括：
获取多个所述定位传感器在所述第一时刻的估计误差协方差，并基于所述第一时刻的估计误差协方差获得多个所述定位传感器在所述第二时刻的预测误 差协方差，并基于第二时刻的预测误差协方差获得卡尔曼增益；
基于所述卡尔曼增益和所述所述第二运动状态测量参数对所述第二时刻的运动状态预测参数进行更新，得到第二期望运动状态参数。
在本申请实施例中，对运动状态预测参数的更新是采用扩展卡尔曼滤波(EKF)算法递归估计得到的。扩展卡尔曼滤波(EKF)算法的本质是参数化的贝叶斯模型。
图4所示的扩展卡尔曼滤波工作流程图，如图4所示扩展卡尔曼滤波(EKF)算法是将对当前时刻的运动状态的预测以及测量得出的反馈相结合，最终得到该时刻的期望状态(期望状态对应于本申请实施例中的期望运动状态参数)，其核心思想即为预测+测量反馈。为了便于理解，下面将滤波操作进行展开论述：
(a)初始化。假设初始时刻由式(4)的观测模型得到对应的车辆初始的运动状态测量参数为y 0。假设初始时刻对应的运动状态预测参数为x 0＝y 0。此外，初始时刻的运动状态的估计误差协方差为P 0，这是根据传感器制造商提供而获得的。算法初始化后，更新k值(k＝1，2，...)，将递归执行以下预测和更新步骤。
(b)预测。更新k值后得到的车辆在k＝1时刻对应的运动状态预测参数如式(5)所示：
x pre＝f(x k-1，μ k-1，0)    (5)
并利用图4中的方法对k＝1时刻对应的误差协方差进行了预测，具体如式(6)所示：
P pre＝A k-1P k-1A k-1 T-B k-1QB k-1 T   (6)
式中的A k-1和B k-1是运动状态模型根据泰勒展开式在一阶近似得到的偏导数矩阵。具体表达式如下：
Figure PCTCN2021138060-appb-000006
(c)更新。由图4可知，具体来说最终得到的k时刻的运动状态预测参数和估计误差协方差的更新如下：
K k＝P preH k T(H kP preH k T+R) -1
x k＝x pre+K k(y k-x pre)
P k＝P pre-K kH kP pre
实施例中，我们设计了空间域检测器和时间域监测器，其中空间域检测器对多个定位传感器的测量数据进行融合来预测自动驾驶设备的运动状态参数，检测结果是判断多个定位传感器中是否有传感器被攻击(出现异常)。时间域检测器是在空间域检测器上判断出有传感器被攻击的前提下，对每个定位传感器的测量数据分别进行预测所对应定位传感器的测量状态参数，检测结果是判断对应的定位传感器是否被攻击(出现异常)。
下面针对空间域检测器和时间域检测域分别对(c)更新步骤进行展开：
在执行更新步骤前，计算观测模型根据泰勒展开式在一阶近似得到的偏导数矩阵H k，参考A k-1和B k-1，同理可得：
Figure PCTCN2021138060-appb-000007
对于空间域检测器来说，需要对多个定位传感器进行检测，因此观测模型式(4)中来源于多个定位传感器(假设有n个定位传感器)的测量数据，即：
Figure PCTCN2021138060-appb-000008
其中，y n，k表示传感器n在k时刻的运动状态测量参数；
Figure PCTCN2021138060-appb-000009
C为3n×3n阶单位矩阵；
Figure PCTCN2021138060-appb-000010
其中∈ n，k是传感器n在k时 刻的测量噪声向量，可得R n，k表示传感器n在k时刻的测量噪声协方差矩阵，因此可得：
Figure PCTCN2021138060-appb-000011
在k时刻对应的运动状态预测参数和估计误差协方差的更新如下所示：
Figure PCTCN2021138060-appb-000012
上式中，
Figure PCTCN2021138060-appb-000013
Figure PCTCN2021138060-appb-000014
是3n×3n阶单位矩阵。
多个定位传感器作为一个整体在k时刻的残差值的表达式如下：
Figure PCTCN2021138060-appb-000015
对于时间域检测器来说，对单个定位传感器进行检测，模型式(4)中y k的位置数据(a k，b k，θ k)都是来源于同一定位传感器在k时刻的测量数据。
针对定位传感器1，观测模型式(4)修改为：
Figure PCTCN2021138060-appb-000016
其中，y 1，k表示定位传感器1的状态测量参数；∈ 1，k表示定位传感器1的测量噪声，它的协方差为R 1。因此，传感器1在k时刻的状态预测参数和估计误差协方差的测量更新如下所示：
K 1，k＝P 1，preH k T(H kP 1，preH k T+R 1) -1
x 1，k＝x 1，pre+K 1，k(y 1，k-x 1，pre)     (11)
P 1，k＝P 1，pre-K 1，kH kP 1，pre
传感器1在k时刻的残差值表达式为：
r 1，k＝y 1，k-H kx 1，pre    (12)
针对定位传感器2，观测模型式(4)修改为：
Figure PCTCN2021138060-appb-000017
其中，y 2，k表示定位传感器2的状态测量参数；∈ 2，k表示定位传感器2的测量噪声，它的协方差为R 2。
因此，传感器2在k时刻的状态预测参数和估计误差协方差的测量更新如下所示：
K 2，k＝P 2，preH k T(H kP 2，preH k T+R 2) -1
x 2，k＝x 2，pre+K 2，k(y 2，k-x 2，pre)    (14)
P 2，k＝P 2，pre-K 2，kH kP 2，pre
传感器2在k时刻的残差值表达式如下：
r 2，k＝y 2，k-H kx 2，pre     (15)
在一个实施例中，步骤S130根据所述自动驾驶设备的运动状态参数，确定多个所述定位传感器中存在出现异常的所述定位传感器，具体来说可以包括：若所述运动状态参数不在第一预设范围内，则确定多个所述定位传感器中存在出现异常的所述定位传感器。
在一个实施例中，所述方法还包括：根据所述自动驾驶设备的运动状态参数，确定多个所述定位传感器中不存在出现异常的所述定位传感器，具体来说可以包括：若所述运动状态参数在第一预设范围内，则确定多个所述定位传感器中不存在出现异常的所述定位传感器。
在一个实施例中，运动状态参数为运动状态预测参数和第二运动状态测量参数的残差值r k，具体表达式如前所述。
基于上述实施例，为了提高异常检测方法的效率，在本申请提供的又一实施例中，步骤根据自动驾驶设备的运动状态参数，确定多个定位传感器中存在 出现异常的所述定位传感器，具体还可以包括以下步骤：
获取每个所述定位传感器在目标历史时间段内各个时刻对应的测量数据。
对多个所述定位传感器每个所述时刻的测量数据分别进行融合处理，确定所述自动驾驶设备与目标历史时间段内各个时刻对应的运动状态参数。
将所述自动驾驶设备与目标历史时间段内各个时刻对应的运动状态参数进行累加和均值计算，得到与目标历史时间段对应的平均运动状态参数。
若平均运动状态参数不在第二预设范围内，确定多个所述定位传感器中存在出现异常的所述定位传感器。
在一个实施例中，若平均运动状态参数在第二预设范围内，确定多个所述定位传感器中不存在出现异常的所述定位传感器。
以上实施例主要针对多个定位传感器中存在出现异常的定位传感器的判断方法的详细叙述。上述针对多个定位传感器中存在出现异常的定位传感器的判断方法同样适用于对自动驾驶设备上的每个定位传感器是否出现异常的判断。下面对针对自动驾驶设备上的每个定位传感器是否出现异常的判断方法进行简单叙述。
在步骤S130中，针对每个所述定位传感器，利用所述定位传感器的测量数据确定所述定位传感器的测量状态参数，包括：
根据每个所述定位传感器的第一测量数据，确定所述定位传感器在所述第二时刻的状态预测参数；
根据每个所述定位传感器的第二测量数据，确定所述定位传感器在所述第二时刻的第二状态测量参数；
对所述状态预测参数和所述第二状态测量参数进行残差计算，得到每个定位传感器在所述第二时刻的测量状态参数。
在一个实施例中，步骤根据每个所述定位传感器的第一测量数据，确定所述定位传感器在所述第二时刻的状态预测参数，包括：
获取每个所述定位传感器在所述第一时刻的第一期望状态参数，其中所述 第一期望状态参数是利用扩展卡尔曼滤波算法对所述定位传感器在所述第一时刻的状态预测参数进行更新得到的；
将所述第一测量数据和所述第一期望状态参数输入到预先建立的运动模型中处理，得到每个所述定位传感器在所述第二时刻的状态预测参数；
在一个实施例中，针对每个定位传感器是否出现异常的判断方法还包括：
基于扩展卡尔曼滤波算法对每个定位传感器在所述第二时刻的状态预测参数进行更新，得到每个所述定位传感器在所述第二时刻的第二期望状态参数。
在一个实施例中，步骤根据所述定位传感器的测量状态参数确定所述定位传感器是否出现异常，包括：
若所述定位传感器的测量状态参数不在第三预设范围内，则确定所述定位传感器出现异常。
在一个实施例中，步骤根据所述定位传感器的测量状态参数确定所述定位传感器是否出现异常，包括：
若所述定位传感器的测量状态参数在第三预设范围内，则确定所述定位传感器出现异常。
在一个实施例中，针对每个定位传感器，步骤根据所述定位传感器的测量状态参数确定所述定位传感器是否出现异常，包括：
获取每个所述定位传感器在目标历史时间段内各个时刻对应的测量数据；
针对每个个所述定位传感器每个所述时刻的测量数据，确定所述定位传感器与目标历史时间段内各个时刻对应的测量状态参数；
将所述定位传感器与目标历史时间段内各个时刻对应的测量状态参数进行累加和均值计算，得到所述目标历史时间段对应的平均状态参数；
若所述平均状态参数不在第四预设范围内，确定所述定位传感器出现异常。
在一个实施例中，若所述平均状态参数在第四预设范围内，确定所述定位传感器未出现异常。
为了避免过多赘述内容，不对针对自动驾驶设备上的每个定位传感器是否 出现异常的判断方法的具体步骤进行展开。
示例性的，通常来说残差值r k服从正态分布，预设范围(包括第一预设范围、第二预设范围、第三预设范围和第四预设范围)为与置信水平对应的置信区间。其中预设范围的确定方法如下：
采用定位传感器正常情况下的残差值作为样本，建立残差值r k的正态分布如式(16)所示：
r k～N(ε,σ 2)  (16)
若我们要以99％的置信水平判断传感器是正常的，则相应的置信区间M满足如下条件：
Figure PCTCN2021138060-appb-000018
即如果后续得到的
Figure PCTCN2021138060-appb-000019
表示以99％的置信水平认为传感器无异常，否则表示有异常。n表示样本数量。要求的可信度越高，无异常情况的判断区间越窄。
为了便于理解，下面就本申请实施例中的空间域检测器和时间域检测器的判别结果进行具体的解读。基于下表1的攻击定位方案以识别被攻击的定位传感器。表1以检测两个定位传感器的攻击定位方案为例，其中时间域检测器1针对GPS，时间域检测器2针对LiDAR，具体说明如下：
表1攻击定位方案
情况 空间域检测器 时间域检测器1 时间域检测器2 结果
1 无异常 无异常 无异常 无攻击
2 异常 无异常 无异常 不确定攻击
3 异常 异常 无异常 GPS被攻击
4 异常 无异常 异常 LiDAR被攻击
5 异常 异常 异常 GPS和LiDAR都被攻击
情况1：在这种情况下，空间域检测器、时间域检测器1和时间域检测器2均不会发出警报，这意味着在每个攻击检测器中，传感器测量值与根据车辆运 动模型得出的预测值一致。所以两个定位传感器都是正常情况。
情况2：在这种情况下，只有空间域检测器发出警报，而时间域检测器1和时间域检测器2没有发现任何异常。这是一种特殊情况，因为即使在时间域检测器1和时间域检测器2中，定位传感器1或定位传感器2的测量值与期望值相匹配，但在空间域检测器中仍发现不匹配。时间域检测器1和时间域检测器2的沉默可能是因为攻击的强度太小，以至于被过程和测量噪声压制。然而，随着时间的推移，这两个测量值之间的不一致性会增加，从而空间域检测器中的警报。因此，在这种情况下，可以确定存在攻击，但攻击的来源不明。
情况3：在这种情况下，空间域检测器和时间域检测器1检测到异常，而时间域检测器2保持沉默，这意味着定位传感器1受到攻击，定位传感器2正常工作。因此，定位传感器1和定位传感器2的测量不一致，从而在空间域检测器中触发警报。
情况4：在这种情况下，在空间域检测器和时间域检测器2中检测到异常，而检测器1保持沉默。类似于情况3的分析，可以得出结论，定位传感器2受到攻击。
情况5：在这种情况下，三个检测器都检测到异常，这可以很容易地得出结论，定位传感器1和定位传感器2都受到了影响。空间域检测器中的异常是由于测量结果不一致。
本申请实施例中，从定位传感器的相关性上设计了空间域检测器和时间域检测器，与传统的基于模型的方法相比，该攻击检测方案的主要新颖之处在于将存在空间相关性的定位传感器先进行检测，来判断是否有传感器被攻击，再对单个定位传感器在时间相关性上进行判断哪个传感器被攻击，提高了检测速度。
另外，实施例中的空间域检测器从空间的维度上分析了不同传感器数据之间的互补差异性，时间域检测器从时间的维度上考虑分析了同一传感器数据的时间连续差异性。两种检测器同时在实时检测攻击要求上降低了时延，使自动 驾驶汽车在行驶中更安全。
为了更清晰的说明问题，本申请实施例在自动驾驶仿真器进行了实验。具体实验过程和结果如下：
在自动驾驶仿真器中，让自动驾驶汽车在预先规划的路径上行驶，收集到的一系列数据进行了实验。通过记录rosbag，所有包含感知、规划和控制可用的数据都被存储。本实验的重点是对定位传感器攻击(异常)的检测和识别，因此使用了存储数据中的定位传感器GPS和LiDAR的位姿数据以及包含速度和转向角的控制器命令数据。
表2为存储数据中的数据格式，其中位置坐标中的x和y对应于位置坐标a和b，车辆的姿态数据中的yaw对应于航向角θ，不同时刻的车辆速度v和前轮转向角v由控制器指令中的存储数据得到。收集数据过程中，自动驾驶汽车在自动驾驶仿真平台器上移动，以激光雷达受到攻击来进行定位传感器攻击检测实验。激光雷达受到攻击后，实时采集到的位置测量值都是错误的进一步可以误导车辆，具体的在实验中，我们使得激光雷达位置测量逐渐偏向于邻近车道，位置测量结果如图5所示。攻击时间是随机确定的，且攻击造成的与车辆真实车道的横向偏移也是从[3.5，7]∪[-7，-3.5]米中随机生成的，这表示车道宽度等于3.5m的车辆当前车道左右两侧的相邻车道。在测试中，激光雷达攻击发生在43.07秒，横向偏移等于5.342米，这意味激光雷达系统位置测量数据变成了左侧相邻车道，而方位测量数据保持不受影响。
表2
Figure PCTCN2021138060-appb-000020
Figure PCTCN2021138060-appb-000021
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的定位传感器的异常检测方法，图6示出了本申请实施例提供的定位传感器的异常检测装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图6，定位传感器的异常检测装置6包括：
测量数据获取单元61，用于获取每个所述定位传感器的测量数据；
运动状态参数获取单元62，用于对多个所述定位传感器的测量数据进行融合处理，确定所述自动驾驶设备的运动状态参数；
异常判断单元63，用于若根据所述自动驾驶设备的运动状态参数，确定多个所述定位传感器中存在出现异常的所述定位传感器，则针对每个所述定位传感器，利用所述定位传感器的测量数据确定所述定位传感器的测量状态参数，并根据所述定位传感器的测量状态参数确定所述定位传感器是否出现异常。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
另外，图6所示的装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元，也可以作为独立的挂件集成到所述终端设备中，还可以作为独立的终端设备存在。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图7为本申请一实施例提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70(图7中仅示出一个处理器)、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，所述处理器70执行所述计算机程序72时实现上述任意各个**方法实施例中的步骤。
终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71在一些实施例中可以是终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是终端设备7的外部存储设备，例如终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括终端设备7的内部存储单元也包括 外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到定位传感器的异常检测装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示 例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

  1. 一种定位传感器的异常检测方法，应用于自动驾驶设备，所述自动驾驶设备上设置有多个所述定位传感器，其特征在于，包括：
    获取每个所述定位传感器的测量数据；
    对多个所述定位传感器的测量数据进行融合处理，确定所述自动驾驶设备的运动状态参数；
    若根据所述自动驾驶设备的运动状态参数，确定多个所述定位传感器中存在出现异常的所述定位传感器，则针对每个所述定位传感器，利用所述定位传感器的测量数据确定所述定位传感器的测量状态参数，并根据所述定位传感器的测量状态参数确定所述定位传感器是否出现异常。
  2. 如权利要求1所述的方法，其特征在于，所述定位传感器的测量数据包括所述定位传感器在第一时刻的第一测量数据和在第二时刻的第二测量数据，所述第二时刻为所述第一时刻在时间序列上的下一时刻；
    所述对多个所述定位传感器的测量数据进行融合处理，确定所述自动驾驶设备的运动状态参数，包括：
    根据多个所述定位传感器的第一测量数据，确定所述自动驾驶设备在所述第二时刻的运动状态预测参数；
    根据多个所述定位传感器的第二测量数据，确定所述自动驾驶设备在所述第二时刻的第二运动状态测量参数；
    对所述第二运动状态测量参数和所述运动状态预测参数进行残差计算，得到所述自动驾驶设备在所述第二时刻的运动状态参数。
  3. 如权利要求2所述的方法，其特征在于，所述根据多个所述定位传感器的第一测量数据，确定所述自动驾驶设备在所述第二时刻的运动状态预测参数，包括：
    获取与多个所述定位传感器对应的所述自动驾驶设备在所述第一时刻的第 一期望运动状态参数，其中所述第一期望运动状态参数是利用扩展卡尔曼滤波算法对所述第一时刻的运动状态预测参数进行更新得到的；
    将所述第一测量数据和所述第一期望运动状态参数输入到预先建立的运动模型中处理，得到所述自动驾驶设备在所述第二时刻的运动状态预测参数。
  4. 如权利要求1所述的方法，其特征在于，所述根据所述自动驾驶设备的运动状态参数，确定多个所述定位传感器中存在出现异常的所述定位传感器，包括：
    若所述运动状态参数不在第一预设范围内，则确定多个所述定位传感器中存在出现异常的所述定位传感器。
  5. 如权利要求1所述的方法，其特征在于，所述根据所述自动驾驶设备的运动状态参数，确定多个所述定位传感器中存在出现异常的所述定位传感器，包括：
    获取每个所述定位传感器在目标历史时间段内各个时刻对应的测量数据；
    对多个所述定位传感器每个所述时刻的测量数据分别进行融合处理，确定所述自动驾驶设备与目标历史时间段内各个时刻对应的运动状态参数；
    将所述自动驾驶设备与目标历史时间段内各个时刻对应的运动状态参数进行累加和均值计算，得到与所述目标历史时间段对应的平均运动状态参数；
    若所述平均运动状态参数不在第二预设范围内，确定多个所述定位传感器中存在出现异常的所述定位传感器。
  6. 如权利要求1至5任一项所述的方法，其特征在于，所述定位传感器的测量数据包括所述定位传感器在第一时刻的第一测量数据和在第二时刻的第二测量数据，所述第二时刻为所述第一时刻在时间序列上的下一时刻；
    所述针对每个所述定位传感器，利用所述定位传感器的测量数据确定所述定位传感器的测量状态参数；包括：
    根据每个所述定位传感器的第一测量数据，确定所述定位传感器在所述第二时刻的状态预测参数；
    根据每个所述定位传感器的第二测量数据，确定所述定位传感器在所述第二时刻的第二状态测量参数；
    对所述第二状态测量参数和所述状态预测参数进行残差计算，得到每个定位传感器在所述第二时刻的测量状态参数。
  7. 如权利要求6所述的方法，其特征在于，所述根根据每个所述定位传感器的第一测量数据，确定所述定位传感器在所述第二时刻的状态预测参数；包括：
    获取每个所述定位传感器在所述第一时刻的第一期望状态参数，其中所述第一期望状态参数是利用扩展卡尔曼滤波算法对所述定位传感器在所述第一时刻的状态预测参数进行更新得到的；
    将所述第一测量数据和所述第一期望状态参数输入到预先建立的运动模型中处理，得到每个所述定位传感器在所述第二时刻的状态预测参数。
  8. 一种定位传感器的异常检测装置，应用于自动驾驶设备，所述自动驾驶设备上设置有多个所述定位传感器，其特征在于，包括：
    测量数据获取单元，用于获取每个所述定位传感器的测量数据；
    运动状态参数获取单元，用于对多个所述定位传感器的测量数据进行融合处理，确定所述自动驾驶设备的运动状态参数；
    异常判断单元，用于若根据所述自动驾驶设备的运动状态参数，确定多个所述定位传感器中存在出现异常的所述定位传感器，则针对每个所述定位传感器，利用所述定位传感器的测量数据确定所述定位传感器的测量状态参数，并根据所述定位传感器的测量状态参数确定所述定位传感器是否出现异常。
  9. 一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
  10. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一 项所述的方法。
PCT/CN2021/138060 2021-09-28 2021-12-14 定位传感器的异常检测方法、装置及终端设备 WO2023050586A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111142793.7A CN113933858A (zh) 2021-09-28 2021-09-28 定位传感器的异常检测方法、装置及终端设备
CN202111142793.7 2021-09-28

Publications (1)

Publication Number Publication Date
WO2023050586A1 true WO2023050586A1 (zh) 2023-04-06

Family

ID=79277106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/138060 WO2023050586A1 (zh) 2021-09-28 2021-12-14 定位传感器的异常检测方法、装置及终端设备

Country Status (2)

Country Link
CN (1) CN113933858A (zh)
WO (1) WO2023050586A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474983A (zh) * 2023-12-27 2024-01-30 广东力创信息技术有限公司 一种基于光视联动的预警方法以及相关装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114666100B (zh) * 2022-03-02 2023-03-24 南京航空航天大学 一种智能车辆网络攻击安全检测系统及方法
CN114353854B (zh) * 2022-03-21 2022-05-24 蘑菇物联技术（深圳）有限公司 用于在线定位异常传感器的方法、设备和介质
CN115453589A (zh) * 2022-08-19 2022-12-09 中国科学院深圳先进技术研究院 基于自动驾驶的攻击检测方法、终端设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137376A1 (en) * 2016-10-04 2018-05-17 Denso Corporation State estimating method and apparatus
CN109143162A (zh) * 2018-09-30 2019-01-04 成都精位科技有限公司 车辆姿态计算方法及装置
CN111191734A (zh) * 2020-01-03 2020-05-22 北京汽车集团有限公司 传感器数据融合方法、装置、设备及存储介质
CN112083725A (zh) * 2020-09-04 2020-12-15 湖南大学 一种面向自动驾驶车辆的结构共用多传感器融合定位系统
CN112781586A (zh) * 2020-12-29 2021-05-11 上海商汤临港智能科技有限公司 一种位姿数据的确定方法、装置、电子设备及车辆

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137376A1 (en) * 2016-10-04 2018-05-17 Denso Corporation State estimating method and apparatus
CN109143162A (zh) * 2018-09-30 2019-01-04 成都精位科技有限公司 车辆姿态计算方法及装置
CN111191734A (zh) * 2020-01-03 2020-05-22 北京汽车集团有限公司 传感器数据融合方法、装置、设备及存储介质
CN112083725A (zh) * 2020-09-04 2020-12-15 湖南大学 一种面向自动驾驶车辆的结构共用多传感器融合定位系统
CN112781586A (zh) * 2020-12-29 2021-05-11 上海商汤临港智能科技有限公司 一种位姿数据的确定方法、装置、电子设备及车辆

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474983A (zh) * 2023-12-27 2024-01-30 广东力创信息技术有限公司 一种基于光视联动的预警方法以及相关装置
CN117474983B (zh) * 2023-12-27 2024-03-12 广东力创信息技术有限公司 一种基于光视联动的预警方法以及相关装置

Also Published As

Publication number Publication date
CN113933858A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
WO2023050586A1 (zh) 定位传感器的异常检测方法、装置及终端设备
US10852732B2 (en) Deep learning based self-driving car, deep learning based self-driving control device, and deep learning based self-driving control method
CN110834642B (zh) 车辆跑偏识别方法、装置、车辆及存储介质
KR102570338B1 (ko) 자동차의 환경에서 타겟 자동차의 궤적을 예측하기 위한 방법 및 시스템
CN108960083B (zh) 基于多传感器信息融合的自动驾驶目标分类方法及系统
CN114170274B (zh) 目标跟踪方法和装置、电子设备和存储介质
CN116135640A (zh) 一种车辆防碰撞预警方法、系统及车辆
CN115993597A (zh) 一种视觉雷达感知融合方法及终端设备
CN114629698A (zh) 基于车辆状态估计的自动驾驶网络攻击检测系统及方法
CN114643994A (zh) 车辆横向异常检测方法、装置、设备及介质
US11899750B2 (en) Quantile neural network
CN116767281A (zh) 一种辅助驾驶方法、装置、设备、车辆和介质
Rojas et al. Quantitative resilience assessment of GPS, IMU, and LiDAR sensor fusion for vehicle localization using resilience engineering theory
KR20200133122A (ko) 차량 충돌 방지 장치 및 방법
KR20200140979A (ko) 차량 제어 방법, 차량 제어 장치, 이를 포함하는 차량 제어 시스템
JPWO2020170301A1 (ja) 情報処理装置、プログラム及び情報処理方法
US11948367B2 (en) Multi-object tracking for autonomous vehicles
KR20200063538A (ko) 위치 추정 상태 진단 방법 및 이를 수행하는 자율주행로봇
CN114817765A (zh) 基于地图的目标航向消歧
Lamard et al. CPHD filter addressing occlusions with pedestrians and vehicles tracking
JP2023543611A (ja) センサ性能低下状態を決定する方法
CN113291311A (zh) 一种紧急避撞工况下驾驶员异常行为检测方法及存储介质
Shu et al. A sum-of-squares polynomial approach for road anomaly detection using vehicle sensor measurements
CN115453589A (zh) 基于自动驾驶的攻击检测方法、终端设备以及存储介质
CN115561795A (zh) 基于自动驾驶的数据恢复方法、终端设备以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959146

Country of ref document: EP

Kind code of ref document: A1