WO2021253193A1 - 多组激光雷达外参的标定方法、标定装置和计算机存储介质 - Google Patents

多组激光雷达外参的标定方法、标定装置和计算机存储介质 Download PDF

Info

Publication number
WO2021253193A1
WO2021253193A1 PCT/CN2020/096220 CN2020096220W WO2021253193A1 WO 2021253193 A1 WO2021253193 A1 WO 2021253193A1 CN 2020096220 W CN2020096220 W CN 2020096220W WO 2021253193 A1 WO2021253193 A1 WO 2021253193A1
Authority
WO
WIPO (PCT)
Prior art keywords
lidar
point cloud
external parameters
calibration
cloud data
Prior art date
Application number
PCT/CN2020/096220
Other languages
English (en)
French (fr)
Inventor
宫正
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN202080006493.3A priority Critical patent/CN114080547A/zh
Priority to PCT/CN2020/096220 priority patent/WO2021253193A1/zh
Publication of WO2021253193A1 publication Critical patent/WO2021253193A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the present invention generally relates to the technical field of lidar, and more particularly relates to a calibration method, a calibration device and a computer storage medium for multiple sets of lidar external parameters.
  • lidar plays an important role in vehicle-mounted sensor systems due to its high-resolution, 360-degree, and three-dimensional environment perception capabilities.
  • multiple lidars are generally deployed in different parts of the car to achieve blind spot coverage of the point cloud.
  • multiple lidars are used to observe the same target object, and the shape and contour of the target object , Behavior, posture and other information capture more comprehensively.
  • the calibration of lidar is an important prerequisite. It is necessary to obtain accurate relative poses between multiple lidars to complete the calibration of lidar so that all lidar point cloud data can be accurate Are unified under the same coordinate system.
  • the calibration of multiple lidar external parameters mostly uses a fixed turntable rotation method, which requires a fixed calibration object, which has high requirements on the site and working environment.
  • the existing rotation registration method may have a failure problem for the small field of view (FOV) lidar.
  • FOV field of view
  • the present invention is proposed in order to solve at least one of the above-mentioned problems.
  • one aspect of the present application provides a method for calibrating external parameters of multiple sets of lidars.
  • the multiple sets of lidars include a first lidar and a second lidar.
  • the first lidar and the second lidar Installed at different positions of the movable platform, the calibration method includes:
  • the target external parameter is determined based on the estimated external parameters of at least a part of the plurality of estimated external parameters, wherein the matching score of each of the estimated external parameters in the at least part of the groups is greater than a threshold score.
  • Another aspect of the present invention provides a calibration device for multiple sets of external Lidar parameters, the device comprising:
  • the multiple sets of lidars include a first lidar and a second lidar, the first lidar and the second lidar are installed at different positions of the movable platform body;
  • a memory and a processor stores a computer program run by the processor, and the processor is configured to:
  • the target external parameter is determined based on the estimated external parameters of at least a part of the plurality of estimated external parameters, wherein the matching score of each of the estimated external parameters in the at least part of the groups is greater than a threshold score.
  • Another aspect of the present invention provides a computer storage medium on which a computer program is stored, and when the computer program is executed by a processor, the foregoing method for calibrating multiple sets of lidar external parameters is realized.
  • the calibration method and the calibration device of the present invention use the point clouds around all radar acquisition devices, select one of the reference radars to estimate the motion trajectory, and construct a map of the surrounding environment at the same time, and then solve multiple sets of estimated external parameters and each set of estimates The matching score corresponding to the external parameter. And the matching score is used as the registration failure judgment for the problem of lidar registration failure, and by filtering out the estimated external parameters whose matching score is lower than the threshold score, the accuracy of the estimation is improved, and more accurate calibration results are obtained.
  • Figure 1 shows a schematic diagram of an application scenario in an embodiment of the present invention
  • Figure 2 shows a schematic diagram of a calibration scenario in an embodiment of the present invention
  • Figure 3 shows a flow chart of a method for calibrating multiple sets of lidar external parameters in an embodiment of the present invention
  • Fig. 4 shows a flowchart of a method for calibrating multiple sets of external Lidar parameters in another embodiment of the present invention
  • Figure 5 shows a diagram of the relationship between weights and covariances in an embodiment of the present invention
  • Fig. 6 shows a block diagram of a device for calibrating multiple sets of external Lidar parameters in an embodiment of the present invention.
  • lidar calibration method provided in the embodiments of this application can not only be applied to scenarios of automatic driving, but also can be applied to scenarios such as robot navigation.
  • the embodiments of this application do not limit specific application scenarios. .
  • the method for calibrating multiple sets of external Lidar parameters can be applied to the application environment as shown in FIG. 1.
  • the first lidar 10 and the second lidar 20 can be installed on a movable platform such as a vehicle at any position.
  • the first lidar 10 is installed on the left side of the movable platform, and the second lidar 20 is installed.
  • the first lidar 10 may be installed in front of the movable platform, and the second lidar may be installed behind the movable platform, or any other suitable position can be used.
  • the method obtains the relative position information between the first lidar 10 and the second lidar 20 to determine the calibration external parameters of the lidar. Based on the calibration external parameters, the points collected by the first lidar 10 and the second lidar 20 are Cloud data to a coordinate system.
  • the scanning field of view of different lidars can overlap or have no overlap. And when the scanning fields of different lidars overlap, the overlap rate is not limited.
  • the above-mentioned vehicle may include two lidars or multiple lidars, and the above-mentioned vehicle may be an autonomous driving vehicle or a common vehicle.
  • the first lidar 10 and the second lidar 20 are respectively installed on both sides of the movable platform, and there is no overlap in the visible area.
  • the calibration of multiple lidar external parameters mostly uses a fixed turntable rotation method, which requires a fixed calibration object, which has high requirements on the site and working environment.
  • the existing rotation registration method may have a failure problem for the small field of view (FOV) lidar. In this case, it is not possible to directly manually or automatically match the point cloud images of the two lidars. It is necessary to measure external parameters through measurement or other methods. There are fewer measurement points, the process is complicated, and the accuracy is extremely low.
  • FOV field of view
  • the present invention provides a method for calibrating external parameters of multiple sets of lidars.
  • the multiple sets of lidars include a first lidar and a second lidar.
  • the first lidar and the second lidar The radar is installed at different positions of the movable platform, and the calibration method includes: acquiring multiple frames of first point cloud data and multiple frames of second points respectively collected by the first lidar and the second lidar by scanning the calibration scene Cloud data; construct a map based on the multi-frame first point cloud data and estimate the movement trajectory of the movable platform relative to the calibration scene; based on the movement trajectory and the initial value of the external parameter, sequentially divide the multi-frame second
  • the point cloud data is rotated and translated to the map to find the matching scores corresponding to the multiple sets of estimated external parameters and each set of estimated external parameters; based on the estimated external parameters of at least part of the multiple sets of estimated external parameters, the target external parameters are determined Parameter, wherein the matching score of each estimated external parameter in the at least part of the groups is greater than the threshold
  • the present invention uses the point clouds around all radar acquisition devices, selects one of the reference radars to estimate the motion trajectory, constructs a map of the surrounding environment, and then solves multiple sets of estimated external parameters and the matching score corresponding to each set of estimated external parameters.
  • the matching score is used as the registration failure judgment for the problem of lidar registration failure, and by filtering out the estimated external parameters whose matching score is lower than the threshold score, the accuracy of the estimation is improved, and more accurate calibration results are obtained.
  • the method for calibrating multiple sets of external Lidar parameters may be executed by a calibration device for external Lidar parameters.
  • the device can be implemented as a laser through software, hardware, or a combination of software and hardware. Part or all of the computer equipment for radar calibration.
  • the method for calibrating multiple sets of external lidar parameters in an embodiment of the present invention includes the following steps S301 to S304.
  • step S301 multiple frames of first point cloud data PnA and multiple frames of second point cloud data collected by the first lidar and the second lidar scan calibration scene respectively are acquired PnB.
  • the calibration is performed in a calibration environment as shown in FIG. 2.
  • the first lidar 10 and the second lidar 20 are fixed on opposite sides of the movable platform.
  • the movable platform is a vehicle, and the first laser
  • the radar 10 and the second lidar 20 are fixed on the left and right sides of the movable platform.
  • the calibration scene can be any suitable indoor or outdoor fixed place.
  • the calibration scene includes abundant and stationary structural features, such as walls. Faces, rods, geometric bodies, etc.
  • a plurality of lidars may also be rigidly installed at any position on the body of the movable platform.
  • the movable platform may move according to a predetermined movement track in the calibration scene while the first A lidar and the second lidar scan the calibration scene, and simultaneously collect multiple frames of point cloud data of each lidar.
  • the requirement for the motion trajectory is the overlap ratio of the scene range scanned by the first lidar and the scene range scanned by the second lidar after the movable platform moves according to the predetermined movement trajectory in the calibration scene
  • the preset threshold is reached, for example, the preset threshold is 80%.
  • the motion track is a non-linear motion, such as U-shaped, circular, elliptical, square, semi-circular, etc.
  • the movable platform is fixed and the calibration scene is relative to the movable platform. While moving, the first lidar and the second lidar scan the calibration scene, and at the same time collect multi-frame point cloud data of each lidar.
  • the calibration scene can also be carried out according to the aforementioned movement trajectory move.
  • the first point cloud data is based on the coordinate system of the first lidar
  • the second point cloud data is based on the coordinate system of the second lidar
  • the external parameter is a calibration matrix that converts the coordinate system of the second lidar to the coordinate system of the first lidar
  • the calibration matrix includes 3 rotation parameters and 3 translation parameters (for example, x, y, z), 3 rotation parameters (pitch, roll, yaw).
  • the field of view range of the first lidar 10 and the second lidar 20 can be any suitable field of view.
  • the first lidar 10 and the second lidar 20 have a smaller field of view.
  • the field of view range (for example, the horizontal field of view range) of the first lidar 10 is less than 100°, such as 60°, 70°, 80°, 90°; and/or, the field of view range of the second lidar 20 ( For example, the horizontal field of view range) is less than 100°, such as 60°, 70°, 80°, 90°, and so on.
  • the visible areas of the first lidar 10 and the second lidar 20 may not overlap, or may partially overlap.
  • step S302 a map is constructed according to the multi-frame first point cloud data and the movement track of the movable platform relative to the calibration scene is estimated.
  • the specific value of the preset threshold can be set reasonably according to actual needs, for example It may be 70%, 80%, 90%, etc., a map (such as a short-term submap) is constructed based on the multiple frames of the first point cloud data, and the movement track of the movable platform relative to the calibration scene is estimated.
  • the coincidence rate of the scanning trajectories of the first lidar and the second lidar in the calibration scene can be determined by any suitable method well known to those skilled in the art, for example, judged by the movement trajectory, when the When the platform moves on a closed trajectory, when the movement is completed, the coincidence rate will meet the requirements.
  • the map is the map of the calibration scene. It can be a point cloud map or a feature map. It can be created by including but not limited to SLAM, using feature point registration or automatic registration methods such as ICP, G-ICP, etc. .
  • a map of the scanned calibration scene is constructed, in which the first lidar completes a predetermined movement trajectory within a period of time from 0 to n.
  • the first lidar 10 is used as the reference radar
  • the second lidar 20 is the radar to be calibrated.
  • the other lidars can also be calibrated to the first laser radar.
  • the coordinate system of the radar 10 or, alternatively, a lidar other than the first lidar may be used as the reference radar, the lidar other than the reference radar may be used as the radar to be calibrated, and it may be calibrated to the coordinate system of the reference radar.
  • step S303 based on the motion trajectory and the initial value of the external parameter, the multi-frame second point cloud data is rotated and translated to the map in turn to solve multiple sets of estimated external parameters and each set of estimated external parameters The corresponding match score.
  • the matching score reaction is based on the estimated external parameters to rotate and translate the second point cloud data of the corresponding frame into the map, and the degree of matching with the corresponding feature in the map. Generally, the higher the matching score, the higher the matching degree.
  • the estimated external parameters of the corresponding frame are solved sequentially based on the second point cloud data of each frame of the second point cloud data of multiple frames.
  • the second point cloud data from frame 1 to frame n is solved to estimate the external parameter R and the matching score d.
  • the multi-frame second point cloud data includes the second point cloud data of the current frame
  • the current frame may be any one of the multi-frame second point cloud data
  • the initial external parameter value includes the first point cloud data.
  • to solve multiple sets of estimated external parameters and the matching scores corresponding to each set of estimated external parameters includes the following steps S1 to S3:
  • step S3 based on the motion track, the initial value of the first external parameter, and the synchronized time stamp, the second point cloud data of the current frame is rotated and translated to the map to obtain the current frame
  • the first conversion point cloud of the wherein, when the current frame is the first frame in multiple frames, the first external parameter initial value is based on the positional relationship between the first lidar and the second lidar Determined, or when the current frame is not the first frame, the initial value of the first external parameter is an estimate that the matching score calculated based on the second point cloud data of a frame before the current frame is higher than the threshold score External reference.
  • the second point cloud data of the current frame may be point cloud data of any one frame of the second point cloud data of multiple frames.
  • the rotation and translation can be performed based on the motion estimation, so that the first point cloud data can be quickly rotated To the vicinity of the location of the map, for example, if the first point cloud data of the current frame is collected as the surface of an object in the map, the first point cloud data of the current frame can be quickly based on the motion track and the first point cloud data.
  • the initial value of the external parameter and the synchronized time stamp are rotated and translated to the vicinity of the certain object on the map.
  • the initial value of the first external parameter is determined according to the positional relationship between the first lidar and the second lidar, for example, by measuring the first For the positions of the first lidar and the second lidar, use engineering drawings to estimate the initial value of the first external parameter, or you can use the feature matching method to find feature points through machine learning, and then initially estimate an initial value of the first external parameter .
  • the optimization efficiency can be improved by setting the initial value of the external parameter.
  • the initial value of the first external parameter is an estimated external parameter whose matching score obtained based on the second point cloud data of a frame before the current frame is higher than a threshold score.
  • the threshold score can be set reasonably according to the actual matching needs, and there is no specific limitation here. Through this setting, the estimated external parameter whose matching score is lower than the threshold score can be filtered out, and it will not be substituted into the next iteration to improve the next iteration. The accuracy of the second iteration improves the robustness.
  • each frame of the second point cloud data can include multiple point cloud points
  • the first conversion point cloud corresponding to one frame can include multiple point cloud points, which can be based on one of the point cloud points. Iterative solution can also be performed on at least part of the point cloud points, and the first converted point cloud belonging to a frame can generally correspond to the same external parameters.
  • any suitable method may be used to obtain multiple neighbor points in the map whose distance from a point cloud point in the first conversion point cloud is lower than a threshold distance.
  • the nearest neighbor search algorithm in Equation 1 (Expressed by the function NN) Find multiple neighbor points PnA whose distance from one point cloud point in the first converted point cloud is lower than the threshold distance in the map.
  • Equation 1 P A n represents neighbor points in the map, M represents a map constructed based on multiple frames of first point cloud data, and P B n represents the nth point in n frames of second point cloud data collected by the second lidar.
  • T guess represents the initial value of the external parameter.
  • LOAM LOAM
  • Other feature matching algorithms such as LOAM can be used to automatically match the point cloud to complete the environment reconstruction.
  • the nearest neighbor matching algorithm determines the current frame corresponding to the current frame.
  • the group estimated external parameter and the matching score When the matching score of the current group estimated external parameter is higher than the threshold score, the next frame of the current frame uses the current group estimated external parameter as the initial value of the external parameter, when When the matching score of the current set of estimated external parameters is lower than the threshold score, the next frame of the current frame uses the matching score that is calculated based on the second point cloud data of a frame before the current frame and is higher than the threshold score Estimate the external parameter as the initial value of the external parameter in the next frame.
  • the matching method based on the point cloud surface covariance weight is used to perform the weighted neighbor matching calculation, which can effectively improve the robustness, and the algorithm can obtain the matching score at the same time.
  • the matching score helps to determine whether the matching failed or succeeded.
  • the nearest neighbor matching algorithm based on geometric structure consistency constraints and covariance weight matching determines the current group estimated external parameters and matching scores corresponding to the current frame, including: geometric structure consistency constraints and covariance-based
  • the nearest neighbor matching method of weight matching determines an optimization equation; substituting the first conversion point cloud and the multiple neighbor points into the optimization equation to solve the current set of estimated external parameters and matching scores corresponding to the current frame.
  • the optimization equation includes a residual equation, and the current set of estimated external parameters corresponding to the current frame and the matching score are obtained by solving the residual equation, wherein the current set of estimated external parameters makes the residual
  • the iterative residual of the difference equation is the smallest.
  • the smaller the iterative residual the higher the matching score.
  • the iterative residual includes the first iterative residual and the second iterative residual, where the first iterative residual corresponds to the first Matching score.
  • the second iteration residual corresponds to the second matching score.
  • T is the estimated matching target parameter
  • C is the eigenvalue of the point cloud covariance matrix of the neighbor points of the corresponding point
  • d is the iterative residual. The smaller the iterative residual, the higher the matching score.
  • the estimated external parameter ⁇ T and the iterative residual d of the current frame can be obtained.
  • Any suitable optimization method can be used, including but not limited to the iterative method to perform nonlinear least squares to solve the optimization equation, or, at the beginning of each frame iteration, there is a better initial assumption value (such as the first external parameter Value), the estimated external parameter ⁇ T and the iterative residual d of the current frame can also be solved numerically algebraically by the Guass-Newton method or the Levenberg-Marquardt method.
  • the weight of the optimization equation can be set by any suitable method.
  • the weight is the eigenvalue of the covariance matrix of multiple neighbor points of a point cloud point in the first conversion point cloud, wherein the multiple neighbors
  • the number of points can be set reasonably according to actual needs, such as 10, 20, etc.
  • the multiple neighbor points include a first neighbor point and a second neighbor point, and the covariance of the first neighbor point is greater than the For the covariance of the second neighbor point, the weight of the first neighbor point is less than the weight of the second neighbor point. The larger the noise, the more unstable it is, so a smaller weight is given.
  • a smaller covariance indicates that the neighbor point of a point cloud point in the first converted point cloud is a stable feature point, and a larger matching weight is given, as shown in Figure 5. .
  • the threshold field of view ie, small FOV
  • the matching score is determined by the iterative residual d, where the smaller the iterative residual, the higher the matching score.
  • the matching score is used to determine whether the map is successfully matched. For example, if the matching score is higher than the threshold score, it indicates that the matching is successful.
  • the estimated external parameter R is obtained in the second iteration.
  • the estimated external parameter R is discarded, and the estimated external parameter whose matching score obtained from the previous frame is higher than the preset score is used as the next frame
  • the initial value of the iteration that is, the initial value of the external parameter
  • the estimated external parameter with the highest matching score before the frame may be used as the initial value of the iteration of the next frame to improve optimization efficiency.
  • a target external parameter is determined based on the estimated external parameter of at least a part of the plurality of estimated external parameters, wherein the estimated external parameter of each of the at least partial groups is The matching score is greater than the threshold score.
  • the final target external parameters can be determined based on the solved multiple sets of estimated external parameters, for example, the estimated external parameters of the at least part of the groups are averaged to obtain the target external parameters, because the matching score has been lower than the threshold score during the foregoing iteration
  • the estimated external parameters are filtered out.
  • the method of obtaining the average value can be used directly to obtain the accurate target external parameters; or based on the least square method to fit the estimated external parameters of the at least part of the group to determine the target external parameters.
  • a random sampling consensus algorithm can also be used to estimate the final target external parameter (that is, the parameter matrix) from multiple sets of estimated external parameters to improve accuracy.
  • the six degrees of freedom of the external parameters can be respectively fitted to a straight line through the random sampling consensus algorithm, and the points farther from the straight line are noise points, and the noise points are filtered out, so as to obtain the non-noise points Draw value, estimate the final target external parameters.
  • the following steps may be performed: based on the target external parameters, the multiple frames of second point cloud data are rotationally registered to the coordinate system of the first lidar;
  • the quasi-aligned multi-frame second point cloud data and the multi-frame first point cloud data perform a fusion operation to obtain the point cloud data in the coordinate system of the first lidar, that is, the point with consistent global coordinates Cloud Pglobal, to complete the final calibration, can be expressed by the following equation:
  • P global P LaserA +T ⁇ P LaserB (3)
  • the amount of point cloud data in the scanned scene is increased, which is conducive to the subsequent three-dimensional reconstruction of the map.
  • the calibration method of the embodiment of the present invention by using the point cloud around all radar acquisition devices, one of the reference radars is selected to estimate the motion trajectory, and at the same time, the surrounding environment is constructed to map, and then to solve multiple sets of estimation external Participate and estimate the matching score corresponding to each group of external parameters. And the matching score is used as the registration failure judgment for the problem of lidar registration failure.
  • the calibration method of the present application can realize the calibration of the small FOV lidar, and the calibration result has high accuracy.
  • the calibration device can be used to implement the aforementioned calibration method.
  • the aforementioned features can be combined into this embodiment.
  • the calibration device 600 of the embodiment of the present invention includes a movable platform 602, multiple groups of lidars, and the multiple groups of lidars include a first lidar 603 and a second lidar 604.
  • the first lidar The 603 and the second lidar 604 are installed at different positions of the movable platform body.
  • the movable platform 602 includes at least one of an unmanned aerial vehicle, a car, a remote control car, a robot, and a boat.
  • the field of view range of the first lidar 603 and the second lidar 604 can be any suitable field of view range.
  • the first lidar 603 and the second lidar 604 both have a smaller field of view.
  • the field of view range (for example, the horizontal field of view range) of the first lidar 603 is less than 100°, such as 60°, 70°, 80°, 90°; and/or, the field of view range of the second lidar 604 ( For example, the horizontal field of view range) is less than 100°, such as 60°, 70°, 80°, 90°, and so on.
  • the visible areas of the first lidar 10 and the second lidar 20 may not overlap, or may partially overlap.
  • the calibration device 600 further includes one or more processors 605, one or more memories 606, and one or more processors 605 work together or individually.
  • the calibration device 600 may also include at least one of an input device (not shown), an output device (not shown), and an image sensor (not shown), and these components are connected through a bus system and/or other forms The mechanisms (not shown) are interconnected.
  • the memory 606 is used for storing a computer program run by the processor on the memory, for example, for storing corresponding steps and program instructions in a method for calibrating multiple sets of lidar external parameters according to an embodiment of the present invention. It may include one or more computer program products, and the computer program products may include various forms of computer-readable storage media, such as volatile memory and/or non-volatile memory.
  • the volatile memory may include random access memory (RAM) and/or cache memory (cache), for example.
  • the non-volatile memory may include, for example, read-only memory (ROM), hard disk, flash memory, and the like.
  • the input device may be a device used by a user to input instructions, and may include one or more of a keyboard, a mouse, a microphone, and a touch screen.
  • the output device may output various information (such as images or sounds) to the outside (such as users), and may include one or more of a display, speakers, etc., for outputting point cloud frames as images or videos, or
  • the constructed map is output as an image or video.
  • the communication interface (not shown) is used for communication between the calibration device and other equipment or communication between the calibration devices, including wired or wireless communication.
  • the ranging device can access a wireless network based on a communication standard, such as WiFi, 2G, 3G, 4G, 5G, or a combination thereof.
  • the communication interface receives a broadcast signal or broadcast related information from an external broadcast management system via a broadcast channel.
  • the communication interface further includes a near field communication (NFC) module to facilitate short-range communication.
  • the NFC module can be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • the processor 605 may be a central processing unit (CPU), an image processing unit (GPU), an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), or other forms of processing with data processing capabilities and/or instruction execution capabilities Unit, and can control other components in the calibration device 600 to perform desired functions.
  • the processor can execute the program instructions stored in the memory to execute the method for calibrating multiple sets of lidar external parameters in the embodiments of the present invention described herein.
  • the processor can include one or more embedded processors, processor cores, microprocessors, logic circuits, hardware finite state machines (FSM), digital signal processors (DSP), or combinations thereof.
  • the processor includes a field programmable gate array (FPGA), where the arithmetic circuit of the lidar may be a part of the field programmable gate array (FPGA).
  • a memory and a processor stores a computer program run by the processor, and the processor is configured to: obtain the scan calibration scene of the first lidar and the second lidar Multi-frames of first point cloud data and multi-frames of second point cloud data collected separately; constructing a map according to the multi-frames of the first point cloud data and estimating the movement trajectory of the movable platform relative to the calibration scene; based on The motion trajectory and the initial value of the external parameter are sequentially rotated and translated from the multiple frames of second point cloud data to the map to solve multiple sets of estimated external parameters and matching scores corresponding to each set of estimated external parameters; based on the The estimated external parameters of at least a part of the plurality of estimated external parameters are determined to determine the target external parameter, wherein the matching score of each of the estimated external parameters in the at least part of the groups is greater than the threshold score.
  • the calibration device 600 further includes a calibration scene 601, and the calibration scene is configured to be able to move on the outside of the movable platform according to a predetermined motion track, for example, the movable platform is fixed, and the calibration scene is configured to Moving around the movable platform, while the first lidar and the second lidar scan the calibration scene to collect point cloud data.
  • the multi-frame second point cloud data includes the second point cloud data of the current frame
  • the initial value of the external parameter includes the initial value of the first external parameter
  • the processor is configured to be based on the motion trajectory and the external parameter. Refer to the initial value, rotate and translate the multiple frames of second point cloud data to the map in order to solve multiple sets of estimated external parameters and the matching scores corresponding to each set of estimated external parameters, including: based on the motion trajectory and the corresponding The first external parameter initial value, the second point cloud data of the current frame is rotated and translated to the map to obtain the first converted point cloud of the current frame, wherein, when the current frame is the multi-frame When the first frame in the first frame, the initial value of the first external parameter is determined according to the positional relationship between the first lidar and the second lidar, or when the current frame is not the first frame , The initial value of the first external parameter is an estimated external parameter whose matching score is higher than a threshold score based on the second point cloud data of a frame before the current frame;
  • the next frame of the current frame uses the current set of estimated external parameters as the The initial value of the external parameter
  • the next frame of the current frame uses the solution based on the second point cloud data of a frame before the current frame
  • the estimated external parameter whose matching score is higher than the threshold score is used as the initial value of the external parameter in the next frame.
  • the current group estimation external parameter corresponding to the current frame is determined according to the first conversion point cloud and the multiple neighbor points, based on geometric structure consistency constraints and a neighbor matching algorithm based on covariance weight matching And matching scores, including: determining an optimization equation based on geometric structure consistency constraints and a neighbor matching method based on covariance weight matching; substituting the first conversion point cloud and the multiple neighbor points into the optimization equation to solve the current The estimated external parameters and matching scores of the current group corresponding to the frame.
  • the optimization equation includes a residual equation, and the current set of estimated external parameters corresponding to the current frame and the matching score are obtained by solving the residual equation, wherein the current set of estimated external parameters is such that The iterative residual of the residual equation is the smallest, and the smaller the iterative residual, the higher the matching score.
  • the weight is an eigenvalue of the covariance matrix of the multiple neighbor points, wherein the multiple neighbor points include a first neighbor point and a second neighbor point, and the covariance of the first neighbor point If the variance is greater than the covariance of the second neighbor point, the weight of the first neighbor point is less than the weight of the second neighbor point.
  • determining the target external parameter based on the estimated external parameters of at least a part of the plurality of estimated external parameters includes: averaging the estimated external parameters of the at least part of the groups to obtain the target external parameter; Alternatively, the estimated external parameters of the at least part of the group are fitted based on the least squares method to determine the target external parameters; or the matching score is used as a weight to estimate the at least part of the group based on the weighted least squares method The external parameters are fitted to determine the target external parameters.
  • the movable platform is used to scan the calibration scene by the first lidar and the second lidar while moving according to a predetermined trajectory in the calibration scene.
  • the processor 605 is configured to: after determining that the coincidence rate of the scan trajectories of the first lidar and the second lidar in the calibration scene is greater than a preset threshold, according to the multiple Frame the first point cloud data to construct a map and estimate the movement track of the movable platform relative to the calibration scene.
  • the coincidence rate of the scan trajectory of the first lidar and the scan trajectory of the second lidar is higher than a threshold coincidence rate.
  • the external parameter is a calibration matrix that converts the coordinate system of the second lidar to the coordinate system of the first lidar, and the calibration matrix includes 3 rotation parameters and 3 translation parameters.
  • the processor is further configured to: rotate and register the multiple frames of second point cloud data to the coordinate system of the first lidar based on the target external parameters; The multiple frames of second point cloud data and the multiple frames of first point cloud data are fused to obtain point cloud data in the coordinate system of the first lidar.
  • the calibration device of the embodiment of the present invention by using the point clouds around all the radar acquisition devices, one of the reference radars is selected to estimate the motion trajectory, and at the same time, a map of the surrounding environment is constructed, and then multiple sets of estimated external parameters and each set of estimates are solved The matching score corresponding to the external parameter. And the matching score is used as the registration failure judgment for the problem of lidar registration failure.
  • the calibration method of the present application can realize the calibration of the small FOV lidar, and the calibration result has high accuracy.
  • the embodiment of the present invention also provides a computer storage medium on which a computer program is stored.
  • One or more computer program instructions may be stored on the computer-readable storage medium, and the processor may run the program instructions stored in the memory to implement the functions (implemented by the processor) in the embodiments of the present invention described herein And/or other desired functions, for example, to perform the corresponding steps of the method for calibrating multiple sets of lidar external parameters according to the embodiment of the present invention, various application programs and various data may also be stored in the computer-readable storage medium , Such as various data used and/or generated by the application.
  • the computer storage medium may include, for example, a memory card of a smart phone, a storage component of a tablet computer, a hard disk of a personal computer, a read-only memory (ROM), an erasable programmable read-only memory (EPROM), and a portable compact disk. Read only memory (CD-ROM), USB memory, or any combination of the above storage media.
  • the computer-readable storage medium may be any combination of one or more computer-readable storage media.
  • a computer-readable storage medium contains computer-readable program codes for converting point cloud data into two-dimensional images, and/or computer-readable program codes for three-dimensional reconstruction of point cloud data, and the like.
  • each part of this application can be implemented by hardware, software, firmware, or a combination thereof.
  • multiple steps or methods can be implemented by software or firmware stored in a memory and executed by a suitable instruction execution system.
  • Discrete logic gate circuits for implementing logic functions on data signals
  • Logic circuits dedicated integrated circuits with suitable combinational logic gate circuits, programmable gate arrays (Programmable Gate Array; hereinafter referred to as PGA), Field Programmable Gate Arrays (Field Programmable Gate Array; referred to as FPGA), etc.
  • the disclosed device and method can be implemented in other ways.
  • the device embodiments described above are merely illustrative.
  • the division of the units is only a logical function division, and there may be other divisions in actual implementation, for example, multiple units or components can be combined or It can be integrated into another device, or some features can be ignored or not implemented.
  • the various component embodiments of the present invention may be implemented by hardware, or by software modules running on one or more processors, or by a combination of them.
  • a microprocessor or a digital signal processor (DSP) may be used in practice to implement some or all of the functions of some modules according to the embodiments of the present invention.
  • DSP digital signal processor
  • the present invention can also be implemented as a device program (for example, a computer program and a computer program product) for executing part or all of the methods described herein.
  • Such a program for realizing the present invention may be stored on a computer-readable medium, or may have the form of one or more signals.
  • Such a signal can be downloaded from an Internet website, or provided on a carrier signal, or provided in any other form.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种多组激光雷达外参的标定方法、标定装置和和计算机存储介质，该标定方法包括：获取第一激光雷达和第二激光雷达扫描标定场景所分别采集的多帧第一点云数据和多帧第二点云数据（S301）；根据多帧第一点云数据构建地图并估计可移动平台相对标定场景的运动轨迹（S302）；基于运动轨迹和外参初值，依次将多帧第二点云数据旋转平移至地图中，以求解多组估计外参和每组估计外参对应的匹配得分（S303）；基于多组估计外参中的至少部分组的估计外参，确定目标外参（S304），其中至少部分组中的每组估计外参的匹配分数大于阈值分数。通过该方法能够获取的多组激光雷达的标定外参的精度高。

Description

多组激光雷达外参的标定方法、标定装置和计算机存储介质
说明书
技术领域
本发明总地涉及激光雷达技术领域，更具体地涉及一种多组激光雷达外参的标定方法、标定装置和计算机存储介质。
背景技术
随着车载传感器的广泛应用，激光雷达因其高分辨率、360度全方位、三维立体环境感知的能力，在车载传感器系统中发挥着重要的作用。现有的车载传感器系统中，一般会配置多个激光雷达在车的不同部位，以实现点云的无盲区覆盖，同时通过多个激光雷达对同一目标对象进行观测，对目标对象的形状、轮廓、行为、姿态等信息捕捉更全面。但是，要想获得以上的优势，激光雷达的标定是重要前提，需要获得多个激光雷达之间精确的相对位姿来完成对激光雷达的标定，以使得所有激光雷达的点云数据都能精确的统一到同一坐标系下。
目前多激光雷达外参数标定多用固定转台旋转的方式，需要固定标定物，对场地，工作环境均有很高的要求。并且现有的旋转配准方法对小视场(FOV)激光雷达可能存在失效性问题。且测量点较少，结果精度不能保证。
发明内容
为了解决上述问题中的至少一个而提出了本发明。具体地，本申请一方面提供一种多组激光雷达外参的标定方法，所述多组激光雷达包括第一激光雷达和第二激光雷达，所述第一激光雷达和所述第二激光雷达安装于可移动平台的不同位置，所述标定方法包括：
获取所述第一激光雷达和所述第二激光雷达扫描标定场景所分别采集的多帧第一点云数据和多帧第二点云数据；
根据所述多帧所述第一点云数据构建地图并估计所述可移动平台相对所述标定场景的运动轨迹；
基于所述运动轨迹和外参初值，依次将所述多帧第二点云数据旋转平移至所述地图中，以求解多组估计外参和每组估计外参对应的匹配得分；
基于所述多组估计外参中的至少部分组的估计外参，确定目标外参，其中所述至少部分组中的每组估计外参的匹配分数大于阈值分数。
本发明再一方面提供一种多组激光雷达外参的标定装置，所述装置包括：
可移动平台；
多组激光雷达，所述多组激光雷达包括第一激光雷达和第二激光雷达，所述第一激光雷达和所述第二激光雷达安装于所述可移动平台本体的不同位置；
存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述处理器用于：
获取所述第一激光雷达和所述第二激光雷达扫描标定场景所分别采集的多帧第一点云数据和多帧第二点云数据；
根据所述多帧所述第一点云数据构建地图并估计所述可移动平台相对所述标定场景的运动轨迹；
基于所述运动轨迹和外参初值，依次将所述多帧第二点云数据旋转平移至所述地图中，以求解多组估计外参和每组估计外参对应的匹配得分；
基于所述多组估计外参中的至少部分组的估计外参，确定目标外参，其中所述至少部分组中的每组估计外参的匹配分数大于阈值分数。
本发明又一方面提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的多组激光雷达外参的标定方法。
本发明的标定方法和标定装置，通过使用所有雷达采集装置周围的点云，选择其中一个基准雷达对运动轨迹进行估计，同时对周围环境构建地图，然后以求解多组估计外参和每组估计外参对应的匹配得分。并且通过匹配得分作为针对激光雷达配准失败的问题的配准失败判定，通过滤除匹配分数低于阈值分数的估计外参，提高估计的精度，进而获得更为准确的标定结果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明一个实施例中的应用场景的示意图；
图2示出了本发明一个实施例中的标定场景的示意图；
图3示出了本发明一个实施例中的多组激光雷达外参的标定方法的流程图；
图4示出了本发明另一个实施例中的多组激光雷达外参的标定方法的流程 图；
图5示出了本发明一个实施例中的权重和协方差的关系图；
图6示出了本发明一个实施例中的多组激光雷达外参的标定装置的框图。
具体实施方式
为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
在下文的描述中，给出了大量具体的细节以便提供对本申请更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。
应当理解的是，本申请能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本申请的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本申请的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本发明，将在下列的描述中提出详细的结构，以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
需要说明的是，本申请实施例提供的激光雷达标定的方法，不仅可以应用于自动驾驶的场景中，还可以应用于例如机器人导航的场景中，本申请实施例对具体的应用场景不做限制。
在一个示例中，本实施例提供的多组激光雷达外参的标定方法，可以适用于如图1所示的应用环境中。如图1所示，第一激光雷达10和第二激光雷达20可以安装在可移动平台例如车辆的任意位置，例如第一激光雷达10安装在可移 动平台的左侧，第二激光雷达20安装在可移动平台的右侧，或者，还可以是第一激光雷达10安装在可移动平台的前方，第二激光雷达安装在可移动平台的后方，或者，其他任意合适的位置均可以，通过标定方法获取第一激光雷达10和第二激光雷达20之间的相对位置信息，来确定激光雷达的标定外参，基于该标定外参将第一激光雷达10和第二激光雷达20所采集的点云数据到一个坐标系下。
不同的激光雷达的扫描视场可以有重叠，或者无重叠。且当不同的激光雷达的扫描视场有重叠时，不限制重叠率。
上述车辆可以包括两个激光雷达，也可以包括多个激光雷达，上述车辆可以是自动驾驶车辆，也可以是普通车辆。
第一激光雷达10和第二激光雷达20分别安装在可移动平台的两侧，可视区域没有重叠部分。目前多激光雷达外参数标定多用固定转台旋转的方式，需要固定标定物，对场地，工作环境均有很高的要求。并且现有的旋转配准方法对小视场(FOV)激光雷达可能存在失效性问题。这种情况下无法直接对两个激光雷达的点云图像直接做手动或者自动匹配，需要通过测量或者其他方式测得外参数，测量点较少，过程复杂，精度极低。
鉴于上述问题的存在，本发明提供一种多组激光雷达外参的标定方法，所述多组激光雷达包括第一激光雷达和第二激光雷达，所述第一激光雷达和所述第二激光雷达安装于可移动平台的不同位置，所述标定方法包括：获取所述第一激光雷达和所述第二激光雷达扫描标定场景所分别采集的多帧第一点云数据和多帧第二点云数据；根据所述多帧第一点云数据构建地图并估计所述可移动平台相对所述标定场景的运动轨迹；基于所述运动轨迹和外参初值，依次将所述多帧第二点云数据旋转平移至所述地图中，以求解多组估计外参和每组估计外参对应的匹配得分；基于所述多组估计外参中的至少部分组的估计外参，确定目标外参，其中所述至少部分组中的每组估计外参的匹配分数大于阈值分数。本发明通过使用所有雷达采集装置周围的点云，选择其中一个基准雷达对运动轨迹进行估计，同时对周围环境构建地图，然后以求解多组估计外参和每组估计外参对应的匹配得分。并且通过匹配得分作为针对激光雷达配准失败的问题的配准失败判定，通过滤除匹配分数低于阈值分数的估计外参，提高估计的精度，进而获得更为准确的标定结果。
需要说明的是，本申请实施例提供的多组激光雷达外参的标定方法，其执行主体可以是激光雷达外参的标定装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为激光雷达标定的计算机设备的部分或者全部。
下面结合附图，对本申请的多组激光雷达外参的标定方法和标定装置进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
作为示例，如图3所示，本发明实施例的多组激光雷达外参的标定方法，包括以下步骤S301至S304。
首先，如图3所示，在步骤S301中，获取所述第一激光雷达和所述第二激光雷达扫描标定场景所分别采集的多帧第一点云数据PnA和多帧第二点云数据PnB。
在一个示例中，该标定在如图2所示的标定环境中进行，第一激光雷达10和第二激光雷达20固定于可移动平台相对的两侧，例如可移动平台为车辆，第一激光雷达10和第二激光雷达20固定于可移动平台的左侧和右侧，标定场景可以是任意适合的室内或者室外固定场所，该标定场景中包括丰富的、静止的结构化特征物，如墙面、杆状物、几何体等。在本发明实施例中，也可以是多个激光雷达刚性安装在可移动平台本体上的任意位置，例如，所述可移动平台在所述标定场景中按照预定的运动轨迹移动的同时所述第一激光雷达和所述第二激光雷达对所述标定场景进行扫描，同时采集各激光雷达的多帧点云数据。其中，对运动轨迹的要求是使得所述可移动平台在所述标定场景中按照预定的运动轨迹移动后，第一激光雷达扫描到的场景范围与第二激光雷达扫描到的场景范围的重叠率达到预设阈值，例如，该预设阈值为80％。运动轨迹为非直线运动，例如可以为U型、圆形、椭圆形、方形、半圆形等，在其另一示例中，所述可移动平台固定而所述标定场景相对所述可移动平台运动的同时所述第一激光雷达和所述第二激光雷达对所述标定场景进行扫描，同时采集各激光雷达的多帧点云数据，这种情况下，标定场景也可以按照上述运动轨迹进行移动。
本文中，第一点云数据以第一激光雷达的坐标系为基准，以及第二点云数据以第二激光雷达的坐标系为基准。
在本文中，所述外参为将第二激光雷达的坐标系转换至第一激光雷达的坐标系的标定矩阵，所述标定矩阵包括3个旋转参数和3个平移参数(例如x、y、z)，3个旋转参数(pitch、roll、yaw)。
第一激光雷达10和第二激光雷达20的视场范围可以为任意适合的视场范围，例如第一激光雷达10和第二激光雷达20均具有较小的视场，在一个示例中，所述第一激光雷达10的视场范围(例如水平视场范围)小于100°，例如60°、70°、80°、90°；和/或，所述第二激光雷达20的视场范围(例如水平视场范围)小于100°，例如60°、70°、80°、90°等。第一激光雷达10和第二激光雷达20的可视区可以不重叠，或者也可以部分重叠。
在步骤S302中，根据所述多帧第一点云数据构建地图并估计所述可移动平台相对所述标定场景的运动轨迹。
当确定所述第一激光雷达和所述第二激光雷达在所述标定场景中的扫描轨迹的重合率大于预设阈值之后，其中该预设阈值的具体数值可以根据实际需要合理设定，例如可以为70％、80％、90％等，根据所述多帧所述第一点云数据构建地图(例如短时子地图)并估计所述可移动平台相对所述标定场景的运动轨迹。可以通过本领域技术人员熟知的任何适合的方法确定所述第一激光雷达和所述第二激光雷达在所述标定场景中的扫描轨迹的重合率，例如，通过运动轨迹来判断，当可移动平台运动一个封闭的运动轨迹时，当运动完成后，重合率会符合要求。
地图为标定场景的地图，其可为点云地图，也可以为特征地图，可以通过包括但不限于SLAM方式建图，采用特征点配准方式建图或者ICP、G-ICP等自动配准方式。
例如基于0至n时间内采集的多帧第一点云数据，构建扫描的标定场景的地图，其中在0至n时间内第一激光雷达以走完预定的移动轨迹。
在本实施例中，以第一激光雷达10作为基准雷达，第二激光雷达20为待标定雷达，当可移动平台设置多个激光雷达时，还可以将其他的激光雷达均标定值第一激光雷达10的坐标系，或者，还可以以第一激光雷达之外的一个激光雷达为基准雷达，将基准雷达之外的激光雷达作为待标定雷达，将其标定至基准雷达的坐标系。
接着，在步骤S303中，基于所述运动轨迹和外参初值，依次将所述多帧第二点云数据旋转平移至所述地图中，以求解多组估计外参和每组估计外参对应的匹配得分。
该匹配得分反应基于估计外参将相应帧的第二点云数据旋转平移至地图中，和地图中的相应特征的匹配程度，通常匹配得分越高匹配程度越高。
本申请中依次基于多帧第二点云数据的每一帧的第二点云数据求解相应帧的估计外参，例如在标定时间内，采集n帧的第二点云数据，则依次对第1帧至第n帧的第二点云数据求解估计外参R和匹配得分d。
以基于多帧第二点云数据的一帧第二点云数据求解一组估计外参R和匹配得分d的情况为例，对求解估计外参R和匹配得分d的方法进行描述，可以想到的是，可以依据该些方法求解多帧第二点云数据中的任意一帧的估计外参R和匹配得分d。
在一个示例中，所述多帧第二点云数据包括当前帧的第二点云数据，该当前帧可以是多帧第二点云数据中的任意一帧，所述外参初值包括第一外参初值，基于运动轨迹(也即基于多帧第一点云数据估计出的运动轨迹)、外参初值和同步的时间戳，依次将所述多帧第二点云数据旋转平移至所述地图中，以求解多组估计外参和每组估计外参对应的匹配得分，包括以下步骤S1至步骤S3：
首先，在步骤S3中，基于所述运动轨迹、所述第一外参初值以及同步的时间戳，将所述当前帧的第二点云数据旋转平移至所述地图中，以获得当前帧的第一转换点云，其中，当所述当前帧为多帧中的第一帧时，所述第一外参初值为根据所述第一激光雷达和所述第二激光雷达的位置关系确定的，或者，所述当前帧非所述第一帧时，所述第一外参初值为基于当前帧之前的一帧第二点云数据求解的所述匹配分数高于阈值分数的估计外参。
可选地，当前帧的第二点云数据可以为多帧的第二点云数据中的任意一帧的点云数据。
由于通过第一点云数据估计出运动轨迹，因此在将当前帧的第二点云数据旋转平移至地图中时，可以基于该运动估计进行旋转平移，从而可以快速的将第一点云数据旋转到地图对于位置的附近，例如，当前帧的第一点云数据采集为地图中某一个物体的表面，则可以快速的将当前帧的第一点云数据基于所述运动轨迹、所述第一外参初值以及同步的时间戳旋转平移至地图中该某一个物体的附近。
当所述当前帧为多帧中的第一帧时，所述第一外参初值为根据所述第一激光雷达和所述第二激光雷达的位置关系确定的，例如，可以通过测量第一激光雷达和第二激光雷达的位置，利用工程制图估计出第一外参初值，或者，还可以利用 特征匹配的方法，通过机器学习寻找特征点，进而初步估计一个第一外参初值。通过该外参初值的设定可以提高优化效率。
所述当前帧非所述第一帧时，所述第一外参初值为基于当前帧之前的一帧第二点云数据求解的所述匹配分数高于阈值分数的估计外参。该阈值分数可以根据实际的匹配需要合理设定，在此不做具体限定，通过这样的设置，可以滤除匹配分数低于阈值分数的估计外参，将其不再代入下次迭代，提高下次迭代的准确性，提升鲁棒性。
接着，获取所述地图中与所述第一转换点云中的点云点距离低于阈值距离的多个邻居点。
值得一提的是，由于每帧第二点云数据可以包括多个点云点，因此，在此处对应一帧的第一转换点云可以包括多个点云点，可以基于其中一个点云点来进行迭代求解，也可以对至少部分点云点进行迭代求解，对属于一帧的第一转换点云其可以大体对应相同的外参。
可以利用任意适合的方法获取所述地图中与所述第一转换点云中的一个点云点距离低于阈值距离的多个邻居点，例如，可以通过最近邻居搜索算法(在等式1中由函数NN表示)在地图中找到与第一转换点云中的一个点云点距离低于阈值距离的多个邻居点PnA。
Figure PCTCN2020096220-appb-000001
等式1中，P A n表示地图中的邻居点，M表示基于多帧第一点云数据构建的地图，P B n表示第二激光雷达采集的n帧第二点云数据中的第n帧第二点云数据，T guess表示外参初值。
或者还可以通过其他的特征匹配算法例如LOAM等自动匹配点云，完成环境重建。
如图4所示，根据所述第一转换点云和所述多个邻居点，基于几何结构一致性约束和基于点云表面协方差权重匹配的近邻匹配算法确定与所述当前帧对应的当前组估计外参和匹配分数，当所述当前组估计外参的匹配分数高于阈值分数时，所述当前帧的下一帧使用所述当前组估计外参作为所述外参初值，当所述当前组估计外参的匹配分数低于所述阈值分数时，所述当前帧的下一帧使用基于当前帧之前的一帧第二点云数据求解的所述匹配分数高于阈值分数的估计外参作 为下一帧的外参初值。通过在一帧一帧的迭代求解估计外参的过程中采用基于点云表面协方差权重的匹配方式进行带权近邻匹配计算，能够有效提升鲁棒性，并且该算法能够同时得出匹配得分，通过匹配得分帮助进行匹配失败或成功的判定。
在一个示例中，基于几何结构一致性约束和基于协方差权重匹配的近邻匹配算法确定与所述当前帧对应的当前组估计外参和匹配分数，包括：基于几何结构一致性约束和基于协方差权重匹配的近邻匹配方法确定优化方程；将所述第一转换点云和所述多个邻居点代入所述优化方程求解所述当前帧对应的当前组估计外参和匹配分数。
例如，所述优化方程包括残差方程，通过求解所述残差方程以获取所述当前帧对应的当前组估计外参和所述匹配得分，其中，所述当前组估计外参使得所述残差方程的迭代残差最小，所述迭代残差越小，所述匹配得分越高，例如，迭代残差包括第一迭代残差和第二迭代残差，其中第一迭代残差对应第一匹配得分，第二迭代残差对应第二匹配得分，当第一迭代残差小于第二迭代残差时，第一匹配得分高于第二匹配得分。
具体地优化方程可以由如下残差方程获取：
Figure PCTCN2020096220-appb-000002
其中，T为估计匹配目标参数，C为对应点近邻的邻居点的点云协方差矩阵的特征值，d为迭代残差，该迭代残差越小，匹配得分越高。
通过求解该优化方程能够获取当前帧的估计外参ΔT和迭代残差d。可以通过任意适合的优化方法，包括但不限于迭代法进行非线性最小二乘求解该优化方程，或者，在进行每帧的迭代开始时有一个较佳的初始假设值(例如第一外参初值)，还可以通过Guass-Newton法或者Levenberg-Marquardt方法进行数值代数求解当前帧的估计外参ΔT和迭代残差d。
可以通过任意适合的方法设定优化方程的权重，例如，所述权重为所述第一转换点云中的一个点云点的多个邻居点的协方差矩阵的特征值，其中，多个邻居点的数量可以根据实际需要合理设定，例如可以为10个、20个等，所述多个邻居点包括第一邻居点和第二邻居点，所述第一邻居点的协方差大于所述第二邻居点的协方差，则所述第一邻居点的权重小于所述第二邻居点的权重，协方差越大表示，所述第一转换点云中的一个点云点的邻居点的噪声越大，越不稳定，因此 给予较小权重，协方差较小表明第一转换点云中的一个点云点的邻居点为稳定特征点，给予较大的匹配权重，如图5所示。通过这样的方法，能够鲁棒的针对例如视场低于阈值视场的雷达(也即小FOV)提升匹配精度与稳定性。
通过迭代残差d确定匹配得分，其中迭代残差越小，匹配得分越高。如图2所示，当通过上述方法求解获得估计外参R和匹配得分之后，通过匹配得分来判定是否成功匹配地图，例如，匹配得分高于阈值得分，则表明匹配成功，此时可以保存该次迭代获得估计外参R，若匹配得分小于阈值得分，则表明匹配失败，则放弃该估计外参R，采用上一帧求解获得的匹配分数高于预设得分的估计外参作为下一帧的迭代初值(也即外参初值)，或者，还可以采用该帧之前的匹配得分最高的估计外参作为下一帧的迭代初值，以提高优化效率。
当一次迭代完成时，判断当前帧是否为多帧第二点云数据中的最后一帧，若是，则停止迭代，若否，则再依据前述的方法基于下一帧的第二点云数据求解估计外参和其对应的匹配得分，直到遍历所有点云帧，从而求解处多组估计外参。
进一步，如图3所示，在步骤S304中，基于所述多组估计外参中的至少部分组的估计外参，确定目标外参，其中所述至少部分组中的每组估计外参的匹配分数大于阈值分数。
可以基于求解的多组估计外参确定最终的目标外参，例如对所述至少部分组的估计外参求平均值，以获得目标外参，由于前述迭代时已经将匹配分数低于阈值分数的估计外参滤除，此时直接使用求取平均值的方法即可获得准确的目标外参；或者基于最小二乘法对所述至少部分组的估计外参进行拟合，以确定所述目标外参；或者，以所述匹配得分为权重，基于加权最小二乘法对所述至少部分组的估计外参进行拟合，以确定所述目标外参，由于匹配得分越高其匹配地图越好，所以通过赋予权重的方法，提高目标外参的准确性。
在其他示例中，还可以采用随机采样一致性算法从多组估计外参中估计出最终的目标外参(也即参数矩阵)，提升精度。其中，通过随机采样一致性算法可以将外参的六个自由度，分别拟合为一条直线，而距离直线较远的点则为噪点，将该噪点滤除，从而将非噪点的点求取平局值，估计出最终的目标外参。
进一步，再确定上述目标外参之后，还可以进行以下步骤：基于所述目标外参将所述多帧第二点云数据旋转配准到所述第一激光雷达的坐标系下；将旋转配准后的所述多帧第二点云数据与所述多帧第一点云数据进行融合操作，以获取在 所述第一激光雷达的坐标系下的点云数据，也即全局坐标一致点云Pglobal，完成最终的标定，可以通过以下方程式表示：
P global＝P LaserA+T×P LaserB   (3)
通过将多个激光雷达采集的数据标定到一个坐标系下，提高扫描场景中的点云数据量，进而有利于后续的三维重建构图等。
综上所述，根据本发明实施例的标定方法，通过使用所有雷达采集装置周围的点云，选择其中一个基准雷达对运动轨迹进行估计，同时对周围环境构建地图，然后以求解多组估计外参和每组估计外参对应的匹配得分。并且通过匹配得分作为针对激光雷达配准失败的问题的配准失败判定，通过滤除匹配分数低于阈值分数的估计外参，提高估计的精度，进而获得更为准确的标定结果，极大的提升鲁棒性。并且，通过本申请的标定方法能够实现对小FOV激光雷达的标定，且标定结果精度高。
下面，参考图6对本发明实施例的一种多组激光雷达外参的标定装置进行描述，该标定装置可以用于实现前述的标定方法。其中前述的特征可以结合到本实施例中。
如图6所示，本发明实施例的标定装置600包括可移动平台602，多组激光雷达，所述多组激光雷达包括第一激光雷达603和第二激光雷达604，所述第一激光雷达603和第二激光雷达604安装于所述可移动平台本体的不同位置。在某些实施方式中，可移动平台602包括无人飞行器、汽车、遥控车、机器人、船中的至少一种。
第一激光雷达603和第二激光雷达604的视场范围可以为任意适合的视场范围，例如第一激光雷达603和第二激光雷达604均具有较小的视场，在一个示例中，所述第一激光雷达603的视场范围(例如水平视场范围)小于100°，例如60°、70°、80°、90°；和/或，所述第二激光雷达604的视场范围(例如水平视场范围)小于100°，例如60°、70°、80°、90°等。第一激光雷达10和第二激光雷达20的可视区可以不重叠，或者也可以部分重叠。
在一些实施例中，如图6所示，标定装置600还包括一个或多个处理器605，一个或多个存储器606，一个或多个处理器605共同地或单独地工作。可选地， 标定装置600还可以包括输入装置(未示出)、输出装置(未示出)以及图像传感器(未示出)中的至少一个，这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。
存储器606用于所述存储器上存储有由所述处理器运行的计算机程序，例如用于存储用于实现根据本发明实施例的多组激光雷达外参的标定方法中的相应步骤和程序指令。可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
所述输入装置可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个，用于将点云帧输出为图像或视频、或者将构建的地图输出为图像或视频。
通信接口(未示出)用于标定装置和其他设备之间进行通信或者标定装置之间进行通信，包括有线或者无线方式的通信。测距装置可以接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G或它们的组合。在一个示例性实施例中，通信接口经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信接口还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
处理器605可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制标定装置600中的其它组件以执行期望的功能。所述处理器能够执行所述存储器中存储的程序指令，以执行本文描述的本发明实施例的多组激光雷达外参的标定方法中。例如，处理器能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)或它们的组合。在本实施例中，所述处理器包括现场可编程门阵列(FPGA)，其中，激光雷达的运算电路可以是现场可编程门阵列(FPGA)的一部分。
在一个示例中，存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述处理器用于：获取所述第一激光雷达和所述第二激光雷达扫描标定场景所分别采集的多帧第一点云数据和多帧第二点云数据；根据所述多帧所述第一点云数据构建地图并估计所述可移动平台相对所述标定场景的运动轨迹；基于所述运动轨迹和外参初值，依次将所述多帧第二点云数据旋转平移至所述地图中，以求解多组估计外参和每组估计外参对应的匹配得分；基于所述多组估计外参中的至少部分组的估计外参，确定目标外参，其中所述至少部分组中的每组估计外参的匹配分数大于阈值分数。
在一个示例中，所述标定装置600还包括标定场景601，所述标定场景配置用于能够在所述可移动平台外侧按照预定的运动轨迹移动，例如可移动平台固定，而标定场景配置用于绕可移动平台移动，同时第一激光雷达和第二激光雷达扫描该标定场景，以采集点云数据。
在一个示例中，所述多帧第二点云数据包括当前帧的第二点云数据，所述外参初值包括第一外参初值，所述处理器用于基于所述运动轨迹和外参初值，依次将所述多帧第二点云数据旋转平移至所述地图中，以求解多组估计外参和每组估计外参对应的匹配得分，包括：基于所述运动轨迹和所述第一外参初值，将所述当前帧的第二点云数据旋转平移至所述地图中，以获得当前帧的第一转换点云，其中，当所述当前帧为所述多帧中的第一帧时，所述第一外参初值为根据所述第一激光雷达和所述第二激光雷达的位置关系确定的，或者，当所述当前帧非所述第一帧时，所述第一外参初值为基于当前帧之前的一帧第二点云数据求解的所述匹配分数高于阈值分数的估计外参；获取所述地图中与所述第一转换点云中的点云点距离低于阈值距离的多个邻居点；根据所述第一转换点云和所述多个邻居点，基于几何结构一致性约束和基于协方差权重匹配的近邻匹配算法确定与所述当前帧对应的当前组估计外参和匹配分数，当所述当前组估计外参的匹配分数高于阈值分数时，所述当前帧的下一帧使用所述当前组估计外参作为所述外参初值，当所述当前组估计外参的匹配分数低于所述阈值分数时，所述当前帧的下一帧使用基于当前帧之前的一帧第二点云数据求解的所述匹配分数高于阈值分数的估计外参作为下一帧的外参初值。
在一个示例中，根据所述第一转换点云和所述多个邻居点，基于几何结构一致性约束和基于协方差权重匹配的近邻匹配算法确定与所述当前帧对应的当前 组估计外参和匹配分数，包括：基于几何结构一致性约束和基于协方差权重匹配的近邻匹配方法确定优化方程；将所述第一转换点云和所述多个邻居点代入所述优化方程求解所述当前帧对应的当前组估计外参和匹配分数。
在一个示例中，所述优化方程包括残差方程，通过求解所述残差方程以获取所述当前帧对应的当前组估计外参和所述匹配得分，其中，所述当前组估计外参使得所述残差方程的迭代残差最小，所述迭代残差越小，则所述匹配得分越高。
在一个示例中，所述权重为所述多个邻居点的协方差矩阵的特征值，其中，所述多个邻居点包括第一邻居点和第二邻居点，所述第一邻居点的协方差大于所述第二邻居点的协方差，则所述第一邻居点的权重小于所述第二邻居点的权重。
在一个示例中，基于所述多组估计外参中的至少部分组的估计外参，确定目标外参，包括：对所述至少部分组的估计外参求平均值，以获得目标外参；或者，基于最小二乘法对所述至少部分组的估计外参进行拟合，以确定所述目标外参；或者以所述匹配得分为权重，基于加权最小二乘法对所述至少部分组的估计外参进行拟合，以确定所述目标外参。
在一个示例中，所述可移动平台用于在所述标定场景中按照预定轨迹移动的同时所述第一激光雷达和所述第二激光雷达对所述标定场景进行扫描。
在一个示例中，所述处理器605用于：当确定所述第一激光雷达和所述第二激光雷达在所述标定场景中的扫描轨迹的重合率大于预设阈值之后，根据所述多帧所述第一点云数据构建地图并估计所述可移动平台相对所述标定场景的运动轨迹。
在一个示例中，所述第一激光雷达的扫描轨迹和所述第二激光雷达的扫描轨迹的重合率高于阈值重合率。
在一个示例中，所述外参为将第二激光雷达的坐标系转换至第一激光雷达的坐标系的标定矩阵，所述标定矩阵包括3个旋转参数和3个平移参数。
在一个示例中，所述处理器还用于：基于所述目标外参将所述多帧第二点云数据旋转配准到所述第一激光雷达的坐标系下；将旋转配准后的所述多帧第二点云数据与所述多帧第一点云数据进行融合操作，以获取在所述第一激光雷达的坐标系下的点云数据。
根据本发明实施例的标定装置，通过使用所有雷达采集装置周围的点云，选择其中一个基准雷达对运动轨迹进行估计，同时对周围环境构建地图，然后以求 解多组估计外参和每组估计外参对应的匹配得分。并且通过匹配得分作为针对激光雷达配准失败的问题的配准失败判定，通过滤除匹配分数低于阈值分数的估计外参，提高估计的精度，进而获得更为准确的标定结果，极大的提升鲁棒性。并且，通过本申请的标定方法能够实现对小FOV激光雷达的标定，且标定结果精度高。
另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行存储器存储的所述程序指令，以实现本文所述的本发明实施例中(由处理器实现)的功能以及/或者其它期望的功能，例如以执行根据本发明实施例的多组激光雷达外参的标定方法的相应步骤，在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
例如，所述计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。例如一个计算机可读存储介质包含用于将点云数据转换为二维图像的计算机可读的程序代码，和/或将点云数据进行三维重建的计算机可读的程序代码等。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(Programmable Gate Array；以下简称：PGA)，现场可编程门阵列(Field Programmable Gate Array；简称：FPGA)等。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例 的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可 以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (26)

  1. 一种多组激光雷达外参的标定方法，其特征在于，所述多组激光雷达包括第一激光雷达和第二激光雷达，所述第一激光雷达和所述第二激光雷达安装于可移动平台的不同位置，所述标定方法包括：
    获取所述第一激光雷达和所述第二激光雷达扫描标定场景所分别采集的多帧第一点云数据和多帧第二点云数据；
    根据所述多帧所述第一点云数据构建地图并估计所述可移动平台相对所述标定场景的运动轨迹；
    基于所述运动轨迹和外参初值，依次将所述多帧第二点云数据旋转平移至所述地图中，以求解多组估计外参和每组估计外参对应的匹配得分；
    基于所述多组估计外参中的至少部分组的估计外参，确定目标外参，其中所述至少部分组中的每组估计外参的匹配分数大于阈值分数。
  2. 如权利要求1所述的标定方法，其特征在于，所述多帧第二点云数据包括当前帧的第二点云数据，所述外参初值包括第一外参初值，基于所述运动轨迹和外参初值，依次将所述多帧第二点云数据旋转平移至所述地图中，以求解多组估计外参和每组估计外参对应的匹配得分，包括：
    基于所述运动轨迹和所述第一外参初值，将所述当前帧的第二点云数据旋转平移至所述地图中，以获得当前帧的第一转换点云，其中，当所述当前帧为所述多帧中的第一帧时，所述第一外参初值为根据所述第一激光雷达和所述第二激光雷达的位置关系确定的，或者，当所述当前帧非所述第一帧时，所述第一外参初值为基于当前帧之前的一帧第二点云数据求解的所述匹配分数高于阈值分数的估计外参；
    获取所述地图中与所述第一转换点云中的点云点距离低于阈值距离的多个邻居点；
    根据所述第一转换点云和所述多个邻居点，基于几何结构一致性约束和基于协方差权重匹配的近邻匹配算法确定与所述当前帧对应的当前组估计外参和匹配分数，当所述当前组估计外参的匹配分数高于阈值分数时，所述当前帧的下一帧使用所述当前组估计外参作为所述外参初值，当所述当前组估计外参的匹配分数低于所述阈值分数时，所述当前帧的下一帧使用基于当前帧之前的一帧第二点 云数据求解的所述匹配分数高于阈值分数的估计外参作为下一帧的外参初值。
  3. 如权利要求2所述的方法，其特征在于，根据所述第一转换点云和所述多个邻居点，基于几何结构一致性约束和基于协方差权重匹配的近邻匹配算法确定与所述当前帧对应的当前组估计外参和匹配分数，包括：
    基于几何结构一致性约束和基于协方差权重匹配的近邻匹配方法确定优化方程；
    将所述第一转换点云和所述多个邻居点代入所述优化方程求解所述当前帧对应的当前组估计外参和匹配分数。
  4. 如权利要求3所述的方法，其特征在于，所述优化方程包括残差方程，通过求解所述残差方程以获取所述当前帧对应的当前组估计外参和所述匹配得分，其中，所述当前组估计外参使得所述残差方程的迭代残差最小，所述迭代残差越小，则所述匹配得分越高。
  5. 如权利要求3所述的方法，其特征在于，所述权重为所述多个邻居点的协方差矩阵的特征值，其中，所述多个邻居点包括第一邻居点和第二邻居点，所述第一邻居点的协方差大于所述第二邻居点的协方差，则所述第一邻居点的权重小于所述第二邻居点的权重。
  6. 如权利要求1所述的标定方法，其特征在于，基于所述多组估计外参中的至少部分组的估计外参，确定目标外参，包括：
    对所述至少部分组的估计外参求平均值，以获得目标外参；或者
    基于最小二乘法对所述至少部分组的估计外参进行拟合，以确定所述目标外参；或者
    以所述匹配得分为权重，基于加权最小二乘法对所述至少部分组的估计外参进行拟合，以确定所述目标外参。
  7. 如权利要求1至6任一项所述的标定方法，其特征在于，所述可移动平台在所述标定场景中按照预定的运动轨迹移动的同时所述第一激光雷达和所述第二激光雷达对所述标定场景进行扫描，或者，所述可移动平台固定而所述标定场景相对所述可移动平台进行的同时所述第一激光雷达和所述第二激光雷达对所述标定场景进行扫描。
  8. 如权利要求1至7任一项所述的标定方法，其特征在于，当确定所述第一激光雷达和所述第二激光雷达在所述标定场景中的扫描轨迹的重合率大于预 设阈值之后，根据所述多帧所述第一点云数据构建地图并估计所述可移动平台相对所述标定场景的运动轨迹。
  9. 如权利要求1至8任一项所述的标定方法，其特征在于，所述第一激光雷达的扫描轨迹和所述第二激光雷达的扫描轨迹的重合率高于阈值重合率。
  10. 如权利要求1至9任一项所述的标定方法，其特征在于，所述外参为将第二激光雷达的坐标系转换至第一激光雷达的坐标系的标定矩阵，所述标定矩阵包括3个旋转参数和3个平移参数。
  11. 如权利要求1至10任一项所述的标定方法，其特征在于，所述方法还包括：
    基于所述目标外参将所述多帧第二点云数据旋转配准到所述第一激光雷达的坐标系下；
    将旋转配准后的所述多帧第二点云数据与所述多帧第一点云数据进行融合操作，以获取在所述第一激光雷达的坐标系下的点云数据。
  12. 如权利要求1至11任一项所述的标定方法，其特征在于，所述第一激光雷达的视场范围小于100°；和/或，所述第二激光雷达的视场范围小于100°。
  13. 一种多组激光雷达外参的标定装置，其特征在于，所述装置包括：
    可移动平台；
    多组激光雷达，所述多组激光雷达包括第一激光雷达和第二激光雷达，所述第一激光雷达和所述第二激光雷达安装于所述可移动平台本体的不同位置；
    存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述处理器用于：
    获取所述第一激光雷达和所述第二激光雷达扫描标定场景所分别采集的多帧第一点云数据和多帧第二点云数据；
    根据所述多帧所述第一点云数据构建地图并估计所述可移动平台相对所述标定场景的运动轨迹；
    基于所述运动轨迹和外参初值，依次将所述多帧第二点云数据旋转平移至所述地图中，以求解多组估计外参和每组估计外参对应的匹配得分；
    基于所述多组估计外参中的至少部分组的估计外参，确定目标外参，其中所述至少部分组中的每组估计外参的匹配分数大于阈值分数。
  14. 如权利要求13所述的标定装置，其特征在于，所述标定装置还包括标 定场景，所述标定场景配置用于能够在所述可移动平台外侧按照预定的运动轨迹移动。
  15. 如权利要求13所述的标定装置，其特征在于，所述多帧第二点云数据包括当前帧的第二点云数据，所述外参初值包括第一外参初值，所述处理器用于基于所述运动轨迹和外参初值，依次将所述多帧第二点云数据旋转平移至所述地图中，以求解多组估计外参和每组估计外参对应的匹配得分，包括：
    基于所述运动轨迹和所述第一外参初值，将所述当前帧的第二点云数据旋转平移至所述地图中，以获得当前帧的第一转换点云，其中，当所述当前帧为所述多帧中的第一帧时，所述第一外参初值为根据所述第一激光雷达和所述第二激光雷达的位置关系确定的，或者，当所述当前帧非所述第一帧时，所述第一外参初值为基于当前帧之前的一帧第二点云数据求解的所述匹配分数高于阈值分数的估计外参；
    获取所述地图中与所述第一转换点云中的点云点距离低于阈值距离的多个邻居点；
    根据所述第一转换点云和所述多个邻居点，基于几何结构一致性约束和基于协方差权重匹配的近邻匹配算法确定与所述当前帧对应的当前组估计外参和匹配分数，当所述当前组估计外参的匹配分数高于阈值分数时，所述当前帧的下一帧使用所述当前组估计外参作为所述外参初值，当所述当前组估计外参的匹配分数低于所述阈值分数时，所述当前帧的下一帧使用基于当前帧之前的一帧第二点云数据求解的所述匹配分数高于阈值分数的估计外参作为下一帧的外参初值。
  16. 如权利要求15所述的标定装置，其特征在于，根据所述第一转换点云和所述多个邻居点，基于几何结构一致性约束和基于协方差权重匹配的近邻匹配算法确定与所述当前帧对应的当前组估计外参和匹配分数，包括：
    基于几何结构一致性约束和基于协方差权重匹配的近邻匹配方法确定优化方程；
    将所述第一转换点云和所述多个邻居点代入所述优化方程求解所述当前帧对应的当前组估计外参和匹配分数。
  17. 如权利要求16所述的标定装置，其特征在于，所述优化方程包括残差方程，通过求解所述残差方程以获取所述当前帧对应的当前组估计外参和所述匹配得分，其中，所述当前组估计外参使得所述残差方程的迭代残差最小，所述迭 代残差用于表征所述匹配得分。
  18. 如权利要求16所述的标定装置，其特征在于，所述权重为所述多个邻居点的协方差矩阵的特征值，其中，所述多个邻居点包括第一邻居点和第二邻居点，所述第一邻居点的协方差大于所述第二邻居点的协方差，则所述第一邻居点的权重小于所述第二邻居点的权重。
  19. 如权利要求13所述的标定装置，其特征在于，基于所述多组估计外参中的至少部分组的估计外参，确定目标外参，包括：
    对所述至少部分组的估计外参求平均值，以获得目标外参；或者
    基于最小二乘法对所述至少部分组的估计外参进行拟合，以确定所述目标外参；或者
    以所述匹配得分为权重，基于加权最小二乘法对所述至少部分组的估计外参进行拟合，以确定所述目标外参。
  20. 如权利要求13至19任一项所述的标定装置，其特征在于，所述可移动平台用于在所述标定场景中按照预定轨迹移动的同时所述第一激光雷达和所述第二激光雷达对所述标定场景进行扫描。
  21. 如权利要求13至20任一项所述的标定装置，其特征在于，所述处理器用于：
    当确定所述第一激光雷达和所述第二激光雷达在所述标定场景中的扫描轨迹的重合率大于预设阈值之后，根据所述多帧所述第一点云数据构建地图并估计所述可移动平台相对所述标定场景的运动轨迹。
  22. 如权利要求13至21任一项所述的标定装置，其特征在于，所述第一激光雷达的扫描轨迹和所述第二激光雷达的扫描轨迹的重合率高于阈值重合率。
  23. 如权利要求13至22任一项所述的标定装置，其特征在于，所述外参为将第二激光雷达的坐标系转换至第一激光雷达的坐标系的标定矩阵，所述标定矩阵包括3个旋转参数和3个平移参数。
  24. 如权利要求13所述的标定装置，其特征在于，所述处理器还用于：
    基于所述目标外参将所述多帧第二点云数据旋转配准到所述第一激光雷达的坐标系下；
    将旋转配准后的所述多帧第二点云数据与所述多帧第一点云数据进行融合操作，以获取在所述第一激光雷达的坐标系下的点云数据。
  25. 如权利要求13至24任一项所述的标定装置，其特征在于，所述第一激光雷达的视场范围小于100°；和/或所述第二激光雷达的视场范围小于100°。
  26. 一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现1至12任一项所述的多组激光雷达外参的标定方法。
PCT/CN2020/096220 2020-06-15 2020-06-15 多组激光雷达外参的标定方法、标定装置和计算机存储介质 WO2021253193A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080006493.3A CN114080547A (zh) 2020-06-15 2020-06-15 多组激光雷达外参的标定方法、标定装置和计算机存储介质
PCT/CN2020/096220 WO2021253193A1 (zh) 2020-06-15 2020-06-15 多组激光雷达外参的标定方法、标定装置和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/096220 WO2021253193A1 (zh) 2020-06-15 2020-06-15 多组激光雷达外参的标定方法、标定装置和计算机存储介质

Publications (1)

Publication Number Publication Date
WO2021253193A1 true WO2021253193A1 (zh) 2021-12-23

Family

ID=79268912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/096220 WO2021253193A1 (zh) 2020-06-15 2020-06-15 多组激光雷达外参的标定方法、标定装置和计算机存储介质

Country Status (2)

Country Link
CN (1) CN114080547A (zh)
WO (1) WO2021253193A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359413A (zh) * 2022-03-17 2022-04-15 深圳市纵维立方科技有限公司 用于三维扫描的旋转平台位置参数计算方法及系统
CN114720993A (zh) * 2022-03-30 2022-07-08 上海木蚁机器人科技有限公司 机器人定位方法、装置、电子设备以及存储介质
CN114782651A (zh) * 2022-05-14 2022-07-22 中新国际联合研究院 非重复扫描3d激光雷达与热感相机的外参自动标定方法
CN114923453A (zh) * 2022-05-26 2022-08-19 杭州海康机器人技术有限公司 一种线性轮廓仪外参的标定方法、装置及电子设备
CN114935748A (zh) * 2022-05-14 2022-08-23 中新国际联合研究院 一种基于检测物体的大基线多激光雷达标定的方法及系统
CN115035206A (zh) * 2022-05-09 2022-09-09 浙江华睿科技股份有限公司 一种激光点云的压缩方法、解压方法及相关装置
CN115079143A (zh) * 2022-06-14 2022-09-20 北京航空航天大学 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置
CN115184909A (zh) * 2022-07-11 2022-10-14 中国人民解放军国防科技大学 一种基于目标检测的车载多谱系激光雷达标定系统与方法
CN115204314A (zh) * 2022-08-12 2022-10-18 西南交通大学 基于车载obu的多源数据融合方法和车载obu
CN115236644A (zh) * 2022-07-26 2022-10-25 广州文远知行科技有限公司 一种激光雷达外参标定方法、装置、设备和存储介质
CN115267813A (zh) * 2022-07-29 2022-11-01 腾讯科技（深圳）有限公司 数据处理方法、装置、设备、存储介质及计算机程序产品
CN115372946A (zh) * 2022-08-15 2022-11-22 北京城市网邻信息技术有限公司 激光雷达采集设备与旋转轴标定方法、装置及存储介质
CN115435816A (zh) * 2022-11-07 2022-12-06 山东大学 在线双舵轮agv内外参标定方法、系统、介质及设备
CN115661269A (zh) * 2022-11-18 2023-01-31 深圳市智绘科技有限公司 相机与激光雷达的外参标定方法、装置及存储介质
CN115760725A (zh) * 2022-11-04 2023-03-07 广东安恒电力科技有限公司 基于激光雷达的输电线外力入侵监测方法、介质及设备
CN116125446A (zh) * 2023-01-31 2023-05-16 清华大学 旋转驱动式多线激光雷达三维重建装置的标定方法及装置
CN116148822A (zh) * 2023-03-28 2023-05-23 安徽海博智能科技有限责任公司 一种应用于露天矿山无人驾驶的多激光雷达自动标定方法
CN116299319A (zh) * 2023-05-26 2023-06-23 山东富锐光学科技有限公司 多激光雷达的同步扫描及点云数据处理方法和雷达系统
CN116299367A (zh) * 2023-05-18 2023-06-23 中国测绘科学研究院 一种多激光空间标定方法
CN117773928A (zh) * 2023-12-26 2024-03-29 上海木蚁机器人科技有限公司 移动设备标定方法、装置、电子设备以及存储介质
CN115166701B (zh) * 2022-06-17 2024-04-09 清华大学 一种rgb-d相机和激光雷达的系统标定方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239821B (zh) * 2022-07-15 2023-03-31 小米汽车科技有限公司 参数信息确定方法、装置、车辆、电子设备及存储介质
WO2024174160A1 (en) * 2023-02-23 2024-08-29 Qualcomm Technologies, Inc. Point cloud alignment and combination for vehicle applications
CN117129979B (zh) * 2023-10-25 2024-02-13 深圳市迅龙软件有限公司 一种基于机器学习模型的激光雷达标定方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357773A1 (en) * 2017-06-13 2018-12-13 TuSimple Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation
US20190056484A1 (en) * 2017-08-17 2019-02-21 Uber Technologies, Inc. Calibration for an autonomous vehicle lidar module
CN109901139A (zh) * 2018-12-28 2019-06-18 文远知行有限公司 激光雷达标定方法、装置、设备和存储介质
US20190204425A1 (en) * 2017-12-28 2019-07-04 Lyft, Inc. Mobile sensor calibration
CN110221276A (zh) * 2019-05-31 2019-09-10 文远知行有限公司 激光雷达的标定方法、装置、计算机设备和存储介质
CN110596683A (zh) * 2019-10-25 2019-12-20 中山大学 一种多组激光雷达外参标定系统及其方法
CN110741282A (zh) * 2019-08-21 2020-01-31 深圳市速腾聚创科技有限公司 外参标定方法、装置、计算设备以及计算机存储介质
CN111090084A (zh) * 2018-10-24 2020-05-01 舜宇光学（浙江）研究院有限公司 多激光雷达外参标定方法、标定装置、标定系统和电子设备
CN111190153A (zh) * 2020-04-09 2020-05-22 上海高仙自动化科技发展有限公司 外参标定方法及装置、智能机器人及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357773A1 (en) * 2017-06-13 2018-12-13 TuSimple Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation
US20190056484A1 (en) * 2017-08-17 2019-02-21 Uber Technologies, Inc. Calibration for an autonomous vehicle lidar module
US20190204425A1 (en) * 2017-12-28 2019-07-04 Lyft, Inc. Mobile sensor calibration
CN111090084A (zh) * 2018-10-24 2020-05-01 舜宇光学（浙江）研究院有限公司 多激光雷达外参标定方法、标定装置、标定系统和电子设备
CN109901139A (zh) * 2018-12-28 2019-06-18 文远知行有限公司 激光雷达标定方法、装置、设备和存储介质
CN110221276A (zh) * 2019-05-31 2019-09-10 文远知行有限公司 激光雷达的标定方法、装置、计算机设备和存储介质
CN110741282A (zh) * 2019-08-21 2020-01-31 深圳市速腾聚创科技有限公司 外参标定方法、装置、计算设备以及计算机存储介质
CN110596683A (zh) * 2019-10-25 2019-12-20 中山大学 一种多组激光雷达外参标定系统及其方法
CN111190153A (zh) * 2020-04-09 2020-05-22 上海高仙自动化科技发展有限公司 外参标定方法及装置、智能机器人及计算机可读存储介质

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359413A (zh) * 2022-03-17 2022-04-15 深圳市纵维立方科技有限公司 用于三维扫描的旋转平台位置参数计算方法及系统
CN114720993A (zh) * 2022-03-30 2022-07-08 上海木蚁机器人科技有限公司 机器人定位方法、装置、电子设备以及存储介质
CN115035206A (zh) * 2022-05-09 2022-09-09 浙江华睿科技股份有限公司 一种激光点云的压缩方法、解压方法及相关装置
CN115035206B (zh) * 2022-05-09 2024-03-29 浙江华睿科技股份有限公司 一种激光点云的压缩方法、解压方法及相关装置
CN114782651A (zh) * 2022-05-14 2022-07-22 中新国际联合研究院 非重复扫描3d激光雷达与热感相机的外参自动标定方法
CN114935748A (zh) * 2022-05-14 2022-08-23 中新国际联合研究院 一种基于检测物体的大基线多激光雷达标定的方法及系统
CN114923453A (zh) * 2022-05-26 2022-08-19 杭州海康机器人技术有限公司 一种线性轮廓仪外参的标定方法、装置及电子设备
CN114923453B (zh) * 2022-05-26 2024-03-05 杭州海康机器人股份有限公司 一种线性轮廓仪外参的标定方法、装置及电子设备
CN115079143B (zh) * 2022-06-14 2024-04-26 北京航空航天大学 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置
CN115079143A (zh) * 2022-06-14 2022-09-20 北京航空航天大学 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置
CN115166701B (zh) * 2022-06-17 2024-04-09 清华大学 一种rgb-d相机和激光雷达的系统标定方法及装置
CN115184909A (zh) * 2022-07-11 2022-10-14 中国人民解放军国防科技大学 一种基于目标检测的车载多谱系激光雷达标定系统与方法
CN115236644A (zh) * 2022-07-26 2022-10-25 广州文远知行科技有限公司 一种激光雷达外参标定方法、装置、设备和存储介质
CN115267813A (zh) * 2022-07-29 2022-11-01 腾讯科技（深圳）有限公司 数据处理方法、装置、设备、存储介质及计算机程序产品
CN115204314B (zh) * 2022-08-12 2023-05-30 西南交通大学 基于车载obu的多源数据融合方法和车载obu
CN115204314A (zh) * 2022-08-12 2022-10-18 西南交通大学 基于车载obu的多源数据融合方法和车载obu
CN115372946A (zh) * 2022-08-15 2022-11-22 北京城市网邻信息技术有限公司 激光雷达采集设备与旋转轴标定方法、装置及存储介质
CN115760725A (zh) * 2022-11-04 2023-03-07 广东安恒电力科技有限公司 基于激光雷达的输电线外力入侵监测方法、介质及设备
CN115760725B (zh) * 2022-11-04 2024-02-20 广东安恒电力科技有限公司 基于激光雷达的输电线外力入侵监测方法、介质及设备
CN115435816A (zh) * 2022-11-07 2022-12-06 山东大学 在线双舵轮agv内外参标定方法、系统、介质及设备
CN115661269A (zh) * 2022-11-18 2023-01-31 深圳市智绘科技有限公司 相机与激光雷达的外参标定方法、装置及存储介质
CN116125446B (zh) * 2023-01-31 2023-09-05 清华大学 旋转驱动式多线激光雷达三维重建装置的标定方法及装置
CN116125446A (zh) * 2023-01-31 2023-05-16 清华大学 旋转驱动式多线激光雷达三维重建装置的标定方法及装置
CN116148822B (zh) * 2023-03-28 2023-11-03 安徽海博智能科技有限责任公司 一种应用于露天矿山无人驾驶的多激光雷达自动标定方法
CN116148822A (zh) * 2023-03-28 2023-05-23 安徽海博智能科技有限责任公司 一种应用于露天矿山无人驾驶的多激光雷达自动标定方法
CN116299367A (zh) * 2023-05-18 2023-06-23 中国测绘科学研究院 一种多激光空间标定方法
CN116299367B (zh) * 2023-05-18 2024-01-26 中国测绘科学研究院 一种多激光空间标定方法
CN116299319A (zh) * 2023-05-26 2023-06-23 山东富锐光学科技有限公司 多激光雷达的同步扫描及点云数据处理方法和雷达系统
CN116299319B (zh) * 2023-05-26 2023-08-15 山东富锐光学科技有限公司 多激光雷达的同步扫描及点云数据处理方法和雷达系统
CN117773928A (zh) * 2023-12-26 2024-03-29 上海木蚁机器人科技有限公司 移动设备标定方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN114080547A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
WO2021253193A1 (zh) 多组激光雷达外参的标定方法、标定装置和计算机存储介质
CN109212540B (zh) 基于激光雷达系统的测距方法、装置及可读存储介质
CN108419446B (zh) 用于激光深度图取样的系统及方法
CN110221276B (zh) 激光雷达的标定方法、装置、计算机设备和存储介质
US9641814B2 (en) Crowd sourced vision and sensor-surveyed mapping
US20200226782A1 (en) Positioning method, positioning apparatus, positioning system, storage medium, and method for constructing offline map database
US8976172B2 (en) Three-dimensional scanning using existing sensors on portable electronic devices
US9304970B2 (en) Extended fingerprint generation
JP2021516401A (ja) データ融合方法及び関連装置
CN108297115B (zh) 一种机器人的自主重定位方法
US20150193971A1 (en) Methods and Systems for Generating a Map including Sparse and Dense Mapping Information
Gong et al. Extrinsic calibration of a 3D LIDAR and a camera using a trihedron
US20200100066A1 (en) System and Method for Generating Floor Plans Using User Device Sensors
JP7527546B2 (ja) 人間関節を用いた無人航空機上のカメラの校正
EP4332631A1 (en) Global optimization methods for mobile coordinate scanners
CN113391263A (zh) 基于无线电指纹序列更新无线电地图
TWI822423B (zh) 運算裝置及模型產生方法
CN114140608B (zh) 一种光伏板标记方法、装置、电子设备及存储介质
JP6580286B2 (ja) 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法
EP3943979A1 (en) Indoor device localization
CN113515112B (zh) 机器人移动方法、装置、计算机设备和存储介质
CN116222544B (zh) 一种面向饲养场的投料车自动导航定位方法及装置
Froehlich et al. Handheld Simultaneous Localization and Mapping Devices for 3D Scanning
US20230324558A1 (en) Sensor field-of-view manipulation
CN108344416B (zh) 一种基于地图信息自动匹配目标的定位方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20940881

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20940881

Country of ref document: EP

Kind code of ref document: A1