WO2019007263A1 - 车载传感器的外部参数标定的方法和设备 - Google Patents

车载传感器的外部参数标定的方法和设备 Download PDF

Info

Publication number
WO2019007263A1
WO2019007263A1 PCT/CN2018/093559 CN2018093559W WO2019007263A1 WO 2019007263 A1 WO2019007263 A1 WO 2019007263A1 CN 2018093559 W CN2018093559 W CN 2018093559W WO 2019007263 A1 WO2019007263 A1 WO 2019007263A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature points
determining
onboard sensor
feature point
vehicle body
Prior art date
Application number
PCT/CN2018/093559
Other languages
English (en)
French (fr)
Inventor
周跃寅
陈奇
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to EP18828221.4A priority Critical patent/EP3633620A4/en
Priority to JP2019572428A priority patent/JP6931096B2/ja
Publication of WO2019007263A1 publication Critical patent/WO2019007263A1/zh
Priority to US16/734,941 priority patent/US11670193B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G09B29/102—Map spot or coordinate position indicators; Map reading aids using electrical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • Embodiments of the present application relate to the field of automobiles, and more particularly, to a method and apparatus for external parameter calibration of an in-vehicle sensor.
  • the reliability of auto-driving is based on the results of a variety of in-vehicle sensor fusion perceptions, while the premise of multiple sensor fusion perceptions is spatial consistency.
  • the sensor external parameters reflect the relative position and attitude relationship of the sensor in space.
  • the external reference calibration between the sensors on the self-driving car is realized by observing some artificially pre-set markers in the inspection field of a fixed area or indoor laboratory.
  • the auto-driving car is used for a period of time in the factory, due to long-term high-frequency vibration, collision and other external factors, the relative position of the space between the sensors is shifted. At this time, it needs to be returned to the factory for recalibration.
  • the increasing number of users will inevitably lead to more and more demand for returning to the factory. A large number of returning to the factory will bring a lot of transportation costs and time costs, and also have a great negative impact on the user experience.
  • the embodiment of the present application provides a method and a device for external parameter calibration of an on-vehicle sensor, which can realize automatic calibration of an on-vehicle sensor of an autonomous vehicle, and does not need to rely on a fixed inspection site or a laboratory to calibrate the on-vehicle sensor, thereby improving the user.
  • a method and a device for external parameter calibration of an on-vehicle sensor which can realize automatic calibration of an on-vehicle sensor of an autonomous vehicle, and does not need to rely on a fixed inspection site or a laboratory to calibrate the on-vehicle sensor, thereby improving the user.
  • the first aspect provides a method for external parameter calibration of an on-vehicle sensor, comprising: acquiring first feature point information collected by the first on-board sensor; determining position of the vehicle body in world coordinates according to position information collected by the positioning and positioning system POS sensor a geographic location in the system; determining, according to the geographic location of the vehicle body in the world coordinate system, second feature point information in the first sensor acquisition range in the map database, wherein the map database is established based on the world coordinate system; Determining, by the first feature point information and the second feature point information, a plurality of first feature points and a plurality of second feature points; according to the geographic location of the vehicle body in the world coordinate system and the plurality of second feature points Determining, in the coordinate system of the world coordinate system, coordinates of the plurality of second feature points in the vehicle body coordinate system; according to the plurality of first feature points and the plurality of second feature points in the vehicle body coordinate system The lower coordinates determine the mapping parameters of the first onboard sensor to the vehicle body.
  • the device acquires first feature point information collected by the first onboard sensor; and determines, according to the positioning and positioning system POS sensor, a geographical position of the vehicle body in which the first onboard sensor is located in the world coordinate system; according to the vehicle body in the world coordinate system a second geographic point information in the first sensor acquisition range in the map database, wherein the map database is established based on a world coordinate system; according to the first feature point information and the Second feature point information, determining a plurality of first feature points and a plurality of second feature points; according to a geographic location of the vehicle body in the world coordinate system and the plurality of second feature points at the world coordinates a geographic location in the system, determining coordinates of the plurality of second feature points in the vehicle body coordinate system; and the vehicle body coordinates according to the plurality of first feature points and the plurality of second feature points
  • the coordinates of the system determine the mapping parameters of the first onboard sensor to the vehicle body.
  • the device determines, according to the first feature point information collected by the first onboard sensor and the geographic location of the vehicle body in the world coordinate system, the second feature point information in the first sensor collection range in the map database, and determines a first feature point and a plurality of second feature points; determining the first onboard sensor to the vehicle body according to coordinates of the plurality of first feature points and the plurality of second feature points in the vehicle body coordinate system
  • the mapping parameters complete the calibration of the external parameters of the first onboard sensor. It can realize the automatic calibration of the on-board sensor of the self-driving car. It does not need to rely on a fixed inspection site or laboratory to calibrate the on-board sensor, which can improve the user experience.
  • the method further includes: determining, according to the determined mapping parameter of the first onboard sensor to the vehicle body, a mapping parameter of the vehicle body to the first onboard sensor;
  • determining a mapping parameter of the vehicle body to the first onboard sensor according to the determined mapping parameter of the first onboard sensor to the vehicle body including:
  • mapping parameters of the second onboard sensor to the first onboard sensor including:
  • mapping parameter of the second onboard sensor to the vehicle body and the mapping parameter of the vehicle body to the first onboard sensor to obtain a mapping parameter of the second onboard sensor to the first onboard sensor.
  • mapping parameters of the first vehicle-mounted sensor to the vehicle body and the mapping parameters of the second vehicle-mounted sensor to the vehicle body the mapping relationship between the coordinates of any vehicle-mounted sensor and another vehicle-mounted sensor can be realized, and the vehicle-mounted sensor can be realized. Inter-calibration.
  • the mapping parameter of the body includes: determining that the plurality of first feature points pass the accuracy check; and the coordinates of the plurality of first feature points and the plurality of second feature points in the vehicle body coordinate system according to the accuracy check Determining a mapping parameter of the first onboard sensor to the vehicle body.
  • the error of the first feature point or the matching process may be avoided, and the gross error observation value is automatically eliminated, according to the first feature point passed the accuracy check.
  • the mapping parameters of the vehicle sensor to the world coordinate system are calibrated, which improves the reliability and accuracy of the mapping parameters of the vehicle sensor to the world coordinate system.
  • the first onboard sensor includes any one of the following onboard sensors:
  • Lidar on-board sensors Lidar on-board sensors, camera on-board sensors and millimeter-wave radar on-board sensors.
  • determining the plurality of first feature points to pass the accuracy check include:
  • Determining the accuracy of the first feature point if the determined difference between the coordinates of the first feature point in the map database and the second feature point matching the first feature point in the map database is less than a first threshold check.
  • determining the plurality of first feature points to pass the accuracy check includes:
  • the acquiring the first feature point information collected by the first onboard sensor includes:
  • the plurality of first feature points are a plurality of corner point coordinates of the first marker
  • the contour size of the first marker corresponding to any one of the plurality of feature points in the first feature point information Determining that any one of the plurality of feature points in the first feature point information is the first feature point and the second feature point when a difference in a contour size of the first marker is less than a third threshold Any one of the plurality of feature points in the information is the second feature point.
  • the first onboard sensor is a millimeter wave radar onboard sensor
  • the acquiring the first feature point information collected by the first onboard sensor includes:
  • Obtaining the first feature point information includes a plurality of first feature points and a fixed interval d 1 of the adjacent ones of the plurality of first feature points;
  • the difference between the fixed interval d 1 of the adjacent ones of the plurality of feature points in the first feature point information and the fixed interval d of the feature points adjacent to the plurality of feature points in the map database is smaller than And determining, by the fourth threshold, a fixed interval d 1 of the feature points adjacent to the plurality of feature points in the first feature point information is adjacent to the first feature point and the plurality of feature points in the map database
  • the fixed interval d of the feature point is the second feature point.
  • the first onboard sensor is a camera onboard sensor
  • the acquiring the first feature point information collected by the first onboard sensor includes:
  • the pixel coordinates of a feature point are that the coordinates of the plurality of first feature points and the third marker in the map database are the plurality of second feature points.
  • a second aspect provides a method for acquiring data by a lidar sensor, comprising: acquiring a contour of a first marker; and determining, according to the contour, first feature point information of the first marker, where the first feature point information includes a plurality of feature points and a contour size of the first marker corresponding to the plurality of feature points, wherein the plurality of feature points are a plurality of corner points of the first marker.
  • the acquiring the contour of the first marker includes:
  • the contour of the first marker is extracted according to a point cloud filtering denoising and a region neighboring point normal vector solving algorithm.
  • a third aspect provides a method for acquiring data by a millimeter wave radar sensor, comprising: acquiring coordinates of a plurality of first markers, wherein a spacing of the plurality of first markers in a linear direction is fixed; determining the plurality of a fixed interval d 1 of the adjacent first feature points in the first marker.
  • a fourth aspect provides a method for acquiring data by a camera sensor, comprising: acquiring an image of a first marker; and determining, according to an image of the first marker, first feature point information collected by the camera sensor, the first feature
  • the point information includes pixel coordinates of the plurality of first feature points and an image size of the third marker, wherein the plurality of feature points are geometric centers of images of the third marker.
  • the first marker when the first marker is a traffic light, determining, according to the image of the first marker, the first feature point information collected by the camera sensor, including: The red, green and blue three channels respectively extract all the red, yellow and green feature regions on the image; extract the edge points of the red, green and blue three-channel image; and determine the red, green and blue according to the edge points of the red, green and blue three-channel image The geometric center point of the channel image; the pixel coordinates of the geometric center point of the red, green, and blue three-channel image.
  • a control device device comprising an acquisition module and a determination module, which can perform the method in any of the optional implementations of the first aspect or the first aspect.
  • a lidar sensor comprising an acquisition module and a determination module, the method of any of the alternative implementations of the second aspect or the second aspect.
  • a millimeter wave radar sensor comprising an acquisition module and a determination module, the method of any of the alternative implementations of the third aspect or the third aspect.
  • a camera sensor comprising an acquisition module and a determination module, which can perform the method of any of the alternative implementations of the fourth aspect or the fourth aspect.
  • a vehicle including a control device, a radar laser sensor, a millimeter wave radar sensor, and a camera sensor.
  • an electronic device comprising a memory and a processor having stored thereon any optional implementation, second or second aspect that can be used to indicate execution of the first or first aspect described above
  • the terminal device in the method can perform various operations.
  • a computer storage medium stores program code, and the program code can be used to indicate that any optional implementation manner of the second aspect or the second aspect is performed.
  • FIG. 1 is a functional block diagram of an example vehicle 100 provided by an embodiment of the present application.
  • FIG. 2 is a schematic flow diagram of a method 200 of external parameter calibration of an onboard sensor in accordance with an embodiment of the present application.
  • FIG. 3 is a schematic flow chart of determining a plurality of first feature points passing accuracy check when the first onboard sensor is a laser radar on-board sensor or a millimeter wave radar on-board sensor according to an embodiment of the present application.
  • FIG. 4 is a schematic flowchart of determining a plurality of first feature points passing accuracy checks when the first in-vehicle sensor is a camera on-board sensor according to an embodiment of the present application.
  • FIG. 5 is a schematic flow chart of a method 500 for collecting data by a radar laser sensor according to an embodiment of the present application.
  • FIG. 6 is a schematic flow chart of a method 600 of acquiring data by a millimeter wave radar sensor according to an embodiment of the present application.
  • FIG. 7 is a schematic flowchart of a method 700 for collecting data by a camera sensor according to an embodiment of the present application.
  • FIG. 8 is a schematic block diagram of an apparatus 800 for external parameter calibration of an in-vehicle sensor in accordance with an embodiment of the present application.
  • FIG. 9 is a schematic block diagram of a radar laser sensor 900 in accordance with an embodiment of the present application.
  • FIG. 10 is a schematic block diagram of a millimeter wave radar sensor 1000 in accordance with an embodiment of the present application.
  • FIG. 11 is a schematic block diagram of a camera sensor 1100 in accordance with an embodiment of the present application.
  • FIG. 12 is a schematic block diagram of an electronic device 1200 in accordance with an embodiment of the present application.
  • FIG. 1 is a functional block diagram of an example vehicle 100 provided by an embodiment of the present application.
  • Components coupled to or included in the vehicle 100 may include the propulsion system 110, the sensor system 120, the control system 130, the peripheral device 140, the power source 101, the computing device 107, and the user interface 108.
  • Computing device 103 can include processor 102, transceiver 103, and memory 104. Computing device 103 may be part of a controller or controller of vehicle 100.
  • the memory 104 can include instructions 106 that the processor 102 can run, and can also store map data 105.
  • the components of the vehicle 100 can be configured to operate in a manner interconnected with each other and/or with other components coupled to the various systems.
  • power source 101 can provide power to all components of vehicle 100.
  • Computing device 103 can be configured to receive data from, and control, propulsion system 110, sensor system 120, control system 130, and peripheral device 140. Computing device 103 can be configured to generate a display of an image on user interface 108 and receive input from
  • vehicle 100 may include more, fewer, or different systems, and each system may include more, fewer, or different components.
  • the systems and components shown may be combined or divided in any number of ways.
  • the propulsion system 102 can be used to provide power motion to the vehicle 100.
  • the propulsion system 102 includes an engine/engine 114, an energy source 113, a transmission 112, and a wheel/tire 111.
  • Propulsion system 102 may additionally or alternatively include components in addition to those shown.
  • Sensor system 104 may include a number of sensors for sensing information regarding the environment in which vehicle 100 is located. As shown, the sensors of the sensor system include a global positioning system GPS 126, an Inertial Measurement Unit (IMU) 125, a lidar sensor 124, a camera sensor 123, a millimeter wave radar sensor 122, and a location for modifying the sensor and / or the actuator 121 facing. Sensor system 120 may also include additional sensors including, for example, sensors that monitor the internal systems of vehicle 100 (eg, O2 monitors, fuel gauges, oil temperatures, etc.). Sensor system 120 may also include other sensors.
  • IMU Inertial Measurement Unit
  • the GPS module 126 can be any sensor for estimating the geographic location of the vehicle 100.
  • the GPS module 126 may include a transceiver that estimates the position of the vehicle 100 relative to the earth based on satellite positioning data.
  • computing device 103 can be used in conjunction with map data 105 to use GPS module 126 to estimate the location of a lane boundary on a road on which vehicle 100 can travel.
  • the GPS module 126 can take other forms as well.
  • IMU 125 may be used to sense changes in position and orientation of vehicle 100 based on inertial acceleration and any combination thereof.
  • the combination of sensors can include, for example, an accelerometer and a gyroscope. Other combinations of sensors are also possible.
  • Lidar sensor (LiDAR) 124 can be viewed as an object detection system that uses light to sense or detect objects in the environment in which vehicle 100 is located.
  • LIDAR is an optical remote sensing technique that can measure the distance to a target or other attribute of a target by illuminating the target with light.
  • LIDAR unit 124 can include a laser source and/or a laser scanner configured to emit laser pulses, and a detector for receiving reflections of the laser pulses.
  • the LIDAR unit 124 can include a laser range finder that is reflected by a rotating mirror and scans the laser around the digitized scene in one or two dimensions to acquire distance measurements at specified angular intervals.
  • LIDAR unit 124 may include components such as light (eg, laser) sources, scanners and optical systems, photodetectors, and receiver electronics, as well as position and navigation systems.
  • the LIDAR unit 124 determines the distance of the object by scanning the laser reflected from an object to form a 3D environment map with an accuracy of up to centimeter.
  • Camera sensor 123 may be used to capture any camera (eg, a still camera, video camera, etc.) of an image of the environment in which vehicle 100 is located. To this end, the camera can be configured to detect visible light, or can be configured to detect light from other portions of the spectrum, such as infrared or ultraviolet light. Other types of cameras are also possible. Camera 123 can be a two-dimensional detector or can have a three-dimensional spatial extent. In some examples, camera 123 may be, for example, a distance detector configured to generate a two-dimensional image indicative of the distance from camera 123 to several points in the environment. To this end, camera 123 may use one or more distance detection techniques.
  • a distance detector configured to generate a two-dimensional image indicative of the distance from camera 123 to several points in the environment. To this end, camera 123 may use one or more distance detection techniques.
  • camera 123 can be configured to use structured light technology in which vehicle 100 illuminates an object in the environment with a predetermined light pattern, such as a grid or checkerboard pattern, and uses camera 134 to detect reflections from a predetermined light pattern of the object. . Based on the distortion in the reflected light pattern, the vehicle 100 can be configured to detect the distance of a point on the object.
  • the predetermined light pattern may include infrared light or light of other wavelengths.
  • the millimeter-wave radar sensor (Millimeter-Wave Radar) 122 generally refers to an object detecting sensor having a wavelength of 1 to 10 mm, and the frequency is approximately in the range of 10 GHz to 200 GHz.
  • the millimeter wave radar measurement has depth information and can provide the distance of the target.
  • the millimeter wave radar has obvious Doppler effect, it is very sensitive to speed, and can directly obtain the target speed, by detecting its Doppler frequency shift. Extract the speed of the target.
  • the two mainstream vehicle-mounted millimeter-wave radar applications have frequency bands of 24 GHz and 77 GHz, respectively.
  • the former wavelength is about 1.25 cm, which is mainly used for short-distance sensing, such as the surrounding environment of the vehicle body, blind spots, parking assistance, lane change assistance, etc.; About 4mm, for medium and long distance measurements, such as automatic follow-up, adaptive cruise (ACC), emergency braking (AEB).
  • ACC adaptive cruise
  • AEB emergency braking
  • Control system 130 can be configured to control the operation of vehicle 100 and its components. To this end, control system 130 can include steering unit 136, throttle 135, braking unit 134, sensor fusion algorithm 133, computer vision system 132, navigation or routing system 131.
  • Control system 106 may additionally or alternatively include components in addition to those shown.
  • Peripheral device 140 can be configured to allow vehicle 100 to interact with external sensors, other vehicles, and/or users.
  • peripheral device 140 can include, for example, wireless communication system 144, touch screen 143, microphone 142, and/or speaker 141.
  • Peripheral device 140 may additionally or alternatively include components in addition to those shown.
  • the power source 101 can be configured to provide power to some or all of the components of the vehicle 100.
  • the power source 110 can include, for example, a rechargeable lithium ion or lead acid battery.
  • one or more battery packs can be configured to provide power.
  • Other power materials and configurations are also possible.
  • power source 110 and energy source 113 can be implemented together, as in some all-electric vehicles.
  • Processor 102 included in computing device 103 may include one or more general purpose processors and/or one or more special purpose processors (eg, image processors, digital signal processors, etc.). Insofar as processor 102 includes more than one processor, such processors can operate individually or in combination. Computing device 103 may implement the function of controlling vehicle 100 based on input received through user interface 107.
  • Transceiver 103 is used for communication between computing device 103 and various systems.
  • the memory 104 can include one or more volatile storage components and/or one or more non-volatile storage components, such as optical, magnetic, and/or organic storage devices, and the memory 104 can be fully or partially coupled to the processor 102. integrated.
  • Memory 104 can include instructions 106 (e.g., program logic) executable by processor 102 to perform various vehicle functions, including any of the functions or methods described herein.
  • the components of the vehicle 100 can be configured to operate in a manner interconnected with other components internal and/or external to their respective systems. To this end, the components and systems of the vehicle 100 can be communicatively linked together via a system bus, network, and/or other connection mechanism.
  • FIG. 2 is a schematic flow diagram of a method 200 of external parameter calibration of an onboard sensor in accordance with an embodiment of the present application. As shown in FIG. 2, the method 200 includes the following.
  • the device acquires first feature point information collected by the first onboard sensor.
  • the first onboard sensor comprises any one of the following onboard sensors: a lidar onboard sensor, a camera onboard sensor, and a millimeter wave radar onboard sensor.
  • the acquiring the first feature point information collected by the first onboard sensor includes:
  • the first onboard sensor is a millimeter wave radar onboard sensor
  • the first feature point information acquired by the first onboard sensor is obtained, including:
  • Obtaining the first feature point information includes a plurality of first feature points and a fixed interval d 1 of the first feature points adjacent to the plurality of first feature points.
  • the first onboard sensor is a camera onboard sensor
  • the acquiring the first feature point information collected by the first onboard sensor comprises: acquiring pixel coordinates of the plurality of first feature points of the third marker and the third flag An image size of the object, wherein the plurality of first feature points are geometric centers of the image of the third marker.
  • the first marker, the second marker and the third marker are urban construction features commonly found in urban roads, such as landmark buildings existing in urban construction, traffic lights, long-term fixed billboards. Wait.
  • the geographic location of the vehicle body in the world coordinate system is determined based on the POS sensor.
  • the geographic location of the vehicle body in the world coordinate system is determined based on the POS sensor (ie, the dominant group, consisting of GPS and inertial navigation devices).
  • the POS sensor ie, the dominant group, consisting of GPS and inertial navigation devices.
  • the first onboard sensor is located on the vehicle body.
  • GIS Geographical Information System
  • a list of available feature points in the location collection range of the first sensor in the current map database is searched for.
  • a plurality of first feature points and a plurality of second feature points are determined according to the first feature point information and the second feature point information.
  • determining the plurality of first feature points and the plurality of second feature points according to the first feature point information and the second feature point information including:
  • the contour size of the first marker corresponding to any one of the plurality of feature points in the first feature point information Determining that any one of the plurality of feature points in the first feature point information is the first feature point and the second feature point when a difference in a contour size of the first marker is less than a third threshold Any one of the plurality of feature points in the information is the second feature point.
  • the first feature point information acquired by the device is matched with the second feature point information selected in the map database, corresponding to the length, width, and height of the first marker. match.
  • Table 1 is a list of information of a series of buildings outputted by the device in the map database according to the geographic location of the current laser radar on-board sensor in the world coordinate system.
  • Matching the information of the first feature point acquired by the acquired lidar sensor with the feature point in the table 1 , and the first flag corresponding to any one of the plurality of feature points in the first feature point information Determining the first feature point information when the difference between the contour size of the object and the contour size of the first marker corresponding to any one of the plurality of feature points of the second feature point information is less than a third threshold
  • the feature point of any one of the plurality of feature points is that the feature point of the first feature point and the second feature point information is the second feature point.
  • determining the plurality of first feature points and the plurality of second feature points according to the first feature point information and the second feature point information including:
  • the difference between the fixed interval d 1 of the adjacent ones of the plurality of feature points in the first feature point information and the fixed interval d of the feature points adjacent to the plurality of feature points in the map database is smaller than And determining, by the fourth threshold, a fixed interval d 1 of the feature points adjacent to the plurality of feature points in the first feature point information is adjacent to the first feature point and the plurality of feature points in the map database
  • the fixed interval d of the feature point is the second feature point.
  • determining the plurality of first feature points and the plurality of second feature points according to the first feature point information and the second feature point information including:
  • the pixel coordinates of a feature point are that the coordinates of the plurality of first feature points and the third marker in the map database are the plurality of second feature points.
  • determining the plurality of first feature points and the plurality of second feature points according to the first feature point information and the second feature point information including:
  • the original image is extracted into three red, green and blue channels to extract red, yellow and green features;
  • the extracted circular area is screened according to the aspect ratio and the maximum and minimum conditions of the traffic light;
  • the pixel coordinates corresponding to the channel having the unique circle of the three channels are the coordinates of the third feature corresponding to the first feature point and the third marker corresponding to the channel having the unique circle in the map database.
  • a mapping parameter of the first onboard sensor to the vehicle body is determined according to coordinates of the plurality of first feature points and the plurality of second feature points in the vehicle body coordinate system.
  • the sensor external parameter is the relationship between the relative position of the sensor and the vehicle body.
  • Pw as the car body coordinate system
  • Pc is the sensor's own coordinate system
  • the relationship between the world coordinate system Pw and the sensor's own coordinate system Pc is as shown in equation (1):
  • R is the rotation matrix
  • T is the translation vector
  • R and T are the sensor external parameters.
  • the translation vector T is the deviation along three coordinate axes, which can be regarded as the amount of rigid translation between the two coordinate systems;
  • the rotation matrix R is an orthogonal matrix of 3*3, if the rotation angle parameters are: with Then the rotation matrix obtained by three rotations around the coordinate axis is obtained:
  • mapping parameters of the first onboard sensor to the vehicle body that is, according to the plurality of first feature points and The coordinates of the plurality of second feature points in the vehicle body coordinate system determine the translation vector T and the rotation matrix R.
  • mapping parameters of the first onboard sensor to the vehicle body according to the coordinates of the plurality of first feature points and the plurality of second feature points in the vehicle body coordinate system including: determining the plurality of The first feature point passes the accuracy check; determining the first onboard sensor to the vehicle body according to the plurality of first feature points passed the accuracy check and the coordinates of the plurality of second feature points in the vehicle body coordinate system Mapping parameters.
  • determining the plurality of first feature points to pass the accuracy check including:
  • Determining the accuracy of the first feature point if the determined difference between the coordinates of the first feature point in the map database and the second feature point matching the first feature point in the map database is less than a first threshold check.
  • the first threshold is 3 times the average empirical error ⁇ 0 , when the determined second feature point of the first feature point in the map database matches the first feature point on the map When the difference of the coordinates in the database is less than the first threshold, determining that the first feature point passes the accuracy check; when the coordinate of the first feature point in the map database matches the second feature point of the first feature point, When the difference of the coordinates in the map database is greater than the first threshold, the first feature point is a mismatched point or a gross difference point, and is rejected.
  • the error ⁇ 0 in this average experience is based on the accuracy of the sensor and a large number of sample tests.
  • the average threshold ⁇ 0 of the first threshold is 3 times, which is an experimental value.
  • the first threshold may be re-determined, which is not limited in the embodiment of the present application.
  • FIG. 3 is a schematic flowchart of determining the passability check of the plurality of first feature points when the first onboard sensor is the lidar onboard sensor or the millimeter wave radar onboard sensor.
  • the first feature point accuracy check process begins.
  • the acquired i-th first feature point coordinate of the lidar sensor is substituted into the initial mapping parameter f LiDAR 0 .
  • a second feature point coordinate corresponding to the i-th first feature point in the map database is calculated.
  • the calculated second feature point coordinates of the i first feature points in the map database are subtracted from the second feature point coordinates stored in the map database to obtain a residual ⁇ i .
  • determining that the plurality of first feature points pass the accuracy check includes:
  • the second threshold is 3 times the average empirical error ⁇ 0 , when the coordinates of the first feature point in the map database and the second feature point matching the first feature point are in the map database.
  • the difference of the coordinates is less than the second threshold, determining that the first feature point passes the accuracy check; when the coordinate of the first feature point in the map database matches the second feature point of the first feature point in the map database.
  • the difference of the coordinates is greater than the second threshold, the first feature point is a mismatched point or a rough point, and is rejected.
  • the error ⁇ 0 in this average experience is based on the accuracy of the sensor and a large number of sample tests.
  • the second threshold value is 3 times the average experience error ⁇ 0 is an experimental value. In a different scenario, the second threshold value may be re-determined, which is not limited in the embodiment of the present application.
  • FIG. 4 is a schematic flowchart of determining the passability check of the plurality of first feature points when the first onboard sensor is a camera onboard sensor.
  • the first feature point accuracy check process begins.
  • the i-th second feature point coordinate in the matched map database is substituted into f cam 0 .
  • a first feature point coordinate corresponding to the i-th second feature point in the pixel coordinate system is calculated.
  • the calculated first feature point coordinates of the i second feature points in the pixel coordinate system are subtracted from the actually detected first feature point coordinates to obtain a residual ⁇ i .
  • the accuracy check on the first feature point by performing the accuracy check on the first feature point, the error of the first feature point or the matching process may be avoided, and the gross error observation value is automatically eliminated, according to the first feature point passed the accuracy check.
  • the mapping parameters of the vehicle sensor to the vehicle body are calibrated, and the reliability and accuracy of the mapping parameters of the vehicle sensor to the vehicle body are improved.
  • mapping parameter of the first onboard sensor determining, according to the determined mapping parameter of the first onboard sensor to the vehicle body, a mapping parameter of the vehicle body to the first onboard sensor
  • mapping parameters of the second onboard sensor to the first onboard sensor are determined according to the map database.
  • mapping parameter of the first in-vehicle sensor to the vehicle body is reversed to obtain a mapping parameter of the vehicle body to the first in-vehicle sensor.
  • f LiDAR represents the mapping parameters of the lidar sensor to the vehicle body. Inverting f LiDAR yields f LiDAR -1 , and f LiDAR -1 represents the mapping parameters of the vehicle body to the lidar sensor.
  • mapping parameter of the second onboard sensor to the vehicle body and the mapping parameter of the vehicle body to the first onboard sensor to obtain a mapping parameter of the second onboard sensor to the first onboard sensor.
  • the definition f cam represents a mapping parameter of the camera sensor to the vehicle body. Inverting the f cam yields f cam -1 , and f cam -1 represents the mapping parameters of the vehicle body to the camera sensor. Then, the mapping parameter between the lidar sensor and the camera sensor is f LiDAR ⁇ f cam -1 .
  • any on-board sensor can be realized to another The mapping relationship of the coordinates of an on-board sensor realizes mutual calibration between on-board sensors.
  • the device determines the second feature point in the first sensor collection range in the map database according to the first feature point information collected by the first onboard sensor and the geographic location of the vehicle body in the world coordinate system. Determining the plurality of first feature points and the plurality of second feature points; determining the first onboard sensor according to coordinates of the plurality of first feature points and the plurality of second feature points in the vehicle body coordinate system.
  • the mapping parameters to the body It can realize the automatic calibration of the on-board sensor of the self-driving car. It does not need to rely on a fixed inspection site or laboratory to calibrate the on-board sensor, which can improve the user experience.
  • the calibration method of the external sensor of the vehicle sensor in the embodiment of the present application can be applied to other sensor carrier platforms such as an unmanned ship or a drone.
  • the calibration method of the external sensor of the on-vehicle sensor in the embodiment of the present application can be applied to other types of sensors, which is not limited in the embodiment of the present application.
  • FIG. 5 is a schematic flow diagram of a method 500 of collecting data by a radar laser sensor in accordance with an embodiment of the present application. As shown in FIG. 5, the method 500 includes the following.
  • a radar laser sensor acquires an outline of the first marker
  • the plurality of feature points are a plurality of corner points of the first marker.
  • the acquiring the contour of the first marker comprises:
  • the contour of the first marker is extracted according to a point cloud filtering denoising and a region neighboring point normal vector solving algorithm.
  • the lidar sensor needs to observe the features of the building or other regular planar features.
  • the point cloud filtering denoising and the area neighboring point normal vector solving algorithm are used to remove the uncorrelated point cloud noise and extract it.
  • the outline of the building consisting of a basic plane or a curved surface, and then the corner coordinates are obtained according to the size of the outline.
  • a building can be selected as a source of point cloud feature point extraction.
  • the two adjacent wall planes are obtained, and the normal vectors of the two planes are obtained simultaneously.
  • L length
  • W width
  • H height
  • A plane angle
  • each building can have two feature points, which are defined as feature point 1 and feature point 2 in turn.
  • FIG. 6 is a schematic flow chart of a method 600 of acquiring data by a millimeter wave radar sensor according to an embodiment of the present application. As shown in FIG. 6, the method 600 includes the following.
  • coordinates of a plurality of first markers are acquired, wherein intervals of the plurality of first markers in a linear direction are fixed;
  • a fixed interval d 1 of the adjacent first feature points in the plurality of first markers is determined.
  • the external reference calibration of the millimeter wave radar sensor can select a section of the roadside with only street lamps or other fixed spacing features, with no or few other obstacles, and the spacing of the objects to be extracted is fixed.
  • the millimeter-wave radar will collect the two-dimensional coordinates of a series of obstacles (including the feature points to be extracted and other interference obstacles). Because the interval of the feature points is fixed, in the coordinates of the millimeter wave acquisition. , screen out the obstacle coordinates (at least 3 points) with an average fixed interval of d 1 and on a straight line.
  • FIG. 7 is a schematic flowchart of a method 700 for collecting data by a camera sensor according to an embodiment of the present application. As shown in FIG. 7, the method 700 includes the following.
  • determining, according to the image of the first marker, the first feature point information collected by the camera sensor including:
  • FIG. 8 is a schematic block diagram of an apparatus 800 for external parameter calibration of an in-vehicle sensor in accordance with an embodiment of the present application. As shown in FIG. 8, the device 800 includes:
  • the obtaining module 810 is configured to acquire first feature point information collected by the first onboard sensor
  • a determining module 820 configured to determine a geographic location of the first onboard sensor in a world coordinate system
  • the determining module 820 is further configured to determine second feature point information in the first sensor acquisition range in the map database according to the geographic location of the first onboard sensor in the world coordinate system, wherein the map database is based on world coordinates Established;
  • the determining module 820 is further configured to determine, according to the first feature point information and the second feature point information, a plurality of first feature points and a plurality of second feature points;
  • the determining module 820 is further configured to determine mapping parameters of the first onboard sensor to the world coordinate system according to the plurality of first feature points and the plurality of second feature points.
  • the obtaining module 810 and the determining module 820 are used to perform various operations of the method 200 for external parameter calibration of the in-vehicle sensor of the embodiment of the present application.
  • the obtaining module 810 and the determining module 820 are used to perform various operations of the method 200 for external parameter calibration of the in-vehicle sensor of the embodiment of the present application.
  • the obtaining module 810 and the determining module 820 are used to perform various operations of the method 200 for external parameter calibration of the in-vehicle sensor of the embodiment of the present application.
  • FIG. 9 is a schematic block diagram of a radar laser sensor 900 in accordance with an embodiment of the present application. As shown in FIG. 9, the radar laser sensor 900 includes:
  • the obtaining module 910 is configured to acquire an outline of the first marker
  • a determining module 920 configured to determine first feature point information of the first marker according to the contour, where the first feature point information includes a plurality of feature points and a contour size of the first marker corresponding to the plurality of feature points,
  • the plurality of feature points are a plurality of corner points of the first marker.
  • the obtaining module 910 and the determining module 920 are used to perform various operations of the method 500 for external parameter calibration of the in-vehicle sensor of the embodiment of the present application.
  • the obtaining module 910 and the determining module 920 are used to perform various operations of the method 500 for external parameter calibration of the in-vehicle sensor of the embodiment of the present application.
  • the obtaining module 910 and the determining module 920 are used to perform various operations of the method 500 for external parameter calibration of the in-vehicle sensor of the embodiment of the present application.
  • FIG. 10 is a schematic block diagram of a millimeter wave radar sensor 1000 in accordance with an embodiment of the present application. As shown in FIG. 10, the millimeter wave radar sensor 1000 includes:
  • the acquiring module 1010 is configured to acquire coordinates of the plurality of first markers, wherein the intervals of the plurality of first markers in the linear direction are fixed;
  • the determining module 1020 is configured to determine a fixed interval d 1 of the adjacent first feature points in the plurality of first markers.
  • FIG. 11 is a schematic block diagram of a camera sensor 1100 in accordance with an embodiment of the present application. As shown in FIG. 11, the radar laser sensor 1100 includes:
  • An obtaining module 1110 configured to acquire an image of the first marker
  • a determining module 1120 configured to determine, according to the image of the first marker, first feature point information collected by the camera sensor, where the first feature point information includes pixel coordinates of the plurality of first feature points and the third marker An image size, wherein the plurality of feature points are geometric centers of the image of the third marker.
  • the obtaining module 1110 and the determining module 1120 are used to perform various operations of the method 700 for external parameter calibration of the in-vehicle sensor of the embodiment of the present application.
  • the obtaining module 1110 and the determining module 1120 are used to perform various operations of the method 700 for external parameter calibration of the in-vehicle sensor of the embodiment of the present application.
  • the obtaining module 1110 and the determining module 1120 are used to perform various operations of the method 700 for external parameter calibration of the in-vehicle sensor of the embodiment of the present application.
  • FIG. 12 is a schematic block diagram of a device 1200 provided by an embodiment of the present application, where the device 1200 includes:
  • a memory 1210 configured to store a program, where the program includes a code
  • the processor 1220 is configured to execute program code in the memory 1210.
  • the transceiver 1230 is configured to communicate with other devices.
  • the apparatus 1200 can be the computing device 103 in a functional block diagram of an example vehicle 100 shown in FIG.
  • the processor 1220 may implement various operations of the method 200 or the method 500 or the method 600 or the method 700.
  • the processor 1220 may implement various operations of the method 200 or the method 500 or the method 600 or the method 700.
  • the processor 1220 may implement various operations of the method 200 or the method 500 or the method 600 or the method 700.
  • the disclosed system, apparatus, and method may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the functions may be stored in a computer readable storage medium if implemented in the form of a software functional unit and sold or used as a standalone product.
  • the technical solution of the present application which is essential or contributes to the prior art, or a part of the technical solution, may be embodied in the form of a software product, which is stored in a storage medium, including
  • the instructions are used to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present application.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like, which can store program codes. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明实施例提供一种车载传感器外参标定的方法和设备，可以实现自动驾驶汽车的车载传感器的自动标定，不依赖固定的检校场或实验室对车载传感器进行标定。该方法包括：获取第一车载传感器采集的第一特征点信息；确定该第一车载传感器所在的车体在世界坐标系中的地理位置；根据车体在世界坐标系中的地理位置，确定地图数据库中该第一传感器采集范围内的第二特征点信息；根据该第一特征点信息与该第二特征点信息，确定多个第一特征点和多个第二特征点；根据该车体在世界坐标系中的地理位置，确定该多个第二特征点在该车体坐标系下的坐标；根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定该第一车载传感器到车体的映射参数。

Description

车载传感器的外部参数标定的方法和设备
本申请要求于2017年07月06日提交中国专利局、申请号为201710547094.8、申请名称为“车载传感器的外部参数标定的方法和设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及汽车领域，并且更具体地，涉及一种车载传感器的外部参数标定的方法和设备。
背景技术
汽车自动驾驶的可靠性基于多种车载传感器融合感知的结果，而多种传感器融合感知的前提为空间一致性。传感器外部参数反映了传感器在空间的上的相对位置和姿态关系。目前自动驾驶汽车上传感器之间的外参标定，都是通过在某一固定区域的检校场内或者室内实验室，观测一些人工预先设定好的标志物来实现的。自动驾驶汽车在出厂使用一段时间后，因为长时间高频振动、碰撞剐蹭等外界因素的影响，导致传感器之间空间位置相对关系发生偏移，这时需返厂重新标定。随着自动驾驶汽车市场的逐步推广，逐渐增长的用户量不可避免地将带来越来越多的返厂重标定的需求。大量的返厂重标定会带来大量的运输成本、时间成本，也同时对用户体验造成极大的负面影响。
因此，在自动驾驶汽车使用过程中，能够同时基于传感器的感知数据，自动完成传感器的标定是一项亟待解决的问题。
发明内容
本申请实施例提供一种车载传感器外部参数标定的方法和设备，可以实现自动驾驶汽车的车载传感器的自动标定，不需依赖于固定的检校场所或实验室对车载传感器进行标定，可以提高用户体验。
第一方面，提供了一种车载传感器的外部参数标定的方法，包括：获取第一车载传感器采集的第一特征点信息；根据定位定姿系统POS传感器采集的位置信息，确定车体在世界坐标系中的地理位置；根据该车体在世界坐标系中的地理位置，确定地图数据库中的该第一传感器采集范围内的第二特征点信息，其中，该地图数据库基于世界坐标系建立；根据该第一特征点信息与该第二特征点信息，确定多个第一特征点和多个第二特征点；根据该车体在该世界坐标系中的地理位置和该多个第二特征点在该世界坐标系中的地理位置，确定该多个第二特征点在该车体坐标系下的坐标；根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定该第一车载传感器到该车体的映射参数。
设备获取第一车载传感器采集的第一特征点信息；根据定位定姿系统POS传感器确定所述第一车载传感器所在的车体在世界坐标系中的地理位置；根据所述车体在世界坐标 系中的地理位置，确定地图数据库中的所述第一传感器采集范围内的第二特征点信息，其中，所述地图数据库是基于世界坐标系建立的；根据所述第一特征点信息与所述第二特征点信息，确定多个第一特征点和多个第二特征点；根据所述车体在所述世界坐标系中的地理位置和所述多个第二特征点在所述世界坐标系中的地理位置，确定所述多个第二特征点在所述车体坐标系下的坐标；根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标，确定所述第一车载传感器到所述车体的映射参数。
因此，设备根据第一车载传感器采集的第一特征点信息和根据该车体在世界坐标系中的地理位置，确定地图数据库中的该第一传感器采集范围内的第二特征点信息，确定多个第一特征点和多个第二特征点；根据该多个第一特征点和该多个第二特征点在所述车体坐标系下的坐标，确定该第一车载传感器到该车体的映射参数，完成了该第一车载传感器的外部参数的标定。可以实现自动驾驶汽车的车载传感器的自动标定，不需依赖于固定的检校场所或实验室对车载传感器进行标定，可以提高用户体验。
可选地，在第一方面的一种实现方式中，该方法还包括：根据确定的该第一车载传感器到该车体的映射参数，确定该车体到该第一车载传感器的映射参数；
根据第二车载传感器到该车体的映射参数和该车体到该第一车载传感器的映射参数，确定该第二车载传感器到该第一车载传感器的映射参数。
可选地，在第一方面的一种实现方式中，根据确定的该第一车载传感器到该车体的映射参数，确定该车体到该第一车载传感器的映射参数，包括：
对该第一车载传感器到该车体的映射参数求逆，得到该车体到该第一车载传感器的映射参数；
根据第二车载传感器到该车体的映射参数和该车体到该第一车载传感器的映射参数，确定该第二车载传感器到该第一车载传感器的映射参数，包括：
将该第二车载传感器到该车体的映射参数与该车体到该第一车载传感器的映射参数相乘，得到该第二车载传感器到该第一车载传感器的映射参数。
此时，在得到第一车载传感器到车体的映射参数和第二车载传感器到车体的映射参数，就可以实现任何一个车载传感器到另一个车载传感器的坐标的映射关系，实现了车载传感器之间的互标定。
可选地，在第一方面的一种实现方式中，根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定该第一车载传感器到该车体的映射参数，包括：确定该多个第一特征点通过精度校验；根据通过精度校验的该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定该第一车载传感器到该车体的映射参数。
此时，通过对第一特征点进行精度校验避免了在获取第一特征点或者在匹配过程中可能出现的错误，而进行自动剔除粗差观测值，根据通过精度校验的第一特征点标定车载传感器到世界坐标系的映射参数，提高了车载传感器到世界坐标系的映射参数的可靠性与准确性。
可选地，在第一方面的一种实现方式中，其特征在于，该第一车载传感器包括以下车载传感器中的任意一种：
激光雷达车载传感器、相机车载传感器和毫米波雷达车载传感器。
可选地，在第一方面的一种实现方式中，当该第一车载传感器为该激光雷达车载传 感器或该毫米波雷达车载传感器时，该确定该多个第一特征点通过精度校验，包括：
根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定该第一车载传感器到该车体的初始映射参数；
根据该第一特征点的坐标和该初始映射参数，确定该第一特征点在该车体坐标系下的坐标；
根据该第一特征点在该车体坐标系下的坐标和该POS传感器，确定该第一特征点在该地图数据库中坐标；
如果确定的该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差小于第一阈值时，确定该第一特征点通过精度校验。
可选地，在第一方面的一种实现方式中，当该第一车载传感器为该相机车载传感器时，该确定该多个第一特征点通过精度校验，包括：
根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标，确定所述第一车载传感器到所述车体的初始映射参数；
根据匹配的所述多个第二特征点在所述车体坐标系下的坐标和所述初始确定映射关系，确定所述多个第二特征点对应的所述多个第一特征点的像素坐标；
如果确定的该多个第一特征点的像素坐标与获取的该多个第一特征点的像素坐标的差小于第二阈值时，确定该第一特征点通过精度校验。
可选地，在第一方面的一种实现方式中，该第一车载传感器为激光雷达车载传感器时，该获取第一车载传感器采集的第一特征点信息，包括：
获取多个第一特征点和该多个第一特征点对应的第一标志物的轮廓尺寸，
其中，该多个第一特征点为该第一标志物的多个角点坐标；
根据该第一特征点信息与该第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
当该第一特征点信息中的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸与该第二特征点信息的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸的差值小于第三阈值时，确定该第一特征点信息中的该多个特征点中的任一个特征点为该第一特征点和该第二特征点信息中的该多个特征点中的任一个特征点为该第二特征点。
可选地，在第一方面的一种实现方式中，该第一车载传感器为毫米波雷达车载传感器，该获取第一车载传感器采集的第一特征点信息，包括：
获取该第一特征点信息包括多个第一特征点和该多个第一特征点中相邻的该第一特征点的固定间隔d 1；
根据该第一特征点信息与该第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
该第一特征点信息中的多个特征点中相邻的该特征点的固定间隔d 1与该地图数据库中的该多个特征点中相邻的该特征点的固定间隔d的差值小于第四阈值时，确定该第一特征点信息中的多个特征点中相邻的该特征点的固定间隔d 1为该第一特征点和该地图数据库中的该多个特征点中相邻的该特征点的固定间隔d为该第二特征点。
可选地，在第一方面的一种实现方式中，该第一车载传感器为相机车载传感器，该 获取第一车载传感器采集的第一特征点信息，包括：
获取第三标志物的多个第一特征点的像素坐标和该第三标志物的图像尺寸，其中，该多个第一特征点为该第三标志物的图像的几何中心；
根据该第一特征点信息与该第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
根据该第一车载传感器所处的地理位置与该地图数据库中的该第三标志物的坐标，确定该第一车载传感器与该第三标志物的距离；
根据该第一车载传感器与该第三标志物的距离，确定该第三标志物在该相机传感器获取的图像上的理论尺寸；
当所述图像上的所述第三标志物的理论尺寸与所述图像上的所述第三标志物的实际尺寸的差值小于第五阈值时，确定所述第三标志物的多个第一特征点的像素坐标为所述多个第一特征点和所述第三标志物在所述地图数据库中对应的坐标为所述多个第二特征点。
第二方面，提供了一种激光雷达传感器采集数据的方法，包括：获取第一标志物的轮廓；根据该轮廓，确定该第一标志物的第一特征点信息，该第一特征点信息包括多个特征点和该多个特征点对应的第一标志物的轮廓尺寸，其中，该多个特征点为该第一标志物的多个角点。
可选地，在第二方面的一种实现方式中，该获取第一标志物的轮廓，包括：
根据点云滤波去噪和区域临近点法向量求解算法，提取该第一标志物的轮廓。
第三方面，提供了一种毫米波雷达传感器采集数据的方法，包括：获取多个第一标志物的坐标，其中，该多个第一标志物在线性方向上的间隔固定；确定该多个第一标志物中相邻的该第一特征点的固定间隔d 1。
第四方面，提供了一种相机传感器采集数据的方法，包括：获取第一标志物的图像；根据该第一标志物的图像，确定该相机传感器采集的第一特征点信息，该第一特征点信息包括该多个第一特征点的像素坐标和该第三标志物的图像尺寸，其中，该多个特征点为该第三标志物的图像的几何中心。
可选地，在第四方面的一种实现方式中，当该第一标志物为红绿灯时，该根据该第一标志物的图像，确定该相机传感器采集的第一特征点信息，包括：经过红绿蓝三通道分别提取图像上的所有红色、黄色和绿色的特征区域；提取该红绿蓝三通道图像的边缘点；根据该红绿蓝三通道图像的边缘点，确定该红绿蓝三通道图像的几何中心点；获取该红绿蓝三通道图像的几何中心点的像素坐标。
第五方面，提供了一种控制设备设备，包括获取模块和确定模块，可以执行第一方面或第一方面的任一可选的实现方式中的方法。
第六方面，提供了一种激光雷达传感器，包括获取模块和确定模块，可以执行第二方面或第二方面的任一可选的实现方式中的方法。
第七方面，提供了一种毫米波雷达传感器，包括获取模块和确定模块，可以执行第三方面或第三方面的任一可选的实现方式中的方法。
第八方面，提供了一种相机传感器，包括获取模块和确定模块，可以执行第四方面或第四方面的任一可选的实现方式中的方法。
第九方面，提供了一种车辆，包括控制设备、雷达激光传感器、毫米波雷达传感器 和相机传感器。
第十方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可以用于指示执行上述第一或第一方面的任意可选的实现方式、第二或第二方面的任意可选的实现方式、第三或第三方面的任意可选的实现方式、第四或第四方面的任意可选的实现方式的程序代码，当所述代码被执行时，所述处理器可以实现方法中终端设备执行各个操作。
第十一方面，提供了一种计算机存储介质，所述计算机存储介质中存储有程序代码，所述程序代码可以用于指示执行上述第二方面或第二方面的任意可选的实现方式、第二或第二方面的任意可选的实现方式、第三或第三方面的任意可选的实现方式、第四或第四方面的任意可选的实现方式中的方法。
附图说明
图1是本申请实施例提供的一种示例车辆100的一种功能框图。
图2是根据本申请实施例的一种车载传感器的外部参数标定的方法200的示意性流程图。
图3是根据本申请实施例的当第一车载传感器为激光雷达车载传感器或毫米波雷达车载传感器时，确定多个第一特征点通过精度校验的示意性流程图。
图4是根据本申请实施例的第一车载传感器为相机车载传感器时，确定多个第一特征点通过精度校验的示意性流程图。
图5是根据本申请实施例的一种雷达激光传感器采集数据的方法500的示意性流程图
图6是根据本申请实施例的一种毫米波雷达传感器采集数据的方法600的示意性流程图。
图7是根据本申请实施例的一种相机传感器采集数据的方法700的示意性流程图。
图8是根据本申请实施例的一种车载传感器的外部参数标定的设备800的示意性框图。
图9是根据本申请实施例的雷达激光传感器900的示意性框图。
图10是根据本申请实施例的毫米波雷达传感器1000的示意性框图。
图11是根据本申请实施例的相机传感器1100的示意性框图。
图12是根据本申请实施例的电子设备1200的示意性框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
图1是本申请实施例提供的一种示例车辆100的一种功能框图。耦合到车辆100或包括在车辆100中的组件可包括推进系统110、传感器系统120、控制系统130、外围设备140、电源101、计算装置107以及用户接口108。计算装置103可包括处理器102、收发器103和存储器104。计算装置103可以是车辆100的控制器或控制器的一部分。存储器104可包括处理器102可运行的指令106，并且还可存储地图数据105。车辆100的组件可被配置为以与彼此互连和/或与耦合到各系统的其它组件互连的方式工作。例如，电源101可向车辆100的所有组件提供电力。计算装置103可被配置为从推进系统110、传 感器系统120、控制系统130和外围设备140接收数据并对它们进行控制。计算装置103可被配置为在用户接口108上生成图像的显示并从用户接口108接收输入。
在其它示例中，车辆100可包括更多、更少或不同的系统，并且每个系统可包括更多、更少或不同的组件。此外，示出的系统和组件可以按任意种的方式进行组合或划分。
推进系统102可用于车辆100提供动力运动。如图所示，推进系统102包括引擎/发动机114、能量源113、传动装置(transmission)112和车轮/轮胎111。
推进系统102可以额外地或可替换地包括除了所示出的那些以外的组件。
传感器系统104可包括用于感测关于车辆100所位于的环境的信息的若干个传感器。如图所示，传感器系统的传感器包括全球定位系统GPS126、惯性测量单元(Inertial Measurement Unit，IMU)125、激光雷达传感器124、相机传感器123、毫米波雷达传感器122以及用于为修改传感器的位置和/或朝向的致动器121。传感器系统120也可包括额外的传感器，包括例如监视车辆100的内部系统的传感器(例如，O2监视器、燃油量表、机油温度，等等)。传感器系统120也可以包括其它传感器。
GPS模块126可以为用于估计车辆100的地理位置的任何传感器。为此，GPS模块126可能包括收发器，基于卫星定位数据，估计车辆100相对于地球的位置。在示例中，计算装置103可用于结合地图数据105使用GPS模块126来估计车辆100可在其上行驶的道路上的车道边界的位置。GPS模块126也可采取其它形式。
IMU 125可以是用于基于惯性加速度及其任意组合来感测车辆100的位置和朝向变化。在一些示例中，传感器的组合可包括例如加速度计和陀螺仪。传感器的其它组合也是可能的。
激光雷达传感器(LiDAR)124可以被看作物体检测系统，该传感器使用光感测或检测车辆100所位于的环境中的物体。通常，LIDAR是可通过利用光照射目标来测量到目标的距离或目标的其它属性的光学遥感技术。作为示例，LIDAR单元124可包括被配置为发射激光脉冲的激光源和/或激光扫描仪，和用于为接收激光脉冲的反射的检测器。例如，LIDAR单元124可包括由转镜反射的激光测距仪，并且以一维或二维围绕数字化场景扫描激光，从而以指定角度间隔采集距离测量值。在示例中，LIDAR单元124可包括诸如光(例如，激光)源、扫描仪和光学系统、光检测器和接收器电子器件之类的组件，以及位置和导航系统。LIDAR单元124通过扫描一个物体上反射回来的激光确定物体的距离，可以形成精度高达厘米级的3D环境图。
相机传感器123可以用于获取车辆100所位于的环境的图像的任何相机(例如，静态相机、视频相机等)。为此，相机可被配置为检测可见光，或可被配置为检测来自光谱的其它部分(诸如红外光或紫外光)的光。其它类型的相机也是可能的。相机123可以是二维检测器，或可具有三维空间范围。在一些示例中，相机123例如可以是距离检测器，其被配置为生成指示从相机123到环境中的若干点的距离的二维图像。为此，相机123可使用一种或多种距离检测技术。例如，相机123可被配置为使用结构光技术，其中车辆100利用预定光图案，诸如栅格或棋盘格图案，对环境中的物体进行照射，并且使用相机134检测从物体的预定光图案的反射。基于反射的光图案中的畸变，车辆100可被配置为检测到物体上的点的距离。预定光图案可包括红外光或其它波长的光。
毫米波雷达传感器(Millimeter-Wave Radar)122通常指波长为1～10mm的物体检测传 感器，频率大致范围是10GHz～200GHz。毫米波雷达测量值具备深度信息，可以提供目标的距离；其次，由于毫米波雷达有明显的多普勒效应，对速度非常敏感，可以直接获得目标的速度，通过检测其多普勒频移可将目标的速度提取出来。目前主流的两种车载毫米波雷达应用频段分别为24GHz和77GHz，前者波长约为1.25cm，主要用于短距离感知，如车身周围环境、盲点、泊车辅助、变道辅助等；后者波长约为4mm，用于中长距离测量，如自动跟车、自适应巡航(ACC)、紧急制动(AEB)等。
控制系统130可被配置为控制车辆100及其组件的操作。为此，控制系统130可包括转向单元136、油门135、制动单元134、传感器融合算法133、计算机视觉系统132、导航或路线控制(pathing)系统131。
控制系统106可以额外地或可替换地包括除了所示出的那些以外的组件。
外围设备140可被配置为允许车辆100与外部传感器、其它车辆和/或用户交互。为此，外围设备140可包括例如无线通信系统144、触摸屏143、麦克风142和/或扬声器141。
外围设备140可以额外地或可替换地包括除了所示出的那些以外的组件。
电源101可被配置为向车辆100的一些或全部组件提供电力。为此，电源110可包括例如可再充电锂离子或铅酸电池。在一些示例中，一个或多个电池组可被配置为提供电力。其它电源材料和配置也是可能的。在一些示例中，电源110和能量源113可一起实现，如一些全电动车中那样。
包括在计算装置103中的处理器102可包括一个或多个通用处理器和/或一个或多个专用处理器(例如，图像处理器、数字信号处理器等)。就处理器102包括多于一个处理器而言，这种处理器可单独工作或组合工作。计算装置103可实现基于通过用户接口107接收的输入控制车辆100的功能。
收发器103用于该计算装置103与各个系统间的通信。
存储器104进而可包括一个或多个易失性存储组件和/或一个或多个非易失性存储组件，诸如光、磁和/或有机存储装置，并且存储器104可全部或部分与处理器102集成。存储器104可包含可由处理器102运行的指令106(例如，程序逻辑)，以运行各种车辆功能，包括本文中描述的功能或方法中的任何一个。
车辆100的组件可被配置为以与在其各自的系统内部和/或外部的其它组件互连的方式工作。为此，车辆100的组件和系统可通过系统总线、网络和/或其它连接机制通信地链接在一起。
为了更好地理解本申请实施例，以下将结合图2-图12，以与图1所示的系统相同或相似的系统为例对本申请实施例进行说明。
图2是根据本申请实施例的一种车载传感器的外部参数标定的方法200的示意性流程图。如图2所示，该方法200包括以下内容。
在210中，设备获取第一车载传感器采集的第一特征点信息。
可选地，该第一车载传感器包括以下车载传感器中的任意一种：激光雷达车载传感器、相机车载传感器和毫米波雷达车载传感器。
可选地，该第一车载传感器为激光雷达车载传感器时，该获取第一车载传感器采集的第一特征点信息，包括：
获取多个第一特征点和该多个第一特征点对应的第一标志物的轮廓尺寸，其中，该 多个第一特征点为该第一标志物的多个角点坐标。
可选地，该第一车载传感器为毫米波雷达车载传感器，该获取第一车载传感器采集的第一特征点信息，包括：
获取该第一特征点信息包括多个第一特征点和该多个第一特征点中相邻的该第一特征点的固定间隔d 1。
可选地，该第一车载传感器为相机车载传感器，该获取第一车载传感器采集的第一特征点信息，包括：获取第三标志物的多个第一特征点的像素坐标和该第三标志物的图像尺寸，其中，该多个第一特征点为该第三标志物的图像的几何中心。
可选地，该第一标志物、该第二标志物和该第三标志物为城市道路中常见的城建地物，例如城市建设中已有的地标建筑物、交通信号灯、长期固定的广告牌等。
此时，通过获取该传感器采集的已有的该城建地物的第一特征点，无需额外人工制作成本，节约了传感器外参标定的成本。
在220中，根据POS传感器确定该车体在世界坐标系中的地理位置。
可选地，根据POS传感器(即惯组，由GPS和惯导设备构成)确定该车体在世界坐标系中的地理位置。
应理解，该第一车载传感器位于该车体上。
在230中，根据该第一车载传感器在世界坐标系中的地理位置，确定地图数据库中的该第一传感器采集范围内的第二特征点信息，其中，该地图(Geographical Information System，GIS)数据库是基于世界坐标系建立的。
具体而言，根据该第一车载传感器在世界坐标系中的地理位置，在地图GIS数据库中，查找该第一传感器在当前地图数据库中的位置采集范围内的可用的特征点列表。
在240中，根据该第一特征点信息与该第二特征点信息，确定多个第一特征点和多个第二特征点。
可选地，该第一车载传感器为激光雷达车载传感器时，根据该第一特征点信息与该第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
当该第一特征点信息中的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸与该第二特征点信息的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸的差值小于第三阈值时，确定该第一特征点信息中的该多个特征点中的任一个特征点为该第一特征点和该第二特征点信息中的该多个特征点中的任一个特征点为该第二特征点。
具体而言，该设备获取的第一特征点信息如该第一标志物的长、宽、高等，与地图数据库中筛选的第二特征点信息对应该第一标志物的长、宽、高进行匹配。例如表1是该设备根据当前激光雷达车载传感器在世界坐标系中的地理位置，在地图数据库中输出的一系列建筑物的信息列表。
表1建筑物信息数据库
列名 数据类型 说明
Architecture ID Int 建筑物标识
L Double 建筑物沿道路方向的长
W Double 建筑物的宽
H Double 建筑物的高
A1 Double 特征点1处的两面夹角
A2 Double 特征点2处的两面夹角
FeaturePoint1 Struct{ID,X,Y,Z} 特征点1的坐标
FeaturePoint2 Struct{ID,X,Y,Z} 特征点2的坐标
将获取的激光雷达传感器采集的第一特征点的信息与表1中的特征点进行匹配，当该第一特征点信息中的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸与该第二特征点信息的该多个特征点中的任一个特征点对应的该第一标志物的轮廓尺寸的差值小于第三阈值时，确定该第一特征点信息中的该多个特征点中的任一个特征点为该第一特征点和该第二特征点信息中的该多个特征点中的任一个特征点为该第二特征点。
可选地，该第一车载传感器为毫米波雷达车载传感器时，根据该第一特征点信息与该第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
该第一特征点信息中的多个特征点中相邻的该特征点的固定间隔d 1与该地图数据库中的该多个特征点中相邻的该特征点的固定间隔d的差值小于第四阈值时，确定该第一特征点信息中的多个特征点中相邻的该特征点的固定间隔d 1为该第一特征点和该地图数据库中的该多个特征点中相邻的该特征点的固定间隔d为该第二特征点。
可选地，该第一车载传感器为相机传感器时，根据该第一特征点信息与该第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
根据该第一车载传感器所处的地理位置与该地图数据库中的该第三标志物的坐标，确定该第一车载传感器与该第三标志物的距离；
根据该第一车载传感器与该第三标志物的距离，确定该第三标志物在该相机传感器获取的图像上的理论尺寸；
当所述图像上的所述第三标志物的理论尺寸与所述图像上的所述第三标志物的实际尺寸的差值小于第五阈值时，确定所述第三标志物的多个第一特征点的像素坐标为所述多个第一特征点和所述第三标志物在所述地图数据库中对应的坐标为所述多个第二特征点。
可选地，当该第三标志物为红绿灯时，根据该第一特征点信息与该第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
将原始图像经过红绿蓝3个通道分别提取红色、黄色、绿色特征；
在该3个通道下分别提取圆形封闭区域；
根据红绿灯的长宽比和最大最小条件对提取的该圆形区域进行筛选；
确定该3个通道中的有唯一圆的通道对应的像素坐标为该第一特征点和该有唯一圆的通道对应的该第三标志物在地图数据库中的坐标为该第二特征点。
此时，通过将获取到的多个第一特征点和地图数据库中的多个第二特征点进行智能匹配，避免了在自动驾驶汽车的使用过程中人工去选择匹配特征点，降低人工干预带来的误差。
在250中，根据该车体在该世界坐标系中的地理位置和该多个第二特征点在该世界坐标系中的地理位置，确定该多个第二特征点在该车体坐标系下的坐标。
在260中，根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定该第一车载传感器到该车体的映射参数。
传感器外参是传感器与车体之间的相对位置的关系。定义Pw为车体坐标系，Pc为传感器自身坐标系，世界坐标系Pw与传感器自身坐标系Pc之间的关系为式(1)所示：
Pc＝RPw+T           (1)
式中，R为旋转矩阵，T为平移向量，R和T为传感器外参。平移向量T为沿三个坐标轴的偏差量，可看成是两个坐标系之间的刚性平移量；旋转矩阵R为3*3的正交阵，如果旋转角参数分别为：
Figure PCTCN2018093559-appb-000001
和
Figure PCTCN2018093559-appb-000002
则由三个绕坐标轴连乘的旋转阵得到：
Figure PCTCN2018093559-appb-000003
其中：
Figure PCTCN2018093559-appb-000004
根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定该第一车载传感器到该车体的映射参数，即根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定平移向量T和旋转矩阵R。
应理解，根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定该第一车载传感器到该车体的映射参数，即为该第一车载传感器外参的标定。
可选地，根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定该第一车载传感器到该车体的映射参数，包括：确定该多个第一特征点通过精度校验；根据通过精度校验的该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定该第一车载传感器到该车体的映射参数。
可选地，当该第一车载传感器为该激光雷达车载传感器或该毫米波雷达车载传感器时，该确定该多个第一特征点通过精度校验，包括：
根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定该第一车载传感器到该车体的初始映射参数f LiDAR 0；
根据该第一特征点的坐标和该初始映射参数，确定该第一特征点在该车体坐标系下的坐标；
根据该第一特征点在该车体坐标系下的坐标和该POS传感器，确定该第一特征点在该地图数据库中坐标；
如果确定的该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差小于第一阈值时，确定该第一特征点通过精度校验。
可选地，该第一阈值为3倍的平均经验中误差σ 0，当该确定的该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差小于第一阈值时，确定该第一特征点通过精度校验；当该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差大于第一阈值时，该第一特征点为误匹配点或粗差点，予以剔除。
应理解，该平均经验中误差σ 0基于传感器的精度以及大量的样本测试。该第一阈值为3倍的平均经验中误差σ 0是实验值，在不同的场景下，该第一阈值可以重新确定，本申请实施例并不做限定。
具体而言，图3是当该第一车载传感器为该激光雷达车载传感器或该毫米波雷达车载传感器时，该确定该多个第一特征点通过精度校验的示意性流程图。
在301中，第一特征点精度校验流程开始。
在302中，将获取的激光雷达传感器的第i个第一特征点坐标代入初始映射参数f LiDAR 0。
在303中，计算该第i个第一特征点在地图数据库中对应的第二特征点坐标。
在304中，将计算的该i个第一特征点在地图数据库中对应的的第二特征点坐标与地图数据库中存储的该第二特征点坐标相减得到残差σ i。
在305中，确定该残差σ i是否大于3倍的σ 0。
在306中，剔除残差σ i大于3倍的σ 0的第i个第一特征点。
在307中，判断是否多个第一特征点都完成精度校验。
在308中，如果该多个第一特征点都完成精度校验则退出精度校验流程，否则该流程继续。
可选地，当该第一车载传感器为该相机车载传感器时，确定该多个第一特征点通过精度校验，包括：
根据该多个第一特征点和该多个第二特征点在该车体坐标系下的坐标，确定该第一车载传感器到该车体的初始映射参数；
根据匹配的该多个第二特征点在该车体坐标系下的坐标和该初始确定映射关系，确定该多个第二特征点对应的该多个第一特征点的像素坐标；
如果确定的该多个第一特征点的像素坐标与获取的该多个第一特征点的像素坐标的差小于第二阈值时，确定该第一特征点通过精度校验。
可选地，该第二阈值为3倍的平均经验中误差σ 0，当该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差小于第二阈值时，确定该第一特征点通过精度校验；当该第一特征点在该地图数据库中的坐标与该第一特征点匹配的第二特征点在该地图数据库中的坐标的差大于第二阈值时，该第一特征点为误匹配点或粗差点，予以剔除。
应理解，该平均经验中误差σ 0基于传感器的精度以及大量的样本测试。该第二阈值为3倍的平均经验中误差σ 0是实验值，在不同的场景下，该第二阈值可以重新确定，本申请实施例并不做限定。
具体而言，图4是当该第一车载传感器为相机车载传感器时，该确定该多个第一特征点通过精度校验的示意性流程图。
在401中，第一特征点精度校验流程开始。
在402中，将匹配的地图数据库中的第i个第二特征点坐标代入f cam 0。
在403中，计算该第i个第二特征点在像素坐标系中对应的第一特征点坐标。
在404中，将计算的该i个第二特征点在像素坐标系中对应的第一特征点坐标与实际检测到的该第一特征点坐标相减得到残差σ i。
在405中，确定该残差σ i是否大于3倍的σ 0。
在406中，剔除残差σ i大于3倍的σ 0的第i个第一特征点。
在407中，判断是否多个第一特征点都完成精度校验。
在408中，如果该多个第一特征点都完成精度校验则退出精度校验流程，否则该流程继续。
此时，通过对第一特征点进行精度校验避免了在获取第一特征点或者在匹配过程中可能出现的错误，而进行自动剔除粗差观测值，根据通过精度校验的第一特征点标定车载传感器到车体的映射参数，提高了车载传感器到车体的映射参数的可靠性与准确性。
可选地，根据确定的该第一车载传感器到该车体的映射参数，确定该车体到该第一车载传感器的映射参数；
根据第二车载传感器到该车体的映射参数和该车体到该第一车载传感器的映射参数，确定该第二车载传感器到该第一车载传感器的映射参数，该第二车载传感器到该车体的映射参数是根据该地图数据库确定的。
可选地，对该第一车载传感器到该车体的映射参数求逆，得到该车体到该第一车载传感器的映射参数。
具体而言，定义f LiDAR表示激光雷达传感器到车体的映射参数。对f LiDAR求逆运算得到f LiDAR -1，f LiDAR -1表示车体到激光雷达传感器的映射参数。
可选地，将该第二车载传感器到该车体的映射参数与该车体到该第一车载传感器的映射参数相乘，得到该第二车载传感器到该第一车载传感器的映射参数。
具体而言，定义f cam表示相机传感器到车体的映射参数。对f cam求逆运算得到f cam -1，f cam -1表示车体到相机传感器的映射参数。那么，激光雷达传感器与相机传感器之间的映射参数为f LiDAR·f cam -1。
此时，在得到激光雷达传感器到车体的映射参数f LiDAR、相机传感器到车体的映射参数f cam和毫米波雷达传感器到车体的映射参数f Radar，就可以实现任何一个车载传感器到另一个车载传感器的坐标的映射关系，实现了车载传感器之间的互标定。
因此，在本请中设备根据第一车载传感器采集的第一特征点信息和根据该车体在世界坐标系中的地理位置，确定地图数据库中的该第一传感器采集范围内的第二特征点信息，确定多个第一特征点和多个第二特征点；根据该多个第一特征点和该多个第二特征点在所述车体坐标系下的坐标，确定该第一车载传感器到该车体的映射参数。可以实现自动驾驶汽车的车载传感器的自动标定，不需依赖于固定的检校场所或实验室对车载传感器进行标定，可以提高用户体验。
应理解，本申请实施例中一种车载传感器外参的标定方法可以应用到无人驾驶轮船或无人机等其他传感器载体平台。
还应理解，在本申请实施例中的车载传感器外参的标定方法还可以应用于其他类型 的传感器，本申请实施例并不对此进行限定。
图5是根据本申请实施例的一种雷达激光传感器采集数据的方法500的示意性流程图。如图5所示，该方法500包括以下内容。
在510中，雷达激光传感器获取第一标志物的轮廓；
在520中，根据该轮廓，确定该第一标志物的第一特征点信息，该第一特征点信息包括多个特征点和该多个特征点对应的第一标志物的轮廓尺寸，
其中，该多个特征点为该第一标志物的多个角点。
可选地，该获取第一标志物的轮廓，包括：
根据点云滤波去噪和区域临近点法向量求解算法，提取该第一标志物的轮廓。
具体而言，激光雷达传感器需要观测到建筑物或其他规则面状特性的地物，首先通过点云滤波去噪和区域临近点法向量求解算法，将不相关的点云噪声剔除并提取出由基本平面或曲面构成的建筑物轮廓，再根据轮廓的尺寸获取角点坐标。
例如，在城市道路旁，可以选取建筑物作为点云特征点提取的来源。
首先，基于已有的点云去噪和分割算法，得到相邻的两个墙体平面，同时获得两个平面的法向量
Figure PCTCN2018093559-appb-000005
和
Figure PCTCN2018093559-appb-000006
以及建筑物的长(L)、宽(W)、高(H)以及平面夹角(A)；
然后，由长方向和宽方向的两个触地线交点得到提取的特征点。定义建筑物的长为沿道路方向，则每个建筑可以有两个特征点可选，依次定义为特征点1和特征点2。
图6是根据本申请实施例的一种毫米波雷达传感器采集数据的方法600的示意性流程图。如图6所示，该方法600包括以下内容。
在610中，获取多个第一标志物的坐标，其中，该多个第一标志物在线性方向上的间隔固定；
在620中，确定该多个第一标志物中相邻的该第一特征点的固定间隔d 1。
具体而言，毫米波雷达传感器的外参标定可以选择一段路旁只有路灯或其他固定间隔地物的路段，没有或少有其他障碍物干扰，而且待提取的物体的间隔固定已知。在驶入指定路段前，毫米波雷达会采集到一系列障碍物的二维坐标(其中包含待提取的特征点以及其他干扰障碍物)，由于特征点的间隔固定，在毫米波采集的坐标中，筛选出平均固定间隔为d 1，且在一条直线上的障碍物坐标(至少3个点)。
图7是根据本申请实施例的一种相机传感器采集数据的方法700的示意性流程图。如图7所示，该方法700包括以下内容。
在710中，获取第一标志物的图像；
在720中，根据该第一标志物的图像，确定该相机传感器采集的第一特征点信息，该第一特征点信息包括该多个第一特征点的像素坐标和该第三标志物的图像尺寸，其中，该多个特征点为该第三标志物的图像的几何中心。
可选地，当该第一标志物为红绿灯时，该根据该第一标志物的图像，确定该相机传感器采集的第一特征点信息，包括：
经过红绿蓝三通道分别提取图像上的所有红色、黄色和绿色的特征区域；
提取该红绿蓝三通道图像的边缘点；
根据该红绿蓝三通道图像的边缘点，确定该红绿蓝三通道图像的几何中心点；
获取该红绿蓝三通道图像的几何中心点的像素坐标。
图8是根据本申请实施例的一种车载传感器的外部参数标定的设备800的示意性框图。如图8所示，该设备800包括：
获取模块810，用于获取第一车载传感器采集的第一特征点信息；
确定模块820，用于确定该第一车载传感器在世界坐标系中的地理位置；
该确定模块820还用于根据该第一车载传感器在世界坐标系中的地理位置，确定地图数据库中的该第一传感器采集范围内的第二特征点信息，其中，该地图数据库是基于世界坐标系建立的；
该确定模块820还用于根据该第一特征点信息与该第二特征点信息，确定多个第一特征点和多个第二特征点；
该确定模块820还用于根据该多个第一特征点和该多个第二特征点，确定该第一车载传感器到该世界坐标系的映射参数。
可选地，该获取模块810和该确定模块820用于执行本申请实施例的一种车载传感器的外部参数标定的方法200的各个操作，为了简洁，在此不再赘述。
图9是根据本申请实施例的雷达激光传感器900的示意性框图。如图9所示，该雷达激光传感器900包括：
获取模块910，用于获取第一标志物的轮廓；
确定模块920，用于根据该轮廓，确定该第一标志物的第一特征点信息，该第一特征点信息包括多个特征点和该多个特征点对应的第一标志物的轮廓尺寸，
其中，该多个特征点为该第一标志物的多个角点。
可选地，该获取模块910和该确定模块920用于执行本申请实施例的一种车载传感器的外部参数标定的方法500的各个操作，为了简洁，在此不再赘述。
图10是根据本申请实施例的毫米波雷达传感器1000的示意性框图。如图10所示，该毫米波雷达传感器1000包括：
获取模块1010，用于获取多个第一标志物的坐标，其中，该多个第一标志物在线性方向上的间隔固定；
确定模块1020，用于确定该多个第一标志物中相邻的该第一特征点的固定间隔d 1。
图11是根据本申请实施例的相机传感器1100的示意性框图。如图11所示，该雷达激光传感器1100包括：
获取模块1110，用于获取第一标志物的图像；
确定模块1120，用于根据该第一标志物的图像，确定该相机传感器采集的第一特征点信息，该第一特征点信息包括该多个第一特征点的像素坐标和该第三标志物的图像尺寸，其中，该多个特征点为该第三标志物的图像的几何中心。
可选地，该获取模块1110和该确定模块1120用于执行本申请实施例的一种车载传感器的外部参数标定的方法700的各个操作，为了简洁，在此不再赘述。
图12示出了本申请实施例提供的设备1200的示意性框图，所述设备1200包括：
存储器1210，用于存储程序，所述程序包括代码；
处理器1220，用于执行存储器1210中的程序代码；
收发器1230，用于和其他设备进行通信。
应理解，所述设备1200可以是图1所示的一种示例车辆100的一种功能框图中的计 算装置103。
可选地，当所述代码被执行时，所述处理器1220可以实现方法200或方法500或方法600或方法700的各个操作，为了简洁，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (19)

  1. 一种车载传感器的外部参数标定的方法，其特征在于，包括：
    获取第一车载传感器采集的第一特征点信息；
    根据定位定姿系统传感器采集的位置信息，确定车体在世界坐标系中的地理位置；
    根据所述车体在世界坐标系中的地理位置，确定地图数据库中的所述第一传感器采集范围内的第二特征点信息，其中，所述地图数据库基于世界坐标系建立；
    根据所述第一特征点信息与所述第二特征点信息，确定多个第一特征点和多个第二特征点；
    根据所述车体在所述世界坐标系中的地理位置和所述多个第二特征点在所述世界坐标系中的地理位置，确定所述多个第二特征点在所述车体坐标系下的坐标；
    根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标，确定所述第一车载传感器到所述车体的映射参数。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    根据确定的所述第一车载传感器到所述车体的映射参数，确定所述车体到所述第一车载传感器的映射参数；
    根据第二车载传感器到所述车体的映射参数和所述车体到所述第一车载传感器的映射参数，确定所述第二车载传感器到所述第一车载传感器的映射参数。
  3. 根据权利要求2所述的方法，其特征在于，所述根据确定的所述第一车载传感器到所述车体的映射参数，确定所述车体到所述第一车载传感器的映射参数，包括：
    对所述第一车载传感器到所述车体的映射参数求逆，得到所述车体到所述第一车载传感器的映射参数；
    根据第二车载传感器到所述车体的映射参数和所述车体到所述第一车载传感器的映射参数，确定所述第二车载传感器到所述第一车载传感器的映射参数，包括：
    将所述第二车载传感器到所述车体的映射参数与所述车体到所述第一车载传感器的映射参数相乘，得到所述第二车载传感器到所述第一车载传感器的映射参数。
  4. 根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标，确定所述第一车载传感器到所述车体的映射参数，包括：
    确定所述多个第一特征点通过精度校验；
    根据通过精度校验的所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标，确定所述第一车载传感器到所述车体的映射参数。
  5. 根据权利要求1至4中任一项所述的方法，其特征在于，所述第一车载传感器包括所述激光雷达车载传感器或所述毫米波雷达车载传感器；
    所述确定所述多个第一特征点通过精度校验，包括：
    根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标，确定所述第一车载传感器到所述车体的初始映射参数；
    根据所述第一特征点的坐标和所述初始映射参数，确定所述第一特征点在所述车体 坐标系下的坐标；
    根据所述第一特征点在所述车体坐标系下的坐标和所述定位定姿系统传感器，确定所述第一特征点在所述地图数据库中坐标；
    如果确定的所述第一特征点在所述地图数据库中的坐标与所述第一特征点匹配的第二特征点在所述地图数据库中的坐标的差小于第一阈值时，确定所述第一特征点通过精度校验。
  6. 根据权利要求1至4中任一项所述的方法，其特征在于，所述第一车载传感器包括所述相机车载传感器；
    所述确定所述多个第一特征点通过精度校验，包括：
    根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标，确定所述第一车载传感器到所述车体的初始映射参数；
    根据匹配的所述多个第二特征点在所述车体坐标系下的坐标和所述初始确定映射关系，确定所述多个第二特征点对应的所述多个第一特征点的像素坐标；
    如果确定的所述多个第一特征点的像素坐标与获取的所述多个第一特征点的像素坐标的差小于第二阈值时，确定所述第一特征点通过精度校验。
  7. 根据权利要求5所述的方法，其特征在于，所述第一车载传感器为激光雷达车载传感器；
    所述获取第一车载传感器采集的第一特征点信息，包括：
    获取多个第一特征点和所述多个第一特征点对应的第一标志物的轮廓尺寸，
    其中，所述多个第一特征点为所述第一标志物的多个角点坐标；
    根据所述第一特征点信息与所述第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
    当所述第一特征点信息中的所述多个特征点中的任一个特征点对应的所述第一标志物的轮廓尺寸与所述第二特征点信息的所述多个特征点中的任一个特征点对应的所述第一标志物的轮廓尺寸的差值小于第三阈值时，确定所述第一特征点信息中的所述多个特征点中的任一个特征点为所述第一特征点和所述第二特征点信息中的所述多个特征点中的任一个特征点为所述第二特征点。
  8. 根据权利要求5所述的方法，其特征在于，所述第一车载传感器包括毫米波雷达车载传感器；
    所述获取第一车载传感器采集的第一特征点信息，包括：
    获取所述第一特征点信息包括多个第一特征点和所述多个第一特征点中相邻的所述第一特征点的固定间隔d 1；
    根据所述第一特征点信息与所述第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
    所述第一特征点信息中的多个特征点中相邻的所述特征点的固定间隔d 1与所述地图数据库中的所述多个特征点中相邻的所述特征点的固定间隔d的差值小于第四阈值时，确定所述第一特征点信息中的多个特征点中相邻的所述特征点的固定间隔d 1为所述第一特征点和所述地图数据库中的所述多个特征点中相邻的所述特征点的固定间隔d为所述第二特征点。
  9. 根据权利要求7所述的方法，其特征在于，所述第一车载传感器包括相机车载传感器；
    所述获取第一车载传感器采集的第一特征点信息，包括：
    获取第三标志物的多个第一特征点的像素坐标和所述第三标志物的图像尺寸，其中，所述多个第一特征点为所述第三标志物的图像的几何中心；
    根据所述第一特征点信息与所述第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
    根据所述第一车载传感器所处的地理位置与所述地图数据库中的所述第三标志物的坐标，确定所述第一车载传感器与所述第三标志物的距离；
    根据所述第一车载传感器与所述第三标志物的距离，确定所述第三标志物在所述相机传感器获取的图像上的理论尺寸；
    当所述图像上的所述第三标志物的理论尺寸与所述图像上的所述第三标志物的实际尺寸的差值小于第五阈值时，确定所述第三标志物的多个第一特征点的像素坐标为所述多个第一特征点和所述第三标志物在所述地图数据库中对应的坐标为所述多个第二特征点。
  10. 一种车载传感器的外部参数标定的设备，其特征在于，包括：
    获取模块，用于获取第一车载传感器采集的第一特征点信息；
    确定模块，用于根据定位定姿系统传感器采集的位置信息，确定车体在世界坐标系中的地理位置；
    所述确定模块还用于根据所述车体在世界坐标系中的地理位置，确定地图数据库中的所述第一传感器采集范围内的第二特征点信息，其中，所述地图数据库是基于世界坐标系建立的；
    所述确定模块还用于根据所述第一特征点信息与所述第二特征点信息，确定多个第一特征点和多个第二特征点；
    所述确定模块还用于根据所述车体在世界坐标系中的地理位置和所述多个第二特征点在所述世界坐标系中的地理位置，确定所述多个第二特征点在所述车体坐标系下的坐标；
    所述确定模块还用于根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标，确定所述第一车载传感器到所述车体的映射参数。
  11. 根据权利要求10所述的设备，其特征在于，所述确定模块还用于：
    根据确定的所述第一车载传感器到所述车体的映射参数，确定所述车体到所述第一车载传感器的映射参数；
    根据第二车载传感器到所述车体的映射参数和所述车体到所述第一车载传感器的映射参数，确定所述第二车载传感器到所述第一车载传感器的映射参数。
  12. 根据权利要求11所述的设备，其特征在于，所述确定模块具体用于：
    对所述第一车载传感器到所述车体的映射参数求逆，得到所述车体到所述第一车载传感器的映射参数；
    根据第二车载传感器到所述车体的映射参数和所述车体到所述第一车载传感器的映射参数，确定所述第二车载传感器到所述第一车载传感器的映射参数，包括：
    将所述第二车载传感器到所述车体的映射参数与所述车体到所述第一车载传感器的 映射参数相乘，得到所述第二车载传感器到所述第一车载传感器的映射参数。
  13. 根据权利要求10至12中任一项所述的设备，其特征在于，所述确定模块具体用于：
    确定所述多个第一特征点通过精度校验；
    根据通过精度校验的所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标，确定所述第一车载传感器到所述车体的映射参数。
  14. 根据权利要求10至13中任一项所述的设备，其特征在于，当所述第一车载传感器包括所述激光雷达车载传感器或所述毫米波雷达车载传感器时，所述确定模块具体用于：
    根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标，确定所述第一车载传感器到所述车体的初始映射参数；
    根据所述第一特征点的坐标和所述初始映射参数，确定所述第一特征点在所述车体坐标系下的坐标；
    根据所述第一特征点在所述车体坐标系下的坐标和所述定位定姿系统传感器，确定所述第一特征点在所述地图数据库中坐标；
    如果确定的所述第一特征点在所述地图数据库中的坐标与所述第一特征点匹配的第二特征点在所述地图数据库中的坐标的差小于第一阈值时，确定所述第一特征点通过精度校验。
  15. 根据权利要求10至13中任一项所述的设备，其特征在于，当所述第一车载传感器包括所述相机车载传感器时，所述确定模块具体用于：
    根据所述多个第一特征点和所述多个第二特征点在所述车体坐标系下的坐标，确定所述第一车载传感器到所述车体的初始映射参数；
    根据匹配的所述多个第二特征点在所述车体坐标系下的坐标和所述初始确定映射关系，确定所述多个第二特征点对应的所述多个第一特征点的像素坐标；
    如果确定的所述多个第一特征点的像素坐标与获取的所述多个第一特征点的像素坐标的差小于第二阈值时，确定所述第一特征点通过精度校验。
  16. 根据权利要求14所述的设备，其特征在于，所述第一车载传感器包括激光雷达车载传感器时，获取模块具体用于：
    获取多个第一特征点和所述多个第一特征点对应的第一标志物的轮廓尺寸，
    其中，所述多个第一特征点为所述第一标志物的多个角点坐标；
    根据所述第一特征点信息与所述第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
    当所述第一特征点信息中的所述多个特征点中的任一个特征点对应的所述第一标志物的轮廓尺寸与所述第二特征点信息的所述多个特征点中的任一个特征点对应的所述第一标志物的轮廓尺寸的差值小于第三阈值时，确定所述第一特征点信息中的所述多个特征点中的任一个特征点为所述第一特征点和所述第二特征点信息中的所述多个特征点中的任一个特征点为所述第二特征点。
  17. 根据权利要求14所述的设备，其特征在于，所述第一车载传感器包括毫米波雷达车载传感器，所述获取模块具体用于：
    获取多个第二标志物的坐标，其中，所述多个第二标志物在线性方向上的间隔固定；
    根据所述第一特征点信息与所述第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
    在获取的多个所述第二标志物的坐标中，确定所述第一车载传感器采集的第一特征点信息，所述第一特征点信息包括多个特征点和所述多个特征点中相邻的所述第一特征点的固定间隔d 1；
    所述第一特征点信息中的多个特征点中相邻的所述特征点的固定间隔d 1与所述地图数据库中的所述多个特征点中相邻的所述特征点的固定间隔d的差值小于第四阈值时，确定所述第一特征点信息中的多个特征点中相邻的所述特征点的固定间隔d 1为所述第一特征点和所述地图数据库中的所述多个特征点中相邻的所述特征点的固定间隔d为所述第二特征点。
  18. 根据权利要求15所述的设备，其特征在于，所述第一车载传感器包括相机车载传感器，所述获取模块具体用于：
    获取第三标志物的多个第一特征点的像素坐标和所述第三标志物的图像尺寸，其中，所述多个第一特征点为所述第三标志物的图像的几何中心；
    根据所述第一特征点信息与所述第二特征点信息，确定多个第一特征点和多个第二特征点，包括：
    根据所述第一车载传感器所处的地理位置与所述地图数据库中的所述第三标志物的坐标，确定所述第一车载传感器与所述第三标志物的距离；
    根据所述第一车载传感器与所述第三标志物的距离，确定所述第三标志物在所述相机传感器获取的图像上的理论尺寸；
    当所述图像上的所述第三标志物的理论尺寸与所述图像上的所述第三标志物的实际尺寸的差值小于第五阈值时，确定所述第三标志物的多个第一特征点的像素坐标为所述多个第一特征点和所述第三标志物在所述地图数据库中对应的坐标为所述多个第二特征点。
  19. 一种车辆，其特征在于，包括权利要求10至18中任一项所述的设备、雷达激光传感器、毫米波雷达传感器和相机传感器。
PCT/CN2018/093559 2017-07-06 2018-06-29 车载传感器的外部参数标定的方法和设备 WO2019007263A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18828221.4A EP3633620A4 (en) 2017-07-06 2018-06-29 METHOD AND DEVICE FOR CALIBRATION OF EXTERNAL PARAMETERS OF ON-BOARD SENSOR
JP2019572428A JP6931096B2 (ja) 2017-07-06 2018-06-29 オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
US16/734,941 US11670193B2 (en) 2017-07-06 2020-01-06 Extrinsic parameter of on-board sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710547094.8A CN109215083B (zh) 2017-07-06 2017-07-06 车载传感器的外部参数标定的方法和设备
CN201710547094.8 2017-07-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/734,941 Continuation US11670193B2 (en) 2017-07-06 2020-01-06 Extrinsic parameter of on-board sensor

Publications (1)

Publication Number Publication Date
WO2019007263A1 true WO2019007263A1 (zh) 2019-01-10

Family

ID=64950560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/093559 WO2019007263A1 (zh) 2017-07-06 2018-06-29 车载传感器的外部参数标定的方法和设备

Country Status (5)

Country Link
US (1) US11670193B2 (zh)
EP (1) EP3633620A4 (zh)
JP (2) JP6931096B2 (zh)
CN (2) CN109215083B (zh)
WO (1) WO2019007263A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6776202B2 (ja) * 2017-07-28 2020-10-28 クラリオン株式会社 車載カメラのキャリブレーション装置及び方法
CN113838360B (zh) * 2019-01-16 2023-06-13 北京百度网讯科技有限公司 地图数据的采集方法、装置、设备和存储介质
CN111771140A (zh) * 2019-01-30 2020-10-13 深圳市大疆创新科技有限公司 一种探测装置外参数标定方法、数据处理装置和探测系统
US11644334B2 (en) * 2019-02-07 2023-05-09 Uber Technologies, Inc. Route optimization system based on height parameter
CN109871019B (zh) * 2019-02-28 2022-08-30 北京百度网讯科技有限公司 自动驾驶用于获取坐标的方法和装置
CN110058211B (zh) * 2019-03-21 2021-10-26 北京申信达成科技有限公司 一种车载LiDAR测量系统检校初值的获取方法及装置
CN111750881B (zh) * 2019-03-29 2022-05-13 北京魔门塔科技有限公司 一种基于路灯杆的车辆位姿的修正方法和装置
WO2020203657A1 (ja) * 2019-04-04 2020-10-08 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
CN111830470B (zh) * 2019-04-16 2023-06-27 杭州海康威视数字技术股份有限公司 联合标定方法及装置、目标对象检测方法、系统及装置
CN110007293B (zh) * 2019-04-24 2021-11-02 禾多科技（北京）有限公司 场端多线束激光雷达的在线标定方法
CN110109143B (zh) * 2019-04-30 2021-10-26 北京云迹科技有限公司 多线激光雷达与imu的位姿标定方法及装置
CN110135376A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 确定图像传感器的坐标系转换参数的方法、设备和介质
CN110148185B (zh) * 2019-05-22 2022-04-15 北京百度网讯科技有限公司 确定成像设备坐标系转换参数的方法、装置和电子设备
CN110378966B (zh) * 2019-06-11 2023-01-06 北京百度网讯科技有限公司 车路协同相机外参标定方法、装置、设备及存储介质
CN110264520B (zh) * 2019-06-14 2021-06-08 北京百度网讯科技有限公司 车载传感器与车辆位姿关系标定方法、装置、设备和介质
CN112132902B (zh) * 2019-06-24 2024-01-16 上海安亭地平线智能交通技术有限公司 车载摄像头外参调整方法、装置、电子设备以及介质
DE102019211459B4 (de) 2019-07-31 2021-02-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
CN110782497B (zh) * 2019-09-06 2022-04-29 腾讯科技（深圳）有限公司 相机外参的标定方法、装置
CN112558023B (zh) * 2019-09-25 2024-03-26 华为技术有限公司 传感器的标定方法和装置
CN112652018B (zh) * 2019-10-11 2024-04-16 北京地平线机器人技术研发有限公司 外参确定方法、外参确定装置及电子设备
CN111123245B (zh) * 2019-12-20 2021-09-17 中国电波传播研究所（中国电子科技集团公司第二十二研究所） 一种基于圆形扫描的机载激光雷达测距精度的检校方法
CN113124897B (zh) * 2019-12-31 2024-04-09 中信科智联科技有限公司 一种传感器性能检测方法、装置及终端
CN111340890B (zh) * 2020-02-20 2023-08-04 阿波罗智联(北京)科技有限公司 相机外参标定方法、装置、设备和可读存储介质
CN111953934B (zh) * 2020-07-03 2022-06-10 北京航空航天大学杭州创新研究院 目标标示方法及装置
CN114140533A (zh) * 2020-09-04 2022-03-04 华为技术有限公司 摄像头外参标定的方法与装置
CN112102418B (zh) * 2020-09-16 2022-02-11 上海商汤临港智能科技有限公司 一种标定方法、装置、电子设备及存储介质
CN112528728B (zh) * 2020-10-16 2024-03-29 深圳银星智能集团股份有限公司 一种用于视觉导航的图像处理方法、装置和移动机器人
JP7452374B2 (ja) * 2020-10-20 2024-03-19 株式会社Soken 物体検知装置および物体検知プログラム
CN112362054B (zh) * 2020-11-30 2022-12-16 上海商汤临港智能科技有限公司 一种标定方法、装置、电子设备及存储介质
CN112465920A (zh) * 2020-12-08 2021-03-09 广州小鹏自动驾驶科技有限公司 一种视觉传感器标定方法及装置
CN112800986B (zh) * 2021-02-02 2021-12-07 深圳佑驾创新科技有限公司 车载摄像头外参标定方法、装置、车载终端和存储介质
CN113465608B (zh) * 2021-07-22 2024-05-03 清华大学苏州汽车研究院（吴江） 一种路侧传感器标定方法及系统
CN113340334B (zh) * 2021-07-29 2021-11-30 新石器慧通（北京）科技有限公司 用于无人车的传感器标定方法、装置及电子设备
CN113671454B (zh) * 2021-08-16 2024-04-26 中汽创智科技有限公司 一种车载雷达的位置参数标定方法、装置及存储介质
CN113822944B (zh) * 2021-09-26 2023-10-31 中汽创智科技有限公司 一种外参标定方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104276102A (zh) * 2013-07-10 2015-01-14 德尔福电子(苏州)有限公司 一种基于车辆位置检测的环视系统标定装置
EP3001137A1 (de) * 2014-09-25 2016-03-30 Audi Ag Verfahren zur überwachung einer kalibrierung mehrerer umgebungssensoren eines kraftfahrzeugs und kraftfahrzeug
CN106740872A (zh) * 2017-01-13 2017-05-31 驭势科技（北京）有限公司 智能汽车传感器自检系统和方法、辅助系统和智能汽车
CN107103627A (zh) * 2017-04-27 2017-08-29 深圳市天双科技有限公司 一种基于车道线的汽车全景摄像头外部参数标定方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268295A (ja) * 1999-03-15 2000-09-29 Matsushita Electric Ind Co Ltd 車両位置情報通信端末装置および緊急通報システム
DE10122664A1 (de) 2001-05-10 2002-11-14 Ibeo Automobile Sensor Gmbh Kalibrierverfahren
JP4604119B2 (ja) * 2006-03-10 2010-12-22 パイオニア株式会社 移動支援システム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
CN101641610A (zh) * 2007-02-21 2010-02-03 电子地图北美公司 用于包含绝对及相对坐标的车辆导航及领航的系统及方法
US8698875B2 (en) * 2009-02-20 2014-04-15 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame
DE102010062696A1 (de) * 2010-12-09 2012-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Kalibrieren und Justieren eines Fahrzeug-Umfeldsensors.
EP2530647A1 (en) * 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
JP2013024712A (ja) * 2011-07-20 2013-02-04 Aisin Seiki Co Ltd 複数カメラの校正方法及び校正システム
JP5926645B2 (ja) 2012-08-03 2016-05-25 クラリオン株式会社 カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法
CN102968548B (zh) * 2012-09-29 2016-01-06 昆山市智汽电子科技有限公司 一种车载标定的方法、设备及其系统
CN102944224B (zh) * 2012-11-09 2014-08-27 大连理工大学 一种无人驾驶车的自动环境感知系统的工作方法
CN104142157B (zh) * 2013-05-06 2017-08-25 北京四维图新科技股份有限公司 一种标定方法、装置及设备
CN105164497A (zh) * 2013-06-28 2015-12-16 爱信艾达株式会社 位置信息共享系统、方法及程序
CN103487034B (zh) * 2013-09-26 2015-07-15 北京航空航天大学 一种基于立式标靶的车载单目摄像头测距测高方法
CN103954275B (zh) * 2014-04-01 2017-02-08 西安交通大学 基于车道线检测和gis地图信息开发的视觉导航方法
CN103985118A (zh) * 2014-04-28 2014-08-13 无锡观智视觉科技有限公司 一种车载环视系统摄像头参数标定方法
CN104809718B (zh) * 2015-03-17 2018-09-25 合肥晟泰克汽车电子股份有限公司 一种车载摄像头自动匹配标定方法
DE102015206605A1 (de) * 2015-04-14 2016-10-20 Continental Teves Ag & Co. Ohg Kalibrierung und Überwachung von Umfeldsensoren mit Hilfe hochgenauer Karten
WO2017012575A1 (zh) * 2015-07-23 2017-01-26 冯春魁 综合车辆的数据测算、监控、监视、处理的方法及系统
DE102015214338A1 (de) * 2015-07-29 2017-02-02 Volkswagen Aktiengesellschaft Bestimmung einer Anordnungsinformation für ein Fahrzeug
JP2017038777A (ja) * 2015-08-19 2017-02-23 アイホン株式会社 動作認識装置
WO2017080471A1 (zh) * 2015-11-10 2017-05-18 冯春魁 综合车辆的数据测算、监控、监视、处理的方法及系统
CN105588563B (zh) * 2016-01-15 2018-06-12 武汉光庭科技有限公司 一种智能驾驶中双目相机与惯性导航联合标定方法
CN105741275B (zh) 2016-01-26 2018-07-17 浙江捷尚视觉科技股份有限公司 一种基于固定相机自动标定的人车目标特征提取方法
AU2016395616B2 (en) * 2016-02-29 2019-07-25 Komatsu Ltd. Work machine management system and work machine
JP2017181195A (ja) * 2016-03-29 2017-10-05 パイオニア株式会社 測定装置、測定方法、及び、プログラム
CN105931261B (zh) * 2016-07-08 2018-11-27 北京格灵深瞳信息技术有限公司 一种双目立体相机外参数修正方法及装置
CN106485753B (zh) * 2016-09-09 2019-09-10 奇瑞汽车股份有限公司 用于无人驾驶汽车的摄像机标定的方法和装置
CN106651961B (zh) * 2016-12-09 2019-10-11 中山大学 一种基于彩色立体标定物的无人机标定方法及系统
CN106651963B (zh) * 2016-12-29 2019-04-26 清华大学苏州汽车研究院（吴江） 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104276102A (zh) * 2013-07-10 2015-01-14 德尔福电子(苏州)有限公司 一种基于车辆位置检测的环视系统标定装置
EP3001137A1 (de) * 2014-09-25 2016-03-30 Audi Ag Verfahren zur überwachung einer kalibrierung mehrerer umgebungssensoren eines kraftfahrzeugs und kraftfahrzeug
CN106740872A (zh) * 2017-01-13 2017-05-31 驭势科技（北京）有限公司 智能汽车传感器自检系统和方法、辅助系统和智能汽车
CN107103627A (zh) * 2017-04-27 2017-08-29 深圳市天双科技有限公司 一种基于车道线的汽车全景摄像头外部参数标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3633620A4

Also Published As

Publication number Publication date
JP2020527500A (ja) 2020-09-10
CN109215083B (zh) 2021-08-31
JP2022000636A (ja) 2022-01-04
JP6931096B2 (ja) 2021-09-01
EP3633620A4 (en) 2020-08-05
US11670193B2 (en) 2023-06-06
JP7297017B2 (ja) 2023-06-23
CN113822939A (zh) 2021-12-21
CN109215083A (zh) 2019-01-15
US20200143710A1 (en) 2020-05-07
EP3633620A1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
WO2019007263A1 (zh) 车载传感器的外部参数标定的方法和设备
JP7090597B2 (ja) 位置特定基準データを生成及び使用する方法及びシステム
JP7301909B2 (ja) 地図データ、レーザ、およびカメラからのヨー誤差の確定
US11953599B2 (en) Vehicle navigation based on aligned image and LIDAR information
US10739459B2 (en) LIDAR localization
CN111436216B (zh) 用于彩色点云生成的方法和系统
EP3631494B1 (en) Integrated sensor calibration in natural scenes
US9298992B2 (en) Geographic feature-based localization with feature weighting
CN110988912A (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN110945320B (zh) 车辆定位方法和系统
CN115803781A (zh) 用于生成与对象相关联的鸟瞰图边界框的方法和系统
CN113673282A (zh) 目标检测方法和装置
JP2019102007A (ja) 勾配推定装置、勾配推定方法、プログラムおよび制御システム
CN112136021A (zh) 用于构建基于地标的高清地图的系统和方法
CN112740225A (zh) 一种路面要素确定方法及装置
CN113665500A (zh) 全天候作业的无人驾驶运输车环境感知系统及方法
CN112424568A (zh) 构建高清地图的系统和方法
AU2018102199A4 (en) Methods and systems for color point cloud generation
Gu et al. Correction of vehicle positioning error using 3D-map-GNSS and vision-based road marking detection
CN115393821A (zh) 一种目标检测方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18828221

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019572428

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018828221

Country of ref document: EP

Effective date: 20200103