WO2018142057A1 - Procédé et dispositif pour l'étalonnage d'un système de perception comportant un ensemble de télémètres lidar - Google Patents

Procédé et dispositif pour l'étalonnage d'un système de perception comportant un ensemble de télémètres lidar Download PDF

Info

Publication number
WO2018142057A1
WO2018142057A1 PCT/FR2018/050210 FR2018050210W WO2018142057A1 WO 2018142057 A1 WO2018142057 A1 WO 2018142057A1 FR 2018050210 W FR2018050210 W FR 2018050210W WO 2018142057 A1 WO2018142057 A1 WO 2018142057A1
Authority
WO
WIPO (PCT)
Prior art keywords
parameters
vehicle
bitter
parameter
extrinsic
Prior art date
Application number
PCT/FR2018/050210
Other languages
English (en)
Inventor
Michel Dhome
Éric ROYER
Morgan SLADE
Original Assignee
Université Clermont Auvergne
Centre National De La Recherche Scientifique
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Université Clermont Auvergne, Centre National De La Recherche Scientifique filed Critical Université Clermont Auvergne
Publication of WO2018142057A1 publication Critical patent/WO2018142057A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method for calibrating a vehicle-based computer perception system comprising one or more laser remote sensing devices. It is particularly applicable to autonomous vehicles and Simultaneous Localization and Mapping (SLAM) mechanisms used for these vehicles.
  • SLAM Simultaneous Localization and Mapping
  • Simultaneous mapping and localization mechanisms allow autonomous vehicles to map and locate the environment in which they move. These mechanisms are most often designated by their acronyms in English: SLAM or CML (for "Concurrent mapping and Localization”).
  • autonomous vehicles have a computer-based perception system.
  • These perception systems consist, in a very general manner, of a set of sensors and a central device for processing the signals acquired by the sensors to determine, or improve, a map of the environment in which the vehicle moves, and locate it there.
  • These sensors very often include cameras providing video streams to the processing device. It can then determine in the video stream points or characteristic point structures, which are usually called "bitter”, and which allow, by correlation between different video streams, to build the mapping of the environment and determine the installation of the vehicle in this environment, that is to say its location and orientation.
  • LIDARs Light Detection And Raning
  • lidars are laser telemetry devices, based on the measurement of the properties of the beam of lights returned by an obstacle encountered by the beam emitted.
  • the processing device In order to determine, or improve, a mapping, the processing device must know the calibration or calibration parameters of the different sensors. The knowledge of these parameters is also crucial for the precise location of the obstacles detected in the case of the autonomous navigation of a vehicle.
  • These calibration parameters include the intrinsic calibration parameters, that is to say, specific to each sensor.
  • these intrinsic parameters may include the focal length, the position of the main point, the center of the image, the distortion coefficients ...
  • extrinsic calibration parameters correspond to the parameters of passage from one marker of a sensor to the marker of another sensor.
  • This reference change can be defined by 6 extrinsic parameters: 3 translation parameters and 3 rotation parameters.
  • This model used for the knowledge of the calibration parameters of the sensors requires that the sensors are rigidly connected to each other, that is to say, typically, they are rigidly secured to the autonomous vehicle. Therefore, the parameters are fixed in time and the knowledge of the intrinsic and extrinsic calibration parameters allows the processing device to determine a non-distorted mapping from the data provided by the different sensors.
  • a first technique can consist in determining these parameters by measuring them directly on the vehicle.
  • the sensors can be located in dwellings making their access difficult for an accurate measurement.
  • it is very difficult to measure the orientation of the sensors.
  • Another technique, widely used, is to use patterns, and to determine extrinsic parameters by comparing the perception of the same pattern in the flow of data from different sensors.
  • this approach requires overlapping fields, that is to say, the same pattern must be perceived by several sensors for the same pose of the vehicle. This is a strong constraint based on the design of the vehicle and the onboard perception system.
  • these solutions can not be used in certain environments, such as indoors, undergrounds, etc., where the GPS radio signal can not be received.
  • GPS-type geolocation system In addition, in order to obtain a sufficiently precise calibration, the GPS-type geolocation system must be also very precise (of the order of one centimeter). GPS systems generally embedded in standard vehicles generally allow a precision of the order of a few meters.
  • centimetric precision sensor is very expensive (more than 10000 euros at the filing date), which obviously limits the deployment of such solutions.
  • the object of the present invention is to provide a solution at least partially overcoming the aforementioned drawbacks.
  • the invention aims at providing a method for calibrating a computer perception system having non-video sensors (for example lidars), which is automatic (that is to say without human intervention) and which does not require overlapping fields between its different sensors.
  • non-video sensors for example lidars
  • the present invention proposes a method for determining the extrinsic parameters of a perception system on board a vehicle traveling along a path and comprising a set of rangefinders providing frame flows to a processing device, said method being characterized by determining calibration parameters of at least one video camera (C1, C2) belonging to said perception system, determining the pose of said vehicle as a function of time and said parameters, and further comprising detecting bitter at within said frame flows corresponding to real-world bitter, then the determination of the extrinsic parameters minimizing a cost function measuring the differences between the detected bitter associated with the same bitter of the real world.
  • the invention comprises one or more of the following features which can be used separately or in partial combination with one another or in total combination with one another:
  • the determination of said calibration parameters of said at least one video camera comprises the mapping reconstruction of the environment of said vehicle comprising 3D landmarks modeling the real world bitter, the optimization of at least one mapping corresponding to a first a sequence of images originating from said at least one video camera, considering at least one extrinsic parameter and / or at least one intrinsic parameter and / or at least one setting parameter and / or a bitter parameter 3D as constant, and optimizing at least one map corresponding to a second image sequence longer than the first image sequence and including the first image sequence, considering said at least one extrinsic parameter and / or said at least one intrinsic parameter and / or said at least one pose parameter and / or a bitter parameter 3D as a variable so as to estimate it;
  • the detected bitters are grouped according to a proximity criterion
  • said landmarks are straight line segments
  • said cost function measures the difference between the detected lines belonging to a group
  • Another object of the invention relates to a computer program comprising software instructions implementing a method as defined above, when deployed on an information processing device.
  • Another subject of the invention relates to a processing device for determining the extrinsic parameters of a perception system on a vehicle traveling along a path and comprising a set of rangefinders providing frame flows to said processing device, at least one video camera (C1, C2), and comprising the software and / or hardware means for implementing the method as defined above.
  • a processing device for determining the extrinsic parameters of a perception system on a vehicle traveling along a path and comprising a set of rangefinders providing frame flows to said processing device, at least one video camera (C1, C2), and comprising the software and / or hardware means for implementing the method as defined above.
  • C1, C2 video camera
  • the invention can operate without the use of specific and / or expensive equipment, such as in particular centimeter-precision GPS.
  • FIG. 1 represents schematically an example of a vehicle that can implement the method according to the invention.
  • FIG. 2 diagrammatically represents an illustrative functional sequence of an embodiment of the invention.
  • FIG. 3 schematically represents an example of definition of a plane, according to one embodiment of the invention.
  • FIG. 4 is an example of cartography for schematically displaying a result of the minimization step.
  • the invention applies particularly to autonomous vehicles, also called “autoguide”, but it can be applied to any other type of vehicle when the problem arises to build a map of the environment in which the vehicle moves.
  • the invention is also very useful for finding the position of an obstacle detected by the lidar in the reference of the vehicle or other sensors.
  • Figure 1 shows an example of such a vehicle 100 having 4 wheels 101, 102, 103, 104 and a frame.
  • the vehicle 100 embeds a perception system comprising two video cameras C1, C2 and two rangefinders LIDAR L1, L2.
  • the invention applies to any other arrangement of vehicles, autonomous or not.
  • the invention can be applied to perception systems that do not have a video camera, but for example only lidars.
  • These four sensors C1, C2, L1, L2 are fixed on the chassis of the vehicle, so that their positions and relative orientations are fixed, or substantially fixed. They are further connected to a processing device 110 which receives the flows of data provided by these sensors. These data streams are sequences of images provided by the cameras, frame sequences provided by the lidars, etc.
  • each sensor is oriented in a different direction so as to each cover a separate field for a given pose of the vehicle.
  • the fields covered are represented by the dotted lines in the figure.
  • the fields of the sensors may overlap, but an advantage of the invention is that this feature is indifferent.
  • the processing device 110 is provided to determine a map of the vehicle environment from the data streams from the perception system, and locate the vehicle there. This device therefore implements a SLAM mechanism that will not be described further because it does not come within the scope of the invention which concerns only the calibration of the sensors in order to allow the SLAM mechanism to function with the necessary precision. .
  • the processing device 110 may be provided to further act on the vehicle control system to direct it according to the map established.
  • This processing device is typically implemented by a coupling between hardware and software means.
  • a computer can be programmed by algorithms implementing the steps of the method according to the invention which will be described.
  • the aim of the invention is to determine the extrinsic calibration of the various sensors, that is to say the position and relative orientation of the sensors relative to each other, or with respect to a common reference that may be that of the vehicle. In the following, the calibration of the intrinsic parameters of the sensors is not considered.
  • a geometric transformation makes it possible to go from the reference point of a sensor to that of another sensor.
  • This transformation can be decomposed into a translation defined by three parameters, and into a rotation, also defined by three parameters.
  • the extrinsic calibration of a perception system therefore consists in determining a set of six parameters per sensor, defining the position and the orientation of each sensor relative to the vehicle 100 itself.
  • the data streams from each sensor can be processed according to the extrinsic calibration parameters of the sensor in question to provide relevant information in a common coordinate system.
  • cross-checks between these informations are then possible and can make it possible to build the mapping according to a SLAM mechanism.
  • a calibration phase is necessary. According to the invention, this phase can be done without human intervention, even during the normal operation of the vehicle. Thus, a phase of refreshing the parameters can be periodically triggered without interrupting the operation of the vehicle, in order to overcome any divergence of these parameters.
  • FIG. 2 schematizes the steps of this calibration method according to one embodiment of the invention.
  • Step 201 corresponds to driving the vehicle along a path within the environment to be mapped.
  • the extrinsic calibration parameters in fact, it is necessary for the vehicle to travel a certain path in the route, corresponding to constraints that depend on the various implementations of the invention.
  • the route to be taken by the vehicle may advantageously comprise at least one loop and a half-turn. This allows the accuracy of the calibration to be substantially increased by observing the same bitter several times (in slightly different poses). In the context of an implementation using video cameras, this constraint is all the more important as the cameras do not have overlapping fields. Otherwise, it is possible to override this constraint.
  • the perception system puts two tasks in action.
  • a first task is to acquire a stream of frames provided by rangefinders, including LIDAR type.
  • a second task is to determine the installation of the vehicle as a function of time.
  • the acquisitions of the sensors are generally sampled, so that the installation of the vehicle is determined for discrete moments.
  • Several implementations are possible allowing the determination of the laying of the vehicle as a function of time.
  • the laying is determined from non-environmental sensors, that is to say measuring information from the operation of the vehicle itself: sensors on the wheels, current consumption of the motors, etc. .
  • an inertial unit can be used to measure the movements of the vehicle, in translation and in rotation. From the measurement of these displacements, the pose can be directly provided.
  • the extrinsic and intrinsic parameters of at least one video camera C1, C2 belonging to the perception system are determined, then the pose is determined according to these parameters.
  • This second implementation corresponds to the steps 202, 204 and 205 of FIG.
  • the perception system acquires video streams, consisting of digital image sequences, from the video sensors.
  • the video cameras C1, C2 are synchronized with each other, that is to say that they take pictures at the same time, the decision being able to be controlled by synchronized clocks between them or by a common clock. These moments of shooting each correspond to a pose of the vehicle (or the perception system, which amounts to the same as they are linked by a rigid link).
  • the lidars may not be synchronized.
  • the rangefinders, in particular lidar, and the video cameras are calibrated separately. According to this implementation of the invention, on the contrary, it is intended to link the two problems and, in particular, to take advantage of the calibration of the cameras for the calibration of the lidars.
  • the calibration of the extrinsic and intrinsic parameters of the C1, C2 cameras can be obtained in different ways.
  • a construction step 204 of a mapping of the environment is implemented, that is to say a SLAM type mechanism ("Simultaneous Localization and Mapping").
  • This mapping consists in determining 3D bitter, characterized by parameters of 3D bitter, from the digital images of the video streams from the cameras, during the movement of the vehicle along the route. Each image corresponds, as has been said above, to a pose of the vehicle, characterized by laying parameters.
  • These bitter 3 models real world bitter, that is to say they form an approximation that is intended to be as accurate as possible.
  • the mapping obtained includes parameters of 3D bitters and pose parameters.
  • a pose is defined by three translation parameters and three rotation parameters in the global or local Euclidean coordinate system (relative to a neighboring pose).
  • the construction of the cartography includes steps of reconstructing image sequence mapping and optimization of these maps by implementing beam adjustment algorithms.
  • the process of calibrating the extrinsic parameters of the cameras comprises
  • the images are grouped into elementary sequences, each elementary sequence comprising a number X of neighboring images with an overlap of Y images between two successive elementary sequences (two successive elementary sequences have Y images in common).
  • “Neighboring images” means images corresponding to poses close to the perception system 110, so that these images overlap and may have pairable 2D bitters. We recall that we call “bitter 2D” a characteristic form of the environment as perceived by video cameras, and that is therefore a perception of a bitter 3D that we seek to build to map.
  • the calibration method then consists in constructing a mapping (partial or elementary) from each elementary sequence S,
  • the mapping of the first elementary sequence can be calculated by epipolar geometry and triangulation of the bitters, then those of the elementary sequences following are calculated step by step starting from the first mapping.
  • the calculation of epipolar geometry makes it possible to determine the poses of the vehicle corresponding to the images of the first elementary sequence. Triangulation makes it possible to determine the parameters of the 3D landmarks (ie the three-dimensional coordinates for 3D landmarks corresponding to the paired 2D landmarks between the images of the first elementary sequence.)
  • the calculation of the epipolar geometry is carried out in a known manner, for example by identification of characteristic 2D bitters in the images of the sequence, for example by the method of the Harris wedges, pairing of characteristic 2D landmarks between the images of the sequence, calculation of the exposures of the computer vision system 10, for example by implementation of a RANSAC type algorithm on two poses and extrapolation of the third pose.
  • the computation of the triangulation of paired 2D landmarks can be done in known manner, for example by a method of the middle point. Triangulation makes it possible to obtain 3D landmarks, characterized by three-dimensional coordinates in the global Euclidean coordinate system.
  • the computation of the cartography comprises the detection of the 2D landmarks in the additional image or images of the sequence with respect to the preceding one, then the determination of the corresponding pose of the perception system from these 2D landmarks that we match with those already calculated in the mapping of the previous elementary sequence. Finally, the additional 2D landmarks are triangulated.
  • a beam adjustment algorithm is an iterative algorithm that makes it possible to optimize the various parameters involved in the calculation of the mapping, by convergence of a criterion which is generally the minimization of a cost function.
  • the parameters used in the computation of a cartography from images taken by a set of cameras include the parameters of 3D bitters, the parameters of the poses of the computer perception system, the extrinsic parameters of the computer vision system and the intrinsic parameters of the computer vision system.
  • a parameter considered as variable during the optimization will be estimated and a parameter considered as constant or fixed will not be optimized or estimated.
  • the calibration method thus comprises the optimization of the mapping of each elementary sequence by beam adjustment by considering the extrinsic parameters as constant. Then, the maps of the elementary sequences are aggregated to obtain the cartography of the complete sequence.
  • the vehicle poses as a function of time can easily be determined in a step 205.
  • the poses are determined at the same time as the calibration parameters for each image.
  • the method of the invention further comprises the detection of bitter, 206, within the frame flows from the rangefinders (LIDAR 7), then the determination of the extrinsic parameters, 207, minimizing a cost function taking into account the position parameters of these bitters within a frame and an interpolated vehicle pose for a time corresponding to that of said frame.
  • the invention makes it possible not to impose a synchronization between the acquisition of the LIDAR frames and the acquisition of the video images, which would in practice be a very strong constraint, difficult to implement.
  • an interpolation is implemented to match the dates of acquisition of the lidar frames to the dates of the poses (determined by the acquisitions of the video images).
  • the installation of the vehicle at the instant corresponding to that of the acquired frame is first calculated.
  • interpolation we thus replace the frames in the "world” as perceived by the cameras.
  • Another embodiment is to interpolate the lidar frames to match the dates of the poses.
  • each frame in a step referenced 206 in Figure 2, it seeks to detect bitter, that is to say, characteristic shapes.
  • these bitters are rectilinear shapes. In particular, they may be straight segments.
  • the lidars scan a horizontal plane and the detected bitters are therefore horizontal lines, but other implementations are possible. These horizontal lines may correspond to the intersection of the plane swept by the LIDAR with vertical obstacles in the real world, including walls.
  • the lines extracted from the lidar frames are the intersection of the lidar plane with vertical planes, it is not possible to determine the vertical position of the lidars, that is to say their heights.
  • a line is detected within a frame if it satisfies a predetermined criterion.
  • this criterion is formed of two conditions:
  • the line contains at least a certain number of points, for example 50 points, and,
  • no point is more than a given distance (for example 6 cm) from the best line passing in the point cloud.
  • Each line is defined by its two end points and a normal vector pointing in the direction of observation. This last element makes it possible to avoid false associations between, for example, the front face and the rear face of the same wall.
  • the sets of lines £ are subdivided into groups or clusters ("clusters" in English), according to the principle that if two lines detected are sufficiently close to each other, in distance and orientation, is very likely that they are two observations of the same line of the real world. It is therefore a question of associating detected bitters which correspond to the same bitter of the real world.
  • This step is to obtain a single group Ili for each vertical plane i observed during the course of the vehicle.
  • plane each of the groups Ili and the plans will be associated with a Cartesian equation for the subsequent step of minimizing a cost function.
  • each plan equation can be initialized with the equation of the vertical plane that best matches the line equations associated with it.
  • the vertical plane by a point (belonging to the plane) and two vectors forming a base of the plane.
  • One of the two vectors is a vector oriented according to the vertical of the real world; the other vector is the average of the direction vectors of all line segments associated with the plane.
  • the point is the center of gravity of the set of middle points of all segments associated with the plane.
  • the angle between the lines li and I2 is less than a given threshold, for example 15 °;
  • the Euclidean distance between the line segments is less than a given threshold, for example 1 mn; the dot product between the normal vectors associated with lines li and I2 is positive. As indicated above, this makes it possible to avoid associating front and rear surfaces of the same wall;
  • an additional condition may be that the lines have been observed according to two poses which are connected in the graph of the poses resulting from the SLAM algorithm (step 204) .
  • the two poses share the same visual characteristic detected.
  • the extrinsic parameters of the lidars which minimize a cost function measuring the differences between the detected bitter associated with the same bitter of the real world. More specifically, it can measure the difference between the detected lines belonging to the same group (or "cluster") from step 206.
  • This cost function takes into account the position parameters of these bitters in a frame and the corresponding pose of the vehicle, interpolated for the same date.
  • this minimization can be done iteratively by means of, for example, the Levenberg-Marquardt algorithm.
  • the Levenberg-Marquardt algorithm provides a numerical solution to the problem of minimizing a function, often non-linear and dependent on several variables.
  • the algorithm interpolates the Gauss-Newton algorithm and the gradient algorithm. More stable than that of Gauss-Newton, it finds a solution even if it is started very far from a minimum.
  • Each segment is defined by these two ends My and Ny and the plane Ilj is defined by its Cartesian equation.
  • a function F () of possible cost can be:
  • d (P, n) is the Euclidean distance between the point P and the plane ⁇ .
  • This cost function is calculated from two families of parameters that define the extrinsic parameters of the lidars and the equation of the plans, respectively. Minimizing this function makes it possible to obtain the lidar parameters for which the gaps between each line segment [My, Ny] and the plane Ilj modeling the associated bitter in the real world is minimal. These plans are not known, they are also part of the parameters to be determined during the minimization process.
  • FIG. 3 schematizes this possible definition of a vertical plane and presents a projection of the plane ⁇ on the horizontal plane formed by the axes of the abscissa X and the ordinate Y.
  • the parameters ⁇ , ⁇ are common to all the planes while the parameters ⁇ and thank are specific to each plane.
  • the cost function involves 5 x N + 2 x M + 2 parameters (M being the number of plans and N the number of lidars).
  • Figure 4 illustrates the result of this minimization step graphically.
  • the light lines represent the bitters detected by the perception system
  • the gray lines represent the "modeled" walls, that is to say the projection of the vertical planes ⁇ .
  • each wall is each detected by a group of more or less thick lines.
  • the thickness of these groups is the result of poor lidar calibration.
  • the minimization allows to determine the calibration parameters minimizing the thickness of these groups, as it appears on the right side corresponding to the same scene.
  • the method according to the invention is particularly applicable to a perception system allowing a vehicle to detect obstacles, including walls. It is particularly effective when lidars scan a horizontal plane of the surrounding space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

L'invention concerne un procédé de détermination des paramètres extrinsèques d'un système de perception embarqué sur un véhicule (100)parcourant un trajet et comprenant un ensemble de télémètres (L1, L2) fournissant des flux de trames à un dispositif de traitement (110), ce procédé étant caractérisé par la détermination de paramètres d'étalonnage d'au moins une caméra vidéo (C1, C2) appartenant audit système de perception, la détermination de la pose du véhicule en fonction du temps et de ces paramètres, et comprenant en outre la détection d'amers au sein des flux de trames correspondant à des amers du monde réel, puis la détermination des paramètres extrinsèques minimisant une fonction de coût mesurant les écarts entre les amers détectés associés à un même amer du monde réel.

Description

PROCÉDÉ ET DISPOSITIF POUR L'ÉTALONNAGE D'UN SYSTÈME DE PERCEPTION COMPORTANT UN ENSEMBLE DE TÉLÉMÈTRES LIDAR
DOMAINE DE L'INVENTION
La présente invention concerne un procédé d'étalonnage d'un système de perception par ordinateur embarqué sur un véhicule comprenant un ou plusieurs dispositifs de télédétection par laser. Elle s'applique particulièrement bien aux véhicules autonomes et aux mécanismes de cartographie et localisation simultanée, ou SLAM (pour « Simultaneous Localization and Mappings » en anglais) utilisés pour ces véhicules
CONTEXTE DE L'INVENTION
Les mécanismes de cartographie et localisation simultanées permettent à des véhicules autonomes d'établir une cartographie de l'environnement dans lequel il se déplace et à s'y localiser. Ces mécanismes sont le plus souvent désignés par leurs acronymes en langue anglaise : SLAM ou CML (pour « Concurrent mapping and Localization »).
Pour ce faire, les véhicules autonomes disposent de système de perception par ordinateur. Ces systèmes de perception se composent, d'une façon très générale, en un ensemble de capteurs et un dispositif central de traitement des signaux acquis par les capteurs pour déterminer, ou améliorer, une cartographie de l'environnement dans lequel se déplace le véhicule, et à l'y localiser. Ces capteurs comprennent très souvent des caméras fournissant des flux vidéo au dispositif de traitement. Celui-ci peut alors déterminer dans le flux vidéo des points ou structures de points caractéristiques, que l'on nomme habituellement « amers », et qui permettent, par corrélation entre différents flux vidéo, de construire la cartographie de l'environnement et de déterminer la pose du véhicule dans cet environnement, c'est-à- dire sa localisation et son orientation.
Afin d'améliorer les performances de ces systèmes de perception par ordinateur, d'autres types de capteurs peuvent être embarqués, et notamment des LIDAR (« Light Détection And Raning » en langue anglaise). Les LIDAR, ou lidars, sont des dispositifs de télémétrie par laser, basés sur la mesure des propriétés du faisceau de lumières renvoyé par un obstacle rencontré par le faisceau émis.
Une application bien connue de l'utilisation conjointe de caméras vidéo et de lidars est « Google Street View™ »
Afin de déterminer, ou améliorer, une cartographie, le dispositif de traitement doit connaître les paramètres de calibration ou étalonnage des différents capteurs. La connaissance de ces paramètres est également cruciale pour la localisation précise des obstacles détectés dans le cas de la navigation autonome d'un véhicule.
Ces paramètres d'étalonnage comprennent les paramètres d'étalonnage intrinsèques, c'est-à-dire propres à chaque capteur. Pour une caméra vidéo, ces paramètres intrinsèques peuvent comprendre la focale, la position du point principal, le centre de l'image, les coefficients de distorsion...
Dès lors qu'un système de perception par ordinateur comporte plus d'un capteur, il est en outre nécessaire de connaître les paramètres d'étalonnage extrinsèques. Ces paramètres extrinsèques correspondent aux paramètres de passage d'un repère d'un capteur au repère d'un autre capteur. Ce changement de repère peut être défini par 6 paramètres extrinsèques : 3 paramètres de translation et 3 paramètres de rotation.
Ce modèle utilisé pour la connaissance des paramètres d'étalonnage des capteurs nécessite que les capteurs soient liés les uns aux autres de façon rigide, c'est-à-dire, typiquement, qu'ils soient rigidement solidaires du véhicule autonome. Dès lors, les paramètres sont fixes dans le temps et la connaissance des paramètres d'étalonnage intrinsèques et extrinsèques permet au dispositif de traitement de déterminer une cartographie non- faussée à partir des données fournies par les différents capteurs.
Différentes techniques peuvent être utilisées pour la connaissance des paramètres extrinsèques.
Une première technique peut consister à déterminer ces paramètres en les mesurant directement sur le véhicule. Toutefois, les capteurs peuvent être situés dans des logements rendant leur accès difficiles pour une mesure précise. En particulier, il est très difficile de mesurer l'orientation des capteurs.
Une autre technique, très largement employée, consiste à utiliser des mires, et à déterminer les paramètres extrinsèques en comparant la perception d'une même mire au sein des flux de données issus des différents capteurs.
Toutefois, cette approche nécessite une intervention humaine. Cette intervention humaine est un inconvénient, mais peut même être un obstacle rédhibitoire dans un contexte industriel, si l'on souhaite mettre à jour périodiquement les paramètres d'étalonnages extrinsèque : cette technique nécessite alors de sortir le véhicule de son exploitation pour lui faire subir une étape de ré-étalonnage dans un espace dédié en utilisant des moyens humains.
En outre, cette approche nécessite des champs recouvrant, c'est-à-dire qu'une même mire doit être perçu par plusieurs capteurs pour une même pose du véhicule. Il s'agit là d'une contrainte forte reposant sur la conception du véhicule et du système de perception embarqué.
Des solutions entièrement automatiques ont été proposées pour l'étalonnage des paramètres extrinsèques pour des caméras vidéo. Une telle solution est notamment exposée dans la demande de brevet WO2013/053701, intitulée « Procédé d'étalonnage d'un système de vision par ordinateur embarqué sur un mobile ».
Mais cette solution ne concerne que la vision et aucunement un autre mode de perception, notamment par lidar.
D'autres solutions ont été proposées se basant sur des dispositifs de géolocalisation de type GPS (Global Positioning System) et des centrales inertielles. On peut notamment citer les documents « On-line calibration of multiple LIDARs on a mobile vehicle platform », de Chao Gao et al. in 2010 IEEE international Conférence on Robotics and automation, ICRA 2010, ou bien, « Sensor alignement towards an omni-directional measurement using an intelligent vehicle » de Huijing Zhao et al. in Intelligent Vehicles Symposium, 2009, IEEE.
Par l'utilisation de système de type GPS, ces solutions ne peuvent toutefois pas être utilisés dans certains environnements, comme à l'intérieur de locaux, dans des souterrains, etc., où le signal radio du GPS ne peut être reçu.
En outre, afin d'obtenir une calibration suffisamment précise, les système de géolocalisation de type GPS doivent être également très précis (de l'ordre du centimètre). Les systèmes GPS généralement embarqués dans les véhicules standards permettent généralement une précision de l'ordre de quelques mètres.
Ce type de capteur de précision centimétrique est très coûteux (plus de 10000 euros à la date de dépôt), ce qui limite bien évidemment le déploiement de telles solutions.
RÉSUMÉ DE L'INVENTION
Le but de la présente invention est de fournir une solution palliant au moins partiellement les inconvénients précités.
Plus particulièrement, l'invention vise à fournir un procédé d'étalonnage d'un système de perception par ordinateur disposant de capteurs non vidéo (par exemple des lidars), qui soit automatique (c'est-à-dire sans intervention humain) et qui ne nécessite pas de champs recouvrants entre ses différents capteurs.
A cette fin, la présente invention propose un procédé de détermination des paramètres extrinsèques d'un système de perception embarqué sur un véhicule parcourant un trajet et comprenant un ensemble de télémètres fournissant des flux de trames à un dispositif de traitement, ledit procédé étant caractérisé par la détermination de paramètres d'étalonnage d'au moins une caméra vidéo (Cl, C2) appartenant audit système de perception, la détermination de la pose dudit véhicule en fonction du temps et desdits paramètres, et comprenant en outre la détection d'amers au sein desdits flux de trames correspondant à des amers du monde réel, puis la détermination des paramètres extrinsèques minimisant une fonction de coût mesurant les écarts entre les amers détectés associés à un même amer du monde réel. Suivant des modes de réalisation préférés, l'invention comprend une ou plusieurs des caractéristiques suivantes qui peuvent être utilisées séparément ou en combinaison partielle entre elles ou en combinaison totale entre elles :
- la détermination desdits paramètres d'étalonnage de ladite au moins une caméra vidéo comprend la reconstruction de cartographie de l'environnement dudit véhicule comportant des amers 3D modélisant les amers du monde réel, l'optimisation d'au moins une cartographie correspondant à une première séquence d'images provenant de ladite au moins une caméra vidéo, en considérant au moins un paramètre extrinsèque et/ou au moins un paramètre intrinsèque et/ou au moins un paramètre de pose et/ou un paramètre d'amer 3D comme constant, et l'optimisation d'au moins une cartographie correspondant à une deuxième séquence d'images plus longue que la première séquence d'images et incluant la première séquence d'images, en considérant ledit au moins un paramètre extrinsèque et/ou ledit au moins un paramètre intrinsèque et/ou ledit au moins un paramètre de pose et/ou un paramètre d'amer 3D comme variable de manière à l'estimer ;
- les amers détectés sont regroupés en fonction d'un critère de proximité ;
- lesdits amers sont des segments de droite ;
- ladite fonction de coût mesure l'écart entre les lignes détectées appartenant à un groupe ;
- la minimisation de ladite fonction de coût se fait de façon itérative au moyen d'un algorithme de type Levenberg- Marcquardt ; Un autre objet de l'invention concerne un programme d'ordinateur comprenant des instructions logicielles mettant en œuvre un procédé tel que précédemment défini, lorsque déployées sur un dispositif de traitement de l'information.
Un autre objet de l'invention concerne un dispositif de traitement pour la détermination des paramètres extrinsèques d'un système de perception embarqué sur un véhicule parcourant un trajet et comprenant un ensemble de télémètres fournissant des flux de trames audit dispositif de traitement, au moins une caméra vidéo (Cl, C2), et comportant les moyens logiciels et/ou matériels pour la mise en œuvre du procédé tel que précédemment défini. Ainsi, selon l'invention, uniquement des équipements pouvant être installés de façon standard sur les véhicules sont utilisés (caméras...). En particulier, l'invention peut fonctionner sans utilisation d'équipement spécifiques et/ou coûteux, tels que notamment des GPS à précision centimétrique.
Toutefois, le procédé selon l'invention permet d'obtenir des précisions intéressantes, et supérieures à celles obtenues par les solutions de l'état de la technique.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit d'un mode de réalisation préféré de l'invention, donnée à titre d'exemple et en référence aux dessins annexés.
BRÈVE DESCRIPTION DES DESSINS La figure 1 représente schématiquement un exemple de véhicule pouvant mettant en œuvre le procédé selon l'invention.
La figure 2 représente schématiquement un enchaînement fonctionnel illustratif d'un mode de réalisation de l'invention.
La figure 3 représente schématiquement un exemple de définition d'un plan, selon un mode de réalisation de l'invention.
La figure 4 est un exemple de cartographie permettant visualiser schématiquement un résultat de l'étape de minimisation.
DESCRIPTION DÉTAILLÉE DE L'INVENTION
L'invention s'applique particulièrement aux véhicules autonomes, encore appelés « autoguidés », mais elle peut s'appliquer à tout autre type de véhicule dès lors que survient la problématique de construire une cartographie de l'environnement dans lequel se déplace le véhicule. L'invention est très utile aussi pour retrouver la position d'un obstacle détecté par le lidar dans le repère du véhicule ou des autres capteurs.
La figure 1 schématise un exemple d'un tel véhicule 100, comportant 4 roues 101, 102, 103, 104 et un châssis. Le véhicule 100 embarque un système de perception comportant 2 caméras vidéo Cl, C2 et deux télémètres LIDAR Ll, L2. Bien entendu, l'invention s'applique à tout autre agencement de véhicules, autonomes ou non. Notamment, comme il sera vu plus loin, l'invention peut s'appliquer à des systèmes de perception ne possédant pas de caméra vidéo, mais par exemple que des lidars.
Ces quatre capteurs Cl, C2, Ll, L2 sont fixés sur le châssis du véhicule, de sorte à ce que leurs positions et orientations relatives soient fixes, ou substantiellement fixes. Ils sont en outre connectés à un dispositif de traitement 110 qui reçoit les flux de données fournis par ces capteurs. Ces flux de données sont des séquences d'images fournies par les caméras, de séquences de trames fournies par les lidars, etc.
Dans l'exemple de la figure 1, chaque capteur est orienté dans une direction différente de sorte à couvrir chacun un champ distinct pour une pose donnée du véhicule. Les champs couvert sont représentés par les lignes pointillés sur la figure. Dans d'autres agencements, les champs des capteurs peuvent se chevaucher, mais un avantage de l'invention est que cette caractéristique est indifférente.
Le dispositif de traitement 110 est prévu pour déterminer une cartographie de l'environnement du véhicule à partir des flux de données issus du système de perception, et y localiser le véhicule. Ce dispositif met donc en œuvre un mécanisme de SLAM qui ne sera pas décrit plus avant car n'entrant pas dans le champ de l'invention qui concerne uniquement l'étalonnage des capteurs afin de permettre au mécanisme de SLAM de fonctionner avec la précision nécessaire.
Dans un véhicule autonome, ou autoguidé, le dispositif de traitement 110 peut être prévu pour en outre agir sur le système de pilotage du véhicule afin de le diriger selon la cartographie établie.
Ce dispositif de traitement est typiquement mis en œuvre par un couplage entre moyens matériels et moyens logiciels. Notamment, un calculateur peut être programmé par des algorithmes mettant en œuvre les étapes du procédé selon l'invention qui vont être décrites. Comme évoqué précédemment, l'invention vise à déterminer l'étalonnage extrinsèque des différents capteurs, c'est-à-dire la position et l'orientation relative des capteurs les uns par rapport aux autres, ou par rapport à un repère commun qui peut être celui du véhicule. Dans la suite, l'étalonnage des paramètres intrinsèques des capteurs n'est pas considéré.
Une transformation géométrique permet de passer du repère d'un capteur à celui d'un autre capteur. Cette transformation peut se décomposer en une translation définie par trois paramètres, et en une rotation, également définie par trois paramètres.
L'étalonnage extrinsèque d'un système de perception consiste donc à déterminer un ensemble de six paramètres par capteurs, définissant la position et l'orientation de chaque capteur par rapport au véhicule 100 lui-même. Ainsi, les flux de données issus de chaque capteur peuvent être traités en fonction des paramètres d'étalonnage extrinsèques du capteur en question afin de fournir des informations pertinentes dans un repère commun. Notamment, des recoupements entre ces informations sont alors possibles et peuvent permettre de construire la cartographie selon un mécanisme SLAM.
Afin de connaître l'ensemble des paramètres extrinsèques d'étalonnage, une phase d'étalonnage est nécessaire. Selon l'invention, cette phase peut se faire sans intervention humaine, voire pendant le fonctionnement normal du véhicule. Ainsi, une phase de rafraîchissement des paramètres peut être périodiquement déclenchée sans interrompre le fonctionnement du véhicule, afin de palier d'éventuelle divergence de ces paramètres.
Il est également possible de conduire, « manuellement », le véhicule le long d'un parcours d'apprentissage. Cette étape requiert alors une intervention humaine mais celle-ci est limitée à la conduite du véhicule, l'étalonnage proprement dit s'effectuant de façon automatique pendant le parcourt.
La figure 2 schématise les étapes de ce procédé d'étalonnage selon un mode de réalisation de l'invention.
L'étape 201 correspond au pilotage du véhicule le long d'un parcours au sein de l'environnement à cartographier. Afin de pouvoir déterminer, les paramètres d'étalonnage extrinsèque, en effet, il est nécessaire que le véhicule parcoure un certain trajet dans l'itinéraire, correspondant à des contraintes qui dépendent des différentes mises en œuvre de l'invention.
Notamment, le trajet que doit emprunter le véhicule peut avantageusement comporter au moins une boucle et un demi-tour. Cela permet d'augmenter de façon substantielle la précision de l'étalonnage, en observant les mêmes amers à plusieurs reprises (dans des poses légèrement différentes). Dans le cadre d'une mise en œuvre utilisant des caméras vidéos, cette contrainte est d'autant plus importante que les caméras n'ont pas des champs se chevauchant. Dans le cas contraire, il est possible de passer outre cette contrainte.
Durant ce parcours, le système de perception met deux tâches en action.
Une première tâche, référencée 203 sur la figure 2, consiste à acquérir un flux de trames fournis par des télémètres, notamment de type LIDAR.
Une seconde tâche consiste à déterminer la pose du véhicule en fonction du temps. Les acquisitions des capteurs sont en général échantillonnées, de sorte que la pose du véhicule est déterminée pour des instants discrets. Plusieurs mises en œuvre sont possibles permettant la détermination de la pose du véhicule en fonction du temps.
Selon une première mise en œuvre, la pose est déterminée à partir de capteurs non- environnementaux, c'est-à-dire mesurant des informations provenant du fonctionnement du véhicule lui- même : capteurs sur les roues, consommation de courant des moteurs, etc. Préférentiellement, une centrale inertielle peut être utilisée afin de mesurer les déplacements du véhicule, en translation et en rotation. De la mesure de ces déplacements, la pose peut être directement fournie.
Selon une seconde mise en œuvre, on détermine les paramètres extrinsèques et intrinsèques d'au moins une caméra vidéo Cl, C2 appartenant au système de perception, puis on détermine la pose en fonction de ces paramètres. Cette seconde mise en œuvre correspond aux étapes 202, 204 et 205 de la figure 2.
En référence 202, le système de perception acquiert des flux vidéo, constitués de séquences d'images numériques, provenant des capteurs vidéo.
On suppose également, dans ce mode de réalisation, que les caméras vidéos Cl, C2 sont synchronisées entre elles, c'est-à-dire qu'elles prennent des images aux mêmes instants, la prise pouvant être commandée par des horloges synchronisés entre elles ou par une horloge commune. Ces instants de prise de vue correspondent chacun à une pose du véhicule (ou du système de perception, ce qui revient au même dans la mesure où ils sont liés par une liaison rigide). Les lidars peuvent ne pas être synchronisés. D'une façon générale, selon l'état de la technique, les télémètres, notamment lidar, et les caméras vidéo sont étalonnées séparément. Selon cette mise en œuvre de l'invention, au contraire, il est prévu de lier les deux problèmes et, en particulier, de tirer profit de l'étalonnage des caméras pour l'étalonnage des lidars.
L'étalonnage des paramètres extrinsèques et intrinsèques des caméras Cl, C2 peut être obtenu de différentes façons.
Selon un mode de réalisation, une étape de construction 204 d'une cartographie de l'environnement est mise en place, c'est-à- dire un mécanisme de type SLAM (« Simultaneous Localization and Mapping »). Cette cartographie consiste à déterminer des amers 3D, caractérisés par des paramètres d'amers 3D, à partir des images numériques des flux vidéo issus des caméras, lors du déplacement du véhicule le long du parcours. Chaque image correspond, comme il a été dit précédemment, à une pose du véhicule, caractérisée par des paramètres de pose. Ces amers 3 modélisent les amers du monde réel, c'est-à-dire qu'ils en forment une approximation que l'on vise à être la plus juste possible.
Conformément à un algorithme de type SLAM, la cartographie obtenue comprends des paramètres d'amers 3D et des paramètres de pose. Une pose est définie par trois paramètres de translation et trois paramètres de rotation dans le repère euclidien global ou local (relativement à une pose voisine).
La construction de la cartographie comprend des étapes de reconstruction de cartographie de séquences d'images et d'optimisation de ces cartographies par mise en œuvre d'algorithmes d'ajustement de faisceaux.
Le procédé d'étalonnage des paramètres extrinsèques des caméras comprend
l'optimisation d'au moins une cartographie correspondant à une première séquence d'images en considérant au moins un paramètre extrinsèque et/ou au moins un paramètre de pose et/ou un paramètre d'amer 3D comme constant et
l'optimisation d'au moins une cartographie correspondant à une deuxième séquence d'images plus longue que la première séquence d'images et incluant la première séquence d'images, en considérant ledit au moins un paramètre extrinsèque et/ou ledit au moins un paramètre de pose et/ou ledit au moins un paramètre d'amer 3D comme variable de manière à l'estimer.
Dans un mode de réalisation, on regroupe les images en séquences élémentaires, chaque séquence élémentaire comprenant un nombre X d'images voisines avec un recouvrement de Y images entre deux séquences élémentaires successives (deux séquences élémentaires successives possèdent Y images en commun). Dans un mode de réalisation chaque séquence élémentaire comprend X = 3 images avec un recouvrement de Y = 2 images. Par « images voisines », on entend des images correspondant à des poses proches du système de perception 110, de sorte à ce que ces images se recouvrent et puissent posséder des amers 2D susceptibles d'être appariés. On rappelle qu'on appelle « amer 2D » une forme caractéristique de l'environnement telle que perçue par les caméras vidéos, et qui est donc une perception d'un amer 3D que l'on cherche à construire pour établir la cartographie.
Le procédé d'étalonnage consiste alors à construire une cartographie (partielle ou élémentaire) à partir de chaque séquence élémentaire S, La cartographie de la première séquence élémentaire peut être calculée par géométrie épipolaire et triangulation des amers, puis celles des séquences élémentaires suivantes sont calculés de proche en proche en débutant de la première cartographie.
Le calcul de géométrie épipolaire permet de déterminer les poses du véhicule correspondant aux images de la première séquence élémentaire. La triangulation permet de déterminer les paramètres des amers 3D (i.e. les coordonnées tridimensionnelles pour des amers 3D correspondant aux amers 2D appariés entre les images de la première séquence élémentaire. Le calcul de la géométrie épipolaire est effectué de manière connue, par exemple par identification d'amers 2D caractéristiques dans les images de la séquence, par exemple par la méthode des coins de Harris, appariement des amers 2D caractéristiques entre les images de la séquence, calcul des poses du système de vision par ordinateur 10, par exemple par mise en œuvre d'un algorithme de type RANSAC sur deux poses et extrapolation de la troisième pose.
Le calcul de la triangulation des amers 2D appariés peut être réalisé de manière connue, par exemple par une méthode du point milieu. La triangulation permet d'obtenir des amers 3D, caractérisés par des coordonnées tridimensionnelles dans le repère euclidien global.
Pour les séquences élémentaires suivantes, le calcul de la cartographie comprend la détection des amers 2D dans la ou les images supplémentaires de la séquence par rapport à la précédente, puis la détermination de la pose correspondance du système de perception à partir de ces amers 2D que l'on apparie avec ceux déjà calculés dans la cartographie de la séquence élémentaire précédente. Enfin, les amers 2D supplémentaires sont triangulés.
Toutes les séquences élémentaires sont ainsi reconstruites de proche en proche. Chaque cartographie de chaque séquence élémentaire peut alors être optimisée par mise en œuvre d'un algorithme d'ajustement de faisceaux. Un algorithme d'ajustement de faisceaux est un algorithme itératif permettant d'optimiser les différents paramètres entrant dans le calcul de la cartographie, par convergence d'un critère qui est généralement la minimisation d'une fonction de coût. Les paramètres entrant dans le calcul d'une cartographie à partir d'images prises par un ensemble de caméras comprennent les paramètres d'amers 3D, les paramètres des poses du système de perception par ordinateur, les paramètres extrinsèques du système de vision par ordinateur et les paramètres intrinsèques du système de vision par ordinateur. Un paramètre considéré comme variable lors de l'optimisation sera estimé et un paramètre considéré comme constant ou fixe ne sera pas optimisé ou estimé.
Le procédé d'étalonnage comprend ainsi l'optimisation de la cartographie de chaque séquence élémentaire par ajustement de faisceaux en considérant les paramètres extrinsèques comme constants. Ensuite, les cartographies des séquences élémentaires sont agrégées pour obtenir la cartographie de la séquence complète.
Ce procédé est plus amplement décrit, avec plusieurs mises en œuvre possibles, dans la demande de brevet WO2013/053701, intitulée « Procédé d'étalonnage d'un système de vision par ordinateur embarqué sur un mobile ». Il est également décrit dans l'article « Fast callibration of embedded non-overlapping caméras », de Pierre Lébraly, Eric Royer, Omar Ait- Aider, Clément Deymier et Michel Dhome, in IEEE International Conférence on Robotics and Automation (ICRA), 2011. Ce procédé permet d'étalonner simultanément les paramètres intrinsèques et les paramètres extrinsèques.
D'autres procédés sont toutefois utilisables pour étalonner les caméras.
Une fois les paramètres d'étalonnage déterminés, à l'issus d'étape 204, les poses du véhicule en fonction du temps peuvent être facilement déterminée, dans une étape 205. Dans le mode de réalisation décrit, en fait, les poses sont déterminées en même temps que les paramètres de calibration pour chaque image. Les images étant datées, on en déduit la pose en fonction du temps.
Le procédé de l'invention comprend en outre la détection d'amers, 206, au sein des flux de trames issus des télémètres (LIDAR...), puis la détermination des paramètres extrinsèques, 207, minimisant une fonction de coût prenant en compte les paramètres de position de ces amers au sein d'une trame et une pose du véhicule interpolée pour un temps correspondant à celui de ladite trame.
L'invention permet de ne pas imposer une synchronisation entre l'acquisition des trames LIDAR et l'acquisition des images vidéo, qui serait en pratique une contrainte très forte, difficile à mettre en œuvre. Pour cela, une interpolation est mise en œuvre pour faire correspondre les dates d'acquisition des trames lidars aux dates des poses (déterminés par les acquisitions des images vidéos).
Selon un mode de réalisation de l'invention, on calcule d'abord la pose du véhicule en l'instant correspondant à celui de la trame acquise. Par interpolation on replace ainsi les trames dans le « monde » tel que perçu par les caméras. Un autre mode de réalisation consiste à au contraire interpoler les trames lidars afin de les faire correspondre aux dates des poses. Dans chaque trame, dans une étape référencée 206 sur la figure 2, on cherche à détecter des amers, c'est-à-dire des formes caractéristiques. Selon un mode de réalisation, ces amers sont des formes rectilignes. En particulier, il peut s'agir de segments de droite.
Dans l'exemple de la figure 4 qui sera expliquée plus loin, les lidars balayent un plan horizontal et les amers détectés sont donc des lignes horizontales, mais d'autres mises en œuvre sont possibles. Ces lignes horizontales peuvent correspondre à l'intersection du plan balayé par le LIDAR avec des obstacles verticaux dans le monde réel, notamment des murs.
Pour un bon étalonnage, il est nécessaire que le parcours du véhicule ait lieu dans un environnement comportant un nombre suffisant de murs. Il est évident qu'en fonction des contextes d'application du procédé selon l'invention, d'autres formes caractéristiques pourront être utilisées.
Dans chaque trame, on peut extraire les lignes à l'aide d'un algorithme de décomposition/fusion (ou « split and merge » en anglais), tel que par exemple d'écrit dans l'article « A comparison of line extraction algorithms using 2D laser rangefinder for indoor mobile robotics » de Viet Nguyen, Agostino Martinelli, Nicola Tomatis et Roland Siegwart, in Proceedings of the IEEE/RSJ International Conférence on Intelligent Robots and Systems, IROS 2006.
Dans la mesure où, selon ce mode de réalisation, les lignes extraites des trames lidar sont l'intersection du plan lidar avec des plans verticaux, il n'est pas possible de déterminer la position verticale des lidars, c'est-à-dire leurs hauteurs.
Une ligne est détectée au sein d'une trame si elle satisfait un critère prédéterminé. Selon un mode de réalisation, ce critère est formé de deux conditions :
la ligne contient au moins un certain nombre de points, par exemple 50 points, et,
aucun point n'est à plus d'une distance donnée (par exemple 6 cm) de la meilleure ligne passant dans le nuage de points.
Toutes les lignes ainsi extraites des trames LIDAR sont groupés dans un ensemble de ligne £. Plus précisément, si on note £i l'ensemble des lignes extraites des trames du lidar numéro i (avec 1 < i < n), l'ensemble £ est l'union de tous les ensembles £i.
Chaque ligne est définie par ses deux points d'extrémité et un vecteur normal pointant dans la direction d'observation. Ce dernier élément permet d'éviter des fausses associations entre, par exemple, la face avant et la face arrière d'un même mur.
Dans une étape suivant, les ensembles de lignes £ sont subdivisés en groupes ou grappes (« clusters » en langue anglaise), suivant le principe que si deux lignes détectées sont suffisamment proches l'une de l'autre, en distance et orientation, il est très probable qu'il s'agisse de deux observations d'une même ligne du monde réel. Il s'agit donc d'associer les amers détectés qui correspondent à un même amer du monde réel.
Le but recherché par cette étape est d'obtenir un unique groupe Ili pour chaque plan vertical i observé pendant le parcours du véhicule. Dans la suite on appellera « plan » chacun des groupes Ili et les plans seront associés à une équation cartésienne respective pour l'étape ultérieure de minimisation d'une fonction de coût.
Lorsque le regroupement en grappe (« cluster ») est terminé, chaque équation de plan peut être initialisée avec pour valeur l'équation du plan vertical qui correspond au mieux aux équations de lignes qui lui sont associés.
Plus précisément et par exemple, on peut définir le plan vertical par un point (appartenant au plan) et deux vecteurs formant une base du plan. Un des deux vecteurs est un vecteur orienté selon la verticale du monde réel ; l'autre vecteur est la moyenne des vecteurs directeurs de tous les segments de droite associés au plan. Le point est le barycentre de l'ensemble des points milieu de tous les segments associés au plan. A titre illustratif, un exemple d'implémentation des étapes de création et de fusion des groupes Πι peut être donné sous la forme d'algorithme en pseudo-langage :
Création de groupes
REPETER
li — élément aléatoire de l'ensemble £
RETIRER li de l'ensemble £
Πι <- {1ι}
POUR TOUT le£ FAIRE
SI 1 et li sont suffisamment proches ALORS
Πι <- Πιυ{1}
RETIRER 1 de l'ensemble £
FIN SI FIN POUR
i <- i+1
JUSQU'A CE QUE £ soit vide Fusion des groupes
REPETER POUR TOUT i, j AVEC i<j FAIRE
SI 5(m,n)eIIi xllj tel que m et n sont suffisamment proches
ALORS
Fusionner Πι et Ilj
FIN SI FIN POUR
JUSQU'A CE QUE plus aucune fusion ne soit possible.
Les conditions pour deux lignes li et d'être « suffisamment proches » peuvent être comme suit :
- l'angle entre les lignes li et I2 est inférieur à un seuil donné, par exemple 15° ;
la distance euclidienne entre les segments de droite est inférieure à un seuil donné, par exemple 1 mn ; le produit scalaire entre les vecteurs normaux associés aux lignes li et I2 est positif. Ainsi qu'indiqué plus haut, cela permet d'éviter d'associer des surfaces avant et arrière d'un même mur ;
En outre, dans le cas où les poses sont déterminées par un algorithme de SLAM visuels, une condition supplémentaire peut être que les lignes ont été observées selon deux poses qui sont connectés dans le graphe des poses issues de l'algorithme SLAM (étape 204). En d'autres termes, les deux poses partagent une même caractéristique visuelle détectée. Ensuite, dans une étape référencée 207 sur la figure 2, on détermine les paramètres extrinsèques des lidars, qui minimisent une fonction de coût mesurant les écarts entre les amers détectés associés à un même amer du monde réel. Plus précisément, elle peut mesurer l'écart entre les lignes détectées appartenant à un même groupe (ou « cluster ») issus de l'étape 206. Cette fonction de coût prend en compte les paramètres de position de ces amers au sein d'une trame et la pose correspondante du véhicule, interpolés pour une même date.
Selon un mode de réalisation de l'invention, cette minimisation peut se faire de façon itérative au moyen, par exemple, de l'algorithme de Levenberg-Marquardt.
L'algorithme de Levenberg-Marquardt, ou algorithme LM, permet d'obtenir une solution numérique au problème de minimisation d'une fonction, souvent non linéaire et dépendant de plusieurs variables. L'algorithme interpole l'algorithme de Gauss- Newton et l'algorithme du gradient. Plus stable que celui de Gauss-Newton, il trouve une solution même s'il est démarré très loin d'un minimum.
Cet algorithme est classique et bien connu de l'homme du métier. L'encyclopédie en ligne Wikipedia en fournit des explications, mais il est également possible de se référer à des librairies d'algorithmes, ou aux articles fondamentaux :
K. Levenberg, « A Method for the Solution of Certain Problème in Least Squares », dans Quart. Appl. Math. 2, 1944, p. 164-168
D. Marquardt, « An Algorithm for Least- Squares Estimation of Nonlinear Parameters », dans SIAM J. Appl. Math. 11, 1963, p. 431-441
D'autres algorithmes proches ou basés sur l'algorithme de Levenberg-Marquardt sont bien évidemment également utilisables et accessibles à l'homme du métier. On peut alors chercher à déterminer d'une part la pose de chacun des lidars du système de supervision, soit 5 paramètres extrinsèques par lidar; ainsi que l'équation des plans verticaux. Un des avantages supplémentaires du procédé est que puisque les équations des plans sont considérés comme des inconnus du problème, il n'est pas nécessaire d'avoir des conditions a priori sur l'environnement dans lequel évolue le véhicule.
On considère qu'un plan Ilj est associé à n, segments de droite ly avec 1 < i < nj
Chaque segment est définie par ces deux extrémités My et Ny et le plan Ilj est défini par son équation cartésienne.
Une fonction F() de coût possible peut être :
F Lidars Plans
Figure imgf000025_0001
dans laquelle d(P,n) est la distance euclidienne entre le point P et le plan Π.
Cette fonction de coût est calculée à partir de deux familles de paramètres qui définissent respectivement les paramètres extrinsèques des lidars et l'équation des plans. Minimiser cette fonction permet d'obtenir les paramètres des lidars pour lesquels les écarts entre chaque segment de droite [My, Ny] et le plan Ilj modélisant l'amer associé dans le monde réel est minimal. Ces plans n'étant pas connus, ils font également partie des paramètres à déterminer lors du processus de minimisation.
Différentes mises en œuvre sont possibles pour minimiser cette fonction, et également pour définir les plans verticaux. Toutefois ainsi que mentionné plus haut, une application directe de l'algorithme de Levenberg-Marquardt permet de résoudre un tel cas d'optimisation d'une fonction de coût définie, comme ici, d'une somme de distances au carré.
Une méthode simple de définition des plans verticaux consiste à considérer que les verticales sont parfaitement verticales. Dès lors, il est possible de définir un plan vertical par uniquement deux paramètres qui peuvent être la distance do entre l'origine d'un repère et un point A le plus proche de cette origine 0, ainsi qu'un angle Θ entre l'axe des abscisses et le segment orienté liant l'origine 0 à ce point A. La figure 3 schématise cette définition possible d'un plan vertical et présente une projection du plan Π sur le plan horizontal formé par les axes des abscisses X et des ordonnées Y.
L'équation d'un plan vertical Π peut alors s'écrire :
x.cos(9)+y.sin(9)-do=0
Cette hypothèse sur l'exacte verticalité peut impacter la précision de l'étalonnage. Même si le sol semble plat et horizontal, la position des caméras peut engendrer une légère inclinaison.
Une autre mise en œuvre consiste à ajouter deux autres paramètres, α, β, qui définissent cet axe vertical V, par ν=(α,β,1)τ. Ces deux paramètres peuvent être initialisés à zéro et être adaptés pendant le processus itératif de minimisation.
L'équation d'un plan vertical Π peut alors s'écrire :
x.cos(0)+y.sin(0)+z(-a.cos(0)- .sin(0))-do=O
Dans cette écriture, les paramètres α,β sont communs à tous les plans alors que les paramètres Θ et do sont propres à chaque plan. Ainsi la fonction de coût fait intervenir 5 x N + 2 x M + 2 paramètres (M étant le nombre de plans et N le nombre de lidars).
L'ajout de ces paramètres α, β permet d'améliorer significativement la précision de l'étalonnage. A titre d'exemple, des expérimentations entreprises par les inventeurs ont permis d'obtenir une précision de 2.9 cm et 2.2°, au lieu de 4.8 cm et 3.4° sans l'utilisation de ces paramètres (toutes choses étant égales par ailleurs).
La figure 4 illustre le résultat de cette étape de minimisation de façon graphique. Dans cette scène correspondant à un extrait d'une cartographie, les lignes claires représentent les amers détectés par le système de perception, et les lignes grises représentent les murs « modélisés », c'est-à-dire la projection des plans verticaux Π.
Sur la partie gauche, on voit que chaque mur est détecté chacun par un groupe de lignes plus ou moins épais. L'épaisseur de ces groupes est le résultat du mauvais étalonnage des lidars. Au sein de chaque groupe, la minimisation permet de déterminer les paramètres d'étalonnage minimisant l'épaisseur de ces groupes, ainsi qu'il apparaît sur la partie droite correspondant à la même scène.
Le procédé selon l'invention s'applique particulièrement bien à un système de perception permettant à un véhicule de détecter des obstacles, notamment des murs. Elle est particulièrement efficace lorsque les lidars balayent un plan horizontal de l'espace environnant.
Des essais expérimentaux démontrent que le procédé selon l'invention permet de retrouver la pose des lidars avec une précision de l'ordre de 2 cm pour la position et 2° pour l'orientation. Bien entendu, la présente invention n'est pas limitée aux exemples et au mode de réalisation décrits et représentés, mais elle est susceptible de nombreuses variantes accessibles à l'homme de l'art.

Claims

REVENDICATIONS
1. Procédé de détermination des paramètres extrinsèques d'un système de perception embarqué sur un véhicule (100) parcourant un trajet et comprenant un ensemble de télémètres (Ll, L2) fournissant des flux de trames à un dispositif de traitement (110), ledit procédé étant caractérisé par la détermination de paramètres d'étalonnage d'au moins une caméra vidéo (Cl, C2) appartenant audit système de perception, la détermination de la pose dudit véhicule en fonction du temps et desdits paramètres et comprenant en outre la détection d'amers au sein desdits flux de trames correspondant à des amers du monde réel, puis la détermination des paramètres extrinsèques minimisant une fonction de coût mesurant les écarts entre les amers détectés associés à un même amer du monde réel.
2. Procédé selon la revendication précédente, dans lequel la détermination desdits paramètres d'étalonnage de ladite au moins une caméra vidéo comprend la reconstruction de cartographie de l'environnement dudit véhicule comportant des amers 3D modélisant les amers du monde réel, l'optimisation d'au moins une cartographie correspondant à une première séquence d'images provenant de ladite au moins une caméra vidéo, en considérant au moins un paramètre extrinsèque et/ou au moins un paramètre intrinsèque et/ou au moins un paramètre de pose et/ou un paramètre d'amer 3D comme constant, et l'optimisation d'au moins une cartographie correspondant à une deuxième séquence d'images plus longue que la première séquence d'images et incluant la première séquence d'images, en considérant ledit au moins un paramètre extrinsèque et/ou ledit au moins un paramètre intrinsèque et/ou ledit au moins un paramètre de pose et/ou un paramètre d'amer 3D comme variable de manière à l'estimer.
3. Procédé selon l'une des revendications précédentes, dans lequel les amers détectés sont regroupés en fonction d'un critère de proximité.
4. Procédé selon l'une des revendications précédentes, dans lequel lesdits amers sont des segments de droite
5. Procédé selon les revendications 3 et 4, dans lequel ladite fonction de coût mesure l'écart entre les lignes détectées appartenant à un groupe.
6. Procédé selon l'une des revendications précédentes, dans lequel la minimisation de ladite fonction de coût se fait de façon itérative au moyen d'un algorithme de type Levenberg- Marcquardt.
7. Programme d'ordinateur comprenant des instructions logicielles mettant en œuvre un procédé selon l'une des revendications précédentes, lorsque déployées sur un dispositif de traitement de l'information.
8. Dispositif de traitement (110) pour la détermination des paramètres extrinsèques d'un système de perception embarqué sur un véhicule (100) parcourant un trajet et comprenant un ensemble de télémètres (Ll, L2) fournissant des flux de trames audit dispositif de traitement (110), au moins une caméra vidéo (Cl, C2), et comportant les moyens logiciels et/ou matériels pour la mise en œuvre du procédé selon l'une des revendications 1 à 8.
PCT/FR2018/050210 2017-01-31 2018-01-30 Procédé et dispositif pour l'étalonnage d'un système de perception comportant un ensemble de télémètres lidar WO2018142057A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1750802A FR3062507B1 (fr) 2017-01-31 2017-01-31 Procede et dispositif pour l'etalonnage d'un systeme de perception comportant un ensemble de telemetres lidar
FR1750802 2017-01-31

Publications (1)

Publication Number Publication Date
WO2018142057A1 true WO2018142057A1 (fr) 2018-08-09

Family

ID=59253596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2018/050210 WO2018142057A1 (fr) 2017-01-31 2018-01-30 Procédé et dispositif pour l'étalonnage d'un système de perception comportant un ensemble de télémètres lidar

Country Status (2)

Country Link
FR (1) FR3062507B1 (fr)
WO (1) WO2018142057A1 (fr)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726579B1 (en) 2019-11-13 2020-07-28 Honda Motor Co., Ltd. LiDAR-camera calibration
EP3699630A1 (fr) 2019-02-25 2020-08-26 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Système et procédé de compensation de mouvement d'un composant de véhicule
CN112051591A (zh) * 2020-08-31 2020-12-08 广州文远知行科技有限公司 一种激光雷达与惯性测量单元的检测方法及相关装置
CN113311412A (zh) * 2021-05-13 2021-08-27 哈尔滨工业大学 用于移动机器人的激光雷达传感器六维外参标定方法
US11117591B2 (en) * 2019-05-08 2021-09-14 Pony Ai Inc. System and method for recalibration of an uncalibrated sensor
US11210535B1 (en) 2020-08-17 2021-12-28 Ford Global Technologies, Llc Sensor fusion

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240017731A1 (en) * 2022-07-12 2024-01-18 Gm Cruise Holdings Llc Drive-through calibration process

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013053701A1 (fr) 2011-10-10 2013-04-18 Universite Blaise Pascal - Clermont Ii Procede d'etalonnage d'un systeme de vision par ordinateur embarque sur un mobile

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013053701A1 (fr) 2011-10-10 2013-04-18 Universite Blaise Pascal - Clermont Ii Procede d'etalonnage d'un systeme de vision par ordinateur embarque sur un mobile

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
CHAO GAO ET AL.: "On-line calibration of multiple LIDARs on a mobile vehicle platform", IEEE INTERNATIONAL CONFÉRENCE ON ROBOTICS AND AUTOMATION, ICRA 2010, 2010
CHAO GAO ET AL: "On-line calibration of multiple LIDARs on a mobile vehicle platform", 2010 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION : ICRA 2010 ; ANCHORAGE, ALASKA, USA, 3 - 8 MAY 2010, IEEE, PISCATAWAY, NJ, USA, 3 May 2010 (2010-05-03), pages 279 - 284, XP031743815, ISBN: 978-1-4244-5038-1 *
D. MARQUARDT: "An Algorithm for Least-Squares Estimation of Nonlinear Parameters", SIAM J. APPL. MATH., vol. 11, 1963, pages 431 - 441, XP000677023, DOI: doi:10.1137/0111030
DAVISON: "Real-time simultaneous localisation and mapping with a single camera", PROCEEDINGS OF THE EIGHT IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION. (ICCV). NICE, FRANCE, OCT. 13 - 16, 2003., 1 January 2003 (2003-01-01), US, pages 1403, XP055391722, ISBN: 978-0-7695-1950-0, DOI: 10.1109/ICCV.2003.1238654 *
HUIJING ZHAO ET AL.: "Intelligent Vehicles Symposium", 2009, IEEE, article "Sensor alignement towards an omni-directional measurement using an intelligent vehicle"
HUIJING ZHAO ET AL: "Sensor alignment towards an omni-directional measurement using an intelligent vehicle", INTELLIGENT VEHICLES SYMPOSIUM, 2009 IEEE, IEEE, PISCATAWAY, NJ, USA, 3 June 2009 (2009-06-03), pages 292 - 298, XP031489856, ISBN: 978-1-4244-3503-6 *
JAVIER CIVERA ET AL: "Camera self-calibration for sequential Bayesian structure from motion", 2009 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION : (ICRA) ; KOBE, JAPAN, 12 - 17 MAY 2009, IEEE, PISCATAWAY, NJ, USA, 12 May 2009 (2009-05-12), pages 403 - 408, XP031509953, ISBN: 978-1-4244-2788-8 *
K. LEVENBERG: "A Method for the Solution of Certain Problems in Least Squares", QUART. APPL. MATH., vol. 2, 1944, pages 164 - 168
PIERRE LÉBRALY; ERIC ROYER; OMAR AIT-AIDER; CLÉMENT DEYMIER; MICHEL DHOME: "Fast callibration of embedded non-overlapping cameras", IEEE INTERNATIONAL CONFÉRENCE ON ROBOTICS AND AUTOMATION (ICRA), 2011
SEBASTIAN HANER ET AL: "A step towards self-calibration in SLAM: Weakly calibrated on-line structure and motion estimation", COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), 2010 IEEE COMPUTER SOCIETY CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 13 June 2010 (2010-06-13), pages 59 - 64, XP031728443, ISBN: 978-1-4244-7029-7 *
VIET NGUYEN; AGOSTINO MARTINELLI; NICOLA TOMATIS; ROLAND SIEGWART: "A comparison of line extraction algorithms using 2D laser rangefinder for indoor mobile robotics", PROCEEDINGS OF THE IEEE/RSJ INTERNATIONAL CONFÉRENCE ON INTELLIGENT ROBOTS AND SYSTEMS, IROS, 2006

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3699630A1 (fr) 2019-02-25 2020-08-26 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Système et procédé de compensation de mouvement d'un composant de véhicule
WO2020173642A1 (fr) 2019-02-25 2020-09-03 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Système et procédé pour compenser un mouvement d'un composant de véhicule
US12025751B2 (en) 2019-02-25 2024-07-02 Knorr-Bremse Systeme Fuer Nutzfahrzeuge Gmbh System and method for compensating a motion of a vehicle component
US11117591B2 (en) * 2019-05-08 2021-09-14 Pony Ai Inc. System and method for recalibration of an uncalibrated sensor
US11845448B2 (en) 2019-05-08 2023-12-19 Pony Ai Inc. System and method for recalibration of an uncalibrated sensor
US10726579B1 (en) 2019-11-13 2020-07-28 Honda Motor Co., Ltd. LiDAR-camera calibration
US11210535B1 (en) 2020-08-17 2021-12-28 Ford Global Technologies, Llc Sensor fusion
CN112051591A (zh) * 2020-08-31 2020-12-08 广州文远知行科技有限公司 一种激光雷达与惯性测量单元的检测方法及相关装置
CN112051591B (zh) * 2020-08-31 2022-11-29 广州文远知行科技有限公司 一种激光雷达与惯性测量单元的检测方法及相关装置
CN113311412A (zh) * 2021-05-13 2021-08-27 哈尔滨工业大学 用于移动机器人的激光雷达传感器六维外参标定方法
CN113311412B (zh) * 2021-05-13 2024-03-01 哈尔滨工业大学 用于移动机器人的激光雷达传感器六维外参标定方法

Also Published As

Publication number Publication date
FR3062507B1 (fr) 2020-05-15
FR3062507A1 (fr) 2018-08-03

Similar Documents

Publication Publication Date Title
WO2018142057A1 (fr) Procédé et dispositif pour l&#39;étalonnage d&#39;un système de perception comportant un ensemble de télémètres lidar
US11237004B2 (en) Log trajectory estimation for globally consistent maps
Wen et al. 3D LiDAR aided GNSS NLOS mitigation in urban canyons
Zlot et al. Efficient large‐scale three‐dimensional mobile mapping for underground mines
Tao et al. Mapping and localization using GPS, lane markings and proprioceptive sensors
Wei et al. GPS and Stereovision‐Based Visual Odometry: Application to Urban Scene Mapping and Intelligent Vehicle Localization
US8660338B2 (en) Wide baseline feature matching using collobrative navigation and digital terrain elevation data constraints
Ben‐Afia et al. Review and classification of vision‐based localisation techniques in unknown environments
US9998660B2 (en) Method of panoramic 3D mosaicing of a scene
JP6432825B2 (ja) ３次元点群データの位置合わせ方法と装置及びその移動体システム
Zhou et al. Tightly-coupled camera/LiDAR integration for point cloud generation from GNSS/INS-assisted UAV mapping systems
Kunz et al. Map building fusing acoustic and visual information using autonomous underwater vehicles
EP2724203A1 (fr) Génération de données de carte
Jende et al. A fully automatic approach to register mobile mapping and airborne imagery to support the correction of platform trajectories in GNSS-denied urban areas
EP3126864B1 (fr) Procédé de géo-localisation de l&#39;environnement d&#39;un porteur
US20190331496A1 (en) Locating a vehicle
KR102342945B1 (ko) 서라운드 이미지를 이용한 자율주행 이동체의 위치 추정 장치 및 방법
Roh et al. Aerial image based heading correction for large scale SLAM in an urban canyon
Rahman et al. Improving multisensor positioning of land vehicles with integrated visual odometry for next‐generation self‐driving cars
Fanta‐Jende et al. Co‐registration of panoramic mobile mapping images and oblique aerial images
WO2013026872A1 (fr) Méthode de localisation d&#39;un objet au moyen d&#39;une grille de référence
Pöppl et al. Trajectory estimation with GNSS, IMU, and LiDAR for terrestrial/kinematic laser scanning
FR3091591A1 (fr) Dispositif d’estimation du vecteur vitesse d’un corps rigide mobile
FR2916529A1 (fr) Procede de metrologie optique pour mesurer le contour d&#39;une piece manufacturee
Hsu et al. New integrated navigation scheme for the level 4 autonomous vehicles in dense urban areas

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18705438

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18705438

Country of ref document: EP

Kind code of ref document: A1