WO2023078936A1 - Traitement de données d'un capteur lidar - Google Patents

Traitement de données d'un capteur lidar Download PDF

Info

Publication number
WO2023078936A1
WO2023078936A1 PCT/EP2022/080562 EP2022080562W WO2023078936A1 WO 2023078936 A1 WO2023078936 A1 WO 2023078936A1 EP 2022080562 W EP2022080562 W EP 2022080562W WO 2023078936 A1 WO2023078936 A1 WO 2023078936A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
group
neighboring pixels
particles
cloud
Prior art date
Application number
PCT/EP2022/080562
Other languages
English (en)
Inventor
Olivier Dirat
Boris Lugez
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Publication of WO2023078936A1 publication Critical patent/WO2023078936A1/fr

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Definitions

  • the present invention relates to a device and a method for processing data from a LiDAR sensor.
  • a LiDAR sensor Light Detection And Ranging is a sensor emitting light waves and determining, from the reflection of these light waves, a matrix mapping an environment of the LiDAR sensor.
  • the environment matrix of the LiDAR sensor may include particles in suspension and in particular, when the LiDAR sensor is on board a vehicle, particles in suspension from the exhaust gases.
  • LiDAR LiDAR
  • a solution proposed by the document US8818609 consists in determining if a zone of points obtained by the LiDAR sensor corresponds to exhaust gases or if it is a zone corresponding to a solid object from a profile of density and an elevation profile of these points. Specifically, the density and elevation profiles are compared with previously determined profiles and a classifier is used to determine whether it is exhaust gas or a solid object based on the comparison.
  • a first objective of the present disclosure therefore consists in proposing an alternative device and method adapted to detect whether a group of points (pixels) obtained by a LiDAR sensor adapted to be mounted on a vehicle corresponds in whole or in part to a cloud of particles. .
  • Another objective of the present disclosure consists in enabling the device and the method to detect whether, within this group of pixels previously identified as belonging in whole or in part to a cloud of particles, pixels correspond to solid elements other than particles.
  • the present disclosure presents a device for processing data from a LiDAR sensor adapted to be mounted on a vehicle, the device comprising a computer configured for:
  • each pixel of the matrix being associated with a light intensity and a position in a three-dimensional space
  • the computer is also configured to determine, for at least one specific pixel of the group of neighboring pixels identified as belonging in whole or in part to a cloud of particles, if the specific pixel belongs to a solid element other than the cloud of particles .
  • the computer is configured to determine that the specific pixel belongs to a solid element when an intensity associated with the pixel is greater than an intensity threshold associated with a determined solid element.
  • the computer is further configured to determine an average distance of the group of neighboring pixels with respect to the LiDAR sensor.
  • a group of neighboring pixels can be a candidate for being identified as belonging in whole or in part to the cloud of particles when an average distance of the pixels of the group of neighboring pixels with respect to the LiDAR sensor is less than a predetermined distance threshold.
  • the computer is also configured to determine an average intensity of the group of neighboring pixels and an average distance of the group of neighboring pixels with respect to the LiDAR sensor.
  • a group of neighboring pixels can be a candidate for being identified as belonging in whole or in part to the cloud of particles when an average intensity of the pixels of the group of neighboring pixels is less than a determined intensity threshold, the intensity threshold being determined from the average distance of the group of pixels.
  • the computer is further configured to determine an azimuth angle for each of the pixels of the group of neighboring pixels.
  • a group of neighboring pixels can be a candidate to be identified as belonging in whole or in part to the cloud of particles when a distribution of the azimuth angle of the pixels of the group of neighboring pixels substantially corresponds to a predetermined model.
  • the computer is configured to identify a group of neighboring pixels as corresponding to a plurality of pixels each pixel of which is at a distance less than a predetermined neighboring threshold from another pixel of the group of pixels.
  • the present disclosure presents a vehicle carrying a data processing device according to one of the options described above.
  • the computer of the data processing device is then configured to identify a cloud of particles comprising particles of exhaust gases.
  • the present disclosure presents a method for processing data from a LiDAR sensor mounted on a vehicle characterized in that it comprises:
  • each pixel of the matrix being associated with a light intensity and a position in space in three dimensions
  • the method further comprises a determination, for at least one specific pixel of the group of neighboring pixels, of a membership of the specific pixel to a solid element other than the cloud of particles.
  • This disclosure further presents a computer program product comprising instructions for performing any of the methods presented herein when implemented by a computer. It also presents a non-transitory computer-readable storage medium on which are stored code instructions for implementing any of the methods described in this document.
  • FIG. 1a presents an example of a data processing device.
  • FIG. 1 b presents another example of a data processing device.
  • FIG. 2 shows an example of a LiDAR sensor mounted on a vehicle.
  • FIG. 3 presents an example of different blocks that a computer of the data processing device is configured to control.
  • FIG. 4 presents an example of a group of neighboring pixels and an example of several subsets of pixels.
  • FIG. 5a presents an example of homogeneous distribution of the directions of the normal vectors of the pixels of a group of pixels.
  • FIG. 5b presents an example of a heterogeneous distribution of the directions of the normal vectors of the pixels of a group of pixels.
  • FIG. 6a presents an example of distribution of the azimuth angles of the pixels of a group of pixels.
  • FIG. 6b presents another example of distribution of the azimuth angles of the pixels of a group of pixels.
  • the present disclosure presents a device for processing data from a LiDAR sensor comprising a computer configured to implement various actions. These different actions make it possible in particular to identify whether a group of pixels obtained from the LiDAR sensor and describing the LiDAR environment belongs in whole or in part to a cloud of particles. Optionally, it can also be determined whether a specific pixel of the group of pixels identified as belonging in whole or in part to a cloud of particles, belongs to a solid element other than the cloud of particles.
  • a LiDAR sensor mounted on a vehicle makes it possible to map the environment around the vehicle.
  • This cartography can in particular comprise information relating to clouds of particles or to solid elements.
  • clouds of particles on the matrix of the LiDAR may for example correspond to exhaust gases from vehicles (and in particular from the vehicle on which the LiDAR is mounted).
  • solid elements they can represent obstacles, for example other vehicles surrounding the vehicle on which the LiDAR is mounted.
  • the information acquired, from the LiDAR point of view, whether it is a cloud of particles or a solid element other than the cloud of particles simply represents a set of pixels.
  • a cloud of particles should not be interpreted as an obstacle since this does not entail any danger for the passengers and for the vehicle, unlike a solid element.
  • the processing device presented by the present disclosure is thus adapted to implement a solution which identifies groups of pixels which can correspond in whole or in part to clouds of particles and optionally which can distinguish, among these groups, pixels corresponding to solid elements other than particles.
  • the solution presented is a pre-processing solution in the sense that heavier processing can be carried out following the solution to ensure that the solid elements detected by the processing device do not correspond to “false positives”.
  • the solution presented can thus voluntarily discriminate groups of pixels on which there is a strong presumption that they correspond to solid elements so that they are directly processed by these heavier processing operations. This preserves the ability to detect a solid element that could harm the physical integrity of passengers and damage the vehicle.
  • FIGS. 1 a and 1 b presenting examples of data processing device 1 of a LiDAR sensor 2.
  • a data processing device 1 may comprise a computer 3 suitable for executing code instructions enabling the data processing device to control several data processing blocks linked to the LiDAR sensor 2.
  • the code instructions can for example be stored in a memory 31 accessible to the computer 3.
  • the computer 3 can be for example a processor, a controller or a microcontroller. It is therefore connected to memory 31 so as to be able to use the information it contains.
  • the memory 31 can for example comprise a read only memory ROM (Read-Only Memory), a random access memory RAM (Random Access Memory), an electrically erasable and programmable read only memory EEPROM (Electrically Erasable Programmable Read-Only Memory) or any other type of suitable storage means allowing the reading of code instructions.
  • the memory can for example comprise optical, electronic or even magnetic storage means.
  • an example of data processing device 1 comprises LiDAR sensor 2, computer 3 and memory 31.
  • LiDAR sensor 2 comprises computer 3 and memory 31.
  • a non-limiting example of a data processing device can therefore correspond to a LiDAR sensor 2 comprising the computer 3 and the memory 31 .
  • the LiDAR sensor 2 can be physically connected to the memory 31 of the computer 3 so that the data obtained by the LiDAR sensor following the emission of light beams are transmitted by wired connections to the memory 31 to be stored.
  • the data processing controlled by the computer 3 from the data contained in the memory 31 and described below by the present disclosure can therefore take place locally at the level of the LiDAR sensor.
  • the data processing device comprises a LiDAR sensor 2 which can be connected with a computer 3 having a memory 31 by telecommunications channels.
  • the LiDAR sensor 2 and the computer 3 having the memory 31 can therefore be separated and the data obtained by the LiDAR sensor 2 are sent via telecommunication channels to the computer 3 so as to be stored in memory 31.
  • the computer 3 and memory 31 can for example be part of a remote server.
  • the telecommunications channels can for example include 3G, 4G, 5G, optical, electromagnetic channels, etc.
  • the data processing can be performed by a computer 3 located directly at the level of the vehicle as shown in Figure 2.
  • the arrow D represents the direction of movement of the vehicle 10 and the arrow O represents the optical axis of the LiDAR sensor.
  • the computer can be understood by the LiDAR sensor as in the example shown in Figure 1 a or simply correspond to another computer present on the vehicle 10 as shown in Figure 2.
  • the computer 3 can for example be the electronic control unit (generally known by its name English "Electronic Control Unit") of the vehicle 10.
  • the LiDAR sensor 2 is mounted on the vehicle 10 and the computer 3 is located at the level of a server remote from the vehicle 10. The data processing is therefore carried out at the level from the remote server.
  • computer 3 is configured to obtain a matrix of pixels p acquired by LiDAR sensor 2.
  • the matrix is determined by LiDAR 2 via the emission of a light beam, which is reflected and received by said LiDAR 2 thus making it possible to constitute the matrix of pixels p.
  • I intensity
  • x and y are the Cartesian coordinates of the pixel p and z is a depth coordinate.
  • the x, y and z coordinates are calculated from a position of pixel p on a LiDAR 2 receiver array and from a distance of pixel p from the LiDAR sensor.
  • the distance of the pixel p with respect to the LiDAR sensor is determined as a function of the time between the emission of the beam and its reception by the LiDAR 2.
  • the matrix of pixels is then stored in the memory 31 of the computer 3 by the use of channels communication methods adapted to the data processing device used.
  • computer 3 is configured to identify at least one group of neighboring pixels of matrix M of pixels. Two pixels of the pixel matrix can correspond to neighboring pixels if a distance between these pixels is less than a predetermined neighboring threshold.
  • the computer can be configured to identify a group of neighboring pixels as corresponding to a plurality of pixels each pixel of which is at a Euclidean distance less than the predetermined neighboring threshold from another pixel of the group of pixels. A distance can be calculated from the coordinates of pixels in three-dimensional space. This block involves determining one or more groups of candidate pixels that can belong in whole or in part to a cloud of particles.
  • a distance may be a Euclidean distance determined from the coordinates of the pixels in three-dimensional space.
  • the computer of the data processing device is also configured to implement the actions of blocks 130 to 150 and their various associated examples described below for at least one group of neighboring pixels identified at the end of block 120 and advantageously for all groups of pixels. These blocks will make it possible to determine whether an identified group of neighboring pixels belongs in whole or in part to a cloud of particles and, optionally, whether pixels of this group of neighboring pixels belong to a solid element other than the cloud of particles.
  • computer 3 is configured to determine a plurality of normal vectors associated with the pixels of the group of neighboring pixels. This step may involve determining a normal vector associated with each of the pixels of the group of neighboring pixels.
  • a vector normal to a pixel is understood as a vector normal to a local surface of the group of neighboring pixels passing through the pixel considered. This local surface can be approximated by a mean plane passing through pixels of the group of neighboring pixels.
  • a normal vector associated with a specific pixel of a group of neighboring pixels can for example be determined from a subset of pixels comprising the specific pixel.
  • the computer can also be configured to determining, for each specific pixel of the group of neighboring pixels, a subset of pixels associated with the specific pixel.
  • the calculator can for example be configured to determine a subset of pixels comprising the specific pixel from a distance between the pixels of the group of neighboring pixels and the specific pixel.
  • a subset of pixels may include a plurality of pixels located within a distance less than a predetermined subset distance threshold of the specific pixel.
  • a specific pixel can substantially be a central pixel of the subset of pixels.
  • a subset of pixels may comprise a predetermined number n of pixels, the pixels of the subset possibly corresponding to the n ⁇ 1 pixels closest to the specific pixel, for example.
  • FIG. 4 represents a group of neighboring pixels G comprising a plurality of pixels p .
  • Examples of pixel subsets shown in Figure 4 are subsets S1, S2, S3, S4 and S5 in which the specific pixels associated respectively with each of the subsets are ps1, ps2, ps3, ps4 and ps5 .
  • the radius of the circles illustrating subsets S1, S2, and S3 represent an example of a predetermined subset distance threshold.
  • Figure 4 is represented in two dimensions but it is understood that the principle can be applied in three dimensions since the pixels are associated with coordinates in three dimensions and that the circles represented can actually be spheres.
  • the subsets S4 and S5 meanwhile represent subsets comprising a number n of predetermined pixels (seven pixels in the example illustrated in two dimensions) corresponding to the n-1 pixels closest to the specific pixel.
  • the calculator can be configured to determine an average plane associated with the specific pixel.
  • the mean plane of a specific pixel can correspond to a plane minimizing a distance between all the pixels of the subset of pixels associated with the specific pixel and can be determined from the three-dimensional coordinates of each of the pixels of the subset of pixels.
  • the computer can be configured to determine that the normal vector associated with a specific pixel of the group of neighboring pixels corresponds to the vector normal to the mean plane associated with said specific pixel.
  • the plurality of normal vectors associated with the pixels of the group of neighboring pixels obtained at the end of block 160 can for example be determined by using the respective mean plane of each of the pixels of the group of pixels.
  • the computer 3 can be configured to calculate an average distance of a group of neighboring pixels with respect to the LiDAR sensor.
  • the computer can be configured to determine an average distance of a group of neighboring pixels with respect to the LiDAR sensor from the three-dimensional coordinates of each of the pixels of the group of neighboring pixels concerned.
  • the average distance of a group of neighboring pixels with respect to the LiDAR sensor can for example be determined from an average of the individual Euclidean distance of each pixel of the group with respect to the LiDAR sensor.
  • the average distance can be used later to refine a diagnosis of identification of the group of neighboring pixels as belonging or not to a cloud of particles.
  • a group of neighboring pixels will not be able to constitute all or part of a cloud of particles from a certain distance when at this distance, the fineness of the particles does not allow them to sufficiently reflect the light beam emitted by the LiDAR sensor so that this reflection is detected by said sensor.
  • the computer 3 can be configured to determine an average intensity of the group of pixels.
  • the average intensity may correspond to the sum of the intensities of each of the pixels of the group of neighboring pixels divided by the number of pixels of the group of neighboring pixels.
  • the average intensity can be used subsequently to refine a diagnosis of identification of the group of pixels as belonging or not to a cloud of particles. Indeed, the particles being very small, they weakly reflect the light beam of the LiDAR sensor and an average intensity of the group of neighboring pixels makes it possible to determine whether this group of neighboring pixels could belong in whole or in part to a cloud of particles.
  • the computer 3 can be configured to determine an azimuth angle for each pixel of the group of neighboring pixels with respect to the LiDAR sensor.
  • An azimuth angle of a specific pixel is defined as an angle, on a horizontal plane, between a direction corresponding to the optical axis of the LiDAR sensor and a direction of a straight line connecting the LiDAR and passing through the specific pixel projected horizontally.
  • an azimuth angle associated with a pixel can be expressed in radians and can be between -TT/2 and TT/2.
  • An azimuth angle is determined for a pixel from its position (x, y, z) in three-dimensional space. A distribution of the azimuth angles associated with the pixels of the group of pixels can be used later to refine a diagnosis of identification of the group of pixels as belonging or not to a cloud of particles.
  • computer 3 is configured to identify whether the group of neighboring pixels belongs in whole or in part to a cloud of particles. This identification is performed from a distribution of the plurality of normal vectors associated with the pixels of the group of neighboring pixels.
  • the distribution of the plurality of normal vectors associated with the pixels of the group of neighboring pixels advantageously comprises all the pixels of the group of neighboring pixels.
  • the distribution of the plurality of normal vectors advantageously relates to the directions (orientations) of the normal vectors of the group of neighboring pixels.
  • the distribution of the directions of the normal vectors of a group of neighboring pixels extends between a first direction D1 and a last direction Dn corresponding respectively to a direction of a normal vector associated with a first pixel and to a direction of a vector normal associated with a second pixel of the group of neighboring pixels.
  • This distribution comprises several intervals of directions dividing the distribution between the first direction D1 and the last direction Dn into a plurality of intervals of directions as represented in FIGS. 5a and 5b.
  • each interval of directions admits the same deviation of directions between its two terminals.
  • a group of neighboring pixels is identified as belonging in whole or in part to a cloud of particles when a distribution of the directions of the plurality of normal vectors associated with the pixels of the group of neighboring pixels is substantially homogeneous.
  • a substantially homogeneous distribution of the directions of the plurality of normal vectors associated with the pixels of the neighboring group of pixels corresponds to a substantially smooth, substantially flat probability distribution. That is to say a distribution in which there are no significant differences in the probability of finding a pixel in a first range of directions rather than in a second range of directions.
  • a substantially equivalent number of pixels of the group is included in each interval of directions of the normal vectors of the distribution.
  • a perfectly homogeneous distribution of the directions of the plurality of normal vectors means that if a pixel is drawn at random from among the pixels of the group of neighboring pixels used for the distribution, this pixel will have exactly the same probability of belonging to each intervals of directions represented among said distribution.
  • FIG. 5a An example of homogeneous distribution of vector directions is shown in Figure 5a while an example of heterogeneous distribution of vector directions is shown in Figure 5b.
  • the abscissa axis represents the different intervals of directions D1/D2 to Dn-1/Dn of the normal vectors of the group of neighboring pixels while the ordinate axis represents a probability of appearance P of a pixel.
  • An interval of directions of the distribution is therefore associated with a probability of appearance of a pixel in this interval.
  • a height of a rectangle P(D1/D2) shown in the figures corresponds to the probability of picking a pixel associated with a normal vector whose direction is between a direction D1 and a direction D2 among the pixels of the group of neighboring pixels.
  • a probability of appearance associated with a specific direction interval is equal to the number of pixels of the group of neighboring pixels used for the distribution and associated with normal vectors whose directions are included between the bounds of the specific interval, divided by the total number of pixels in the neighboring pixel group used for distribution.
  • P(D1/D2) it is equal to the number of pixels of the group of neighboring pixels used for the distribution and associated with normal vectors whose directions lie between the directions D1 and D2, divided by the total number of pixels in the group of neighboring pixels used for the distribution.
  • the probability of picking a pixel from among the pixels used for the distribution in each of the intervals of directions is equal. It is a perfectly homogeneous distribution of the directions of the normal vectors of the group of neighboring pixels.
  • This scenario is a theoretical case illustrating what a homogeneous distribution of normal vector directions looks like graphically and illustrating what the theoretical normal vector distribution of particles in a particle cloud looks like.
  • FIG. 5b represents different probabilities of finding a pixel in different intervals of directions of the distribution in which the differences in probabilities between the intervals are significant.
  • FIG. 6b therefore makes it possible to illustrate a heterogeneous distribution of the directions of the normal vectors of the group of neighboring pixels.
  • the directions of the normal vectors are illustrated by intervals between two directions in figures 5a and 5b since there are an infinity of possible directions (of possible states) of normal vectors for a group of neighboring pixels once the normal vectors are calculated from the three-dimensional coordinates of the pixels.
  • a distribution of each direction of the normal vectors of a group of pixels without defining a prior interval might not be exploitable.
  • a distribution of the directions of the vectors is substantially homogeneous when a variance of the probabilities of appearance of the pixels in the different intervals of directions of the normal vectors of the group of pixels is less than a predetermined direction variance probability threshold.
  • a homogeneous distribution of the plurality of normal vectors of a group of pixels can be evaluated from a direction homogeneity score.
  • the direction homogeneity score can be determined according to the different probabilities of appearance of the pixels on the intervals and according to the number of pixels considered in the distribution. In one example, when the direction homogeneity score is greater than a predetermined direction homogeneity threshold, the distribution of the directions of the normal vectors of the group of neighboring pixels is considered homogeneous.
  • the processing device presented by the present disclosure and in particular its calculator is configured to identify whether a group of neighboring pixels belongs in whole or in part to a cloud of particles from a distribution of the directions of the normal vectors associated with the pixels of the group of neighboring pixels.
  • Presented below are options to aid in the diagnosis of identifying a group of pixels as belonging in whole or in part to the particle cloud. These options can in particular be used to disqualify a group of neighboring pixels prior to the calculation of the distribution of normal vectors, for example to prioritize resources of the computer towards another group of neighboring pixels.
  • the computer 3 can also be configured to determine that a group of neighboring pixels is a candidate to be identified as belonging in whole or in part to the cloud of particles when the average distance of the pixels of the group of neighboring pixels with respect to to the LiDAR sensor is less than a predetermined distance threshold.
  • candidate it is meant that the group of neighboring pixels is kept to carry out the calculation of the distribution of the normal vectors in order to determine whether this group of pixels belongs to a cloud of particles.
  • a group of pixels will not be able to constitute all or part of a cloud of particles from a certain distance when at this distance, the fineness of the particles does not allow them to sufficiently reflect the light beam. emitted by the LiDAR sensor.
  • this group of neighboring pixels can include a solid element other than a cloud of particles and can be directly processed by other functions heavier processing to detect it. This makes it possible in particular to guarantee the safety of the users and of the vehicle when the data processing device is on board a vehicle.
  • the computer 3 can also be configured to determine that a group of neighboring pixels is a candidate to be identified as belonging in whole or in part to the cloud of particles when the average intensity of the group of pixels is lower than a threshold d determined intensity.
  • the intensity threshold can be determined based on an average distance from the particle cloud. Indeed and as said previously, when the particles are very small and contain little matter, the light beam emitted by the LiDAR 2 sensor is reflected very weakly on them and the average intensity of a group of pixels which can correspond to a cloud of particles is therefore weak and decreases with distance.
  • Predetermined intensity thresholds can therefore be associated with distances and the determined intensity threshold chosen for the comparison can for example correspond to the predetermined intensity threshold whose distance is closest to the average distance of the group of particles. It is also possible to determine an intensity threshold associated with the average distance of the cloud of particles by linear interpolation from predetermined intensity thresholds. Indeed, the intensity of the pixels decreases quadratically with respect to the distance.
  • the intensity threshold may in particular depend on the LiDAR sensor. Tests on benches can thus be carried out on the LiDAR sensor in order to determine beforehand different intensity threshold values according to distances.
  • an average intensity of the group of neighboring pixels greater than the determined intensity threshold means that the group of neighboring pixels can belong in whole or in part to a solid element other than the cloud of particles.
  • a solid object reflects the light beams emitted by the LiDAR sensor more, which results in an increase in the intensity associated with the different pixels.
  • the group of neighboring pixels is no longer a candidate to be identified as belonging in whole or in part to a cloud of particles but can be directly processed by other heavier processing functions making it possible to detect a solid element in a group of pixels.
  • the computer 3 can also be configured to determine that a group of neighboring pixels is a candidate to be identified as belonging in whole or in part to a cloud of particles from a distribution of the azimuth angles associated with the pixels of the group of neighboring pixels.
  • the distribution of the azimuth angle of the group of pixels advantageously comprises all the pixels of the group of neighboring pixels.
  • a group of neighboring pixels is a candidate to be identified as belonging in whole or in part to the cloud of particles when the distribution of the azimuth angle of the group of neighboring pixels corresponds substantially to a predetermined model.
  • the predetermined model comprises a minimum at each of the two ends of the distribution of the azimuth angle of the group of neighboring pixels and a maximum substantially in the middle of the distribution of the azimuth angle of the group of pixels. neighbors.
  • the distribution of the azimuth angle of the group of neighboring pixels extends between a minimum angle corresponding to -TT/2 and a maximum angle corresponding to TT/2, a maximum probability of occurrence of a pixel should be observed at an angle corresponding substantially to 0 while two minimum probabilities of appearance should be observed respectively at ⁇ TT/2 and TT/2.
  • This example is represented in particular in FIG. 6a.
  • the predetermined model comprises a maximum probability of appearance of a pixel in the middle of the interval of azimuth angles of the pixels of the group of neighboring pixels distributed and a progressive decrease in this probability of appearance of the middle towards each end of the interval. In examples, this progressive decrease reaches a respective minimum probability of appearance at each of the ends of the interval of the azimuth angle of the pixels of the group of neighboring pixels distributed.
  • FIG. 6a An example of distribution of azimuth angles of a group of neighboring pixels for which the group of neighboring pixels would be a candidate to be identified as belonging in whole or in part to a cloud of particles is represented in figure 6a. This distribution corresponds substantially to a predetermined model.
  • FIG. 6b an example of a distribution not substantially corresponding to a predetermined model is represented in FIG. 6b in order to illustrate a contrast between a distribution of the azimuth angle for which the group of neighboring pixels could be a candidate to be identified as belonging in whole or in part to a cloud of particles and an azimuth angle distribution for which the group of neighboring pixels could not be a candidate.
  • the distributions include pixels whose azimuth angles extend between a minimum angle corresponding to ⁇ TT/2 and a maximum angle corresponding to TT/2.
  • the angular range of azimuth angles covered by a group of distributed neighboring pixels may be smaller than that shown.
  • the predetermined model is adapted according to the angular range covered by the group of neighboring pixels.
  • a distribution of the azimuth angle associated with the pixels of the group of neighboring pixels can be evaluated from a correspondence score with respect to the predetermined model.
  • the match score can be determined from a comparison between a predetermined template and the distribution of azimuth angles of the group of neighboring pixels.
  • the match score is greater than a predetermined match threshold, the group of neighboring pixels for which the distribution of the azimuth angle has been performed is a candidate to be identified as belonging in whole or in part to a particle cloud.
  • the data processing device makes it possible to identify whether a group of pixels obtained from a matrix of pixels of a LiDAR sensor belongs in whole or in part to a cloud of particles.
  • This identification makes it possible, for LiDAR sensors mounted on vehicles, to facilitate the interpretation of the pixel matrix of the LiDAR sensor, in particular in the context of driving assistance functions and more specifically in the context of functions for autonomous driving. of the vehicle.
  • the clouds of particles such as the exhaust gases should not be considered by vehicle driving functions since they are neither dangerous for the passengers nor for the vehicle.
  • the clouds of particles detected by the LiDAR sensor can prove to be annoying when they are considered as dangerous objects by other functions using the matrix of the LiDAR sensor.
  • the identification of such clouds of particles allows, in fine, a better fluidity of the driving and a reduction of the risks for the passengers of the vehicle and for the vehicle itself.
  • the computer can also be configured to determine, for at least one specific pixel of the group of neighboring pixels identified as belonging wholly or partly to a cloud of particles, if the pixel specific belongs to a solid element other than the cloud of particles. This block is advantageously performed for all the pixels of the group of neighboring pixels identified as belonging in whole or in part to a cloud of particles.
  • the calculator can be configured to determine that the pixels of the group of neighboring pixels which have not been determined to correspond to a solid element other than the cloud of particles correspond to particles of the cloud of particles.
  • the computer can be configured to implement the determination of the membership of a specific pixel of the group of neighboring pixels to a solid element other than the cloud of particles from an intensity associated with this pixels.
  • the calculator can be configured to determine that the specific pixel belongs:
  • An intensity threshold corresponding to a solid feature can be determined based on a specific pixel distance from the LiDAR sensor.
  • determined intensity thresholds associated with a solid element can be associated with distances as soon as the intensity decreases with the distance.
  • the determined intensity threshold associated with a solid element is determined as being the one whose distance is closest to the distance of the specific pixel with respect to the LiDAR.
  • the determined intensity threshold associated with a solid element is determined by linear interpolation from predetermined intensity thresholds associated with a solid element, which are also associated with respective distances.
  • a solid element other than the cloud of particles reflects the light beams emitted by the LiDAR more than a particle. It is therefore possible to discriminate the pixels of the group of neighboring pixels corresponding to a solid element from those corresponding to particles.
  • the calculator can be configured to implement the determination of the membership of a specific pixel of the group of neighboring pixels to a solid element other than the cloud of particles from a distribution of the angle d azimuth associated with the pixels of the group of neighboring pixels.
  • the computer can be configured to determine that the specific pixel belongs to a solid element other than the particle cloud when the azimuth angle associated with the specific pixel belongs to an interval of azimuth angles of the distribution that deviates from the predetermined pattern.
  • the predetermined model of the distribution corresponds to a model of theoretical representation of the azimuths of a distribution of particles of a cloud of particles.
  • a pixel with an azimuth belonging to an area that deviates from this model can therefore belong to a solid element other than a particle.
  • the computer can thus be configured to determine that a specific pixel belongs to a solid element when the azimuth associated with this specific pixel is included in an interval of azimuth angles of the distribution deviating from the predetermined model by at least minus a predetermined azimuth deviation threshold.
  • this determination can in particular be combined with that which is based on the intensities of the pixels to determine the pixels of the group of neighboring pixels belonging to solid elements other than clouds of particles.
  • a pixel having an intensity higher than the solid element threshold but not being not included in an interval of azimuth angle of the distribution deviating from the predetermined pattern may not be identified as belonging to a solid element.
  • a pixel having an azimuth angle included in an azimuth angle interval of the distribution deviating from the predetermined model but whose intensity is lower than the solid element threshold may not be identified. as belonging to a solid element
  • the calculator can be configured to implement the determination of the membership of a specific pixel of the group of neighboring pixels to a solid element other than the cloud of particles from the distribution of normal vectors carried out at the from block 140.
  • the computer can be configured to determine that the specific pixel belongs to a solid element other than the cloud of particles when the direction of the normal vector associated with the specific pixel belongs to a direction interval for which a probability of occurrence d a pixel is more important than for other intervals of the distribution.
  • the calculator can thus be configured to determine that a specific pixel belongs to a solid element other than a particle when the direction of the normal vector associated with the specific pixel belongs to a direction interval for which a probability of appearance of a pixel is larger than another interval of the distribution by at least one predetermined direction deviation threshold.
  • the calculator can also be configured to determine that a specific pixel belongs to a solid element other than a particle when the direction of the normal vector associated with the pixel specific belongs to a direction interval for which an appearance probability is greater than a specific appearance probability of a pixel.
  • a specific probability of appearance of a pixel can for example be determined from an average of the probabilities of appearance of the pixels of the intervals of the distribution and a comparison with this average.
  • the determination of a specific pixel as belonging to a solid element when based on the direction of the normal vectors can be combined with that based on the distribution of the azimuth angles and/or intensity in any order.
  • the data processing device is capable of identifying, in each group of pixels, which pixels belong to the particle cloud and which pixels belong to a solid element other than the particle cloud.
  • the data processing device is able to identify which information is part of the cloud of particles and which information is part of another solid object, and this, to the nearest pixel.
  • the data processing device presented therefore makes it possible to identify the information obtained by the LiDAR sensor that is not relevant for driving the vehicle (i.e. the particles) without however confusing this irrelevant information with other relevant information (the solid objects other than particles) even if these two types of information can be confused in the pixel matrix of the LiDAR sensor.
  • the computer 3 of the processing device can also be configured to select pixels from the matrix of pixels identified as belonging to solid objects and/or remove pixels identified as belonging to particle clouds. This makes it possible, for example, to send only relevant information for driving to said driving aid functions or simply to filter out irrelevant information to speed up the subsequent processing of the pixel matrix obtained by the LiDAR sensor and used by other functions.
  • the present disclosure also provides a method of processing data from a vehicle-mounted LiDAR sensor.
  • the data processing method can for example be controlled by a computer 3 as described above.
  • the steps carried out by the method are the mirror of the blocks and examples that the computer of the data processing device is configured to control and which have been described above.
  • both the data processing device and the method presented by the present application make it possible to identify pixels corresponding to particles in suspension in a matrix of pixels of a LiDAR sensor. They also make it possible, in embodiments, to discriminate between pixels corresponding to solid objects other than particles in a group of pixels corresponding in whole or in part to a cloud of particles.
  • LiDAR 2 mounted on a vehicle, in particular for identifying clouds of particles due to exhaust gases and for discriminating a solid object such as another vehicle from a cloud of particles when the cloud and the object are confused in the matrix of pixels.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

La divulgation concerne un dispositif de traitement de données de capteur LiDAR monté sur un véhicule. Le dispositif de traitement de données permet de déterminer si des groupes de pixels d'une matrice de pixels obtenus par le capteur LiDAR correspondent à des nuages de particules notamment à partir d'une distribution de vecteurs normaux associés à ces pixels.

Description

Description
Titre : Traitement de données d’un capteur LiDAR
Domaine technique
La présente invention concerne un dispositif et un procédé de traitement de données d’un capteur LiDAR.
Technique antérieure
Un capteur LiDAR (Light Detection And Ranging) est un capteur émettant des ondes lumineuses et déterminant, à partir de la réflexion de ces ondes lumineuses, une matrice cartographiant un environnement du capteur LiDAR.
La matrice de l’environnement du capteur LiDAR peut comprendre des particules en suspension et notamment, lorsque le capteur LiDAR est embarqué à bord d’un véhicule, des particules en suspension issues des gaz d’échappement.
Dans le cadre d’un capteur LiDAR positionné sur un véhicule circulant sur le réseau routier, les particules en suspension sont nombreuses notamment du fait des gaz d’échappement des différents véhicules et peuvent empêcher une interprétation correcte de la matrice de l’environnement du capteur LiDAR.
Une solution proposée par le document US8818609 consiste à déterminer si une zone de points obtenus par le capteur LiDAR correspond à des gaz d’échappement ou s’il s’agit d’une zone correspondant à un objet solide à partir d’un profil de densité et d’un profil d’élévation de ces points. Plus précisément, les profils de densité et d’élévation sont comparés avec des profils préalablement déterminés et un classifieur est utilisé pour déterminer s’il s’agit de gaz d’échappement ou d’un objet solide sur la base de la comparaison.
Toutefois, cette solution est limitée dans la mesure où un objet solide peut également être compris au niveau des gaz d’échappement et dans ce cas, la discrimination entre les gaz d’échappement et l’objet solide peut s’avérer difficile.
En ce sens, la précision de la détection des particules en suspension et la discrimination d’objets dans ces particules peut donc être améliorée. Présentation de l’invention
Un premier objectif de la présente divulgation consiste donc à proposer un dispositif et un procédé alternatifs adaptés pour détecter si un groupe de points (pixels) obtenus par un capteur LiDAR adapté pour être monté sur un véhicule correspond en tout ou partie à un nuage de particules.
Un autre objectif de la présente divulgation consiste à permettre au dispositif et au procédé de déceler si, à l’intérieur de ce groupe de pixels préalablement identifiés comme appartenant en tout ou partie à un nuage de particules, des pixels correspondent à des éléments solides autres que des particules.
A ce titre, la présente divulgation présente un dispositif de traitement de données d’un capteur LiDAR adapté pour être monté sur un véhicule, le dispositif comprenant un calculateur configuré pour :
- obtenir une matrice de pixels acquise par le capteur LiDAR, chaque pixel de la matrice étant associé à une intensité lumineuse et à une position dans un espace en trois dimensions,
- identifier au moins un groupe de pixels voisins de la matrice de pixels et, pour au moins un groupe de pixels voisins identifié :
* déterminer une pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins,
* identifier si le groupe de pixels voisins appartient en tout ou partie à un nuage de particules à partir d’une distribution sensiblement homogène de la pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins.
Optionnellement, le calculateur est également configuré pour, déterminer, pour au moins un pixel spécifique du groupe de pixels voisins identifié comme appartenant en tout ou partie à un nuage de particules, si le pixel spécifique appartient à un élément solide autre que le nuage de particules.
Optionnellement, le calculateur est configuré pour déterminer que le pixel spécifique appartient à un élément solide lorsqu’une intensité associée au pixel est supérieur à un seuil d’intensité associé à un élément solide déterminé. Optionnellement, le calculateur est en outre configuré pour déterminer une distance moyenne du groupe de pixels voisins par rapport au capteur LiDAR. Un groupe de pixels voisins peut être candidat à être identifié comme appartenant en tout ou partie au nuage de particules lorsqu’une distance moyenne des pixels du groupe de pixels voisins par rapport au capteur LiDAR est inférieure à un seuil de distance prédéterminé.
Optionnellement, le calculateur est en outre configuré pour déterminer une intensité moyenne du groupe de pixels voisins et une distance moyenne du groupe de pixels voisins par rapport au capteur LiDAR. Un groupe de pixels voisins peut être candidat à être identifié comme appartenant en tout ou partie au nuage de particules lorsqu’une intensité moyenne des pixels du groupe de pixels voisins est inférieure à un seuil d’intensité déterminé, le seuil d’intensité étant déterminé à partir de la distance moyenne du groupe de pixels.
Optionnellement, le calculateur est en outre configuré pour déterminer un angle d’azimut pour chacun des pixels du groupe de pixels voisins. Un groupe de pixels voisins peut être candidat à être identifié comme appartenant en tout ou partie au nuage de particules lorsqu’une distribution de l’angle d’azimut des pixels du groupe de pixels voisins correspond sensiblement à un modèle prédéterminé.
Optionnellement, le calculateur est configuré pour identifier un groupe de pixels voisins comme correspondant à une pluralité de pixels dont chaque pixel est à une distance inférieure à un seuil voisin prédéterminé d’un autre pixel du groupe de pixels.
Selon un autre aspect, la présente divulgation présente un véhicule embarquant un dispositif de traitement de données selon l’une des options décrites ci-dessus. Le calculateur du dispositif de traitement de données est alors configuré pour identifier un nuage de particules comprenant des particules de gaz d’échappement.
Selon un autre aspect, la présente divulgation présente un procédé de traitement de données d’un capteur LiDAR monté sur un véhicule caractérisé en ce qu’il comprend :
- obtention d’une matrice de pixels acquise par le capteur LiDAR, chaque pixel de la matrice étant associé à une intensité lumineuse et à une position dans un espace en trois dimensions,
- identification d’au moins un groupe de pixels voisins de la matrice de pixels et, pour au moins un groupe de pixels voisins identifié :
* détermination d’une pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins,
* identification d’une appartenance du groupe de pixels voisins en tout ou partie à un nuage de particules à partir d’une distribution sensiblement homogène de la pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins.
Optionnellement, le procédé comprend en outre une détermination, pour au moins un pixel spécifique du groupe de pixels voisins, d’une appartenance du pixel spécifique à un élément solide autre que le nuage de particules.
La présente divulgation présente par ailleurs un produit programme d’ordinateur comprenant des instructions pour la mise en œuvre de l’un quelconque des procédés présentés dans le présent document lorsqu’il est mis en œuvre par un ordinateur. Elle présente également un support de stockage non transitoire lisible par ordinateur sur lequel sont stockées des instructions de code pour la mise en œuvre de l’un quelconque des procédés décrits dans le présent document.
Brève description des dessins
D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
[Fig. 1a] présente un exemple de dispositif de traitement de données.
[Fig. 1 b] présente un autre exemple de dispositif de traitement de données.
[Fig. 2] présente un exemple de capteur LiDAR monté sur un véhicule.
[Fig. 3] présente un exemple de différents blocs qu’un calculateur du dispositif de traitement de données est configuré pour commander.
[Fig. 4] présente un exemple de groupe de pixels voisins et un exemple de plusieurs sous-ensembles de pixels.
[Fig. 5a] présente un exemple de distribution homogène des directions des vecteurs normaux des pixels d’un groupe de pixels. [Fig. 5b] présente un exemple de distribution hétérogène des directions des vecteurs normaux des pixels d’un groupe de pixels.
[Fig. 6a] présente un exemple de distribution des angles d’azimuts des pixels d’un groupe de pixels.
[Fig. 6b] présente un autre exemple de distribution des angles d’azimuts des pixels d’un groupe de pixels.
Description des modes de réalisation
La présente divulgation présente un dispositif de traitement de données d’un capteur LiDAR comprenant un calculateur configuré pour mettre un œuvre différentes actions. Ces différentes actions permettent notamment d’identifier si un groupe de pixels obtenu à partir du capteur LiDAR et décrivant l’environnement du LiDAR appartient en tout ou partie à un nuage de particules. Optionnellement, il peut également être déterminé si un pixel spécifique du groupe de pixels identifié comme appartement en tout ou partie à un nuage de particules, appartient à un élément solide autre que le nuage de particules.
Ces possibilités offertes par le dispositif de traitement sont particulièrement avantageuses notamment dans le cadre de la circulation de véhicules autonomes. En effet, un capteur LiDAR monté sur un véhicule permet de cartographier l’environnement autour du véhicule. Cette cartographie peut notamment comprendre des informations relatives à des nuages de particules ou à des éléments solides. En particulier, des nuages de particules sur la matrice du LiDAR peuvent par exemple correspondre à des gaz d’échappement de véhicules (et notamment du véhicule sur lequel est monté le LiDAR). Pour ce qui concerne des éléments solides, ils peuvent représenter des obstacles, par exemple d’autres véhicules entourant le véhicule sur lequel est monté le LiDAR.
On comprend toutefois que les informations acquises, du point de vue du LiDAR, qu’il s’agisse d’un nuage de particules ou d’un élément solide autre que le nuage de particules, représentent simplement un ensemble de pixels. En revanche, pour des fonctions de traitements utilisant les informations reçues du LiDAR et notamment des fonctions de conduite des véhicules autonomes, un nuage de particules ne doit pas être interprété comme un obstacle puisque cela n’entraine pas de dangers pour les passagers et pour le véhicule au contraire d’un élément solide.
Le dispositif de traitement présenté par la présente divulgation est ainsi adapté pour mettre en œuvre une solution qui identifie des groupes de pixels pouvant correspondre en tout ou partie à des nuages de particules et optionnellement qui peut distinguer, parmi ces groupes, des pixels correspondant à des éléments solides autres que des particules.
En l’occurrence, la solution présentée est une solution de pré-traitement au sens où des traitements plus lourds peuvent être effectués à la suite de la solution pour s’assurer que des éléments solides détectés par le dispositif de traitement ne correspondent pas à des « faux-positifs ». La solution présentée peut ainsi discriminer volontairement des groupes de pixels sur lesquels il existe une présomption forte qu’ils correspondent à des éléments solides de sorte qu’ils soient directement traités par ces traitements plus lourds. Ceci permet de préserver les capacités de détection d’un élément solide qui pourrait nuire à l’intégrité physique des passagers et endommager le véhicule.
Il est maintenant fait référence aux figures 1 a et 1 b présentant des exemples de dispositif de traitement de données 1 d’un capteur LiDAR 2.
Un dispositif de traitement de données 1 peut comprendre un calculateur 3 adapté pour exécuter des instructions de code permettant au dispositif de traitement de données de commander plusieurs blocs de traitement de données liées au capteur LiDAR 2.
Les instructions de code peuvent par exemple être stockées dans une mémoire 31 accessible pour le calculateur 3. Le calculateur 3 peut être par exemple un processeur, un contrôleur ou un microcontrôleur. Il est donc connecté à la mémoire 31 de façon à pouvoir utiliser l’information qu’elle contient.
La mémoire 31 peut par exemple comprendre une mémoire morte ROM (Read-Only Memory), une mémoire vive RAM (Random Access Memory), une mémoire morte effaçable électriquement et programmable EEPROM (Electrically Erasable Programmable Read-Only Memory) ou tout autres types de moyens de stockage adaptés permettant la lecture d’instructions de code. La mémoire peut par exemple comprendre des moyens de stockage optique, électronique ou encore magnétique.
Sur la figure 1a, un exemple de dispositif de traitement de données 1 comprend le capteur LiDAR 2, le calculateur 3 et la mémoire 31. En particulier, sur l’exemple représenté, le capteur LiDAR 2 comprend le calculateur 3 et la mémoire 31. Un exemple non limitatif de dispositif de traitement de données peut donc correspondre à un capteur LiDAR 2 comprenant le calculateur 3 et la mémoire 31 . Dans cet exemple de réalisation, le capteur LiDAR 2 peut être physiquement connecté à la mémoire 31 du calculateur 3 de sorte que les données obtenues par le capteur LiDAR à la suite de l’émission de faisceaux lumineux sont transmises par connexions filaires à la mémoire 31 pour être stockées. Les traitements de données commandés par le calculateur 3 à partir des données contenues en mémoire 31 et décrits ci-après par la présente divulgation peuvent donc avoir lieu localement au niveau du capteur LiDAR.
Un autre exemple de dispositif de traitement de données 1 est représenté en figure 1 b. Dans cet exemple, le dispositif de traitement de données comprend un capteur LiDAR 2 qui peut être connecté avec un calculateur 3 présentant une mémoire 31 par des canaux de télécommunications. Le capteur LiDAR 2 et le calculateur 3 présentant la mémoire 31 peuvent donc être éloignées et les données obtenues par le capteur LiDAR 2 sont envoyées par l’intermédiaire des canaux de télécommunication vers le calculateur 3 de façon à être stockées en mémoire 31. Le calculateur 3 et la mémoire 31 peuvent par exemple faire partie d’un serveur distant. Les canaux de télécommunications peuvent par exemple comprendre des canaux 3G, 4G, 5G, optiques, électromagnétiques, etc.
En l’occurrence, lorsque le capteur LiDAR 2 est monté sur un véhicule 10 et avantageusement à l’arrière du véhicule 10, le traitement des données peut être effectué par un calculateur 3 situé directement au niveau du véhicule comme représenté sur la figure 2. Sur cette figure, la flèche D représente la direction de déplacement du véhicule 10 et la flèche O représente l’axe optique du capteur LiDAR. Dans cette configuration, le calculateur peut être aussi bien compris par le capteur LiDAR comme dans l’exemple représenté en figure 1 a ou simplement correspondre à un autre calculateur présent sur le véhicule 10 comme représenté sur la figure 2. Le calculateur 3 peut par exemple être l’unité de commande électronique (généralement connue sous sa dénomination anglaise « Electronic Control Unit ») du véhicule 10. En variante, le capteur LiDAR 2 est monté sur le véhicule 10 et le calculateur 3 est situé au niveau d’un serveur distant du véhicule 10. Le traitement des données est donc effectué au niveau du serveur distant.
En référence à la figure 3, il est ci-dessous présenté un procédé que le calculateur 3 du dispositif de traitement de données 1 est configuré pour mettre en œuvre.
Comme illustré par le bloc 110, le calculateur 3 est configuré pour obtenir une matrice de pixels p acquise par le capteur LiDAR 2. La matrice est déterminée par le LiDAR 2 via l’émission d’un faisceau lumineux, lequel est réfléchi et réceptionné par ledit LiDAR 2 permettant ainsi de constituer la matrice de pixels p. Sont assignées à chaque pixel p de la matrice une intensité I, correspondant à l’intensité lumineuse reçue par le pixel, et une position (x, y, z) dans un espace en trois dimensions, où x et y sont les coordonnées cartésiennes du pixel p et z est une coordonnée de profondeur. Les coordonnées x, y et z sont calculées à partir d’une position du pixel p sur une matrice de récepteur du LiDAR 2 et à partir d’une distance du pixel p par rapport au capteur LiDAR. La distance du pixel p par rapport au capteur LiDAR est déterminée en fonction du temps entre l’émission du faisceau et sa réception par le LiDAR 2. La matrice de pixels est ensuite stockée dans la mémoire 31 du calculateur 3 par l’utilisation de canaux de communication adaptés en fonction du dispositif de traitement de données utilisé.
Comme illustré par le bloc 120, le calculateur 3 est configuré pour identifier au moins un groupe de pixels voisins de la matrice M de pixels. Deux pixels de la matrice de pixels peuvent correspondent à des pixels voisins si une distance entre ces pixels est inférieure à un seuil voisin prédéterminé. Dans un exemple, le calculateur peut être configuré pour identifier un groupe de pixels voisins comme correspondant à une pluralité de pixels dont chaque pixel est à une distance euclidienne inférieure au seuil voisin prédéterminé d’un autre pixel du groupe de pixels. Une distance peut être calculée à partir des coordonnées des pixels dans l’espace en trois dimensions. Il s’agit dans ce bloc de déterminer un ou plusieurs groupes de pixels candidats pouvant appartenir en tout ou partie à un nuage de particules.
A chaque fois qu’il sera fait état d’une distance dans le présent document, il pourra s’agir d’une distance euclidienne déterminée à partir des coordonnées des pixels dans l’espace en trois dimensions.
Le calculateur du dispositif de traitement de données est également configuré pour mettre en œuvre les actions des blocs 130 à 150 et leurs différents exemples associés décrits ci-dessous pour au moins un groupe de pixels voisins identifié à l’issue du bloc 120 et avantageusement pour tous les groupes de pixels. Ces blocs vont permettre de déterminer si un groupe de pixels voisins identifié appartient en tout ou partie à un nuage de particules et, de manière optionnelle, si des pixels de ce groupe de pixels voisins appartiennent à un élément solide autre que le nuage de particules.
Le traitement des données décrit dans ces blocs est donc applicable à chaque groupe de pixels identifiés à l’issue du bloc 120. Néanmoins, pour des raisons de clarté, ces blocs seront présentés pour un groupe de pixels voisins en gardant en mémoire qu’ils peuvent être appliqués individuellement à chacun des groupes de pixels identifiés.
Ainsi et comme illustré par le bloc 130, le calculateur 3 est configuré pour déterminer une pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins. Il peut s’agir dans cette étape de déterminer un vecteur normal associé à chacun des pixels du groupe de pixels voisins.
Un vecteur normal à un pixel est entendu comme un vecteur normal à une surface locale du groupe de pixels voisins passant par le pixel considéré. Cette surface locale peut être approximée par un plan moyen passant par des pixels du groupe de pixels voisins.
Un vecteur normal associé à un pixel spécifique d’un groupe de pixels voisins peut par exemple être déterminé à partir d’un sous-ensemble de pixels comprenant le pixel spécifique. A ce titre, le calculateur peut également être configuré pour déterminer, pour chaque pixel spécifique du groupe de pixels voisins, un sous-ensemble de pixels associés au pixel spécifique.
Le calculateur peut par exemple être configuré pour déterminer un sous-ensemble de pixels comprenant le pixel spécifique à partir d’une distance entre les pixels du groupe de pixels voisins et le pixel spécifique.
Dans un exemple de réalisation, un sous-ensemble de pixels peut comprendre une pluralité de pixels situés à une distance inférieure à un seuil de distance de sous- ensemble prédéterminé du pixel spécifique. A ce titre, un pixel spécifique peut sensiblement être un pixel central du sous-ensemble de pixels.
Dans un autre exemple de réalisation, un sous-ensemble de pixels peut comprendre un nombre n de pixels prédéterminé, les pixels du sous-ensemble pouvant par exemple correspondre aux n-1 pixels les plus proches du pixel spécifique.
Des exemples de sous-ensembles de pixels permettant de déterminer un vecteur normal à un pixel spécifique d’un groupe de pixels voisins sont représentés en figure 4. En particulier, la figure 4 représente un groupe de pixels voisins G comprenant une pluralité de pixels p.
Les exemples de sous-ensembles de pixels représentés sur la figure 4 sont les sous-ensembles S1 , S2, S3, S4 et S5 dans lesquels les pixels spécifiques associés respectivement à chacun des sous-ensembles sont ps1 , ps2, ps3, ps4 et ps5.
Le rayon des cercles illustrant les sous-ensembles S1 , S2, et S3 représente un exemple de seuil de distance de sous-ensemble prédéterminé. En l’occurrence, la figure 4 est représentée en deux dimensions mais on comprend que le principe peut être appliqué en trois dimensions puisque les pixels sont associés à des coordonnées en trois dimensions et que les cercles représentés peuvent en réalité être des sphères. Les sous-ensembles S4 et S5 représentent quant à eux des sous- ensembles comprenant un nombre n de pixels prédéterminé (sept pixels dans l’exemple illustré en deux dimensions) correspondant aux n-1 pixels les plus proches du pixel spécifique.
En l’occurrence, à partir d’un sous-ensemble de pixels associés à un pixel spécifique, le calculateur peut être configuré pour déterminer un plan moyen associé au pixel spécifique. Le plan moyen d’un pixel spécifique peut correspondre à un plan minimisant une distance entre tous les pixels du sous-ensemble de pixels associés au pixel spécifique et peut être déterminé à partir des coordonnées en trois dimensions de chacun des pixels du sous-ensemble de pixels.
Dans cet exemple de réalisation, le calculateur peut être configuré pour déterminer que le vecteur normal associé à un pixel spécifique du groupe de pixels voisins correspond au vecteur normal au plan moyen associé audit pixel spécifique. La pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins obtenus à l’issue du bloc 160 peut par exemple être déterminée en utilisant le plan moyen respectif de chacun des pixels du groupe de pixels.
Dans des exemples, le calculateur 3 peut être configuré pour calculer une distance moyenne d’un groupe de pixels voisins par rapport au capteur LiDAR. En particulier, le calculateur peut être configuré pour déterminer une distance moyenne d’un groupe de pixels voisins par rapport au capteur LiDAR à partir des coordonnées en trois dimensions de chacun des pixels du groupe de pixels voisins concerné. La distance moyenne d’un groupe de pixels voisins par rapport au capteur LiDAR peut par exemple être déterminée à partir d’une moyenne de la distance euclidienne individuelle de chaque pixel du groupe par rapport au capteur LiDAR. La distance moyenne pourra être utilisée ultérieurement pour affiner un diagnostic d’identification du groupe de pixels voisins comme appartenant ou non à un nuage de particules. En l’occurrence, un groupe de pixels voisins ne pourra pas constituer tout ou partie d’un nuage de particules à partir d’une certaine distance dès lors qu’à cette distance, la finesse des particules ne leur permettrait pas de refléter suffisamment le faisceau lumineux émis par le capteur LiDAR de sorte que cette réflexion soit détectée par ledit capteur.
Dans des exemples, le calculateur 3 peut être configuré pour déterminer une intensité moyenne du groupe de pixels. L’intensité moyenne peut correspondre à la somme des intensités de chacun des pixels du groupe de pixels voisins divisée par le nombre de pixels du groupe de pixels voisins. L’intensité moyenne pourra être utilisée ultérieurement pour affiner un diagnostic d’identification du groupe de pixels comme appartenant ou non à un nuage de particules. En effet, les particules étant très petites, elles reflètent faiblement le faisceau lumineux du capteur LiDAR et une intensité moyenne du groupe de pixels voisins permet de déterminer si ce groupe de pixels voisins pourrait appartenir en tout ou partie à une nuage de particules.
Dans des exemples, le calculateur 3 peut être configuré pour déterminer un angle d’azimut pour chaque pixel du groupe de pixels voisins par rapport au capteur LiDAR. Un angle d’azimut d’un pixel spécifique est défini comme étant un angle, sur un plan horizontal, entre une direction correspondant à l’axe optique du capteur LiDAR et une direction d’une droite reliant le LiDAR et passant par le pixel spécifique projeté sur le plan horizontal. Dans des exemples, un angle d’azimut associé à un pixel peut être exprimé en radian et peut être compris entre -TT/2 et TT/2. Un angle d’azimut est déterminé pour un pixel à partir de sa position (x, y, z) dans l’espace en trois dimensions. Une distribution des angles d’azimuts associés aux pixels du groupe de pixels pourra être utilisée ultérieurement pour affiner un diagnostic d’identification du groupe de pixels comme appartenant ou non à un nuage de particules.
Comme illustré par le bloc 140, le calculateur 3 est configuré pour identifier si le groupe de pixels voisins appartient en tout ou partie à un nuage de particules. Cette identification est effectuée à partir d’une distribution de la pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins. La distribution de la pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins comprend avantageusement l’ensemble des pixels du groupe de pixels voisins. La distribution de la pluralité de vecteurs normaux porte avantageusement sur les directions (orientations) des vecteurs normaux du groupe de pixels voisins.
La distribution des directions des vecteurs normaux d’un groupe de pixels voisins s’étend entre une première direction D1 et une dernière direction Dn correspondant respectivement à une direction d’un vecteur normal associé à un premier pixel et à une direction d’un vecteur normal associé à un deuxième pixel du groupe de pixels voisins. Cette distribution comprend plusieurs intervalles de directions découpant la distribution entre la première direction D1 et la dernière direction Dn en une pluralité d’intervalles de directions tels que représentés sur les figures 5a et 5b. Dans des exemples, chaque intervalle de directions admet un même écart de directions entre ses deux bornes.
Dans un exemple de réalisation, un groupe de pixels voisins est identifié comme appartenant en tout ou partie à un nuage de particules lorsqu’une distribution des directions de la pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins est sensiblement homogène.
Une distribution sensiblement homogène des directions de la pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisin correspond à une distribution de probabilités sensiblement lisse, sensiblement plate. C’est à dire une distribution dans laquelle il n’est pas observé d’écarts de probabilités importants de trouver un pixel dans un premier intervalle de directions plutôt que dans un deuxième intervalle de directions. Autrement dit, pour une distribution d’un groupe de pixels voisins donné, un nombre sensiblement équivalent de pixels du groupe est compris dans chaque intervalle de directions des vecteurs normaux de la distribution. Par pixel compris dans un intervalle de directions des vecteurs normaux, la présente demande désigne un pixel dont la direction du vecteur normal est comprise entre deux directions Dn-1 et Dn formant un intervalle de directions. Ainsi, une distribution parfaitement homogène des directions de la pluralité de vecteurs normaux signifie que s’il est pioché un pixel au hasard parmi les pixels du groupe de pixels voisins utilisés pour la distribution, ce pixel aura exactement la même probabilité d’appartenir à chacun des intervalles de directions représentés parmi ladite distribution.
En l’occurrence, les inventeurs ont utilisé astucieusement le fait qu’un nuage de particules, lorsqu’il est dispersé dans un milieu ouvert, atteint presque immédiatement son état d’entropie maximale. Cet état d’entropie maximale correspond, d’un point de vue microscopique, à une équiprobabilité pour chaque particule de se trouver dans l’ensemble des différents états possibles associés au nuage de particules. Cela se traduit donc, pour chaque pixel du groupe de pixels voisins et du point de vue des directions des vecteurs normaux, par une répartition équiprobable des pixels du groupe de pixels voisins dans chacun des intervalles de direction de la pluralité d’intervalles de directions. Ainsi, lorsqu’une distribution des directions des vecteurs normaux du groupe de pixels voisins est sensiblement homogène, ce groupe de pixels est identifié comme appartenant en tout ou partie à un nuage de particules.
Un exemple de distribution homogène des directions des vecteurs est représenté en figure 5a tandis qu’un exemple de distribution hétérogène des directions des vecteurs est représenté en figure 5b. L’axe des abscisses représente les différents intervalles de directions D1/D2 à Dn-1/Dn des vecteurs normaux du groupe de pixels voisins tandis que l’axe des ordonnées représente une probabilité d’apparition P d’un pixel. Un intervalle de directions de la distribution est donc associé à une probabilité d’apparition d’un pixel dans cet intervalle. En l’occurrence, une hauteur d’un rectangle P(D1/D2) représenté sur les figures correspond à la probabilité de piocher un pixel associé à un vecteur normal dont la direction est comprise entre une direction D1 et une direction D2 parmi les pixels du groupe de pixels voisins.
Une probabilité d’apparition associée à un intervalle de direction spécifique est égale au nombre de pixels du groupe de pixels voisins utilisés pour la distribution et associés à des vecteurs normaux dont les directions sont comprises entre les bornes de l’intervalle spécifique, divisé par le nombre total de pixels du groupe de pixels voisins utilisés pour la distribution. Dans le cas de la probabilité d’apparition P(D1/D2), elle est égale au nombre de pixels du groupe de pixels voisins utilisés pour la distribution et associés à des vecteurs normaux dont les directions sont comprises entre les directions D1 et D2, divisé par le nombre total de pixels du groupe de pixels voisins utilisés pour la distribution.
Dans l’exemple de la figure 5a, la probabilité de piocher un pixel parmi les pixels utilisés pour la distribution dans chacun des intervalles de directions est égal. Il s’agit d’une distribution parfaitement homogène des directions des vecteurs normaux du groupe de pixels voisins. Ce cas de figure est un cas théorique illustrant à quoi ressemble graphiquement une distribution homogène des directions des vecteurs normaux et illustrant à quoi ressemble la distribution des vecteurs normaux théoriques des particules d’un nuage de particules. A l’inverse, la figure 5b représente des probabilités différentes de retrouver un pixel dans différents intervalles de directions de la distribution dans lequel les écarts de probabilités entre les intervalles sont importants. La figure 6b permet donc d’illustrer une distribution hétérogène des directions des vecteurs normaux du groupe de pixels voisins.
Les directions des vecteurs normaux sont illustrées par intervalles entre deux directions sur les figures 5a et 5b puisqu’il existe une infinité de directions possibles (d’états possibles) de vecteurs normaux pour un groupe de pixels voisins dès lors que les vecteurs normaux sont calculés à partir des coordonnées en trois dimensions des pixels. En ce sens, une distribution de chaque direction des vecteurs normaux d’un groupe de pixels sans définir d’intervalle préalable pourrait ne pas être exploitable. On pourrait en effet trouver une direction différente pour chaque pixels (puisqu’il est possible d’avoir une infinité de directions) et obtenir une distribution homogène où chaque direction a une probabilité de un divisé par le nombre total de pixels du groupe de pixels voisins alors qu’une répartition des pixels entre plusieurs intervalles de directions aurait donné un résultat complètement différent.
Dans des exemples, une distribution des directions des vecteurs est sensiblement homogène lorsqu’une variance des probabilités d’apparition des pixels dans les différents intervalles de directions des vecteurs normaux du groupe de pixels est inférieure à un seuil de probabilité de variance de direction prédéterminé.
Dans des exemples, une distribution homogène de la pluralité de vecteurs normaux d’un groupe de pixels peut être évaluée à partir d’un score d’homogénéité de directions. Le score d’homogénéité de directions peut être déterminé en fonction des différentes probabilités d’apparition des pixels sur les intervalles et en fonction du nombre de pixels considérés dans la distribution. Dans un exemple, lorsque le score d’homogénéité de directions est supérieur à un seuil d’homogénéité de directions prédéterminé, la distribution des directions des vecteurs normaux du groupe de pixels voisins est considérée homogène.
Ainsi, le dispositif de traitement présenté par la présente divulgation et en particulier son calculateur est configuré pour identifier si un groupe de pixels voisins appartient en tout ou partie à un nuage de particules à partir d’une distribution des directions des vecteurs normaux associés aux pixels du groupe de pixels voisins.
Sont présentés ci-dessous des options permettant d’aider au diagnostic d’identification d’un groupe de pixels comme appartenant en tout ou partie au nuage de particules. Ces options peuvent notamment être utilisées pour disqualifier un groupe de pixels voisins préalablement au calcul de la distribution des vecteurs normaux, par exemple pour prioriser des ressources du calculateur vers un autre groupe de pixels voisins.
Ainsi, dans des exemples, le calculateur 3 peut également être configuré pour déterminer qu’un groupe de pixels voisins est candidat à être identifié comme appartenant en tout ou partie au nuage de particules lorsque la distance moyenne des pixels du groupe de pixels voisins par rapport au capteur LiDAR est inférieure à un seuil de distance prédéterminé. Par « candidat », on entend que le groupe de pixels voisins est conservé pour réaliser le calcul de la distribution des vecteurs normaux afin de déterminer si ce groupe de pixels appartient à un nuage de particules.
Comme dit précédemment, un groupe de pixels ne pourra pas constituer tout ou partie d’un nuage de particules à partir d’une certaine distance dès lors qu’à cette distance, la finesse des particules ne leur permettrait pas de refléter suffisamment le faisceau lumineux émis par le capteur LiDAR. En ce sens, lorsque la distance moyenne des pixels du groupe de pixels voisins est supérieure au seuil de distance prédéterminé, ce groupe de pixels voisins peut comprendre un élément solide autre qu’un nuage de particules et peut être directement traité par d’autres fonctions de traitements plus lourd afin de le détecter. Cela permet notamment de garantir la sécurité des usagers et du véhicule lorsque le dispositif de traitement de données est embarqué dans un véhicule.
Dans des exemples, le calculateur 3 peut également être configuré pour déterminer qu’un groupe de pixels voisins est candidat à être identifié comme appartenant en tout ou partie au nuage de particules lorsque l’intensité moyenne du groupe de pixels est inférieure à un seuil d’intensité déterminé. Le seuil d’intensité peut être déterminé en fonction d’une distance moyenne du nuage de particules. En effet et comme dit précédemment, dès lors que les particules sont très petites et comportent peu de matière, le faisceau lumineux émis par le capteur LiDAR 2 se reflète très faiblement sur elles et l’intensité moyenne d’un groupe de pixels pouvant correspondre à un nuage de particules est, dès lors, faible et diminue en fonction de la distance.
Des seuils d’intensité prédéterminés peuvent donc être associés à des distances et le seuil d’intensité déterminé choisi pour la comparaison peut par exemple correspondre au seuil d’intensité prédéterminé dont la distance est la plus proche de la distance moyenne du groupe de particules. Il est également possible de déterminer un seuil d’intensité associé à la distance moyenne du nuage de particules par interpolation linéaire à partir de seuils d’intensité prédéterminé. En effet, l’intensité des pixels diminue de manière quadratique par rapport à la distance. Le seuil d’intensité peut notamment dépendre du capteur LiDAR. Des tests sur bancs peuvent ainsi être effectuées sur le capteur LiDAR afin de déterminer au préalable différentes valeurs de seuils d’intensité en fonction de distances.
En l’occurrence, une intensité moyenne du groupe de pixels voisins supérieure au seuil d’intensité déterminé signifie que le groupe de pixels voisins peut appartenir en tout ou partie à un élément solide autre que le nuage de particules. En effet, un objet solide reflète davantage les faisceaux lumineux émis par le capteur LiDAR ce qui se traduit par une augmentation de l’intensité associée aux différents pixels. Dans ce cas, le groupe de pixels voisins n’est plus candidat à être identifié comme appartenant en tout ou partie à un nuage de particules mais peut être directement traité par d’autres fonctions de traitements plus lourd permettant de détecter un élément solide dans un groupe de pixels.
Dans des exemples, le calculateur 3 peut également être configuré pour déterminer qu’un groupe de pixels voisins est candidat à être identifié comme appartenant en tout ou partie à un nuage de particules à partir d’une distribution des angles d’azimut associés aux pixels du groupe de pixels voisins. La distribution de l’angle d’azimut du groupe de pixels comprend avantageusement l’ensemble des pixels du groupe de pixels voisins. Dans des exemples, un groupe de pixels voisins est candidat à être identifié comme appartenant en tout ou partie au nuage de particules lorsque la distribution de l’angle d’azimut du groupe de pixels voisins correspond sensiblement à un modèle prédéterminé.
Dans des exemples, le modèle prédéterminé comprend un minimum à chacune des deux extrémités de la distribution de l’angle d’azimut du groupe de pixels voisins et un maximum sensiblement au milieu de la distribution de l’angle d’azimut du groupe de pixels voisins. Autrement dit, lorsque la distribution de l’angle d’azimut du groupe de pixels voisins s’étend entre un angle minimum correspondant à -TT/2 et un angle maximum correspondant à TT/2, une probabilité maximum d’apparition d’un pixel devrait être observée à un angle correspondant sensiblement à 0 tandis que deux probabilités d’apparition minimums doivent être observées respectivement à -TT/2 et TT/2. Cet exemple est notamment représenté en figure 6a.
Dans des exemples, le modèle prédéterminé comprend une probabilité d’apparition maximum d’un pixel au milieu de l’intervalle d’angles d’azimut des pixels du groupe de pixels voisins distribués et une décroissance progressive de cette probabilité d’apparition du milieu vers chacune des extrémités de l’intervalle. Dans des exemples, cette décroissance progressive atteint une probabilité d’apparition minimum respective à chacune des extrémités de l’intervalle de l’angle d’azimut des pixels du groupe de pixels voisins distribués.
Un exemple de distribution d’angles d’azimut d’un groupe de pixels voisins pour lequel le groupe de pixels voisins serait candidat à être identifié comme appartenant en tout ou partie à un nuage de particules est représenté en figure 6a. Cette distribution correspond sensiblement à un modèle prédéterminé.
A l’inverse, un exemple de distribution ne correspondant pas sensiblement à un modèle prédéterminé est représenté en figure 6b afin d’illustrer un contraste entre une distribution de l’angle d’azimut pour laquelle le groupe de pixels voisins pourrait être candidat à être identifié comme appartenant en tout ou partie à un nuage de particules et une distribution de l’angle d’azimut pour laquelle le groupe de pixels voisins ne pourrait pas être candidat. Dans ces exemples illustrés, les distributions comprennent des pixels dont les angles d’azimut s’étendent entre un angle minimum correspondant à -TT/2 et un angle maximum correspondant à TT/2. Toutefois, il ne s’agit que d’exemples illustratifs et il doit être noté que la plage angulaire d’angles d’azimuts couverte par un groupe de pixels voisins distribué peut être plus faible que celle représentée. Auquel cas, le modèle prédéterminé est adapté en fonction de la plage angulaire couverte par le groupe de pixels voisins.
Dans des exemples, une distribution de l’angle d’azimut associé aux pixels du groupe de pixels voisins peut être évaluée à partir d’un score de correspondance vis-à-vis du modèle prédéterminé. Le score de correspondance peut être déterminé à partir d’une comparaison entre un modèle prédéterminé et la distribution des angles d’azimut du groupe de pixels voisins. Dans un exemple, lorsque le score de correspondance est supérieur à un seuil de correspondance prédéterminé, le groupe de pixels voisins pour lequel la distribution de l’angle d’azimut a été effectuée est candidat à être identifié comme appartenant en tout ou partie à un nuage de particules.
Ainsi, à l’issue du bloc 140, le dispositif de traitement de données permet d’identifier si un groupe de pixels obtenu à partir d’une matrice de pixels d’un capteur LiDAR appartient en tout ou partie à un nuage de particules.
Cette identification permet, pour les capteurs LiDAR montés sur les véhicules, de faciliter l’interprétation de la matrice de pixels du capteur LiDAR notamment dans le cadre de fonctions d’aide à la conduite et plus précisément dans le cadre de fonctions pour une conduite autonome du véhicule.
En effet, les nuages de particules comme les gaz d’échappement ne devraient pas être considérés par des fonctions de conduite du véhicule dès lors qu’ils ne sont ni dangereux pour les passagers, ni pour le véhicule. En ce sens, les nuages de particules détectés par le capteur LiDAR peuvent s’avérer gênants dès lors qu’ils sont considérés comme des objets dangereux par d’autres fonctions utilisant la matrice du capteur LiDAR. En ce sens, l’identification de tels nuages de particules permet, in fine, une meilleure fluidité de la conduite et une réduction des risques pour les passagers du véhicule et pour le véhicule lui-même. Optionnellement, et comme illustré par le bloc 150 représenté en pointillé, le calculateur peut en outre être configuré pour déterminer, pour au moins un pixel spécifique du groupe de pixels voisins identifié comme appartenant pour tout ou partie à un nuage de particules, si le pixel spécifique appartient à un élément solide autre que le nuage de particules. Ce bloc est avantageusement effectué pour tous les pixels du groupe de pixels voisins identifié comme appartenant en tout ou partie à un nuage de particules.
Plusieurs exemples de détermination complémentaires d’appartenance d’un pixel spécifique à un élément solide autre que le nuage de particules peuvent être mis en œuvre. Chacun des exemples peut être implémenté indépendamment des autres ou en complément des autres afin de confirmer ou d’infirmer l’identification d’un pixel spécifique comme appartenant à un élément solide autre que le nuage de particules. Dans ces exemples, le calculateur peut être configuré pour déterminer que les pixels du groupe de pixels voisins qui n’ont pas été déterminés comme correspondant à un élément solide autre que le nuage de particules correspondant à des particules du nuage de particules.
Ainsi, dans des exemples, le calculateur peut être configuré pour mettre en œuvre la détermination de l’appartenance d’un pixel spécifique du groupe de pixels voisins à un élément solide autre que le nuage de particules à partir d’une intensité associée à ce pixel.
Dans ces exemples, le calculateur peut être configuré pour déterminer que le pixel spécifique appartient :
- au nuage de particules lorsqu’une intensité associée au pixel est inférieure à un seuil d’intensité déterminé associé à un élément solide, ou
- à un élément solide lorsqu’une intensité associée au pixel est supérieure au seuil d’intensité déterminé associé l’élément solide.
Un seuil d’intensité correspondant à un élément solide peut être déterminé en fonction d’une distance du pixel spécifique par rapport au capteur LiDAR. En ce sens, des seuils d’intensités déterminés associé à un élément solide peuvent être associés à des distances dès lors que l’intensité décroit avec la distance. Dans des exemples, le seuil d’intensité déterminé associé à un élément solide est déterminé comme étant celui dont la distance est la plus proche de la distance du pixel spécifique par rapport au LiDAR. Dans d’autres exemples, le seuil d’intensité déterminé associé à un élément solide est déterminé par interpolation linéaire à partir de seuils d’intensités prédéterminés associés à un élément solide, lesquels sont également associés à des distances respectives.
Comme expliqué précédemment, un élément solide autre que le nuage de particules reflète davantage les faisceaux lumineux émis par le LiDAR qu’une particule. Il est donc possible de discriminer les pixels du groupe de pixels voisins correspondant à un élément solide de ceux correspondant à des particules.
Dans des exemples, le calculateur peut être configuré pour mettre en œuvre la détermination de l’appartenance d’un pixel spécifique du groupe de pixels voisins à un élément solide autre que le nuage de particules à partir d’une distribution de l’angle d’azimut associé aux pixels du groupe de pixels voisins.
Dans ces exemples, le calculateur peut être configuré pour déterminer que le pixel spécifique appartient à un élément solide autre que le nuage de particules lorsque l’angle d’azimut associé au pixel spécifique appartient à un intervalle d’angles d’azimut de la distribution qui s’écarte du modèle prédéterminé.
En effet, le modèle prédéterminé de la distribution correspond à un modèle de représentation théorique des azimuts d’une distribution de particules d’un nuage de particules. A ce titre, un pixel ayant un azimut appartenant à une zone qui s’écarte de ce modèle peut donc appartenir à un élément solide autre qu’une particule.
Le calculateur peut ainsi être configuré pour déterminer qu’un pixel spécifique appartient à un élément solide lorsque l’azimut associé à ce pixel spécifique est compris dans un intervalle d’angles d’azimut de la distribution s’écartant du modèle prédéterminé d’au moins un seuil d’écart d’azimut prédéterminé.
On comprend que cette détermination peut notamment être combinée à celle qui se base sur les intensités des pixels pour déterminer les pixels du groupe de pixels voisins appartenant à des éléments solides autres que des nuages de particules. Ainsi, un pixel ayant une intensité supérieure au seuil d’élément solide mais n’étant pas compris dans un intervalle d’angle d’azimut de la distribution s’écartant du modèle prédéterminé pourra ne pas être identifié comme appartenant à un élément solide. A l’inverse, un pixel ayant un angle d’azimut compris dans un intervalle d’angle d’azimut de la distribution s’écartant du modèle prédéterminé mais dont l’intensité est inférieure au seuil d’élément solide pourra ne pas être identifié comme appartenant à un élément solide
Dans des exemples, le calculateur peut être configuré pour mettre en œuvre la détermination de l’appartenance d’un pixel spécifique du groupe de pixels voisins à un élément solide autre que le nuage de particules à partir de la distribution de vecteurs normaux effectuée à l’issue du bloc 140.
Dans ces exemples, le calculateur peut être configuré pour déterminer que le pixel spécifique appartient à un élément solide autre que le nuage de particules lorsque la direction du vecteur normal associé au pixel spécifique appartient à un intervalle de direction pour lequel une probabilité d’apparition d’un pixel est plus importante que pour d’autres intervalles de la distribution.
En effet, il a été déterminé dans un premier temps qu’un groupe de pixels voisins appartenait en tout ou partie à un nuage de particules à partir d’une distribution sensiblement homogène des directions des vecteurs normaux des vecteurs. Il s’agit désormais de déterminer quels intervalles de la distribution de directions s’écartent de la distribution théorique d’un nuage de particules (parfaitement homogène) de façon à retrouver les pixels appartenant à un élément solide qui perturbent donc la distribution de sorte qu’elle ne soit plus complètement homogène.
Le calculateur peut ainsi être configuré pour déterminer qu’un pixel spécifique appartient à un élément solide autre qu’une particule lorsque la direction du vecteur normal associé au pixel spécifique appartient à un intervalle de direction pour lequel une probabilité d’apparition d’un pixel est plus importante qu’un autre intervalle de la distribution d’au moins un seuil d’écart de direction prédéterminé.
Dans un exemple alternatif ou complémentaire, le calculateur peut également être configuré pour déterminer qu’un pixel spécifique appartient à un élément solide autre qu’une particule lorsque la direction du vecteur normal associé au pixel spécifique appartient à un intervalle de direction pour lequel une probabilité d’apparition est supérieure à une probabilité d’apparition spécifique d’un pixel.
Une probabilité d’apparition spécifique d’un pixel peut par exemple être déterminé à partir d’une moyenne des probabilités d’apparition des pixels des intervalles de la distribution et une comparaison à cette moyenne.
De la même façon que pour l’exemple précédent, la détermination d’un pixel spécifique comme appartenant à un élément solide lorsqu’elle se base sur la direction des vecteurs normaux peut être combinée avec celle se basant sur la distribution des angles d’azimuts et/ou de l’intensité dans n’importe quel ordre.
Ainsi, à l’issue du bloc 150, en plus d’avoir identifié quels groupes de pixels de la matrice de pixels appartiennent en tout ou partie à des nuages de particules, le dispositif de traitement de données est capable d’identifier, dans chaque groupe de pixels, quels pixels appartiennent au nuage de particules et quels pixels appartiennent à un élément solide autre que le nuage de particules.
A ce titre, même lorsqu’un objet solide peut être confondu avec un nuage de particules, le dispositif de traitement de données est capable d’identifier quelles informations font parties du nuage de particules et quelles informations font parties d’un autre objet solide, et ce, au pixel près.
Dans le cadre d’un capteur LiDAR monté sur un véhicule, on comprend que la possibilité de discriminer quels pixels appartiennent au nuage de particules et quels pixels appartiennent à un objet solide autre qu’un nuage de particules peut par exemple permettre d’améliorer l’efficacité et les performances de fonctions d’aide à la conduite. En effet, le dispositif de traitement de données présenté permet donc d’identifier les informations obtenues par le capteur LiDAR non pertinentes pour la conduite du véhicule (i.e. les particules) sans pour autant confondre ces informations non pertinentes avec d’autres informations pertinentes (les objets solides autres que les particules) et ce, même si ces deux types d’information peuvent être confondus dans la matrice de pixels du capteur LiDAR.
En ce sens, le calculateur 3 du dispositif de traitement peut également être configuré pour sélectionner des pixels de la matrice de pixels identifiés comme appartenant à des objets solides et/ou supprimer des pixels identifiés comme appartenant aux nuages de particules. Cela permet, par exemple, de n’envoyer que les informations pertinentes pour la conduite aux fonctions d’aides à ladite conduite ou simplement de filtrer les informations non pertinentes pour accélérer le traitement ultérieur de la matrice de pixels obtenue par le capteur LiDAR et utilisée par d’autres fonctions.
La présente divulgation propose également un procédé de traitement de données d’un capteur LiDAR monté sur un véhicule. Le procédé de traitement de données peut par exemple être commandé par un calculateur 3 tel que décrit ci-dessus. En l’occurrence, les étapes effectuées par le procédé sont le miroir des blocs et des exemples que le calculateur du dispositif de traitement de données est configuré pour commander et qui ont été décrits ci-dessus. Ainsi, aussi bien le dispositif de traitement de données que le procédé présenté par la présente demande permettent d’identifier des pixels correspondant à des particules en suspension dans une matrice de pixels d’un capteur LiDAR. Ils permettent également, dans des modes de réalisation, de discriminer des pixels correspondant à des objets solides autres que des particules dans un groupe de pixels correspondant en tout ou partie à un nuage de particules. Ces fonctions sont particulièrement avantageuses dans le cadre d’un LiDAR 2 monté sur un véhicule notamment pour identifier des nuages de particules dus à des gaz d’échappement et pour discriminer un objet solide comme un autre véhicule d’un nuage de particules lorsque le nuage et l’objet sont confondus dans la matrice de pixels.

Claims

25 Revendications
[Revendication 1] Dispositif de traitement de données (1 ) d’un capteur LiDAR (2) adapté pour être monté sur un véhicule (10), le dispositif comprenant un calculateur (3) configuré pour :
- obtenir (110) une matrice de pixels (p) acquise par le capteur LiDAR (2), chaque pixel (p) de la matrice étant associé à une intensité lumineuse (I) et à une position (x, y, z) dans un espace en trois dimensions,
- identifier (120) au moins un groupe de pixels voisins de la matrice de pixels et, pour au moins un groupe de pixels voisins identifié :
* déterminer (130) une pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins,
* identifier (140) si le groupe de pixels voisins appartient en tout ou partie à un nuage de particules à partir d’une distribution sensiblement homogène de la pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins.
[Revendication 2] Dispositif (1 ) selon la revendication précédente, caractérisé en ce que le calculateur (3) est également configuré pour, déterminer (150), pour au moins un pixel spécifique du groupe de pixels voisins identifié comme appartenant en tout ou partie à un nuage de particules, si le pixel spécifique appartient à un élément solide autre que le nuage de particules.
[Revendication 3] Dispositif (1 ) selon la revendication précédente, caractérisé en ce que le calculateur (3) est configuré pour déterminer que le pixel spécifique appartient à un élément solide lorsqu’une intensité associée au pixel est supérieur à un seuil d’intensité associé à un élément solide déterminé.
[Revendication 4] Dispositif (1 ) selon l’une quelconque des revendications précédentes, caractérisé en ce que le calculateur (3) est en outre configuré pour déterminer une distance moyenne du groupe de pixels voisins par rapport au capteur LiDAR (2) et en ce qu’un groupe de pixels voisins est candidat à être identifié comme appartenant en tout ou partie au nuage de particules lorsqu’une distance moyenne des pixels du groupe de pixels voisins par rapport au capteur LiDAR (2) est inférieure à un seuil de distance prédéterminé.
[Revendication 5] Dispositif (1 ) selon l’une quelconque des revendications précédentes, caractérisé en ce que le calculateur (3) est en outre configuré pour déterminer une intensité moyenne du groupe de pixels voisins et une distance moyenne du groupe de pixels voisins par rapport au capteur LiDAR (2), et en ce qu’un groupe de pixels voisins est candidat à être identifié comme appartenant en tout ou partie au nuage de particules lorsqu’une intensité moyenne des pixels du groupe de pixels voisins est inférieure à un seuil d’intensité déterminé, le seuil d’intensité étant déterminé à partir de la distance moyenne du groupe de pixels.
[Revendication 6] Dispositif (1 ) selon l’une quelconque des revendications précédentes, caractérisé en ce que le calculateur est en outre configuré pour déterminer un angle d’azimut pour chacun des pixels du groupe de pixels voisins, et en ce qu’un groupe de pixels voisins est candidat à être identifié comme appartenant en tout ou partie au nuage de particules lorsqu’une distribution de l’angle d’azimut des pixels du groupe de pixels voisins correspond sensiblement à un modèle prédéterminé.
[Revendication 7] Dispositif (1 ) selon l’une quelconque des revendications précédentes, caractérisé en ce que le calculateur (3) est configuré pour identifier un groupe de pixels voisins comme correspondant à une pluralité de pixels dont chaque pixel est à une distance inférieure à un seuil voisin prédéterminé d’un autre pixel du groupe de pixels.
[Revendication 8] Véhicule (10) caractérisé en ce qu’il embarque un dispositif de traitement de données (1 ) selon l’une quelconque des revendications précédentes, en ce qu’un capteur LiDAR (2) est monté à l’arrière du véhicule et en ce que le calculateur (3) du dispositif de traitement de données (1 ) est configuré pour identifier un nuage de particules comprenant des particules de gaz d’échappement.
[Revendication 9] Procédé de traitement de données d’un capteur LiDAR (2) monté sur un véhicule (10) caractérisé en ce qu’il comprend : - obtention (110) d’une matrice de pixels (p) acquise par le capteur LiDAR (2), chaque pixel (p) de la matrice étant associé à une intensité lumineuse (I) et à une position (x, y, z) dans un espace en trois dimensions,
- identification (120) d’au moins un groupe de pixels voisins de la matrice de pixels et, pour au moins un groupe de pixels voisins identifié :
* détermination (130) d’une pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins,
* identification (140) d’une appartenance du groupe de pixels voisins en tout ou partie à un nuage de particules à partir d’une distribution sensiblement homogène de la pluralité de vecteurs normaux associés aux pixels du groupe de pixels voisins.
[Revendication 10] Procédé selon la revendication précédente, caractérisé en ce qu’il comprend en outre une détermination (150), pour au moins un pixel spécifique du groupe de pixels voisins identifié comme appartenant en tout ou partie à un nuage de particules, d’une appartenance du pixel spécifique à un élément solide autre que le nuage de particules.
[Revendication 11] Produit programme d’ordinateur comprenant des instructions pour la mise en œuvre de l’un quelconque des revendications de procédé ci-dessus lorsqu’il est mis en œuvre par un ordinateur.
[Revendication 12] Support de stockage non transitoire lisible par ordinateur sur lequel sont stockées des instructions de code pour la mise en œuvre d’un procédé selon l’une quelconque des revendications de procédé ci-dessus.
PCT/EP2022/080562 2021-11-08 2022-11-02 Traitement de données d'un capteur lidar WO2023078936A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2111822A FR3128998B1 (fr) 2021-11-08 2021-11-08 Traitement de données d’un capteur LiDAR
FRFR2111822 2021-11-08

Publications (1)

Publication Number Publication Date
WO2023078936A1 true WO2023078936A1 (fr) 2023-05-11

Family

ID=80736106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/080562 WO2023078936A1 (fr) 2021-11-08 2022-11-02 Traitement de données d'un capteur lidar

Country Status (2)

Country Link
FR (1) FR3128998B1 (fr)
WO (1) WO2023078936A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818609B1 (en) 2012-11-15 2014-08-26 Google Inc. Using geometric features and history information to detect features such as car exhaust in point maps
US20190056504A1 (en) * 2017-08-21 2019-02-21 Caterpillar Inc. Lidar waveform classification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818609B1 (en) 2012-11-15 2014-08-26 Google Inc. Using geometric features and history information to detect features such as car exhaust in point maps
US20190056504A1 (en) * 2017-08-21 2019-02-21 Caterpillar Inc. Lidar waveform classification

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHAMSUDIN A U: "Fog removal using laser beam penetration, laser intensity, and geometrical features for 3D measurements in fog-filled room", vol. 30, no. 11-12, 17 June 2016 (2016-06-17), pages 729 - 743, XP009536205, ISSN: 0169-1864, Retrieved from the Internet <URL:http://www.tandfonline.com/doi/full/10.1080/01691864.2016.1164620> [retrieved on 20160412], DOI: 10.1080/01691864.2016.1164620 *
STANISLAS ET AL: "Airborne Particle Classification in LiDAR Point Clouds Using Deep Learning", 1 January 2021 (2021-01-01), XP009536147, ISSN: 2511-1256, ISBN: 978-3-030-42026-0, Retrieved from the Internet <URL:http://link.springer.com/10.1007/978-981-15-9460-1_28> [retrieved on 20210113] *
TANG HANBO ET AL: "SmogNet: A Point Cloud Smog Segmentation Network for Unmanned Vehicles", 2021 5TH CAA INTERNATIONAL CONFERENCE ON VEHICULAR CONTROL AND INTELLIGENCE (CVCI), IEEE, 29 October 2021 (2021-10-29), pages 1 - 6, XP033996613, DOI: 10.1109/CVCI54083.2021.9661231 *

Also Published As

Publication number Publication date
FR3128998B1 (fr) 2024-01-19
FR3128998A1 (fr) 2023-05-12

Similar Documents

Publication Publication Date Title
EP2333481B1 (fr) Système optronique et procédé d&#39;élaboration d&#39;images en trois dimensions dédiés à l&#39;identification
WO2020136258A1 (fr) Dispositif de génération d&#39;un ensemble de données simulées du fouillis de mer, procédé et programme d&#39;ordinateur associés
FR2963454A1 (fr) Procede de determination optimale des caracteristiques et de la disposition d&#39;un ensemble de senseurs de surveillance d&#39;une zone
FR2947656A1 (fr) Procede de detection d&#39;un obstacle pour vehicule automobile
EP3364213A1 (fr) Procede et systeme de perception contextualisee de corps materiels
EP1776601A1 (fr) Procede de tfac par segmentation statistique et normalisation
WO2018224768A1 (fr) Dispositif informatique pour l&#39;aide a la conduite
WO2023078936A1 (fr) Traitement de données d&#39;un capteur lidar
FR3056531B1 (fr) Detection d&#39;obstacles pour vehicule automobile
EP3384462B1 (fr) Procede de caracterisation d&#39;une scene par calcul d&#39;orientation 3d
FR3056530B1 (fr) Detection d&#39;obstacles par fusion d&#39;objets pour vehicule automobile
FR3054673B1 (fr) Fusion de donnees de detection et de suivi d&#39;objets pour vehicule automobile
FR3054042A1 (fr) Procede et dispositif de determination d&#39;une zone geographique operationnelle observee par un capteur
WO2018020044A1 (fr) Procédé et système d&#39;association de données de détection et de suivi d&#39;objets mobile pour véhicule automobile
EP3757943B1 (fr) Procédé et dispositif de télémétrie passive par traitement d&#39;image et utilisation de modeles en trois dimensions
EP3871009A1 (fr) Procédé de détermination d&#39;une valeur courante d&#39;un paramètre d&#39;occupation relatif à une portion d&#39;un espace situé à proximité d&#39;un véhicule terrestre à moteur
WO2021260283A1 (fr) Procédé et dispositif de contrôle du déplacement d&#39;un véhicule
EP2877979B1 (fr) Methode monocamera de determination d&#39;une direction d&#39;un solide
FR3141549A1 (fr) Procede de detection de vehicules longs ou articules
WO2022189389A1 (fr) Procede et dispositif de calibration d&#39;un capteur de profondeur d&#39;environnement
EP3757942A1 (fr) Procédé et dispositif de télémétrie passive par traitement d&#39;image
WO2021165237A1 (fr) Procédé et dispositif de détermination d&#39;obstacles d&#39;altitude
EP3008664B1 (fr) Procédé et système de suivi d&#39;objets en mouvement
FR3119009A1 (fr) Procédé de commande d’un projecteur de véhicule automobile
FR3129003A1 (fr) Procédé pour déterminer des positions optimisées d’un objet pour le suivi d’une trajectoire dans un environnement simulé.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22809478

Country of ref document: EP

Kind code of ref document: A1