WO2018020044A1 - Procédé et système d'association de données de détection et de suivi d'objets mobile pour véhicule automobile - Google Patents

Procédé et système d'association de données de détection et de suivi d'objets mobile pour véhicule automobile Download PDF

Info

Publication number
WO2018020044A1
WO2018020044A1 PCT/EP2017/069252 EP2017069252W WO2018020044A1 WO 2018020044 A1 WO2018020044 A1 WO 2018020044A1 EP 2017069252 W EP2017069252 W EP 2017069252W WO 2018020044 A1 WO2018020044 A1 WO 2018020044A1
Authority
WO
WIPO (PCT)
Prior art keywords
objects
bipartite graph
list
vertices
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2017/069252
Other languages
English (en)
Inventor
Hala LAMDOUAR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of WO2018020044A1 publication Critical patent/WO2018020044A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional [2D] tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional [2D] tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93276—Sensor installation details in the windshield area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details

Definitions

  • the present invention relates generally to the field of motor vehicles, and more specifically to a method and a system for associating data for detecting and tracking moving objects with a view to their merging.
  • the objects to be detected may be, depending on the desired applications, obstacles on the road, such as pedestrians or other vehicles, or any information relating to the route taken, such as road marking lines, the recognition of road signs signaling or traffic lights.
  • obstacles on the road such as pedestrians or other vehicles
  • any information relating to the route taken such as road marking lines, the recognition of road signs signaling or traffic lights.
  • Any detection system used for driving assistance conventionally comprises at least one sensor capable of detecting objects in the vehicle environment, typically at the front, rear or on one side of the vehicle in an area of the vehicle. observation, as well as a processing module associated with this sensor.
  • the processing module is capable of delivering at least one piece of information relating to each detected object, typically the position (Cartesian coordinates or distance associated with an angle) of this object with respect to the vehicle.
  • Some processing modules also allow, from image processing captured by a camera, a classification of the detected object, for example to identify the presence of a pedestrian, or vehicles likely to present a danger.
  • object detector the assembly formed by a sensor of a given technology and its associated processing module.
  • a detection system using a camera does not allow very precise measurements in distance, unlike the radar.
  • the radar is less precise in angle than a camera.
  • the active sensors radar, lidar, laser
  • classification inaccuracy is due to the fact that they try to reconstruct an object from the geometric distribution of the reflected beams.
  • FIG. 1 represents a road situation configuration with a motor vehicle 1 equipped with several detectors of objects of different technology, here a first detector R, for example using a sensor.
  • radar placed at the front of the motor vehicle 1
  • a second detector L using for example a lidar sensor placed on the windshield of the motor vehicle 1.
  • Figure 1 schematically shows the moving objects respectively detected by the detectors L and R.
  • the detected objects, as they come from the different detectors, are in the form of bounding boxes, here rectangles.
  • the boxes in solid lines correspond to the objects detected by the detector R whereas the boxes in dotted lines correspond to the objects detected by the detector L.
  • the object detector R detected the presence of four objects
  • the L object detector detected the presence of two moving objects
  • the indices R and L used in the notations identify the detector responsible for the detection of objects.
  • Each bounding box corresponds to an object as detected by the detector in question, including, in particular, estimated information concerning its relative position with respect to the motor vehicle 1, its dimensions, its relative speed and possibly, depending on the type of detector used. , other attributes like its class (type of objects).
  • FIG. 1 also shows the uncertainty ellipses around the position of each detected object, or covariance ellipses, the position being modeled by a 2D Gaussian distribution whose parameters (standard deviations) are given by the suppliers. sensors.
  • the ellipse E R corresponds to the uncertainty in position of the object O r detected by the detector R.
  • the purpose of the above-mentioned association step is to determine what are,
  • the association step consists in coupling or matching the objects coming from the two lists, according to similarity criteria, so that the data of the objects thus matched can be merged to reconstruct an object closer to the reality.
  • Current algorithms rely on the position of the bounding boxes and overlapping areas of uncertainty ellipses to decide whether two boxes may or may not be associated.
  • the positions of the objects are modeled by a two-dimensional Gaussian distribution, centered on a particular point, for example the center of the bounding boxes or, as shown in FIG. 1, the middle of the segment of the box closest to the vehicle. 1.
  • Two objects detected by two different detectors are then matched if the ellipses of associated uncertainties overlap the most. Each paired object is removed from the object list, and the algorithm is repeated iteratively on the remaining object lists.
  • the present invention aims to overcome the disadvantages of high level fusion algorithms hitherto used.
  • the subject of the invention is a method for associating data for detecting and tracking moving objects with a view to their fusion, said data coming from a first object detector and a second detector. of objects equipping a motor vehicle, in the form of a first list and a second list of detected objects, the method being characterized in that it comprises the following steps:
  • each detected object being associated on the one hand with at least one attribute representative of a relative speed between the motor vehicle and the detected object, and on the other hand with an ellipse of detection uncertainty, a link is created in said initial bipartite graph between a first vertex corresponding to a first object of the first list and a second vertex corresponding to a second object of the second preference list according to a comparison between the corresponding attributes representative of the relative velocities and ellipses corresponding uncertainties;
  • said link may in particular be created if the ellipses of corresponding uncertainties overlap and if a difference between the corresponding attributes representative of the relative speeds is less than a predetermined threshold value;
  • said threshold value is advantageously predetermined as a function of the relative speed associated with the first object
  • the step of creating a link between said first vertex and said second object can also take into account at least one other attribute of the corresponding detected objects, such as a classification of the objects or a direction of movement;
  • the associated weight preferably corresponds to a difference between the relative velocities associated with the first object and the second object.
  • the subject of the invention is also a system for associating data for detecting and tracking moving objects with a view to their fusion, said data coming from a first object detector and an object detector.
  • second object detector equipping a motor vehicle, in the form of a first list and a second list of detected objects, the system being characterized in that it comprises means capable of:
  • the two detectors may be of different technologies, each of said detectors uses a sensor selected from the group comprising a vision sensor, a radar, a lidar.
  • FIG. 2 illustrates steps that can be performed in a data association method according to the invention
  • FIGS. 3a and 3b schematically illustrate an initial bipartite graph and a final simple graph obtained according to the principles of the invention for the traffic situation of FIG. 1;
  • FIG. 4 illustrates, in the form of a simplified block diagram, an example of a data association system according to the invention.
  • the principle on which the invention is based is that of modeling the problem of the association of objects from at least two detectors by graph theory.
  • FIG. 1 schematically illustrates possible steps for such modeling:
  • Each detector R or L provides, during a prior step 100, its own list of detected objects that corresponds to a finite set of objects. More precisely, the detector L delivers a list of n objects, which can be represented mathematically by the set ⁇ O ⁇ for which i is an integer varying from 1 to n. Similarly, the detector R delivers a list of objects, which can be represented mathematically by the set
  • Each detected object is associated on the one hand with at least one attribute representative of a relative speed between the motor vehicle and the detected object, and on the other hand with an ellipse of detection uncertainty.
  • detector L also provides a set of n ellipses of uncertainty that can be represented mathematically by ⁇ E ⁇ , and a set of n relative velocities whose mathematical representation is
  • the detector L delivers the set of two objects ⁇ O ⁇ , O ⁇ and the
  • detector R delivers the set of four objects ⁇ O R , O R , O R , O R ⁇ .
  • a first step 110 of the association method according to the invention consists in constructing an initial bipartite graph between the two sets of detected objects in which the vertices of the first set of the bipartite graph correspond to the objects detected by the detector L, and the vertices of the second set of the bipartite graph correspond to the objects detected by the detector R.
  • the construction of this initial graph also requires the creating links between the vertices of the first set and those of the second set, and the assignment of a weight or cost to each link created.
  • the link creation step 111 consists of searching, for each object or vertex of the first set, the possible candidates, in terms of resemblance, in the vertices of the second set.
  • an object of the second set is candidate to be matched to an object of the first set if and only if:
  • I is an integer representing the total number of possible candidates to be matched to an object
  • V ⁇ corresponds to a predetermined threshold value.
  • this threshold value is a function of the relative speed of the object for which the candidates are sought.
  • Link creation takes into account at least the relative speeds.
  • the creation of a link between said first vertex and said second object may also take into account at least one other attribute of the corresponding detected objects, such as a classification of the objects or a direction of movement.
  • weights or costs are also assigned to each link created (step 112).
  • the associated weight preferably corresponds to a difference between the relative velocities associated with the objects concerned by the connection, which can be expressed mathematically by the expression
  • C (i L , j R ) is the weight assigned between a link connecting the object O ⁇ and the object O r .
  • Another metric can be used, such as the Euclidean distance between speeds.
  • FIG. 3a shows the example of the initial bipartite graph obtained for the object detection configuration shown in FIG. 1. It contains the two vertices corresponding to the two objects detected by the detector L, the four vertices corresponding to the detected objects. by the detector R and four links shown in dashed lines, which were created in this initial graph 4 according to the previous calculations, as well as the weights or costs associated with these links.
  • 0 R are two possible candidates to be matched to the object O l , with associated weights respectively noted C (1 T , 1 R ) and C (1, 3 ⁇ 4).
  • step 120 we will seek to minimize these costs so as to eliminate links and retain only those that will be representative of the final association of objects.
  • step 120 consists of to determine a perfect coupling of minimum weight by combinatorial optimization of the initial bipartite graph to obtain a simple final bipartite graph in which a vertex of the first, respectively the second set, is connected at most to a vertex of the second, respectively first set. Eliminate as much connection as possible with the least cost.
  • each object detected by the detector L must be associated with a single object detected by the detector R;
  • the integer variable x reflects the fact that a bond exists between two vertices. It is equal to 1 if are
  • Figure 3b shows the example of the single final bipartite graph obtained for the object detection configuration shown in Figure 1.
  • the process as just described is particularly advantageous in the context of multi-sensor fusion using sensors of different technologies. Nevertheless, it can also be applied in cases where the sensors are of the same nature.
  • FIG. 4 summarizes, in the form of a simplified block diagram, various possible components of a system 6 for associating multi-sensor detection data fitted to a motor vehicle, according to the invention.
  • the system 6 receives the objects detected on the one hand by a first detector of objects R (objects O ⁇ ), and on the other hand by a second detector of objects L (objects Oj ⁇ ) .
  • the detectors may be, as represented in FIG. 4, components external to the system 6, used for example for other driving assistance functions.
  • the object detectors are an integral part of the system 6.
  • References 7, 8 and 9 in FIG. 4 illustrate the data processing modules associated with each step of a high-level data fusion process.
  • the system 6 comprises means 7 responsible for the association of objects detected by the different detectors, means 8 responsible for merging the objects that have been associated, and means 9 capable of tracking the objects.
  • the association of two objects delivered by each of the two detectors is based on the prior construction of a bipartite graph, by means referenced 70, then on the combinatorial optimization, by means referenced 71, until a simple bipartite graph is obtained, as explained above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

L'invention concerne un procédé d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur d'objets et d'un deuxième détecteur d'objets équipant un véhicule automobile, sous forme d'une première liste et d'une deuxième liste d'objets détectés, le procédé étant caractérisé en ce qu'il comprend la construction (110) d'un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondant aux objets de la deuxième liste, ladite construction comprenant une étape de création (111) de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation (112) d'un poids à chaque liaison créée; et la détermination (120) d'un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.

Description

PROCEDE ET SYSTEME D'ASSOCI ATI ON DE DONNEES DE DETECTI ON ET DE SUI VI D'OBJETS MOBI LE POUR VEHI CULE AUTOMOBI LE
La présente invention concerne de manière générale le domaine des véhicules automobiles, et plus précisément un procédé et un système d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion.
Il est connu d'équiper certains véhicules automobiles avec des systèmes d'aide à la conduite utilisant différents capteurs pour détecter différents objets situés dans l'environnement du véhicule en vue de permettre aux conducteurs et/ou aux systèmes d'aide à la conduite d'adapter la conduite à la situation.
Les objets à détecter peuvent être, selon les applications recherchées, des obstacles sur la route, tels que des piétons ou d'autres véhicules, ou toute information relative à la route empruntée, telle que les lignes de marquage routier, la reconnaissance des panneaux de signalisation ou des feux tricolores. On s'intéresse dans la suite plus particulièrement à la détection d'objets mobiles (piétons ou véhicule de tout type).
Tout système de détection utilisé pour l'assistance à la conduite comporte classiquement au moins un capteur apte à détecter des objets dans l'environnement du véhicule, typiquement à l'avant, à l'arrière ou sur un côté du véhicule dans une zone d'observation donnée, ainsi qu'un module de traitement associé à ce capteur. Le module de traitement est apte à délivrer au moins une information relative à chaque objet détecté, typiquement la position (coordonnées cartésiennes ou distance associée à un angle) de cet objet par rapport au véhicule. Certains modules de traitement permettent en outre, à partir de traitements d'images capturées par une caméra, une classification de l'objet détecté, par exemple pour identifier la présence d'un piéton, ou de véhicules susceptibles de présenter un danger. Dans la suite, on appelle « détecteur d'objets » l'ensemble formé par un capteur d'une technologie donnée et de son module de traitement associé.
Différentes technologies de capteurs (caméra, radar, lidar, capteur laser, capteur à ultrasons) peuvent être utilisées en fonction des besoins. Les détecteurs d'objets précités présentent néanmoins l'inconvénient d'être peu précis dans certains types de mesures. Ainsi, un système de détection utilisant une caméra ne permet pas des mesures très précises en distance, contrairement au radar. A l'inverse, le radar est moins précis en angle qu'une caméra. Par ailleurs, les capteurs actifs (radar, lidar, laser) sont précis en position mais pas en classification. En particulier pour le lidar et le laser, l'imprécision en classification est due au fait qu'ils essayent de reconstituer un objet à partir de la distribution géométrique des faisceaux réfléchis.
Pour garantir une perception fiable de l'environnement du véhicule, il est ainsi connu d'utiliser plusieurs détecteurs d'objets de technologies différentes, et de fusionner les données issues de ces différents détecteurs.
Cette fusion multi-capteurs dite de « haut niveau », décrite par exemple dans l'article intitulé « A multi-sensor fusion System for moving object détection and tracking in urban driving environments » (Cho et al., 2014 IEEE International Conférence on robotics & automation (ICRA) Hong Kong Convention and exhibition Center - May 31-June 7, 2014), comprend essentiellement les trois étapes suivantes:
- une étape d'association consistant à déterminer si deux objets détectés par deux détecteurs différents correspondent ou non à un même objet ;
- une étape de fusion/reconstruction de l'objet en combinant les objets associés à l'étape précédente.
- une étape de suivi (ou tracking) des différents objets.
Pour illustrer la problématique de la fusion dite de haut niveau, la figure 1 représente une configuration de situation routière avec un véhicule automobile 1 équipé de plusieurs détecteurs d'objets de technologie différente, ici d'un premier détecteur R, par exemple utilisant un capteur radar placé à l'avant du véhicule automobile 1, et d'un second détecteur L, utilisant par exemple un capteur lidar placé sur le pare-brise du véhicule automobile 1. La figure 1 représente schématiquement les objets mobiles détectés respectivement par les détecteurs L et R. Les objets détectés, tels qu'issus des différents détecteurs, se présentent sous la forme de boites englobantes, ici des rectangles. Les boîtes en traits pleins correspondent aux objets détectés par le détecteur R alors que les boîtes en traits pointillés correspondent aux objets détectés par le détecteur L. Ainsi, dans l'exemple représenté :
- le détecteur d'objets R a détecté la présence de quatre objets
1 2 3 4
mobiles référencés OR, OR, Or et OR.
- le détecteur d'objets L a détecté la présence de deux objets mobiles
1 2
référencés O^et O^.
Les indices R et L utilisés dans les notations identifient le détecteur responsable de la détection d'objets.
Chaque boîte englobante correspond à un objet tel qu'il a été détecté par le détecteur considéré, avec notamment des informations estimées concernant sa position relative par rapport au véhicule automobile 1, ses dimensions, sa vitesse relative et éventuellement, selon le type de détecteur utilisé, d'autres attributs comme sa classe (type d'objets).
Sur la figure 1 , on a également représenté les ellipses d'incertitude autour de la position de chaque objet détecté, ou ellipses de covariance, la position étant modélisée par une distribution Gaussienne 2D dont les paramètres (écarts-types) sont données par les fournisseurs des capteurs.
Ainsi, à titre d'exemple, l'ellipse ER correspond à l'incertitude en position de l'objet Or détecté par le détecteur R.
Le but de l'étape précitée d'association est de déterminer quels sont,
1 2 3 4
parmi les objets issus de la liste d'objets { OR, OR, OR , Or} délivrée par
1 2
le détecteur R et les objets issus de la liste d'objets { O^, O^} délivrée par le détecteur L, les objets qui correspondent en fait à un seul et même obstacle mobile. En d'autres termes, l'étape d'association consiste à coupler ou apparier les objets provenant des deux listes, selon des critères de ressemblance, de sorte que les données des objets ainsi appariés pourront être fusionnées pour reconstruire un objet plus proche de la réalité. Les algorithmes actuels se basent sur la position des boîtes englobantes et sur les zones de recouvrement des ellipses d'incertitudes pour décider si deux boîtes peuvent être ou non associées. Typiquement, les positions des objets sont modélisées par une distribution gaussienne à deux dimensions, centrée sur un point particulier, par exemple le centre des boîtes englobantes ou, comme représenté sur la figure 1, le milieu du segment de la boîte le plus proche du véhicule 1. Deux objets détectés par deux détecteurs différents sont ensuite appariés si les ellipses d'incertitudes associées se recouvrent le plus. Chaque objet apparié est enlevé de la liste d'objet, et l'algorithme est reconduit de façon itérative sur les listes d'objets restants.
L'inconvénient de ce type d'algorithme est qu'il ne permet pas de résoudre les conflits lorsqu'un objet d'une liste peut être apparié à deux objets de l'autre liste. Par exemple, dans le cas de la figure 1, on pourrait considérer
3 1 2 que l'objet Or pourrait être apparié soit à l'objet O^, soit à l'objet O^, compte tenu des distances similaires séparant ces objets, et des
1 3 3 2 recouvrements similaires des ellipses E^et ER d'une part, et ER et E^ d'autre part.
La présente invention a pour but de pallier les inconvénients des algorithmes de fusion de haut niveau jusqu'ici utilisés.
Pour ce faire, l'invention a pour objet un procédé d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur d'objets et d'un deuxième détecteur d'objets équipant un véhicule automobile, sous forme d'une première liste et d'une deuxième liste d'objets détectés, le procédé étant caractérisé en ce qu'il comprend les étapes suivantes :
- construction d'un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant une étape de création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation d'un poids à chaque liaison créée ;
- détermination d'un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.
Selon d'autres particularités possibles :
- chaque objet détecté étant associé d'une part, à au moins un attribut représentatif d'une vitesse relative entre le véhicule automobile et l'objet détecté, et d'autre part à une ellipse d'incertitude de détection, une liaison est créée dans ledit graphe biparti initial entre un premier sommet correspondant à un premier objet de la première liste et un deuxième sommet correspondant à un deuxième objet de la deuxième liste de préférence en fonction d'une comparaison entre les attributs correspondants représentatifs des vitesses relatives et des ellipses d'incertitudes correspondantes;
- ladite liaison peut notamment être créée si les ellipses d'incertitudes correspondantes se recouvrent et si une différence entre les attributs correspondant représentatifs des vitesses relatives est inférieure à une valeur seuil prédéterminée ;
- ladite valeur seuil est avantageusement prédéterminée en fonction de la vitesse relative associée au premier objet;
- l'étape de création d'une liaison entre ledit premier sommet et ledit deuxième objet peut prendre en compte également au moins un autre attribut des objets détectés correspondants, tel qu'une classification des objets ou un sens de déplacement ;
- pour chaque liaison créée dans le graphe biparti initial entre un premier sommet et un deuxième sommet, le poids associé correspond de préférence à une différence entre les vitesses relatives associées au premier objet et au deuxième objet.
L'invention a également pour objet un système d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur d'objets et d'un deuxième détecteur d'objets équipant un véhicule automobile, sous forme d'une première liste et d'une deuxième liste d'objets détectés, le système étant caractérisé en ce qu'il comporte des moyens aptes à :
- construire un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant la création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation d'un poids à chaque liaison créée ;
- déterminer un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.
Les deux détecteurs peuvent être de technologies différentes, chacun desdits détecteurs utilise un capteur choisi dans le groupe comprenant un capteur de vision, un radar, un lidar. L'invention et les différents avantages qu'elle procure seront mieux compris au vu de la description suivante, faite en référence aux figures annexées, dans lesquelles :
- la figure 1 déjà décrite ci-avant, représente schématiquement une situation routière et les résultats de détection d'obstacles obtenus avec un véhicule automobile équipé de deux détecteurs de technologies différentes ;
- la figure 2, illustre des étapes susceptibles d'être réalisées dans un procédé d'association de données conforme à l'invention;
- les figures 3a et 3b illustrent schématiquement un graphe biparti initial et un graphe simple final obtenu selon les principes de l'invention pour la situation routière de la figure 1 ;
- la figure 4 illustre, sous forme de synoptique simplifié, un exemple de système d'association de données conforme à l'invention. Le principe sur lequel est fondée l'invention est celui de la modélisation du problème de l'association des objets provenant d'au moins deux détecteurs par la théorie des graphes.
La figure 2 illustre schématiquement des étapes possibles pour une telle modélisation :
Chaque détecteur R ou L fournit, lors d'une étape préalable 100, sa propre liste d'objets détectés qui correspond à un ensemble fini d'objets. Plus précisément, le détecteur L délivre une liste de n objets, que l'on peut représenter mathématiquement par l'ensemble { O^} pour lequel i est un entier variant de 1 à n. De manière similaire, le détecteur R délivre une liste d objets, que l'on peut représenter mathématiquement par l'ensemble
{ pour lequel j est un entier variant de 1 à m. Les deux listes ne comprennent pas forcément le même nombre d'objets, et l'on supposera dans la suite que l'entier n est inférieur ou égal à l'entier m.
Chaque objet détecté est associé d'une part, à au moins un attribut représentatif d'une vitesse relative entre le véhicule automobile et l'objet détecté, et d'autre part à une ellipse d'incertitude de détection.
Ainsi, le détecteur L fournit également un ensemble de n ellipses d'incertitude que l'on peut représenter mathématiquement par { E^} , et un ensemble de n vitesses relatives dont la représentation mathématique est
{ V j } . De façon similaire, on note { Ej^} l'ensemble des m ellipses d'incertitude associé aux objets détectés par le détecteur R, et { V . } l'ensemble des m vitesses relatives correspondant à ces mêmes objets.
Pour illustrer ce principe dans le cadre de la configuration routière de
1 2 la figure 1, le détecteur L délivre l'ensemble de deux objets { O^, O^} et le
1 2 3 4 détecteur R délivre l'ensemble de quatre objets { OR, OR, OR , OR} .
Une première étape 110 du procédé d'association selon l'invention consiste à construire un graphe biparti initial entre les deux ensembles d'objets détectés dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets détectés par le détecteur L, et les sommets du deuxième ensemble du graphe biparti correspondent aux objets détectés par le détecteur R. La construction de ce graphe initial nécessite également la création de liaisons entre les sommets du premier ensemble et ceux du second ensemble, ainsi que l'affection d'un poids ou coût à chaque liaison créée.
L'étape 111 de création de liaisons consiste à rechercher, pour chaque objet ou sommet du premier ensemble, les candidats possibles, en termes de ressemblance, dans les sommets du deuxième ensemble.
Dans une implémentation préférée de l'invention, un objet du deuxième ensemble est candidat pour être apparié à un objet du premier ensemble si et seulement si :
- il y a intersection de son ellipse d'incertitude avec l'ellipse d'incertitude de l'objet du premier ensemble ; et
- les vitesses relatives associées aux objets sont proches.
Ceci peut se traduire mathématiquement par les expressions suivantes :
V je [1,1 :
0 et
Figure imgf000010_0001
dans lesquelles :
I est un entier représentant le nombre total de candidats possibles pour être appariés à un objet ; et
V^correspond à une valeur seuil prédéterminée. De façon avantageuse, cette valeur seuil est fonction de la vitesse relative de l'objet pour lequel on recherche les candidats.
On peut en particulier définir que : La création de liaison prend en compte au minimum les vitesses relatives. Néanmoins, dans d'autres implémentations, la création d'une liaison entre ledit premier sommet et ledit deuxième objet peut prendre en compte également au moins un autre attribut des objets détectés correspondants, tel qu'une classification des objets ou un sens de déplacement.
Afin de compléter le graphe initial, des poids ou coûts sont également affectés à chaque liaison créée (étape 112). Le poids associé correspond de préférence à une différence entre les vitesses relatives associées aux objets concernés par la liaison, ce qui peut s'exprimer mathématiquement par l'expres ion
Figure imgf000011_0001
dans laquelle C(iL,jR)est le poids affecté entre une liaison reliant l'objet O^et l'objet Or. On peut également utiliser une autre métrique telle que la distance euclidienne entre les vitesses.
La figure 3a montre l'exemple du graphe biparti initial 4 obtenu pour la configuration de détection d'objets montrée sur la figure 1. On y retrouve les deux sommets correspondant aux deux objets détectés par le détecteur L, les quatre sommets correspondant aux objets détectés par le détecteur R et quatre liaisons montrées en pointillés, qui ont été créées dans ce graphe initial 4 selon les calculs précédents, ainsi que les poids ou coûts associés à ces liaisons. Sur cette figure 3a, on constate notamment que les objets 0Ret
3 1
0Rsont deux candidats possibles pour être appariés à l'objet Ol, avec des poids associés notés respectivement C(1T ,1R)et C(1, ¾).
Dans l'étape suivante 120, on va rechercher à minimiser ces coûts de façon à éliminer des liaisons et ne retenir que celles qui seront représentatives de l'association finale des objets. En d'autres termes, l'étape 120 consiste à déterminer un couplage parfait de poids minimum par optimisation combinatoire du graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble. Eliminer le plus de liaison possibles en gardant le moindre coût.
Ceci peut se traduire mathématiquement par les expressions ci-après:
n m
min∑∑c(iL,jR) χ ¾ avec
i=1 j=1
χ¾ e {0,l} V e [l,n]* [l,m] m
∑x =1 V ie [l,n]
j=1
n
et ∑x.. <1 V je [l,m]
i=1 ce qui signifie en pratique que l'on cherche à obtenir un graphe final simple dans lequel :
- chaque objet détecté par le détecteur L doit être associé à un unique objet détecté par le détecteur R ;
- on accepte néanmoins qu'un objet détecté par le détecteur R ne soit pas apparié.
Dans les équations précédentes, la variable entière x traduit le fait qu'une liaison existe entre deux sommets. Elle est égale à 1 si sont
Figure imgf000012_0001
reliés et à 0 sinon. La figure 3b montre l'exemple du graphe biparti final simple 5 obtenu pour la configuration de détection d'objets montrée sur la figure 1. Le procédé tel qu'il vient d'être décrit est particulièrement avantageux dans le cadre de la fusion multi-capteurs utilisant des capteurs de technologies différentes. Néanmoins, il peut également être appliqué dans les cas où les capteurs sont de même nature.
La figure 4 résume sous forme de synoptique simplifiée différentes composantes possibles d'un système 6 d'association de données de détection multi capteurs équipant un véhicule automobile, selon l'invention. Le système 6 reçoit dans l'exemple pris les objets détectés d'une part par un premier détecteur d'objets R (objets O^), et d'autre part par un second détecteur d'objets L (objets Oj^). Les détecteurs peuvent être, comme représenté sur la figure 4, des composantes externes au système 6, utilisées par exemple pour d'autres fonctionnalités d'assistance à la conduite. En variante, les détecteurs d'objets font partie intégrante du système 6.
Les références 7, 8 et 9 sur la figure 4 illustrent les modules de traitement de données associés à chaque étape d'un processus de fusion de données à haut niveau. Ainsi, le système 6 comporte des moyens 7 chargés de l'association objets détectés par les différents détecteurs, des moyens 8 chargés de la fusion des objets qui ont été associés, et des moyens 9 aptes à assurer le suivi des objets.
Conformément aux principes de l'invention, l'association de deux objets délivrés par chacun des deux détecteurs repose sur la construction préalable d'un graphe biparti, par des moyens référencés 70, puis sur l'optimisation combinatoire, par des moyens référencés 71, jusqu'à obtention d'un graphe biparti simple, comme expliqué ci-avant.

Claims

REVENDICATIONS
1. Procédé d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur (R) d'objets et d'un deuxième détecteur (L) d'objets équipant un véhicule automobile (1), sous forme d'une première liste et d'une deuxième liste d'objets détectés, le procédé étant caractérisé en ce qu'il comprend les étapes suivantes :
- construction (110) d'un graphe biparti initial (4) entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant une étape (111) de création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation (112) d'un poids à chaque liaison créée ;
- détermination (120) d'un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial (4) pour obtenir un graphe biparti final simple (5) dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.
2. Procédé selon la revendication 1, caractérisé en ce que chaque objet détecté étant associé d'une part, à au moins un attribut représentatif d'une vitesse relative entre le véhicule automobile (1) et l'objet détecté, et d'autre part à une ellipse d'incertitude de détection, une liaison est créée (111) dans ledit graphe biparti initial entre un premier sommet correspondant à un premier objet de la première liste et un deuxième sommet correspondant à un deuxième objet de la deuxième liste en fonction d'une comparaison entre les attributs correspondants représentatifs des vitesses relatives et des ellipses d'incertitudes correspondantes.
3. Procédé selon la revendication 2, caractérisé en ce que ladite liaison est créée si les ellipses d'incertitudes correspondantes se recouvrent et si une différence entre les attributs correspondant représentatifs des vitesses relatives est inférieure à une valeur seuil prédéterminée.
4. Procédé selon la revendication 3, caractérisé en ce que ladite valeur seuil est prédéterminée en fonction de la vitesse relative associée au premier objet.
5. Procédé selon l'une quelconque des revendications 2 à 4, caractérisé en ce que l'étape (111) de création d'une liaison entre ledit premier sommet et ledit deuxième objet prend en compte également au moins un autre attribut des objets détectés correspondants, tel qu'une classification des objets ou un sens de déplacement.
6. Procédé selon l'une quelconque des revendications 2 à 5, caractérisé en ce que, pour chaque liaison créée dans le graphe biparti initial entre un premier sommet et un deuxième sommet, le poids associé correspond à une différence entre les vitesses relatives associées au premier objet et au deuxième objet.
7. Système (6) d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur (R) d'objets et d'un deuxième détecteur (L) d'objets équipant un véhicule automobile (1), sous forme d'une première liste et d'une deuxième liste d'objets détectés, le système étant caractérisé en ce qu'il comporte des moyens (7, 70, 71) aptes à :
- construire un graphe biparti initial (4) entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant la création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation d'un poids à chaque liaison créée ; - déterminer un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple (5) dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.
Système selon la revendication 7, caractérisé en ce que lesdits au moins deux détecteurs sont de technologies différentes.
Système selon l'une quelconque des revendications 7 ou 8, caractérisé en ce que chacun desdits détecteurs utilise un capteur choisi dans le groupe comprenant un capteur de vision, un radar, un lidar.
PCT/EP2017/069252 2016-07-29 2017-07-28 Procédé et système d'association de données de détection et de suivi d'objets mobile pour véhicule automobile Ceased WO2018020044A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1657409A FR3054672B1 (fr) 2016-07-29 2016-07-29 Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile
FR1657409 2016-07-29

Publications (1)

Publication Number Publication Date
WO2018020044A1 true WO2018020044A1 (fr) 2018-02-01

Family

ID=57485611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/069252 Ceased WO2018020044A1 (fr) 2016-07-29 2017-07-28 Procédé et système d'association de données de détection et de suivi d'objets mobile pour véhicule automobile

Country Status (2)

Country Link
FR (1) FR3054672B1 (fr)
WO (1) WO2018020044A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108827369A (zh) * 2018-07-20 2018-11-16 重庆长安汽车股份有限公司 提升传感器关联效率的方法
US12062282B2 (en) 2021-10-11 2024-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for matching objects in collaborative perception messages using multiple adaptive thresholds

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102569904B1 (ko) * 2018-12-18 2023-08-24 현대자동차주식회사 표적 차량 추적 장치 및 그의 표적 차량 추적 방법과 그를 포함하는 차량

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242284A1 (en) * 2012-03-15 2013-09-19 GM Global Technology Operations LLC METHODS AND APPARATUS OF FUSING RADAR/CAMERA OBJECT DATA AND LiDAR SCAN POINTS

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242284A1 (en) * 2012-03-15 2013-09-19 GM Global Technology Operations LLC METHODS AND APPARATUS OF FUSING RADAR/CAMERA OBJECT DATA AND LiDAR SCAN POINTS

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHO ET AL.: "A multi-sensor fusion system for moving object détection and tracking in urban driving environments", IEEE INTERNATIONAL CONFÉRENCE ON ROBOTICS & AUTOMATION (ICRA) HONG KONG CONVENTION AND EXHIBITION CENTER, 31 May 2014 (2014-05-31)
ELFRING JOS ET AL: "Multisensor simultaneous vehicle tracking and shape estimation", 2016 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 19 June 2016 (2016-06-19), pages 630 - 635, XP032939031, DOI: 10.1109/IVS.2016.7535453 *
SIKDAR ANKITA ET AL: "Radar depth association with vision detected vehicles on a highway", 2014 IEEE RADAR CONFERENCE, IEEE, 19 May 2014 (2014-05-19), pages 1159 - 1164, XP032628334, DOI: 10.1109/RADAR.2014.6875771 *
SONGHWAI OH ET AL: "Markov Chain Monte Carlo Data Association for Multi-Target Tracking", IEEE TRANSACTIONS ON AUTOMATIC CONTROL, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 54, no. 3, 1 March 2009 (2009-03-01), pages 481 - 497, XP011252898, ISSN: 0018-9286 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108827369A (zh) * 2018-07-20 2018-11-16 重庆长安汽车股份有限公司 提升传感器关联效率的方法
CN108827369B (zh) * 2018-07-20 2020-09-08 重庆长安汽车股份有限公司 提升传感器关联效率的方法
US12062282B2 (en) 2021-10-11 2024-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for matching objects in collaborative perception messages using multiple adaptive thresholds

Also Published As

Publication number Publication date
FR3054672A1 (fr) 2018-02-02
FR3054672B1 (fr) 2019-09-13

Similar Documents

Publication Publication Date Title
EP3137355B1 (fr) Dispositif de signalisation d&#39;objets a un module de navigation de vehicule equipe de ce dispositif
EP3635612B1 (fr) Procédé et système d&#39;identification d&#39;au moins un objet en déplacement
CN116385997B (zh) 一种车载障碍物精确感知方法、系统及存储介质
US12450918B2 (en) Automatic lane marking extraction and classification from lidar scans
GB2555214A (en) Depth map estimation with stereo images
FR3106918A1 (fr) Procédé et dispositif de reconstruction des voies
US20240151855A1 (en) Lidar-based object tracking
EP2593907B1 (fr) Procédé de détection d&#39;une cible dans des images stéréoscopiques par apprentissage et classification statistique à partir d&#39;une loi de probabilité
EP4176286A1 (fr) Système et procédé de détection d&#39;un obstacle dans un environnement d&#39;un véhicule
JP2021504796A (ja) センサーデータセグメンテーション
FR3056530B1 (fr) Detection d&#39;obstacles par fusion d&#39;objets pour vehicule automobile
EP3729327B1 (fr) Methode de reconnaissance d&#39;objets dans une scene observee en trois dimensions
FR3054672B1 (fr) Procede et systeme d&#39;association de donnees de detection et de suivi d&#39;objets mobile pour vehicule automobile
KR102559936B1 (ko) 단안 카메라를 이용하여 깊이 정보를 추정하는 방법 및 장치
FR3054673B1 (fr) Fusion de donnees de detection et de suivi d&#39;objets pour vehicule automobile
Jiménez et al. Improving the lane reference detection for autonomous road vehicle control
FR3056531B1 (fr) Detection d&#39;obstacles pour vehicule automobile
CN118671740A (zh) 稳健的激光雷达到相机传感器对准
WO2021099395A1 (fr) Procédé de détection de pics d&#39;intensité de faisceau lumineux réfléchi de manière spéculaire
FR3106108A1 (fr) Procédé et dispositif de détermination de trajectoire d’une route
EP4170603B1 (fr) Procédé automatique de détection d&#39;objets dans un flux d&#39;images
FR3155345A1 (fr) Suivi de véhicules par suivi d’objets latéraux
EP3008664B1 (fr) Procédé et système de suivi d&#39;objets en mouvement
EP2946358A1 (fr) Procédé et système de modélisation 3d absolue en tout ou en partie d&#39;un véhicule passant devant une caméra
Kadav Advancing Winter Weather ADAS: Tire Track Identification and Road Snow Coverage Estimation Using Deep Learning and Sensor Integration

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17749419

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17749419

Country of ref document: EP

Kind code of ref document: A1