WO2018020045A1 - Fusion de donnees de detection et de suivi d'objets pour vehicule automobile - Google Patents

Fusion de donnees de detection et de suivi d'objets pour vehicule automobile Download PDF

Info

Publication number
WO2018020045A1
WO2018020045A1 PCT/EP2017/069253 EP2017069253W WO2018020045A1 WO 2018020045 A1 WO2018020045 A1 WO 2018020045A1 EP 2017069253 W EP2017069253 W EP 2017069253W WO 2018020045 A1 WO2018020045 A1 WO 2018020045A1
Authority
WO
WIPO (PCT)
Prior art keywords
bounding box
detector
objects
detectors
motor vehicle
Prior art date
Application number
PCT/EP2017/069253
Other languages
English (en)
Inventor
Hala LAMDOUAR
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Publication of WO2018020045A1 publication Critical patent/WO2018020045A1/fr

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details

Definitions

  • the present invention relates generally to the field of motor vehicles, and more specifically to a method and a system for fusing data for detecting and tracking objects, embedded in a motor vehicle.
  • the objects to be detected may be, depending on the desired applications, obstacles on the road, such as pedestrians or other vehicles, or any information relating to the route taken, such as road marking lines, the recognition of road signs signaling or traffic lights.
  • obstacles on the road such as pedestrians or other vehicles
  • any information relating to the route taken such as road marking lines, the recognition of road signs signaling or traffic lights.
  • Any detection system used for driving assistance conventionally comprises at least one sensor capable of detecting objects in the vehicle environment, typically at the front, rear or on one side of the vehicle in an area of the vehicle. observation, as well as a processing module associated with this sensor.
  • the processing module is capable of delivering at least one piece of information relating to each detected object, typically the position (Cartesian coordinates or distance associated with an angle) of this object with respect to the vehicle.
  • Some processing modules also allow, from image processing captured by a camera, a classification of the detected object, for example to identify the presence of a pedestrian, or vehicles likely to present a danger.
  • object detector the assembly formed by a sensor of a given technology and its associated processing module.
  • a detection system using a camera does not allow very precise measurements in distance, unlike the radar.
  • the radar is less precise in angle than a camera.
  • the active sensors radar, lidar, laser
  • classification inaccuracy is due to the fact that they try to reconstruct an object from the geometric distribution of the reflected beams.
  • FIG. 1 represents a real road situation with a motor vehicle 1 equipped with several detectors of objects of different technology, here with a first detector Si, for example using a camera placed at the front of the motor vehicle 1, and a second detector S 2 , using for example a lidar sensor placed on the right rearview mirror of the motor vehicle 1.
  • An obstacle 2 typically another motor vehicle is present on the front right of the motor vehicle 1.
  • Figure 1b shows schematically, for this real road situation, the objects ⁇ ⁇ and O q respectively detected by the detectors Si and S 2 .
  • the detected objects as they are produced by the different detectors, are in the form of bounding boxes, here rectangles.
  • Each bounding box corresponds to an object as detected by the detector in question, including, in particular, estimated information concerning its relative position with respect to the motor vehicle 1, its dimensions, and possibly, depending on the type of detector used, of other attributes like its class (object type), relative speed and acceleration.
  • the purpose of the aforementioned step of association is to determine that the objects O and ⁇ ⁇ actually correspond to one and the same object (the vehicle
  • the objects coming from two detectors will be associated with one and the same object if the distances separating the centers from the bounding boxes representative of these objects are below a certain predetermined threshold.
  • the center of the bounding box constitutes the point of reference of the object and this representation of the position of the object is adopted throughout the steps of the fusion.
  • the centers of the bounding boxes are generally estimated by determining the middle of the segment formed by the media on two opposite sides of each bounding box.
  • the bounding boxes obtained may suffer from inaccuracies in their size, so that the determination of their center remains rather imprecise.
  • the subject of the invention is a method for merging data from at least two object detectors fitted to a motor vehicle, each detector being capable of delivering a bounding box representative of an object detected by said detector in the immediate environment of said motor vehicle, said method comprising a step of associating the bounding boxes delivered by each of said at least two object detectors representative of the same object detected according to their relative position, and a step of merging the associated bounding boxes in a single resulting bounding box, characterized in that the associating step includes, for each bounding box, a step of determining sides of the bounding box which are directly visible by the object detector having delivered said bounding box.
  • each bounding box being defined by a two-dimensional representation in the form of a quadrilateral at right angles, with four vertices and four segments connecting the vertices
  • the step of determining sides of the bounding box that are visible comprises a step identifying the vertices of the quadrilateral which are directly visible by the object detector having delivered said bounding box; the determination step further comprises a step of determining the directly visible segments of the quadrilateral, the ends of which are vertices identified as directly visible;
  • the association step is then preferably based on an estimation of a distance separating directly visible segment media for at least two bounding boxes likely to be representative of the same detected object.
  • the invention also relates to a data fusion system from at least two object detectors fitted to a motor vehicle, each detector being able to deliver a bounding box representative of an object detected by said detector in the environment. immediate said motor vehicle, said system comprising means for associating the bounding boxes delivered by each of said at least two object detectors representative of the same object detected according to their relative position, and means for merging the bounding boxes associated in one only resulting bounding box, characterized in that the association means comprises means for determining, for each bounding box, sides of the bounding box which are directly visible by the object detector having delivered said bounding box.
  • Said at least two detectors may be of different technologies, each of said detectors uses a sensor selected from the group comprising a vision sensor, a radar, a lidar.
  • FIGS. 1a and 1b already described above, schematically show respectively a real road situation and the obstacle detection results obtained with a motor vehicle equipped with two detectors of different technologies.
  • FIG. 2 schematically illustrates the principle of the invention for the road situation of FIG. 1a;
  • FIG. 3 gives a geometrical representation for illustrating the determination of a visible side of an object detected by an object detector, according to the invention
  • FIG. 4 illustrates, in the form of a simplified block diagram, an example of a data fusion system according to the invention.
  • the present invention is based on the fact that, whatever the nature of the detector used, the most accurate measurement related to this detector always corresponds to the part of an object that has been seen by the detector. So :
  • the visible parts of a potential obstacle are generally the rear part of the obstacle (if it is an obstacle that the one follows), even a lateral part;
  • the visible parts of a potential obstacle are generally the lateral part of the obstacle, or possibly the rear part or the front part of the obstacle (according to the relative position of the obstacle with respect to the vehicle 1).
  • FIG. 2 shows, for the actual road situation given in FIG. 1a, that the only side of the object ⁇ ⁇ detected by the detector Si that is visible by this detector Si is the left lateral side Ci , and that the only side of the object and ⁇ ⁇ detected by the detector S 2 which is
  • the invention consists in determining the sides of the boxes that are visible by the detectors that generated them.
  • Figure 3 shows that this determination is a simple geometric calculation.
  • the motor vehicle 1 is equipped, for purposes of simplification for the demonstration, of a single object detector represented here by the point S located for example on the right rearview mirror of the motor vehicle.
  • Two quadrilaterals ABCD on the one hand, and EFGH on the other hand, represent the limits of two bounding boxes corresponding to two distinct objects that were detected by the object detector S.
  • segment AD corresponds to a visible side of the object considered for the detector S; the segments EF and EH both correspond to visible sides for the detector S.
  • a vertex is visible if and only if the line does not meet any point belonging to the quadrilateral between the detector and the vertex.
  • a segment of the object is visible if the two vertices that delimit it are visible.
  • a and D are visible vertices.
  • B and C are hidden vertices.
  • the association step is performed by comparing the relative positions of these segments. To simplify calculations as much as possible, we can advantageously limit our to determining the media of the visible segments, so as to base a decision of association of two bounding boxes on an estimation of the distance separating two media of visible segments for these two boxes. The visible segment media will then be used to estimate the middle of the visible segment of the merged object and its bounding box deduced from that point.
  • FIG. 4 summarizes, in the form of simplified block diagram, various possible components of a multi-sensor fusion system 3 equipping a motor vehicle, according to the invention.
  • the system 3 receives the objects detected on the one hand by a first detector of objects Si (objects Oi), and on the other hand by a second detector of objects S 2 (objects Oj,).
  • objects Si objects
  • objects Oj objects
  • the object detectors form an integral part of the fusion system.
  • references 4, 5 and 6 in Figure 4 illustrate the data processing modules associated with each step of a conventional high-level data fusion process.
  • the system 3 comprises means 4 responsible for the association of the bounding boxes delivered by the different detectors, means 5 responsible for merging the bounding boxes that have been associated (or state estimation), and means 6 capable of to keep track of the bounding boxes.
  • the association of two bounding boxes issuing from each of the two detectors is based on the prior determination, by means referenced 40, of the sides of each bounding box which are directly visible by the object detector having delivered said bounding box.
  • a module 41 does or does not perform associations, preferably by estimating the distances separating two media of visible sides from two bounding boxes issuing from each detector.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

L'invention concerne un procédé de fusion de données issues d'au moins deux détecteurs (S1; S2) d'objets équipant un véhicule automobile (1), chaque détecteur étant apte à délivrer une boîte englobante (I) représentative d'un objet détecté par ledit détecteur (S1; S2) dans l'environnement immédiat dudit véhicule automobile (1), ledit procédé comportant une étape d'association des boîtes englobantes (I) délivrées par chacun desdits au moins deux détecteurs (S1, S2) d'objets représentatives d'un même objet détecté en fonction de leur position relative, et une étape de fusion des boîtes englobantes (I) associées en une seule boîte englobante résultante, caractérisé en ce que l'étape d'association comporte, pour chaque boîte englobante, une étape de détermination de côtés (C1; C2) de la boîte englobante qui sont directement visibles par le détecteur (S1, S2) d'objets ayant délivré ladite boîte englobante.

Description

FUSI ON DE DONNEES DE DETECTI ON ET DE SUI VI D'OBJETS POUR
VEHI CULE AUTOMOBI LE
La présente invention concerne de manière générale le domaine des véhicules automobiles, et plus précisément un procédé et un système de fusion de données de détection et de suivi d'objets, embarqué sur un véhicule automobile.
Il est connu d'équiper certains véhicules automobiles avec des systèmes d'aide à la conduite utilisant différents capteurs pour détecter différents objets situés dans l'environnement du véhicule en vue de permettre aux conducteurs et/ou aux systèmes d'aide à la conduite d'adapter la conduite à la situation.
Les objets à détecter peuvent être, selon les applications recherchées, des obstacles sur la route, tels que des piétons ou d'autres véhicules, ou toute information relative à la route empruntée, telle que les lignes de marquage routier, la reconnaissance des panneaux de signalisation ou des feux tricolores. On s'intéresse dans la suite plus particulièrement à la détection d'objets mobiles (piétons ou véhicule de tout type).
Tout système de détection utilisé pour l'assistance à la conduite comporte classiquement au moins un capteur apte à détecter des objets dans l'environnement du véhicule, typiquement à l'avant, à l'arrière ou sur un côté du véhicule dans une zone d'observation donnée, ainsi qu'un module de traitement associé à ce capteur. Le module de traitement est apte à délivrer au moins une information relative à chaque objet détecté, typiquement la position (coordonnées cartésiennes ou distance associée à un angle) de cet objet par rapport au véhicule. Certains modules de traitement permettent en outre, à partir de traitements d'images capturées par une caméra, une classification de l'objet détecté, par exemple pour identifier la présence d'un piéton, ou de véhicules susceptibles de présenter un danger. Dans la suite, on appelle « détecteur d'objets » l'ensemble formé par un capteur d'une technologie donnée et de son module de traitement associé.
Différentes technologies de capteurs (caméra, radar, lidar, capteur laser, capteur à ultrasons) peuvent être utilisées en fonction des besoins. Les détecteurs d'objets précités présentent néanmoins l'inconvénient d'être peu précis dans certains types de mesures. Ainsi, un système de détection utilisant une caméra ne permet pas des mesures très précises en distance, contrairement au radar. A l'inverse, le radar est moins précis en angle qu'une caméra. Par ailleurs, les capteurs actifs (radar, lidar, laser) sont précis en position mais pas en classification. En particulier pour le lidar et le laser, l'imprécision en classification est due au fait qu'ils essayent de reconstituer un objet à partir de la distribution géométrique des faisceaux réfléchis.
Pour garantir une perception fiable de l'environnement du véhicule, il est ainsi connu d'utiliser plusieurs détecteurs d'objets de technologie différentes, et de fusionner les données issues de ces différents détecteurs.
Cette fusion multi-capteurs dite de « haut niveau », décrite par exemple dans l'article intitulé « A multi-sensor fusion System for moving object détection and tracking in urban driving environments » (Cho et al., 2014 IEEE International Conférence on robotics & automation (ICRA) Hong Kong Convention and exhibition Center - May 31-June 7, 2014), comprend essentiellement les trois étapes classiques suivantes:
- une étape d'association consistant à déterminer si deux objets détectés par deux détecteurs différents correspondent ou non à un même objet ;
- une étape de fusion/reconstruction de l'objet en combinant les objets associés à l'étape précédente.
- une étape de suivi (ou tracking) des différents objets.
Pour illustrer la problématique de la fusion dite de haut niveau, la figure 1 représente une situation routière réelle avec un véhicule automobile 1 équipé de plusieurs détecteurs d'objets de technologie différente, ici d'un premier détecteur S-i, par exemple utilisant une caméra placée à l'avant du véhicule automobile 1, et d'un second détecteur S2, utilisant par exemple un capteur lidar placé sur le rétroviseur droit du véhicule automobile 1. Un obstacle 2, typiquement un autre véhicule automobile est présent sur l'avant droite du véhicule automobile 1. La figure 1b représente schématiquement, pour cette situation routière réelle, les objets ΟΣ et Oq détectés respectivement par les détecteurs Si et S2. Comme on le voit sur la figure 1b, les objets détectés, tels qu'issus des différents détecteurs, se présentent sous la forme de boites englobantes, ici des rectangles. Chaque boîte englobante correspond à un objet tel qu'il a été détecté par le détecteur considéré, avec notamment des informations estimées concernant sa position relative par rapport au véhicule automobile 1, ses dimensions, et éventuellement, selon le type de détecteur utilisé, d'autres attributs comme sa classe (type d'objet), sa vitesse et son accélération relatives.
Le but de l'étape précitée d'association est de déterminer que les objets O et Ος correspondent en fait à un seul et même objet (le véhicule
S1 ^2
tiers 2), de sorte que les données de ces deux objets pourront être fusionnées pour reconstruire un objet plus proche de la réalité.
Les algorithmes actuels se basent tous sur la position des centres des boîtes englobantes pour décider si deux boîtes peuvent être ou non associées.
Typiquement, les objets issus de deux détecteurs seront associés à un seul et même objet si les distances séparant les centres des boîtes englobantes représentatives de ces objets sont inférieures à un certain seuil prédéterminé.
En d'autres termes, pour les algorithmes actuels, le centre de la boîte englobante constitue le point de référence de l'objet et cette représentation de la position de l'objet est adoptée tout au long des étapes de la fusion
(association, estimation d'état et suivi).
Or, les centres des boîtes englobantes sont généralement estimés en déterminant le milieu du segment formé par les milieux de deux côtés opposés de chaque boîte englobante.
Néanmoins, comme cela a été indiqué précédemment, selon les types de capteurs utilisés, les boîtes englobantes obtenues peuvent souffrir d'imprécisions au niveau de leur taille, de sorte que la détermination de leur centre reste assez imprécise.
La présente invention a pour but de pallier les inconvénients des algorithmes de fusion de haut niveau jusqu'ici utilisés. Pour ce faire, l'invention a pour objet un procédé de fusion de données issues d'au moins deux détecteurs d'objets équipant un véhicule automobile, chaque détecteur étant apte à délivrer une boîte englobante représentative d'un objet détecté par ledit détecteur dans l'environnement immédiat dudit véhicule automobile, ledit procédé comportant une étape d'association des boîtes englobantes délivrées par chacun desdits au moins deux détecteurs d'objets représentatives d'un même objet détecté en fonction de leur position relative, et une étape de fusion des boîtes englobantes associées en une seule boîte englobante résultante, caractérisé en ce que l'étape d'association comporte, pour chaque boîte englobante, une étape de détermination de côtés de la boîte englobante qui sont directement visibles par le détecteur d'objets ayant délivré ladite boîte englobante.
Selon d'autres particularités possibles :
- chaque boîte englobante étant définie par une représentation en deux dimensions sous la forme d'un quadrilatère à angles droits, à quatre sommets et quatre segments reliant les sommets, l'étape de détermination de côtés de la boîte englobante qui sont visibles comporte une étape d'identification des sommets du quadrilatère qui sont directement visibles par le détecteur d'objets ayant délivré ladite boîte englobante ; - l'étape de détermination comporte en outre une étape de détermination des segments directement visibles du quadrilatère, dont les extrémités sont des sommets identifiés comme directement visibles ;
- l'étape d'association est alors basée de préférence sur une estimation d'une distance séparant des milieux de segments directement visibles pour au moins deux boîtes englobantes susceptibles d'être représentatives d'un même objet détecté.
L'invention a également pour objet un système de fusion de données issues d'au moins deux détecteurs d'objets équipant un véhicule automobile, chaque détecteur étant apte à délivrer une boîte englobante représentative d'un objet détecté par ledit détecteur dans l'environnement immédiat dudit véhicule automobile, ledit système comportant des moyens d'association des boîtes englobantes délivrées par chacun desdits au moins deux détecteurs d'objets représentatives d'un même objet détecté en fonction de leur position relative, et des moyens de fusion des boîtes englobantes associées en une seule boîte englobante résultante, caractérisé en ce que les moyens d'association comportent des moyens de détermination, pour chaque boîte englobante, de côtés de la boîte englobante qui sont directement visibles par le détecteur d'objets ayant délivré ladite boîte englobante.
Lesdits au moins deux détecteurs peuvent être de technologies différentes, chacun desdits détecteurs utilise un capteur choisi dans le groupe comprenant un capteur de vision, un radar, un lidar.
L'invention et les différents avantages qu'elle procure seront mieux compris au vu de la description suivante, faite en référence aux figures annexées, dans lesquelles :
- les figures 1a et 1b déjà décrites ci-avant, représentent schématiquement respectivement une situation routière réelle et les résultats de détection d'obstacle obtenus avec un véhicule automobile équipé de deux détecteurs de technologies différentes.
- la figure 2, illustre schématiquement le principe de l'invention pour la situation routière de la figure 1a;
- la figure 3 donne une représentation géométrique pour illustrer la détermination d'un côté visible d'un objet détecté par un détecteur d'objet, conformément à l'invention ;
- la figure 4 illustre, sous forme de synoptique simplifié, un exemple de système de fusion de données conforme à l'invention.
La présente invention est fondée sur le fait que, quelle que soit la nature du détecteur utilisé, la mesure la plus précise liée à ce détecteur correspond toujours à la partie d'un objet qui a été vue par le détecteur. Ainsi :
- pour les détecteurs dont le capteur associé est placé à l'avant du véhicule automobile 1, les parties visibles d'un obstacle potentiel sont généralement la partie arrière de l'obstacle (s'il s'agit d'un obstacle que l'on suit), voire une partie latérale ;
- pour les détecteurs dont le capteur associé est placé sur un côté du véhicule automobile, les parties visibles d'un obstacle potentiel sont généralement la partie latérale de l'obstacle, voire éventuellement la partie arrière ou la partie avant de l'obstacle (selon la position relative de l'obstacle par rapport au véhicule 1).
A titre d'exemple illustratif, la figure 2 montre, pour la situation routière réelle donnée en figure 1a, que le seul côté de l'objet Ος détecté par le détecteur Si qui est visible par ce détecteur Si est le côté latéral gauche Ci , et que le seul côté de l'objet et Ος détecté par le détecteur S2 qui est
^2
visible par ce détecteur S2 est le côté latéral gauche C2.
Ainsi, au lieu de déterminer le centre des boîtes englobantes issues de chaque détecteur, l'invention consiste à déterminer les côtés des boîtes qui sont visibles par les détecteurs qui les ont générées.
La figure 3 montre que cette détermination relève d'un simple calcul géométrique.
Sur cette figure, le véhicule automobile 1 est équipé, à des fins de simplification pour la démonstration, d'un unique détecteur d'objet représenté ici par le point S situé par exemple sur le rétroviseur droit du véhicule automobile. Deux quadrilatères ABCD d'une part, et EFGH d'autre part, représentent les limites de deux boîtes englobantes correspondant à deux objets distincts qui ont été détectés par le détecteur d'objet S.
Comme on peut le déduire instinctivement sur la figure 3 :
- seul le segment AD correspond à un côté visible de l'objet considéré pour le détecteur S ; - les segments EF et EH correspondent tous deux à des côtés visibles pour le détecteur S.
Pour déterminer par le calcul les segments visibles, il suffit de tracer les droites qui relient chaque sommet de l'objet détecté au détecteur qui l'a détecté. Un sommet est visible si et seulement si la droite ne rencontre aucun point appartenant au quadrilatère entre le détecteur et le sommet. Un segment de l'objet est visible si les deux sommets qui le délimitent sont visibles.
Pour le quadrilatère ABCD de la figure 3, on a :
]AS[ n (]AB[ U ]BC[ U ]CD[ U ]AD[) = 0
]BS[ n (]AB[ U ]BC[ U ]CD[ U ]AD[) = {M}≠ 0 ]cs[ n QAB[ U ]BC[ U ]CD[ U ]AD[) = {N}≠ 0 ]DS[ n QAB[ U ]BC[ U ]CD[ U ]AD[) = 0
A et D sont des sommets visibles. B et C sont des sommets cachés.
Donc [AD] est le côté visible par le détecteur de l'objet ABCD.
Un raisonnement similaire sur le quadrilatère EFGH permet de déterminer que les sommets E, F et H sont des sommets visibles, et que par conséquent, les côtés visibles sont les segments [EF]et [EH].
Une fois que l'on a déterminé les différents segments visibles, l'étape d'association s'effectue en comparant les positions relatives de ces segments. Pour simplifier au maximum les calculs, on peut se limiter avantageusement à déterminer les milieux des segments visibles, de façon à fonder une décision d'association de deux boites englobantes sur une estimation de la distance séparant deux milieux de segments visibles pour ces deux boîtes. Les milieux des segments visibles serviront ensuite à l'estimation du milieu du segment visible de l'objet fusionné et sa boîte englobante déduite à partir de ce point.
Le procédé tel qu'il vient d'être décrit est particulièrement avantageux dans le cadre de la fusion multi-capteurs utilisant des capteurs de technologies différentes. Néanmoins, il peut également être appliqué dans les cas où les capteurs sont de même nature. La figure 4 résume sous forme de synoptique simplifiée différentes composantes possibles d'un système 3 de fusion multi capteurs équipant un véhicule automobile, selon l'invention. Le système 3 reçoit dans l'exemple pris les objets détectés d'une part par un premier détecteur d'objets Si (objets Oi ), et d'autre part par un second détecteur d'objets S2 (objets Oj, ) Les détecteurs peuvent être, comme représenté sur la figure 4, des composantes externes au système 3, utilisées par exemple pour d'autres fonctionnalités d'assistance à la conduite. En variante, les détecteurs d'objets font partie intégrante du système de fusion.
Les références 4, 5 et 6 sur la figure 4 illustrent les modules de traitement de données associés à chaque étape d'un processus classique de fusion de données à haut niveau. Ainsi, le système 3 comporte des moyens 4 chargés de l'association des boîtes englobantes délivrées par les différents détecteurs, des moyens 5 chargés de la fusion des boîtes englobantes qui ont été associées (ou estimation d'état), et des moyens 6 aptes à assurer le suivi des boîtes englobantes.
Conformément aux principes de l'invention, l'association de deux boîtes englobantes issues de chacun des deux détecteurs repose sur la détermination préalable, par des moyens référencés 40, des côtés de chaque boîte englobante qui sont directement visibles par le détecteur d'objets ayant délivré ladite boîte englobante.
Une fois que les côtés visibles des boîtes englobantes ont été déterminés, un module 41 effectue ou non les associations, de préférence en estimant les distances séparant deux milieux de côtés visibles de deux boîtes englobantes issues de chaque détecteur.

Claims

REVENDICATIONS
Procédé de fusion de données issues d'au moins deux détecteurs (S-i, S2; S) d'objets équipant un véhicule automobile (1), chaque détecteur étant apte à délivrer une boîte englobante (Ος , Ος ) représentative d'un objet détecté par ledit détecteur (S-i, S2) dans l'environnement immédiat dudit véhicule automobile (1), ledit procédé comportant une étape d'association des boîtes englobantes (Ος , Ος ) délivrées par
S1 ^2
chacun desdits au moins deux détecteurs (S-i, S2; S) d'objets représentatives d'un même objet détecté en fonction de leur position relative, et une étape de fusion des boîtes englobantes ( ΟΣ , OQ )
S1 ^2 associées en une seule boîte englobante résultante, caractérisé en ce que l'étape d'association comporte, pour chaque boîte englobante, une étape de détermination de côtés (C-i, C2) de la boîte englobante qui sont directement visibles par le détecteur (S-i, S2; S) d'objets ayant délivré ladite boîte englobante.
Procédé selon la revendication 1 , caractérisé en ce que, chaque boîte englobante étant définie par une représentation en deux dimensions sous la forme d'un quadrilatère à angles droits, à quatre sommets et quatre segments reliant les sommets, l'étape de détermination de côtés (C-i, C2) de la boîte englobante qui sont visibles comporte une étape d'identification des sommets du quadrilatère qui sont directement visibles par le détecteur (S-i, S2 ; S) d'objets ayant délivré ladite boîte englobante.
Procédé selon la revendication 2, caractérisé en ce que l'étape de détermination comporte en outre une étape de détermination des segments directement visibles du quadrilatère, dont les extrémités sont des sommets identifiés comme directement visibles.
4. Procédé selon la revendication 3, caractérisé en ce que l'étape d'association est basée sur une estimation d'une distance séparant des milieux de segments directement visibles pour au moins deux boîtes englobantes (Ος , Ος ) susceptibles d'être représentatives d'un même objet détecté.
5. Système (3) de fusion de données issues d'au moins deux détecteurs (S-i, S2; S) d'objets équipant un véhicule automobile (1), chaque détecteur étant apte à délivrer une boîte englobante ( Ος , Ος )
S1 ^2 représentative d'un objet détecté par ledit détecteur (S-i, S2) dans l'environnement immédiat dudit véhicule automobile (1), ledit système comportant des moyens (4) d'association des boîtes englobantes ( Ος ,
Ος ) délivrées par chacun desdits au moins deux détecteurs (S-i, S2;
S) d'objets représentatives d'un même objet détecté en fonction de leur position relative, et des moyens (5) de fusion des boîtes englobantes (Ος , Ος ) associées en une seule boîte englobante
S1 ^2
résultante, caractérisé en ce que les moyens (4) d'association comportent des moyens (40) de détermination, pour chaque boîte englobante, de côtés (C-i, C2) de la boîte englobante qui sont directement visibles par le détecteur (S-i, S2; S) d'objets ayant délivré ladite boîte englobante.
6. Système selon la revendication 5, caractérisé en ce que lesdits au moins deux détecteurs sont de technologies différentes.
7. Système selon l'une quelconque des revendications 5 ou 6, caractérisé en ce que chacun desdits détecteurs utilise un capteur choisi dans le groupe comprenant un capteur de vision, un radar, un lidar.
PCT/EP2017/069253 2016-07-29 2017-07-28 Fusion de donnees de detection et de suivi d'objets pour vehicule automobile WO2018020045A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1657410 2016-07-29
FR1657410A FR3054673B1 (fr) 2016-07-29 2016-07-29 Fusion de donnees de detection et de suivi d'objets pour vehicule automobile

Publications (1)

Publication Number Publication Date
WO2018020045A1 true WO2018020045A1 (fr) 2018-02-01

Family

ID=57539356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/069253 WO2018020045A1 (fr) 2016-07-29 2017-07-28 Fusion de donnees de detection et de suivi d'objets pour vehicule automobile

Country Status (2)

Country Link
FR (1) FR3054673B1 (fr)
WO (1) WO2018020045A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3567880A1 (fr) 2018-05-08 2019-11-13 Volkswagen AG Véhicule, composant de réseau et appareil pour un émetteur-récepteur mobile, procédés et programmes informatiques pour un échantillonnage multi-clients
EP4215933A1 (fr) * 2022-01-20 2023-07-26 Aptiv Technologies Limited Génération d'une boîte de délimitation d'objet fusionné sur la base d'une incertitude

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3077550A1 (fr) * 2018-02-05 2019-08-09 Psa Automobiles Sa Procede et dispositif d’analyse de l’environnement d’un vehicule par discrimination d’objets differents detectes par plusieurs moyens d’acquisition.

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100253597A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Rear view mirror on full-windshield head-up display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100253597A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Rear view mirror on full-windshield head-up display

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHO ET AL, IEEE INTERNATIONAL CONFÉRENCE ON ROBOTICS & AUTOMATION (ICRA), - 31 May 2014 (2014-05-31)
CHO HYUNGGI ET AL: "A multi-sensor fusion system for moving object detection and tracking in urban driving environments", 2014 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 31 May 2014 (2014-05-31), pages 1836 - 1843, XP032650528, DOI: 10.1109/ICRA.2014.6907100 *
MATHIAS HABERJAHN ET AL: "Vehicle environment detection by a combined low and mid level fusion of a laser scanner and stereo vision", INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), 2011 14TH INTERNATIONAL IEEE CONFERENCE ON, IEEE, 5 October 2011 (2011-10-05), pages 1634 - 1639, XP032023487, ISBN: 978-1-4577-2198-4, DOI: 10.1109/ITSC.2011.6083092 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3567880A1 (fr) 2018-05-08 2019-11-13 Volkswagen AG Véhicule, composant de réseau et appareil pour un émetteur-récepteur mobile, procédés et programmes informatiques pour un échantillonnage multi-clients
US11153768B2 (en) 2018-05-08 2021-10-19 Volkswagen Aktiengesellschaft Vehicle, network component and apparatus for a mobile transceiver, methods and computer programs for multi-client sampling
EP4215933A1 (fr) * 2022-01-20 2023-07-26 Aptiv Technologies Limited Génération d'une boîte de délimitation d'objet fusionné sur la base d'une incertitude

Also Published As

Publication number Publication date
FR3054673B1 (fr) 2019-06-14
FR3054673A1 (fr) 2018-02-02

Similar Documents

Publication Publication Date Title
CN107798699B (zh) 用立体图像进行深度图估计
FR2921027A1 (fr) Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique
FR3020616A1 (fr) Dispositif de signalisation d'objets a un module de navigation de vehicule equipe de ce dispositif
EP1785966B1 (fr) Procédé d'évaluation, par un véhicule automobile, des caractéristiques d'un élément frontal
WO2018020045A1 (fr) Fusion de donnees de detection et de suivi d'objets pour vehicule automobile
FR3106918A1 (fr) Procédé et dispositif de reconstruction des voies
WO2018219579A1 (fr) Assistance a la conduite d'un vehicule automobile a l'approche d'une barriere de peage
FR3056531B1 (fr) Detection d'obstacles pour vehicule automobile
EP2043044B1 (fr) Procédé et dispositif d'assistance au parcage d'un véhicule automobile
FR3056530B1 (fr) Detection d'obstacles par fusion d'objets pour vehicule automobile
EP4176286A1 (fr) Système et procédé de détection d'un obstacle dans un environnement d'un véhicule
FR3054672B1 (fr) Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile
FR2899363A1 (fr) Procede et dispositif de detection de mouvement d'objets sur des images d'une scene
FR3052581B1 (fr) Procede de realisation d'une carte de profondeurs a partir d'images successives d'une camera unique (mono) embarquee dans un vehicule automobile
FR2938228A1 (fr) Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile
EP3008664B1 (fr) Procédé et système de suivi d'objets en mouvement
JP2019160251A (ja) 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
KR102559936B1 (ko) 단안 카메라를 이용하여 깊이 정보를 추정하는 방법 및 장치
EP4165601A1 (fr) Procede de calibration d'une camera et dispositif associe
WO2021099395A1 (fr) Procédé de détection de pics d'intensité de faisceau lumineux réfléchi de manière spéculaire
FR3118746A1 (fr) Procédé et dispositif d’aide à la conduite d’un véhicule circulant sur une chaussée comprenant plusieurs voies de circulation
FR2938227A1 (fr) Procede de detection d'obstacles depuis un vehicule automobile
FR3082485A1 (fr) Dispositif d'affichage pour l'aide a la conduite d'un conducteur d'un vehicule
FR3132487A1 (fr) Procédé de détection d’une ligne centrale d’une voie de circulation
FR3054355A1 (fr) Procede et systeme de determination d'un espace libre situe dans une zone d'environnement d'un vehicule automobile

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17751328

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17751328

Country of ref document: EP

Kind code of ref document: A1