WO2017194890A1 - Procédé de traitement d'image pour la reconnaissance de marquage au sol et système pour la détection du marquage au sol - Google Patents

Procédé de traitement d'image pour la reconnaissance de marquage au sol et système pour la détection du marquage au sol Download PDF

Info

Publication number
WO2017194890A1
WO2017194890A1 PCT/FR2017/051143 FR2017051143W WO2017194890A1 WO 2017194890 A1 WO2017194890 A1 WO 2017194890A1 FR 2017051143 W FR2017051143 W FR 2017051143W WO 2017194890 A1 WO2017194890 A1 WO 2017194890A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
marking
agent
ground
agents
Prior art date
Application number
PCT/FR2017/051143
Other languages
English (en)
Inventor
Marc REVILLOUD
Mohamed Cherif RAHAL
Dominique Gruyer
Original Assignee
Institut Vedecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut Vedecom filed Critical Institut Vedecom
Priority to US16/301,061 priority Critical patent/US20190188498A1/en
Priority to EP17727655.7A priority patent/EP3455788A1/fr
Priority to CN201780029644.5A priority patent/CN109791598A/zh
Priority to JP2019511815A priority patent/JP6978491B2/ja
Publication of WO2017194890A1 publication Critical patent/WO2017194890A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Definitions

  • the present invention relates to the field of recognition of the marking on the ground, in particular road marking or marking on vehicle parking areas.
  • Marking means a color-coded ground line (a road or traffic or parking area) marking one side of a traffic lane.
  • the ground line can be continuous or interrupted.
  • the term “marking” is also understood to mean the edge of the roadway, that is to say the boundary between the surface intended for circulation, for example in bitumen, and the aisle.
  • a method of detecting road markings is generally used to assist the driver of a motor vehicle, for example by emitting an audible and / or light signal when the vehicle deviates from a traffic lane. It is also envisaged to use this type of method for the automatic control of a motor vehicle, for example by automatically controlling the speed and / or the direction of the vehicle according to detected road markings.
  • the applications also include providing information to Advanced Driver Assistance Systems (ADAS) assisting the driver in keeping his vehicle in his lane from a real-time estimate of the edge parameters.
  • ADAS Advanced Driver Assistance Systems
  • track unmanned vehicle design, road asset analysis to assess the quality and possible degradation of existing markings, the constitution of advanced georeferenced databases, adaptive speed limiters, etc.
  • the technical difficulties for tracking and recognizing road marking lines result from the acquisition conditions of embedded images, undergoing projected shadows, glare, occultations by obstacles, etc.
  • the primitives of road markings are extracted from camera information.
  • the invention relates to an image processing method for the
  • FIG. 1 represents a schematic view of the material architecture of the invention
  • FIG. 2 represents a schematic view of the functional architecture of the invention
  • FIG. 3 represents an exemplary logic diagram of a marking detection module
  • FIG. 4 represents an exemplary logic diagram of a tag detection agent simulation.
  • FIG. 1 represents a schematic view of the hardware architecture of a ground marking recognition system according to an example embodiment, installed in a motor vehicle.
  • the system comprises in the example described three cameras (1 to 3), two of which are arranged in front of the
  • each of the cameras (1 to 3) is flat, that is to say has a wider than high field.
  • An Ethernet network switch (“switch” in English) (4) receives the signals from the cameras (1 to 3) and transmits them to a computer (5).
  • This calculator (5) provides the processing and detection of markings.
  • a second computer (6) receives the marking information in the form of splines and applies a scheduling algorithm to guide the vehicle.
  • the cameras (1 to 3) are powered by a power source (7).
  • the cameras (1 to 3) can be powered directly by the network cable, by a "Power Ethernet" technology.
  • each of the cameras (1 to 3) relative to the frame linked to the rear axle of the vehicle are known by a calibration process of the cameras at the time of mounting the cameras on the vehicle.
  • intrinsic parameters corresponding directly to the camera and lens model pair, and extrinsic parameters are determined. corresponding to the position and orientation with respect to the rear axle.
  • the computer (5) also receives service signals provided by an angular position sensor of the steering column, and by a sensor detecting the speed of rotation of the rear wheels. This information is transmitted by the CAN network of the vehicle via an interfacing circuit (8).
  • This information makes it possible to recalculate periodically the position of the markings detected at
  • a lidar (9) consisting of a mobile laser scanning towards the front of the vehicle to detect any element above the plane of the road, and filter the image space to avoid the treatment of ground areas obscured by a obstacle or a vehicle.
  • the images acquired by the cameras (1 to 3) are subjected to an image processing by a module (11) also receiving the information from a masking module (12) processing the information transmitted by the lidar (9).
  • the module (11) calculates a confidence map in the form of a gray level image, increasing the
  • each pixel of this image presents a level representative of the probability
  • the aim of the road marking detection operators is to create a trust card, which is then used by the marker tracking agents.
  • the first operator is based on a convolution between the horizontal neighborhood of a given pixel and a perfect model of marking.
  • the function / characterized by the set of pixels of a line is convolved with the curve g
  • This operator is a function of l, the estimated width of the road marking which will correspond to the width of the door function.
  • This convolution is defined as follows:
  • This processing carried out by the module (11) thus makes it possible to calculate the value of each pixel of an image corresponding to a confidence card distinguishing areas with a high probability of belonging to a road marking.
  • This processing performed by the module (11) is inhibited in the areas of the image corresponding to a masking information provided by the masking module (12).
  • a detection module (13) applies a treatment by a multi-agent method detecting the splines corresponding to the road markings.
  • the perception model of an agent is based on a triangular field of perception.
  • the field of perception is defined by a vertex (point corresponding to the position of the agent) and a base having a width 2. S (where S
  • This triangle defines a vector V agent corresponding to the direction of the agent, corresponding to the axis perpendicular to the base passing through the vertex.
  • This triangular field is then projected in the image space to define all the pixels of the image of confidence that will be processed by the agent.
  • the displacement model is determined by the calculation of the barycentre of the triangular field previously defined, weighted by the value of the pixels of this field (possibly a low thresholding is applied, to eliminate pixels of value too much low) .
  • This weighted center of gravity determines a target point targeted by the agent.
  • the angle between the vector V agent and the vector V, is calculated. , ⁇ defined by the vertex of the triangle and the
  • the target can be determined from information from one or more neighboring agents. This situation occurs, for example, when the agent spread between two dashes, and a neighboring agent spreads in a continuous marking. In this case, the evolution of the direction of evolution of the first agent is identical to that of the second agent.
  • the displacement angle is unchanged, the agent continues to move in the direction previously fixed. The agent is then moved in the direction corresponding to this angle, limited to a predetermined value.
  • This predetermined value is a function of the type of road and the maximum curvature envisaged for the detection. This value may be variable, depending on an assumption about the nature of the lane on which the vehicle is traveling (reduced value if the lane is a highway, a larger value if the lane is a departmental road).
  • the displacement length is constant, and corresponds to the distance between two pixels.
  • the agent alternates the perception steps and the moving steps, iteratively, until the line corresponding to the horizon in the image space.
  • the value of the corresponding pixel is recorded, and the position of the agent in the form of a pair [V x , P x ] with x varying between the starting point and the point d arrived from the agent.
  • the next step is to select the agents whose displacement corresponds to a marking.
  • a road ratio is recorded, for each of the types of marking that one wishes to detect. For example, for continuous marking, the ratio is 1.
  • the ratio is between 0 and 1, depending on the modulation of the marking.
  • the agent is retained if: the ratio R ⁇ . enter
  • the average intensity V x of the pixels recorded by the agent is greater than a predetermined threshold.
  • Agents are created on the bottom, right or left edge of the image, and move toward the optical center of the image.
  • the estimation of the shape of the road marking, or the cubic spline of the marking is carried out by a treatment consisting of calculating, from all the pixels traversed by the agent, a cubic spline characterizing the marking.
  • - ⁇ denotes a smoothing parameter between 0 and 0.15 and which is a function of the type of road.
  • the parameter ⁇ will be zero or close to zero on essentially straight roads, for example a motorway, and close to 0.1, for roads with curvatures
  • the adjustment of the parameter ⁇ can be done manually or from data coming from an external system, for example a geolocation device (GPS).
  • GPS geolocation device
  • the result of this treatment is the smoothing spline corresponding to the road marking.
  • the treatment applies to the confidence images calculated by the module (11).
  • the first step (20) consists in determining for each marking dash a set of parameters describing the maximum evolution of their position. This evolution takes account the error resulting from the pitching of the vehicle and the errors resulting from flat unevenness of the ground.
  • the next step (21) determines whether there existed, at the previous iteration, at least one selected agent, describing the marking on the previous confidence image.
  • the next step (22) is to study the spatial consistency of the tagging estimates to remove the noncoherent agents.
  • step (23) an agent is added to the right or to the left of the agent that is the rightmost or leftmost of the agent selected during the previous iteration, respectively.
  • Step (25) consists, for each of the agents, in estimating the neighboring agents, before the agents are propagated.
  • Step (26) consists in launching the agent detection process of the markings described below with reference to FIG. 4.
  • Step (27) consists of estimating the perception and stability thresholds for each of the agents.
  • the perception thresholds are calculated by estimating the indents identified with the trace of the agent, and extrapolating the position and the length of the following indents.
  • the agent perception threshold is adjusted for the next iteration.
  • the stability is estimated as a function of the ratio between the number of pixels whose value is greater than a threshold value, and the number of pixels whose value is lower than this threshold value.
  • Step (28) is to delete the inappropriate agents, if the stability value is below a threshold value, or if the average of the trace pixel values is less than a threshold value.
  • Step (29) concerns the estimation of the average speed of the vehicle relative to the axis of the road. This estimation is derived from the temporal registration of agent traces by a regression method.
  • the mark typing step (30) consists in recording in a buffer memory the successive values of the first pixels of the agents' trace, and in deducing from it the type of marking by comparing them with a signature library of the different types of tags. marking.
  • Step (31) consists of resetting the agents at the intersection between the camera's field of view
  • Step (32) concerns the left-right sorting of agents to calculate the neighbors for step (25) of the next iteration.
  • Step (33) consists of calculating the current track on which the vehicle is located.
  • Step (34) consists of deleting the markings beyond the impassable lines characterized in step (30). This step reduces the computing power required and avoids an unexpected change of lane when using an autopilot.
  • the first step (40) corresponds to the estimation of the orientation of the road; It is obtained by a consensus method on the direction of agents.
  • Step (41) is to determine the most backward agent, and to move it (step (42)) with the previously defined evolution pattern.
  • Step (43) is to check if the agent has reached the horizon line.
  • step (45) of reiterating the process from step (40) is carried out by eliminating the cooperation means with the neighboring agents.
  • the agent is then marked with a reset flag. An agent that has already been reset can not be reset a second time.
  • Step (48) makes an estimation, by comparison of the trace of the agent of the previous iteration and of
  • Stall is defined as a loss
  • a process reiteration step (49) is carried out from step (40) by eliminating the cooperation means with the neighboring agents. the detected stall zone, and reiterating the process from step (40)
  • step (50) If all agents have reached the horizon line, the process ends (step (50)).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

- La présente invention concerne un procédé de traitement d'image pour la reconnaissance de marquage au sol comportant une étape de réception d'au moins une image du sol à l'avant et/ou à l'arrière d'un véhicule caractérisé en ce qu'il comporte une étape de calcul d'une image numérique correspondant à une carte de confiance consistant à affecter à chaque pixel de l'image acquise une valeur correspondant au degré de confiance de l'appartenance de ce pixel à une zone de marquage, puis à procéder à une étape de détection de marquage par minimisation de la fonction f de l'équation suivante : - F est la fonction de régression - x± correspondant à la coordonnée selon x du `ème pixel traversé par l'agent - y± correspondant à la coordonnée selon y du ième pixel traversé par l'agent - w± correspondant à la valeur de gris V± du ime pixel traversé par l'agent - B désigne un espace fonctionnel -λ désigne le paramètre de lissage qui est fonction du type de route.

Description

Procédé de traitement d' image pour la reconnaissance de marquage au sol et système pour la détection du marquage au sol La présente invention revendique la priorité de la demande française 1654322 déposée le 13 mai 2016 dont le contenu (texte, dessins et revendications) est ici incorporé par référence.
Domaine de l' invention
La présente invention concerne le domaine de la reconnaissance du marquage au sol, notamment de marquage routier ou de marquage sur des aires de stationnement de véhicules .
On entend par « marquage » une ligne au sol de couleur différente de la chaussée (une route ou une aire de circulation ou de stationnement), et qui délimite un côté d'une voie de circulation. La ligne au sol peut être continue ou interrompue. On entend également par « marquage » le bord de la chaussée, c'est-à-dire la frontière entre la surface destinée à la circulation, par exemple en bitume, et le bas-côté.
Un procédé de détection de marquages routiers est généralement utilisé pour assister le conducteur d'un véhicule automobile, par exemple en émettant un signal sonore et/ou lumineux quand le véhicule s'écarte d'une voie de circulation. Il est également envisagé d'utiliser ce type de procédé pour le contrôle automatique d'un véhicule automobile, par exemple en contrôlant automatiquement la vitesse et/ou la direction du véhicule en fonction de marquages routiers détectés.
Les applications concernent également la fourniture d'informations à des systèmes d'aide à la conduite (Advanced Driver Assistance Systems -ADAS) assistant le conducteur à maintenir son véhicule dans sa voie de circulation à partir d'une estimation temps réel des paramètres des bords de voie, la conception de véhicule sans pilote, analyse du patrimoine routier pour évaluer la qualité et l'éventuelle dégradation des marquages existants, la constitution de bases de données géo- référencées avancées, les limiteurs de vitesse adaptatifs,... Les difficultés techniques pour le suivi et la reconnaissance de lignes de marquages routiers résultent des conditions d'acquisition des images embarquées, subissant les ombres projetées, les éblouissements , les occultations par des obstacles, etc.
Le document Ieng, Tarel et Charbonnier, « Estimation robuste pour la détection et le suivi par caméra », Traitement du signal vol. 21 n. 3, p. 205-226, 2004 décrit un procédé de détection d'un marquage routier dans une image. Dans ce
procédé, on estime les paramètres d'une courbe représentative du marquage routier. Cette estimation est basée sur un ensemble de points extraits de l'image comme étant susceptibles de correspondre à une portion de marquage routier, et sur une fonction de bruit qui modélise la correspondance statistique entre les points extraits et le marquage routier.
On a constaté cependant que les procédés de
détection de marquages routiers connus offraient une fiabilité limitée. En particulier, en raison par exemple de l'état de la route, de l'éclairage, de la visibilité, de la présence
d'éléments parasites, de l'absence de marquage routier ou de la présence de deux marquages routiers à proximité l'un de
l'autre, les procédés de détection de marquages routiers connus peuvent fournir des résultats peu précis ou faux. De plus, les procédés de détection de marquages routiers ne sont d'aucune utilité dans le cas d'une route non marquée.
De façon générale, les procédés de reconnaissance du marquage au sol fonctionnent en deux étapes :
En premier lieu, on extrait les primitives de marquages routiers à partir d'informations caméras.
En second lieu, on analyse spatialement les
primitives via des méthodes mathématiques (régression
polynomiale, RANSAC, transformée de Hough) pour en extraire les voies de circulation. Ce modèle fut utilisé pour le
développement de l'algorithme de détection multivoies du LIVIC.
Etat de la technique On connaît dans l'état de la technique le brevet européen EP 1221643 décrivant un dispositif et procédé pour la reconnaissance des lignes de marquage routières. Ce procédé comprend les étapes suivantes :
- acquisition d'images de la route vers l'avant de véhicule ;
- établissement d'une fenêtre de détection de voie de circulation sur les données d'images ;
- détection d'une marque de voie de circulation qui passe au travers de la fenêtre de détection sur la base d'une information de luminance sur chaque point à l'intérieur de la fenêtre de détection de voie de circulation considérée;
- établissement d'une pluralité d'autres fenêtres de détection de voie de circulation;
- détection d'une intensité de bord à l'intérieur de chaque fenêtre de détection de bruit;
- modification d'une valeur de poids de chacune des fenêtres de détection de voie de circulation conformément à l'intensité de bord dans celle considérée des fenêtres de détection de bruit; et
- calcul d'un profil de route en utilisant l'une quelconque des marques de circulation qui sont détectées et la valeur de poids modifiée.
On connaît aussi dans l'état de la technique l'article suivant : AHARON BAR HILLEL ET AL: "Récent progress in road and lane détection: a survey", MACHINE VISION AND
APPLICATIONS, vol. 25, no. 3, 1 April 2014 (2014-04-01), pages 727 - 745, XP055113665, ISSN: 0932-8092, DOI : 10.1007 / s 00138- 011-0404-2.
Ce document décrit une solution pour la détection de lignes de marquage routier, principalement les lignes
rectilignes, mettant en œuvres différentes alternatives, dont l'une, décrite page 738 propose l'utilisation de fonctions polynomiales de splines cubiques.
On connaît encore l'article BROGGI et al. 'an agent based evolutionary approach to path dection for off-road vehicle guidance », XP027922645, qui concerne un problème toutefois distinct, celui du guidage d'un véhicule tout terrain par rapport aux bords de la chaussée. Inconvénients de l'art antérieur
Les solutions de l'art antérieur ne sont pas totalement satisfaisantes. En particulier, elles sont mal adaptées à la reconnaissance des topologies de changement de rayon de courbure avec une accélération angulaire progressive que l'on rencontre par exemple pour les marquages de voies de sorties d'une voie principale. Ces zones de raccordement continu entre droite et cercle, avec accélération angulaire progressive, dite clothoïde sont mal reconnues par les
solutions de l'art antérieur parce que les traitements sont basés sur des modèles géométriques adaptés à la reconnaissance de lignes droites ou à courbure constante. Si l'on augmente l'ordre polynomiale, le bruit augmente conduit à des pertes de reconnaissance .
Les solutions décrites dans le document AHARRON et al. mettant en œuvre des fonctions de régressions de type spline cubique ne sont pas satisfaisantes car elles sont très sensibles à la présence de points aberrants. Le manque de robustesse de tels traitements est de ce fait incompatible avec des applications de guidage d'un véhicule autonome.
Solution apportée par l'invention
Afin de remédier à ces inconvénients, l'invention concerne un procédé de traitement d'image pour la
reconnaissance de marquage au sol selon la revendication principale ainsi que des variantes objet des revendications dépendantes .
Description détaillée d'un exemple non limitatif de l'invention
La présente invention sera mieux comprise à la lecture de la description détaillée d'un exemple non limitatif de l'invention qui suit, se référant aux dessins annexés où : la figure 1 représente une vue schématique de l'architecture matérielle de l'invention
la figure 2 représente une vue schématique de l'architecture fonctionnelle de l'invention
la figure 3 représente un exemple de logigramme d'un module de détection de marquage
- la figure 4 représente un exemple de logigramme d'une simulation par agent de détection de marquage.
Architecture matérielle
La figure 1 représente une vue schématique de l'architecture matérielle d'un système de reconnaissance de marquage au sol selon un exemple de réalisation, installé dans un véhicule automobile.
Le système comprend dans l'exemple décrit trois caméras (1 à 3), dont deux sont disposées à l'avant du
véhicule, à droite et à gauche, et l'une est en position central à l'arrière du véhicule. L'angle de vue de chacune des caméras (1 à 3) est plat, c'est-à-dire présente un champ plus large que haut .
Un commutateur réseau Ethernet (« switch » en anglais) (4) reçoit les signaux des caméras (1 à 3) et les transmet à un calculateur (5) . Ce calculateur (5) assure le traitement et la détection des marquages.
Un deuxième calculateur (6) reçoit les informations relatives au marquage sous forme de splines et applique un algorithme de planification afin de guider le véhicule.
Les caméras (1 à 3) sont alimentées par une source d'alimentation (7) . Alternativement, les caméras (1 à 3) peuvent être alimentées directement par le câble réseau, par une technologie « Power Ethernet ».
La position et l'orientation de chacune des caméras (1 à 3) par rapport au référentiel lié à l'essieu arrière du véhicule sont connues par un processus de calibration des caméras au moment du montage des caméras sur le véhicule.
Pour chacune des caméras (1 à 3), on détermine des paramètres intrinsèques correspondant directement au couple de modèle de caméra et d'objectif, et des paramètres extrinsèques correspondant à la position et l'orientation par rapport à l'essieu arrière.
Le calculateur (5) reçoit également des signaux de services fournit par un capteur de position angulaire de la colonne de direction, et par un capteur détectant la vitesse de rotation des roues arrières. Ces informations sont transmises par le réseau CAN du véhicule via un circuit d ' interfaçage (8) .
Ces informations permettent de recalculer périodiquement la position des marquages détectés aux
itérations précédentes, pour les mettre en correspondance avec la détection faite à l'itération courante.
Un lidar (9) constitué par un laser mobile assurant un balayage en direction de l'avant du véhicule pour détecter tout élément au dessus du plan de la route, et filtrer l'espace image pour éviter le traitement des zones au sol occultées par un obstacle ou un véhicule.
Architecture fonctionnelle Les images acquises par les caméras (1 à 3) font l'objet d'un traitement d'images par un module (11) recevant également les informations provenant d'un module de masquage (12) traitant les informations transmises par le lidar (9) .
Le module (11) calcule une carte de confiance sous la forme d'une image en niveau de gris, augmentant la
luminosité des zones susceptibles de correspondre à un masquage ou réduisant la luminosité du pixels pour les zones dont la probabilité de correspondre à un marquage routier est faible.
En d'autre terme, chaque pixel de cette image présente un niveau représentatif de la probabilité
d'appartenance à un marquage routier.
Opérateur de détecteur de marquage
Le calcul de cette carte de confiance est réalisé par des opérateurs de détection de marquages routiers
Les opérateurs de détection de marquages routiers ont pour objectif de créer une carte de confiance, utilisée ensuite par les agents traqueurs de marquages.
Opérateur de convolution Le premier opérateur est basé sur une convolution entre le voisinage horizontale d'un pixel donné et d'un modèle parfait de marquage. La fonction /caractérisée par l'ensemble des pixels d'une ligne est convoluée avec la courbe g
correspondant à une fonction porte. Cet opérateur est fonction de l , la largeur estimée du marquage routier qui correspondra à la largeur de la fonction porte. Cette convolution est définie comme suit :
Figure imgf000008_0001
avec
Y correspondant à l'absices du pixel traité dans une ligne de 1 ' image
m correspondant à une variable de l'intégrale
1 (y) correspondant au niveau de gris représentatif du degré de confiance du pixel
alpha correspondant au ratio haut/bas de g
S correspondant à un paramètre prédéterminé correspondant à une largeur nominale de marquage routier projeté dans l'espace image et centré autour de y avec g (m) définit comme suit
Figure imgf000008_0002
Ce traitement réalisé par le module (11) permet donc de calculer la valeur de chaque pixel d'une image correspondant à une carte de confiance distinguant les zones présentant une forte probabilité d'appartenance à un marquage routier.
Ce traitement réalisé par le module (11) est inhibé dans les zones de l'image correspondant à une information de masquage fournit par le module de masquage (12) .
Détection de marquage A partir de cette image calculée par le module (11), un module de détection (13) applique un traitement par une méthode multi-agents détectant les splines correspondant aux marquages routiers.
Détermination du champ de perception d'un agent
Le modèle de perception d'un agent est basé sur un champ de perception triangulaire. Le champ de perception est défini par un sommet (point correspondant à la position de l'agent) et une base présentant une largeur 2. S (où S
précédemment défini correspond à la largeur nominal d'un marquage projeté dans l'espace image), une profondeur L
fonction de la distance à 1 ' égo-véhicule (distance de la zone traitée par l'agent par rapport à un point de référence du véhicule) . Ce triangle définit un vecteur Vagent correspondant à la direction de l'agent, correspondant à l'axe perpendiculaire à la base passant par le sommet.
Ce champ triangulaire est ensuite projeté dans l'espace image pour définir l'ensemble des pixels de l'image de confiance qui seront traités par l'agent.
Détermination du modèle de déplacement d'un agent Le modèle de déplacement est déterminé par le calcul du barycentre du champ triangulaire précédemment défini, pondéré par la valeur des pixels de ce champ (éventuellement un seuillage bas est appliqué, pour éliminer des pixels de valeur trop faible) .
Ce barycentre pondéré détermine un point cible visé par l'agent. On calcule l'angle entre le vecteur Vagent et le vecteur V,. , ÷ définit par le sommet du triangle et les
coordonnées du barycentre.
Si l'ensemble des points contenus dans le champ de perception de l'agent est inférieur à la valeur seuil, le calcul du barycentre n'est pas possible.
Dans ce cas, la cible peut être déterminée à partir des informations provenant d'un ou plusieurs agents voisins. Cette situation se produit par exemple lorsque l'agent se propage entre deux tirets, et qu'un agent voisin se propage dans un marquage continu. Dans ce cas, l'évolution de la direction d'évolution du premier agent est identique à celle du second agent .
Dans le cas où un agent ne peut pas calculer un barycentre, et ne dispose d'aucun agent voisin pouvant calculer un barycentre, l'angle de déplacement est inchangé, l'agent continuant à se déplacer dans la direction précédemment fixée. L'agent est ensuite déplacé dans la direction correspond à cet angle, limité à une valeur prédéterminée.
Cette valeur prédéterminée est fonction du type de route et du maximum de courbure envisagé pour la détection. Cette valeur peut être variable, en fonction d'une hypothèse sur la nature de la voie sur laquelle circule le véhicule (valeur réduite si la voie est une autoroute, valeur plus importante si la voie est une route départementale) .
La longueur de déplacement est constante, et correspond à la distance entre deux pixels.
Comportement de l'agent
L'agent alterne les étapes de perception et les étapes de déplacement, de manière itérative, jusqu'à ce qu'à la ligne correspondant à l'horizon dans l'espace image.
A chaque point de passage de l'agent, on enregistre la valeur du pixel correspondant, et la position de l'agent sous forme d'un couple [Vx, Px] avec x variant entre le point de départ et le point d'arrivé de l'agent.
Sélection des agents
L'étape suivante consiste à sélectionner les agents dont le déplacement correspond à un marquage.
Pour cela, un ratio route est enregistré, pour chacun des types de marquage que l'on souhaite détecter. Par exemple, pour un marquage continu, le ratio est de 1.
Pour un marquage discontinu, le ratio est compris entre 0 et 1, en fonction de la modulation du marquage.
L'agent est conservé si : le ratio R ÷ . entre
o Les valeurs Vx de pixels supérieures à un seuil prédéterminé et
o Les valeurs Vx de pixels inférieures à un seuil prédéterminé
Est inférieur au ratio R ÷ , avec une marge de tolérance prédéfinie
Ou
L'intensité moyenne Vx des pixels enregistrés par l'agent est supérieure à un seuil prédéterminé.
Création d'un agent
Les agents sont créés sur le bord bas, droite ou gauche de l'image, et se déplacent en direction du centre optique de l'image.
On distingue trois phases :
la phase d'initialisation, où on envoie une pluralité de N agents séparés chacun d'une distance prédéterminée sur l'image de confiance
- une phase de réinitialisation, où on utilise les traces précédentes des agents sélectionnés, pour réinitialiser l'agent correspondant, à sa position de début de sa trace à chaque itération, création
o d'un agent à droite de l'agent le plus à droite sélectionné,
ou
o d'un agent à gauche de l'agent le plus à gauche sélectionné .
A chaque itération, on change de choix de coté.
Estimation de la forme du marquage routier
L'estimation de la forme du marquage routier, ou de la spline cubique du marquage est réalisée par un traitement consistant à calculer, à partir de tous les pixels traversés par l'agent, une spline cubique caractérisant le marquage.
La formule du spline cubique est calculée par minimisation de la fonction f de l'équation suivante :
Figure imgf000012_0001
Où :
- x± correspondant à la coordonnée selon x du ieme pixel traversé par l'agent
~ Yi correspondant à la coordonnée selon y du ieme pixel traversé par l'agent
- w± correspondant à la valeur de gris V± du ieme pixel traversé par l'agent
- B désigne un espace fonctionnel,
- λ désigne un paramètre de lissage compris entre 0 et 0,15 et qui est fonction du type de route.
Le paramètre λ sera nul ou proche de zéro sur des routes essentiellement droites, par exemple une autoroute, et proche de 0,1, pour les routes présentant des courbures
fréquentes, par exemple des routes de montagne.
L'ajustement du paramètre λ peut être réalisé manuellement ou à partir de données provenant d'un système externe, par exemple un équipement de géolocalisation (GPS) .
Le résultat de ce traitement fournit la spline de lissage correspondant au marquage routier.
Présentation d'une variante de réalisation
La figure 3 représente un autre exemple de
logigramme d'une solution de reconnaissance de marquages au sol selon l'invention, et plus précisément du module (13) de détection du marquage.
Le traitement s'applique sur les images de confiance calculées par le module (11) .
La première étape (20) consiste à déterminer pour chaque tiret de marquage un ensemble de paramètres décrivant l'évolution maximale de leur position. Cette évolution prend en compte l'erreur résultant du tangage du véhicule et des erreurs résultant de défauts de planéité du sol.
L'étape suivante (21) détermine s'il existait, lors de l'itération précédente, au moins un agent sélectionné, décrivant le marquage sur l'image de confiance précédente.
- S'il existait au moins un agent, l'étape suivante (22) consiste à étudier la cohérence spatiale des estimations de marquage afin de supprimer les agents non cohérents.
On ajoute ensuite à l'étape (23) un agent à droite ou à gauche de l'agent respectivement le plus à droite ou le plus à gauche de l'agent sélectionné lors de l'itération précédente .
S'il n'existait aucun agent sélectionné, on initialise (24) une pluralité d'agents se propageant dans la
direction du centre optique.
L'étape (25) consiste, pour chacun des agents, à estimer les agents voisins, avant la propagation des agents.
L'étape (26) consiste à lancer le processus de détection par agent des marquages décrit ci-après en référence à la figure 4.
L'étape (27) consiste à estimer les seuils de perception et de stabilité pour chacun des agents. Les seuils de perception sont calculés en estimant les tirets identifiés à l'aide de la trace de l'agent, et extrapolant la position et la longueur des tirets suivants.
En fonction de ces éléments, on ajuste le seuil de perception de l'agent pour la prochaine itération.
La stabilité est estimée en fonction du ratio entre le nombre de pixels dont la valeur est supérieure à une valeur seuil, et le nombre de pixels dont la valeur est inférieure à cette valeur seuil.
L'étape (28) consiste à supprimer les agents inappropriés, si la valeur de stabilité est inférieure à une valeur seuil, ou si la moyenne des valeurs des pixels de la trace est inférieure à une valeur seuil.
L'étape (29) concerne l'estimation de la vitesse moyenne du véhicule par rapport à l'axe de la route. Cette estimation est issue du recalage temporel des traces des agents par une méthode de régression.
L'étape (30) de typage des marquages consiste à enregistrer dans une mémoire tampon les valeurs successives des premiers pixels de la trace des agents, et d'en déduire le type de marquage en les comparant à une bibliothèque de signature des différents types de marquage.
L'étape (31) consiste à réinitialiser les agents à l'intersection entre le champ de perception de la caméra
(frustum de la caméra) et la spline cubique caractérisant le marquage .
L'étape (32) concerne le tri de gauche à droite des agents afin de calculer les voisins pour l'étape (25) de l'itération suivante.
L'étape (33) consiste à calculer la voie courante sur laquelle se situe le véhicule.
L'étape (34) consiste à supprimer les marquages au- delà des lignes infranchissables caractérisées lors de l'étape (30) . Cette étape permet de réduire la puissance de calcul nécessaire et d'éviter un changement de voie inopiné en cas d'utilisation d'un pilote automatique.
Logigramme de la simulation multi-agent La première étape (40) correspond à l'estimation de l'orientation de la route ; Elle est obtenue par une méthode de consensus sur la direction des agents.
L'étape (41) consiste à déterminer l'agent le plus en arrière, et à le déplacer (étape (42)) avec le modèle d'évolution précédemment défini.
L'étape (43) consiste à vérifier si l'agent a atteint la ligne d'horizon.
s'il n'a pas atteint la ligne d'horizon, on reitère le processus à partir de l'étape (40)
- sinon, s'il a atteint la ligne d'horizon, on vérifie s'il respecte des seuils de stabilité comme décrit précédemment et si la moyenne de pixels sur la trace est conforme à la comparaison précédemment décrite. On procède ensuite à une étape (44) de vérification. Si le résultat est négatif, on réinitialise l'agent au
démarrage et on procède à une étape (45) de réitération du processus à partir de l'étape (40) en supprimant les moyens de coopération avec les agents voisins. L'agent est alors marqué avec un drapeau de réinitialisation. Un agent déjà réinitialisé ne peut pas être réinitialisé une seconde fois.
On procède ensuite (étape 46) à l'enregistrement des pixels de la trace de l'agent et on procède (étape 47) à
l'estimation du déplacement du marquage entre l'itération courante et l'itération précédente, afin de permettre le
traitement de l'étape (29) d'estimation de la vitesse moyenne par consensus .
L'étape (48) réalise une estimation, par comparaison de la trace de l'agent de l'itération précédente et de
l'itération courante, d'une éventuelle situation de décrochage de l'agent. Le décrochage est défini comme une perte
d'information (tiret de marquage) entre l'itération précédente et l'itération courante.
En cas de décrochage détecté lors de l'étape (on procède à une étape (49) de réitération du processus à partir de l'étape (40) en supprimant les moyens de coopération avec les agents voisins. L'agent est réinitialisé au début de la zone de décrochage détectée, et de réitération du processus à partir de l'étape (40)
Si tous les agents ont atteint la ligne d'horizon, le processus prend fin (étape (50)).

Claims

Revendications
1 - Procédé de traitement d'image pour la reconnaissance de marquage au sol comportant une étape de réception d'au moins une image du sol à l'avant et/ou à
l'arrière d'un véhicule caractérisé en ce qu'il comporte une étape de calcul d'une image numérique correspondant à une carte de confiance consistant à affecter à chaque pixel de l'image acquise une valeur correspondant au degré de confiance de l'appartenance de ce pixel à une zone de marquage, puis à procéder à une étape de détection de marquage par minimisation de la fonction f de l'équation suivante :
¾2 F? , Wifvt - ffoi)2~f Ά (Xn(FHxïfdx
Où :
- F est la fonction de régression
- x± correspondant à la coordonnée selon x du ieme pixel traversé par l'agent
- y± correspondant à la coordonnée selon y du ieme pixel traversé par l'agent
- w± correspondant à la valeur de gris V± du ieme pixel traversé par l'agent
- B désigne un espace fonctionnel
- λ désigne le paramètre de lissage qui est fonction du type de route. 2 - Procédé de traitement d'image pour la reconnaissance de marquage au sol selon la revendication 1 caractérisé en ce qu'il comporte des étapes d'ajustement du paramètre Aà partir de données provenant d'un système de géolocalisation.
3 - Procédé de traitement d'image pour la reconnaissance de marquage au sol selon la revendication 1 caractérisé en ce qu'il comporte une étape de réception d'au moins une image du sol à l'avant et/ou à l'arrière d'un
véhicule caractérisé en ce qu'il comporte en outre une étape de masquage partielle de l'image acquise par les informations provenant d'un module de détection des éléments situés dans le champs des caméras au-dessus du niveau du sol. 4 - Procédé de traitement d'image pour la reconnaissance de marquage au sol selon la revendication 1 caractérisé en ce qu'il comprend les étapes consistant à :
- recevoir au moins une image du sol à l'avant et/ou à l'arrière d'un véhicule
- procéder à un prétraitement de l'image consistant à affecter à chaque pixel de ladite image un indicateur
numérique représentatif de l'appartenance dudit pixel à un marquage
- initialiser un processus multi-agent consistant à :
- propager une pluralité d'agents en partant des pixels de bords de l'image [un pixel] vers le centre optique de ladite image, chacun des agents étant associé à un champ de perception de N pixels voisins,
- à commander le déplacement de chacun desdits agents dans ledit champ de perception, dans la direction du barycentre dudit champs de perception pondéré par ledit
indicateur numérique d'appartenance des pixels du champ
- à itérer pour chacun des agents cette étape jusqu'aux bords de la bande de l'image contenant au moins un marquage
- à enregistrer pour chacun desdits agents les coordonnées des pixels parcourus ainsi que la valeur de
l'indicateur numérique d'appartenance associé
- à sélectionner l'agent dont les valeurs numériques enregistrées sont maximales
- à enregistrer la séquence d'enregistrements de cet agent
puis, après cette étape d'initialisation, pour chaque nouvelle image,
- à ré-estimer la position de départ de chacun des agents en fonction de l'intersection entre l'estimation de marquage obtenue lors de l'itération précédente, et le bord de 1 ' image - à ré-initialiser les agents sélectionnés lors de l'étape précédente à ladite position de départ
puis :
- à propager l'ensemble desdits agents sélectionnés en partant desdites positions de départ
- à commander le déplacement de chacun desdits agents dans ledit champ de perception, dans la direction du barycentre dudit champs de perception pondéré par ledit
indicateur numérique d'appartenance des pixels du champ
- à itérer pour chacun des agents cette étape jusqu'aux bords de la bande de l'image contenant au moins un marquage
- à enregistrer pour chacun desdits agents les coordonnées des pixels parcourus ainsi que la valeur de
l'indicateur numérique d'appartenance associé
- à sélectionner l'agent dont les valeurs numériques enregistrées sont maximales
- à enregistrer la séquence d'enregistrements de cet agent pour la nouvelle image.
5 - Procédé de traitement d'image pour la reconnaissance de marquage au sol selon la revendication 3 caractérisé en ce qu'il comporte en outre une étape de
traitement consistant, pour chacun desdites enregistrements, à appliquer un lissage par une méthode de spline cubique pondéré par la valeur dudit indicateur numérique d'appartenance.
6 - Procédé de traitement d'image pour la reconnaissance de marquage au sol selon la revendication 3 caractérisé en ce qu'il comporte des moyens d'échange
d'information entre moyens de détection de marquage.
7 - Système pour la détection du marquage au sol comportant au moins une caméra (1 à 3) et un calculateur (5), caractérisé en ce que ledit calculateur (5) exécute un
programme commandant traitement d'image pour la reconnaissance de marquage au sol comportant une étape de réception d'au moins une image du sol à l'avant et/ou à l'arrière d'un véhicule caractérisé en ce qu'il comporte une étape de calcul d'une image numérique correspondant à une carte de confiance consistant à affecter à chaque pixel de l'image acquise une valeur correspondant au degré de confiance de l'appartenance de ce pixel à une zone de marquage, puis à procéder à une étape de détection de marquage pour calculer une spline.
8 - Système pour la détection du marquage au sol selon la revendication précédente caractérisé en ce qu'il comporte en outre un lidar (7) constitué par un laser mobile assurant un balayage en direction de l'avant du véhicule pour détecter tout élément au-dessus du plan de la route, et filtrer l'espace image pour éviter le traitement des zones au sol occultées par un obstacle ou un véhicule.
PCT/FR2017/051143 2016-05-13 2017-05-11 Procédé de traitement d'image pour la reconnaissance de marquage au sol et système pour la détection du marquage au sol WO2017194890A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/301,061 US20190188498A1 (en) 2016-05-13 2017-05-11 Image Processing Method For Recognizing Ground Marking And System For Detecting Ground Marking
EP17727655.7A EP3455788A1 (fr) 2016-05-13 2017-05-11 Procédé de traitement d'image pour la reconnaissance de marquage au sol et système pour la détection du marquage au sol
CN201780029644.5A CN109791598A (zh) 2016-05-13 2017-05-11 用于识别地面标记的图像处理方法以及地面标记检测系统
JP2019511815A JP6978491B2 (ja) 2016-05-13 2017-05-11 地面マーキングを認識するための画像処理方法、および地面マーキングを検出するためのシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1654322A FR3051275A1 (fr) 2016-05-13 2016-05-13 Procede de traitement d’image pour la reconnaissance de marquage au sol et systeme pour la detection du marquage au sol
FR1654322 2016-05-13

Publications (1)

Publication Number Publication Date
WO2017194890A1 true WO2017194890A1 (fr) 2017-11-16

Family

ID=57113443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2017/051143 WO2017194890A1 (fr) 2016-05-13 2017-05-11 Procédé de traitement d'image pour la reconnaissance de marquage au sol et système pour la détection du marquage au sol

Country Status (6)

Country Link
US (1) US20190188498A1 (fr)
EP (1) EP3455788A1 (fr)
JP (1) JP6978491B2 (fr)
CN (1) CN109791598A (fr)
FR (1) FR3051275A1 (fr)
WO (1) WO2017194890A1 (fr)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3105961A1 (fr) 2020-01-08 2021-07-09 Psa Automobiles Sa Procédé et dispositif de détermination d’un indicateur de changement de voie pour véhicule
FR3107024A1 (fr) 2020-02-12 2021-08-13 Psa Automobiles Sa Procédé et dispositif de contrôle d’un véhicule
FR3107114A1 (fr) 2020-02-12 2021-08-13 Psa Automobiles Sa Procédé et dispositif de validation de données de cartographie d’un environnement routier de véhicule
FR3107875A1 (fr) 2020-03-05 2021-09-10 Psa Automobiles Sa Procédé et dispositif de contrôle d’activation de clignotants de véhicule
FR3110998A1 (fr) 2020-05-26 2021-12-03 Psa Automobiles Sa Procédé de régulation d’un trafic routier aux abords d’une zone de croisement de voies de circulation.
JP2022523084A (ja) * 2019-02-01 2022-04-21 テスラ，インコーポレイテッド 自動運転のための３次元特徴の予測
FR3119817A1 (fr) 2021-02-16 2022-08-19 Psa Automobiles Sa Procédé et dispositif de détermination d’une trajectoire pour un véhicule autonome
FR3120223A1 (fr) 2021-02-26 2022-09-02 Psa Automobiles Sa Procédé et dispositif d’aide à la conduite d’un véhicule basé sur la détection d’au moins une ligne marquée sur le sol d’une voie de circulation.
WO2022243617A1 (fr) 2021-05-19 2022-11-24 Psa Automobiles Sa Procédé et dispositif d'aide à la conduite d'un véhicule circulant sur une voie de circulation
FR3123745A1 (fr) 2021-06-07 2022-12-09 Psa Automobiles Sa Procédé d’aide à la conduite d’un véhicule circulant sur une voie de circulation délimitée par une première et une deuxième lignes marquées au sol.
FR3123619A1 (fr) 2021-06-08 2022-12-09 Psa Automobiles Sa Procédé de régulation de vitesse d’un véhicule circulant sur une chaussée à partir d’un véhicule cible.
FR3123618A1 (fr) 2021-06-08 2022-12-09 Psa Automobiles Sa Procédé et dispositif de régulation de vitesse d’un véhicule à partir d’un véhicule cible
WO2023099828A1 (fr) 2021-12-02 2023-06-08 Psa Automobiles Sa Procédé et dispositif de contrôle d'un système de régulation adaptative de vitesse d'un véhicule
WO2023105133A1 (fr) 2021-12-09 2023-06-15 Psa Automobiles Sa Procédé et dispositif de contrôle d'un système de régulation adaptative de vitesse d'un véhicule
WO2023105132A1 (fr) 2021-12-09 2023-06-15 Psa Automobiles Sa Procédé et dispositif de contrôle d'un système de régulation adaptative de vitesse d'un véhicule
FR3131724A1 (fr) 2022-01-13 2023-07-14 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de changement semi-automatique de voie de circulation d’un véhicule
FR3131885A1 (fr) 2022-01-17 2023-07-21 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de changement semi-automatique de voie de circulation d’un véhicule
FR3131890A1 (fr) 2022-01-19 2023-07-21 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de changement semi-automatique de voie de circulation d’un véhicule
FR3131889A1 (fr) 2022-01-18 2023-07-21 Psa Automobiles Sa Procédé de contrôle d’un système d’aide à la conduite d’un véhicule circulant sur une voie de circulation
FR3131884A1 (fr) 2022-01-17 2023-07-21 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de changement semi-automatique de voie de circulation d’un véhicule
WO2023144471A1 (fr) 2022-01-31 2023-08-03 Psa Automobiles Sa Procédé et dispositif de contrôle d'un système de guidage latéral d'un véhicule
FR3132896A1 (fr) 2022-02-22 2023-08-25 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite d’un véhicule dans un environnement routier comportant une fusion de voies
WO2023161571A1 (fr) 2022-02-28 2023-08-31 Psa Automobiles Sa Procédé et dispositif de contrôle de sélection d'un véhicule cible d'un système de régulation adaptative de vitesse d'un véhicule
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
FR3134215A1 (fr) 2022-04-05 2023-10-06 Psa Automobiles Sa Procédé et dispositif de détermination d’un type de ligne de marquage au sol pour véhicule
FR3134779A1 (fr) 2022-04-25 2023-10-27 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite de véhicule en fonction d’un type de ligne de marquage au sol déterminé à partir de données caméra et de données dynamiques du véhicule
FR3135047A1 (fr) 2022-04-27 2023-11-03 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite d’un véhicule en fonction d’une information d’intersection de lignes de marquage au sol
WO2023214138A1 (fr) 2022-05-03 2023-11-09 Psa Automobiles Sa Procédé et dispositif de contrôle d'un système d'aide à la conduite de véhicule en fonction de la détection d'un panneau de signalisation et d'un changement de voie
WO2023233088A1 (fr) 2022-06-01 2023-12-07 Stellantis Auto Sas Procédé et dispositif de contrôle de système d'aide à la conduite d'un véhicule basé sur une limite de vitesse
WO2024003473A1 (fr) 2022-06-30 2024-01-04 Stellantis Auto Sas Procédé et dispositif de contrôle d'un système d'aide à la conduite d'un véhicule circulant dans un environnement routier comprenant une intersection
FR3137781A1 (fr) 2022-07-11 2024-01-12 Psa Automobiles Sa Procédé et dispositif de détermination d’une largeur d’une voie latérale adjacente à une voie de circulation
FR3137780A1 (fr) 2022-07-11 2024-01-12 Psa Automobiles Sa Procédé et dispositif de détermination d’un tracé arrière d’au moins une délimitation latérale de voie de circulation
FR3137642A1 (fr) 2022-07-05 2024-01-12 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de changement semi-automatique de voie de circulation d’un véhicule en fonction d’une valeur maximale d’un paramètre dynamique
WO2024018130A1 (fr) 2022-07-20 2024-01-25 Stellantis Auto Sas Procédé et dispositif de contrôle d'un système salc d'un véhicule en fonction de la qualité des lignes de marquage au sol
FR3138098A1 (fr) 2022-07-25 2024-01-26 Psa Automobiles Sa Procédé et dispositif de détermination d’une vitesse de rotation en lacet d’un véhicule
WO2024023411A1 (fr) 2022-07-27 2024-02-01 Stellantis Auto Sas Procédé et dispositif de contrôle d'un système salc d'un véhicule en fonction de la présence d'une structure de séparation de voies
FR3140452A1 (fr) 2022-09-30 2024-04-05 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite d’un véhicule en fonction d’une hauteur d’un bord de voie
FR3140590A1 (fr) 2022-10-06 2024-04-12 Psa Automobiles Sa Procédé et dispositif de contrôle de l’intensité lumineuse de feux de signalisation arrière d’un véhicule
WO2024094942A1 (fr) 2022-11-03 2024-05-10 Stellantis Auto Sas Procédé et dispositif de contrôle d'un système de régulation adaptative de vitesse d'un véhicule changeant de voie de circulation
FR3142154A1 (fr) 2022-11-23 2024-05-24 Psa Automobiles Sa Procédé et dispositif de rendu d’un message d’autorisation d’un changement de voie
FR3142152A1 (fr) 2022-11-21 2024-05-24 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite avec fonction d’arrêt sécurisé pour véhicule
FR3146861A1 (fr) 2023-03-24 2024-09-27 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide au maintien sur voie de circulation d’un véhicule

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947109B (zh) * 2019-04-02 2022-06-21 北京石头创新科技有限公司 机器人工作区域地图构建方法、装置、机器人和介质
CN110430400B (zh) * 2019-08-12 2020-04-24 中国人民解放军火箭军工程大学 一种双目可运动摄像机的地平面区域检测方法
CN110687549B (zh) * 2019-10-25 2022-02-25 阿波罗智能技术(北京)有限公司 障碍物检测方法和装置
DE102020214991A1 (de) 2020-11-27 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Optischer Sensor
DE102020215401A1 (de) 2020-12-07 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Optischer Sensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1221643A2 (fr) 2000-12-27 2002-07-10 Nissan Motor Company, Limited Dispositif et méthode pour la reconnaissance des lignes de marquage routières

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
JP3104645B2 (ja) * 1996-08-28 2000-10-30 松下電器産業株式会社 道路白線検出方法及び道路白線検出装置
JPH11213137A (ja) * 1998-01-29 1999-08-06 Matsushita Electric Ind Co Ltd 画像処理装置
FR2858447A1 (fr) * 2003-07-29 2005-02-04 Holding Bev Sa Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d'objets d'un espace, construction de contours et applications
JP3856798B2 (ja) * 2004-04-09 2006-12-13 松下電器産業株式会社 ナビゲーション装置
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
JP2016000602A (ja) * 2014-06-12 2016-01-07 トヨタ自動車株式会社 車線変更支援装置
CN104392212B (zh) * 2014-11-14 2017-09-01 北京工业大学 一种基于视觉的道路信息检测及前方车辆识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1221643A2 (fr) 2000-12-27 2002-07-10 Nissan Motor Company, Limited Dispositif et méthode pour la reconnaissance des lignes de marquage routières

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
AHARON BAR HILLEL ET AL.: "Recent progress in road and lane detection: a survey", MACHINE VISION AND APPLICATIONS, vol. 25, no. 3, 1 April 2014 (2014-04-01), pages 727 - 745, XP055113665, ISSN: 0932-8092, DOI: doi:10.1007/s00138-011-0404-2
AHARON BAR HILLEL ET AL: "Recent progress in road and lane detection: a survey", MACHINE VISION AND APPLICATIONS, vol. 25, no. 3, 1 April 2014 (2014-04-01), pages 727 - 745, XP055113665, ISSN: 0932-8092, DOI: 10.1007/s00138-011-0404-2 *
BROGGI A ET AL: "An agent based evolutionary approach to path detection for off-road vehicle guidance", PATTERN RECOGNITION LETTERS, ELSEVIER, AMSTERDAM, NL, vol. 27, no. 11, 1 August 2006 (2006-08-01), pages 1164 - 1173, XP027922645, ISSN: 0167-8655, [retrieved on 20060801] *
BROGGI ET AL., AN AGENT BASED EVOLUTIONARY APPROACH TO PATH DECTION FOR OFF-ROAD VEHICLE GUIDANCE
IENG; TAREL; CHARBONNIER: "Estimation robuste pour la détection et le suivi par caméra", TRAITEMENT DU SIGNAL, vol. 21, no. 3, 2004, pages 205 - 226
JÉRÔME PERRIN, MARC REVILLOUD: "Délégation de conduite & véhicules autonomes", 20 December 2013 (2013-12-20), XP055342610, Retrieved from the Internet <URL:http://www.vedecom.fr/images/lettres/lettre_vedecom_6_decembre_2013.pdf> [retrieved on 20170206] *
REVILLOUD M ET AL: "A new multi-agent approach for lane detection and tracking", 2016 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 16 May 2016 (2016-05-16), pages 3147 - 3153, XP032908552, DOI: 10.1109/ICRA.2016.7487482 *

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022523084A (ja) * 2019-02-01 2022-04-21 テスラ，インコーポレイテッド 自動運転のための３次元特徴の予測
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
JP7374199B2 (ja) 2019-02-01 2023-11-06 テスラ，インコーポレイテッド 自動運転のための３次元特徴の予測のためのシステム、コンピュータプログラム製品および方法
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
FR3105961A1 (fr) 2020-01-08 2021-07-09 Psa Automobiles Sa Procédé et dispositif de détermination d’un indicateur de changement de voie pour véhicule
FR3107024A1 (fr) 2020-02-12 2021-08-13 Psa Automobiles Sa Procédé et dispositif de contrôle d’un véhicule
FR3107114A1 (fr) 2020-02-12 2021-08-13 Psa Automobiles Sa Procédé et dispositif de validation de données de cartographie d’un environnement routier de véhicule
FR3107875A1 (fr) 2020-03-05 2021-09-10 Psa Automobiles Sa Procédé et dispositif de contrôle d’activation de clignotants de véhicule
FR3110998A1 (fr) 2020-05-26 2021-12-03 Psa Automobiles Sa Procédé de régulation d’un trafic routier aux abords d’une zone de croisement de voies de circulation.
FR3119817A1 (fr) 2021-02-16 2022-08-19 Psa Automobiles Sa Procédé et dispositif de détermination d’une trajectoire pour un véhicule autonome
FR3120223A1 (fr) 2021-02-26 2022-09-02 Psa Automobiles Sa Procédé et dispositif d’aide à la conduite d’un véhicule basé sur la détection d’au moins une ligne marquée sur le sol d’une voie de circulation.
WO2022243617A1 (fr) 2021-05-19 2022-11-24 Psa Automobiles Sa Procédé et dispositif d'aide à la conduite d'un véhicule circulant sur une voie de circulation
FR3123033A1 (fr) 2021-05-19 2022-11-25 Psa Automobiles Sa Procédé et dispositif d’aide à la conduite d’un véhicule circulant sur une voie de circulation.
FR3123745A1 (fr) 2021-06-07 2022-12-09 Psa Automobiles Sa Procédé d’aide à la conduite d’un véhicule circulant sur une voie de circulation délimitée par une première et une deuxième lignes marquées au sol.
FR3123618A1 (fr) 2021-06-08 2022-12-09 Psa Automobiles Sa Procédé et dispositif de régulation de vitesse d’un véhicule à partir d’un véhicule cible
WO2022258892A1 (fr) 2021-06-08 2022-12-15 Psa Automobiles Sa Procédé et dispositif de régulation de vitesse d'un véhicule à partir d'un véhicule cible
WO2022258900A1 (fr) 2021-06-08 2022-12-15 Psa Automobiles Sa Procédé de régulation de vitesse d'un véhicule circulant sur une chaussée à partir d'un véhicule cible
FR3123619A1 (fr) 2021-06-08 2022-12-09 Psa Automobiles Sa Procédé de régulation de vitesse d’un véhicule circulant sur une chaussée à partir d’un véhicule cible.
WO2023099828A1 (fr) 2021-12-02 2023-06-08 Psa Automobiles Sa Procédé et dispositif de contrôle d'un système de régulation adaptative de vitesse d'un véhicule
FR3129910A1 (fr) 2021-12-02 2023-06-09 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de régulation adaptative de vitesse d’un véhicule
FR3130234A1 (fr) 2021-12-09 2023-06-16 Psa Automobiles Sa - Procédé et dispositif de contrôle d’un système de régulation adaptative de vitesse d’un véhicule
WO2023105132A1 (fr) 2021-12-09 2023-06-15 Psa Automobiles Sa Procédé et dispositif de contrôle d'un système de régulation adaptative de vitesse d'un véhicule
FR3130233A1 (fr) 2021-12-09 2023-06-16 Psa Automobiles Sa - Procédé et dispositif de contrôle d’un système de régulation adaptative de vitesse d’un véhicule
WO2023105133A1 (fr) 2021-12-09 2023-06-15 Psa Automobiles Sa Procédé et dispositif de contrôle d'un système de régulation adaptative de vitesse d'un véhicule
FR3131724A1 (fr) 2022-01-13 2023-07-14 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de changement semi-automatique de voie de circulation d’un véhicule
FR3131885A1 (fr) 2022-01-17 2023-07-21 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de changement semi-automatique de voie de circulation d’un véhicule
FR3131884A1 (fr) 2022-01-17 2023-07-21 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de changement semi-automatique de voie de circulation d’un véhicule
FR3131889A1 (fr) 2022-01-18 2023-07-21 Psa Automobiles Sa Procédé de contrôle d’un système d’aide à la conduite d’un véhicule circulant sur une voie de circulation
FR3131890A1 (fr) 2022-01-19 2023-07-21 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de changement semi-automatique de voie de circulation d’un véhicule
WO2023144471A1 (fr) 2022-01-31 2023-08-03 Psa Automobiles Sa Procédé et dispositif de contrôle d'un système de guidage latéral d'un véhicule
FR3132265A1 (fr) 2022-01-31 2023-08-04 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de guidage latéral d’un véhicule
FR3132896A1 (fr) 2022-02-22 2023-08-25 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite d’un véhicule dans un environnement routier comportant une fusion de voies
WO2023161571A1 (fr) 2022-02-28 2023-08-31 Psa Automobiles Sa Procédé et dispositif de contrôle de sélection d'un véhicule cible d'un système de régulation adaptative de vitesse d'un véhicule
FR3133043A1 (fr) 2022-02-28 2023-09-01 Psa Automobiles Sa Procédé et dispositif de contrôle de sélection d’un véhicule cible d’un système de régulation adaptative de vitesse d’un véhicule
FR3134215A1 (fr) 2022-04-05 2023-10-06 Psa Automobiles Sa Procédé et dispositif de détermination d’un type de ligne de marquage au sol pour véhicule
FR3134779A1 (fr) 2022-04-25 2023-10-27 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite de véhicule en fonction d’un type de ligne de marquage au sol déterminé à partir de données caméra et de données dynamiques du véhicule
FR3135047A1 (fr) 2022-04-27 2023-11-03 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite d’un véhicule en fonction d’une information d’intersection de lignes de marquage au sol
WO2023214138A1 (fr) 2022-05-03 2023-11-09 Psa Automobiles Sa Procédé et dispositif de contrôle d'un système d'aide à la conduite de véhicule en fonction de la détection d'un panneau de signalisation et d'un changement de voie
FR3135240A1 (fr) 2022-05-03 2023-11-10 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite de véhicule en fonction de la détection d’un panneau de signalisation et d’un changement de voie
WO2023233088A1 (fr) 2022-06-01 2023-12-07 Stellantis Auto Sas Procédé et dispositif de contrôle de système d'aide à la conduite d'un véhicule basé sur une limite de vitesse
FR3136305A1 (fr) 2022-06-01 2023-12-08 Psa Automobiles Sa Procédé et dispositif de contrôle de système d’aide à la conduite d’un véhicule basé sur une limite de vitesse
WO2024003473A1 (fr) 2022-06-30 2024-01-04 Stellantis Auto Sas Procédé et dispositif de contrôle d'un système d'aide à la conduite d'un véhicule circulant dans un environnement routier comprenant une intersection
FR3137352A1 (fr) 2022-06-30 2024-01-05 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite d’un véhicule circulant dans un environnement routier comprenant une intersection
FR3137642A1 (fr) 2022-07-05 2024-01-12 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de changement semi-automatique de voie de circulation d’un véhicule en fonction d’une valeur maximale d’un paramètre dynamique
FR3137781A1 (fr) 2022-07-11 2024-01-12 Psa Automobiles Sa Procédé et dispositif de détermination d’une largeur d’une voie latérale adjacente à une voie de circulation
FR3137780A1 (fr) 2022-07-11 2024-01-12 Psa Automobiles Sa Procédé et dispositif de détermination d’un tracé arrière d’au moins une délimitation latérale de voie de circulation
WO2024018130A1 (fr) 2022-07-20 2024-01-25 Stellantis Auto Sas Procédé et dispositif de contrôle d'un système salc d'un véhicule en fonction de la qualité des lignes de marquage au sol
FR3138101A1 (fr) 2022-07-20 2024-01-26 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système SALC d’un véhicule en fonction de la qualité des lignes de marquage au sol
FR3138098A1 (fr) 2022-07-25 2024-01-26 Psa Automobiles Sa Procédé et dispositif de détermination d’une vitesse de rotation en lacet d’un véhicule
WO2024023411A1 (fr) 2022-07-27 2024-02-01 Stellantis Auto Sas Procédé et dispositif de contrôle d'un système salc d'un véhicule en fonction de la présence d'une structure de séparation de voies
FR3138397A1 (fr) 2022-07-27 2024-02-02 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système SALC d’un véhicule en fonction de la présence d’une structure de séparation de voies
FR3140452A1 (fr) 2022-09-30 2024-04-05 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite d’un véhicule en fonction d’une hauteur d’un bord de voie
FR3140590A1 (fr) 2022-10-06 2024-04-12 Psa Automobiles Sa Procédé et dispositif de contrôle de l’intensité lumineuse de feux de signalisation arrière d’un véhicule
WO2024094942A1 (fr) 2022-11-03 2024-05-10 Stellantis Auto Sas Procédé et dispositif de contrôle d'un système de régulation adaptative de vitesse d'un véhicule changeant de voie de circulation
FR3141666A1 (fr) 2022-11-03 2024-05-10 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système de régulation adaptative de vitesse d’un véhicule changeant de voie de circulation
FR3142152A1 (fr) 2022-11-21 2024-05-24 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide à la conduite avec fonction d’arrêt sécurisé pour véhicule
FR3142154A1 (fr) 2022-11-23 2024-05-24 Psa Automobiles Sa Procédé et dispositif de rendu d’un message d’autorisation d’un changement de voie
FR3146861A1 (fr) 2023-03-24 2024-09-27 Psa Automobiles Sa Procédé et dispositif de contrôle d’un système d’aide au maintien sur voie de circulation d’un véhicule

Also Published As

Publication number Publication date
JP2019517089A (ja) 2019-06-20
JP6978491B2 (ja) 2021-12-08
FR3051275A1 (fr) 2017-11-17
EP3455788A1 (fr) 2019-03-20
CN109791598A (zh) 2019-05-21
US20190188498A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
WO2017194890A1 (fr) Procédé de traitement d&#39;image pour la reconnaissance de marquage au sol et système pour la détection du marquage au sol
JP7228652B2 (ja) 物体検出装置、物体検出方法およびプログラム
US20230111722A1 (en) Curb detection by analysis of reflection images
EP3327618B1 (fr) Procédé et appareil pour commander la vitesse d&#39;un véhicule
US11244174B2 (en) System and method of determining a curve
US11798187B2 (en) Lane detection and distance estimation using single-view geometry
CN111060094A (zh) 车辆定位方法和装置
CN114902070A (zh) 传感器退化检测和修复
EP3332352B1 (fr) Dispositif et procede de detection de place de stationnement libre pour un vehicule automobile
JP7380824B2 (ja) 車両状態推定方法、車両状態推定装置、及び車両状態推定プログラム
FR3106918A1 (fr) Procédé et dispositif de reconstruction des voies
KR20210061069A (ko) 3차원 객체를 표시하는 방법 및 장치
US20230316789A1 (en) Object labeling in images using dense depth maps
FR2947935A1 (fr) Procede de definition d&#39;une fenetre de recherche
FR2899363A1 (fr) Procede et dispositif de detection de mouvement d&#39;objets sur des images d&#39;une scene
US11138448B2 (en) Identifying a curb based on 3-D sensor data
EP3877228B1 (fr) Construction par segmentation de voies virtuelles sur une chaussée
WO2018041978A1 (fr) Dispositif de détermination d&#39;une limitation de vitesse, système embarqué comprenant un tel dispositif et procédé de détermination d&#39;une limitation de vitesse.
FR3106108A1 (fr) Procédé et dispositif de détermination de trajectoire d’une route
FR2897460A1 (fr) Procede et dispositif de detection de reperes routiers dans une image
EP4373723A1 (fr) Dispositif et procédé de détection d&#39;une sortie de voie d&#39;un véhicule
WO2024042288A1 (fr) Système et procédé d&#39;aide à la navigation d&#39;un système mobile au moyen d&#39;un modèle de prédiction de traversabilité d&#39;un terrain par le système mobile
KR102039814B1 (ko) 측후방 차량 검출 방법 및 그 장치
WO2024194543A1 (fr) Procede d&#39;analyse d&#39;un flux video, programme d&#39;ordinateur, dispositif de traitement et vehicule associes
FR3054355B1 (fr) Procede et systeme de determination d&#39;un espace libre situe dans une zone d&#39;environnement d&#39;un vehicule automobile

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019511815

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17727655

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017727655

Country of ref document: EP

Effective date: 20181213