WO2021122649A1 - Method for automatically recognising road signs, for an autonomous vehicle - Google Patents

Method for automatically recognising road signs, for an autonomous vehicle Download PDF

Info

Publication number
WO2021122649A1
WO2021122649A1 PCT/EP2020/086293 EP2020086293W WO2021122649A1 WO 2021122649 A1 WO2021122649 A1 WO 2021122649A1 EP 2020086293 W EP2020086293 W EP 2020086293W WO 2021122649 A1 WO2021122649 A1 WO 2021122649A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
signaling
prediction
autonomous
Prior art date
Application number
PCT/EP2020/086293
Other languages
French (fr)
Inventor
Fabrice Gautier
Original Assignee
Alcom Technologies
Régie Autonome des Transports Parisiens
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcom Technologies, Régie Autonome des Transports Parisiens filed Critical Alcom Technologies
Publication of WO2021122649A1 publication Critical patent/WO2021122649A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Definitions

  • the present invention belongs to the general field of automatic transport systems, in particular autonomous vehicles, and relates more particularly to a method for automatically recognizing road signs, such as the state of a traffic light, for an autonomous vehicle of the transport shuttle type. in common.
  • the present invention also belongs to the field of artificial intelligence and more specifically of machine learning, decision support and reasoning under uncertainty.
  • An autonomous vehicle is a vehicle capable of moving in a partially or completely autonomous manner, and connected to the road infrastructure, to other vehicles and / or to other road users using wireless means of communication. .
  • autonomous vehicles are equipped with a plurality of digital sensors (cameras, radars, sonars, lidars, inertial units, etc.) and wireless communication modules, geolocation, and others, whose data is processed by specific processors and software. Thanks to data fusion algorithms (multisensor fusion), this software reconstructs the environment and the 3D road situation by recognition of shapes (limits of roads, lanes, vehicles, obstacles, signs) and employs algorithms artificial intelligence to decide on the action to be taken on the vehicle controls. The actions decided by software are carried out by servo controls on the steering wheel, accelerator, brake and various interfaces allowing the engagement and disengagement of the automatic driving mode.
  • digital sensors cameras, radars, sonars, lidars, inertial units, etc.
  • wireless communication modules geolocation, and others, whose data is processed by specific processors and software. Thanks to data fusion algorithms (multisensor fusion), this software reconstructs the environment and the 3D road situation by recognition of shapes (limits of roads, lanes, vehicles, obstacles, signs) and employs algorithms artificial
  • autonomous vehicles recognize traffic lights and their conditions by means of on-board cameras and / or radio communication.
  • the traffic lights emit a radio signal, containing information on their state (red, orange or green), which is received by autonomous vehicles approaching them. It remains problematic in an intersection because the vehicle located there receives several signals concomitantly, which requires cumbersome and complex processing to disentangle the signals, with a risk of error.
  • US patent US9990548B2 in the name of Uber Technologies Inc., describes a traffic light analysis system capable of receiving image data from one or more cameras of an autonomous vehicle, where the image data include a road sign system located at an intersection.
  • the traffic light analysis system can determine a passing action for the autonomous vehicle through the intersection, and access a corresponding signaling map that includes characteristic information indicating the properties of the traffic signaling system. Based on the characteristic information and image data, the traffic light analysis system can identify a state of the road signaling system for the passing action, and generate an output for the autonomous vehicle indicating the state. of the road sign system for the passing action.
  • the present invention aims to overcome the drawbacks of the prior art described above.
  • the present invention relates to a method of automatic recognition of road signs implemented by an autonomous vehicle, equipped with an image sensor, and comprising: a step of observing the environment of the vehicle by the camera, for the acquisition of instantaneous images; a step of real-time prediction of an attribute relating to a forthcoming signaling on a route of the vehicle from an image of said signaling; a step of detecting the signaling on the image, making it possible to delimit on said image a useful zone surrounding said signaling, said useful zone defining a new image of smaller size; and a step of predicting the attribute relating to the signaling from said new image.
  • This process is remarkable in that it comprises a step of preprocessing the image to estimate a theoretical location of the signaling in said image from the geographical position of said signaling and from the instantaneous position of the vehicle provided by a positioning system by satellite, in that the prediction steps are executed by artificial neural networks, implementing a machine learning technique and implemented in an on-board central computer of the autonomous vehicle, and in that the prediction alone (without detection) and the prediction with detection are merged in an optional merging step to increase precision.
  • the detection step is also executed by an artificial neural network implementing a machine learning technique embedded in the central computer.
  • the estimation of the theoretical location of the signage in the image is obtained by a projective geometry calculation combined with a kinematic calculation.
  • the method for automatically recognizing road signs further comprises a recommendation step allowing the autonomous vehicle to make a decision based on the predictions obtained at the prediction steps, this recommendation step being based on a recommendation matrix.
  • the satellite positioning system comprises a GPS receiver.
  • the image sensor is a camera installed on the autonomous vehicle at a height H from the ground and with a sighting axis inclined relative to a median longitudinal axis of said vehicle, by 45 ° for example.
  • At least one machine learning technique implemented by an artificial neural network is a deep learning technique.
  • road signs are traffic lights, for which the attribute corresponds to their state, or color (Green - Orange - Red).
  • the present invention also relates to an autonomous vehicle, such as a public transport shuttle, comprising an image sensor and a computer. central, and implementing a method of automatic recognition of road signs incorporating one or more characteristics mentioned above.
  • FIG. 1 a schematic right view of an autonomous shuttle equipped with an image sensor for the implementation of the road sign recognition method according to the invention
  • Figure 2 a front view of the autonomous shuttle of Figure 1;
  • Figure 3 a top view of the autonomous shuttle of Figure 1;
  • FIG. 4 a schematic view of the autonomous shuttle approaching a traffic light
  • FIG. 6 a block diagram of the method of Figure 5;
  • Figure 8 a useful area containing the traffic light isolated from the image in Figure 7;
  • Figure 10 the main steps of the recognition method according to a preferred embodiment of the invention
  • Figure 11 a block diagram of the method of Figure 10;
  • Figure 12 an example of an image with the theoretical location of the fire masked by an obstacle
  • Figure 13a the position of the shuttle and the corresponding image at a given time
  • Figure 13b the position of the shuttle and the corresponding image at a later time
  • Figure 14 a diagram of the principle of calculating the theoretical positions of the lights by projective geometry
  • Figure 15 a simplified example of a circuit taken by the autonomous shuttle.
  • autonomous shuttle designates an autonomous vehicle, that is to say capable of making decisions, of the minibus type regularly making the same journey or route; and the term “light” means a traffic light.
  • the lights are generally available from two basic colors: red for stopping and green for traffic, yellow-orange is also used as a transition light to mark the imminent passage of the traffic. green light to red light, and vice versa in some countries. The latter case will not be considered, and the instruction linked to the yellow-orange light will be the same as that of the red light, namely stopping the vehicle.
  • FIG. 1 represents an autonomous shuttle 100 adapted to the implementation of the recognition method according to the invention, in other words, equipped with the means of calculation, processing and communication in real time necessary for the use of data coming from an image sensor 10 installed on said shuttle.
  • Such an autonomous shuttle is known in the art.
  • the autonomous shuttle 100 therefore has an on-board computer, not shown, in the form of specific processing units implementing artificial intelligence algorithms for implementing the real-time recognition method.
  • the artificial intelligence algorithms feature an artificial neural network architecture for implementing deep learning techniques
  • the specific processing units are based on multicore processors.
  • the image sensor 10 enables the acquisition of images of the environment of the autonomous shuttle 100 in order to detect the presence of a fire and to recognize its state.
  • the image sensor 10 is a compact industrial camera, marketed by the company IDS Imaging Development Systems GmbH, with a resolution of 2448 * 2048, comprising a CMOS (Complementary Metal Oxide Semi-Conductor) of size 2/3 ”, a shutter type“ Global Shutter ”, and presenting a video flow of 24 frames per second, a C mount and an interface according to the GigE standard with power supply via Ethernet cable (POE ).
  • CMOS Complementary Metal Oxide Semi-Conductor
  • This camera also includes a mechanical image stabilizer attached to the autonomous shuttle 100, a category 5e or 6 RJ45 connection cable (RJ screw connector / RJ45), a POE switch (network + camera power supply), and a 4G modem equipped with an RTK GPS allowing to know precisely the position of the autonomous shuttle (+/- 2m) and to transmit a degraded video stream (10 images of 720 * 576 pixels per second).
  • the camera 10 is fixed at the intersection between the front face and the right side of the autonomous shuttle 100 when the driving is on the right, following the direction of forward travel of the shuttle indicated by the solid arrow in Figure 3.
  • the camera 10 is installed at a height H from the ground, for example 1.90 m, and has an axis inclined in clockwise with respect to a median longitudinal axis X of the autonomous shuttle 100, this inclination corresponding to an angle of sight with respect to the trajectory.
  • the viewing angle of the camera 10 is substantially equal to 45 °.
  • a light 200 placed on the edge of a sidewalk along a road 300 taken by the autonomous shuttle 100 is necessarily located in the axis of the camera 10, at an optimal framing distance, when said shuttle arrives at said light. leaving a certain safety distance, for example between 1m and 2m. Such a situation is shown schematically in figure 4.
  • the camera 10 has a horizontal angular field a, corresponding to an average plane of the road, sufficient to capture more distant lights, in particular the lights located on the same straight road and which, consequently, are projected onto a even elusive as explained below.
  • a horizontal angular field a corresponding to an average plane of the road, sufficient to capture more distant lights, in particular the lights located on the same straight road and which, consequently, are projected onto a even elusive as explained below.
  • the recognition method according to the invention makes it possible to focus on the information provided by the next traffic light, the detection of the following traffic lights having no impact on the recommendation made in real time by said method.
  • Such a method comprises an initial observation step 600 followed by a single prediction step 720 and / or a prediction step 725 preceded by a detection step 710, as well as a final recommendation step 700.
  • the initial observation step 600 consists of a continuous and real-time acquisition of images of the environment of the autonomous shuttle 100 when it is making its journey, thanks to the camera 10.
  • the video stream obtained is analyzed in real time by different artificial intelligence algorithms IA-1, IA-2 and IA-3, according to the stages, respectively, of prediction only 720, of detection 710 and of prediction after detection 725, as shown schematically in FIG. 6.
  • This step consists in analyzing an entire image captured instantaneously by the camera 10 in order to determine the state of the next fire, the latter conditioning the conduct of the autonomous shuttle 100 and the decision which will be taken for this purpose.
  • FIG. 7 represents an artist's view of an entire image 500 captured by the camera 10 at a given instant, corresponding for example to the situation in FIG. 4.
  • a light 200 can be seen substantially in the center. of the image due to the 45 ° angle of view of the camera 10.
  • the AI-1 artificial intelligence algorithms operating the prediction on the image 500 therefore make it possible to recognize the state of the light 200 (red, orange or green) so that the autonomous shuttle 100 can take the decision associated with said state (traffic or stop).
  • the IA-1 prediction algorithms are based on a very large convolutional artificial neural network, implementing a deep learning technology, the training of which was carried out with a bank of several thousand d images of traffic lights of various shapes and sizes.
  • IA-1 whole-frame prediction algorithms include a recognition phase, or classification, after the learning phase.
  • learning and recognition phases in the prediction algorithms it can be taken into account in a well-defined neural network, for each fire state (red, orange, green and black), of parameters and hyperparameters including: the total number of images analyzed, the training percentage, the validation percentage, the test percentage, the size of the input images, the size of the resized images, the intrinsic properties of the images (range of brightness, color tone, contrast, sharpening, gamma correction, etc.), cyclic learning rate, dropout, total number of layers, including convolution layers and dense layers, size of the convolution, the number of epochs, the prediction time per image (in milliseconds) and therefore the prediction frequency (in images per second).
  • the IA-1 model thus trained is capable of recognizing traffic lights in an entire image captured by the camera 10 of the autonomous shuttle 100 and of indicating the state of the next light on the trajectory of said shuttle with the following acuities obtained for each color of fire:
  • the prediction speed during this step depends on the computing power on board the autonomous shuttle. For example, we obtain a prediction speed on whole frames that varies between 145 and 154 frames per second on a swollen computer (i7 processor with eight cores at 3.6GHz) equipped with an Nvidia Titan RTX graphics card and 2 TB of memory on SSD disk. Prediction after detection
  • this prediction channel comprises a detection step 710 prior to the prediction step 725 in order to refine the image on which said prediction will be executed by isolating the “useful” parts in which the lights are located. .
  • the detection step 710 makes it possible to detect the presence of a fire on the entire image and to isolate a part of the image centered on said fire, so as to optimize the prediction by reducing the size of the image to treat.
  • the light 200 is located in a useful part 550 which will then be isolated from the image 500 by a “cropping” operation.
  • the useful part 550 isolated in FIG. 8, has dimensions which depend directly on the dimensions on the entire image 500 of the fire detected 200. In other words, the size of the useful part (length * width) varies within same proportions than the fire size on the whole image.
  • the useful part 550 has a rectangular shape adapted to the shapes of the lights.
  • the AI-2 artificial intelligence algorithms operating the detection of fires on the images captured by the camera 10 of the autonomous shuttle use a neural network making it possible to detect the position of a given object, here the traffic light, within a 'an entire image containing a multitude of details unnecessary for the recognition processing, object of the invention.
  • a detection protocol which consists for example, as indicated, in isolating a useful part surrounding the fire in an entire image, or in delimiting its outline, the detected fire can be classified.
  • the single prediction step 720 it can be taken into account for the training of detection algorithms, in another well-defined neural network model, of several parameters and hyperparameters among: the number of images, the number of fires, the training percentage, the validation percentage, the test percentage, the size of the input images, the size of the resized images, the number of training examples per iteration (batch size), the cyclic learning rate, the type of optimizer, the number of images mixed in each learning cycle, the total number of layers, the detection time per image (in milliseconds) and therefore the detection frequency (in images per second).
  • IA-2 detection algorithms achieve an average detection accuracy of 86%.
  • the learning of detection algorithms can also be fed by numerous databases for road signs, including traffic lights.
  • the detection speed depends on the computing power on board the autonomous shuttle. For example, this speed is 17 frames per second, on an i5 processor computer with four cores at 4.3GHz equipped with an Nvidia 1080Ti graphics card and 256 GB of SSD, and 24 frames per second on a computer with i7 processor with eight cores at 3.6 GHz equipped with an Nvidia Titan RTX graphics card and 2 TB of SSD.
  • the prediction step 725 (after detection) is executed on the useful part containing the detected fire, for example, the part 550 shown in figure 8 and which corresponds to an area, containing the next fire 200, delimited in the entire image 500 of figure 7.
  • This makes it possible to reduce the working area of the algorithms artificial intelligence IA-3 responsible for prediction after detection 725 which, therefore, are implemented on partial images, instead of entire images comprising a lot of unnecessary information whose processing slows down calculations and impacts accuracy and acuity of prediction.
  • IA-3 algorithms can be less sophisticated than IA-1 algorithms because a prediction on useful parts, essentially comprising the images of detected fires (see figure 8), is less complicated than a prediction on whole images which can contain a lot of information and details that can distort the prediction, such as the presence of lights similar to those of traffic lights (vehicle lights, storefronts, etc.).
  • the IA-1 prediction-only and IA-3 post-detection prediction algorithms are almost identical.
  • the mean prediction acuity after detection (on partial images) is therefore 99.31% according to the prediction step after detection 725 as shown in Figure 5.
  • the recommendation step 800 is based on the result of the prediction, a result resulting from the prediction alone 720 and / or the prediction after detection 725, to determine the decision that the autonomous shuttle 100 must take. execution in parallel of the two prediction channels (without and with detection), the acuity of the recommendation step corresponds to the highest acuity between said channels, namely the acuity of the prediction after detection.
  • Recommendation 800 is based on a recommendation matrix with post-processing 721, 711 and 726, such as taking into account threshold overruns, for each brick of artificial intelligence IA-1, IA-2 and IA-3 , as shown schematically in figure 6.
  • the information at the output of recommendation step 800 is necessarily binary: GO or STOP for example.
  • the recommendation matrix is configured to favor the safest choices.
  • the STOP recommendation will be systematically given if a red light is predicted by at least one algorithm.
  • the traffic light recognition method as described shows very convincing results in terms of acuity of prediction in various situations and allows the recognition, in urban environments very dense in traffic, of the state of traffic lights on the road. trajectory of the autonomous shuttle.
  • a problematic situation in which the on-board camera of the shuttle does not capture the next traffic light can arise.
  • Such a situation corresponds for example to the presence of an obstacle, such as a bulky vehicle, shielding the camera of the shuttle, said camera then not being able to capture the fire.
  • FIG. 9 represents a traffic situation in which an obstacle 400 prevents the camera of the autonomous shuttle 100 from capturing the next light 200, the latter being masked by the obstacle 400.
  • the autonomous shuttle can then deploy other means of control. driving and decision support, by obstacle detection and mobile vehicle tracking for example. From then on, the autonomous shuttle becomes dependent on the condition of other vehicles with the risk of committing the same defects (offenses) as those vehicles.
  • the fires recognition method is implemented according to the tree structure of FIG. 10, in which two predictive analysis blocks 700, in accordance with the mode of the embodiment of FIG. 5, are executed in parallel with, for one, a preliminary step 650 of GPS pre-processing of the images captured by the camera of the autonomous shuttle.
  • the GPS preprocessing step 650 consists in estimating a probable position of the next light in the instantaneous image provided by the camera 10 as a function of the known GPS coordinates of said fire and of the instantaneous GPS position of the autonomous shuttle. This probable position, which will be called the theoretical position, makes it possible to temporarily bypass the masking of the fire by an obstacle.
  • the theoretical position of the "invisible" fire on the image can be defined by a rectangular outline centered on the theoretical location of the fire on the image.
  • FIG. 12 represents an example of the theoretical position 560 of the next light 200 masked by the obstacle 400 on an entire image 500 captured by the camera of the autonomous shuttle.
  • the knowledge of the GPS position of the light concerned and of the position of the autonomous shuttle makes it possible, taking into account the location and the arrangement of the camera on said shuttle (height and angle of sight), to calculate the distance separating the camera from said light and to estimate the theoretical position of the latter on the captured image.
  • the next light moves on a receding line and occupies successive positions, 201 and 202 for example, which are projected on the image 500 following projections 510.
  • the projections 510 have dimensions which depend on the positions of the shuttle as illustrated in FIGS. 13a and 13b, the light 200 occupying two different positions on the image, and possibly having two different states, green and red, due to the lapse of time between the two images.
  • the projections of the fire on the image are carried out according to viewing angles qi and 0 2 .
  • a simple geometric and kinematic calculation makes it possible to give the theoretical positions of the next light on the captured image.
  • the location of the autonomous shuttle 100 can be operated by any satellite positioning system, and in particular by GPS. Due to the evolution of the autonomous shuttle in an urban environment, localization can be based on SLAM (Simultaneous Localization And Mapping) type methods, which consist in building or improving a map of the environment and, simultaneously, to locate there.
  • SLAM Simultaneous Localization And Mapping
  • the models of the present invention benefit from the knowledge of the exact position (X,, Y,) of each traffic light 200 present on a circuit C of the autonomous shuttle 100, shown diagrammatically in FIG. 15, and of the instantaneous position (X, Y) of the autonomous shuttle, with a admitted uncertainty.

Abstract

Method for automatically recognising road signs (200), said method being implemented by an autonomous vehicle (100) that is equipped with an image sensor (10), and comprising: a step (600) of observing the environment of the vehicle with the image sensor, with a view to acquiring instantaneous images (500); a step (720) of predicting in real-time an attribute relative to a next sign (200) on a path of the vehicle on the basis of an image (500) of said sign; a step (710) of detecting in real-time the sign in the image, allowing, in said image, a useful region (550) encircling said sign to be delineated, said useful region defining a new image of smaller size; and a step (725) of predicting in real-time the attribute relative to the sign on the basis of the new image; the method furthermore comprising a step (650) of pre-processing the image (500) with a view to estimating a theoretical location of the sign (200) in said image on the basis of the geographical position of said sign and of the instantaneous position of the vehicle as delivered by a satellite positioning system.

Description

Procédé de reconnaissance automatique de signalisation routière pour véhicule autonome Method for automatic recognition of road signs for autonomous vehicles
DOMAINE TECHNIQUE TECHNICAL AREA
La présente invention appartient au domaine général des systèmes automatiques de transport, notamment des véhicules autonomes, et concerne plus particulièrement un procédé de reconnaissance automatique de signalisation routière, telle que l’état d’un feu tricolore, pour véhicule autonome de type navette de transport en commun. The present invention belongs to the general field of automatic transport systems, in particular autonomous vehicles, and relates more particularly to a method for automatically recognizing road signs, such as the state of a traffic light, for an autonomous vehicle of the transport shuttle type. in common.
La présente invention appartient également au domaine de l’intelligence artificielle et plus spécifiquement de l’apprentissage automatique, de l’aide à la décision et du raisonnement dans l’incertain. The present invention also belongs to the field of artificial intelligence and more specifically of machine learning, decision support and reasoning under uncertainty.
ÉTAT DE L’ART STATE OF THE ART
Un véhicule autonome est un véhicule capable de se déplacer de manière partiellement ou totalement autonome, et connecté à l’infrastructure routière, à d’autres véhicules et/ou aux autres usagers de la route à l’aide de moyens de communication sans-fil. An autonomous vehicle is a vehicle capable of moving in a partially or completely autonomous manner, and connected to the road infrastructure, to other vehicles and / or to other road users using wireless means of communication. .
Le concept de véhicule autonome ne fait plus mystère de nos jours en raison de la surmédiatisation de certaines réalisations et des enjeux environnementaux liés à l’utilisation de la propulsion électrique dans ce type de véhicules. The concept of autonomous vehicle is no longer a mystery nowadays due to the over-media coverage of certain achievements and the environmental issues linked to the use of electric propulsion in this type of vehicle.
Cependant, le développement des véhicules autonomes, qui laisse entendre une révolution dans le domaine des transports et de la mobilité, a débuté il y a presque un demi-siècle avec les premières tentatives isolées datant des années 1970, succédant à l’émergence des systèmes intelligents dans les années 1960. Depuis, de grandes avancées ont été accomplies soutenues, dans les pays industrialisés, par des politiques de transport en faveur de la sécurité routière, du progrès technologique et en prévision de la baisse des ressources pétrolières. However, the development of autonomous vehicles, which suggests a revolution in the field of transport and mobility, began almost half a century ago with the first isolated attempts dating from the 1970s, following the emergence of the systems. smart people in the 1960s. Since then, great strides have been made and sustained in industrialized countries, by transport policies in favor of road safety, technological progress and in anticipation of the decline in petroleum resources.
L’avènement des véhicules autonomes, en particulier dans les transports en commun, suscite un réel intérêt au vu des statistiques en termes d’accidentologie qui imputent plus de 90% les accidents de la route à des erreurs humaines, les transports en commun se devant d’être les plus surs possibles en raison du nombre important de voyageurs concernés. The advent of autonomous vehicles, in particular in public transport, arouses real interest in view of the statistics in terms of accidentology which attribute more than 90% of road accidents to human errors, with public transport in the foreground. to be as safe as possible because of the large number of travelers concerned.
Ainsi, avec un temps de réaction extrêmement bref et une plus grande fiabilité des systèmes informatisés, les véhicules autonomes permettraient de réduire drastiquement le nombre d’accidents de la route. Thus, with an extremely short reaction time and greater reliability of computerized systems, autonomous vehicles could drastically reduce the number of road accidents.
En règle générale, les véhicules autonomes sont équipés d’une pluralité de capteurs numériques (caméras, radars, sonars, lidars, centrales inertielles, etc.) et de modules de communication sans-fil, de géolocalisation, et autres, dont les données sont traitées par des processeurs et des logiciels spécifiques. Grâce à des algorithmes de fusion de données (fusion multicapteur), ces logiciels reconstituent l’environnement et la situation routière 3D par reconnaissance de formes (limites de chaussées, de voies, de véhicules, d'obstacles, de panneaux) et emploient des algorithmes d'intelligence artificielle pour décider de l'action à réaliser sur les commandes du véhicule. Les actions décidées par logiciel sont réalisées par servocommandes sur le volant, l'accélérateur, le frein et diverses interfaces permettant l'engagement et le désengagement du mode conduite automatique. As a general rule, autonomous vehicles are equipped with a plurality of digital sensors (cameras, radars, sonars, lidars, inertial units, etc.) and wireless communication modules, geolocation, and others, whose data is processed by specific processors and software. Thanks to data fusion algorithms (multisensor fusion), this software reconstructs the environment and the 3D road situation by recognition of shapes (limits of roads, lanes, vehicles, obstacles, signs) and employs algorithms artificial intelligence to decide on the action to be taken on the vehicle controls. The actions decided by software are carried out by servo controls on the steering wheel, accelerator, brake and various interfaces allowing the engagement and disengagement of the automatic driving mode.
La notion d’autonomie reste néanmoins relative et peut correspondre à des degrés allant de la simple aide à la conduite automatisée, auquel cas les véhicules sont dits « semi-autonomes », à l’autonomie totale qui ne nécessite aucune intervention humaine. The concept of autonomy nevertheless remains relative and can correspond to degrees ranging from simple assistance to automated driving, in which case vehicles are said to be "semi-autonomous", to total autonomy which does not require any human intervention.
Parmi les défis actuels des véhicules autonome, on s’intéresse particulièrement à la reconnaissance des feux de circulation. Among the current challenges of autonomous vehicles, we are particularly interested in the recognition of traffic lights.
Actuellement, les véhicules autonomes reconnaissent les feux de circulation et leurs états au moyen de caméras embarquées et/ou d’une communication radio. Dans ce dernier cas, les feux de circulation émettent un signal radio, contenant l’information de leur état (rouge, orange ou vert), qui est reçu par les véhicules autonomes qui s’en approchent. Cela reste problématique dans une intersection car le véhicule s’y trouvant reçoit plusieurs signaux concomitamment, ce qui nécessite un traitement lourd et complexe pour démêler les signaux, avec un risque d’erreur. Currently, autonomous vehicles recognize traffic lights and their conditions by means of on-board cameras and / or radio communication. In the latter case, the traffic lights emit a radio signal, containing information on their state (red, orange or green), which is received by autonomous vehicles approaching them. It remains problematic in an intersection because the vehicle located there receives several signals concomitantly, which requires cumbersome and complex processing to disentangle the signals, with a risk of error.
Le brevet américain US9990548B2, au nom de Uber Technologies Inc., décrit un système d'analyse de feux de circulation apte à recevoir des données d'image d'une ou de plusieurs caméras d'un véhicule autonome, où les données d'image comprennent un système de signalisation routière situé à une intersection. Le système d'analyse des feux de circulation peut déterminer une action de passage pour le véhicule autonome à travers l'intersection, et accéder à une carte de signalisation correspondante qui comprend des informations caractéristiques indiquant les propriétés du système de signalisation de la circulation. Sur la base des informations caractéristiques et des données d'image, le système d'analyse des feux de signalisation peut identifier un état du système de signalisation routière pour l'action de passage, et générer une sortie pour le véhicule autonome indiquant l'état du système de signalisation routière pour l'action de passage. Aucune solution, à la connaissance du demandeur, ne propose un traitement rapide, efficace et précis de la composante « feux de circulation » dans un véhicule autonome, avec des moyens de calcul raisonnables et une implémentation judicieuse d’algorithmes d’intelligence artificielle. US patent US9990548B2, in the name of Uber Technologies Inc., describes a traffic light analysis system capable of receiving image data from one or more cameras of an autonomous vehicle, where the image data include a road sign system located at an intersection. The traffic light analysis system can determine a passing action for the autonomous vehicle through the intersection, and access a corresponding signaling map that includes characteristic information indicating the properties of the traffic signaling system. Based on the characteristic information and image data, the traffic light analysis system can identify a state of the road signaling system for the passing action, and generate an output for the autonomous vehicle indicating the state. of the road sign system for the passing action. No solution, to the knowledge of the applicant, offers rapid, efficient and precise processing of the "traffic light" component in an autonomous vehicle, with reasonable calculation means and a judicious implementation of artificial intelligence algorithms.
PRÉSENTATION DE L’INVENTION PRESENTATION OF THE INVENTION
La présente invention vise à pallier les inconvénients de l’art antérieur ci-dessus exposés. The present invention aims to overcome the drawbacks of the prior art described above.
À cet effet, la présente invention a pour objet un procédé de reconnaissance automatique de signalisations routières mis en œuvre par un véhicule autonome, équipé d’un capteur d’image, et comprenant : une étape d’observation de l’environnement du véhicule par la caméra, pour l’acquisition d’images instantanées ; une étape de prédiction en temps réel d’un attribut relatif à une prochaine signalisation sur un trajet du véhicule à partir d’une image de ladite signalisation ; une étape de détection de la signalisation sur l’image, permettant de délimiter sur ladite image une zone utile entourant ladite signalisation, ladite zone utile définissant une nouvelle image de taille inférieure ; et une étape de prédiction de l’attribut relatif à la signalisation à partir de ladite nouvelle image. Ce procédé est remarquable en ce qu’il comprend une étape de prétraitement de l’image pour estimer un emplacement théorique de la signalisation dans ladite image à partir de la position géographique de ladite signalisation et de la position instantanée du véhicule fournie par un système de positionnement par satellite, en ce que les étapes de de prédiction sont exécutées par des réseaux de neurones artificiels, mettant en œuvre une technique d’apprentissage automatique et implémentés dans un calculateur central embarqué du véhicule autonome, et en ce que la prédiction seule (sans détection) et la prédiction avec détection sont fusionnées lors d’une étape optionnelle de fusion pour augmenter la précision. Avantageusement, l’étape de détection est également exécutée par un réseau de neurones artificiels mettant en œuvre une technique d’apprentissage automatique embarqué dans le calculateur central. To this end, the present invention relates to a method of automatic recognition of road signs implemented by an autonomous vehicle, equipped with an image sensor, and comprising: a step of observing the environment of the vehicle by the camera, for the acquisition of instantaneous images; a step of real-time prediction of an attribute relating to a forthcoming signaling on a route of the vehicle from an image of said signaling; a step of detecting the signaling on the image, making it possible to delimit on said image a useful zone surrounding said signaling, said useful zone defining a new image of smaller size; and a step of predicting the attribute relating to the signaling from said new image. This process is remarkable in that it comprises a step of preprocessing the image to estimate a theoretical location of the signaling in said image from the geographical position of said signaling and from the instantaneous position of the vehicle provided by a positioning system by satellite, in that the prediction steps are executed by artificial neural networks, implementing a machine learning technique and implemented in an on-board central computer of the autonomous vehicle, and in that the prediction alone (without detection) and the prediction with detection are merged in an optional merging step to increase precision. Advantageously, the detection step is also executed by an artificial neural network implementing a machine learning technique embedded in the central computer.
Selon un aspect avantageux de l’invention, l’estimation de l’emplacement théorique de la signalisation dans l’image est obtenue par un calcul de géométrie projective combiné à un calcul cinématique. According to an advantageous aspect of the invention, the estimation of the theoretical location of the signage in the image is obtained by a projective geometry calculation combined with a kinematic calculation.
Le procédé de reconnaissance automatique de signalisations routières comprend en outre une étape de recommandation permettant au véhicule autonome de prendre une décision en fonction des prédictions obtenues aux étapes de prédiction, cette étape de recommandation étant basée sur une matrice de recommandation. The method for automatically recognizing road signs further comprises a recommendation step allowing the autonomous vehicle to make a decision based on the predictions obtained at the prediction steps, this recommendation step being based on a recommendation matrix.
Selon un mode de réalisation, le système de positionnement par satellite comprend un récepteur GPS. According to one embodiment, the satellite positioning system comprises a GPS receiver.
Selon un mode de réalisation, le capteur d’image est une caméra installée sur le véhicule autonome à une hauteur H du sol et avec un axe de visée incliné par rapport à un axe longitudinal médian dudit véhicule, de 45° par exemple. According to one embodiment, the image sensor is a camera installed on the autonomous vehicle at a height H from the ground and with a sighting axis inclined relative to a median longitudinal axis of said vehicle, by 45 ° for example.
De préférence, au moins une technique d’apprentissage automatique mise en œuvre par un réseau de neurones artificiels est une technique d’apprentissage profond. Preferably, at least one machine learning technique implemented by an artificial neural network is a deep learning technique.
Par exemple, les signalisations routières sont des feux de circulation, pour lesquels l’attribut correspond à leur état, ou couleur (Vert - Orange - Rouge).For example, road signs are traffic lights, for which the attribute corresponds to their state, or color (Green - Orange - Red).
La présente invention a également pour objet un véhicule autonome, tel qu’une navette de transport en commun, comportant un capteur d’image et un calculateur central, et mettant en œuvre un procédé de reconnaissance automatique de signalisations routières reprenant une ou plusieurs caractéristiques citées supra. Les concepts fondamentaux de l’invention venant d’être exposés ci-dessus dans leur forme la plus élémentaire, d’autres détails et caractéristiques ressortiront plus clairement à la lecture de la description qui suit et en regard des dessins annexés, donnant à titre d’exemple non limitatif un mode de réalisation d’un procédé de reconnaissance de signalisations routières conforme aux principes de l’invention. The present invention also relates to an autonomous vehicle, such as a public transport shuttle, comprising an image sensor and a computer. central, and implementing a method of automatic recognition of road signs incorporating one or more characteristics mentioned above. The fundamental concepts of the invention having just been explained above in their most elementary form, other details and characteristics will emerge more clearly on reading the description which follows and with reference to the appended drawings, giving by way of nonlimiting example an embodiment of a method for recognizing road signs in accordance with the principles of the invention.
BRÈVE DESCRIPTION DES FIGURES BRIEF DESCRIPTION OF THE FIGURES
Les figures annexées sont données à titre purement illustratif pour l’intelligence de l’invention et ne limitent aucunement la portée de celle-ci. Sur l’ensemble des figures, les éléments identiques ou équivalents portent la même référence numérique. The attached figures are given for illustrative purposes only for the understanding of the invention and in no way limit the scope thereof. In all of the figures, identical or equivalent elements bear the same reference numeral.
Il est ainsi illustré en : It is thus illustrated in:
- Figure 1 : une vue droite schématique d’une navette autonome équipée d’un capteur d’image pour la mise en œuvre du procédé de reconnaissance de signalisations routières selon l’invention ; - Figure 1: a schematic right view of an autonomous shuttle equipped with an image sensor for the implementation of the road sign recognition method according to the invention;
- Figure 2 : une vue de face de la navette autonome de la figure 1 ; - Figure 2: a front view of the autonomous shuttle of Figure 1;
- Figure 3 : une vue de dessus de la navette autonome de la figure 1 ; - Figure 3: a top view of the autonomous shuttle of Figure 1;
- Figure 4 : une vue schématique de la navette autonome s’approchant d’un feu de circulation ; - Figure 4: a schematic view of the autonomous shuttle approaching a traffic light;
- Figure 5 : les principales étapes du procédé de reconnaissance selon un mode de réalisation de l’invention sans prétraitement GPS ; - Figure 5: the main steps of the recognition process according to one embodiment of the invention without GPS preprocessing;
- Figure 6 : un schéma de principe du procédé de la figure 5 ; - Figure 6: a block diagram of the method of Figure 5;
- Figure 7 : un exemple d’image entière captée par la caméra embarquée de la navette autonome ; - Figure 7: an example of the entire image captured by the on-board camera of the autonomous shuttle;
- Figure 8 : une zone utile contenant le feu tricolore isolée de l’image de la figure 7 ; - Figure 8: a useful area containing the traffic light isolated from the image in Figure 7;
- Figure 9 : une vue schématique de la navette autonome s’approchant d’un feu de circulation en étant derrière un obstacle entravant la visibilité du feu ;- Figure 9: a schematic view of the autonomous shuttle approaching a traffic light from behind an obstacle hindering the visibility of the light;
- Figure 10 : les principales étapes du procédé de reconnaissance selon un mode de réalisation préféré de l’invention ; Figure 11 : un schéma de principe du procédé de la figure 10 ; - Figure 10: the main steps of the recognition method according to a preferred embodiment of the invention; Figure 11: a block diagram of the method of Figure 10;
Figure 12 : un exemple d’image avec l’emplacement théorique du feu masqué par un obstacle ; Figure 12: an example of an image with the theoretical location of the fire masked by an obstacle;
Figure 13a : la position de la navette et l’image correspondante à un instant donné ; Figure 13a: the position of the shuttle and the corresponding image at a given time;
Figure 13b : la position de la navette et l’image correspondante à un instant ultérieur ; Figure 13b: the position of the shuttle and the corresponding image at a later time;
Figure 14 : un schéma du principe de calcul des positions théoriques des feux par géométrie projective ; Figure 14: a diagram of the principle of calculating the theoretical positions of the lights by projective geometry;
Figure 15 : un exemple simplifié de circuit emprunté par la navette autonome. Figure 15: a simplified example of a circuit taken by the autonomous shuttle.
DESCRIPTION DÉTAILLÉE DE MODES DE RÉALISATION DETAILED DESCRIPTION OF EMBODIMENTS
Dans le mode de réalisation décrit ci-après, on fait référence à un procédé de reconnaissance, par intelligence artificielle, de l’état d’un feu de circulation routière destiné principalement à la navigation de navettes autonomes. Cet exemple non limitatif est donné pour une meilleure compréhension de l’invention et n’exclut pas la mise en oeuvre du procédé pour la reconnaissance de toute autre signalisation par un véhicule autonome dans différents contextes de mobilité (trafic routier, robots d’acheminement sur site industriel, etc.). In the embodiment described below, reference is made to a method for recognizing, by artificial intelligence, the state of a traffic light intended mainly for the navigation of autonomous shuttles. This non-limiting example is given for a better understanding of the invention and does not exclude the implementation of the method for the recognition of any other signaling by an autonomous vehicle in different mobility contexts (road traffic, routing robots on industrial site, etc.).
Dans la suite de la description l’expression « navette autonome » désigne un véhicule autonome, c’est-à-dire capable de prendre des décisions, de type minibus effectuant régulièrement un même trajet ou itinéraire ; et le terme « feu » désigne un feu de circulation routière. Il convient de rappeler au préalable que les feux sont généralement déclinés à partir de deux couleurs de base : le rouge pour l’arrêt et le vert pour la circulation, le jaune-orangé est également utilisé comme feu de transition pour marquer le passage imminent du feu vert au feu rouge, et l’inverse dans certains pays. Ce dernier cas ne sera pas considéré, et la consigne liée au feu jaune-orangé sera la même que celle du feu rouge, à savoir l’arrêt du véhicule. In the remainder of the description, the expression "autonomous shuttle" designates an autonomous vehicle, that is to say capable of making decisions, of the minibus type regularly making the same journey or route; and the term "light" means a traffic light. It should be remembered beforehand that the lights are generally available from two basic colors: red for stopping and green for traffic, yellow-orange is also used as a transition light to mark the imminent passage of the traffic. green light to red light, and vice versa in some countries. The latter case will not be considered, and the instruction linked to the yellow-orange light will be the same as that of the red light, namely stopping the vehicle.
La figure 1 représente une navette autonome 100 adaptée à la mise en oeuvre du procédé de reconnaissance selon l’invention, autrement dit, équipée des moyens de calcul, de traitement et de communication en temps réel nécessaires à l’exploitation de données provenant d’un capteur d’image 10 installé sur ladite navette. Une telle navette autonome est connue dans l’art. FIG. 1 represents an autonomous shuttle 100 adapted to the implementation of the recognition method according to the invention, in other words, equipped with the means of calculation, processing and communication in real time necessary for the use of data coming from an image sensor 10 installed on said shuttle. Such an autonomous shuttle is known in the art.
La navette autonome 100 dispose donc d’un calculateur embarqué, non représenté, sous forme d’unités de traitement spécifiques implémentant des algorithmes d’intelligence artificielle pour la mise en oeuvre du procédé de reconnaissance en temps réel. De préférence, les algorithmes d’intelligence artificielle présentent une architecture en réseau de neurones artificiels pour la mise en oeuvre de techniques d’apprentissage profond, et les unités de traitement spécifiques sont à base de processeurs multicœurs. The autonomous shuttle 100 therefore has an on-board computer, not shown, in the form of specific processing units implementing artificial intelligence algorithms for implementing the real-time recognition method. Preferably, the artificial intelligence algorithms feature an artificial neural network architecture for implementing deep learning techniques, and the specific processing units are based on multicore processors.
Le capteur d’image 10 permet l’acquisition d’images de l’environnement de la navette autonome 100 en vue de détecter la présence d’un feu et de reconnaître son état. The image sensor 10 enables the acquisition of images of the environment of the autonomous shuttle 100 in order to detect the presence of a fire and to recognize its state.
Par exemple, le capteur d’image 10, tel que représenté sur le détail de la figure 1, est une caméra industrielle compacte, commercialisée par la société IDS Imaging Development Systems GmbH, de résolution 2448*2048, comprenant un capteur CMOS ( Complementary Métal Oxide Semi-Conductor) de taille 2/3”, un obturateur de type « Global Shutter », et présentant un flux vidéo de 24 images par seconde, une monture C et une interface selon la norme GigE avec alimentation électrique par câble Ethernet (POE). Cette caméra comporte en outre un stabilisateur d’image mécanique fixé à la navette autonome 100, un câble de raccordement RJ45 de catégorie 5e ou 6 (RJ connecteur à visser / RJ45), un switch POE (réseau + alimentation de la caméra), et un modem 4G équipé d’un GPS RTK permettant de connaître précisément la position de la navette autonome (+/-2m) et de transmettre un flux vidéo dégradé (10 images de 720*576 pixels par seconde). En référence aux figures 2 et 3, la caméra 10 est fixée à l’intersection entre la face avant et le côté droit de la navette autonome 100 lorsque la conduite est à droite, suivant le sens de la marche avant de la navette indiqué par la flèche pleine sur la figure 3. De plus, pour une meilleure détection des feux, qui sont généralement placés en bord de route, la caméra 10 est installée à une hauteur H du sol, par exemple 1,90m, et présente un axe incliné dans le sens horaire par rapport à un axe longitudinal médian X de la navette autonome 100, cette inclinaison correspondant à un angle de visée par rapport à la trajectoire. De préférence, l’angle de visée de la caméra 10 est sensiblement égal à 45°. Ainsi, un feu 200 placé sur le bord d’un trottoir longeant une route 300 empruntée par la navette autonome 100 se trouve nécessairement dans l’axe de la caméra 10, à une distance optimale de cadrage, lorsque ladite navette arrive à hauteur dudit feu en laissant une certaine distance de sécurité, par exemple entre 1m et 2m. Une telle situation est schématisée en figure 4. For example, the image sensor 10, as shown in the detail of FIG. 1, is a compact industrial camera, marketed by the company IDS Imaging Development Systems GmbH, with a resolution of 2448 * 2048, comprising a CMOS (Complementary Metal Oxide Semi-Conductor) of size 2/3 ”, a shutter type“ Global Shutter ”, and presenting a video flow of 24 frames per second, a C mount and an interface according to the GigE standard with power supply via Ethernet cable (POE ). This camera also includes a mechanical image stabilizer attached to the autonomous shuttle 100, a category 5e or 6 RJ45 connection cable (RJ screw connector / RJ45), a POE switch (network + camera power supply), and a 4G modem equipped with an RTK GPS allowing to know precisely the position of the autonomous shuttle (+/- 2m) and to transmit a degraded video stream (10 images of 720 * 576 pixels per second). Referring to Figures 2 and 3, the camera 10 is fixed at the intersection between the front face and the right side of the autonomous shuttle 100 when the driving is on the right, following the direction of forward travel of the shuttle indicated by the solid arrow in Figure 3. In addition, for better detection of lights, which are generally placed on the roadside, the camera 10 is installed at a height H from the ground, for example 1.90 m, and has an axis inclined in clockwise with respect to a median longitudinal axis X of the autonomous shuttle 100, this inclination corresponding to an angle of sight with respect to the trajectory. Preferably, the viewing angle of the camera 10 is substantially equal to 45 °. Thus, a light 200 placed on the edge of a sidewalk along a road 300 taken by the autonomous shuttle 100 is necessarily located in the axis of the camera 10, at an optimal framing distance, when said shuttle arrives at said light. leaving a certain safety distance, for example between 1m and 2m. Such a situation is shown schematically in figure 4.
En outre, la caméra 10 présente un champ angulaire horizontal a, correspondant à un plan moyen de la route, suffisant pour capter des feux plus lointains, notamment les feux se trouvant sur une même route rectiligne et qui, par conséquent, sont projetés sur une même fuyante comme expliqué plus loin. Toutefois, seule la détection du prochain feu est primordiale pour la navigation de la navette autonome, et la détection des feux suivants ne devient utile qu’après dépassement du feu immédiat. En effet, l’état d’un feu « suivant » ne conditionne aucunement la conduite de la navette tant qu’un feu « précédent » n’a pas été dépassé. Le procédé de reconnaissance selon l’invention permet de se focaliser sur l’information fournie par le prochain feu, la détection des feux suivants n’ayant aucun impact sur la recommandation rendue en temps réel par ledit procédé. In addition, the camera 10 has a horizontal angular field a, corresponding to an average plane of the road, sufficient to capture more distant lights, in particular the lights located on the same straight road and which, consequently, are projected onto a even elusive as explained below. However, only the detection of the next light is essential for the navigation of the autonomous shuttle, and the detection of the following lights becomes useful only after passing the immediate light. Indeed, the state of a "next" light does not in any way condition the conduct of the shuttle until a "previous" light has been passed. The recognition method according to the invention makes it possible to focus on the information provided by the next traffic light, the detection of the following traffic lights having no impact on the recommendation made in real time by said method.
Afin de comprendre l’avantage considérable que procure le procédé de reconnaissance perfectionné de l’invention, il est important d’expliquer à titre liminaire le fonctionnement d’un procédé de reconnaissance basique selon un premier mode de réalisation. In order to understand the considerable advantage provided by the improved recognition method of the invention, it is important to explain at the outset the operation of a basic recognition method according to a first embodiment.
Un tel procédé, dont les principales étapes sont représentées en figure 5, comprend une étape initiale 600 d’observation suivie d’une étape de prédiction seule 720 et/ou d’une étape de prédiction 725 précédée d’une étape de détection 710, ainsi qu’une étape finale de recommandation 700. Such a method, the main steps of which are shown in FIG. 5, comprises an initial observation step 600 followed by a single prediction step 720 and / or a prediction step 725 preceded by a detection step 710, as well as a final recommendation step 700.
L’étape initiale 600 d’observation consiste en une acquisition d’images en continu et en temps réel de l’environnement de la navette autonome 100 lorsqu’elle effectue son trajet, grâce à la caméra 10. Ainsi, le flux vidéo obtenu est analysé en temps réel par différents algorithmes d’intelligence artificielle IA-1, IA-2 et IA-3, selon les étapes, respectivement, de prédiction seule 720, de détection 710 et de prédiction après détection 725, comme schématisé en figure 6. The initial observation step 600 consists of a continuous and real-time acquisition of images of the environment of the autonomous shuttle 100 when it is making its journey, thanks to the camera 10. Thus, the video stream obtained is analyzed in real time by different artificial intelligence algorithms IA-1, IA-2 and IA-3, according to the stages, respectively, of prediction only 720, of detection 710 and of prediction after detection 725, as shown schematically in FIG. 6.
Prédiction seule Cette étape consiste à analyser une image entière captée instantanément par la caméra 10 afin de déterminer l’état du prochain feu, ce dernier conditionnant la conduite de la navette autonome 100 et la décision qui sera prise à cette effet.Prediction alone This step consists in analyzing an entire image captured instantaneously by the camera 10 in order to determine the state of the next fire, the latter conditioning the conduct of the autonomous shuttle 100 and the decision which will be taken for this purpose.
La figure 7 représente en vue d’artiste une image entière 500 captée par la caméra 10 à un instant donné, correspondant par exemple à la situation de la figure 4. Sur l’image entière 500, on peut apercevoir un feu 200 sensiblement au centre de l’image en raison de l’angle de visée à 45° de la caméra 10. FIG. 7 represents an artist's view of an entire image 500 captured by the camera 10 at a given instant, corresponding for example to the situation in FIG. 4. On the entire image 500, a light 200 can be seen substantially in the center. of the image due to the 45 ° angle of view of the camera 10.
Les algorithmes d’intelligence artificielle IA-1 opérant la prédiction sur l’image 500 permettent donc de reconnaître l’état du feu 200 (rouge, orange ou vert) pour que la navette autonome 100 puisse prendre la décision associée audit état (circulation ou arrêt). Les algorithmes IA-1 de prédiction sont basés sur un réseau de neurones artificiels à convolutions de très grande taille, mettant en œuvre une technologie d’apprentissage profond (Deep Learning), dont l’entrainement a été réalisé avec une banque de plusieurs milliers d’images de feux tricolores de formes et tailles variées. The AI-1 artificial intelligence algorithms operating the prediction on the image 500 therefore make it possible to recognize the state of the light 200 (red, orange or green) so that the autonomous shuttle 100 can take the decision associated with said state (traffic or stop). The IA-1 prediction algorithms are based on a very large convolutional artificial neural network, implementing a deep learning technology, the training of which was carried out with a bank of several thousand d images of traffic lights of various shapes and sizes.
Globalement, comme la plupart des algorithmes d’apprentissage automatique supervisé, les algorithmes IA-1 de prédiction sur images entières comprennent une phase de reconnaissance, ou classification, après la phase d’apprentissage. Pour la mise en œuvre des phases d’apprentissage et de reconnaissance dans les algorithmes de prédiction, il peut être tenu compte dans un réseau de neurones bien défini, pour chaque état de feu (rouge, orange, vert et noir), de paramètres et de hyperparamètres parmi lesquels : le nombre total d’images analysées, le pourcentage d’entrainement, le pourcentage de validation, le pourcentage de test, la taille des images en entrée, la taille des images redimensionnées, les propriétés intrinsèques des images (plage de luminosité, ton des couleurs, contraste, accentuation, correction gamma, etc.), le taux d’apprentissage cyclique, le décrochage (ou Dropout), le nombre total de couches, dont les couches de convolution et les couches denses, la taille de la convolution, le nombre d’époques, le temps de prédiction par image (en millisecondes) et donc la fréquence de prédiction (en images par seconde). Overall, like most supervised machine learning algorithms, IA-1 whole-frame prediction algorithms include a recognition phase, or classification, after the learning phase. For the implementation of the learning and recognition phases in the prediction algorithms, it can be taken into account in a well-defined neural network, for each fire state (red, orange, green and black), of parameters and hyperparameters including: the total number of images analyzed, the training percentage, the validation percentage, the test percentage, the size of the input images, the size of the resized images, the intrinsic properties of the images (range of brightness, color tone, contrast, sharpening, gamma correction, etc.), cyclic learning rate, dropout, total number of layers, including convolution layers and dense layers, size of the convolution, the number of epochs, the prediction time per image (in milliseconds) and therefore the prediction frequency (in images per second).
Cela permet la création de classificateurs spécialisés dans la reconnaissance des états (Rouge, Orange, Vert et Noir) des feux tricolores, la couleur noire correspondant à un feu éteint ou en panne. Le modèle IA-1 ainsi entraîné est capable de reconnaître des feux tricolores dans une image entière captée par la caméra 10 de la navette autonome 100 et d’indiquer l’état du prochain feu sur la trajectoire de ladite navette avec les acuités suivantes obtenues pour chaque couleur de feu :
Figure imgf000012_0001
This allows the creation of classifiers specializing in the recognition of the states (Red, Orange, Green and Black) of traffic lights, the black color corresponding to an off or broken light. The IA-1 model thus trained is capable of recognizing traffic lights in an entire image captured by the camera 10 of the autonomous shuttle 100 and of indicating the state of the next light on the trajectory of said shuttle with the following acuities obtained for each color of fire:
Figure imgf000012_0001
On obtient donc une moyenne pour l’acuité de prédiction sur images entières de 95,91% selon l’étape de prédiction seule 720 comme indiqué sur la figure 5. We therefore obtain an average for the prediction acuity over whole images of 95.91% according to the prediction only step 720 as shown in Figure 5.
Il doit être souligné que les feux les plus critiques, à savoir le rouge et le noir, sont reconnus avec la plus grande acuité et que certains feux orange sont confondus avec des feux rouges, ce qui en soi n’est pas problématique car la décision prise dans les deux cas est l’arrêt de la navette autonome. It should be emphasized that the most critical lights, namely red and black, are recognized with the greatest acuity and that some amber lights are confused with red lights, which in itself is not problematic because the decision taken in both cases is the stop of the autonomous shuttle.
En outre, la vitesse de prédiction lors de cette étape dépend de la puissance de calcul embarquée dans la navette autonome. Par exemple, on obtient une vitesse de prédiction sur images entières qui varie entre 145 et 154 images par seconde sur un ordinateur gonflé (processeur i7 avec huit coeurs à 3,6GHz) équipé d’une carte graphique Nvidia Titan RTX et de 2 To de mémoire sur disque SSD. Prédiction après détection In addition, the prediction speed during this step depends on the computing power on board the autonomous shuttle. For example, we obtain a prediction speed on whole frames that varies between 145 and 154 frames per second on a swollen computer (i7 processor with eight cores at 3.6GHz) equipped with an Nvidia Titan RTX graphics card and 2 TB of memory on SSD disk. Prediction after detection
Comme indiqué plus haut, cette voie de prédiction comprend une étape de détection 710 préalable à l’étape de prédiction 725 afin d’affiner l’image sur laquelle s’exécutera ladite prédiction en isolant les parties « utiles » dans lesquelles se trouvent les feux. As indicated above, this prediction channel comprises a detection step 710 prior to the prediction step 725 in order to refine the image on which said prediction will be executed by isolating the “useful” parts in which the lights are located. .
L’étape de détection 710 permet de détecter la présence d’un feu sur l’image entière et d’isoler une partie de l’image centrée sur ledit feu, de sorte à optimiser la prédiction en réduisant la taille de l’image à traiter. The detection step 710 makes it possible to detect the presence of a fire on the entire image and to isolate a part of the image centered on said fire, so as to optimize the prediction by reducing the size of the image to treat.
Sur l’exemple de la figure 7, le feu 200 se trouve dans une partie utile 550 qui sera ensuite isolée de l’image 500 par une opération de « rognage ». De préférence, la partie utile 550, isolée sur la figure 8, présente des dimensions qui dépendent directement des dimensions sur l’image entière 500 du feu détecté 200. Autrement dit, la taille de la partie utile (longueur*largeur) varie dans les mêmes proportions que la taille du feu sur l’image entière. De plus, la partie utile 550 présente une forme rectangulaire adaptée aux formes des feux. In the example of FIG. 7, the light 200 is located in a useful part 550 which will then be isolated from the image 500 by a “cropping” operation. Preferably, the useful part 550, isolated in FIG. 8, has dimensions which depend directly on the dimensions on the entire image 500 of the fire detected 200. In other words, the size of the useful part (length * width) varies within same proportions than the fire size on the whole image. In addition, the useful part 550 has a rectangular shape adapted to the shapes of the lights.
Les algorithmes d’intelligence artificielle IA-2 opérant la détection des feux sur les images captées par la caméra 10 de la navette autonome utilisent un réseau de neurones permettant de détecter la position d’un objet déterminé, ici le feu tricolore, au sein d’une image entière contenant une multitude de détails inutiles pour le traitement de reconnaissance, objet de l’invention. Après un protocole de détection qui consiste par exemple, comme indiqué, à isoler une partie utile entourant le feu dans une image entière, ou à en délimiter le contour, le feu détecté peut être classifié. The AI-2 artificial intelligence algorithms operating the detection of fires on the images captured by the camera 10 of the autonomous shuttle use a neural network making it possible to detect the position of a given object, here the traffic light, within a 'an entire image containing a multitude of details unnecessary for the recognition processing, object of the invention. After a detection protocol which consists for example, as indicated, in isolating a useful part surrounding the fire in an entire image, or in delimiting its outline, the detected fire can be classified.
Comme pour l’étape de prédiction seule 720, il peut être pris en compte pour l’entrainement des algorithmes de détection, dans un autre modèle de réseau de neurones bien défini, de plusieurs paramètres et hyperparamètres parmi : le nombre d’images, le nombre de feux, le pourcentage d’entrainement, le pourcentage de validation, le pourcentage de test, la taille des images d’entrée, la taille des images redimensionnées, le nombre d’exemples d’entrainement par itération (batch size), le taux d’apprentissage cyclique, le type d’optimiseur, le nombre d’images mélangées à chaque cycle d’apprentissage, le nombre total de couches, le temps de détection par image (en millisecondes) et donc la fréquence de détection (en images par seconde). As for the single prediction step 720, it can be taken into account for the training of detection algorithms, in another well-defined neural network model, of several parameters and hyperparameters among: the number of images, the number of fires, the training percentage, the validation percentage, the test percentage, the size of the input images, the size of the resized images, the number of training examples per iteration (batch size), the cyclic learning rate, the type of optimizer, the number of images mixed in each learning cycle, the total number of layers, the detection time per image (in milliseconds) and therefore the detection frequency (in images per second).
Les algorithmes de détection IA-2 atteignent une précision moyenne de détection de 86%. IA-2 detection algorithms achieve an average detection accuracy of 86%.
L’apprentissage des algorithmes de détection peut également être alimenté par de nombreuses bases de données pour les panneaux routiers, comprenant les feux tricolores. The learning of detection algorithms can also be fed by numerous databases for road signs, including traffic lights.
La vitesse de détection dépend de la puissance de calcul embarquée dans la navette autonome. Par exemple, cette vitesse est de 17 images par seconde, sur un ordinateur de processeur i5 avec quatre coeurs à 4,3GHz équipé d’une carte graphique Nvidia 1080Ti et de 256 Go de SSD, et de 24 images par seconde sur un ordinateur de processeur i7 avec huit coeurs à 3,6Ghz équipé d’une carte graphique Nvidia Titan RTX et de 2 To de SSD. The detection speed depends on the computing power on board the autonomous shuttle. For example, this speed is 17 frames per second, on an i5 processor computer with four cores at 4.3GHz equipped with an Nvidia 1080Ti graphics card and 256 GB of SSD, and 24 frames per second on a computer with i7 processor with eight cores at 3.6 GHz equipped with an Nvidia Titan RTX graphics card and 2 TB of SSD.
Toujours en référence aux figures 5 et 6, lorsque la détection 710 est terminée, l’étape de prédiction 725 (après détection) est exécutée sur la partie utile contenant le feu détecté, par exemple, la partie 550 représentée en figure 8 et qui correspond à une zone, contenant le prochain feu 200, délimitée dans l’image entière 500 de la figure 7. Cela permet de réduire la zone de travail des algorithmes d’intelligence artificielle IA-3 responsables de la prédiction après détection 725 qui, par conséquent, sont mis en œuvre sur des images partielles, au lieu d’images entières comprenant énormément d’informations inutiles dont le traitement ralentit les calculs et impacte la précision et l’acuité de prédiction. Les algorithmes IA-3 peuvent être moins sophistiqués que les algorithmes IA-1 car une prédiction sur des parties utiles, comprenant essentiellement les images des feux détectés (voir figure 8), est moins compliquée qu’une prédiction sur des images entières qui peuvent contenir énormément d’informations et de détails pouvant fausser la prédiction, comme la présence de lumières similaires à celles des feux tricolores (lumières de véhicules, devantures de magasins, etc.). Still with reference to FIGS. 5 and 6, when the detection 710 is completed, the prediction step 725 (after detection) is executed on the useful part containing the detected fire, for example, the part 550 shown in figure 8 and which corresponds to an area, containing the next fire 200, delimited in the entire image 500 of figure 7. This makes it possible to reduce the working area of the algorithms artificial intelligence IA-3 responsible for prediction after detection 725 which, therefore, are implemented on partial images, instead of entire images comprising a lot of unnecessary information whose processing slows down calculations and impacts accuracy and acuity of prediction. IA-3 algorithms can be less sophisticated than IA-1 algorithms because a prediction on useful parts, essentially comprising the images of detected fires (see figure 8), is less complicated than a prediction on whole images which can contain a lot of information and details that can distort the prediction, such as the presence of lights similar to those of traffic lights (vehicle lights, storefronts, etc.).
De préférence, les algorithmes de prédiction seule IA-1 et de prédiction après détection IA-3 sont quasiment identiques. Preferably, the IA-1 prediction-only and IA-3 post-detection prediction algorithms are almost identical.
Ainsi, pour la mise en œuvre des phases d’apprentissage et de reconnaissance dans les algorithmes de prédiction IA-3, il peut être tenu compte, pour chaque état de feu (rouge, orange, vert et noir), dans un modèle de réseau de neurones bien défini, des mêmes paramètres et hyperparamètres que dans le cas des algorithmes IA-1. Thus, for the implementation of the learning and recognition phases in the IA-3 prediction algorithms, it can be taken into account, for each fire state (red, orange, green and black), in a network model of well-defined neurons, the same parameters and hyperparameters as in the case of IA-1 algorithms.
On obtient alors les acuités suivantes :
Figure imgf000014_0001
We then obtain the following acuities:
Figure imgf000014_0001
L’acuité moyenne de prédiction après détection (sur images partielles) est donc de 99,31% selon l’étape de prédiction après détection 725 comme indiqué sur la figure 5. The mean prediction acuity after detection (on partial images) is therefore 99.31% according to the prediction step after detection 725 as shown in Figure 5.
Ces résultats, meilleurs que ceux de l’étape de prédiction seule 720, s’expliquent facilement par la diminution de complexité entre une image entière 500, représentée en figure 7, et une image partielle, ou partie utile 500, représentée en figure 8. En effet, il est plus « facile » pour les algorithmes de prédiction de reconnaître l’état d’un feu dans une image de taille limitée occupée en majeure partie par ledit feu que dans une image dans laquelle ledit feu est noyé dans un environnement riche en informations inutiles et présente une taille réduite sur ladite image. These results, better than those of the single prediction step 720, are easily explained by the reduction in complexity between an entire image 500, represented in FIG. 7, and a partial image, or useful part 500, represented in FIG. 8. Indeed, it is "easier" for the prediction algorithms to recognize the state of a fire in an image of limited size occupied in major. part by said light only in an image in which said light is embedded in an environment rich in unnecessary information and has a reduced size in said image.
Enfin, l’étape de recommandation 800 se base sur le résultat de la prédiction, résultat issu de la prédiction seule 720 et/ou de la prédiction après détection 725, pour déterminer la décision que doit prendre la navette autonome 100. Etant donné l’exécution en parallèle des deux voies de prédiction (sans et avec détection), l’acuité de l’étape de recommandation correspond à l’acuité la plus élevée entre lesdites voies, à savoir l’acuité de la prédiction après détection. Finally, the recommendation step 800 is based on the result of the prediction, a result resulting from the prediction alone 720 and / or the prediction after detection 725, to determine the decision that the autonomous shuttle 100 must take. execution in parallel of the two prediction channels (without and with detection), the acuity of the recommendation step corresponds to the highest acuity between said channels, namely the acuity of the prediction after detection.
La recommandation 800 est basée sur une matrice de recommandation avec des post-traitements 721, 711 et 726, tels que la prise en compte des dépassements de seuils, pour chaque brique d’intelligence artificielle IA-1, IA-2 et IA-3, comme schématisé en figure 6. Recommendation 800 is based on a recommendation matrix with post-processing 721, 711 and 726, such as taking into account threshold overruns, for each brick of artificial intelligence IA-1, IA-2 and IA-3 , as shown schematically in figure 6.
Dans le cas des feux de circulation, l’information en sortie de l’étape de recommandation 800 est nécessairement binaire : GO ou STOP par exemple.In the case of traffic lights, the information at the output of recommendation step 800 is necessarily binary: GO or STOP for example.
La matrice de recommandation est configurée de sorte à favoriser les choix les plus surs. Ainsi, la recommandation STOP sera systématiquement donnée si un feu rouge est prédit par au moins un algorithme. The recommendation matrix is configured to favor the safest choices. Thus, the STOP recommendation will be systematically given if a red light is predicted by at least one algorithm.
Le procédé de reconnaissance des feux tel que décrit affiche des résultats très probants en termes d’acuité de prédiction dans diverses situations et permet la reconnaissance, dans des environnements urbains très denses en trafic, de l’état des feux de circulation se trouvant sur la trajectoire de la navette autonome. The traffic light recognition method as described shows very convincing results in terms of acuity of prediction in various situations and allows the recognition, in urban environments very dense in traffic, of the state of traffic lights on the road. trajectory of the autonomous shuttle.
En revanche, une situation problématique dans laquelle la caméra embarquée de la navette ne capte pas le prochain feu peut se présenter. Une telle situation correspond par exemple à la présence d’un obstacle, tel qu’un véhicule encombrant, faisant écran à la caméra de la navette, ladite caméra ne pouvant alors pas capter le feu. On the other hand, a problematic situation in which the on-board camera of the shuttle does not capture the next traffic light can arise. Such a situation corresponds for example to the presence of an obstacle, such as a bulky vehicle, shielding the camera of the shuttle, said camera then not being able to capture the fire.
La figure 9 représente une situation de trafic dans laquelle un obstacle 400 empêche la caméra de la navette autonome 100 de capter le prochain feu 200, celui-ci étant masqué par l’obstacle 400. La navette autonome peut alors déployer d’autres moyens de conduite et d’aide à la décision, par détection d’obstacle et suivi de véhicule mobile par exemple. Dès lors, la navette autonome devient dépendante de l’état d’autres véhicules avec le risque de commettre les mêmes vices (infractions) que lesdits véhicules. FIG. 9 represents a traffic situation in which an obstacle 400 prevents the camera of the autonomous shuttle 100 from capturing the next light 200, the latter being masked by the obstacle 400. The autonomous shuttle can then deploy other means of control. driving and decision support, by obstacle detection and mobile vehicle tracking for example. From then on, the autonomous shuttle becomes dependent on the condition of other vehicles with the risk of committing the same defects (offenses) as those vehicles.
De ce fait, le procédé de reconnaissance des feux, selon un deuxième mode de réalisation de l’invention, préféré, est mis en œuvre selon l’arborescence de la figure 10, sur laquelle deux blocs 700 d’analyse prédictive, conformes au mode de réalisation de la figure 5, s’exécutent en parallèle avec pour l’un une étape préalable 650 de prétraitement GPS des images captées par la caméra de la navette autonome. As a result, the fires recognition method, according to a second preferred embodiment of the invention, is implemented according to the tree structure of FIG. 10, in which two predictive analysis blocks 700, in accordance with the mode of the embodiment of FIG. 5, are executed in parallel with, for one, a preliminary step 650 of GPS pre-processing of the images captured by the camera of the autonomous shuttle.
L’étape 650 de prétraitement GPS consiste à estimer une position probable du prochain feu dans l’image instantanée fournie par la caméra 10 en fonction des coordonnées GPS dudit feu, connus, et de la position GPS instantanée de la navette autonome. Cette position probable, qu’on appellera position théorique, permet de contourner temporairement le masquage du feu par un obstacle. The GPS preprocessing step 650 consists in estimating a probable position of the next light in the instantaneous image provided by the camera 10 as a function of the known GPS coordinates of said fire and of the instantaneous GPS position of the autonomous shuttle. This probable position, which will be called the theoretical position, makes it possible to temporarily bypass the masking of the fire by an obstacle.
La position théorique du feu « invisible » sur l’image peut être définie par un contour rectangulaire centrée sur l’emplacement théorique du feu sur l’image.The theoretical position of the "invisible" fire on the image can be defined by a rectangular outline centered on the theoretical location of the fire on the image.
La figure 12 représente un exemple de position théorique 560 du prochain feu 200 masqué par l’obstacle 400 sur une image entière 500 captée par la caméra de la navette autonome. FIG. 12 represents an example of the theoretical position 560 of the next light 200 masked by the obstacle 400 on an entire image 500 captured by the camera of the autonomous shuttle.
En effet, la connaissance de la position GPS du feu concerné et de la position de la navette autonome permet, en tenant compte de l’emplacement et de l’agencement de la caméra sur ladite navette (hauteur et angle de visée), de calculer la distance séparant la caméra dudit feu et d’estimer la position théorique de celui-ci sur l’image captée. Indeed, the knowledge of the GPS position of the light concerned and of the position of the autonomous shuttle makes it possible, taking into account the location and the arrangement of the camera on said shuttle (height and angle of sight), to calculate the distance separating the camera from said light and to estimate the theoretical position of the latter on the captured image.
Le principe de ce calcul géométrique et cinématique est sommairement décrit ci- dessous en référence à la figure 14. The principle of this geometric and kinematic calculation is briefly described below with reference to figure 14.
Lorsque la navette autonome avance, le prochain feu se déplace sur une ligne fuyante et occupe des positions successives, 201 et 202 par exemple, qui sont projetées sur l’image 500 suivant des projections 510. Les projections 510 présentent des dimensions qui dépendent des positions de la navette comme illustré sur les figures 13a et 13b, le feu 200 occupant deux positions différentes sur l’image, et éventuellement présentant deux états différents vert et rouge en raison du laps de temps entre les deux images. When the autonomous shuttle advances, the next light moves on a receding line and occupies successive positions, 201 and 202 for example, which are projected on the image 500 following projections 510. The projections 510 have dimensions which depend on the positions of the shuttle as illustrated in FIGS. 13a and 13b, the light 200 occupying two different positions on the image, and possibly having two different states, green and red, due to the lapse of time between the two images.
Les projections du feu sur l’image s’effectuent suivant des angles de vue qi et 02. En fonction de ces paramètres, un calcul géométrique et cinématique simple permet de donner les positions théoriques du prochain feu sur l’image captée.The projections of the fire on the image are carried out according to viewing angles qi and 0 2 . As a function of these parameters, a simple geometric and kinematic calculation makes it possible to give the theoretical positions of the next light on the captured image.
La localisation de la navette autonome 100 peut être opérée par tout système de positionnement par satellite, et notamment par GPS. En raison de l’évolution de la navette autonome dans un environnement urbain, la localisation peut s’appuyer sur des méthodes de type SLAM ( Simultaneous Localization And Mapping), qui consistent à construire ou améliorer une carte de l’environnement et, simultanément, à s’y localiser. The location of the autonomous shuttle 100 can be operated by any satellite positioning system, and in particular by GPS. Due to the evolution of the autonomous shuttle in an urban environment, localization can be based on SLAM (Simultaneous Localization And Mapping) type methods, which consist in building or improving a map of the environment and, simultaneously, to locate there.
Contrairement aux modèles de l’art antérieur qui sont entraînés grâce à des banques d'images et de vidéos sans indication de la position GPS relative du prochain feu tricolore, ni de celle de la navette, les modèles de la présente invention bénéficient de la connaissance de la position exacte (X, , Y,) de chaque feu tricolore 200 présent sur un circuit C de la navette autonome 100, schématisé sur la figure 15, et de la position instantanée (X , Y) de la navette autonome, avec une incertitude admise. Unlike the models of the prior art which are trained by means of image and video banks without indication of the relative GPS position of the next traffic light, nor of that of the shuttle, the models of the present invention benefit from the knowledge of the exact position (X,, Y,) of each traffic light 200 present on a circuit C of the autonomous shuttle 100, shown diagrammatically in FIG. 15, and of the instantaneous position (X, Y) of the autonomous shuttle, with a admitted uncertainty.
Cette connaissance combinée de la position GPS du prochain feu tricolore et de la position GPS instantanée de la navette, permet de prédire la position la plus probable du prochain feu tricolore dans l'image comme souligné plus haut. This combined knowledge of the GPS position of the next traffic light and of the instantaneous GPS position of the shuttle, makes it possible to predict the most probable position of the next traffic light in the image as underlined above.

Claims

R E V E N D I C A T I O N S
1. Procédé de reconnaissance automatique de signalisations routières (200), mis en œuvre par un véhicule autonome (100) équipé d’un capteur d’image (10), comprenant : une étape (600) d’observation de l’environnement du véhicule par le capteur d’image pour l’acquisition d’images instantanées ; une étape (720) de prédiction en temps réel d’un attribut relatif à une prochaine signalisation (200) sur un trajet du véhicule à partir d’une image instantanée (500) de ladite signalisation, acquise par ledit capteur ; une étape (710) de détection de la signalisation sur l’image (500), permettant de délimiter sur ladite image une zone utile entourant ladite signalisation, ladite zone utile définissant une nouvelle image (550) de taille inférieure ; et une étape (725) de prédiction de l’attribut relatif à la signalisation à partir de ladite nouvelle image pour une meilleure précision, caractérisé en ce qu’il comprend une étape (650) de prétraitement de l’image (500) pour estimer un emplacement théorique (560) de la signalisation (200) dans ladite image à partir de la position géographique de ladite signalisation et de la position instantanée du véhicule fournie par un système de positionnement par satellite, en ce que les étapes (720, 725) de prédiction sont exécutées par des réseaux de neurones artificiels, mettant en œuvre une technique d’apprentissage automatique et implémentés dans un calculateur central embarqué du véhicule autonome, et en ce que la prédiction (720) sans détection et la prédiction (725) avec détection (710) sont fusionnées lors d’une étape (750) optionnelle de fusion pour augmenter la précision. 1. A method of automatic recognition of road signs (200), implemented by an autonomous vehicle (100) equipped with an image sensor (10), comprising: a step (600) of observing the environment of the vehicle. vehicle by the image sensor for the acquisition of instantaneous images; a step (720) of real-time prediction of an attribute relating to a next signaling (200) on a path of the vehicle from an instantaneous image (500) of said signaling, acquired by said sensor; a step (710) for detecting the signaling on the image (500), making it possible to delimit on said image a useful area surrounding said signaling, said useful area defining a new image (550) of smaller size; and a step (725) of predicting the attribute relating to the signaling from said new image for better precision, characterized in that it comprises a step (650) of preprocessing the image (500) to estimate a theoretical location (560) of the signaling (200) in said image from the geographical position of said signaling and the instantaneous position of the vehicle provided by a satellite positioning system, in that the steps (720, 725) are performed by artificial neural networks, implementing a machine learning technique and implemented in an on-board central computer of the autonomous vehicle, and in that the prediction (720) without detection and the prediction (725) with detection (710) are merged during an optional merging step (750) to increase precision.
2. Procédé selon la revendication 1 , dans lequel l’étape (710) de détection est également exécutée par un réseau de neurones artificiels mettant en œuvre une technique d’apprentissage automatique basée sur la reconnaissance d’objets. 2. The method of claim 1, wherein the detection step (710) is also performed by an artificial neural network implementing a machine learning technique based on the recognition of objects.
3. Procédé selon l’une des revendications 1 ou 2, dans lequel l’estimation de l’emplacement théorique (560) de la signalisation (200) dans l’image (500) est obtenue par un calcul de géométrie projective combiné à un calcul cinématique. 3. Method according to one of claims 1 or 2, wherein the estimation of the theoretical location (560) of the signaling (200) in the image (500) is obtained by a calculation of projective geometry combined with a kinematic calculation.
4. Procédé selon l’une quelconque des revendications précédentes, comprenant en outre une étape (800) de recommandation permettant au véhicule autonome (100) de prendre une décision en fonction des prédictions obtenues aux étapes (720, 725) de prédiction, ladite étape de recommandation se basant sur une matrice de recommandation. 4. Method according to any one of the preceding claims, further comprising a recommendation step (800) allowing the autonomous vehicle (100) to make a decision based on the predictions obtained in the prediction steps (720, 725), said step recommendation based on a recommendation matrix.
5. Procédé selon l’une quelconque des revendications précédentes, dans lequel le système de positionnement par satellite comprend un récepteur GPS. 5. A method according to any preceding claim, wherein the satellite positioning system comprises a GPS receiver.
6. Procédé selon l’une quelconque des revendications précédentes, dans lequel le capteur d’image (10) est une caméra installée sur le véhicule autonome (100) à une hauteur H du sol et avec un axe de visée incliné par rapport à un axe longitudinal médian dudit véhicule. 6. Method according to any one of the preceding claims, wherein the image sensor (10) is a camera installed on the autonomous vehicle (100) at a height H from the ground and with a sighting axis inclined relative to a median longitudinal axis of said vehicle.
7. Procédé selon l’une quelconque des revendications précédentes, dans lequel au moins une technique d’apprentissage automatique mise en oeuvre par un réseau de neurones artificiels est une technique d’apprentissage profond. 7. A method according to any preceding claim, wherein at least one machine learning technique implemented by an artificial neural network is a deep learning technique.
8. Procédé selon l’une quelconque des revendications précédentes, dans lequel les signalisations routières (200) sont des feux de circulation, pour lesquels l’attribut correspond à leur état, ou couleur. 8. Method according to any one of the preceding claims, in which the road signs (200) are traffic lights, for which the attribute corresponds to their state, or color.
9. Véhicule autonome (100) comportant un capteur d’image (10) et un calculateur central, caractérisé en ce qu’il met en œuvre un procédé de reconnaissance automatique de signalisations routières (200) selon l’une des revendications 1 à 8. 9. Autonomous vehicle (100) comprising an image sensor (10) and a central computer, characterized in that it implements a method of automatic recognition of road signs (200) according to one of claims 1 to 8 .
10. Véhicule autonome (100) selon la revendication 9, ledit véhicule étant une navette autonome de transport en commun. 10. Autonomous vehicle (100) according to claim 9, said vehicle being an autonomous public transport shuttle.
PCT/EP2020/086293 2019-12-20 2020-12-15 Method for automatically recognising road signs, for an autonomous vehicle WO2021122649A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1915144A FR3105511A1 (en) 2019-12-20 2019-12-20 Method for automatic recognition of road signs for autonomous vehicles
FRFR1915144 2019-12-20

Publications (1)

Publication Number Publication Date
WO2021122649A1 true WO2021122649A1 (en) 2021-06-24

Family

ID=70008771

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/086293 WO2021122649A1 (en) 2019-12-20 2020-12-15 Method for automatically recognising road signs, for an autonomous vehicle

Country Status (2)

Country Link
FR (1) FR3105511A1 (en)
WO (1) WO2021122649A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9990548B2 (en) 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9990548B2 (en) 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JESSE LEVINSON ET AL: "Traffic light mapping, localization, and state detection for autonomous vehicles", ROBOTICS AND AUTOMATION (ICRA), 2011 IEEE INTERNATIONAL CONFERENCE ON, 1 May 2011 (2011-05-01), pages 5784 - 5791, XP055478036, ISBN: 978-1-61284-386-5, DOI: 10.1109/ICRA.2011.5979714 *
JOHN V ET AL: "Traffic light recognition in varying illumination using deep learning and saliency map", 17TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), IEEE, 8 October 2014 (2014-10-08), pages 2286 - 2291, XP032685810, DOI: 10.1109/ITSC.2014.6958056 *

Also Published As

Publication number Publication date
FR3105511A1 (en) 2021-06-25

Similar Documents

Publication Publication Date Title
JP7374199B2 (en) Systems, computer program products and methods for prediction of three-dimensional features for autonomous driving
US11790664B2 (en) Estimating object properties using visual image data
US11748620B2 (en) Generating ground truth for machine learning from time series elements
US10796201B2 (en) Fusing predictions for end-to-end panoptic segmentation
CN112417953B (en) Road condition detection and map data updating method, device, system and equipment
Jebamikyous et al. Autonomous vehicles perception (avp) using deep learning: Modeling, assessment, and challenges
EP3516582A1 (en) Autonomous route determination
US20230252796A1 (en) Self-supervised compositional feature representation for video understanding
CN114556249A (en) System and method for predicting vehicle trajectory
Rezaei et al. Traffic-net: 3d traffic monitoring using a single camera
KR20230156264A (en) Track segment cleaning of tracked objects
EP0588815B1 (en) Road image sequence analysis device and method for obstacle detection
EP3635615B1 (en) Method for determining the type of road on which a vehicle is travelling
WO2021122649A1 (en) Method for automatically recognising road signs, for an autonomous vehicle
EP3729404A1 (en) Method for monitoring the area surrounding a first element located on a road, and associated system
US20220172607A1 (en) Systems and methods for predicting a bicycle trajectory
FR3054672B1 (en) METHOD AND SYSTEM FOR ASSOCIATING MOBILE OBJECT DETECTION AND TRACKING DATA FOR MOTOR VEHICLE
WO2020165544A1 (en) Identification of drivable areas with consideration of the uncertainty by a deep learning method
Adnan et al. Traffic congestion prediction using deep convolutional neural networks: A color-coding approach
CN117612127B (en) Scene generation method and device, storage medium and electronic equipment
US11967159B2 (en) Semantic annotation of sensor data with overlapping physical features
KR102657921B1 (en) End-to-end system training using fused images
Schilling Anomaly Detection in 3D Space for Autonomous Driving
US20240096109A1 (en) Automatic lane marking extraction and classification from lidar scans
US20230237813A1 (en) Semantic annotation of sensor data with overlapping physical features

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20823847

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20823847

Country of ref document: EP

Kind code of ref document: A1