WO2018078172A1 - Détection d'obstacles autour d'un véhicule automobile - Google Patents
Détection d'obstacles autour d'un véhicule automobile Download PDFInfo
- Publication number
- WO2018078172A1 WO2018078172A1 PCT/EP2017/077831 EP2017077831W WO2018078172A1 WO 2018078172 A1 WO2018078172 A1 WO 2018078172A1 EP 2017077831 W EP2017077831 W EP 2017077831W WO 2018078172 A1 WO2018078172 A1 WO 2018078172A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- zone
- module
- obstacles
- images captured
- possible candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Definitions
- the present invention relates generally to motor vehicles, and more specifically to a method and a system for detecting obstacles, in particular for motorized vehicles, around a motor vehicle, from images captured by a plurality of cameras on board a vehicle. said motor vehicle.
- Assistance System is crucial to prevent dangerous situations. Subsequently, we are interested in particular obstacles created by other motorized vehicles, static or mobile, which may present a particular danger. It is easy to understand that the detection of these obstacles, including the determination of their relative positions and speeds, must not only be precise but also conducted in real time so that the assistance systems can react quickly in a suitable manner.
- a first family groups the image processing algorithms taking into account the properties of each pixel of an image, such as the intensity, and carrying out filtering operations by comparison with predefined thresholds.
- image, in particular horizontal symmetries are examples of pixel processing algorithms images to infer possible candidates representative of a potential presence of third-party vehicles.
- a second family relies on the recognition of objects by machine learning, such as the SVM methods (English initials set for Support Vector machine) or Adaboost.
- the approach used in the recognition consists in learning then to find in the image, the general appearance of a specific object, here of a motorized vehicle.
- shape recognition algorithms are used whose purpose is to discriminate the shape of the vehicles with respect to the rest.
- a first phase involves the construction of a training base to capture the diversity of appearance of vehicles.
- the training base must be the largest and most varied possible to best match the large number of situations that can be encountered by the detection module.
- a learning algorithm will study and derive properties from this database to create a model representing a boundary allowing the vehicle / remainder classification.
- a classifier then uses this model to differentiate the elements of the two groups.
- the detection phase consists of scanning the image in rectangles on the overlapping areas of the scan and then comparing their contents with the model. If at a given point, the image is sufficiently close to the model, then the detection module indicates the presence of a vehicle.
- the detection module delivers a list of possible candidates representative of a potential presence of third-party vehicles.
- a third family includes so-called computer vision methods, such as flow or optical flow algorithms, which aim to characterize movement in a scene by associating with each pixel or block in an image a vector of displacement between an image. source and a target image.
- the optical flow algorithms identify certain regions of interest in the image (for example from contours, or the intensity of the pixels), then try to track them over time over time. successive images. If certain regions of interest seem to move in a coherent way over time, we can consider that they most certainly correspond to moving vehicles.
- An optical flow algorithm thus also provides a list of possible candidates representative of a potential presence of third-party vehicles. Through odometry and tracking of points of interest, a separation is made between the ground points compared to those who are placed on the vehicle or moving objects.
- recognition algorithms by machine learning are very dependent on the quality of the training base.
- the latter can hardly contain all existing car models.
- the effectiveness of these algorithms is directly related to the quality of the training base.
- a model is built by camera.
- Optical flow algorithms remain sensitive to noise and environmental variations. In addition, there is no reliable way to know if an object has been correctly segmented or to determine the nature of the object since all moving objects are marked without distinction. In other words, the regions of interest used in these algorithms are difficult to separate.
- the present invention aims to overcome the limitations and disadvantages of known systems, by providing a method and a system for reliably and robustly detecting in real time the vehicles likely to be present in the environment over 360 ° d. 'a motor vehicle.
- the subject of the invention is a method of detecting obstacles, in particular of motorized vehicles, around a motor vehicle, from images captured by a plurality of cameras on board said motor vehicle so as to cover the 360 ° environment around the motor vehicle and capture images on a front area, a right side area, a back area and a left side area, comprising the steps of:
- An automatic learning algorithm is applied to the images captured on the front zone, the right lateral zone, the left lateral zone and the rear zone in order to determine a second set of possible candidates representative of a potential presence of obstacles. ;
- An optical flow algorithm is applied to the captured images on the right and left lateral areas to determine a third set of possible candidates representative of a potential presence of obstacles;
- the method according to the invention may have one or more additional characteristics among the following:
- said first algorithm can determine the first set of candidates from shadow detections associated with potential moving obstacles
- a second processing algorithm of said pixels is preferably applied, allowing a detection of wheels;
- the invention also relates to a system for detecting obstacles, in particular for motorized vehicles, around a vehicle automobile, from images captured by a plurality of cameras on said motor vehicle so as to cover the environment 360 ° around the motor vehicle and capture images on a front zone, a right lateral zone, a rear zone and a left side area, the system comprising:
- an automatic learning detection module on the images captured on the front zone, the right lateral zone, the left lateral zone and the rear zone, the said automatic learning detection module delivering a second set of possible candidates representative of a presence potential obstacles;
- optical flow analysis module on the images captured on the right lateral zone and the left lateral zone, said optical flow analysis module delivering a third set of possible candidates representative of a potential presence of obstacles;
- a particle filter receiving as inputs the possible candidates of the first set, the second set and the third set and delivering a set of associated objects and tracked in the environment over 360 °.
- the pixel processing module may include a shadow detection module associated with potential obstacles.
- the pixel processing module may include a wheel detection module.
- the pixel processing module may include a module for detecting symmetrical parts in the images.
- Said plurality of cameras is preferably composed of four "fisheye" type cameras, a front camera, a rear camera and two side cameras.
- FIG. 1 illustrates an exemplary architecture of an on-vehicle system implementing a method for detecting obstacles present in the environment over 360 ° around the vehicle according to the invention
- FIG. 2 illustrates an example of results obtained in the context of a detection of a third vehicle to the left of a vehicle equipped with a detection system according to the invention
- FIG. 3 illustrates another possible architecture for an on-vehicle system implementing a method for detecting obstacles present in the environment over 360 ° around the vehicle according to the invention.
- a detection system 1 uses the images captured by a plurality of onboard cameras on the motor vehicle so as to cover the environment 360 ° around the motor vehicle and to capture images on a front zone, a right lateral zone, a rear zone and a left lateral zone.
- four "fisheye" type cameras with an observation angle greater than 180 ° are used to limit the number of equipment on the vehicle. Nevertheless, the principles of the invention that will be discussed in the following are valid regardless of the number of cameras used, from the moment when the total viewing area per vision corresponds to a 360 ° environment around the vehicle automobile.
- the system 1 of Figure 1 comprises a 2 F RONT front camera, a 2REAR rear camera, a 2RIGHT side camera to the right of the vehicle and a 2
- the cameras have been grouped by forward / backward pair and right / left lateral for reasons that will appear in the following.
- the arrows in thick black lines correspond to the images captured on the front / rear areas of the vehicle whereas the arrows in fine black lines correspond to the captured images on the right side / left side of the vehicle.
- the principle proposed by the present invention is to simultaneously use detection algorithms from the three different large families described above to deliver each time sets of possible candidates representative of a potential presence of third-party vehicles, with their positions. and relative speeds with respect to the motor vehicle equipped with the system, then to merge these different sets in order to use opportunistically different complementary and / or redundant characteristics, thus improving the detection rate and reducing the number of false alarms.
- an automatic learning algorithm at least on the images captured on the front zone and the rear zone in order to determine a second set of possible candidates representative of a potential presence of obstacles
- the detection system 1 schematized in FIG. 1 thus comprises a pixel processing module 3 for implementing said at least one first algorithm and delivering the first set of possible candidates, an automatic learning detection module 4 for delivering the second set of candidates. possible and an optical flow analysis module 5 to deliver the third set of possible candidates.
- the first pixel processing algorithm is advantageously based on the detections of the shadows projected by the vehicles potentially present, using the principle that shadows cast by a vehicle are more intense than conventional shadows.
- the pixel processing module 3 comprises a shadow detection module 30 associated with potential moving obstacles analyzing the images coming from all the cameras. The detection of shadows, whatever the algorithm used, makes it possible to draw up a list of candidates representative of potentially present vehicles.
- the pixel processing module 3 thus comprises a wheel detection module 31, using the images coming from all the cameras, and a module 32 for detecting symmetrical parts in the images captured by the camera. before 2 F RONT and / or by the 2REAR rear camera- These algorithms could be used concomitantly with the shadow detection algorithm. Nevertheless, to reduce computation time, it is preferable to start research on the wheels and / or on the presence of symmetries in the image only from the moment when shadows linked to potential vehicles have been detected at prior.
- the automatic learning detection module 4 uses any known algorithm for recognizing objects, such as the SVM or Adaboost algorithm. This algorithm is applied to images from all four cameras. A model is built by camera.
- the module 5 performs an optical flow analysis from the images captured on both sides of the vehicle by side cameras 2 R
- a separation of the objects is advantageously done via an object separation module 6 which combines the extracted regions of interest with the information coming from the detection of the shadows.
- the various candidates obtained at the output of the various modules previously described constitute the inputs of a particle filter 7 whose function is to merge these inputs and to deliver a set of objects detected, associated and monitored in the environment over 360 °, under form of a probabilistic distribution of detected vehicles.
- the principle of this filter is to create particle clouds for each candidate delivered by the different modules 3, 4 and 5, and to analyze the displacement of these clouds of particles from an estimation, for an image, of the next position of particle clouds in the next processed image.
- a probability of presence of a vehicle can be extracted by analyzing the areas of overlap between clouds from candidates detected by the different modules.
- Figure 2 illustrates an example of results obtained in the context of the detection of a vehicle on the left of the vehicle equipped with the detection system 1.
- the references h, l 2 , h and U represent the detection results, with their associated uncertainties obtained respectively from the optical flow analysis module 5, the shadow detection module 30. , the wheel detection module 31, and the detection module 4 by automatic learning.
- the reference 5 shows in turn the result of the fusion by the filter 7 to particles.
- Each detector will be bound by a probability distribution in conjunction with a given uncertainty about the X, Y position of the detected object.
- FIG. 3 illustrates another example of a possible architecture based on the same principles of cutting algorithms according to the observation zone (forward / backward pair and right / left lateral) of using algorithms releasing the image processing, object recognition and optical flow analysis, and fusion of the results of these algorithms in a particle filter.
- the image processing module 3 with its shadow detection module 30, its wheel detection module 31 and its symmetrical part detection module 32;
- the module 4 object recognition learning receiving here the images captured by all cameras
- the module 5 for analyzing the optical flow and the module 6 for separating the associated objects are identical to the module 5 for analyzing the optical flow and the module 6 for separating the associated objects.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
L'invention concerne un système (1) de détection d'obstacles, notamment de véhicules motorisés, autour d'un véhicule automobile, à partir d'images capturées par une pluralité de caméras (2FRONT, 2REAR, 2RIGHT, 2LEFT) embarquées sur le véhicule automobile de manière à couvrir l'environnement sur 360° autour du véhicule automobile et capturer des images sur une zone avant, une zone latérale droite, une zone arrière et une zone latérale gauche. Le système comprend: un module (3) de traitement des pixels des images capturées sur toutes les zones, délivrant au moins un premier ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles; un module (4) de détection par apprentissage automatique sur au moins les images capturées sur toutes les zones, délivrant un deuxième ensemble de candidats possibles; un module (5) d'analyse de flux optique sur les images capturées sur les zones droite/gauche, délivrant un troisième ensemble de candidats possibles; et un filtre (7) à particules recevant en entrées les candidats possibles du premier, deuxième et troisième ensembles et délivrant un ensemble d'objets associés et suivis dans l'environnement sur 360°.
Description
DETECTI ON D'OBSTACLES AUTOUR D'UN VEHI CULE AUTOMOBI LE
La présente invention concerne de manière générale les véhicules automobiles, et plus précisément un procédé et un système de détection d'obstacles, notamment de véhicules motorisés, autour d'un véhicule automobile, à partir d'images capturées par une pluralité de caméras embarquées sur ledit véhicule automobile.
La détection d'obstacles dans l'environnement immédiat d'un véhicule automobile à conduite autonome ou équipé de systèmes d'assistance à la conduite (ou ADAS, initiales anglo-saxonnes mises pour Advanced Driver
Assistance System) est cruciale pour prévenir des situations dangereuses. On s'intéresse par la suite aux obstacles particuliers constitués par d'autres véhicules motorisés, statiques ou mobiles, pouvant présenter un danger particulier. On comprend aisément que la détection de ces obstacles, incluant la détermination de leurs positions et vitesses relatives, doit être non seulement précise mais menée en outre en temps réel pour que les systèmes d'assistance puissent réagir rapidement de façon adaptée.
On connaît déjà de nombreux systèmes réalisant des détections et classifications d'objets, tels que des véhicules motorisés, à partir d'images capturées par des caméras, en particulier soit une caméra frontale et une caméra arrière, soit des caméras latérales embarquées sur le véhicule automobile.
Aucun système ne permet à l'heure actuelle de réaliser une détection dans un environnement sur 360° autour du véhicule automobile.
Par ailleurs, aujourd'hui, les algorithmes de vision connus permettant de détecter des objets dans des images peuvent être regroupés essentiellement en trois grandes familles :
Une première famille regroupe les algorithmes de traitement d'images prenant en compte les propriétés de chaque pixel d'une image, telles que l'intensité, et effectuant des opérations de filtrages par comparaison avec des seuils prédéfinis. La détection d'ombres projetées par les véhicules, la détection des roues de véhicules présents dans une image par l'extraction de contours circulaires et/ou elliptiques ou la détection des symétries dans une
image, notamment des symétries horizontales (optiques des véhicules, rétroviseurs latéraux par exemple) sont des exemples d'algorithmes de traitement des pixels des images permettant d'inférer des candidats possibles représentatifs d'une présence potentielle de véhicules tiers.
Une deuxième famille repose sur la reconnaissance d'objets par apprentissage automatique, telles que les méthodes SVM (initales anglo- saxonnes mises pour Support Vector machine) ou Adaboost. L'approche utilisée dans la reconnaissance consiste à apprendre puis à retrouver dans l'image, l'allure générale d'un objet déterminé, ici d'un véhicule motorisé. Pour réaliser un module de détection de véhicules, on utilise des algorithmes de reconnaissance de formes dont le but est de discriminer la forme des véhicules par rapport au reste. Concrètement, une première phase consiste à la construction d'une base d'entraînement pour capturer la diversité d'apparence des véhicules. La base d'entraînement doit être la plus grande et la plus variée possible pour correspondre au mieux au grand nombre de situations pouvant être rencontrées par le module de détection. Puis, un algorithme d'apprentissage va étudier et dégager des propriétés de cette base pour créer un modèle représentant une frontière permettant la classification véhicule/reste. Un classifieur s'appuie ensuite sur ce modèle pour différencier les éléments des deux groupes. Une fois le classifieur construit, la phase de détection consiste à balayer l'image en rectangles sur les zones de scan qui se recouvrent, puis à comparer leur contenu avec le modèle. Si en un point donné, l'image est suffisamment proche du modèle, alors le module de détection indique la présence d'un véhicule. Ici encore, le module de détection délivre une liste de candidats possibles représentatifs d'une présence potentielle de véhicules tiers.
Une troisième famille regroupe les méthodes dites de vision par ordinateur, tels que les algorithmes de flux ou flot optique, qui ont pour but de caractériser le mouvement dans une scène en associant à chaque pixel ou bloc dans une image un vecteur de déplacement entre une image source et une image cible. Typiquement, les algorithmes de flux optique identifient certaines régions d'intérêts dans l'image (par exemple à partir de contours, ou de l'intensité des pixels), puis essayent de les suivre dans le temps sur des
images successives. Si certaines régions d'intérêts semblent se déplacer de manière cohérente dans le temps, on peut considérer qu'elles correspondent très certainement à des véhicules qui se déplacent. Un algorithme de flux optique délivre ainsi également une liste de candidats possibles représentatifs d'une présence potentielle de véhicules tiers. Grâce à l'odométrie et le suivi des points d'intérêts, une séparation est faite entre les points au sol par rapport à ceux qui se placent sur le véhicule ou des objets mobiles.
Les systèmes de détection connus aujourd'hui reposent uniquement sur l'utilisation d'algorithmes issus de l'une seulement des trois familles précédentes. La difficulté principale reste liée au temps réel.
Or, chacune des familles ci-dessus présente des avantages et des inconvénients.
En particulier, les algorithmes de reconnaissance par apprentissage automatique sont très dépendants de la qualité de la base d'entraînement. Cette dernière peut difficilement contenir tous les modèles de voitures existants. En outre, l'efficacité de ces algorithmes est directement lié à la qualité de la base d'entraînement. Un modèle est construit par caméra.
Les algorithmes de flux optique restent quant à eux sensibles au bruit et aux variations de l'environnement. En outre, il n'y a aucun moyen fiable pour savoir si un objet a été correctement segmenté ou pour déterminer la nature de celui-ci puisque tous les objets mobiles sont repérés sans distinction. Autrement dit, les régions d'intérêt utilisées dans ces algorithmes sont difficiles à séparer.
La présente invention a pour but de pallier les limitations et inconvénients des systèmes connus, en proposant un procédé et un système permettant de détecter de manière fiable et robuste et en temps réel les véhicules susceptibles d'être présents dans l'environnement sur 360° d'un véhicule automobile.
Pour ce faire, l'invention a pour objet un procédé de détection d'obstacles, notamment de véhicules motorisés, autour d'un véhicule automobile, à partir d'images capturées par une pluralité de caméras embarquées sur ledit véhicule automobile de manière à couvrir l'environnement sur 360° autour du véhicule automobile et capturer des
images sur une zone avant, une zone latérale droite, une zone arrière et une zone latérale gauche, comprenant les étapes suivantes :
- On applique au moins un premier algorithme de traitement des pixels des images capturées sur la zone avant, la zone latérale droite, la zone arrière et la zone latérale gauche en vue de déterminer au moins un premier ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles;
- On applique un algorithme d'apprentissage automatique sur les images capturées sur la zone avant, la zone latérale droite, la zone latérale gauche et la zone arrière en vue de déterminer un deuxième ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles;
- On applique un algorithme de flux optique sur les images capturées sur la zone latérale droite et la zone latérale gauche en vue de déterminer un troisième ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles ;
- On fusionne les candidats possibles du premier ensemble, deuxième ensemble et troisième ensemble dans un filtre à particules pour délivrer un ensemble d'objets associés et suivis dans l'environnement sur 360°. Outre les caractéristiques principales qui viennent d'être mentionnées dans le paragraphe précédent, le procédé selon l'invention peut présenter une ou plusieurs caractéristiques complémentaires parmi les suivantes :
- ledit premier algorithme peut déterminer le premier ensemble de candidats à partir de détections d'ombres associées à des obstacles mobiles potentiels;
-sur détections d'ombres associées à des obstacles potentiels, on applique de préférence un deuxième algorithme de traitement desdits pixels permettant une détection de roues ;
- sur détections d'ombres associées à des obstacles potentiels, on applique de préférence un troisième algorithme de traitement desdits pixels permettant une détection de parties symétriques dans les images.
L'invention a également pour objet un système de détection d'obstacles, notamment de véhicules motorisés, autour d'un véhicule
automobile, à partir d'images capturées par une pluralité de caméras embarquées sur ledit véhicule automobile de manière à couvrir l'environnement sur 360° autour du véhicule automobile et capturer des images sur une zone avant, une zone latérale droite, une zone arrière et une zone latérale gauche, le système comprenant :
- un module de traitement des pixels des images capturées sur la zone avant, la zone latérale droite, la zone arrière et la zone latérale gauche, ledit module de traitement délivrant au moins un premier ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles;
- un module de détection par apprentissage automatique sur les images capturées sur la zone avant, la zone latérale droite, la zone latérale gauche et la zone arrière, ledit module de détection par apprentissage automatique délivrant un deuxième ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles;
- un module d'analyse de flux optique sur les images capturées sur la zone latérale droite et la zone latérale gauche, ledit module d'analyse de flux optique délivrant un troisième ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles;
- un filtre à particules recevant en entrées les candidats possibles du premier ensemble, deuxième ensemble et troisième ensemble et délivrant un ensemble d'objets associés et suivis dans l'environnement sur 360°.
Le module de traitement des pixels peut comporter un module de détection d'ombres associées à des obstacles potentiels.
Le module de traitement des pixels peut comporter un module de détection de roues.
Le module de traitement des pixels peut comporter un module de détection de parties symétriques dans les images.
Ladite pluralité de caméras est de préférence composée de quatre caméras de type « fisheye », une caméra frontale, une caméra arrière et deux caméras latérales ?
L'invention sera mieux comprise à la lecture de la description qui suit, faite en référence aux figures annexées, dans lesquelles :
- la figure 1 illustre un exemple d'architecture d'un système embarqué sur un véhicule implémentant un procédé de détection d'obstacles présents dans l'environnement sur 360° autour du véhicule conforme à l'invention ;
- la figure 2 illustre un exemple de résultats obtenus dans le cadre d'une détection d'un véhicule tiers à gauche d'un véhicule équipé d'un système détection selon l'invention;
- la figure 3 illustre une autre architecture possible pour un système embarqué sur un véhicule implémentant un procédé de détection d'obstacles présents dans l'environnement sur 360° autour du véhicule conforme à l'invention.
En référence à la figure 1, un système 1 de détection conforme à l'invention utilise les images capturées par une pluralité de caméras embarquées sur le véhicule automobile de manière à couvrir l'environnement sur 360° autour du véhicule automobile et capturer des images sur une zone avant, une zone latérale droite, une zone arrière et une zone latérale gauche.
Dans un mode préférentiel de réalisation, on utilise quatre caméras de type « fisheye », avec un angle d'observation supérieur à 180°, afin de limiter le nombre d'équipements embarqués sur le véhicule. Néanmoins, les principes de l'invention qui vont être exposés dans la suite sont valables quel que soit le nombre de caméras utilisées, à partir du moment où la zone d'observation totale par vision correspond bien à un environnement sur 360° autour du véhicule automobile.
Plus précisément, le système 1 de la figure 1 comprend une caméra frontale 2FRONT, une caméra arrière 2REAR, une caméra latérale 2RIGHT à droite du véhicule et une caméra latérale 2|_EFT à gauche du véhicule. Sur les différentes figures, les caméras ont été regroupées par couple avant/arrière et latéral droite/latéral gauche pour des raisons qui apparaîtront dans la suite. Par convention sur les figures, les flèches en traits noirs épais correspondent aux images capturées sur les zones avant/arrière du véhicule alors que les
flèches en traits noirs fins correspondent aux images capturées sur les zones latérale droite/latérale gauche du véhicule.
Le principe proposé par la présente invention est d'utiliser en simultané des algorithmes de détection provenant des trois grandes familles différentes décrites ci-avant pour délivrer à chaque fois des ensembles de candidats possibles représentatifs d'une présence potentielle de véhicules tiers, avec leur positions et vitesses relatives par rapport au véhicule automobile équipé du système, puis de fusionner ces différents ensembles afin d'utiliser opportunément les différentes caractéristiques complémentaires et/ou redondantes, améliorer ainsi le taux de détection et diminuer le nombre de fausses alarmes.
Plus précisément, dans un procédé de détection conforme à la présente invention on applique :
- au moins un premier algorithme de traitement des pixels des images capturées sur la zone avant, la zone latérale droite, la zone arrière et la zone latérale gauche en vue de déterminer au moins un premier ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles;
- un algorithme d'apprentissage automatique au moins sur les images capturées sur la zone avant et la zone arrière en vue de déterminer un deuxième ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles; et
- un algorithme de flux optique sur les images capturées sur la zone latérale droite et la zone latérale gauche en vue de déterminer un troisième ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles.
Le système 1 de détection schématisé sur la figure 1 comporte ainsi un module 3 de traitement des pixels pour implémenter ledit au moins premier algorithme et délivrer le premier ensemble de candidats possibles, un module 4 de détection par apprentissage automatique pour délivrer le deuxième ensemble de candidats possibles et un module 5 d'analyse de flux optique pour délivrer le troisième ensemble de candidats possibles.
Le premier algorithme de traitement de pixel repose avantageusement sur les détections des ombres projetées par les véhicules potentiellement
présents, utilisant le principe selon lequel les ombres projetées par un véhicule sont plus intenses que les ombres classiques. Le module 3 de traitement des pixels comporte à cet effet un module 30 de détection d'ombres associées à des obstacles mobiles potentiels analysant les images provenant de toutes les caméras. La détection d'ombres, quel que soit l'algorithme utilisé, permet de dresser une liste de candidats représentatifs de véhicules potentiellement présents.
On peut avantageusement associer à la détection d'ombres d'autres algorithmes de traitement d'image, comme un algorithme de détection de roues, basé sur l'extraction de contours circulaires ou elliptiques qui seraient présents dans les images capturées respectivement sur les côtés ou sur l'avant/arrière du véhicule, et/ou un algorithme 32 de traitement des pixels permettant une détection de parties symétriques dans les images. Sur la figure 1, le module 3 de traitement des pixels comporte ainsi un module 31 de détection de roues, utilisant les images en provenance de l'ensemble des caméras, et un module 32 de détection de parties symétriques dans les images capturées par la caméra avant 2FRONT et/ou par la caméra arrière 2REAR- Ces algorithmes pourraient être utilisés concomitamment avec l'algorithme de détection d'ombres. Néanmoins, pour réduire les temps de calculs, il est préférable de ne lancer des recherches sur les roues et/ou sur la présence de symétries dans l'image qu'à partir du moment où des ombres liées à de potentiels véhicules ont été détectées au préalable.
Le module 4 de détection par apprentissage automatique utilise quant à lui tout algorithme connu de reconnaissance d'objets, telles que l'algorithme SVM ou Adaboost. Cet algorithme est appliqué aux images provenant des quatre caméras. Un modèle est construit par caméra.
Enfin, le module 5 effectue une analyse de flux optique à partir des images capturées sur les deux côtés du véhicule par caméras latérales 2R|GHT et 2 LEFT extraire des régions d'intérêts en mouvement. Une séparation des objets est avantageusement faite via un module 6 de séparation des objets qui combine les régions d'intérêts extraites avec les informations provenant de la détection des ombres.
Les différents candidats obtenus en sortie des différents modules précédemment décrits constituent les entrées d'un filtre à particules 7 dont la fonction est de fusionner ces entrées et délivrer un ensemble d'objets détectés, associés et suivis dans l'environnement sur 360°, sous forme d'une distribution probabiliste des véhicules détectés.
Le principe de ce filtre est de créer des nuages de particules pour chaque candidat délivré par les différents modules 3, 4 et 5, et d'analyser le déplacement de ces nuages de particules à partir d'une estimation, pour une image, de la prochaine position des nuages de particules dans la prochaine image traitée. Une probabilité de présence d'un véhicule peut être extraite en analysant les zones de chevauchement entre des nuages provenant de candidats détectés par les différents modules.
La figure 2 illustre un exemple de résultats obtenus dans le cadre de la détection d'un véhicule se trouvant sur la gauche du véhicule équipé du système 1 de détection. Sur la partie gauche de la figure 2, les références h, l2, h et U représentent les résultats de détection, avec leurs incertitudes associées obtenus en sortie respectivement du module 5 d'analyse de flux optique , du module 30 de détection des ombres, du module 31 de détection des roues, et du module 4 de détection par apprentissage automatique. La référence l5 représente quant à elle le résultat de la fusion par le filtre 7 à particules. Chaque détecteur sera lié par une distribution de probabilité en conjonction avec une incertitude accordée sur la position X, Y de l'objet détecté. On constate que la présence d'un véhicule tiers à gauche du véhicule concerné (point origine des deux axes sur les différents résultats) est détectée avec une probabilité plus forte après fusion qu'à l'issue de chacun des modules pris séparément, avec en outre un positionnement beaucoup plus précis.
Les implémentations du procédé de détection selon l'invention ne sont aucunement limitées à l'architecture du système représentée sur la figure 1.
En particulier, la figure 3 illustre un autre exemple d'architecture possible reposant sur les mêmes principes de découpage des algorithmes selon la zone d'observation (couple avant/arrière et latéral droit/latéral gauche), d'utilisation d'algorithmes relavant du traitement d'image, de la
reconnaissance d'objets et de l'analyse du flux optique, et de fusion des résultats de ces algorithmes dans un filtre à particules. On retrouve ainsi sur la figure 3 :
- le module 3 de traitement d'images avec son module 30 de détection d'ombres, son module 31 de détection de roues et son module 32 de détection des parties symétriques ;
- le module 4 de reconnaissance d'objet par apprentissage, recevant ici les images capturées par l'ensemble des caméras ;
- le module 5 d'analyse du flux optique et le module 6 de séparation des objets associés.
La différence avec l'architecture de la figure 1 réside ici principalement dans le fait que la sortie de chacun des modules 30, 31, 32, 4 et 6 est ici utilisée comme entrée du filtre 7 à particules.
Claims
1. Procédé de détection d'obstacles, notamment de véhicules motorisés, autour d'un véhicule automobile, à partir d'images capturées par une pluralité de caméras (2FRONT, 2REAR, 2RIGHT, 2LEFT) embarquées sur ledit véhicule automobile de manière à couvrir l'environnement sur 360° autour du véhicule automobile et capturer des images sur une zone avant, une zone latérale droite, une zone arrière et une zone latérale gauche, comprenant les étapes suivantes :
-On applique au moins un premier algorithme (30) de traitement des pixels des images capturées sur la zone avant, la zone latérale droite, la zone arrière et la zone latérale gauche en vue de déterminer au moins un premier ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles;
-On applique un algorithme (4) d'apprentissage automatique sur les images capturées sur la zone avant, la zone latérale droite, la zone latérale gauche et la zone arrière en vue de déterminer un deuxième ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles;
- On applique un algorithme (5) de flux optique sur les images capturées sur la zone latérale droite et la zone latérale gauche en vue de déterminer un troisième ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles ;
-On fusionne les candidats possibles du premier ensemble, deuxième ensemble et troisième ensemble dans un filtre (7) à particules pour délivrer un ensemble d'objets associés et suivis dans l'environnement sur 360°.
2. Procédé selon la revendication 1, caractérisé en ce que ledit premier algorithme (30) détermine le premier ensemble de candidats à partir de détections d'ombres associées à des obstacles mobiles potentiels.
3. Procédé selon la revendication 2, caractérisé en ce que, sur détections d'ombres associées à des obstacles potentiels, on applique un deuxième
algorithme (31) de traitement desdits pixels permettant une détection de roues.
Procédé selon l'une quelconque des revendications 2 ou 3, caractérisé en ce que, sur détections d'ombres associées à des obstacles potentiels, on applique un troisième algorithme (32) de traitement desdits pixels permettant une détection de parties symétriques dans les images.
Système (1) de détection d'obstacles, notamment de véhicules motorisés, autour d'un véhicule automobile, à partir d'images capturées par une pluralité de caméras (2FRONT, 2REAR, 2RIGHT, 2LEFT) embarquées sur ledit véhicule automobile de manière à couvrir l'environnement sur 360° autour du véhicule automobile et capturer des images sur une zone avant, une zone latérale droite, une zone arrière et une zone latérale gauche, le système comprenant :
- un module (3) de traitement des pixels des images capturées sur la zone avant, la zone latérale droite, la zone arrière et la zone latérale gauche, ledit module de traitement (3) délivrant au moins un premier ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles;
- un module (4) de détection par apprentissage automatique sur les images capturées sur la zone avant, la zone latérale droite, la zone latérale gauche et la zone arrière, ledit module
(4) de détection par apprentissage automatique délivrant un deuxième ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles;
- un module (5) d'analyse de flux optique sur les images capturées sur la zone latérale droite et la zone latérale gauche, ledit module
(5) d'analyse de flux optique délivrant un troisième ensemble de candidats possibles représentatifs d'une présence potentielle d'obstacles;
- un filtre (7) à particules recevant en entrées les candidats possibles du premier ensemble, deuxième ensemble et troisième ensemble et
délivrant un ensemble d'objets associés et suivis dans l'environnement sur 360°.
6. Système selon la revendication 5, caractérisé en ce que le module (3) de traitement des pixels comporte un module (30) de détection d'ombres associées à des obstacles potentiels.
7. Système selon l'une quelconque des revendications 5 et 6, caractérisé en ce que le module (3) de traitement des pixels comporte un module (31) de détection de roues.
8. Système selon l'une quelconque des revendications 5 à 7, caractérisé en ce que le module (3) de traitement des pixels comporte un module (32) de détection de parties symétriques dans les images.
9. Système selon l'une quelconque des revendications 5 à 8, caractérisé en ce que ladite pluralité de caméras est composée de quatre caméras de type « fisheye », une caméra frontale (2FRONT), une caméra arrière (2REAR) et deux caméras latérales (2RIGHT, 2LEFT)-
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1660489 | 2016-10-28 | ||
| FR1660489A FR3058247B1 (fr) | 2016-10-28 | 2016-10-28 | Detection d'obstacles autour d'un vehicule automobile |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018078172A1 true WO2018078172A1 (fr) | 2018-05-03 |
Family
ID=58213189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2017/077831 Ceased WO2018078172A1 (fr) | 2016-10-28 | 2017-10-30 | Détection d'obstacles autour d'un véhicule automobile |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3058247B1 (fr) |
| WO (1) | WO2018078172A1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112406857A (zh) * | 2020-12-14 | 2021-02-26 | 上海寅家电子科技股份有限公司 | 车辆防碰撞控制装置及方法 |
-
2016
- 2016-10-28 FR FR1660489A patent/FR3058247B1/fr active Active
-
2017
- 2017-10-30 WO PCT/EP2017/077831 patent/WO2018078172A1/fr not_active Ceased
Non-Patent Citations (1)
| Title |
|---|
| "Handbuch Fahrerassistenzsysteme", 2015, SPRINGER, article H WINNER: "Handbuch Fahrerassistenzsysteme", pages: 349-352, 383-388, XP055382054 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112406857A (zh) * | 2020-12-14 | 2021-02-26 | 上海寅家电子科技股份有限公司 | 车辆防碰撞控制装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3058247B1 (fr) | 2019-07-05 |
| FR3058247A1 (fr) | 2018-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2036796B1 (fr) | Dispositif d'aide à la conduite pour véhicule automobile comportant un système de capture d'images stéréoscopique | |
| EP2275971B1 (fr) | Procédé de détection d'un obstacle pour véhicule automobile | |
| EP3332352B1 (fr) | Dispositif et procede de detection de place de stationnement libre pour un vehicule automobile | |
| CN112889071A (zh) | 用于确定二维图像中深度信息的系统和方法 | |
| EP3616161B1 (fr) | Procédé de traitement d'images pour la suppression de zones lumineuses | |
| WO2018138064A1 (fr) | Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images | |
| EP4229544B1 (fr) | Procede de traitement d'images pour déclarer une zone segmentée comme gyrophare | |
| FR3027432A1 (fr) | Estimation de distance d'un pieton par un systeme d'imagerie embarque sur un vehicule automobile | |
| FR3058247B1 (fr) | Detection d'obstacles autour d'un vehicule automobile | |
| FR3083352A1 (fr) | Procede et dispositif de detection rapide de structures repetitives dans l'image d'une scene routiere | |
| EP3830741B1 (fr) | Assistance à la conduite pour le controle d'un vehicule automobile comprenant des étappes parallèles de traitement des images transformées. | |
| WO2018224750A1 (fr) | Procede de determination du type de route sur laquelle evolue un vehicule | |
| WO2024231616A1 (fr) | Procédé et dispositif de détermination d'un masque de visibilité pour un système de vision embarqué dans un véhicule | |
| Mishra et al. | Detection of Moving Vehicle in Foggy Environment using Google's Firebase Platform. | |
| FR2899363A1 (fr) | Procede et dispositif de detection de mouvement d'objets sur des images d'une scene | |
| WO2017005930A1 (fr) | Détection d'objets par traitement d'images | |
| FR3129905A1 (fr) | Procédé d’aide à la conduite pour véhicule automobile en présence de piétons. | |
| FR3080702A1 (fr) | Estimation de la distance separant un vehicule automobile d'objets detectes par traitement d'images capturees depuis le vehicule automobile | |
| EP4684373A1 (fr) | Procede d'analyse d'un flux video, programme d'ordinateur, dispositif de traitement et vehicule associes | |
| FR3074595A1 (fr) | Procede d’identification d’une cible au moyen d’une camera embarquee haute resolution | |
| FR2958769A1 (fr) | Procede de traitement video pour identifier des objets a partir d'images et de capteurs secondaires avec auto apprentissage croise, et systeme mettant en œuvre un tel procede | |
| WO2018185398A1 (fr) | Procédé et dispositif de traitement d'images acquises par une caméra d'un véhicule automobile | |
| FR3072931A1 (fr) | Procede de traitement de donnees pour systeme d'aide a la conduite d'un vehicule et systeme d'aide a la conduite associe | |
| EP3394571B1 (fr) | Procédé et dispositif de détermination de positions spatiales et de paramètres cinématiques d'objets dans l'environnement d'un véhicule | |
| FR3165735A1 (fr) | Procédé et dispositif d’entrainement auto-supervisé d’un modèle de prédiction de profondeur avec suivi des objets mobiles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17791417 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17791417 Country of ref document: EP Kind code of ref document: A1 |