WO2017005930A1 - Détection d'objets par traitement d'images - Google Patents

Détection d'objets par traitement d'images Download PDF

Info

Publication number
WO2017005930A1
WO2017005930A1 PCT/EP2016/066381 EP2016066381W WO2017005930A1 WO 2017005930 A1 WO2017005930 A1 WO 2017005930A1 EP 2016066381 W EP2016066381 W EP 2016066381W WO 2017005930 A1 WO2017005930 A1 WO 2017005930A1
Authority
WO
WIPO (PCT)
Prior art keywords
interest
regions
subset
region
successive
Prior art date
Application number
PCT/EP2016/066381
Other languages
English (en)
Inventor
Julien Rebut
Dora CSILLAG
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Publication of WO2017005930A1 publication Critical patent/WO2017005930A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present invention generally relates to the detection of objects by pattern recognition techniques in images.
  • One area more particularly, although not exclusively, concerned is that of motor vehicles.
  • Pedestrian Detection is another important application in automotive driving assistance systems as it involves the design of intelligent systems capable of warning or preventing accidents by monitoring the vehicle's surroundings through one or more cameras. Such a detection system can thus either warn the driver of the presence of a pedestrian at a distance deemed dangerous, or directly act on the braking system of the motor vehicle. Pedestrian detection systems are also crucial for automated driving systems.
  • the detection of pedestrians consists in determining as precisely as possible, the presence and location of all persons likely to be present in an image or a succession of images. It is generally based on pattern recognition techniques whose purpose is to learn and then to find in the image, the general look of a person.
  • the algorithms implemented in pattern recognition pedestrian detection are generally very complex considering in particular the great diversity between people (size, weight, clothing, postures ...) - These forms recognition algorithms are often based on the combined use of descriptors and a binary classification method to determine if an area of an image captured by a camera is a pedestrian or a background.
  • a classic method known as the Viola and Jones method, is to test the presence of a pedestrian in a fixed-size window or thumbnail, for example 24 by 48 pixels, at all possible positions in the image and for several scales of the image. The test consists in generating a vector of descriptors of the thumbnail and comparing them with the descriptors learned on a learning base.
  • each region of interest corresponding to a given scale of the image.
  • regions of interest also called scanning zones relating to each scale ("scan zone" in English terminology)
  • scan zone in English terminology
  • the method typically involves scanning each region of interest, of the same size as the base image, by moving the fixed size window a certain number of pixels at a time.
  • a classifier combined with a learning base comprising pedestrian samples and background samples will process the different descriptor vectors obtained by the sliding window to identify the areas actually corresponding to a pedestrian compared to a learned model.
  • the result is delivered by the pedestrian detector in the form of a bounding box, generally of rectangular shape, by pedestrian detected.
  • the dimensions and / or the vertical position of the bounding box relating to a detected pedestrian are then used to estimate the distance to which the pedestrian is in relation to the vehicle.
  • Adaboost type rapid detectors Such a method is for example implemented by Adaboost type rapid detectors.
  • the results of rapid detection are then generally refined and validated by more efficient classifiers.
  • the object of the present invention is to overcome the drawbacks of known solutions based on the Adaboost type recognition algorithm by proposing an image processing strategy that consumes less computing time.
  • the subject of the invention is a method for detecting objects by processing images captured by a camera, in which a detection and / or pattern recognition algorithm is used which is capable of detecting at least one object in performing, for each image of a succession of images, scanning a plurality of regions of interest by a sliding window, each region of interest corresponding to a different scale of each image, the method being characterized in that it comprises a step of selecting, in a predetermined set of P regions of interest classified in a defined order of successive scales, a first subset of K successive regions of interest on which the scanning by the sliding window is performed for at least a first image.
  • the method according to the invention may have one or more additional characteristics among the following:
  • each region of interest of the first subset which has given rise to a detection of an object is stored; and re-scanning for the following images on a second subset of successive regions of interest limited on the one hand, to the stored regions of interest and the regions contiguous to the stored regions of interest, and on the other hand, to the K regions of interest of the first subset, by moving, at each iteration, said first subset of K successive regions of interest of at least one region of interest in the defined order of successive scales;
  • said first subset of K successive regions of interest is displaced for example in at most K regions of interest; the scanning can be reiterated until the first subset of K successive regions of interest includes the region of interest of said predetermined set corresponding to the largest scale;
  • the largest scale corresponds, for example, to the actual size of the image captured by the camera
  • said first subset of K successive regions of interest includes in a possible embodiment the region of interest of said predetermined set corresponding to the smallest scale
  • said first subset preferably comprises two successive regions of interest
  • each region of interest can moreover advantageously be segmented in the width direction into a plurality of zones of interest, and the method then comprises a step of reframing the memorized regions of interest, or even regions contiguous to the regions of interest. interest, the reframing taking place in the area of interest that gave rise to an object detection.
  • the invention also relates to a system for detecting objects by processing images captured by a camera, the system comprising a detector using a detection and / or pattern recognition algorithm capable of detecting at least one object by performing for each image of a succession of images, scanning a plurality of regions of interest by a sliding window, each region of interest corresponding to a different scale of each image, characterized in that said detector is programmed to select in a predetermined set of P regions of interest, classified in a defined order of successive scales, a first subset of K successive regions of interest on which the scanning by the sliding window is performed for a first image.
  • FIG. 1 shows schematically a situation encountered on a road by a motor vehicle equipped with a system according to the invention
  • FIG. 2 gives a simplified block diagram illustrating the operation an Adaboost pedestrian detector
  • FIG. 3 gives a simplified block diagram illustrating certain steps that can be implemented in a method according to the invention
  • FIG. 4 illustrates a principle of segmentation of the regions of interest.
  • a motor vehicle 1 equipped with a camera, known calibration parameters and able to capture successive images of landscapes moves on a road 3.
  • the camera is, in this example, located at a location of the vehicle that best corresponds to what the driver sees, for example centered at the level of the windshield inside the cockpit.
  • Other positions can nevertheless be envisaged without departing from the scope of the invention, for example on the rear bumper for a rear view camera, or more generally at any location of the vehicle depending on the area that is desired observe.
  • the motor vehicle 1 further comprises a processing module (not shown) forming, with the camera 2, a system for detecting the presence of a pedestrian 4, and to act on a driving assistance system according to an estimate of the distance separating the pedestrian 4 from the motor vehicle 1.
  • the detection of pedestrians is taken here as a non-limiting example, the system being able to be provided for the detection of other objects.
  • the camera 2 captures the images of the road scene located at the front of the vehicle 1 and supplies these images to the image processing module of the system.
  • each image ⁇ ⁇ captured by the camera is delivered to a detector 5, in this non-limiting example, a pedestrian detector, comprising a learning base 50 with examples of pedestrians of a on the other hand, and its associated classifier 51.
  • the classifier 51 is able to implement the Viola and Jones type algorithm described above, with the modifications related to the invention. It will be recalled that this algorithm generally consists of scanning each region of interest Rj, p of a set E of P regions of interest corresponding to P scales. possible of the original image ⁇ ⁇ , by a thumbnail of predetermined size.
  • the pedestrian detector 5 outputs a bounding box 52 which delimits an image area representative of the pedestrian 4 detected. The above processing is reiterated for each image received.
  • the method according to the invention proposes to sweep, for each image received ⁇ ⁇ , a subset of regions of interest comprising at most a limited number of K regions of successive interest (integer K less than P), as well as regions of interest having given rise to a detection for the preceding image 1, -1 (hereinafter referred to as validated or stored regions of interest) or contiguous to these regions validated interest.
  • the K successive regions of interest that will be scanned are preferably furthermore changed.
  • ⁇ ⁇ is representative of an image captured at time i by the camera (step S 0 ).
  • the set E of regions of interest that should be scanned if the classical Viola and Jones method were to be applied by an Adaboost-type pattern recognition detector normally comprises P regions of interest noted for convenience Rj , Pi corresponding to at P different scales of the image ⁇ ⁇ , sorted in ascending order of successive scales. So, for each image ⁇ ⁇ :
  • the value of P depends on many criteria, such as the orientation of the camera, the range of detection that is sought.
  • the integer K is set equal to 2.
  • a conventional scanning by the sliding window is carried out so as to detect the possible presence of one or more pedestrians in these regions. of interest (step S 2 ).
  • Each region of interest having actually given rise to a pedestrian detection is then stored.
  • the second subset E corresponds to the content of the first subset E 'updated in moving said first subset of at least one region of interest in ascending order of successive scales In the example shown in Figure 3, this corresponds to the step S 4 , in which the displacement corresponds to exactly a region of interest.It should be noted, more generally, that the displacement can not be greater than the integer K.
  • the second subset E can be written in this case in mathematical form. next :
  • the second subset E "of successive regions of interest comprises a on the other hand, the regions of interest that are memorized, or even those contiguous to the stored regions of interest, and, secondly, the content of the first set E ', updated as previously explained, by moving at least one region of interest.
  • this corresponds to step S 5 , after which the second subset E "can be written in the following mathematical form, assuming that step S 2 allowed the detection of an object in the region of interest Rj , m :
  • the scanning is reiterated for each image received according to the same principle, until the updated content of the first subset E 'includes the region of interest R 1 , p corresponding to the largest scale.
  • Table 1 shows the regions of interest which are examined at each iteration over 7 successive images, as a function of the detections made.
  • P 8
  • K 2
  • m 1, so that the first subset used for the first received image is
  • the first set E ' is moved from a region of interest, and the scan by the thumbnail only on the two regions of interest of this set E '.
  • the first detection performed (row 3 of the table)
  • the first set is updated by displacement of a region of interest, but it is also retained for the examination of the image according to the region of interest R 43! which corresponds to a contiguous and immediately inferior region (in the direction of increasing scales) of that which has given rise to a detection on the third image.
  • the advantage here is to avoid losing the tracking of an object that would move towards the car. Some regions of interest may be dropped at the next iteration if they have not been detected.
  • the scanning range for the set E 'does not necessarily correspond to the whole of the set E of origin, here comprising eight regions of interest.
  • the previous example illustrates the salary gain that can be achieved by examining a limited number of regions of interest.
  • each region of interest Rj, m can be segmented, in the width direction, into a plurality of zones, for example three zones as illustrated in FIG. 4 by orientation hatching. different.
  • R L i m the left zone
  • R C i m the central zone
  • R R i m the right zone.
  • the method of the invention allows a level of detection precision variable depending on the distance to which objects are located, with a higher accuracy for nearby objects, which is quite desirable when one must quickly implement an avoidance strategy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

L'invention concerne un procédé de détection d'objets par traitement d'images captées par une caméra, dans lequel on utilise un algorithme de reconnaissance de formes par apprentissage apte à détecter au moins un objet en effectuant, pour chaque image d'une succession d'images, le balayage d'une pluralité de régions d'intérêt par une fenêtre glissante de taille fixe prédéterminée, chaque région d'intérêt correspondant à une échelle différente de chaque image. Conformément à l'invention, on sélectionne (S1) dans un ensemble (E) prédéterminé de P régions d'intérêt, classées dans un ordre défini d'échelles successives, un premier sous-ensemble (Ε') de K régions d'intérêt successives sur lesquelles le balayage par la fenêtre glissante est effectué (S2) pour au moins une première image.

Description

DETECTI ON D'OBJETS PAR TRAI TEMENT D'I MAGES
La présente invention concerne de manière générale la détection d'objets par les techniques de reconnaissance de formes dans des images.
Un domaine plus particulièrement, bien que non exclusivement, concerné est celui des véhicules automobiles.
Il est connu d'équiper certains véhicules automobiles avec des systèmes d'aide à la conduite utilisant des images captées par une ou plusieurs caméras embarquées sur le véhicule pour détecter notamment les lignes de marquage routier, les obstacles, les autres véhicules, ou encore les panneaux de signalisation tels que les panneaux de prescription de vitesse.
La détection de piétons est une autre application importante dans les systèmes d'aide à la conduite automobile puisqu'il s'agit de concevoir des systèmes intelligents capables d'avertir ou de prévenir les accidents, en surveillant les alentours du véhicule par l'intermédiaire d'une ou plusieurs caméras. Un tel système de détection peut ainsi soit prévenir le conducteur de la présence d'un piéton à une distance jugée dangereuse, soit directement agir sur le système de freinage du véhicule automobile. Les systèmes de détection de piétons sont en outre cruciaux pour les systèmes de conduite automatisés.
Que l'objet à détecter soit fixe ou mobile, on comprend ainsi qu'un tel système de détection doit pouvoir fournir une information suffisamment fiable et précise pour pouvoir dériver, en temps réel, une estimation de la distance à laquelle se situe l'objet détecté par rapport au véhicule.
On rappelle que la détection de piétons consiste à déterminer le plus précisément possible, la présence et la localisation de toutes les personnes susceptibles d'être présentes dans une image ou une succession d'images. Elle est généralement basée sur des techniques de reconnaissance de formes dont le but est d'apprendre puis de retrouver dans l'image, l'allure générale d'une personne.
Les algorithmes mis en œuvre dans une détection de piétons par reconnaissance de formes sont généralement très complexes compte tenu notamment de la très grande diversité entre les personnes (taille, poids, vêtements, postures...)- Ces algorithmes de reconnaissance de formes sont souvent basés sur l'utilisation combinée de descripteurs et d'une méthode de classification binaire permettant de déterminer si une zone d'une image captée par une caméra correspond à un piéton ou à du fond. Une méthode classique, connue sous le nom de la méthode de Viola et Jones, consiste à tester la présence d'un piéton dans une fenêtre ou imagette de taille fixe, par exemple de 24 sur 48 pixels, à toutes les positions possibles dans l'image et pour plusieurs échelles de l'image. Le test consiste à générer un vecteur de descripteurs de l'imagette et à les comparer avec les descripteurs appris sur une base d'apprentissage. Plus précisément, pour chaque image captée par une caméra, on définit une pluralité de régions d'intérêt à balayer par la fenêtre, chaque région d'intérêt correspondant à une échelle donnée de l'image. A titre d'exemple, une vingtaine de régions d'intérêt, encore appelées zones de balayage relatives à chaque échelle (« scan zone » en terminologie anglo-saxonne), doivent être traitées correspondant à des échelles de l'image variant de 0,025 (zoom avant) à 1 (taille réelle) par pas de 1 ,22.
La méthode consiste typiquement à balayer chaque région d'intérêt, de même taille que l'image de base, en déplaçant la fenêtre de taille fixe d'un certain nombre de pixels à la fois. Un classifieur combiné à une base d'apprentissage comportant des échantillons de piétons et des échantillons de fond va traiter les différents vecteurs de descripteurs obtenus par la fenêtre glissante pour identifier les zones correspondant effectivement à un piéton par rapport à un modèle appris. Le résultat est délivré par le détecteur de piéton sous forme d'une boîte englobante, généralement de forme rectangulaire, par piéton détecté. Les dimensions et/ou la position verticale de la boîte englobante relative à un piéton détecté sont alors utilisées pour estimer la distance à laquelle se situe le piéton par rapport au véhicule. Une telle méthode est par exemple implémentée par des détecteurs rapides de type Adaboost. Les résultats de la détection rapide sont ensuite généralement affinés et validés par des classifieur plus performants. On conçoit aisément qu'une telle méthode est très consommatrice en calcul et en temps, et de ce fait, incompatible avec la nécessité d'un traitement en temps réel primordial pour les systèmes d'aide à la conduite. La présente invention a pour but de pallier les inconvénients des solutions connues basées sur l'algorithme de reconnaissance de formes de type Adaboost en proposant une stratégie de traitement des images qui soit moins consommatrice en temps de calcul.
Pour ce faire, l'invention a pour objet un procédé de détection d'objets par traitement d'images captées par une caméra, dans lequel on utilise un algorithme de détection et/ou de reconnaissance de formes apte à détecter au moins un objet en effectuant, pour chaque image d'une succession d'images, le balayage d'une pluralité de régions d'intérêt par une fenêtre glissante, chaque région d'intérêt correspondant à une échelle différente de chaque image, le procédé étant caractérisé en ce qu'il comprend une étape de sélection, dans un ensemble prédéterminé de P régions d'intérêt classées dans un ordre défini d'échelles successives, d'un premier sous-ensemble de K régions d'intérêt successives sur lesquelles le balayage par la fenêtre glissante est effectué pour au moins une première image.
Outre les caractéristiques principales qui viennent d'être mentionnées dans le paragraphe précédent, le procédé selon l'invention peut présenter une ou plusieurs caractéristiques complémentaires parmi les suivantes :
- on mémorise chaque région d'intérêt du premier sous-ensemble ayant donné lieu à une détection d'un objet ; et on réitère le balayage pour les images suivantes sur un deuxième sous-ensemble de régions d'intérêt successives limité d'une part, aux régions d'intérêt mémorisées et aux régions contiguës aux régions d'intérêt mémorisées, et d'autre part, aux K régions d'intérêt du premier sous-ensemble, en déplaçant, à chaque itération, ledit premier sous-ensemble de K régions d'intérêt successives d'au moins une région d'intérêt dans l'ordre défini d'échelles successives ;
- ledit premier sous-ensemble de K régions d'intérêt successives est déplacé par exemple au plus de K régions d'intérêt ; - le balayage peut être réitéré jusqu'à ce que le premier sous- ensemble de K régions d'intérêt successives inclue la région d'intérêt dudit ensemble prédéterminé correspondant à la plus grande échelle ;
- la plus grande échelle correspond par exemple à la taille réelle de l'image captée par la caméra ;
- ledit premier sous-ensemble de K régions d'intérêt successives inclut dans un mode de réalisation possible la région d'intérêt dudit ensemble prédéterminé correspondant à la plus petite échelle ;
- ledit premier sous-ensemble comprend de préférence deux régions d'intérêts successives ;
- chaque région d'intérêt peut être en outre avantageusement segmentée dans le sens de la largeur en une pluralité de zones d'intérêt, et le procédé comporte alors une étape de recadrage des régions d'intérêt mémorisées, voire des régions contigues aux régions d'intérêt, le recadrage s'effectuant dans la zone d'intérêt ayant donné lieu à une détection d'objet.
L'invention a également pour objet un système de détection d'objets par traitement d'images captées par une caméra, le système comprenant un détecteur utilisant un algorithme de détection et/ou de reconnaissance de formes apte à détecter au moins un objet en effectuant, pour chaque image d'une succession d'images, le balayage d'une pluralité de régions d'intérêt par une fenêtre glissante, chaque région d'intérêt correspondant à une échelle différente de chaque image, caractérisé en ce que ledit détecteur est programmé pour sélectionner dans un ensemble prédéterminé de P régions d'intérêt, classées dans un ordre défini d'échelles successives, un premier sous-ensemble de K régions d'intérêt successives sur lesquelles le balayage par la fenêtre glissante est effectué pour une première image.
L'invention sera mieux comprise à la lecture de la description qui suit, faite en référence aux figures annexées, dans lesquelles :
- la figure 1 représente schématiquement une situation rencontrée sur une route par un véhicule automobile équipé d'un système selon l'invention ;
- la figure 2 donne un synoptique simplifié illustrant le fonctionnement d'un détecteur de piéton de type Adaboost ;
- la figure 3 donne un synoptique simplifié illustrant certaines étapes susceptibles d'être mise en œuvre dans un procédé conforme à l'invention ;
- la figure 4 illustre un principe de segmentation des régions d'intérêt.
Dans la suite et en référence à la figure 1, on suppose à titre d'exemple qu'un véhicule automobile 1 équipé d'une caméra , de paramètres de calibration connus et apte à capter des images successives de paysages, se déplace sur une route 3. La caméra est, dans cet exemple, localisée à un endroit du véhicule qui correspond le mieux à ce que le conducteur voit, par exemple centrée au niveau du pare-brise à l'intérieur de l'habitacle. D'autres positionnements peuvent néanmoins être envisagés sans départir du cadre de l'invention, par exemple sur le pare-choc arrière pour une caméra de recul, ou plus généralement à n'importe quel endroit du véhicule selon la zone que l'on souhaite observer. Le véhicule automobile 1 comporte en outre un module de traitement (non représenté) formant, avec la caméra 2, un système permettant de détecter la présence d'un piéton 4, et d'agir sur un système d'aide à la conduite en fonction d'une estimation de la distance séparant le piéton 4 du véhicule automobile 1. La détection de piétons est prise ici à titre d'exemple non limitatif, le système pouvant être prévu pour la détection d'autres objets. Ainsi, la caméra 2 capture les images de la scène routière située à l'avant du véhicule 1 et fournit ces images au module de traitement d'images du système.
Comme représenté très schématiquement sur la figure 2, chaque image \ \ captée par la caméra est délivrée à un détecteur 5, dans cet exemple non limitatif, un détecteur de piétons, comportant une base d'apprentissage 50 avec des exemples de piétons d'une part, et de fonds d'autre part, et son classifieur associé 51. Le classifieur 51 est apte à implémenter l'algorithme de type Viola et Jones décrit ci-avant, avec les modifications liées à l'invention. On rappelle que cet algorithme consiste en général à balayer chaque région d'intérêt Rj,p d'un ensemble E de P régions d'intérêt correspondant à P échelles possibles de l'image d'origine \\, par une imagette de taille prédéterminée. Lorsqu'un piéton est détecté par ce traitement, le détecteur 5 de piéton délivre en sortie une boîte englobante 52 qui délimite une zone d'image représentative du piéton 4 détecté. Le traitement ci-dessus est réitéré pour chaque image reçue.
Afin de limiter le temps de traitement précédent, le procédé conforme à l'invention propose de ne balayer, pour chaque image reçue \\, qu'un sous- ensemble de régions d'intérêt comprenant au maximum un nombre limité de K régions d'intérêt successives (entier K inférieur à P), ainsi que des régions d'intérêt ayant donné lieu à une détection pour l'image précédente 1,-1 (appelées dans la suite régions d'intérêt validées ou mémorisées) ou contiguës à ces régions d'intérêt validées. A chaque itération, c'est-à-dire lors du traitement d'une nouvelle image captée, on change de préférence en outre les K régions d'intérêt successives qui vont être balayées.
Un exemple d'étapes susceptibles d'être effectuées conformément au procédé selon l'invention va être décrit en référence à la figure 3.
Sur cette figure 3, \ \ est représentative d'une image captée à l'instant i par la caméra (étape S0). L'ensemble E de régions d'intérêts qui devraient être balayées si l'on devait appliquer la méthode classique de Viola et Jones par un détecteur à reconnaissance de formes de type Adaboost comprend normalement P régions d'intérêts notées par commodité Rj,Pi correspondant à P échelles différentes de l'image \\, classées par ordre croissant d'échelles successives. Ainsi, pour chaque image \\ :
Figure imgf000007_0001
avec Rj,p la région d'intérêt correspondant à l'image \\ de la taille réelle (en d'autres termes, Rj P= I , ) , et Rj i la région d'intérêt correspondant à cette même image à la plus petite échelle, par exemple une échelle de 0,025 correspondant à un un sous échantillonnage, c'est-à-dire une diminution de la résolution de l'image I
On supposera dans la suite, pour simplifier, que la valeur P est égale à
8. En pratique, la valeur de P dépend de nombreux critères, tels que l'orientation de la caméra, la portée de détection que l'on cherche. Ici, conformément à l'invention, on prévoit de sélectionner dans un premier temps (étape S^) un premier sous-ensemble E' comportant seulement K régions d'intérêt successives parmi les P possibles. A titre d'exemple non limitatif, l'entier K est fixé égal à 2. Le premier sous-ensemble E' peut donc s'écrire sous la forme mathématique suivante :
E = { Ρ ! Ri,m+ 1 }
avec m un entier quelconque compris entre 1 et P-1.
On effectue alors, sur chacune des régions d'intérêt successives du premier sous-ensemble E', ici au nombre de 2, un balayage classique par la fenêtre glissante, de manière à détecter la présence éventuelle d'un ou plusieurs piétons dans ces régions d'intérêt (étape S2). Chaque région d'intérêt ayant effectivement donné lieu à une détection de piéton est alors mémorisée.
Pour l'image suivante (i = i+ 1), on réitère le balayage sur un deuxième sous-ensemble E" dont le nombre de régions d'intérêt dépend des détections réalisées à l'étape précédente.
Plus précisément, dans le cas où le balayage précédent n'a permis aucune détection (branche de gauche du test référencé S3 sur la figure 3), le deuxième sous-ensemble E" correspond au contenu de premier sous-ensemble E' réactualisé en déplaçant ledit premier sous-ensemble d'au moins une région d'intérêt dans l'ordre croissant d'échelles successives. Dans l'exemple représenté sur la figure 3, ceci correspond à l'étape S4, dans laquelle le déplacement correspond à exactement une région d'intérêt. Il convient de noter, de façon plus générale, que le déplacement ne peut être supérieur à l'entier K. Ainsi, le deuxième sous-ensemble E" peut s'écrire dans ce cas sous la forme mathématique suivante :
E" = E' = { R^m+l ! Ri,m+2 } ce qui signifie que, pour l'image suivante, le balayage par l'imagette ne s'effectuera là encore que sur deux régions d'intérêt successives.
Dans le cas contraire (branche de droite du test S3 sur la figure 3), le deuxième sous-ensemble E" de régions d'intérêt successives comprend d'une part, les régions d'intérêt mémorisées, voire celles contiguës aux régions d'intérêt mémorisées, et d'autre part, le contenu du premier ensemble E' réactualisé comme expliqué précédemment, par déplacement d'au moins une région d'intérêt. Dans l'exemple représenté sur la figure 3, ceci correspond à l'étape S5, à l'issue de laquelle le deuxième sous-ensemble E" peut s'écrire sous la forme mathématique suivante, en supposant que l'étape S2 a permis la détection d'un objet dans la région d'intérêt Rj,m :
E" = Ri,m U E' = Ri m U { Ri,m+1 ', Ri,m+2 } ce qui signifie que, pour l'image suivante, le balayage par l'imagette ne s'effectuera que sur trois régions d'intérêt successives.
Le balayage est réitéré pour chaque image reçue selon le même principe, et ce, jusqu'à ce que le contenu réactualisé du premier sous- ensemble E' inclue la région d'intérêt Rj,p correspondant à la plus grande échelle.
Pour fixer les idées, le tableau 1 ci-après montre les régions d'intérêt qui sont examinées à chaque itération sur 7 images successives, en fonction des détections réalisées. Dans cet exemple : P=8, K=2 et m=1, de sorte que le premier sous-ensemble utilisé pour la première image reçue est
E' = { Ri,i ; Ri,2}
et inclut donc ici la région d'intérêt de l'ensemble E prédéterminé correspondant à la plus petite échelle.
1 mage Régions d'intérêt Détections 1 j balayées
Ιι u ; i,2 aucune
R2,2 ! R2,3 aucune
l3 R3,3 ; R3,4 Piéton dans Région R34
U R4,3 ; R4,4 ; R4,5 Piéton dans Région R44 et piéton dans
Région R45
l5 R5,3 ; R5,4 ; R5,5 ; R5,6 aucune
le R6,6 ; R6,7 aucune
l7 R7,7 ; R7,8 aucune
le Rs,i ; Re.2 tableau 1
Dans le tableau précédent, on remarque que, tant qu'il n'y a pas de détection (deux première lignes du tableau), le premier ensemble E' est déplacé d'une région d'intérêt, et le balayage par l'imagette ne s'effectue que sur les deux régions d'intérêt de cet ensemble E'. A la première détection effectuée (ligne 3 du tableau), le premier ensemble est réactualisé par déplacement d'une région d'intérêt, mais on conserve également pour l'examen de l'image d'après la région d'intérêt R43! laquelle correspond à une région contigue et immédiatement inférieure (dans le sens des échelles croissantes) de celle ayant donné lieu à une détection sur la troisième image. L'avantage est ici d'éviter de perdre le suivi d'un objet qui se déplacerait en direction de la voiture. Certaines régions d'intérêt peuvent être abandonnées à l'itération suivante si elles n'ont pas donné lieu à des détections. Enfin, la totalité des huit régions d'intérêt ayant été balayées entre la première image et la septième image de balayage, la dernière ligne montre que l'on recommence par l'examen des deux premières régions d'intérêt pour la huitième image. Il convient d'ailleurs de noter que la plage de balayage pour l'ensemble E' ne correspond pas forcément à la totalité de l'ensemble E d'origine, comprenant ici huit régions d'intérêt. On pourrait par exemple se limiter à un déplacement de l'ensemble E' sur les régions d'intérêt correspondant aux plus grandes échelles de l'ensemble E.
L'exemple précédent illustre le gain de traitement que l'on peut atteindre par l'examen d'un nombre limité de régions d'intérêts.
Ce gain de traitement peut encore être amélioré en combinant le procédé de traitement précédent à un traitement de recadrage (« cropping » en terminologie anglo-saxonne) des régions d'intérêt ayant données lieu à une détection. Pour ce faire, on considère que chaque région d'intérêt Rj,m peut être segmentée, dans le sens de la largeur, en une pluralité de zones, par exemple trois zones comme cela est illustré sur la figure 4 par des hachures d'orientation différentes. On note RLi m la zone de gauche, RCi m , la zone centrale, et RRi m la zone de droite. Lorsque le traitement d'une image I, a donné le lieu à une détection dans une zone spécifique d'une région d'intérêt donnée, on recadre, à l'itération d'après, cette région d'intérêt uniquement sur cette zone spécifique. Les zones spécifiques se recouvrent de préférence dans une large mesure de manière à éviter de perdre le suivi d'un objet qui se déplacerait rapidement en latéral dans les images. Le tableau 2 suivant montre en gras les modifications apportées au tableau 1 lorsque l'on fait intervenir le recadrage.
I mage Régions d'intérêt Détections I j balayées
Ιι u ; i,2 aucune
R2,2 ! R2,3 aucune
l3 R3,3 ; R3,4 Piéton à droite dans Région R34
U K 4 3 , K 4]4 ; K4 5 Piéton dans Région RR4,4 et piéton à droite dans Région R45 l5 RR5,3 ! RR5,4 ; RR5,5 ; aucune
R5,6
le R6,6 ; R6,7 aucune
l7 R7,7 ; R7,8 aucune
le R8,1 ! R8,2 tableau 2
Les simulations effectuées par la Demanderesse ont pu montrer que la solution décrite ci-dessus peut réduire d'un facteur 10 le temps de traitement nécessaire à l'examen d'une scène (succession d'images) lorsqu'aucun objet n'a été détecté. Bien sûr, ce facteur est moins élevé en cas de détection d'objets, mais le temps de traitement reste tout de même globalement amélioré par rapport à un algorithme classique de Viola et Jones.
Par ailleurs, le procédé de l'invention permet un niveau de précision de détection variable en fonction de la distance à laquelle se situent les objets, avec une précision plus élevée pour les objets proches, ce qui est tout à fait souhaitable lorsque l'on doit appliquer rapidement une stratégie d'évitement.

Claims

REVENDICATIONS
1. Procédé de détection d'objets par traitement d'images captées par une caméra (2), dans lequel on utilise un algorithme de détection et/ou de reconnaissance de formes apte à détecter au moins un objet en effectuant, pour chaque image d'une succession d'images, le balayage d'une pluralité de régions d'intérêt par une fenêtre glissante, chaque région d'intérêt correspondant à une échelle différente de chaque image, le procédé étant caractérisé en ce qu'il comprend une étape de sélection (S-i), dans un ensemble (E) prédéterminé de P régions d'intérêt classées dans un ordre défini d'échelles successives, d'un premier sous-ensemble (Ε') de K régions d'intérêt successives sur lesquelles le balayage par la fenêtre glissante est effectué (S2) pour au moins une première image.
2. Procédé selon la revendication 1, caractérisé en ce qu'il comprend en outre les étapes suivantes :
- on mémorise chaque région d'intérêt du premier sous-ensemble (Ε') ayant donné lieu à une détection d'un objet ;
- on réitère (S5) le balayage pour les images suivantes sur un deuxième sous-ensemble (E") de régions d'intérêt successives limité d'une part, aux régions d'intérêt mémorisées et aux régions contiguës aux régions d'intérêt mémorisées, et d'autre part, aux K régions d'intérêt du premier sous-ensemble, en déplaçant, à chaque itération, ledit premier sous-ensemble de K régions d'intérêt successives d'au moins une région d'intérêt dans l'ordre défini d'échelles successives.
3. Procédé selon la revendication 2, caractérisé en ce que ledit premier sous-ensemble (Ε') de K régions d'intérêt successives est déplacé au plus de K régions d'intérêt.
4. Procédé selon l'une quelconque des revendications 2 ou 3, caractérisé en ce que le balayage est réitéré jusqu'à ce que le premier sous- ensemble (Ε') de K régions d'intérêt successives inclue la région d'intérêt dudit ensemble prédéterminé correspondant à la plus grande échelle.
Procédé selon la revendication 4, caractérisé en ce que la plus grande échelle correspond à la taille réelle de l'image captée par la caméra.
Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que ledit premier sous-ensemble (Ε') de K régions d'intérêt successives inclut la région d'intérêt dudit ensemble prédéterminé correspondant à la plus petite échelle.
Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que ledit premier sous-ensemble (Ε') comprend deux régions d'intérêts successives.
Procédé selon l'une quelconque des revendications 2 à 5, caractérisé en ce que chaque région d'intérêt est en outre segmentée dans le sens de la largeur en une pluralité de zones d'intérêt, et le procédé comporte en outre une étape de recadrage des régions d'intérêt mémorisées, voire des régions contigues aux régions d'intérêt, le recadrage s'effectuant dans la zone d'intérêt ayant donné lieu à une détection d'objet.
Système de détection d'objets par traitement d'images captées par une caméra (2), le système comprenant un détecteur (5) utilisant un algorithme de détection et/ou de reconnaissance de formes apte à détecter au moins un objet en effectuant, pour chaque image d'une succession d'images, le balayage d'une pluralité de régions d'intérêt par une fenêtre glissante, chaque région d'intérêt correspondant à une échelle différente de chaque image, caractérisé en ce que ledit détecteur est programmé pour sélectionner (S-i) dans un ensemble (E) prédéterminé de P régions d'intérêt, classées dans un ordre défini d'échelles successives, un premier sous-ensemble (Ε') de K régions d'intérêt successives sur lesquelles le balayage par la fenêtre glissante est effectué (S2) pour une première image.
10. Système selon la revendication 9, caractérisé en ce que le détecteur est programmé en outre pour :
- mémoriser chaque région d'intérêt du premier sous-ensemble (Ε') ayant donné lieu à une détection d'un objet ; - réitérer (S5) le balayage pour les images suivantes sur un deuxième sous-ensemble (E") de régions d'intérêt successives limité d'une part, aux régions d'intérêt mémorisées et aux régions contiguës aux régions d'intérêt mémorisées, et d'autre part, aux K régions d'intérêt du premier sous-ensemble, en déplaçant, à chaque itération, ledit premier sous- ensemble de K régions d'intérêt successives d'au moins une région d'intérêt dans l'ordre défini d'échelles successives.
PCT/EP2016/066381 2015-07-09 2016-07-11 Détection d'objets par traitement d'images WO2017005930A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1556520 2015-07-09
FR1556520A FR3038760B1 (fr) 2015-07-09 2015-07-09 Detection d'objets par traitement d'images

Publications (1)

Publication Number Publication Date
WO2017005930A1 true WO2017005930A1 (fr) 2017-01-12

Family

ID=54707876

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/066381 WO2017005930A1 (fr) 2015-07-09 2016-07-11 Détection d'objets par traitement d'images

Country Status (2)

Country Link
FR (1) FR3038760B1 (fr)
WO (1) WO2017005930A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476157B (zh) * 2020-04-07 2020-11-03 南京慧视领航信息技术有限公司 一种路口监控环境下的车道导向箭头识别方法
CN112215219B (zh) * 2020-09-14 2023-11-24 阿波罗智联(北京)科技有限公司 用于路侧拍摄设备的感兴趣区域获取方法、装置及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Correct System Design", vol. 9117, 9 June 2015, SPRINGER INTERNATIONAL PUBLISHING, Cham, ISBN: 978-3-642-28871-5, ISSN: 0302-9743, article ALEJANDRO GONZÁLEZ ET AL: "3D-Guided Multiscale Sliding Window for Pedestrian Detection", pages: 560 - 568, XP055255297, 032548, DOI: 10.1007/978-3-319-19390-8_63 *
FEIDIE LIANG ET AL: "Fast Pedestrian Detection Based on Sliding Window Filtering", 4 December 2012, ADVANCES IN MULTIMEDIA INFORMATION PROCESSING PCM 2012, SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, PAGE(S) 811 - 822, ISBN: 978-3-642-34777-1, XP047014270 *
SHAOQING REN ET AL: "Object Detection Networks on Convolutional Feature Maps", CORR, 23 April 2015 (2015-04-23), XP055255038, Retrieved from the Internet <URL:http://arxiv.org/pdf/1504.06066v1.pdf> [retrieved on 20160303] *

Also Published As

Publication number Publication date
FR3038760A1 (fr) 2017-01-13
FR3038760B1 (fr) 2018-08-17

Similar Documents

Publication Publication Date Title
EP2275971B1 (fr) Procédé de détection d&#39;un obstacle pour véhicule automobile
EP3572976A1 (fr) Procede de traitement d&#39;un flux d&#39;images video
EP2930659B1 (fr) Procédé de détection de points d&#39;intérêt dans une image numérique
BE1026095B1 (fr) Dispositif de traitement d’images
CN104036323A (zh) 一种基于卷积神经网络的车辆检测方法
EP2275970A1 (fr) Procédé de détection d&#39;un obstacle pour véhicule automobile
FR3085219A1 (fr) Appareil de detection d&#39;objet en mouvement et procede de detection d&#39;objet en mouvement
EP2476244B1 (fr) Procédé de détection de pages blanches et machine multifonction correspondante
EP3200153A1 (fr) Procédé de détection de cibles au sol et en mouvement dans un flux vidéo acquis par une caméra aéroportée
WO2018138064A1 (fr) Detection d&#39;obstacles dans l&#39;environnement d&#39;un vehicule automobile par traitement d&#39;images
CN112465735A (zh) 行人检测方法、装置及计算机可读存储介质
EP3311333B1 (fr) Appariement d&#39;images d&#39;articles postaux avec des descripteurs de singularites du champ de gradient
FR3027432A1 (fr) Estimation de distance d&#39;un pieton par un systeme d&#39;imagerie embarque sur un vehicule automobile
WO2017005930A1 (fr) Détection d&#39;objets par traitement d&#39;images
FR3083352A1 (fr) Procede et dispositif de detection rapide de structures repetitives dans l&#39;image d&#39;une scene routiere
EP1522951A1 (fr) Détérmination de caractéristiques textuelles de pixels
FR3067144A1 (fr) Procede de determination du type de route sur laquelle evolue un vehicule
EP2769360B1 (fr) Procédé de localisation d&#39;objets par résolution dans l&#39;espace tridimensionnel de la scène
WO2018185398A1 (fr) Procédé et dispositif de traitement d&#39;images acquises par une caméra d&#39;un véhicule automobile
EP3931751B1 (fr) Procédé de traitement d&#39;image assisté par ordinateur, pour la lecture d&#39;un marquage sur une surface d&#39;un support en peau d&#39;animaux
FR3058247B1 (fr) Detection d&#39;obstacles autour d&#39;un vehicule automobile
Kou et al. A lane boundary detection method based on high dynamic range image
FR3057692A1 (fr) Procede et systeme electronique de detection d&#39;une cible, programme d&#39;ordinateur associe
Chumerin et al. An approach to on-road vehicle detection, description and tracking
FR3062224A1 (fr) Detection d&#39;obstacles dans l&#39;environnement d&#39;un vehicule automobile par traitement d&#39;images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16741574

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16741574

Country of ref document: EP

Kind code of ref document: A1