WO2024022863A1 - Procédé et installation de comptage d'objets présents dans un véhicule en déplacement - Google Patents

Procédé et installation de comptage d'objets présents dans un véhicule en déplacement Download PDF

Info

Publication number
WO2024022863A1
WO2024022863A1 PCT/EP2023/069778 EP2023069778W WO2024022863A1 WO 2024022863 A1 WO2024022863 A1 WO 2024022863A1 EP 2023069778 W EP2023069778 W EP 2023069778W WO 2024022863 A1 WO2024022863 A1 WO 2024022863A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
objects
interest
processor
vehicles
Prior art date
Application number
PCT/EP2023/069778
Other languages
English (en)
Inventor
Hubert LAM
Habiboulaye AMADOU-BOUBACAR
Michele QUATTRONE
Thierry RENAULT-CTAS
Original Assignee
L'air Liquide, Societe Anonyme Pour L'etude Et L'exploitation Des Procedes Georges Claude
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by L'air Liquide, Societe Anonyme Pour L'etude Et L'exploitation Des Procedes Georges Claude filed Critical L'air Liquide, Societe Anonyme Pour L'etude Et L'exploitation Des Procedes Georges Claude
Publication of WO2024022863A1 publication Critical patent/WO2024022863A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present invention relates to the field of counting and differentiating objects or natural persons, or even animals, passing by, by analysis of video images.
  • the present invention aims to propose a method and an installation for counting bottles entering or leaving the site, full or empty, of different sizes and colors, equipped with very varied bottle cap shapes, automated method, and improving the reliability of existing techniques.
  • the present invention relates to discontinuous counting of physical objects in continuous unidirectional flow, so let us explain in the following the vocabulary used in this technical field:
  • the flow is said to be continuous when the objects of interest present there do not stop during the acquisition phase of a camera.
  • the truck does not stop under the camera which then only has a partial view of the loading of the truck on each of the images making up the video.
  • the camera has a total view of the loading of the vehicle and/or where the vehicle marks a voluntary or involuntary stop and/or where the trajectory of the vehicle can be of any nature, the present invention remains as we will always see robust and applicable to these shooting conditions.
  • the flow is said to be discontinuous when the objects stop at each acquisition and then start again.
  • the count is said to be discontinuous when we implement a count by group of objects of interest and not a cumulative count over a given period.
  • Counting is called continuous to qualify the counting of objects of interest which are not "grouped", this is the case for example of customers entering or leaving a commercial building.
  • Discontinuous counting in a discontinuous flow is known in the literature in which the field of a sensor includes the entire counting zone which is immobilized for a short time for the acquisition of a complete image via a dedicated camera, and its analysis via an appropriate algorithm.
  • a counting which would be continuous would amount to counting and accumulating the number of bottles as several vehicles pass during a given period of time .
  • the vehicles of interest are visually distinguishable from other elements or vehicles passing in this area (such as car, tanker truck, bicycle, pedestrians, forklift, etc.).
  • a vehicle A transporting bottles must be able to be differentiated from another vehicle B also transporting bottles (for example by virtue of the principle according to which certain logistical flows should be ignored in the count for reason X or Y). This differentiation cannot be done naturally, neither on the appearance of these vehicles, nor on the contents of their load. However, it is necessary to compare the number of objects counted to an “effective” number in information systems.
  • the present invention aims to achieve the following objectives:
  • the present invention then relates to a method for discontinuous counting of objects present on a moving vehicle, movement in continuous flow along a rectilinear or substantially rectilinear trajectory, vehicle which is considered as a vehicle of identifiable interest in relation to the others vehicles of a different or identical nature, for example a count of gas cylinders loaded on a moving vehicle, for example entering and/or leaving an industrial site, in which: a. We have at least one assembly consisting of at least one camera arranged on a gantry, having a horizontal field of view dimensioned at at least the width of the vehicle and making it possible to collect a video stream of the objects present on the vehicle as it passes under the gantry; b.
  • a processor for example embedded in the camera, or even integrated in a calculation station located in an additional position near the gantry, or even remote (“cloud” / cloud computing) configured for: i. Process the videos coming from said camera(s) to isolate the video sequence comprising the passage of the vehicle of interest and determine the number of objects present on the vehicle as well as the associated uncertainty; ii. Compare the number of objects thus determined to a target value, for example corresponding to a number of expected objects, for example a number of expected objects as stipulated in information systems, for example as stipulated on a voucher delivery of objects to the site in question; vs.
  • the processor orders the execution of an action or several actions, for example the emission and display of an anomaly alert , or even a manual recount action of the loading considered by a natural person present on the site; where said vehicles of interest, whose loading we want to count, are provided with a distinctive pattern recognizable by said processor, making it possible to differentiate the vehicles of interest from other elements passing in the vicinity of the gantry (therefore in the field of vision and analysis of the camera), elements of the same nature or of a different nature (such as cars, trucks, tankers, bicycles, pedestrians, forklifts, etc.), distinctive pattern for example constituted by one or more markers Arllco affixed to each vehicle of interest, or by any other recognizable distinctive motif such as QR codes.
  • the present invention is remarkable in that it seeks to be able to differentiate what it considers to be "vehicles of interest", ie vehicles whose loading we want to count, vehicles of interest which are therefore visually differentiable from other elements passing through this zone, of the same nature or of a different nature.
  • a vehicle A transporting bottles must be able to be differentiated from another vehicle B also transporting bottles (for example by virtue of the principle according to which certain logistics flows must be ignored in the count for reason X or Y).
  • This differentiation cannot be done naturally, neither on the appearance of these vehicles, nor on the contents of their load.
  • the panoramic reconstruction of the loading of vehicles which can be likened to the reconstruction, from video images, of a top view making it possible to visualize the loading of objects, for example bottles and their distribution on the vehicle, for example in differentiated groups of bottles, of different sizes and colors, fitted with different bottle cap shapes, etc.
  • the present invention also relates to an installation for discontinuous counting of objects present on a moving vehicle, movement in continuous flow along a rectilinear or substantially rectilinear trajectory, vehicle which is considered as a vehicle of identifiable interest in relation to the others vehicles of different or identical nature, for example a counting of gas bottles loaded on a moving vehicle, for example entering and/or leaving an industrial site, installation comprising the following elements: a) at least one gantry equipped with at least one camera having a horizontal field of view dimensioned at least the width of the vehicle and making it possible to collect a video stream of the objects present on the vehicle as it passes under the gantry; b) a processor, for example embedded in the camera, or integrated into a calculation station located in an additional position in the vicinity of the gantry, or even remote (“cloud”/cloud computing), processor configured to: i) process the videos coming from said camera(s) to isolate the video sequence comprising the passage of the vehicle of interest and determine the number of objects present on the vehicle as well as the associated uncertainty, ii)
  • said camera is an RGB type camera, compatible with outdoor use, capable of collecting a high-resolution video stream;
  • said processor is a CPU/GPU type processor;
  • said processor uses software composed of two modules: a first module based on artificial intelligence, of the so-called “Deep Learning” type or “deep neural networks” and the second being a counting algorithm based on image processing.
  • the installation is located at an entrance and/or exit from the site in question, in order to allow vehicles entering and/or leaving the site to be processed, the vehicles not having to pass each other under the same gantry.
  • the installation is located in a single location, entrance or exit to the site in question and makes it possible to process vehicles entering and exiting through this single location, two vehicles not being allowed to pass each other simultaneously under the gantry equipping this location.
  • the video will then be in grayscale and not in color, a mode which therefore does not allow information on the color of the bottles to be acquired, a color which is useful information about nature some gas. We can therefore add lights for acquisitions at night or when it is dark.
  • a processor configured with tracking software: allowing a unique track number or “identifier” to be assigned to each object in the video (so as not to count the same object twice) and to end count the number of identifiers to obtain the number of objects, for example bottles, a method often used when dealing with video streams.
  • situations are favored where the vehicles follow a rectilinear or substantially rectilinear route, for example by the choice of a narrow road upstream of the gantry, for example by the installation of plot-type boundaries, drawn with continuous lines. guidance etc.
  • the route followed upstream of the gantry will induce a rectilinear or quasi-rectilinear trajectory, while the positioning of the camera will make it possible to fix the angle of this trajectory to facilitate the counting process.
  • the processor calculates the number of bottles from the videos, the associated uncertainty, performs the comparison with the indications present on the voucher, and displays the result.
  • the driver having knowledge of the expected number of bottles (from the delivery slip), is able to examine this display and possibly trigger a manual recount.
  • any deviations during the tour are reported by the driver on a mobile application which is synchronized with resource and bottle delivery schedules.
  • the processor calculates the number of bottles from the videos, the associated uncertainty, and it retrieves the number of bottles expected in said schedules and checks if this value falls within the predicted interval, then displays the result. The processor is then in a position to be able to optionally trigger/display an alert, for example to trigger a manual recount.
  • a procedure for processing images received by the processor is described below.
  • a binary classifier i.e. a mathematical model trained to identify the presence or the absence of a vehicle of interest in the image, model for example associated with an Arllco marker detector, markers affixed to each vehicle of interest in order to be able to identify such vehicles of interest and distinguish them from other vehicles which will therefore be considered irrelevant.
  • Objects of interest on the vehicle are detected using an artificial neural network, ie a mathematical model trained to identify objects of interest on each image.
  • Figure 1 illustrates an example of an installation suitable for implementing the invention, an example here implementing a processor integrated into a calculation station located in an additional position located in the vicinity of the gantry.

Abstract

Un procédé et une installation de comptage discontinu d'objets (4) présents sur un véhicule (1) en déplacement, déplacement en flux continu le long d'une trajectoire rectiligne ou sensiblement rectiligne, par exemple de comptage de bouteilles de gaz chargées sur un véhicule en mouvement, par exemple entrant et/ou sortant d'un site industriel.

Description

«Procédé et installation de comptage d'objets présents dans un véhicule en déplacement»
La présente invention concerne le domaine du comptage et de la différentiation d’objets ou de personnes physiques, ou encore d’animaux, défilant, par analyse d’images vidéos.
On trouve dans ce domaine technique un art antérieur fourni et très varié, tant en ce qui concerne les « objets » décomptés que les circonstances du décompte et donc les méthodes mises en œuvre.
On peut citer ici à titre illustratif les documents suivants : EP-3 005 231A2, W009/004479, WO22/076443A1 , US-10559091 , US-10769808, WO17/123920A1 , ou encore CN113763433A.
On s’intéresse notamment dans le cadre de la présente invention au comptage discontinu d’objets physiques en flux continu unidirectionnel c’est-à-dire se déplaçant sur une ligne sensiblement rectiligne, obtenu ici en l’occurrence dans un environnement industriel de type usine de production, centre de conditionnement de gaz, ou encore centres de distribution de gaz, où l’on observe un flux entrant et sortant de véhicules qui transportent des bouteilles de gaz, flux entrant ou sortant pouvant se présenter en un même poste d’accès du site ou bien en des postes différents du site, l’invention permettant de compter les objets considérés mais également, le cas échéant, de discriminer le nombre d’objets décomptés dans des sous-catégories déterminées, par exemple des couleurs de bouteilles (donc des natures de gaz) ou encore par exemple des bouteilles à types de chapeaux différents, ou encore des diamètres de bouteilles différents etc....
Et donc comme on le verra plus en détails dans ce qui suit, la présente invention s’attache à proposer une méthode et une installation de comptage des bouteilles entrant, ou sortant du site, pleines ou vides, de tailles et couleurs différentes, munies de formes de chapeaux de bouteilles très variées, méthode automatisée, et améliorant la fiabilité des techniques existantes. Comme on l’a vu ci-dessus, la présente invention concerne un comptage discontinu d’objets physiques en flux continu unidirectionnel, expliquons donc dans ce qui suit le vocabulaire utilisé dans ce domaine technique :
Le flux est dit continu lorsque les objets d’intérêt qui y sont présents ne marquent pas un arrêt durant la phase d’acquisition d’une caméra. Dans le cadre de la présente invention, nous sommes justement dans ce cas-ci, le camion ne s’arrête pas sous la caméra qui n’a alors qu’une vue partielle du chargement du camion sur chacune des images composant la vidéo. Dans le cas où la caméra aurait une vue totale du chargement du véhicule et/ou où le véhicule marque un arrêt volontaire ou involontaire et/ou où la trajectoire du véhicule peut être de toute nature, la présente invention reste comme on va le voir toujours robuste et applicable à ces conditions de prise de vue.
Le flux est dit discontinu lorsque les objets s'arrêtent à chaque acquisition et repartent ensuite.
Le comptage est dit discontinu lorsque l’on met en œuvre un comptage par groupe d’objets d’intérêt et non pas un comptage cumulatif sur une période donnée. Dans le cadre de la présente invention, on s’intéresse à effectuer un comptage de bouteilles par véhicule.
Le comptage est dit continu pour qualifier le comptage d’objets d'intérêt qui ne sont pas "groupés", c’est le cas par exemple des clients qui entrent ou sortent d'un bâtiment commercial.
On connaît dans la littérature des comptages discontinus dans un flux discontinu dans lesquels le champ d’un capteur inclut la totalité de la zone de comptage qui est immobilisée un court instant pour l’acquisition d’une image complète via une caméra dédiée, et son analyse via un algorithme approprié.
On connaît également des comptages continus dans un flux continu, dans lesquels on cherche à estimer l’évolution d’un indicateur , sans notion d’unités ou groupes d’objets. On peut citer ici l’exemple cité plus haut du comptage de clients entrant dans un centre commercial. Il est donc apparu nécessaire de proposer une nouvelle méthode de comptage, répondant à la problématique posée ici, où ce n’est pas le véhicule qui est l’objet d’intérêt mais les objets, par exemple des bouteilles, qu’il transporte, et donc où l’on cherche à réaliser le décompte du nombre de bouteilles PAR CAMION, ceci dans des conditions où le camion ne s’arrête pas pour permettre la prise d’une image, il passe en continu (« flux continu ») sous un portique équipé de moyens de prise d’images, et où nécessairement le champ d’une caméra positionnée sur le portique n'est pas assez grand pour englober l'ensemble du chargement du camion (le comptage est donc discontinu car il faut analyser la vidéo et isoler la séquence d'intérêt correspondant au passage du camion).
On peut noter que selon une autre approche comparative, qui n’est pas celle de la présente invention, un comptage qui serait continu reviendrait à compter et accumuler le nombre de bouteilles au fur et à mesure que plusieurs véhicules passent durant une période de temps donnée.
Comme il apparaîtra clairement à l’homme du métier, l’approche choisie par la présente invention et la nature du problème technique ainsi induit est telle que :
• les véhicules d'intérêt sont visuellement différenciables par rapport aux autres éléments ou véhicules passant dans cette zone (type voiture, camion citerne, vélo, piétons, chariot élévateur, etc...). Cependant dans le cas présent, bien que deux véhicules d'intérêt soient de même nature, un véhicule A transportant des bouteilles doit pouvoir être différencié d'un autre véhicule B transportant également des bouteilles (en vertu par exemple du principe selon lequel certains flux logistiques doivent être ignorés dans le comptage pour une raison X ou Y). Cette différenciation ne peut se faire naturellement, ni sur l'aspect de ces véhicules, ni sur le contenu de leur chargement. Elle est pourtant nécessaire pour comparer le nombre d'objets comptés à un nombre « effectif » dans les systèmes d'information.
• la longueur du véhicule transportant les bouteilles de gaz est généralement suffisamment importante pour que le champ de la caméra ne puisse pas inclure la totalité du chargement, l’acquisition d’une seule image ne suffit pas à compter toutes les bouteilles et un flux vidéo est dès lors nécessaire ;
• au regard du point précédent, certes la caméra pourrait être installée à une hauteur plus élevée, mais ce serait alors potentiellement incompatible avec la législation en vigueur dans certains territoires (normes d’installation, sécurité, etc... .) ;
• un comptage qui serait manuel n’est ni systématique ni fiable. Un tel procédé ne peut donc pas reposer sur la confiance accordée à l’humain, les facteurs qui peuvent nuire à la fiabilité sont notamment le respect des consignes, la météo, les conditions de luminosité etc.... ;
• le procédé de comptage doit tenir compte des redondances des objets d’intérêt dû à la composante temporelle du flux vidéo.
La présente invention s’attache à permettre d’atteindre les objectifs suivants :
• une compatibilité d’usage de la solution technique avec l’humain dans la boucle pour le comptage manuel lorsque les écarts sont significatifs par rapport à une valeur cible et permettre ainsi de corriger une erreur .
• le traitement d’un flux continu pour réaliser un comptage discontinu, de manière systématique et indépendante des facteurs humains, permet de conserver la nature et la configuration des flux existants et donc d’être transparent pour les utilisateurs (la mise en oeuvre du procédé selon l’invention ne va pas obliger à stopper le site, à réétudier le design des ateliers, des flux, à redéfinir les tâches de chaque opérateur, etc... .) .
La présente invention concerne alors un procédé de comptage discontinu d’objets présents sur un véhicule en déplacement, déplacement en flux continu le long d’une trajectoire rectiligne ou sensiblement rectiligne, véhicule qui est considéré comme un véhicule d’intérêt identifiable par rapport aux autres véhicules de nature différente ou identique, par exemple un comptage de bouteilles de gaz chargées sur un véhicule en mouvement, par exemple entrant et/ou sortant d’un site industriel, dans lequel : a. On dispose d’au moins un ensemble constitué d’au moins une caméra agencée sur un portique, ayant un champ de vue horizontal dimensionné à au moins la largeur du véhicule et permettant de collecter un flux vidéo des objets présents sur le véhicule lors de son passage sous le portique ; b. On dispose d’un processeur, processeur par exemple embarqué dans la caméra, ou encore intégré dans une station de calcul située dans une position annexe au voisinage du portique, ou encore déporté (« cloud » / informatique en nuage) configuré pour : i. Traiter les vidéos provenant de la ou desdites caméra(s) pour isoler la séquence vidéo comportant le passage du véhicule d’intérêt et déterminer le nombre d’objets présents sur le véhicule ainsi que l’incertitude associée ; ii. Comparer le nombre d’objets ainsi déterminé à une valeur cible, par exemple correspondant à un nombre d'objets attendus, par exemple un nombre d’objets attendus tel que stipulé dans des systèmes d’information, par exemple tel que stipulé sur un bon de livraison des objets au site considéré ; c. On dispose avantageusement de moyens d’affichage coopérant avec le processeur permettant de publier sur ces moyens d’affichage simultanément le nombre d’objets déterminé, l’incertitude associée et la valeur cible ; d. Si la différence entre le nombre d’objets déterminé et la valeur cible est supérieure à une consigne donnée, le processeur ordonne l’exécution d’une action ou de plusieurs actions, par exemple l’émission et l’affichage d’une alerte anomalie, ou encore une action de recomptage manuel du chargement considéré par une personne physique présente sur le site ; où lesdits véhicules d’intérêt, dont on veut compter le chargement, sont munis d’un motif distinctif reconnaissable par ledit processeur, permettant de pouvoir différencier les véhicules d’intérêt d’autres éléments passant au voisinage du portique (donc dans le champs de vision et d’analyse de la caméra) , éléments de même nature ou de nature différente (tels voitures, camions, camions citerne, vélos, piétons, chariots élévateur, etc... ), motif distinctif par exemple constitué par un ou des marqueurs Arllco apposés sur chaque véhicule d’intérêt, ou encore par tout autre motif distinctif reconnaissable tel que des QR codes.
On l’a donc compris, la présente invention est remarquable en ce que elle s’attache à pouvoir différencier ce qu’elle considère comme des « véhicules d’intérêt » i.e des véhicules dont on veut compter le chargement, véhicules d’intérêt qui sont donc visuellement différenciables par rapport aux autres éléments passant dans cette zone, de même nature ou de nature différente.
Et en l’occurrence, selon la présente invention, bien que deux véhicules d’intérêt soient de même nature, un véhicule A transportant des bouteilles doit pouvoir être différencié d’un autre véhicule B transportant également des bouteilles (en vertu par exemple du principe selon lequel certains flux logistiques doivent être ignorés dans le comptage pour une raison X ou Y). Cette différenciation ne peut se faire naturellement, ni sur l’aspect de ces véhicules, ni sur le contenu de leur chargement. Elle est pourtant nécessaire pour comparer le nombre d’objets comptés au nombre qui est présent, effectif, dans les systèmes d’information (par exemple un bon de livraison).
En d’autres termes, on l’aura compris, le procédé de l’invention permet :
- la sélection de véhicules d’intérêt dans un flux vidéo ;
- et le comptage discontinu d’objets présents sur ces véhicules d’intérêt ; sachant sur les véhicules ont un chargement partiellement ou totalement visible à chaque instant donné du flux vidéo ;
- mais aussi la reconstruction panoramique du chargement des véhicules, ce que l’on peut assimiler à la reconstruction, à partir des images vidéo, d’une vue de dessus permettant de visualiser le chargement des objets, par exemple des bouteilles et leur répartition sur le véhicule, par exemple en groupes différenciés de bouteilles, de tailles et couleurs différentes, munies de formes de chapeaux de bouteilles différentes etc
La présente invention concerne également une installation de comptage discontinu d’objets présents sur un véhicule en déplacement, déplacement en flux continu le long d’une trajectoire rectiligne ou sensiblement rectiligne, véhicule qui est considéré comme un véhicule d’intérêt identifiable par rapport aux autres véhicules de nature différente ou identique, par exemple un comptage de bouteilles de gaz chargées sur un véhicule en mouvement, par exemple entrant et/ou sortant d’un site industriel, installation comprenant les éléments suivants : a) au moins un portique équipé d’au moins une caméra ayant un champ de vue horizontal dimensionné à au moins la largeur du véhicule et permettant de collecter un flux vidéo des objets présents sur le véhicule lors de son passage sous le portique ; b) un processeur, par exemple embarqué dans la caméra, ou encore intégré dans une station de calcul située dans une position annexe au voisinage du portique, ou encore déporté (« cloud »/informatique en nuage), processeur configuré pour : i) traiter les vidéos provenant de la ou desdites caméra(s) pour isoler la séquence vidéo comportant le passage du véhicule d’intérêt et déterminer le nombre d’objets présents sur le véhicule ainsi que l’incertitude associée , ii) comparer le nombre d’objets déterminé à une valeur cible, par exemple correspondant à un nombre d'objets attendus, par exemple un nombre d’objets attendus tel que stipulé dans des systèmes d’information, par exemple tel que stipulé sur un bon de livraison des objets au site considéré ; c) et comportant avantageusement des moyens d’affichage coopérant avec le processeur, moyens aptes à publier le nombre d’objets déterminés, l’incertitude associée et la valeur cible ; où lesdits véhicules d’intérêt, dont on veut compter le chargement, sont munis d’un motif distinctif, motif distinctif par exemple constitué par un ou des marqueurs Arllco apposés sur chaque véhicule d’intérêt, ou encore par tout autre motif distinctif apposé sur chaque véhicule d’intérêt tel que un ou des QR codes, et où ledit processeur est apte à reconnaître ledit motif distinctif et ainsi à différencier les véhicules d’intérêt d’autres éléments passant au voisinage du portique, éléments de même nature ou de nature différente.
La présente invention pourra mettre en œuvre l’un ou plusieurs des modes de réalisation suivants :
- ladite caméra est une caméra de type RGB, compatible avec un usage en extérieur, apte à recueillir un flux vidéo haute résolution ; ledit processeur est un processeur de type CPU/GPU ;
- ledit processeur utilise un logiciel composé de deux modules : un premier module basé sur l'intelligence artificielle, de type dit « Deep Learning » ou « réseaux de neurones profond » et le second étant un algorithme de comptage basé sur un traitement d'images.
- l'installation se trouve en une entrée et/ou en une sortie du site considéré, afin de permettre de traiter les véhicules entrant et/ou sortant du site, les véhicules n’étant pas amenés à se croiser sous un même portique.
- l’installation se trouve en une seule localisation, entrée ou sortie du site considérée et permet de traiter des véhicules entrant et sortant par cette seule localisation, deux véhicules n’étant pas habilités à se croiser simultanément sous le portique équipant cette localisation.
Mais il est possible, sans sortir aucunement du cadre de la présente invention, d’utiliser d’autres moyens, réalisant de telles fonctions, tels que :
- une caméra infrarouge notamment pour les acquisitions de nuit : la vidéo sera alors en niveaux de gris et non en couleur, mode qui ne permet donc pas d’acquérir une information sur la couleur des bouteilles, couleur qui est une information utile sur la nature du gaz. On peut donc ajouter des lumières pour les acquisitions de nuit ou lorsqu’il fait sombre.
- un processeur configuré avec un logiciel de “pistage” (« tracking ») : permettant d’attribuer un numéro de piste ou “identifiant” unique à chaque objet dans la vidéo (pour ne pas compter 2 fois le même objet) et à la fin compter le nombre d’identifiants pour obtenir le nombre d’objets, par exemple de bouteilles, méthode souvent utilisée lorsqu’il s’agit de flux vidéo.
Apportons dans ce qui suit des précisions sur la notion de direction sensiblement rectiligne ou unidirectionnelle.
On privilégie selon l’invention des situations où les véhicules suivent une route rectiligne ou sensiblement rectiligne, par exemple par le choix d’une route étroite en amont du portique, par exemple par l’installation de délimitations de type plots, tracés de lignes continues de guidage etc...
Le choix de telles configurations permet d'obtenir une telle trajectoire rectiligne privilégiée. Dans ce contexte, si l’on considère un axe référence donnée, par exemple l’axe Nord-Sud) ladite route peut avoir n'importe quel angle par rapport à cet axe référence, tant que l’axe « dévié » adopté reste sensiblement rectiligne.
On peut alors par exemple positionner la caméra de telle sorte que la trajectoire apparente du camion dans la vidéo soit verticale mais ce n’est qu’un exemple non limitatif. Si la trajectoire du camion apparaît oblique dans la vidéo, alors on recommande selon l’invention une rotation de la caméra de manière à obtenir le résultat voulu.
En résumé, la route suivie en amont du portique va induire une trajectoire rectiligne ou quasi-rectiligne, tandis que le positionnement de la caméra va permettre de fixer l'angle de cette trajectoire pour faciliter le procédé de comptage.
Considérons dans ce qui suit le cas des bons de livraisons de bouteilles de gaz à un site industriel, par exemple un site de conditionnement de gaz .
Traditionnellement les situations suivantes sont rencontrées, mais elles ne sont qu’illustratives de situations très variées qui peuvent intervenir :
• lors d’une tournée de livraison (et de récupération) de bouteilles de gaz, à des industriels, des laboratoires, des universités etc.... les éventuels écarts observés lors de la tournée sont généralement reportés manuellement par le chauffeur sur le bon de livraison (bouteilles perdues, déjà récupérées lors de tournées précédentes etc... ). On peut donc considérer qu’ici, conformément à l’invention, le processeur calcule le nombre de bouteilles à partir des vidéos, l'incertitude associée, effectue la comparaison avec les indications présentes sur le bon, et affiche le résultat. Le chauffeur ayant connaissance du nombre de bouteilles attendu (par le bulletin de livraison) est en mesure d’examiner cet affichage et déclenche éventuellement un recomptage manuel.
• selon une autre situation envisageable, les éventuels écarts lors de la tournée sont reportés par le chauffeur sur une application mobile qui est synchronisée avec des plannings de ressources et de livraison de bouteilles. Lors du retour à l'usine, le processeur calcule le nombre de bouteilles à partir des vidéos, l'incertitude associée, et il récupère le nombre de bouteilles attendu dans lesdits plannings et vérifie si cette valeur tombe bien dans l'intervalle prédit, puis affiche le résultat. Le processeur est alors en position de pouvoir déclencher/afficher éventuellement une alerte, par exemple pour déclencher un recomptage manuel.
On décrit dans ce qui suit un exemple de procédure de traitement des images reçues par le processeur. a) A partir du flux continu (vidéo), on isole les séquences d’intérêt correspondant au passage du véhicule : par exemple à l'aide d'un classifieur binaire, type réseau de neurones i.e un modèle mathématique entraîné pour identifier la présence ou l'absence d’un véhicule d’intérêt dans l'image, modèle par exemple associé à un détecteur de marqueurs Arllco, marqueurs apposés sur chaque véhicule d’intérêt afin d’être en mesure d’identifier de tels véhicules d’intérêt et les distinguer des autres véhicules qui vont dès lors être considérés comme non pertinents. b) On détecte les objets d’intérêt sur le véhicule à l’aide d’un réseau de neurones artificiel i.e un modèle mathématique entraîné pour identifier les objets d’intérêt sur chaque image. c) On procède à une estimation de la vitesse de déplacement pixellique du véhicule en exploitant les coordonnées des détections, issues de l’inférence, dans les images successives. d) On effectue un traitement visant à binariser les images en mettant à 1 (ou à d’autres valeurs permettant de différencier les catégories d’objets) les pixels dans les zones : i) telles que définies par les coordonnées des détections dont le score est supérieur à un seuil donné, ii) transformées en cercles de diamètre inférieur, d'un facteur donné, au minimum entre la largeur et la hauteur des détections, et en mettant à 0 tout le reste. e) En tenant compte du résultat c), on dispose d’une estimation du déplacement pixellique du véhicule. Le déplacement pouvant être supposé rectiligne entre deux images, une rotation de l’image permet de simuler un déplacement rectiligne vertical. f) On définit /V lignes : i) perpendiculaires au déplacement du véhicule ii) placées à différentes positions horizontales de l’image iii) dont l'épaisseur est égale au déplacement pixellique du véhicule calculé au paragraphe e). Les bandeaux extraits pour chaque image respective sont assemblés verticalement afin de reconstruire un "panorama de comptage". Ce même traitement est également appliqué aux images d'origine afin de reconstruire un "panorama du véhicule". et on applique C itérations de fermeture morphologique sur les /V panoramas de comptage obtenues en f) iii). g) On compte le nombre d’éléments sur chacune des /V mosaïques en filtrant éventuellement ceux de taille incohérente, et l’on en déduit le comptage final et l’incertitude respectivement par le calcul de la moyenne pondérée (les lignes centrales ont plus de poids que celles aux extrémités) et de l’écart-type.
La [Figure 1 ] annexée illustre un exemple d’installation convenant pour la mise en œuvre de l’invention, exemple mettant en œuvre ici un processeur intégré dans une station de calcul située dans une position annexe située au voisinage du portique.
La nomenclature des éléments présents sur cette Figure 1 est la suivante :
1 : le camion transportant les bouteilles (4) à décompter (représenté en arrière plan en traits fins)
2 : un moyen d’affichage
3 : un calculateur
5 : caméra d’entrée
6 : caméra de sortie
7 :(en traits épais, le flux d’informations des caméras vers le calculateur)
On a donc sur l’exemple représenté une installation à deux caméras sur ce portique, mais on l’a signalé plus haut une seule caméra serait suffisante dans le cadre de la présente invention.

Claims

REVENDICATIONS
1. Un procédé de comptage discontinu d’objets (4) présents sur un véhicule (1 ) en déplacement, déplacement en flux continu le long d’une trajectoire rectiligne ou sensiblement rectiligne, véhicule qui est considéré comme un véhicule d’intérêt identifiable par rapport aux autres véhicules de nature différente ou identique, par exemple un comptage de bouteilles de gaz chargées sur un véhicule en mouvement, par exemple entrant et/ou sortant d’un site industriel, dans lequel : a. On dispose d’au moins un ensemble constitué d’au moins une caméra (5, 6) agencée sur un portique, ayant un champ de vue horizontal dimensionné à au moins la largeur du véhicule et permettant de collecter un flux vidéo des objets présents sur le véhicule lors de son passage sous le portique ; b. On dispose d’un processeur (3), processeur par exemple embarqué dans la caméra, ou encore intégré dans une station de calcul située dans une position annexe au voisinage du portique, ou encore déporté (« cloud » / informatique en nuage) et l’on procède à l’aide du processeur aux mesures suivantes : i. à un traitement des vidéos provenant de la ou desdites caméra(s) pour isoler la séquence vidéo comportant le passage d’un véhicule d’intérêt et déterminer le nombre d’objets présents sur le véhicule ainsi que l’incertitude associée ; ii. à une comparaison du nombre d’objets ainsi déterminé à une valeur cible, par exemple correspondant à un nombre d'objets attendus, par exemple un nombre d’objets attendus tel que stipulé dans des systèmes d’information, par exemple tel que stipulé sur un bon de livraison des objets au site considéré ; c. On dispose avantageusement de moyens d’affichage coopérant avec le processeur permettant de publier sur ces moyens d’affichage simultanément le nombre d’objets déterminé, l’incertitude associée et la valeur cible ; d. Si la différence entre le nombre d’objets déterminé et la valeur cible est supérieure à une consigne donnée, le processeur ordonne l’exécution d’une action ou de plusieurs actions, par exemple l’émission et l’affichage d’une alerte anomalie, ou encore une action de recomptage manuel du chargement considéré par une personne physique présente sur le site ; où lesdits véhicules d’intérêt, dont on veut compter le chargement, sont munis d’un motif distinctif reconnaissable par ledit processeur, et où le dit traitement permet de pouvoir différencier les véhicules d’intérêt d’autres éléments passant au voisinage du portique, éléments de même nature ou de nature différente, motif distinctif par exemple constitué par un ou des marqueurs Arllco apposés sur chaque véhicule d’intérêt, ou encore par tout autre motif distinctif reconnaissable tel que des QR codes, le processeur étant muni d’un modèle mathématique entrainé pour détecter et identifier la présence de tel motifs et donc pour détecter et identifier la présence d’un véhicule d’intérêt dans ladite séquence vidéo, et ainsi le distinguer d’autres véhicules qui vont dès lors être considérés comme non pertinents.
2. Procédé selon la revendication 1 , se caractérisant en ce que ledit nombre d’objets déterminé comme étant présents dans chaque véhicule est discriminé pour répartir le nombre d’objets décomptés dans des sous-catégories déterminées d’objets, par exemple des couleurs de bouteilles, ou encore par exemple des bouteilles à types de chapeaux différents etc....
3. Procédé selon la revendication 1 ou 2, se caractérisant en ce que ledit au moins un ensemble est positionné en une entrée et/ou en une sortie du site considéré, afin de permettre de traiter les véhicules entrant et/ou sortant du site, les véhicules n’étant pas amenés à se croiser sous un même portique.
4. Procédé selon la revendication 1 ou 2, se caractérisant en ce que ledit au moins un ensemble est positionné en une seule localisation, en une entrée ou en une sortie du site considéré, et permet de traiter des véhicules entrant et sortant par cette seule localisation, deux véhicules n’étant pas habilités à se croiser simultanément sous le portique équipant cette localisation.
5. Procédé selon l’une des revendications précédentes, se caractérisant en ce que ladite au moins une caméra est une caméra de type RGB, compatible avec un usage en extérieur, et apte à recueillir un flux vidéo haute résolution.
6. Procédé selon l’une des revendications précédentes, se caractérisant en ce que ledit processeur est un processeur de type CPU/GPU.
7. Procédé selon la revendication 6, se caractérisant en ce que ledit processeur utilise un logiciel composé de deux modules : un premier module basé sur l'intelligence artificielle, de type dit « Deep Learning » ou « réseaux de neurones profond » et le second qui est un algorithme de comptage basé sur un traitement d'images.
8. Procédé selon l’une des revendications précédentes, se caractérisant en ce que l’on effectue, durant le dit traitement, une reconstruction panoramique du chargement des véhicules d’intérêt.
9. Une installation de comptage discontinu d’objets (4) présents sur un véhicule (1 ) en déplacement, déplacement en flux continu le long d’une trajectoire rectiligne ou sensiblement rectiligne, véhicule qui est considéré comme un véhicule d’intérêt identifiable par rapport aux autres véhicules de nature différente ou identique, par exemple un comptage de bouteilles de gaz chargées sur un véhicule en mouvement, par exemple entrant et/ou sortant d’un site industriel, installation comprenant les éléments suivants : a) au moins un portique équipé d’au moins une caméra (5, 6) ayant un champ de vue horizontal dimensionné à au moins la largeur du véhicule et permettant de collecter un flux vidéo des objets présents sur le véhicule lors de son passage sous le portique ; b) un processeur, par exemple embarqué dans la caméra, ou encore intégré dans une station de calcul située dans une position annexe au voisinage du portique, ou encore déporté (« cloud »/informatique en nuage), processeur configuré pour : i) traiter les vidéos provenant de la ou desdites caméra(s) pour isoler la séquence vidéo comportant le passage du véhicule d’intérêt et déterminer le nombre d’objets présents sur le véhicule ainsi que l’incertitude associée , ii) comparer le nombre d’objets déterminé à une valeur cible, par exemple correspondant à un nombre d'objets attendus, par exemple un nombre d’objets attendus tel que stipulé dans des systèmes d’information, par exemple tel que stipulé sur un bon de livraison des objets au site considéré ; c) et comportant avantageusement des moyens d’affichage coopérant avec le processeur, moyens aptes à publier le nombre d’objets déterminés, l’incertitude associée et la valeur cible ; où lesdits véhicules d’intérêt, dont on veut compter le chargement, sont munis d’un motif distinctif, motif distinctif par exemple constitué par un ou des marqueurs Arllco apposés sur chaque véhicule d’intérêt, ou encore par tout autre motif distinctif apposé sur chaque véhicule d’intérêt tel que un ou des QR codes, et où ledit processeur est apte à reconnaître ledit motif distinctif et ainsi à différencier les véhicules d’intérêt d’autres éléments passant au voisinage du portique, éléments de même nature ou de nature différente.
PCT/EP2023/069778 2022-07-28 2023-07-17 Procédé et installation de comptage d'objets présents dans un véhicule en déplacement WO2024022863A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2207759 2022-07-28
FR2207759 2022-07-28

Publications (1)

Publication Number Publication Date
WO2024022863A1 true WO2024022863A1 (fr) 2024-02-01

Family

ID=83506733

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/069778 WO2024022863A1 (fr) 2022-07-28 2023-07-17 Procédé et installation de comptage d'objets présents dans un véhicule en déplacement

Country Status (1)

Country Link
WO (1) WO2024022863A1 (fr)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227862A1 (en) * 2005-04-06 2006-10-12 March Networks Corporation Method and system for counting moving objects in a digital video stream
WO2009004479A2 (fr) 2007-07-03 2009-01-08 Shoppertrack Rct Corporation Sssystème et procédé pour détecter, suivre et compter des objets humains d'intérêt
EP2023309B1 (fr) * 2006-05-26 2010-11-10 Fujitsu Ltd. Dispositif de discrimination de vehicule, procede de discrimination de vehicule, programme de discrimination de vehicule et support d'enregistrement de programme comportant le programme de discrimination de vehicule
US20140211016A1 (en) * 2012-08-06 2014-07-31 Cloudparc, Inc. Profiling and Tracking Vehicles Using Cameras
EP3005231A2 (fr) 2013-05-29 2016-04-13 Sicpa Brasil Indústria de Tintas e Sistemas Ltda. Procédé et dispositif pour compter des objets dans des données d'image de trames
WO2017123920A1 (fr) 2016-01-14 2017-07-20 RetailNext, Inc. Détection, suivi et comptage d'objets dans des vidéos
US10559091B2 (en) 2015-09-11 2020-02-11 Nec Corporation Object counting device, object counting method, object counting program, and object counting system
US10769808B2 (en) 2017-10-20 2020-09-08 Microsoft Technology Licensing, Llc Apparatus and methods of automated tracking and counting of objects on a resource-constrained device
CN113763433A (zh) 2021-11-09 2021-12-07 湖南大学 一种玻璃瓶跟踪计数系统
WO2022076443A1 (fr) 2020-10-06 2022-04-14 Spears Logan Système et procédé de comptage de bétail

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227862A1 (en) * 2005-04-06 2006-10-12 March Networks Corporation Method and system for counting moving objects in a digital video stream
EP2023309B1 (fr) * 2006-05-26 2010-11-10 Fujitsu Ltd. Dispositif de discrimination de vehicule, procede de discrimination de vehicule, programme de discrimination de vehicule et support d'enregistrement de programme comportant le programme de discrimination de vehicule
WO2009004479A2 (fr) 2007-07-03 2009-01-08 Shoppertrack Rct Corporation Sssystème et procédé pour détecter, suivre et compter des objets humains d'intérêt
US20140211016A1 (en) * 2012-08-06 2014-07-31 Cloudparc, Inc. Profiling and Tracking Vehicles Using Cameras
EP3005231A2 (fr) 2013-05-29 2016-04-13 Sicpa Brasil Indústria de Tintas e Sistemas Ltda. Procédé et dispositif pour compter des objets dans des données d'image de trames
US10559091B2 (en) 2015-09-11 2020-02-11 Nec Corporation Object counting device, object counting method, object counting program, and object counting system
WO2017123920A1 (fr) 2016-01-14 2017-07-20 RetailNext, Inc. Détection, suivi et comptage d'objets dans des vidéos
US10769808B2 (en) 2017-10-20 2020-09-08 Microsoft Technology Licensing, Llc Apparatus and methods of automated tracking and counting of objects on a resource-constrained device
WO2022076443A1 (fr) 2020-10-06 2022-04-14 Spears Logan Système et procédé de comptage de bétail
CN113763433A (zh) 2021-11-09 2021-12-07 湖南大学 一种玻璃瓶跟踪计数系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PATEL ASHISH SINGH ET AL: "Vehicle Tracking and Monitoring in Surveillance Video", 2019 IEEE CONFERENCE ON INFORMATION AND COMMUNICATION TECHNOLOGY, IEEE, 6 December 2019 (2019-12-06), pages 1 - 6, XP033757418, DOI: 10.1109/CICT48419.2019.9066256 *

Similar Documents

Publication Publication Date Title
AU2021254525A1 (en) On-demand artificial intelligence and roadway stewardship system
EP2924671A1 (fr) Système de classification automatique de véhicules automobiles
FR2763727A1 (fr) Procede et systeme de guidage d'un avion vers un poste d'accostage
CN109711264A (zh) 一种公交车道占道检测方法及装置
EP0527665A1 (fr) Dispositif embarqué et procédé de repérage et de suivi de la position du véhicule sur la route et dipositif d'aide à la conduite en comportant application
EP1811479A1 (fr) Système magnétique de contrôle de trafic
Belaroussi et al. Impact of reduced visibility from fog on traffic sign detection
CN106650730A (zh) 汽车变道过程中的转向灯检测方法和系统
JP2015090679A (ja) 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム
CN108171154A (zh) 一种自动驾驶中目标检测与车道检测结合的方法
EP3784987A1 (fr) Procede de selection par un vehicule automobile d'une voie de circulation preferee pour traverser une aire de peage
Gothankar et al. Circular hough transform assisted cnn based vehicle axle detection and classification
Zhou et al. Learning-based seat belt detection in image using salient gradient
FR3059137A1 (fr) Procede et systeme de detection d'un objet en relief dans un parking
WO2024022863A1 (fr) Procédé et installation de comptage d'objets présents dans un véhicule en déplacement
EP3701416B1 (fr) Assistance à la conduite d'un véhicule automobile à l'approche d'un ralentisseur de vitesse
FR2958767A1 (fr) Procede de detection de cibles dans des images stereoscopiques.
FR3004835A1 (fr) Procede de suivi d'objets par imagerie hyperspectrale
CN110782485A (zh) 一种车辆变道检测方法及装置
FR3059133B1 (fr) Procede et systeme de detection d'un objet en relief dans un parking
EP0810496B1 (fr) Procédé et dispositif d'identification et de localisation d'objets fixes le long d'un trajet
WO2017140969A1 (fr) Dispositif et procédé d'estimation du niveau d'attention d'un conducteur d'un véhicule
EP3839816A1 (fr) Dispositif électronique d'identification et de suivi d'au moins une cible, système électronique, procédé et programme d'ordinateur associés
FR2976091A1 (fr) "procede et dispositif de deconnexion automatique des systemes d'aide a la conduite d'un vehicule en approche d'une barriere de peage"
FR2699667A1 (fr) Procédé d'aide au pilotage d'un aéronef volant à basse altitude.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23745446

Country of ref document: EP

Kind code of ref document: A1