WO2021181048A1 - Procédé et dispositif de datation d'images de caméras - Google Patents

Procédé et dispositif de datation d'images de caméras Download PDF

Info

Publication number
WO2021181048A1
WO2021181048A1 PCT/FR2021/050416 FR2021050416W WO2021181048A1 WO 2021181048 A1 WO2021181048 A1 WO 2021181048A1 FR 2021050416 W FR2021050416 W FR 2021050416W WO 2021181048 A1 WO2021181048 A1 WO 2021181048A1
Authority
WO
WIPO (PCT)
Prior art keywords
modulated signal
camera
images
signal
time
Prior art date
Application number
PCT/FR2021/050416
Other languages
English (en)
Inventor
Marc-Emmanuel Coupvent Des Graviers
Alban MICHELANGELI
Thierry PLANAT
Original Assignee
Safran Electronics & Defense
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Safran Electronics & Defense filed Critical Safran Electronics & Defense
Priority to US17/906,205 priority Critical patent/US20230121125A1/en
Priority to EP21717142.0A priority patent/EP4118818A1/fr
Publication of WO2021181048A1 publication Critical patent/WO2021181048A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras

Definitions

  • TITLE Method and device for dating camera images
  • the invention relates to a method and a device for dating camera images, in particular cameras on board vehicles.
  • Autonomous vehicles generally include a plurality of sensors for locating these vehicles, for example odometers on the wheels of vehicles, a receiver of the satellite geolocation system type, an inertial unit, or even cameras in the visible range.
  • sensors for example odometers on the wheels of vehicles, a receiver of the satellite geolocation system type, an inertial unit, or even cameras in the visible range.
  • two cameras which are oriented in the same direction and observe the same area to reconstruct a stereoscopic view.
  • Such a pair of cameras, installed on a support is called a “stereo head”.
  • a device for dating camera images is known, described in document US 2003/0052966, comprising a flashing light source arranged in the field of view of the cameras and allowing the dating of the images from the cameras.
  • integrating such a light source and maintaining the light source in the field of view of the cameras is expensive and complex to implement, especially in the case of a moving vehicle.
  • Another solution would consist in equipping each camera with a GNSS receiver in order to precisely date the images taken by it, but this solution is not economically viable.
  • this device does not allow precise dating of camera images.
  • the invention aims to remedy these drawbacks in a simple, inexpensive and reliable manner.
  • the invention relates to a method for dating images obtained by at least one camera, for example two cameras, fitted to a vehicle, said method comprising the steps of:
  • a reference signal in particular periodic, comprising time information, for example transmitted by a satellite geolocation system equipping said vehicle
  • the last image can be considered as having been acquired at the time of the registration period.
  • the period of the modulated signal is modified, specifically at the first period of the modulated signal following a pulse of the reference signal, which is the reset period.
  • the acquisition of the images by each camera is triggered by the modulated signal which comprises an adjustment period of different duration compared to the base period.
  • the rising edge of the modulated signal is called the resetting pulse.
  • the successive images of each camera having a timestamp deviation different from the base period correspond to the resetting pulse of the modulated signal and can be dated with respect to the reference signal.
  • the dating of the images is therefore carried out on the basis of the difference between the timestamps and not on the basis of the absolute value of the timestamp provided by the camera which may be out of adjustment with respect to the timestamp of the other camera or relative to the reference signal.
  • the method according to the invention therefore makes it possible to date the images of at least one camera without requiring a complex connection.
  • the method according to the invention is independent of the field of view of the camera. The method is therefore simpler, more economical and more reliable than the methods of the prior art.
  • the method by dating the images, makes it possible to date the images with any other information dated by another system, such as another sensor on board the vehicle.
  • the method can exploit information, for example of position, data or deduced from the images and use them with information of the same type obtained by other sensors on the same date and thus consolidate the position of the vehicle on the given date. and get a very precise value for it.
  • the modulated signal may include a plurality of pulses having the same base period, the resetting pulse having a period less than or greater than said base period.
  • the base period can be for example of the order of 49.9 ms and the period of the reset pulse can be equal to 52 ms, which makes it possible to have 19 base periods and 1 reset period in 1 second.
  • the modulated signal can be a periodic electrical signal, modulated in phase when a reference signal is received by the electronic card.
  • the modulated signal can be obtained by period modulation.
  • the modulated signal can include a plurality of reset periods, instead of a single reset period and a plurality of base periods.
  • the combination of the different periods can encode temporal information slower than 1 second.
  • the reference signal may include at least one reference pulse, the rising edge of the resetting pulse of the modulated signal being temporally offset from the rising edge of the reference pulse of the reference signal, said offset temporal between the two rising edges being equal to the reset period or to the reset period plus a fixed number of periods by default.
  • the reference signal can be a pulse signal per second.
  • the rising edge of the reference signal can be synchronized with the start of the second of coordinated universal time.
  • the step of acquiring images can be performed on each pulse of said modulated signal, for example on each rising edge of said pulses.
  • the reference signal can be associated with a data frame of the NMEA type comprising data relating to a date and a time of transmission of the reference signal.
  • the NMEA frame can conform to the NMEA 0183 standard.
  • the NMEA frame can include a GGA frame carrying information relating to the time of transmission of the reference signal, for example the hour, minutes, seconds and possibly milliseconds.
  • the NMEA frame can comprise an RMC frame carrying information relating to the date of transmission of the reference signal, for example the year, the month and the day.
  • the modulated signal can be generated using a digital phase locked loop.
  • the input of the phase locked loop can be linked to the satellite tracking system.
  • the phase locked loop can take the reference signal as an input.
  • the step of determining the time difference between the timestamps of two successive images can be performed by a computer.
  • the computer can be connected on the one hand to each of the cameras through an Ethernet link and on the other hand to the satellite geolocation system.
  • the calculator can be a computer equipped with a Linux type operating system. Thus, the method can be implemented in a less expensive manner.
  • the modulated signal can be generated by an electronic card connected to the satellite geolocation system.
  • the electronic card can be connected to each camera, in particular to a trigger connector of said camera.
  • the electronic card can be configured to implement the phase locked loop.
  • the electronic card can be of the PC® type. Such a card makes it possible to reduce the costs of implementing the method and to simplify the connections required with the camera or cameras.
  • Each camera can include an internal clock configured to associate a time stamp with an image acquired by said camera.
  • the timestamp may correspond to a duration, expressed in a unit of time, accumulated since switching on said camera.
  • the satellite geolocation system can be integrated into an inertial unit fitted to the vehicle.
  • the vehicle can be an autonomous or remotely controlled vehicle.
  • the vehicle can be a land, air or naval vehicle.
  • a device comprising means for implementing the aforementioned method.
  • the different steps of the process for dating images according to the invention can be implemented by software or computer program.
  • This software or program may be executed by a computer or by a processor, for example a data processor, this software or program comprising instructions for controlling the execution of the steps of a method of the aforementioned type.
  • These instructions can be stored in a memory of a computing device loaded and then executed by a processor of this digital device.
  • This software or computer program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other desirable form.
  • the computer program may include instructions for performing the above image dating process, when said program is executed by a processor.
  • the subject of the invention may also be an information storage means, removable or not, partially or totally readable by a computer or a microprocessor, comprising code instructions of a computer program for the execution of each of the. steps of the aforementioned process.
  • the invention provides a device for dating images obtained by at least one camera, for example two cameras, fitted to a vehicle, comprising:
  • a means configured to transmit a reference signal comprising temporal information, for example a satellite geolocation system equipping said vehicle and,
  • an electronic card connected to the means of transmitting the reference signal, such as the satellite geolocation system, and configured to generate a modulated signal in response to the reference signal, said modulated signal having at least one period resetting pulse of different registration of a base period of the modulated signal, in which each camera is connected to the electronic card and is configured to acquire images at a frequency depending on the frequency of the modulated signal, each image being associated with a time stamp provided by the camera, and said device further comprising a computer connected on the one hand to each camera and on the other hand to the means for transmitting the reference signal and configured to determine the time difference between the time stamps of two successive images of the camera and, if the time difference determined between said timestamps is different from the base period of the modulated signal, assigning a reference date to said images according to the temporal information of the reference signal.
  • the device may include an inertial unit on board the vehicle and configured for example to measure a speed or an acceleration of said vehicle.
  • the inertial unit can include the satellite geolocation system.
  • the electronic card can be configured to implement a phase locked loop to generate the modulated signal.
  • the electronic card can be of the
  • the computer can be connected on the one hand to each of the cameras and on the other hand to the satellite geolocation system.
  • the calculator can be a computer equipped with a Linux type operating system.
  • Each camera can include an internal clock configured to associate a time stamp with an image acquired by said camera.
  • the invention provides a vehicle comprising a device as described above or means for implementing the method according to the invention.
  • a vehicle comprising a device as described above or means for implementing the method according to the invention.
  • Figure 1 is a schematic representation of an exemplary embodiment of the device according to the invention.
  • FIG. 2 is a schematic representation of the signals produced by the device of FIG. 1,
  • Figure 3 shows an example of the method according to the invention.
  • Figures 1 and 2 illustrate a device 100, according to one embodiment of the invention, intended to be arranged in a vehicle, for example a land vehicle.
  • the vehicle is equipped with dual cameras 1011 and 1012 to aid in vehicle navigation and exploration of the vehicle's surroundings.
  • the device 100 comprises an inertial unit 102 equipped with a satellite geolocation system 104, for example of the GPS ("Global Positioning System”) or GNSS ("Geolocation and Navigation by a Satellite System”) type.
  • a satellite geolocation system 104 for example of the GPS (“Global Positioning System”) or GNSS (“Geolocation and Navigation by a Satellite System”) type.
  • the satellite geolocation system 104 is suitable for transmitting a reference signal 202, in particular a pulse per second (“PPS”) signal, associated with time information, for example an NMEA frame bearing a date and a transmission time. of the reference signal “PPS” 202.
  • the reference signal “PPS” 202 comprises a reference pulse 204.
  • the device 100 also comprises an electronic card 106, for example of the chicken® type, having an input connected to the satellite geolocation system 104.
  • the electronic card can have one or a plurality of outputs, at least two of the outputs being connected to cameras 101. Of course, there may be additional outputs which are not connected to cameras 101.
  • the vehicle can include more than two cameras and the electronic card 106 can be linked to all or some of the cameras.
  • the electronic card 106 can have a single output connected to each of the cameras 101 or to a single camera 101.
  • the electronic card 106 is configured to produce at each of its outputs connected to a camera 101, a modulated signal 208 having a predetermined frequency, for example a frequency equal to the acquisition frequency of one of the cameras 101.
  • the frequency of the modulated signal may be greater than the acquisition frequency of one or each camera 101.
  • the frequency of the modulated signal 208 is equal to 20 Hz.
  • the modulated signal 208 comprises a resetting pulse 210 having a rising edge 212 temporally offset with respect to a base period of the modulated signal, so that l
  • the resetting pulse has a resetting period different from the base period. This The resetting pulse can occur just after the rising edge 206 of the reference pulse 204.
  • the duration of the resetting period DT, different from the base period, is predetermined.
  • the resetting period DT is for example greater than the base period of the modulated signal 208.
  • the resetting period DT may be less than the base period of the modulated signal 208.
  • the resetting period DT is for example equal to 52 ms.
  • the reset pulse 210 may be offset with respect to a falling edge or another point of the PPS 202 reference signal.
  • the vehicle may comprise two cameras 101 forming a stereo head arranged in a front part of the vehicle having an image acquisition frequency of 20 Hz.
  • the vehicle may additionally comprise a camera 101 arranged in a rear part of the vehicle and configured for reading plates or signs for example, and having an image acquisition frequency of 10 Hz.
  • the output (s) of the electronic card 106 can be connected to the trigger connectors of the cameras 101.
  • the electronic card 106 can implement a digital phase locked loop to create the signal 208.
  • the electronic card 106 is configured to trigger an acquisition of the images 214 by the cameras 101 as a function of the modulated signal 208. For example, each of the cameras 101 captures an image at each rising edge of the modulated signal 208.
  • the cameras 101 can be any type of camera, for example infrared cameras, thermal cameras, matrix cameras, line cameras, etc.
  • Each of the cameras 1011 and 1012 comprises an internal clock 103i and 103 2 configured to associate a time stamp with the images 214 taken by said camera.
  • the internal clocks 103i and 103 2 can be desynchronized with each other.
  • the device 100 comprises a computer 108 connected to the inertial unit 102 and is configured to receive the reference signal PPS 202 from the satellite geolocation system.
  • the computer 108 is also connected to each of the cameras 101 and is configured to receive the images 214 captured by each of the cameras 101.
  • the computer 108 receives from the satellite geolocation system a data frame of the NMEA type.
  • the NMEA frame comprises an RMC frame carrying information relating to the date of transmission of the PPS reference signal, for example the year, month and day, and a GGA frame carrying information relating to the transmission time. of the PPS reference signal, for example the hour, the minutes, the seconds and possibly the milliseconds.
  • the calculator 108 is further configured to determine a difference between the consecutive frame timestamps 214, and 214 + i .
  • a reference date determined by the time information carried by the reference signal PPS is assigned to the image 214, + i , by example by the date and time carried by the NMEA frame.
  • Reference dates are also assigned to the images preceding and / or following image 214, + i according to the reference date of image 214i + i .
  • the device 100 makes it possible to date the images of the cameras 101 with a standard connection and therefore without requiring a specific connection between the two cameras.
  • This device also makes it possible to compensate for the drift or a bad configuration of the internal clocks 103 of the cameras 101.
  • the device also makes it possible to compensate for the latencies due to the acquisition of the images and their transmission to the computer.
  • the device allows images to be dated even if an image is lost. Determining the difference between the timestamps of the acquired images makes it possible to find the dates of the images as soon as the offset corresponding to the registration pulse is detected.
  • the device 100 makes it possible to date the images with a precision of less than 1 ms.
  • FIG. 3 represents an example of a method 300 which can be implemented by the device 100.
  • the method 300 is provided for dating the images obtained by one or more cameras fitted to a vehicle, for example an autonomous vehicle.
  • the method 300 comprises: a step 302 consisting in acquiring a reference signal comprising time information transmitted by a satellite geolocation system fitted to the vehicle, and a step 304 consisting in generating a modulated signal in response to the reference signal, said signal modulated having at least one resetting pulse having a resetting period different from the base period of the modulated signal.
  • the reference signal may be the signal 202 of Figure 2.
  • the timing information may be a frame of NMEA data.
  • the satellite tracking system may be the tracking system 104 of Figure 1.
  • the modulated signal may be the modulated signal 208 of Figure 2.
  • step 304 can be performed by an electronic card, for example the electronic card 106 of FIG. 1.
  • the method 300 also comprises, for each camera:
  • a step 306 consisting in acquiring images at a frequency which is a function of the frequency of the modulated signal, each image being associated with a time stamp supplied by the camera,
  • a step 308 consisting in determining the time difference between the time stamps of two successive images of the camera and, if the time difference determined between said time stamps is different from, for example greater than or equal to the adjustment period, assigning a date of reference to said images as a function of the temporal information of the reference signal.
  • the cameras can be the cameras 101 of FIG. 1.
  • the method can comprise, for each camera, a step consisting in capturing an image for each rising edge of the modulated signal.
  • the time stamp provided by the camera can be obtained by an internal clock of said camera.
  • Step 308 can be executed by a computer, for example the computer 108 of Figure 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

Le présent document concerne un procédé (300) de datation d'images obtenues par au moins une caméra, par exemple deux caméras, équipant un véhicule, ledit procédé comprenant les étapes consistant à: - acquérir (302) un signal de référence comportant une information temporelle, par exemple émis par un système de géolocalisation par satellite équipant ledit véhicule, - générer (304) un signal modulé en réponse au signal de référence, ledit signal modulé ayant au moins une impulsion de recalage présentant une période de recalage différente d'une période de base du signal modulé, et pour chaque caméra: - acquérir (306) des images à une fréquence fonction de la fréquence du signal modulé, chaque image étant associée à un horodatage fourni par la caméra, - déterminer (308) l'écart de temps entre les horodatages de deux images successives de la caméra et, si l'écart de temps déterminé entre lesdits horodatages est différent de la période de base du signal modulé, assigner une date de référence auxdites images en fonction de l'information temporelle du signal de référence.

Description

DESCRIPTION
TITRE : Procédé et dispositif de datation d’images de caméras Domaine technique de l’invention
L’invention concerne un procédé et un dispositif de datation d’images de caméras, en particulier les caméras embarquées sur des véhicules.
Etat de la technique antérieure
Les véhicules autonomes comprennent en général une pluralité de capteurs pour la localisation de ces véhicules, par exemple des odomètres sur les roues des véhicules, un récepteur du type système de géolocalisation par satellites, une centrale inertielle, ou encore des caméras dans le domaine visible. En particulier, il est connu d’utiliser deux caméras qui sont orientées dans la même direction et observent une même zone pour reconstituer une vue stéréoscopique. Une telle paire de caméras, installée sur un support, est appelée « tête stéréo ».
Afin d’exploiter correctement les données des différents capteurs, il est indispensable de dater les données récupérées, soit dès l’enregistrement en mesurant les instants de mesures des capteurs, soit en post-traitement, en recalant les données qui n’auraient pas été datées. Une datation précise des images des caméras est nécessaire pour exploiter les données du véhicule, essentiellement pour fournir une position précise du véhicule, en particulier lorsque le véhicule se déplace à une vitesse importante. Par exemple, quand le véhicule se déplace à 70 km/h (soit 20 m/s), une erreur de 1 ms correspond à un déplacement du capteur de 2 cm dans le sens de marche du véhicule. En outre, les horloges internes des caméras dérivent dans le temps et le transfert des images vers un module de traitement engendre également des latences. Ces latences sont variables selon le fonctionnement des liaisons entre la ou les caméras et le dispositif utilisant les données de ces images et peuvent être réduites par une datation précise des images.
On connaît un dispositif de datation des images de caméras, décrit dans le document US 2003/0052966, comprenant une source de lumière clignotante agencée dans le champ de vision des caméras et permettant la datation des images des caméras. Cependant, l’intégration d’une telle source de lumière et le maintien de la source de lumière dans le champ de vision des caméras est coûteux et complexe à mettre en oeuvre, en particulier dans le cas d’un véhicule en mouvement. Une autre solution consisterait à équiper chaque caméra d'un récepteur GNSS afin de dater précisément les images prises par celle-ci, mais cette solution n'est économiquement viable.
En outre, ce dispositif ne permet une datation précise des images des caméras. L’invention vise à remédier à ces inconvénients, de façon simple, peu onéreuse et fiable.
Présentation de l’invention
A cet effet, l’invention concerne un procédé de datation d’images obtenues par au moins une caméra, par exemple deux caméras, équipant un véhicule, ledit procédé comprenant les étapes consistant à :
- acquérir un signal de référence, en particulier périodique, comportant une information temporelle, par exemple émis par un système de géolocalisation par satellite équipant ledit véhicule,
- générer un signal modulé, en réponse au signal de référence, en particulier le signal modulé présentant une fréquence plus élevée que la fréquence du signal de référence, ledit signal modulé ayant au moins une impulsion de recalage présentant une période de recalage différente d’une période de base du signal modulé,
- acquérir des images à une fréquence fonction de la fréquence du signal modulé, en particulier à chaque période du signal modulé, chaque image étant associée à un horodatage fourni par la caméra,
- déterminer l’écart de temps entre les horodatages de deux images successives de la caméra et, si l’écart de temps déterminé entre lesdits horodatages est différent de la période de base, par exemple supérieur à la période de recalage, assigner une date de référence auxdites images en fonction de l’information temporelle du signal de référence.
La dernière image peut être considérée comme étant acquise au moment de la période de recalage.
Ainsi, la période du signal modulé est modifiée, spécifiquement à la première période du signal modulé suivant une impulsion du signal de référence, qui est la période de recalage. L’acquisition des images par chaque caméra est déclenchée par le signal modulé qui comprend une période de recalage de durée différente par rapport à la période de base. A la fin de cette période de recalage, le front montant du signal modulé est appelé impulsion de recalage. Ainsi, les images successives de chaque caméra présentant un écart d’horodatage différent de la période de base, correspondent à l’impulsion de recalage du signal modulé et peuvent être datées par rapport au signal de référence. Pour chaque caméra, la datation des images s’effectue donc sur la base de la différence entre les horodatages et non sur la base de la valeur absolue de l’horodatage fournie par la caméra qui peut être déréglée par rapport à l’horodatage de l’autre caméra ou par rapport au signal de référence. Le procédé selon l’invention permet donc de dater les images d’au moins une caméra sans nécessiter un branchement complexe. En outre, le procédé selon l’invention est indépendant du champ de vision de la caméra. Le procédé est donc plus simple, plus économique et plus fiable que les procédés de l’art antérieur.
En outre, le procédé, en datant les images, permet de dater les images avec toute autre information datée par un autre système, tel qu’un autre capteur embarqué dans le véhicule. Par exemple, le procédé peut exploiter des informations, par exemple de position, données ou déduites des images et les utiliser avec des informations de même type obtenues par d’autres capteurs à la même date et ainsi consolider la position du véhicule à la date donnée et obtenir une valeur très précise pour celle-ci.
Le signal modulé peut comprendre une pluralité d’impulsions ayant une même période de base, l’impulsion de recalage présentant une période inférieure ou supérieure à ladite période de base. La période de base peut être par exemple de l’ordre 49.9 ms et la période de l’impulsion de recalage peut être égale à 52 ms, ce qui permet d’avoir 19 périodes de base et 1 période de recalage en 1 seconde.
Le signal modulé peut être un signal électrique périodique, modulé en phase lorsqu’un signal de référence est reçu par la carte électronique. Le signal modulé peut être obtenu par une modulation en période.
Le signal modulé peut comprendre une pluralité de périodes de recalage, au lieu d’une seule période de recalage et une pluralité de périodes de base. La combinaison des différentes périodes peut encoder des informations temporelles moins rapides que 1 seconde.
Selon un mode de réalisation, le signal de référence peut comporter au moins une impulsion de référence, le front montant de l’impulsion de recalage du signal modulé étant décalé temporellement du front montant de l’impulsion de référence du signal de référence, ledit décalage temporel entre les deux fronts montants étant égal à la période de recalage ou à la période de recalage plus un nombre fixe de périodes par défaut.
Le signal de référence peut être un signal de puise par seconde. Par exemple, le front montant du signal de référence peut être synchronisé avec le début de la seconde du temps universel coordonnée.
Selon un mode de réalisation, pour chaque caméra, l’étape consistant à acquérir des images peut être effectuée à chaque impulsion dudit signal modulé, par exemple à chaque front montant desdites impulsions.
Le signal de référence peut être associé à une trame de données du type NMEA comprenant des données relatives à une date et un horaire d’émission du signal de référence.
La trame NMEA peut être conforme au standard NMEA 0183. La trame NMEA peut comprendre une trame GGA portant une information relative à l’horaire d’émission du signal de référence, par exemple l’heure, les minutes, les secondes et éventuellement les millisecondes. La trame NMEA peut comprendre une trame RMC portant une information relative à la date d’émission du signal de référence, par exemple l’année, le mois et le jour. Selon un mode de réalisation, le signal modulé peut être généré à l’aide d’une boucle à verrouillage de phase numérique. L’entrée de la boucle de verrouillage de phase peut être reliée au système de géolocalisation par satellite. Ainsi, la boucle de verrouillage de phase peut prendre en entrée le signal de référence.
Selon un mode de réalisation, pour chaque caméra, l’étape consistant à déterminer l’écart de temps entre les horodatages de deux images successives peut être réalisée par un calculateur.
Le calculateur peut être relié d’une part à chacune des caméras à travers un lien Ethernet et d’autre part au système de géolocalisation par satellite. Le calculateur peut être un ordinateur équipé d’un système d’exploitation du type Linux. Ainsi, le procédé peut être mis en oeuvre de façon moins onéreuse.
Selon un mode de réalisation, le signal modulé peut être généré par une carte électronique reliée au système de géolocalisation par satellite.
La carte électronique peut être reliée à chaque caméra, en particulier à un connecteur de déclenchement de ladite caméra.
La carte électronique peut être configurée pour mettre en oeuvre la boucle en verrouillage de phase. La carte électronique peut être du type Arduino®. Une telle carte permet de réduire les coûts de mise en oeuvre du procédé et de simplifier les branchements nécessaires avec la ou les caméras.
Chaque caméra peut comprendre une horloge interne configurée pour associer un horodatage à une image acquise par ladite caméra. L’horodatage peut correspondre à une durée, exprimée dans une unité temporelle, cumulée depuis un allumage de ladite caméra.
Le système de géolocalisation par satellite peut être intégré dans une centrale inertielle équipant le véhicule.
Par exemple, le véhicule peut être un véhicule autonome ou contrôlé à distance. Le véhicule peut être un véhicule terrestre, aérien ou naval.
Selon un autre aspect de l’invention, il est proposé un dispositif comprenant des moyens pour mettre en oeuvre le procédé précité.
Les différentes étapes du procédé de datation des images selon l’invention peuvent être mises en oeuvre par un logiciel ou programme d’ordinateur. Ce logiciel ou programme est susceptible d’être exécuté par un ordinateur ou par un processeur, par exemple un processeur de données, ce logiciel ou programme comportant des instructions pour commander l’exécution des étapes d’un procédé du type précité. Ces instructions peuvent être stockables dans une mémoire d’un dispositif informatique chargées puis exécutées par un processeur de ce dispositif numérique.
Ce logiciel ou programme d’ordinateur peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
Le programme d’ordinateur peut comporter des instructions pour l’exécution du procédé de datations d’images précité, lorsque ledit programme est exécuté par un processeur. L’invention peut également avoir pour objet un moyen de stockage d'informations, amovible ou non, partiellement ou totalement lisible par un ordinateur ou un microprocesseur, comportant des instructions de code d'un programme d'ordinateur pour l'exécution de chacune des étapes du procédé précité.
Selon un autre aspect, l’invention propose un dispositif de datation d’images obtenues par au moins une caméra, par exemple deux caméras, équipant un véhicule, comprenant :
- un moyen configuré pour émettre un signal de référence comportant une information temporelle, par exemple un système de géolocalisation par satellite équipant ledit véhicule et,
- une carte électronique reliée au moyen d’émission du signal de référence, tel le système de géolocalisation par satellite, et configurée pour générer un signal modulé en réponse au signal de référence, ledit signal modulé ayant au moins une impulsion de recalage de période de recalage différente d’une période de base du signal modulé, dans lequel chaque caméra est reliée à la carte électronique et est configurée pour acquérir des images à une fréquence fonction de la fréquence du signal modulé, chaque image étant associée à un horodatage fourni par la caméra, et ledit dispositif comprenant en outre un calculateur relié d’une part à chaque caméra et d’autre part au moyen d’émission du signal de référence et configuré pour déterminer l’écart de temps entre les horodatages de deux images successives de la caméra et, si l’écart de temps déterminé entre lesdits horodatages est différent de la période de base du signal modulé , assigner une date de référence auxdites images en fonction de l’information temporelle du signal de référence.
Le dispositif peut comprendre une centrale inertielle embarquée dans le véhicule et configurée par exemple pour mesurer une vitesse ou une accélération dudit véhicule. La centrale inertielle peut comprendre le système de géolocalisation par satellite.
La carte électronique peut être configurée pour mettre en oeuvre une boucle en verrouillage de phase pour générer le signal modulé. La carte électronique peut être du type Arduino®.
Le calculateur peut être relié d’une part à chacune des caméras et d’autre part au système de géolocalisation par satellite. Le calculateur peut être un ordinateur équipé d’un système d’exploitation du type Linux.
Chaque caméra peut comprendre une horloge interne configurée pour associer un horodatage à une image acquise par ladite caméra.
Selon un autre aspect, l’invention propose un véhicule comprenant un dispositif tel que décrit précédemment ou des moyens pour mettre en oeuvre le procédé selon l’invention. Brève description des figures
[Fig. 1] la figure 1 est une représentation schématique d’un exemple de réalisation du dispositif selon l’invention,
[Fig. 2] la figure 2 est une représentation schématique des signaux produits par le dispositif de la figure 1 ,
[Fig. 3] la figure 3 représente un exemple du procédé selon l’invention.
Description détaillée de l’invention
Les figures 1 et 2 illustrent un dispositif 100, selon une forme de réalisation de l’invention, destiné à être agencé dans un véhicule, par exemple un véhicule terrestre. Le véhicule est équipé de deux caméras 1011 et 1012 pour aider à la navigation du véhicule et à l’exploration de l’environnement du véhicule.
Le dispositif 100 comprend une centrale inertielle 102 équipée d’un système de géolocalisation par satellite 104, par exemple du type GPS (« Global Positioning System » en anglais) ou GNSS (« Géolocalisation et Navigation par un Système de Satellites »).
Le système de géolocalisation par satellite 104 est adapté pour émettre un signal de référence 202 en particulier un signal de puise par seconde (« PPS »), associé à une information temporelle, par exemple une trame NMEA portant une date et un horaire d’émission du signal de référence « PPS » 202. Le signal de référence « PPS » 202 comprend une impulsion de référence 204.
Le dispositif 100 comprend aussi une carte électronique 106, par exemple du type Arduino®, ayant une entrée reliée au système de géolocalisation par satellite 104. La carte électronique peut présenter une ou une pluralité de sorties, au moins deux des sorties étant reliées à des caméras 101. Bien entendu, il peut exister des sorties complémentaires qui ne sont pas reliées à des caméras 101 . Par ailleurs, le véhicule peut comprendre plus de deux caméras et la carte électronique 106 peut être reliée à tout ou partie des caméras. En outre, la carte électronique 106 peut présenter une unique sortie reliée à chacune des caméras 101 ou à une seule caméra 101 .
La carte électronique 106 est configurée pour produire à chacune de ses sorties reliées à une caméra 101 , un signal modulé 208 ayant une fréquence prédéterminée, par exemple une fréquence égale à la fréquence d’acquisition d’une des caméras 101. En variante, la fréquence du signal modulé peut être supérieure à la fréquence d’acquisition d’une ou de chaque caméra 101 . A titre d’exemple, la fréquence du signal modulé 208 est égale à 20 Hz. Le signal modulé 208 comprend une impulsion de recalage 210 ayant un front montant 212 décalé temporellement par rapport à une période de base du signal modulé, de sorte que l’impulsion de recalage présente une période de recalage différente de la période de base. Cette impulsion de recalage peut se produire juste après le front montant 206 de l’impulsion de référence 204. La durée de la période de recalage DT, différent de la période de base, est prédéterminée. La période de recalage DT est par exemple supérieure à la période de base du signal modulé 208. En variante, la période de recalage DT peut être inférieure à la période de base du signal modulé 208. La période de recalage DT est par exemple égal à 52 ms. En variante, l’impulsion de recalage 210 peut être décalée par rapport à un front descendant ou un autre point du signal de référence PPS 202.
Le véhicule peut comprendre deux caméras 101 formant une tête stéréo agencée dans une partie avant du véhicule présentant une fréquence d’acquisition d’images de 20 Hz. Le véhicule peut comprendre en plus une caméra 101 agencé dans une partie arrière du véhicule et configurée pour la lecture de plaques ou de panneaux de signalisation par exemple, et présentant une fréquence d’acquisition d’images de 10 Hz.
La ou les sorties de la carte électronique 106 peuvent être reliées aux connecteurs de déclenchement des caméras 101.
La carte électronique 106 peut implémenter une boucle à verrouillage de phase numérique pour créer le signal 208.
La carte électronique 106 est configurée pour déclencher une acquisition des images 214 par les caméras 101 en fonction du signal modulé 208. Par exemple, chacune des caméras 101 capture une image à chaque front montant du signal modulé 208.
Les caméras 101 peuvent être tout type de caméras, par exemple des caméras infra-rouge, des caméras thermiques, des caméras matricielles, des caméras linéaires, etc.
Chacune des caméras 1011 et 1012 comprend une horloge interne 103i et 1032 configurée pour associer un horodatage aux images 214 prises par ladite caméra. Les horloges internes 103i et 1032 peuvent être désynchronisées entre elles.
Le dispositif 100 comprend un calculateur 108 relié à la centrale inertielle 102 et est configuré pour recevoir le signal de référence PPS 202 du système de géolocalisation par satellite. Le calculateur 108 est aussi relié à chacune des caméras 101 et est configuré pour recevoir les images 214 capturées par chacune des caméras 101.
Le calculateur 108 reçoit du système de géolocalisation par satellite une trame de données du type NMEA. La trame NMEA comprend une trame RMC portant une information relative à la date d’émission du signal de référence PPS, par exemple l’année, le mois et le jour, et une trame GGA portant une information relative à l’horaire d’émission du signal de référence PPS, par exemple l’heure, les minutes, les secondes et éventuellement les millisecondes.
Le calculateur 108 est en outre configuré pour déterminer une différence entre les horodatages d’images consécutives 214, et 214 +i . Lorsque le calculateur 108 détermine une différence d’horodatage différent de la période de base, une date de référence déterminée par l’information temporelle portée le signal de référence PPS est assignée à l’image 214,+i , par exemple par la date et l’horaire portés par la trame NMEA. Des dates de référence sont aussi assignées aux images précédant et/ou suivant l’image 214,+i en fonction de la date de référence de l’image 214i+i.
Ainsi, le dispositif 100 permet de dater les images des caméras 101 avec un branchement standard et donc sans nécessiter un branchement spécifique entre les deux caméras. Ce dispositif permet aussi de compenser la dérive ou une mauvaise configuration des horloges internes 103 des caméras 101. Le dispositif permet aussi de compenser les latences dues à l’acquisition des images et à leur transmission jusqu’au calculateur. En outre, le dispositif permet de dater les images même en cas de perte d’une image. La détermination de la différence entre les horodatages des images acquises permet de retrouver les dates des images dès que le décalage correspondant à l’impulsion de recalage est détecté. Par exemple, le dispositif 100 permet de dater les images avec une précision inférieure à 1 ms.
La figure 3 représente un exemple de procédé 300 qui peut être mis en oeuvre par le dispositif 100.
Le procédé 300 est prévu pour dater les images obtenues par une ou plusieurs caméras équipant un véhicule, par exemple un véhicule autonome.
Le procédé 300 comprend : une étape 302 consistant à acquérir un signal de référence comportant une information temporelle émis par un système de géolocalisation par satellite équipant le véhicule, et une étape 304 consistant à générer un signal modulé en réponse au signal de référence, ledit signal modulé ayant au moins une impulsion de recalage présentant une période de recalage différente de la période de base du signal modulé.
Le signal de référence peut être le signal 202 de la figure 2. L’information temporelle peut être une trame de données NMEA. Le système de géolocalisation par satellite peut être le système de géolocalisation 104 de la figure 1. Par exemple, le signal modulé peut être le signal modulé 208 de la figure 2.
En outre, l’étape 304 peut être exécutée par une carte électronique, par exemple la carte électronique 106 de la figure 1 .
Le procédé 300 comprend aussi, pour chaque caméra :
- une étape 306 consistant à acquérir des images à une fréquence fonction de la fréquence du signal modulé, chaque image étant associée à un horodatage fourni par la caméra,
- une étape 308 consistant à déterminer l’écart de temps entre les horodatages de deux images successives de la caméra et, si l’écart de temps déterminé entre lesdits horodatages est différent de par exemple supérieur ou égal à la période de recalage, assigner une date de référence auxdites images en fonction de l’information temporelle du signal de référence. Par exemple les caméras peuvent être les caméras 101 de la figure 1. Le procédé peut comprendre, pour chaque caméra, une étape consistant à capturer une image pour chaque front montant du signal modulé.
L’horodatage fourni par la caméra peut être obtenu par une horloge interne de ladite caméra. L’étape 308 peut être exécutée un calculateur, par exemple le calculateur 108 de la figure 1.

Claims

REVENDICATIONS
1. Procédé (300) de datation d’images obtenues par au moins une caméra (101), par exemple deux caméras, équipant un véhicule, ledit procédé comprenant les étapes consistant à :
- acquérir (302) un signal de référence (202) comportant une information temporelle, par exemple émis par un système de géolocalisation par satellite (104) équipant ledit véhicule,
- générer (304) un signal modulé (208) en réponse au signal de référence, ledit signal modulé ayant au moins une impulsion de recalage (210) présentant une période de recalage(AT) différente d’une période de base du signal modulé, et pour chaque caméra :
- acquérir (306) des images (214) à une fréquence fonction de la fréquence du signal modulé, chaque image étant associée à un horodatage fourni par la caméra,
- déterminer (308) l’écart de temps entre les horodatages de deux images successives (214i,214i+i) de la caméra et, si l’écart de temps déterminé entre lesdits horodatages est différent de la période de base du signal modulé, assigner une date de référence auxdites images en fonction de l’information temporelle du signal de référence.
2. Procédé (300) selon la revendication 1, dans lequel le signal modulé (208) comprend une pluralité d’impulsions ayant une même période de base, l’impulsion de recalage (210) présentant une période inférieure ou supérieure à ladite période de base.
3. Procédé (300) selon la revendication 1 ou 2, dans lequel le signal de référence (202) comporte au moins une impulsion de référence (204), le front montant (212) de l’impulsion de recalage du signal modulé étant décalé temporellement du front montant (206) de l’impulsion de référence du signal de référence, ledit décalage temporel entre les deux fronts montants étant égal à la période de recalage ou à la période de recalage plus un nombre fixe de périodes par défaut.
4. Procédé (300) selon l’une des revendications 1 à 3, dans lequel, pour chaque caméra, l’étape consistant à acquérir des images est effectuée à chaque impulsion dudit signal modulé (208), par exemple à chaque front montant desdites impulsions.
5. Procédé (300) selon l’une des revendications 1 à 4, dans lequel le signal de référence (202) est associé à une trame de données du type NMEA comprenant des données relatives à une date et un horaire d’émission du signal de référence.
6. Procédé (300) selon l’une des revendications 1 à 5, dans lequel le signal modulé (208) est généré à l’aide d’une boucle à verrouillage de phase numérique.
7. Procédé (300) selon l’une des revendications 1 à 6, dans lequel, pour chaque caméra, l’étape consistant à déterminer l’écart de temps entre les horodatages de deux images successives est réalisée par un calculateur (108).
8. Procédé (300) selon l’une des revendications 1 à 7, dans lequel le signal modulé (208) est généré par une carte électronique (106) reliée au système de géolocalisation par satellite.
9. Programme d’ordinateur comportant des instructions pour l’exécution d’un procédé selon l’une quelconque des revendications précédentes lorsque ledit programme est exécuté par un processeur.
10. Moyen de stockage d'informations, amovible ou non, partiellement ou totalement lisible par un ordinateur ou un microprocesseur comportant des instructions de code d'un programme d'ordinateur pour l'exécution de chacune des étapes du procédé selon l'une quelconque des revendications 1 à 8.
11. Dispositif (100) de datation d’images obtenues par au moins une caméras (101) équipant un véhicule, comprenant :
- un moyen configuré pour émettre un signal de référence (202) comportant une information temporelle, - une carte électronique (106) reliée au moyen d’émission du signal de référence et configurée pour générer un signal modulé (208) en réponse au signal de référence, ledit signal modulé ayant au moins une impulsion de recalage (210) présentant une période de recalage (DT) différente d’une période de base du signal modulé, dans lequel chaque caméra est reliée à la carte électronique et est configurée pour acquérir des images (214) à une fréquence fonction de la fréquence du signal modulé, chaque image étant associée à un horodatage fourni par la caméra, et ledit dispositif comprenant en outre un calculateur (108) relié d’une part à chaque caméra et d’autre part au moyen d’émission du signal de référence et configuré pour déterminer l’écart de temps entre les horodatages de deux images successives (214j,214j+i) de la caméra et, si l’écart de temps déterminé entre lesdits horodatages est différent de la période de base du signal modulé, assigner une date de référence auxdites images en fonction de l’information temporelle du signal de référence.
PCT/FR2021/050416 2020-03-13 2021-03-11 Procédé et dispositif de datation d'images de caméras WO2021181048A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/906,205 US20230121125A1 (en) 2020-03-13 2021-03-11 Method and device for dating camera images
EP21717142.0A EP4118818A1 (fr) 2020-03-13 2021-03-11 Procédé et dispositif de datation d'images de caméras

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2002517 2020-03-13
FR2002517A FR3108226B1 (fr) 2020-03-13 2020-03-13 Procédé et dispositif de datation d’images de caméras

Publications (1)

Publication Number Publication Date
WO2021181048A1 true WO2021181048A1 (fr) 2021-09-16

Family

ID=71784161

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2021/050416 WO2021181048A1 (fr) 2020-03-13 2021-03-11 Procédé et dispositif de datation d'images de caméras

Country Status (4)

Country Link
US (1) US20230121125A1 (fr)
EP (1) EP4118818A1 (fr)
FR (1) FR3108226B1 (fr)
WO (1) WO2021181048A1 (fr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030052966A1 (en) 2000-09-06 2003-03-20 Marian Trinkel Synchronization of a stereoscopic camera
US7333725B1 (en) * 2005-03-24 2008-02-19 L-3 Communications Sonoma Eo, Inc. Method and apparatus for metadata synchronization
US20180082580A1 (en) * 2015-03-30 2018-03-22 Jenoptik Robot Gmbh A camera system
US20180088584A1 (en) * 2015-12-11 2018-03-29 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2838768C (fr) * 2011-06-09 2019-12-03 Trusted Positioning Inc. Procede et appareil de positionnement et de navigation en temps reel d'une plate-forme mobile
AU2015203570A1 (en) * 2015-06-26 2017-01-19 Canon Kabushiki Kaisha Method, system and apparatus for segmenting an image set to generate a plurality of event clusters
US10368057B1 (en) * 2016-09-28 2019-07-30 Amazon Technologies, Inc. Synchronizing data streams
US10996681B2 (en) * 2018-08-24 2021-05-04 Baidu Usa Llc Time source recovery system for an autonomous driving vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030052966A1 (en) 2000-09-06 2003-03-20 Marian Trinkel Synchronization of a stereoscopic camera
US7333725B1 (en) * 2005-03-24 2008-02-19 L-3 Communications Sonoma Eo, Inc. Method and apparatus for metadata synchronization
US20180082580A1 (en) * 2015-03-30 2018-03-22 Jenoptik Robot Gmbh A camera system
US20180088584A1 (en) * 2015-12-11 2018-03-29 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform

Also Published As

Publication number Publication date
FR3108226A1 (fr) 2021-09-17
US20230121125A1 (en) 2023-04-20
EP4118818A1 (fr) 2023-01-18
FR3108226B1 (fr) 2023-01-13

Similar Documents

Publication Publication Date Title
EP1150138B1 (fr) Methode et système de synchronisation des éléments d'un dispositif sismique utilisant un réseau de transmission standard et une référence temporelle externe
CA2542734C (fr) Systeme et procede de determination de la vitesse instantanee d'un objet
EP2921923A1 (fr) Procédé de suivi d'une orbite de transfert ou d'une phase de mise en orbite d'un vehicule spatial, en particulier à propulsion électrique, et appareil pour la mise en oeuvre d'un tel procédé
FR2991785A1 (fr) Stabilisation d'une ligne de visee d'un systeme d'imagerie embarque a bord d'un satellite
FR3048148A1 (fr) Localisation d'une cible pour vehicule suiveur
EP3379347A1 (fr) Procédé de réglage de la fréquence de marche d'une montre électronique
WO2021181048A1 (fr) Procédé et dispositif de datation d'images de caméras
EP3762738B1 (fr) Camera de vision a mesure de temps de vol optimisee pour environnement multi-cameras
WO2022079196A1 (fr) Procédé de localisation d'objets routiers
EP2245771B1 (fr) Procédé et dispositif de mesure de la dérive temporelle d'un équipement électronique relié à un réseau
FR3064073A1 (fr) Procede et dispositif de determination d'une position
FR3134457A1 (fr) Navigation hybridée avec détection de leurrage par surveillance d'écarts
EP2695377A1 (fr) Detection de debris spatiaux
EP3374736B1 (fr) Procédé d'élaboration d'une navigation et procédé d'orientation d'un organe de visée à partir de cette navigation
FR2945868A1 (fr) Procede et dispositif d'integration d'un emulateur rf gps dans un environnement de simulation
WO2017081166A1 (fr) Procédé de détection de mouvements parasites lors d'un alignement statique d'une centrale inertielle, et dispositif de détection associé
EP0608945A1 (fr) Viseur d'étoile à matrice de DTC, procédé de détecton, et application au recalage d'un engin spatial
FR3075356A1 (fr) Systeme de navigation adapte pour mettre en oeuvre un traitement de fusion ou de consolidation
EP3671280A1 (fr) Système de datation de grande précision de passage d'un objet, notamment d'un satellite
FR2922641A1 (fr) Procede et dispositif de recalage de la position d'un aeronef.
EP1214607B1 (fr) Procede et dispositif pour determiner la duree de transit entre un engin spatial et une station sol
FR2888941A1 (fr) Equipement mobile, procede et systeme de positionnement d'un equipement mobile
FR3132358A1 (fr) procédé de traitement de données, dispositif, système et programme correspondant
EP3628072B1 (fr) Procédé et dispositif de localisation d'un objet mobile soumis à une dynamique de rotation sur lui-même
EP1691214A1 (fr) Système de détérmination de la position absolue d'un engin sous-marin remorqué ou autopropulsé

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21717142

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021717142

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021717142

Country of ref document: EP

Effective date: 20221013

NENP Non-entry into the national phase

Ref country code: DE