WO2022253564A1 - Système d'assistance à la conduite, et procédé de traitement d'images associé - Google Patents

Système d'assistance à la conduite, et procédé de traitement d'images associé Download PDF

Info

Publication number
WO2022253564A1
WO2022253564A1 PCT/EP2022/063264 EP2022063264W WO2022253564A1 WO 2022253564 A1 WO2022253564 A1 WO 2022253564A1 EP 2022063264 W EP2022063264 W EP 2022063264W WO 2022253564 A1 WO2022253564 A1 WO 2022253564A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical element
defect
image
angular position
optical
Prior art date
Application number
PCT/EP2022/063264
Other languages
English (en)
Inventor
Olivier Marroux
Original Assignee
Valeo Systèmes d'Essuyage
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Systèmes d'Essuyage filed Critical Valeo Systèmes d'Essuyage
Priority to EP22728943.6A priority Critical patent/EP4348333A1/fr
Publication of WO2022253564A1 publication Critical patent/WO2022253564A1/fr

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0018—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for preventing ghost images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to the field of driving assistance and in particular to driving assistance systems, installed on certain vehicles, the driving assistance system possibly comprising at least one optical sensor.
  • the present invention also relates to an associated image processing method.
  • optical sensors such as cameras, laser sensors (commonly called LIDAR: acronym for “light detection and ranging” or “laser imaging, detection, and ranging” in English) or other sensors based on emission and/or detection of light in the spectrum visible or invisible to humans, in particular the infrared, are increasingly fitted to motor vehicles.
  • LIDAR laser sensors
  • sensors based on emission and/or detection of light in the spectrum visible or invisible to humans, in particular the infrared
  • driving assistance systems such as parking assistance systems, or lane crossing detection systems.
  • the angle of view is not optimal, in particular for a parking aid, because such cameras, inside the passenger compartment, do not necessarily make it possible to see obstacles located near the rear of the motor vehicle for example.
  • the camera(s) of the driving assistance systems it is preferable to arrange the camera(s) of the driving assistance systems, outside the motor vehicles at different places according to the desired use, for example at the level of the rear or front bumper. , or at the rear or front license plate of the vehicle.
  • a camera is highly exposed to splashes of dirt or grime, mineral or organic, which can deposit on its optics and thus reduce its efficiency, or even render it inoperative, which can greatly affect operability. of the driving assistance system comprising such a camera.
  • an optical element such as a transparent protective lens in front of the camera, and thus to protect the latter from external attacks.
  • the protective lens remains subject to external attacks and can be soiled or even damaged.
  • the protective lens In order to allow it to be cleaned by centrifugal effect, the protective lens is arranged to move in rotation. However, such cleaning may be insufficient for certain persistent dirt, such as tar.
  • the protective lens is also exposed to shocks, for example with objects during driving, which can create scratches or impacts or other damage. This generates defects which degrade, obscure, the images taken by the optical sensor due to the displacement of the defects during the rotation of the protective lens. As a result, the field of view and the quality of the images taken by the optical sensor may be affected.
  • the present invention proposes to remedy at least partially the drawbacks mentioned above by presenting an alternative making it possible to avoid the degradation of the images taken by the optical sensor in the event of a fault present on the optical element upstream.
  • the subject of the invention is a driving assistance system comprising: at least one optical sensor comprising an optic and configured to capture at least one image along an optical axis, and at least one protection device associated with said at least one optical sensor, said device comprising an optical element, transparent, mounted rotatably upstream of the optics of the associated optical sensor along the optical axis, and comprising a motor configured to drive the optical element in rotation.
  • the protection device comprises at least one element for acquiring at least one piece of information representative of at least one angular position of the optical element during the capture of at least one image by the optical sensor associated.
  • the optical element is rotatably mounted around an axis of rotation.
  • the motor is configured to drive the optical element in rotation about an axis of rotation, so as to allow cleaning of the optical element by centrifugal effect.
  • the driving assistance system may also comprise one or more of the following characteristics described below, taken separately or in combination.
  • the motor comprises a fixed stator and a rotor is rotatable around an axis of rotation with respect to the fixed stator.
  • the motor may have a speed of rotation comprised between 1000 and 50000 revolutions/minute, preferably between 5000 and 20000 revolutions/minute, and even more preferably between 7000 and 15000 revolutions/minute.
  • the motor is configured to rotate the optical element continuously in front of the optical sensor when the latter is in operation, at a speed of rotation such that any dirt is ejected from the optical element by centrifugal effect.
  • the work of the centrifugal force thus caused is greater than the adhesion force of the dirt on the optical element.
  • the optical sensor retains good operability and its fouling is limited whatever the climatic conditions.
  • the driver assistance system thus maintains good visibility.
  • the motor is arranged on the side opposite the optical element.
  • the axis of rotation of the motor can be confused with the optical axis.
  • the protection device advantageously comprises a support, or casing, mounted so as to be able to rotate around the axis of rotation.
  • the support can define a housing for receiving the optical sensor, for example so that the optical axis of the optical sensor coincides with the axis of rotation of the support.
  • the protection device comprises a fixed part comprising the stator, and a mobile part comprising the rotor, the support and the optical element.
  • the optical element is mounted integral in rotation with the support and is configured to be arranged at the front of the support.
  • the front of the support means the part of the support intended to face the road scene whose optical sensor participates in the shooting, when the protection device is mounted on the motor vehicle.
  • the rear of the bracket means the part of the bracket opposite the front of the bracket and which is therefore the part farthest from the road stage.
  • the processing unit can be configured to: determine said at least one angular position of the optical element from said at least one representative piece of information received, and deduce, from said at least one angular position of the determined optical element, said at least one angular position of said at least one defect on the optical element.
  • the processing unit can be configured to: receive or determine at least one piece of information representative of the rotational speed of the optical element, and synchronize the capture of images with the rotational speed of the optical element optical.
  • Said at least one acquisition element may include a rotation indicator arranged on the optical element, and arranged to be in the field of view of the associated optical sensor.
  • the rotation indicator commonly called top tower can be a reflective element. It can be made in the form of a bar, for example in a non-limiting way made of aluminum. According to another variant, the rotation indicator can be produced by a known, non-random defect, such as an engraving, on the optical element.
  • said at least one acquisition element may comprise an angular sensor.
  • it is an absolute angle sensor.
  • the angular sensor can be arranged at the level of the mobile part of the protection device, in particular on the optical element or its support, or on the rotor, for example at the level of the coupling zone of the rotor with the stator.
  • the angular sensor can be magnetic, optical in particular by reflection or transmission with photodiode or phototransistor and photo-emitting diode or laser diode, or else holographic.
  • the processing unit comprises at least one processing means for determining the position of the optical element from at least one angle measurement transmitted by the angular sensor arranged in the protection device.
  • said at least one acquisition element may include a measurement unit configured to measure motor phase currents.
  • the measurement unit may include one or more measurement resistors such as shunts for measuring the intensity of the current.
  • the processing unit can be configured to define, as a function of the rotational speed of the optical element, a frequency of image captures, so that at each image capture, said at least least defect is at said at least one determined angular position on the captured image.
  • the processing unit may include at least one image processing means configured to extract said at least one defect located at said at least one determined angular position on the captured image.
  • said at least one optical sensor can be configured to capture at least two consecutive images.
  • Said at least one image processing means can be configured to extract from said at least two images at least one zone having said at least one defect, and to superimpose said at least two images, so as to construct a new image devoid of said at least one minus one defect.
  • the invention also relates to a device for protecting an optical sensor for a driving assistance system as defined above, comprising a transparent optical element configured to be mounted so as to be rotatably mounted upstream of the optical sensor along its optical axis. , and a motor configured to rotate said optical element.
  • Said device advantageously comprises at least one element for acquiring at least one item of information representative of at least one angular position of the optical element during the capture of an image by the optical sensor.
  • Said method may further comprise the following steps: receiving or determining at least one piece of information representative of the rotational speed of the optical element, synchronizing the capture of images with the rotational speed of the optical element.
  • Said at least one defect is removed by image processing on at least one image captured by said at least one optical sensor in a manner synchronized with the speed of rotation of the optical element, taking into account said at least one angular position of said at least one defect on the determined optical element.
  • it is a process synchronization of image capture and processing of captured images.
  • FIG. 1 shows an example of an optical sensor protection device for a driver assistance system.
  • FIG. 1 is a front view of an optical element of the protection device of the .
  • FIG. 1 is a perspective view of a movable part of the protection device of the .
  • FIG. 1 is a rear perspective view of the movable part of the protection device on the .
  • FIG. 1 is a schematic representation showing the interaction between the protection device and a processing unit of the driver assistance system.
  • the invention relates to a driving assistance system intended to be fitted to a motor vehicle.
  • the driving assistance system may in particular comprise one or more optical detection devices such as optical sensors, for example for parking assistance, or contributing in particular to autonomous driving. These are advantageously optical sensors intended to be embedded in the motor vehicle.
  • the driving assistance system comprises in particular at least one optical sensor 1 and an associated protection device 3.
  • the optical sensor 1 is configured to capture at least one image along an optical axis.
  • the optical sensor 1 is for example an optical sensor 1 for shooting such as a camera. It can be a CCD sensor (for “charged coupled device” in English, namely a charge transfer device) or a CMOS sensor comprising a matrix of miniature photodiodes. According to another variant, it may be a sensor for remote sensing by laser called LIDAR sensor, acronym for “light detection and ranging” or “laser imaging, detection, and ranging” in English.
  • LIDAR sensor acronym for “light detection and ranging” or “laser imaging, detection, and ranging” in English.
  • the optical sensor 1 comprises optics such as a lens.
  • the optic may be convex (curved), with its convexity facing outwards from the optical sensor 1. It may be, for example, a so-called fish-eye optic.
  • the optical sensor 1 can be housed inside the protection device 3 as illustrated in the example of the .
  • the protection device 3 can be mounted at the front or at the rear or on the sides of the motor vehicle. It can be installed on any element of the motor vehicle such as a bodywork element or an exterior element, for example at the level of a bumper or the license plate, or at the level of one of the mirrors.
  • the protection device 3 can be fixed using any known technique.
  • the protection device 3 comprises an optical element 5, intended to protect the optics of the optical sensor 1. It is therefore a protective element or mask for the optical sensor 1.
  • the optical element 5 is arranged upstream of the optics of the optical sensor 1.
  • the term upstream is defined with respect to the optical axis of the optical sensor 1.
  • the optical element 5 is therefore intended to be arranged between the optics of the optical sensor 1 and the road scene along the optical axis.
  • this optical element 5 is subjected to possible attacks from the outside, that is to say both splashes of water, pollutants, dirt or solid debris such as gravel, which could damage the optics of the optical sensor 1.
  • the optical element 5 is advantageously dimensioned so as to cover the entire surface of the optics of the optical sensor 1.
  • the optical element 5 is transparent so as not to impair the efficiency of the optical sensor 1. It can be made of glass or of a transparent plastic material. It is for example a lens distinct from the optics of the optical sensor 1, and which can therefore be external to the optical sensor 1.
  • the optical element 5 is rotatably mounted around an axis of rotation A.
  • the optical element 5 is in the example illustrated placed centrally with respect to the axis of rotation A.
  • the protection device 3 advantageously comprises a support 7, or casing, mounted so as to be able to rotate around the axis of rotation A.
  • the support 7 can define a housing for receiving the optical sensor 1 for example so that the optical axis of the optical sensor 1 coincides with the axis of rotation A of the support 7.
  • the support 7 is for example defined by a wall generally cylindrical or substantially cylindrical in shape.
  • the optical element 5 is mounted integral in rotation with the support 7 and is configured to be arranged at the front of the support 7.
  • the front of the support 7 is understood to mean the part of the support 7 intended to face the stage road whose optical sensor 1 participates in the shooting, when the protection device 3 is mounted on the motor vehicle.
  • the rear of support 7 means the part of support 7 opposite to the front of support 7 and which is therefore the part farthest from the road scene.
  • the support 7 is preferably sealed.
  • the protection device 3 further comprises an actuator making it possible to drive the optical element 5 in rotation.
  • the actuator can be coupled to support 7 to drive it in rotation.
  • the optical element 5 is therefore configured to be driven in rotation with the support 7 by the actuator, so as to allow cleaning of the optical element 5 by centrifugal effect.
  • the actuator is for example electrically powered by a power supply which can be connected to the general electrical circuit of the motor vehicle.
  • the actuator may be a motor 9, for example electric, for driving the support 7 in rotation.
  • it may more particularly be a brushless motor, also known under the name “brushless engine” in English.
  • the motor 9 comprises a fixed stator 91 and a rotor 93 is rotatable around an axis of rotation with respect to the fixed stator 91.
  • the motor 9 can have a speed of rotation around 10,000 rpm.
  • the motor 9 is arranged at the rear of the support 7, on the side opposite the optical element 5.
  • the axis of rotation of the motor 9 may coincide with the axis of rotation A of support 7, and therefore with the optical axis.
  • the protection device 3 comprises a fixed part comprising the stator 91, and a mobile part comprising the rotor 93, the support 7 and the optical element 5.
  • the driving assistance system comprises at least one element for acquiring at least one item of information representative of the angular position of the optical element 5.
  • an acquisition element can in particular form part of the device for protection 3, be mounted on an element of the latter.
  • Different embodiments for the acquisition of at least one piece of information representative of the angular position of the optical element 5 can be envisaged.
  • At least one acquisition element can be produced by a rotation indicator 11, a very schematic example of which is represented on the .
  • the rotation indicator 11 can be arranged on the optical element 5, so as to be in the field of vision of the optical sensor. Thus, the rotation indicator 11 appears on the images captured by the optical sensor. In other words, when taking images, the optical sensor also "reads" this rotation indicator 11.
  • Such a rotation indicator 11 is commonly called top turn. It may be a reflective element, for example made in the form of a bar. Such a bar is for example in a non-limiting way made of aluminum. According to another variant, the rotation indicator 11 can be produced by a known, non-random defect, such as an engraving, on the optical element 5.
  • a single rotation indicator 11 is shown.
  • several rotation indicators, or top-turns, can be provided in order to improve the detection of the angular position.
  • At least one acquisition element can be an angular sensor 13 which makes it possible to know the position of the optical element 5 in rotation.
  • it is an absolute angle sensor.
  • the angular sensor 13 can be arranged at the level of the mobile part of the protection device 3, in particular on the optical element 5 or its support 7, or on the rotor 93, for example at the level of the coupling zone Z of the rotor 93 with stator 91.
  • the angular sensor 13 can be magnetic, optical in particular by reflection or transmission with photodiode or phototransistor and photo-emitting diode or laser diode, or even holographic.
  • the angular position of the optical element 5 can be determined from the phase currents of the motor 9.
  • the protection device 3 includes a measurement unit 15 (see ) configured to measure motor phase currents 9.
  • the measuring unit 15 comprises for example one or more measuring resistors such as shunts making it possible to measure the intensity of the current.
  • the driving assistance system comprises at least one processing unit 17.
  • the processing unit 17 comprises for example at least one microprocessor or microcontroller.
  • a central processing unit 17 such as a central processor of the motor vehicle for example.
  • the processing unit 17 could be associated with an optical sensor 1 and a protection device 3.
  • It could be for example a microprocessor or microcontroller which could be dimensioned in order to process one or more images captured by the associated optical sensor 1 in order to provide a processed image to a motor vehicle control system for example.
  • the processing unit 17 may comprise one or more means for processing images acquired and transmitted by at least one optical sensor 1, when several optical sensors 1 equip the motor vehicle, or by the optical sensor 1 associated with processing unit 17.
  • Such a processing unit 17 can also receive one or more pieces of information representative of the angular position of the optical element.
  • the processing unit 17 can determine the angular position of the optical element 5 as a function of the positioning of the rotation indicator 11, or of the rotation indicators 11, on the images captured by the sensor optical 1. This determination is more precisely implemented by at least one image processing means of the processing unit 17. With this solution it is not necessary to arrange a particular measurement system on the protection 3.
  • the optical sensor 1 which is behind the optical element 5 detects the rotation indicator 11, which gives information concerning the position of this rotation indicator 11 and by image processing the angular position of the element optical 5 is deducted.
  • the processing unit 17 can receive one or more pieces of information coming in particular from at least one angular sensor 13 (FIGS. 3a to 4).
  • the processing unit 17 may include analysis means for analyzing and determining, based on the information received, the angular position of the optical element 5.
  • the processing unit 17 can determine the angular position of the optical element 5 from one or more phase current measurements of the motor 9 transmitted by the measurement unit 15.
  • the processing unit 17 comprises for example at least one microcontroller capable of measuring a speed of rotation and an angular position of the motor 9, in particular of the brushless or "brushless" type in English.
  • the processing unit 17 can comprise at least one integrated circuit, notably comprising voltage amplifiers allowing the measurement of the phase currents.
  • a defect 100 resistant to a cleaning cycle for example by spraying a cleaning fluid, is present on the optical element 5, as schematized in a very simplified way on the . It may also be an impact or a scratch that has damaged the optical element 5 or even dirt or a very persistent deposit, such as tar for example.
  • the processing unit 17 is configured to detect when a defect 100 is present in the field of vision of the optical sensor 1. This detection can be done by image processing.
  • the processing unit 17, more precisely the image processing means or means, can determine the angular position of the defect 100 on the images captured by the optical sensor 1.
  • the angular position of the defect 100 can be deduced from the angular position of the optical element 5, itself determined from one or more pieces of information received from at least one acquisition element, examples of which have been previously described.
  • the processing unit 17 can be configured to remove by image processing the defect then appearing on the images captured by the optical sensor. This suppression is done taking into account the angular position of the defect 100 determined.
  • the capture of images by the optical sensor 1 can be synchronized with the speed of rotation of the optical element 5. This synchronization makes it possible to eliminate the noise generated by the presence of this defect 100 which rotates in front of the sensor. optics 1.
  • the processing unit 17 can also receive and analyze at least one piece of information representative of the speed of rotation of the optical element 5, or determine the speed of rotation.
  • the speed of rotation can be known from the angular position of the optical element 5.
  • the processing unit 17 can include at least one processing or calculation means for deriving the position with respect to time in order to deduce therefrom the speed of rotation of the optical element 5.
  • the time information can be obtained thanks to an internal clock of a microcontroller, for example of the processing unit 17 , by measuring the time between two passages of the rotation indicator 11, or even by precisely measuring the phase currents.
  • This speed of rotation makes it possible to calculate the displacement of the defect 100 in front of the optics of the optical sensor 1, running the risk of generating a more or less circular zone that is blurred or darkened on the images taken by this optical sensor 1.
  • the processing unit 17 can define a frequency for the image captures by the optical sensor 1. This frequency is chosen so that at each image capture, the default 100 is at the same angular position.
  • the optical sensor 1 takes an image when the optical element 5 is placed so that the defect 100 is always in the same place.
  • the optical sensor 1 can take, for example, one image per revolution, which is sufficient for the human eye.
  • the frequency is chosen so that at each image capture, the defect 100 is in one of the defined angular positions.
  • the optical sensor 1 takes an image when the optical element 5 is placed so that the defect 100 is always at one of the precise locations identified on the image.
  • the optical sensor 1 can take one image per half-turn.
  • the processing unit 17 in particular said at least one image processing means, can filter the captured images so as to extract the image of the defect 100.
  • the filtering can be done by eliminating a zone containing the defect on several images and by superimposing these images so as to reconstruct an image without defect.
  • the optical sensor is configured to capture at least two consecutive images i1, i2.
  • the optical sensor can take an image i1, i2 per half-turn of the optical element 5. With a speed of rotation of the order of 10,000 revolutions per minute, these two images i1, i2 are taken very close in time. On these two consecutive i1, i2 images taken very quickly, the surrounding landscape, the road scene, do not have time to evolve, to move, significantly on the i1, i2 images, while the default 100 he moves very fast.
  • the defect 100, or rather its image is in this example in the upper zone i11 of the first image i1 and in the lower zone i22 of the second image i2 according to the orientation of the .
  • the areas with the defect 100 can be extracted and the areas with no defect can be superimposed so as to construct a new i3 image.
  • the new image i3 can be constructed by superimposing the two images i1, i2.
  • the upper zone i11 of the first image i1 can be extracted and the lower zone i12 of the first flawless image i1 can be kept, as symbolized by the arrow F1.
  • the lower zone i22 of the second image i2 can be extracted and the upper zone i21 of the second image i2 without defects can be kept, as symbolized by the arrow F2.
  • the new image i3 is obtained, as symbolized by the arrow F3, from the upper zone i21 of the second image i2 and from the lower zone i22 of the second image i2. The defect is no longer visible on this new built i3 image.
  • the method comprises at least one step for detecting the presence of at least one fault 100 on the optical element 5 of the protection device 3.
  • This step can be implemented by the processing unit 7 previously described , for example by image processing.
  • the method comprises at least one step for acquiring at least one piece of information representative of at least one angular position of the optical element 5 during the capture of at least one image by the sensor optical 1.
  • This acquisition step can be implemented at least in part by means of one or more acquisition elements 11, 13, 15 as previously described.
  • Processing unit 7 can receive information representative of the angular position of optical element 5.
  • This step can be implemented by the processing unit 7, in particular by one or more image analysis and/or processing means of the processing unit 7.
  • the method comprises at least one step for determining the angular position of the optical element 5 from at least one piece of representative information received from at least one acquisition element 11, 13, 15 as previously described, and to deduce therefrom, in particular by image processing, the angular position of the defect 100 on one or more images captured by the optical sensor 1.
  • the defect 100 can be removed by image processing on at least one image captured by the optical sensor 1, taking into account the angular position of the defect 100 on the optical element 5 determined during a previous step.
  • This deletion step can be implemented by the processing unit 7, in particular by one or more image processing means of the processing unit 7.
  • the method also makes it possible to synchronize the image capture with the speed of rotation of the optical element 5.
  • the speed of rotation of the optical element 5 can be determined for example by the processing unit 17 or acquired via a measurement system at the level of the protection device 3.
  • the capture of images by the optical sensor 1 is synchronized with the speed of rotation of the optical element 5.
  • This synchronization can be implemented by the processing unit 17, by defining a frequency for the image captures so that at each image capture, the defect 100 is at a defined angular position.
  • This angular position can always be the same, or several angular positions can be defined.
  • the method comprises one or more image processing steps to remove the defect 100 appearing on the images captured in a synchronized manner with the rotational speed of the optical element 5, for example by filtering the image areas containing the defect 100 and by superimposing these images so as to reconstruct an image without defect.
  • the protection device 3 makes it possible at least to acquire and transmit rotation information to the processing unit 17 which can then remove the defect appearing on the captured images. by the optical sensor 1.
  • the processing unit 17 makes it possible to synchronize the capture of images with the speed of rotation and to filter the captured images so as to extract the defect 100.
  • This processing unit 17 can be integrated into the protection device 13 or be part of a central processor of the motor vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

L'invention concerne un système d'assistance à la conduite comportant au moins un capteur optique et au moins un dispositif de protection (3) associé comprenant un élément optique (5), transparent, monté mobile en rotation. Le dispositif de protection (3) comporte au moins un élément d'acquisition (11) d'au moins une information représentative d'au moins une position angulaire de l'élément optique lors de la capture d'une image. Ledit système comporte une unité de traitement configurée pour détecter la présence d'au moins un défaut (100) sur l'élément optique (5), recevoir l'information représentative de la position angulaire de l'élément optique, déterminer en fonction, au moins une position angulaire dudit défaut sur l'élément optique, et supprimer par traitement d'images ledit défaut sur ladite image capturée, en tenant compte de la position angulaire dudit défaut sur l'élément optique déterminée.

Description

Système d’assistance à la conduite, et procédé de traitement d’images associé
La présente invention se rapporte au domaine de l’aide à la conduite et notamment aux systèmes d’assistance à la conduite, implantés sur certains véhicules, le système d’assistance à la conduite pouvant comporter au moins un capteur optique. La présente invention se rapporte également un procédé de traitement d’images associé.
De nos jours, des capteurs optiques tels que des caméras, des capteurs laser (communément appelés LIDAR : acronyme de « light detection and ranging » ou de « laser imaging, detection, and ranging » en langue anglaise) ou autres capteurs basés sur l’émission et/ou la détection de la lumière dans le spectre visible ou invisible pour l’Homme, en particulier l’infrarouge, équipent de plus en plus les véhicules automobiles. Ils font notamment partie de systèmes d’assistance à la conduite, tels que des systèmes d’aide au stationnement, ou encore des systèmes de détection de franchissement de ligne.
En particulier, il est connu d’équiper les véhicules automobiles avec des caméras de vision arrière pour une aide au stationnement, permettant de détecter les obstacles situés à l’arrière du véhicule. Ces caméras peuvent être installées à l’intérieur de l’habitacle, par exemple contre la lunette ou la vitre arrière en visant vers l’arrière depuis la lunette arrière du véhicule. Elles sont alors bien protégées des aléas climatiques et des salissures causées par des polluants organiques ou minéraux.
Cependant, l’angle de vue n’est pas optimal, en particulier pour une aide au stationnement, car de telles caméras, à l’intérieur de l’habitacle, ne permettent pas forcément de voir des obstacles se trouvant à proximité de l’arrière du véhicule automobile par exemple.
Pour cette raison, il est préférable d’agencer la ou les caméras des systèmes d’assistance à la conduite, à l’extérieur des véhicules automobiles à différents endroits selon l’utilisation souhaitée, par exemple au niveau du pare-chocs arrière ou avant, ou au niveau de la plaque d’immatriculation arrière ou avant du véhicule. Cependant, dans ce cas, une telle caméra est fortement exposée à des projections de saletés ou salissures, minérales ou organiques, qui peuvent se déposer sur son optique et ainsi réduire son efficacité, voire la rendre inopérante, ce qui peut grandement affecter l’opérabilité du système d’assistance à la conduite comprenant une telle caméra.
Pour contrer le dépôt de saletés sur une telle caméra, il est connu d’agencer un élément optique tel qu’une lentille de protection transparente devant la caméra, et de protéger ainsi cette dernière des agressions extérieures. Toutefois, la lentille de protection reste soumise aux agressions extérieures et peut être salie voire endommagée.
Afin de permettre son nettoyage par effet centrifuge, la lentille de protection est agencée mobile en rotation. Cependant, un tel nettoyage peut s’avérer insuffisant pour certaines salissures persistantes, comme par exemple du goudron. De plus, la lentille de protection est également exposée à des chocs par exemple avec des objets lors de la conduite, pouvant créer des rayures ou impacts ou autre endommagement. Cela génère des défauts qui dégradent, obscurcissent, les images prises par le capteur optique du fait du déplacement des défauts lors de la rotation de la lentille de protection. De ce fait, le champ de vision et la qualité des images prises par le capteur optique peuvent être affectés.
La présente invention se propose de remédier au moins partiellement aux inconvénients ci-dessus mentionnés en présentant une alternative permettant d’éviter la dégradation des images prises par le capteur optique en cas de défaut présent sur l’élément optique en amont.
À cet effet, l’invention a pour objet un système d’assistance à la conduite comportant : au moins un capteur optique comprenant une optique et configuré pour capturer au moins une image selon un axe optique, et au moins un dispositif de protection associé audit au moins un capteur optique, ledit dispositif comprenant un élément optique, transparent, monté mobile en rotation en amont de l’optique du capteur optique associé selon l’axe optique, et comprenant un moteur configuré pour entrainer en rotation l’élément optique.
Selon l’invention, le dispositif de protection comporte au moins un élément d’acquisition d’au moins une information représentative d’au moins une position angulaire de l’élément optique lors de la capture d’au moins une image par le capteur optique associé.
Ledit système comporte une unité de traitement configurée pour :
  • détecter la présence d’au moins un défaut sur l’élément optique,
  • recevoir ladite au moins une information représentative de ladite au moins une position angulaire de l’élément optique,
  • déterminer à partir de ladite au moins une information représentative reçue, au moins une position angulaire dudit au moins un défaut sur l’élément optique, et
  • supprimer par traitement d’images ledit au moins un défaut sur ladite au moins une image capturée par ledit au moins un capteur optique, en tenant compte de ladite au moins une position angulaire dudit au moins un défaut sur l’élément optique déterminée.
Plus particulièrement, l’élément optique est monté rotatif autour d’un axe de rotation.
En effet, le moteur est configuré pour entrainer en rotation l’élément optique autour d’un axe de rotation, de façon à permettre un nettoyage de l’élément optique par effet centrifuge.
Le système d’assistance à la conduite peut en outre comporter une ou plusieurs caractéristiques suivantes décrites ci-après, prises séparément ou en combinaison.
Selon un aspect, le moteur comporte un stator fixe et un rotor est mobile en rotation autour d’un axe de rotation par rapport au stator fixe. Le moteur peut avoir une vitesse de rotation comprise entre 1000 et 50000 tours/minute, de préférence entre 5000 et 20000 tours/minute, et de manière encore préférée entre 7000 et 15000 tours/minute.
Ainsi, le moteur est configuré pour faire tourner l’élément optique en continue devant le capteur optique lorsque celui-ci est en fonctionnement, à une vitesse de rotation telle que les salissures éventuelles sont éjectées de l’élément optique par effet centrifuge. En effet, le travail de la force centrifuge ainsi provoquée est supérieur à la force d'adhésion des salissures sur l'élément optique. Ainsi, le capteur optique conserve une bonne opérabilité et son encrassement est limité quelles que soient les conditions climatiques. Le système d'assistance à la conduite conserve ainsi une bonne visibilité.
Selon un aspect, le moteur est agencé du côté opposé à l’élément optique. Dans ce cas, l’axe de rotation du moteur peut être confondu avec l’axe optique.
Selon un aspect, le dispositif de protection comporte avantageusement un support, ou boîtier, monté mobile en rotation autour de l’axe de rotation.
Le support peut définir un logement de réception du capteur optique par exemple de sorte que l’axe optique du capteur optique, soit confondu avec l’axe de rotation du support.
Ainsi, le dispositif de protection comporte une partie fixe comprenant le stator, et une partie mobile comprenant le rotor, le support et l’élément optique.
Selon un aspect, l’élément optique est monté solidaire en rotation avec le support et est configuré pour être disposé à l’avant du support. L’avant du support s’entend de la partie du support destinée à faire face à la scène de route dont le capteur optique participe à la prise de vues, lorsque le dispositif de protection est monté sur le véhicule automobile. Par opposition, l’arrière du support s’entend de la partie du support opposée à l’avant du support et qui est donc la partie la plus éloignée de la scène de route.
Selon un aspect, l’unité de traitement peut être configurée pour : déterminer ladite au moins une position angulaire de l’élément optique à partir de ladite au moins une information représentative reçue, et déduire, de ladite au moins une position angulaire de l’élément optique déterminée, ladite au moins une position angulaire dudit au moins un défaut sur l’élément optique.
Selon un autre aspect, l’unité de traitement peut être configurée pour : recevoir ou déterminer au moins une information représentative de la vitesse de rotation de l’élément optique, et synchroniser la capture d’images avec la vitesse de rotation de l’élément optique.
Ledit au moins un élément d’acquisition peut comporter un indicateur de rotation disposé sur l’élément optique, et agencé pour être dans le champ de vision du capteur optique associé.
L’indicateur de rotation communément appelé top tour peut être un élément réflecteur. Il peut être réalisé sous forme de barre, par exemple de façon non limitative réalisée en aluminium. Selon une autre variante, l’indicateur de rotation peut être réalisé par un défaut connu, non aléatoire, comme une gravure, sur l’élément optique.
En variante ou en complément, ledit au moins un élément d’acquisition peut comporter un capteur angulaire. De préférence, il s’agit d’un capteur d’angle absolu.
Le capteur angulaire peut être disposé au niveau de la partie mobile du dispositif de protection, notamment sur l’élément optique ou son support, ou sur le rotor, par exemple au niveau de la zone d’accouplage du rotor avec le stator.
De façon non exhaustive, le capteur angulaire peut être magnétique, optique notamment par réflexion ou transmission avec photodiode ou phototransistor et diode photo émettrice ou diode laser, ou encore holographique.
L’unité de traitement comporte au moins un moyen de traitement pour déterminer la position de l’élément optique à partir d’au moins une mesure d’angle transmise par le capteur angulaire agencé dans le dispositif de protection.
Selon encore une autre variante ou en complément, ledit au moins un élément d’acquisition peut comporter une unité de mesure configurée pour mesurer des courants de phase du moteur.
L’unité de mesure peut comporter une ou plusieurs résistances de mesure telle que des shunts permettant de mesurer l’intensité du courant.
Selon un autre aspect, l’unité de traitement peut être configurée pour définir, en fonction de la vitesse de rotation de l’élément optique, une fréquence de captures d’images, de sorte qu’à chaque capture d’image, ledit au moins défaut est à ladite au moins une position angulaire déterminée sur l’image capturée.
L’unité de traitement peut comporter au moins un moyen de traitement d’images configuré pour extraire ledit au moins un défaut situé à ladite au moins une position angulaire déterminée sur l’image capturée.
Selon encore un autre aspect, ledit au moins un capteur optique peut être configuré pour capturer au moins deux images consécutives.
Ledit au moins un moyen de traitement d’images peut être configuré pour extraire desdites au moins deux images au moins une zone présentant ledit au moins un défaut, et pour superposer lesdites au moins deux images, de façon à construire une nouvelle image dépourvue dudit au moins un défaut.
L’invention concerne également un dispositif de protection d’un capteur optique pour système d’assistance à la conduite tel que défini précédemment, comprenant un élément optique, transparent, configuré pour être monté mobile en rotation en amont du capteur optique selon son axe optique, et un moteur configuré pour entrainer en rotation ledit élément optique. Ledit dispositif comporte avantageusement au moins un élément d’acquisition d’au moins une information représentative d’au moins une position angulaire de l’élément optique lors de la capture d’une image par le capteur optique.
L’invention concerne également un procédé associé pour le traitement d’images capturées, pour un système d’assistance à la conduite tel que défini précédemment, comportant au moins un capteur optique et un dispositif de protection associé. Ledit procédé comporte les étapes suivantes :
  • détecter la présence d’au moins un défaut sur l’élément optique du dispositif de protection, par exemple au moyen de l’unité de traitement,
  • recevoir au moins une information représentative d’au moins une position angulaire de l’élément optique lors de la capture d’au moins une image par le capteur optique, par exemple au moyen dudit au moins un élément d’acquisition du dispositif de protection,
  • déterminer, à partir de ladite au moins une information représentative reçue, au moins une position angulaire dudit au moins un défaut sur l’élément optique, par exemple au moyen de l’unité de traitement notamment par traitement d’images,
  • supprimer par traitement d’images ledit au moins un défaut sur au moins une image capturée par ledit au moins un capteur optique, en tenant compte de ladite au moins une position angulaire dudit au moins un défaut sur l’élément optique déterminée, par exemple au moyen de l’unité de traitement.
Ledit procédé peut comporter en outre les sous-étapes suivantes :
  • à partir de ladite au moins une information représentative acquise, déterminer ladite au moins une position angulaire de l’élément optique, par exemple au moyen de l’unité de traitement,
  • à partir de ladite au moins une position angulaire de l’élément optique déterminée, déduire au moins une position angulaire dudit au moins un défaut sur l’élément optique, par exemple au moyen de l’unité de traitement notamment par traitement d’images.
Ledit procédé peut comporter en outre les étapes suivantes : recevoir ou déterminer au moins une information représentative de la vitesse de rotation de l’élément optique, synchroniser la capture d’images avec la vitesse de rotation de l’élément optique.
Ledit au moins un défaut est supprimé par traitement d’images sur au moins une image capturée par ledit au moins un capteur optique de façon synchronisée avec la vitesse de rotation de l’élément optique, en tenant compte de ladite au moins une position angulaire dudit au moins un défaut sur l’élément optique déterminée. Dans ce cas il s’agit d’un procédé de synchronisation de capture d’images et de traitement d’images capturées.
D’autres avantages et caractéristiques de l’invention apparaîtront plus clairement à la lecture de la description suivante donnée à titre d’exemple illustratif et non limitatif, et des dessins annexés parmi lesquels :
montre un exemple de dispositif de protection de capteur optique pour un système d’assistance à la conduite.
est une vue de face d’un élément optique du dispositif de protection de la .
est une vue en perspective d’une partie mobile du dispositif de protection de la .
est une vue en perspective arrière de la partie mobile du dispositif de protection sur la .
est une représentation schématique montrant l’interaction entre le dispositif de protection et une unité de traitement du système d’assistance à la conduite.
montre de façon schématique des étapes de traitement d’images pour supprimer un défaut sur des images capturées par le capteur optique.
Sur ces figures, les éléments identiques portent les mêmes numéros de référence.
Les réalisations suivantes sont des exemples. Bien que la description se réfère à un ou plusieurs modes de réalisation, ceci ne signifie pas nécessairement que chaque référence concerne le même mode de réalisation, ou que les caractéristiques s’appliquent seulement à un seul mode de réalisation. De simples caractéristiques de différents modes de réalisation peuvent également être combinées ou interchangées pour fournir d’autres réalisations.
L’invention concerne un système d’assistance à la conduite destiné à équiper un véhicule automobile. Le système d’assistance à la conduite peut comporter notamment un ou plusieurs dispositifs de détection optique tels que des capteurs optiques, par exemple pour une assistance au stationnement, ou contribuant notamment à une autonomisation de la conduite. Il s’agit avantageusement de capteurs optiques destinés à être embarqués sur le véhicule automobile.
Système d’assistance
En référence à la , le système d’assistance à la conduite comporte notamment au moins un capteur optique 1 et un dispositif de protection 3 associé.
Le capteur optique 1 est configuré pour capturer au moins une image selon un axe optique. Le capteur optique 1 est par exemple un capteur optique 1 de prise de vues tel qu’une caméra. Il peut s’agir d’un capteur CCD (pour “charged coupled device” en anglais à savoir un dispositif à transfert de charge) ou d’un capteur CMOS comportant une matrice de photodiodes miniatures. Selon une autre variante, il peut s’agir d’un capteur pour télédétection par laser dit capteur LIDAR, acronyme de « light detection and ranging » ou de « laser imaging, detection, and ranging » en langue anglaise.
Par ailleurs, le capteur optique 1 comporte une optique telle qu’une lentille. L’optique peut être convexe (bombée), de convexité orientée vers l’extérieur du capteur optique 1. Il peut s’agir par exemple d’une optique dite œil de poisson (“fish-eye” en anglais).
Le capteur optique 1 peut être logé à l’intérieur du dispositif de protection 3 comme illustré dans l’exemple de la . Le dispositif de protection 3 peut être monté à l’avant ou à l’arrière ou sur les côtés du véhicule automobile. Il peut être installé sur tout élément du véhicule automobile tel qu’un élément de carrosserie ou un élément extérieur par exemple au niveau d’un pare-chocs ou de la plaque d’immatriculation, ou au niveau d’un des rétroviseurs. Le dispositif de protection 3 peut être fixé selon toute technique connue.
Le dispositif de protection 3 comporte un élément optique 5, destiné à protéger l’optique du capteur optique 1. Il s’agit donc d’un élément ou d’un masque de protection du capteur optique 1.
L’élément optique 5 est disposé en amont de l’optique du capteur optique 1. Dans la présente, le terme amont est défini par rapport à l’axe optique du capteur optique 1. L’élément optique 5 est donc destiné à être disposé entre l’optique du capteur optique 1 et la scène de route selon l’axe optique. Ainsi, cet élément optique 5 est soumis aux agressions éventuelles provenant de l’extérieur, c’est-à-dire aussi bien des projections d’eau, de polluants, de salissures ou débris solides tels que des graviers, qui pourraient abimer l’optique du capteur optique 1. L’élément optique 5 est avantageusement dimensionné de façon à recouvrir toute la surface de l’optique du capteur optique 1.
L’élément optique 5 est transparent de façon à ne pas nuire à l’efficacité du capteur optique 1. Il peut être réalisé en verre ou en un matériau plastique transparent. Il s’agit par exemple d’une lentille distincte de l’optique du capteur optique 1, et qui peut donc être extérieure au capteur optique 1.
L’élément optique 5 est monté rotatif autour d’un axe de rotation A. L’élément optique 5 est dans l’exemple illustré disposé de façon centrée par rapport à l’axe de rotation A.
En outre, le dispositif de protection 3 comporte avantageusement un support 7, ou boîtier, monté mobile en rotation autour de l’axe de rotation A.
Le support 7 peut définir un logement de réception du capteur optique 1 par exemple de sorte que l’axe optique du capteur optique 1, soit confondu avec l’axe de rotation A du support 7. Le support 7 est par exemple défini par une paroi de forme générale cylindrique ou sensiblement cylindrique.
L’élément optique 5 est monté solidaire en rotation avec le support 7 et est configuré pour être disposé à l’avant du support 7. L’avant du support 7 s’entend de la partie du support 7 destinée à faire face à la scène de route dont le capteur optique 1 participe à la prise de vues, lorsque le dispositif de protection 3 est monté sur le véhicule automobile. Par opposition, l’arrière du support 7 s’entend de la partie du support 7 opposée à l’avant du support 7 et qui est donc la partie la plus éloignée de la scène de route.
Par ailleurs, le support 7 est de préférence étanche.
Le dispositif de protection 3 comporte de plus un actionneur permettant d’entraîner en rotation l’élément optique 5.
L’actionneur peut être couplé au support 7 pour l’entrainer en rotation. L’élément optique 5 est donc configuré pour être entrainé en rotation avec le support 7 par l’actionneur, de façon à permettre un nettoyage de l’élément optique 5 par effet centrifuge.
L’actionneur est par exemple alimenté électriquement par une alimentation qui peut être reliée au circuit électrique général du véhicule automobile. L’actionneur peut être un moteur 9 par exemple électrique pour l’entrainement en rotation du support 7. À titre d’exemple non limitatif, il peut s’agir plus particulièrement d’un moteur sans balais, aussi connu sous la dénomination « brushless motor » en anglais.
En particulier, le moteur 9 comporte un stator 91 fixe et un rotor 93 est mobile en rotation autour d’un axe de rotation par rapport au stator fixe 91. Le moteur 9 peut avoir une vitesse de rotation autour de 10000 tours/minute.
Selon le mode de réalisation illustré, le moteur 9 est agencé à l’arrière du support 7, du côté opposé à l’élément optique 5. Dans ce cas, l’axe de rotation du moteur 9 peut être confondu avec l’axe de rotation A du support 7, et donc avec l’axe optique.
Ainsi, le dispositif de protection 3 comporte une partie fixe comprenant le stator 91, et une partie mobile comprenant le rotor 93, le support 7 et l’élément optique 5.
En outre, le système d’assistance à la conduite comporte au moins un élément d’acquisition d’au moins une information représentative de la position angulaire de l’élément optique 5. Un tel élément d’acquisition peut notamment faire partie du dispositif de protection 3, être monté sur un élément de ce dernier. Différents modes de réalisation pour l’acquisition d’au moins une information représentative de la position angulaire de l’élément optique 5 peuvent être envisagés.
Selon un mode de réalisation, au moins un élément d’acquisition peut être réalisé par un indicateur de rotation 11, dont un exemple très schématique est représenté sur la .
L’indicateur de rotation 11 peut être disposé sur l’élément optique 5, de façon à être dans le champ de vision du capteur optique. Ainsi, l’indicateur de rotation 11 apparaît sur les images capturées par le capteur optique. Autrement dit, lors d’une prise d’images, le capteur optique « lit » également cet indicateur de rotation 11.
Un tel indicateur de rotation 11 est communément appelé top tour. Il peut s’agir d’un élément réflecteur, par exemple réalisé sous forme de barre. Une telle barre est par exemple de façon non limitative réalisée en aluminium. Selon une autre variante, l’indicateur de rotation 11 peut être réalisé par un défaut connu, non aléatoire, comme une gravure, sur l’élément optique 5.
Dans l’exemple de la , un seul indicateur de rotation 11 est représenté. Bien entendu, plusieurs indicateurs de rotation, ou top-tours, peuvent être prévus afin d’améliorer la détection de la position angulaire.
En référence aux figures 3a et 3b, au moins un élément d’acquisition peut être un capteur angulaire 13 qui permet de connaitre la position de l’élément optique 5 en rotation. De préférence, il s’agit d’un capteur d’angle absolu.
Le capteur angulaire 13 peut être disposé au niveau de la partie mobile du dispositif de protection 3, notamment sur l’élément optique 5 ou son support 7, ou sur le rotor 93, par exemple au niveau de la zone Z d’accouplage du rotor 93 avec le stator 91.
De façon non exhaustive, le capteur angulaire 13 peut être magnétique, optique notamment par réflexion ou transmission avec photodiode ou phototransistor et diode photo émettrice ou diode laser, ou encore holographique.
Selon encore un autre mode de réalisation, la position angulaire de l’élément optique 5 peut être déterminée à partir des courants de phase du moteur 9. A cet effet, le dispositif de protection 3 comporte une unité de mesure 15 (voir ) configurée pour mesurer des courants de phase du moteur 9. L’unité de mesure 15 comporte par exemple une ou plusieurs résistances de mesure telle que des shunts permettant de mesurer l’intensité du courant.
En outre, le système d’assistance à la conduite comporte au moins une unité de traitement 17. L’unité de traitement 17 comporte par exemple au moins un microprocesseur ou microcontrôleur.
Il peut s’agir d’une unité de traitement 17 centrale, tel qu’un processeur central du véhicule automobile par exemple. Dans ce cas elle est commune pour plusieurs capteurs optiques 1 et dispositifs de protection 3. Autrement dit, elle peut échanger des informations avec plusieurs équipements, en particulier plusieurs capteurs optiques 1 et dispositifs de protection 3. En alternative, l’unité de traitement 17 pourrait être associée à un capteur optique 1 et un dispositif de protection 3. Il pourrait s’agir par exemple d’un microprocesseur ou microcontrôleur qui pourrait être dimensionné afin de traiter une ou plusieurs images capturées par le capteur optique 1 associée afin de fournir une image traitée à un système de contrôle du véhicule automobile par exemple.
De façon avantageuse, l’unité de traitement 17 peut comporter un ou plusieurs moyens de traitement d’images acquises et transmises par au moins un capteur optique 1, lorsque plusieurs capteurs optiques 1 équipent le véhicule automobile, ou par le capteur optique 1 associé à l’unité de traitement 17.
Une telle unité de traitement 17 peut également recevoir une ou plusieurs informations représentatives de la position angulaire de l’élément optique.
En se référant également à la , selon un mode de réalisation, l’unité de traitement 17 peut déterminer la position angulaire de l’élément optique 5 en fonction du positionnement de l’indicateur de rotation 11, ou des indicateurs de rotation 11, sur les images capturées par le capteur optique 1. Cette détermination est plus précisément mise en œuvre par au moins un moyen de traitement d’images de l’unité de traitement 17. Avec cette solution il n’est pas nécessaire d’agencer un système de mesure particulier sur le dispositif de protection 3. Le capteur optique 1 qui est derrière l’élément optique 5 détecte l’indicateur de rotation 11, ce qui donne une information concernant la position de cet indicateur de rotation 11 et par traitement d’images la position angulaire de l’élément optique 5 est déduite.
Il est aussi possible d’utiliser le traitement d’image en éclairant quelques pixels de référence, par exemple périphériques, de l’image au travers d’un disque équipé de lumières de largeurs différentes. Il s’agit d’une proposition différente pour réaliser un élément d’acquisition d’au moins une information représentative de la position angulaire de l’élément optique 5. Il s’agit en particulier d’une variante pour l’indicateur de rotation 11 ou top tour précédemment décrit. En effet, au lieu d’avoir un dispositif particulier avec une cible, c'est-à-dire l’indicateur 11, sur la partie mobile du dispositif de protection, qui est éclairée notamment avec une photon diode et dont le passage est détecté grâce à un photon détecteur, il est possible d’utiliser par exemple une matrice CCD du capteur optique 1 dans sa zone périphérique pour détecter le passage de gravures ou une succession de traits d’ombre et de lumière directement positionnés sur la lentille (non représentée) ou l’optique de protection (non représentée) du capteur optique 1. Les images acquises peuvent alors être interprétées par le ou les moyens de traitement d’images de l’unité de traitement 17 afin de déterminer la position angulaire du défaut présent sur la lentille du capteur optique 1 et ainsi éliminer son influence sur la qualité de l’image.
En variante ou en complément, l’unité de traitement 17 peut recevoir une ou plusieurs informations en provenance notamment d’au moins un capteur angulaire 13 (figures 3a à 4). L’unité de traitement 17 peut comporter des moyens d’analyse pour analyser et déterminer en fonction des informations reçues la position angulaire de l’élément optique 5.
Selon encore une autre alternative, l’unité de traitement 17 peut déterminer la position angulaire de l’élément optique 5 à partir d’une ou plusieurs mesures de courants de phase du moteur 9 transmises par l’unité de mesure 15. À cet effet, l’unité de traitement 17 comporte par exemple au moins un microcontrôleur apte à mesurer une vitesse de rotation et une position angulaire du moteur 9, notamment de type sans balais ou « brushless » en anglais. En variante ou en complément, l’unité de traitement 17 peut comprendre au moins un circuit intégré, comprenant notamment des amplificateurs de tension permettant la mesure des courants de phase.
Par ailleurs, il est possible qu’un défaut 100 résistant à un cycle de nettoyage par exemple par projection d’un fluide de nettoyage, soit présent sur l’élément optique 5, comme schématisé de façon très simplifiée sur la . Il peut s’agir aussi d’un impact ou d’une rayure ayant endommagé l’élément optique 5 ou encore d’une salissure ou d’un dépôt très persistant, comme du goudron par exemple.
En référence aux figures 2 et 4, l’unité de traitement 17 est configurée pour détecter lorsqu’un défaut 100 est présent dans le champ de vision du capteur optique 1. Cette détection peut se faire par traitement d’images.
L’unité de traitement 17, plus précisément le ou les moyens de traitement d’images, peuvent déterminer la position angulaire du défaut 100 sur les images capturées par le capteur optique 1. La position angulaire du défaut 100 peut être déduite à partir de la position angulaire de l’élément optique 5, elle-même déterminée à partir d’une ou plusieurs informations reçues d’au moins un élément d’acquisition dont des exemples ont été précédemment décrits.
En cas de détection d’un défaut 100, l’unité de traitement 17 peut être configurée pour supprimer par traitement d’images le défaut apparaissant alors sur les images capturées par le capteur optique. Cette suppression se fait en tenant compte de la position angulaire du défaut 100 déterminée.
A cet effet, la capture d’images par le capteur optique 1 peut être synchronisée avec la vitesse de rotation de l’élément optique 5. Cette synchronisation permet d’éliminer le bruit généré par la présence de ce défaut 100 qui tourne devant le capteur optique 1.
Pour ce faire, l’unité de traitement 17 peut également recevoir et analyser au moins une information représentative de la vitesse de rotation de l’élément optique 5, ou déterminer la vitesse de rotation.
Selon un mode de réalisation, la vitesse de rotation peut être connue à partir de la position angulaire de l’élément optique 5. L’unité de traitement 17 peut comporter au moins un moyen de traitement ou calcul pour dériver la position par rapport au temps afin d’en déduire la vitesse de rotation de l’élément optique 5. A titre d’exemple non limitatif, l’information de temps peut être obtenue grâce à une horloge interne d’un microcontrôleur par exemple de l’unité de traitement 17, en mesurant le temps entre deux passages de l’indicateur de rotation 11, ou encore en mesurant précisément les courants de phase.
Cette vitesse de rotation permet de calculer le déplacement du défaut 100 devant l’optique du capteur optique 1, risquant de générer une zone plus ou moins circulaire floue ou assombrie sur les images prises par ce capteur optique 1.
A partir de la vitesse de rotation, l’unité de traitement 17 peut définir une fréquence pour les captures d’images par le capteur optique 1. Cette fréquence est choisie de sorte qu’à chaque capture d’image, le défaut 100 soit à la même position angulaire. Autrement dit, le capteur optique 1 prend une image lorsque l’élément optique 5 est placé de sorte que le défaut 100 soit toujours au même endroit. Le capteur optique 1 peut prendre par exemple une image par tour, ce qui est suffisant pour l’œil humain.
Il est aussi possible de définir plus d’une position angulaire du défaut 100 pour la synchronisation. Dans ce cas, la fréquence est choisie de sorte qu’à chaque capture d’image, le défaut 100 soit dans l’une des positions angulaires définies. Autrement dit, le capteur optique 1 prend une image lorsque l’élément optique 5 est placé de sorte que le défaut 100 soit toujours à un des endroits précis identifiés sur l’image. Par exemple, en se référant également à la , le capteur optique 1 peut prendre une image par demi-tour.
Lorsque la capture d’images est synchronisée avec la vitesse de rotation de l’élément optique, le défaut 100 qui se trouve toujours à au moins un endroit précis sur les images capturées, peut être supprimé, extrait, par traitement d’images. Pour ce faire, l’unité de traitement 17, en particulier ledit au moins un moyen de traitement d’images, peut filtrer les images capturées de façon à extraire l’image du défaut 100.
Selon un exemple de réalisation particulier, le filtrage peut se faire en éliminant une zone contenant le défaut sur plusieurs images et en superposant ces images de façon à reconstruire une image sans défaut.
Selon l’exemple très simplifié schématisé sur la , le capteur optique est configuré pour capturer au moins deux images i1, i2, consécutives. Par exemple, le capteur optique peut prendre une image i1, i2 par demi-tour de l’élément optique 5. Avec une vitesse de rotation de l’ordre de 10000 tours par minute, ces deux images i1, i2 sont prises de façon très rapprochée dans le temps. Sur ces deux images i1, i2 consécutives prises très rapidement, le paysage environnant, la scène de route, n’ont pas le temps d’évoluer, de se déplacer, de manière significative sur les images i1, i2, tandis que le défaut 100 lui se déplace très vite. Le défaut 100, ou plutôt son image, est dans cet exemple dans la zone haute i11 de la première image i1 et dans la zone basse i22 de la deuxième image i2 selon l’orientation de la .
Par le traitement d’images, les zones comportant le défaut 100 peuvent être extraites et les zones dépourvues de défaut peuvent être superposées de façon à construire une nouvelle image i3. Ainsi dans cet exemple, la nouvelle image i3 peut être construite en superposant les deux images i1, i2. La zone haute i11 de la première image i1 peut être extraite et la zone basse i12 de la première image i1 sans défaut peut être conservée, comme symbolisé par la flèche F1. De façon similaire, la zone basse i22 de la deuxième image i2 peut être extraite et la zone haute i21 de la deuxième image i2 sans défaut peut être conservée, comme symbolisé par la flèche F2. La nouvelle image i3 est obtenue, comme symbolisé par la flèche F3, à partir de la zone haute i21 de la deuxième image i2 et de la zone basse i22 de la deuxième image i2. Le défaut n’est plus visible sur cette nouvelle image i3 construite.
Procédé de traitement d’images
De façon générale, le procédé comporte au moins une étape pour détecter la présence d’au moins un défaut 100 sur l’élément optique 5 du dispositif de protection 3. Cette étape peut être mise en œuvre par l’unité de traitement 7 précédemment décrite, par exemple par traitement d’image.
En cas de détection d’un défaut 100, le procédé comporte au moins une étape pour acquérir au moins une information représentative d’au moins une position angulaire de l’élément optique 5 lors de la capture d’au moins une image par le capteur optique 1. Cette étape d’acquisition peut être mise en œuvre au moins en partie au moyen d’un ou plusieurs éléments d’acquisition 11, 13, 15 comme précédemment décrit. L’unité de traitement 7 peut recevoir l’information représentative de la position angulaire de l’élément optique 5.
Il s’en suit au moins une étape pour déterminer à partir de cette information représentative, au moins une position angulaire du défaut 100 sur l’élément optique 5. Cette étape peut être mise en œuvre par l’unité de traitement 7, notamment par un ou plusieurs moyens d’analyse et/ou de traitement d’images de l’unité de traitement 7.
En particulier, en cas de détection d’un défaut 100 sur l’élément optique 5 dans le champ de vision du capteur optique 1, le procédé comporte au moins une étape pour déterminer la position angulaire de l’élément optique 5 à partir d’au moins une information représentative reçue d’au moins un élément d’acquisition 11, 13, 15 comme précédemment décrit, et pour en déduire, notamment par traitement d’images, la position angulaire du défaut 100 sur une ou plusieurs images capturées par le capteur optique 1.
Lors d’une étape suivante, le défaut 100 peut être supprimé par traitement d’images sur au moins une image capturée par le capteur optique 1, en tenant compte de la position angulaire du défaut 100 sur l’élément optique 5 déterminée lors d’une étape précédente. Cette étape de suppression peut être mise en œuvre par l’unité de traitement 7, notamment par un ou plusieurs moyens de traitement d’images de l’unité de traitement 7.
De façon avantageuse, le procédé permet en outre de synchroniser la capture d’image avec la vitesse de rotation de l’élément optique 5.
La vitesse de rotation de l’élément optique 5 peut être déterminée par exemple par l’unité de traitement 17 ou acquise par l’intermédiaire d’un système de mesure au niveau du dispositif de protection 3.
A partir de la vitesse de rotation, la capture d’images par le capteur optique 1 est synchronisée avec la vitesse de rotation de l’élément optique 5. Cette synchronisation peut être mise en œuvre par l’unité de traitement 17, en définissant une fréquence pour les captures d’images de sorte qu’à chaque capture d’image, le défaut 100 soit à une position angulaire définie. Cette position angulaire peut être toujours la même, ou plusieurs positions angulaires peuvent être définies.
Par la suite, le procédé comporte une ou plusieurs étapes de traitement d’images pour supprimer le défaut 100 apparaissant sur les images capturées de façon synchronisée avec la vitesse de rotation de l’élément optique 5, par exemple en filtrant les zones d’images contenant le défaut 100 et en superposant ces images de façon à reconstruire une image sans défaut.
Ainsi, le dispositif de protection 3 selon l’une ou l’autre des variantes précédemment décrites permet au moins d’acquérir et de transmettre une information de rotation à l’unité de traitement 17 qui peut alors supprimer le défaut apparaissant sur les images capturées par le capteur optique 1. Notamment, l’unité de traitement 17 permet de synchroniser la capture d’images avec la vitesse de rotation et de filtrer les images capturées de façon à extraire le défaut 100.
Cette unité de traitement 17 peut être intégrée au dispositif de protection 13 ou faire partie d’un processeur central du véhicule automobile.
Ceci permet d’espacer la maintenance du dispositif de protection 3 et de continuer à rouler en l’utilisant malgré le défaut 100 dans le champ de vision du capteur optique 1, car le système 1 est capable de filtrer le bruit causé par la rotation rapide du défaut devant le capteur optique 1.

Claims (11)

  1. Système d’assistance à la conduite comportant :
    • au moins un capteur optique (1) comprenant une optique et configuré pour capturer au moins une image selon un axe optique, et
    • au moins un dispositif de protection (3) associé audit au moins un capteur optique (1), ledit dispositif (3) comprenant un élément optique (5), transparent, monté mobile en rotation en amont de l’optique du capteur optique (1) associé selon l’axe optique, et comprenant un moteur (9) configuré pour entrainer en rotation l’élément optique (5), caractérisé en ce que :
    • le dispositif de protection (3) comporte au moins un élément d’acquisition (11, 13, 15) d’au moins une information représentative d’au moins une position angulaire de l’élément optique (5) lors de la capture d’au moins une image par le capteur optique (1) associé, et en ce que
    • ledit système comporte une unité de traitement (17) configurée pour :
      • détecter la présence d’au moins un défaut (100) sur l’élément optique (5),
      • recevoir ladite au moins une information représentative de ladite au moins une position angulaire de l’élément optique (5),
      • déterminer à partir de ladite au moins une information représentative reçue, au moins une position angulaire dudit au moins un défaut (100) sur l’élément optique (5), et
      • supprimer par traitement d’images ledit au moins un défaut (100) sur ladite au moins une image capturée par ledit au moins un capteur optique (1), en tenant compte de ladite au moins une position angulaire dudit au moins un défaut (100) sur l’élément optique (5) déterminée.
  2. Système selon la revendication précédente, dans lequel le moteur (9) est configuré pour entrainer en rotation l’élément optique (5) autour d’un axe de rotation (A), de façon à permettre un nettoyage de l’élément optique (5) par effet centrifuge.
  3. Système selon l’une des revendications précédentes, dans lequel l’unité de traitement (17) est configurée pour :
    • déterminer ladite au moins une position angulaire de l’élément optique (5) à partir de ladite au moins une information représentative reçue, et
    • déduire, de ladite au moins une position angulaire de l’élément optique déterminée, ladite au moins une position angulaire dudit au moins un défaut (100) sur l’élément optique (5).
  4. Système selon l’une des revendications précédentes, dans lequel l’unité de traitement (17) est configurée pour :
    • recevoir ou déterminer au moins une information représentative de la vitesse de rotation de l’élément optique (5), et
    • synchroniser la capture d’images avec la vitesse de rotation de l’élément optique (5).
  5. Système selon l’une des revendications précédentes, dans lequel ledit au moins un élément d’acquisition comporte un indicateur de rotation (11) disposé sur l’élément optique (5), et agencé pour être dans le champ de vision du capteur optique (1) associé.
  6. Système selon l’une des revendications précédentes, dans lequel ledit au moins un élément d’acquisition comporte un capteur angulaire (13).
  7. Système selon l’une des revendications précédentes, dans lequel ledit au moins un élément d’acquisition comporte une unité de mesure (15) configurée pour mesurer des courants de phase du moteur (9).
  8. Système selon l’une des revendications précédentes, dans lequel l’unité de traitement (17) est configurée pour définir, en fonction de la vitesse de rotation de l’élément optique (5), une fréquence de captures d’images, de sorte qu’à chaque capture d’image, ledit au moins défaut (100) est à ladite au moins une position angulaire déterminée sur l’image capturée.
  9. Système selon la revendication précédente, dans lequel l’unité de traitement (17) comporte au moins un moyen de traitement d’images configuré pour extraire ledit au moins un défaut (100) situé à ladite au moins une position angulaire déterminée sur l’image capturée.
  10. Système selon la revendication précédente, dans lequel :
    • ledit au moins un capteur optique (1) est configuré pour capturer au moins deux images consécutives (i1, i2), et dans lequel
    • ledit au moins un moyen de traitement d’images est configuré pour :
      • extraire desdites au moins deux images (i1, i2) au moins une zone (i11, i22) présentant ledit au moins un défaut (100), et pour
      • superposer lesdites au moins deux images, de façon à construire une nouvelle image (i3) dépourvue dudit au moins un défaut (100).
  11. Procédé de traitement d’images capturées, pour un système d’assistance à la conduite selon l’une des revendications 1 à 10 comportant au moins un capteur optique (1) et un dispositif de protection (3) associé, caractérisé en ce que ledit procédé comporte les étapes suivantes :
    • détecter la présence d’au moins un défaut (100) sur l’élément optique (5) du dispositif de protection (3),
    • recevoir au moins une information représentative de ladite au moins une position angulaire de l’élément optique (5) lors de la capture d’au moins une image par le capteur optique (1),
    • déterminer, à partir de ladite au moins une information représentative reçue, au moins une position angulaire dudit au moins un défaut (100) sur l’élément optique (5), et
    • supprimer par traitement d’images ledit au moins un défaut (100) sur ladite au moins une image capturée par ledit au moins un capteur optique (1), en tenant compte de ladite au moins une position angulaire dudit au moins un défaut (100) sur l’élément optique (5) déterminée.
PCT/EP2022/063264 2021-05-29 2022-05-17 Système d'assistance à la conduite, et procédé de traitement d'images associé WO2022253564A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP22728943.6A EP4348333A1 (fr) 2021-05-29 2022-05-17 Système d'assistance à la conduite, et procédé de traitement d'images associé

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2105633A FR3123428B1 (fr) 2021-05-29 2021-05-29 Système d’assistance à la conduite, et procédé de traitement d’images associé
FRFR2105633 2021-05-29

Publications (1)

Publication Number Publication Date
WO2022253564A1 true WO2022253564A1 (fr) 2022-12-08

Family

ID=76375337

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/063264 WO2022253564A1 (fr) 2021-05-29 2022-05-17 Système d'assistance à la conduite, et procédé de traitement d'images associé

Country Status (3)

Country Link
EP (1) EP4348333A1 (fr)
FR (1) FR3123428B1 (fr)
WO (1) WO2022253564A1 (fr)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180319376A1 (en) * 2017-05-03 2018-11-08 GM Global Technology Operations LLC System And Method For Automated Cleaning Of A Sensor Lens
US20190068829A1 (en) * 2017-08-24 2019-02-28 Qualcomm Incorporated Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
US20190208111A1 (en) * 2017-12-28 2019-07-04 Waymo Llc Multiple Operating Modes to Expand Dynamic Range
US20200177872A1 (en) * 2018-12-04 2020-06-04 Ford Global Technologies, Llc Vehicle sensor calibration
US20200213581A1 (en) * 2018-12-27 2020-07-02 Waymo Llc Identifying Defects in Optical Detector Systems Based on Extent of Stray Light

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180319376A1 (en) * 2017-05-03 2018-11-08 GM Global Technology Operations LLC System And Method For Automated Cleaning Of A Sensor Lens
US20190068829A1 (en) * 2017-08-24 2019-02-28 Qualcomm Incorporated Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
US20190208111A1 (en) * 2017-12-28 2019-07-04 Waymo Llc Multiple Operating Modes to Expand Dynamic Range
US20200177872A1 (en) * 2018-12-04 2020-06-04 Ford Global Technologies, Llc Vehicle sensor calibration
US20200213581A1 (en) * 2018-12-27 2020-07-02 Waymo Llc Identifying Defects in Optical Detector Systems Based on Extent of Stray Light

Also Published As

Publication number Publication date
FR3123428B1 (fr) 2023-05-12
EP4348333A1 (fr) 2024-04-10
FR3123428A1 (fr) 2022-12-02

Similar Documents

Publication Publication Date Title
EP3404481B1 (fr) Dispositif de protection d'un capteur optique et système d'assistance à la conduite associé
FR3069506B1 (fr) Dispositif de protection d'un capteur optique et systeme d'assistance a la conduite comportant un tel dispositif de protection
FR3062764B1 (fr) Dispositif de vision, systeme d’assistance a la conduite et procede de maintien de la visibilite associes
EP3206920B1 (fr) Dispositif de prise de vue d'une scène de route pour véhicule automobile
WO2018091641A1 (fr) Dispositif de protection d'un capteur optique, système d'assistance à la conduite et procédé de nettoyage associés
WO2018091635A1 (fr) Dispositif de protection d'un capteur optique, système d'assistance à la conduite et procédé de nettoyage associés
FR3066622B1 (fr) Dispositif de protection d'un capteur optique et systeme d'assistance a la conduite associe
EP3404480A1 (fr) Dispositif de protection d'un capteur optique, système d'assistance à la conduite et procédé d'assemblage correspondants
WO2022253564A1 (fr) Système d'assistance à la conduite, et procédé de traitement d'images associé
WO2020064762A1 (fr) Dispositif de protection d'un capteur/émetteur optique d'un système d'assistance à la conduite pour véhicule automobile
FR3065848B1 (fr) Dispositif motorise pour vehicule automobile et systeme d'assistance a la conduite associe
EP4136492B1 (fr) Procédé de nettoyage d'un dispositif de protection pour un système d'assistance à la conduite pour un véhicule automobile et système d'assistance à la conduite associé
FR3094299A1 (fr) Ensemble de protection d’un capteur optique d’un système d’assistance à la conduite pour véhicule automobile
WO2022008144A1 (fr) Dispositif de protection d'un capteur optique et système d'assistance à la conduite correspondant
FR2861112A1 (fr) Commande automatique ou manuelle des moteurs d'entrainement en deplacement de translation du dernier module d'un abri de piscine sans guidage au sol
WO2020221617A1 (fr) Module de nettoyage d'un dispositif de protection d'un élément optique, système d'assistance à la conduite, et procédé de nettoyage associés
JP2024522122A (ja) 運転支援システム、および関連する画像処理方法
FR3112325A1 (fr) Dispositif de prise de vues pour véhicule automobile
WO2020065076A1 (fr) Dispositif de protection d'un capteur/emetteur optique d'un système d'assistance à la conduite pour véhicule automobile
FR3113874A1 (fr) Ensemble de détection et/ou d’émission d’un véhicule.
FR3104089A1 (fr) Ensemble de détection d’un véhicule automobile
FR3086767A1 (fr) Ensemble de protection d’un capteur optique d’un systeme d’assistance a la conduite pour vehicule automobile comprenant un element chauffant
FR3099443A1 (fr) Système de détection optique pour véhicule automobile

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22728943

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18564347

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023573488

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2022728943

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022728943

Country of ref document: EP

Effective date: 20240102