WO2020193304A1 - Ensemble de protection d'un capteur optique d'un système d'assistance à la conduite pour véhicule automobile - Google Patents

Ensemble de protection d'un capteur optique d'un système d'assistance à la conduite pour véhicule automobile Download PDF

Info

Publication number
WO2020193304A1
WO2020193304A1 PCT/EP2020/057405 EP2020057405W WO2020193304A1 WO 2020193304 A1 WO2020193304 A1 WO 2020193304A1 EP 2020057405 W EP2020057405 W EP 2020057405W WO 2020193304 A1 WO2020193304 A1 WO 2020193304A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical sensor
assistance system
optical element
optical
annular band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2020/057405
Other languages
English (en)
Inventor
Frédéric Giraud
Benoist Fleury
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Systemes dEssuyage SAS
Original Assignee
Valeo Systemes dEssuyage SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Systemes dEssuyage SAS filed Critical Valeo Systemes dEssuyage SAS
Publication of WO2020193304A1 publication Critical patent/WO2020193304A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B17/00—Methods preventing fouling
    • B08B17/02—Preventing deposition of fouling or of dust
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B1/00—Cleaning by methods involving the use of tools
    • B08B1/30—Cleaning by methods involving the use of tools by movement of cleaning members over a surface
    • B08B1/32—Cleaning by methods involving the use of tools by movement of cleaning members over a surface using rotary cleaning members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B3/00—Cleaning by methods involving the use or presence of liquid or steam
    • B08B3/02—Cleaning by the force of jets or sprays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B7/00—Cleaning by methods not provided for in a single other subclass or a single group in this subclass
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor

Definitions

  • the present invention relates to the field of driving assistance and in particular to driving assistance systems, installed in certain vehicles, and more particularly to driving assistance systems comprising an optical sensor, such as for example a camera comprising a lens, and a rotating protective housing arranged around this sensor.
  • driving assistance systems comprising an optical sensor, such as for example a camera comprising a lens, and a rotating protective housing arranged around this sensor.
  • optical sensors and for example front, rear, or even side vision cameras are fitted to a large number of motor vehicles. They are particularly part of driving assistance systems, such as parking assistance systems, or lane departure detection systems.
  • driving assistance systems such as parking assistance systems, or lane departure detection systems.
  • the optical sensors of the driving assistance systems are installed on the perimeter of the vehicles in different places depending on the desired use, for example integrated in the windshields. - rear or front shocks, in the side reinforcement strips, or at the rear or front registration plate of the vehicle.
  • optical sensors are in this case strongly exposed to projections of mineral or organic dirt which can be deposited on the corresponding optical surface and thus reduce the efficiency of the shooting or the detection of information, or even render the sensor completely inoperative. , detector, or camera concerned. Particularly in rainy weather, there are projections of rain and dirt which can greatly affect the operability of the driver assistance system including such an optical sensor.
  • a sensor and more particularly a camera, for the driving assistance system is associated with a protection device which includes a protective housing housing the camera while protecting it from the external environment.
  • the protective housing has an optical element, transparent and arranged opposite the camera lens to allow shots.
  • the protective housing and associated optical element are rotated by a motor forming part of the protective device. More particularly, the motor is configured to cause the rotation of the protective housing at a speed sufficient to remove by centrifugal effect any dirt or water which may be present on the optical element.
  • the rotation of the optical element is generated when a smear is present on the outer surface of the optical element and this smear could penalize the quality of the captured image.
  • each sensor associated with the driving assistance system should be able to provide an image that can be used by the data processing module of this driving assistance system. It is therefore not possible to wait for the vehicle to travel at a slower speed, or even for it to be stationary, so that the cleaning operation with spraying of liquid then rotation of the protection device is launched.
  • the present invention proposes to solve this technical problem, by presenting a method for controlling a cleaning system equipped with a rotary protection device which allows appropriate management of the projection of liquid before the rotation of the device. protection device.
  • the invention also relates to a driving assistance system equipped with such a cleaning system.
  • the invention relates to a driving assistance system for a motor vehicle comprising at least one optical sensor configured to capture images of a road scene, at least one protection device surrounding the optical sensor, the protection device comprising on the one hand a rotary protection housing comprising an optical element arranged opposite an optical surface of the optical sensor and on the other hand a motor configured to drive the protection housing in rotation and the optical element around an optical axis of the optical sensor.
  • the assistance system comprises an electronic control unit, dedicated to the acquisition and processing of images captured by the optical sensor, which is configured to process images captured by the optical sensor with the rotating optical element, this unit electronic control being configured in particular to modify the brightness of at least part of the images captured by the optical sensor with the rotating optical element.
  • the driving assistance system is configured to generate a driving assistance strategy based on at least one of the images captured by the optical sensor.
  • the electronic control unit is configured to separately process on the one hand the images captured by the optical sensor with the fixed optical element, during a conventional driving mode in which the optical sensor does not need to be cleaned, and on the other hand the images captured by the optical sensor with the rotating optical element as previously mentioned, during cleaning operations of the optical sensor by centrifugal effect under the effect of the rotation of the optical element .
  • the electronic control unit is configured to detect a dark annular band in the image (s) captured with the rotating optical element and to detect a first level of brightness of at least one pixel of this dark annular band, to detect a second level of brightness of at least one pixel present in an area directly adjacent to said dark annular band, and to calculate a processed image in which the points of the dark annular band are processed with the brightness of the associated point of the neighboring annular band.
  • the electronic control unit is configured to detect a second level of brightness of a plurality of pixels present in said directly neighboring area and to calculate an average value of brightness to be applied to the pixel or pixels of the dark ring band.
  • the average luminosity value is calculated by considering all the pixels of the directly neighboring zone which are present in a determined angular portion, the calculated average luminosity value being applied to at least one of the pixels forming the corresponding angular portion of the dark ring band.
  • the directly neighboring zone is an annular band formed around the dark annular band.
  • the assistance system comprises a device for spraying cleaning liquid onto the optical element and a central control unit configured so as to control the operation of the rotary protective housing and of the associated optical element and the operation of the device spraying liquid depending on the operating condition of the vehicle.
  • the assistance system is thus configured so as to be able to carry out a standard cleaning operation or an alternative cleaning operation, in a cleaning mode which may be qualified as degraded but which is accompanied by specific image processing. to provide picture quality satisfactory for the driver assistance system.
  • the standard cleaning procedure includes at least one step of spraying cleaning liquid and the alternative cleaning procedure only includes a step of rotating the protection device and implementing specific image processing to modify the brightness of at least part of the images captured by the optical sensor with the rotating optical element.
  • the operating state of the vehicle is speed, the central control unit being configured to implement the liquid projection device only when the speed of the vehicle has a value lower than that of 'a determined speed threshold.
  • the invention further relates to an image processing and analysis method for a driving assistance system in which images captured by an optical sensor are recovered, in each image a dark annular band is detected whose average brightness is greater than the average brightness of the image, we associate with each pixel of this dark annular band one or more corresponding pixel of a zone directly adjacent to the dark annular band and we calculate a modified image in which each pixel of the dark annular band is treated with a luminosity equal to that of the corresponding pixel or pixels of the directly neighboring area.
  • the various steps can be implemented when the speed of the vehicle has a value greater than that of a determined threshold.
  • the various steps can be implemented immediately when it is detected that a vehicle stopping phase is scheduled within a period greater than a given time.
  • the invention further relates to a motor vehicle implementing a process for processing and analyzing images for a driving assistance system. And it relates more particularly, in the case where the method is such that the various steps are implemented when it is detected that a stopping phase of the vehicle is planned within a period greater than a given time, a vehicle in which the information relating to the upcoming stopping phase of the vehicle is detected as a function of information from navigation software.
  • the vehicle can in particular be an autonomous vehicle.
  • FIG. 1 shows a front view of a motor vehicle, comprising at its grille a driving assistance system and in particular an optical sensor housed in a rotary protection device;
  • FIG. 2 shows a schematic and perspective view of a device for protecting an optical sensor of a driving assistance system such as can be implemented in Figure 1;
  • FIG. 3 schematically illustrates a side view illustrating the installation of a driving assistance system in a structural element of the vehicle, the figure making visible the detection device, the cleaning liquid projection device and the electronic control unit of the driving assistance system according to the present exemplary embodiment;
  • FIG. 4 schematically illustrates the image processing method forming part of the piloting method illustrated elsewhere in Figure 8, this figure making visible a road scene acquired by a clean optical sensor, without dirt;
  • FIG. 5 illustrates schematically the image processing method forming part of the control method illustrated elsewhere in FIG. 8, this figure making visible a road scene acquired by an optical sensor with an optical element rotated in the field. viewing a partial longitudinal section of a motor vehicle, which generates a dark ring formed by the rotation of the dirt about the axis of rotation substantially coincident with the optical axis of the optical sensor;
  • FIG. 6 schematically illustrates the image processing method forming part of the piloting method illustrated elsewhere in FIG. 8, this figure illustrating the same road scene image as that of FIG. 5 in which theoretically a ring outside the dark ring to detect therein reference points with a brightness distinct from that present in the dark ring;
  • FIG. 7 illustrates schematically the image processing method forming part of the control method illustrated elsewhere in FIG. 8, this figure illustrating the same image road scene than that of Figure 5 after processing by the device according to the invention to restore brightness to the part of the image present in the dark ring;
  • FIG. 8 shows, via a simplified flowchart, a method of controlling the driver assistance system according to the invention.
  • a vehicle 100 is equipped according to the invention with a driving assistance system 1, which comprises at least one detection device 2 comprising at least one optical sensor 4 and a protection device 6 arranged around this optical sensor and a transparent part of which arranged facing the sensor is movable in rotation.
  • a detection device 2 formed by a front vision camera arranged in the grille 8 of the vehicle, but it will be understood that what follows in relation to such a detection device may be implemented for devices arranged also or alternately at the rear or laterally relative to the vehicle.
  • the driving assistance system 1 further comprises at least specific image processing means which are configured to process part of the images acquired by the optical sensor 4, and more particularly, such as this will be described in more detail below, to process the images acquired by the optical sensor 4 while the transparent part of the protection device 6 mentioned above is rotating.
  • the optical sensor 4 is for example an optical sensor for taking pictures such as a camera. It can be a CCD sensor (for "charged coupled device” in English, namely a charge transfer device) or a CMOS sensor comprising an array of miniature photodiodes. According to another variant, without however this list being exhaustive, it may be a sensor for remote sensing by laser called LIDAR sensor, acronym in English for "light detection and ranging”.
  • the driving assistance system also comprises a device 12 for spraying cleaning liquid arranged near the detection device 2 and configured to be able to spray at the request of the driver. cleaning liquid on the transparent part of the protection device.
  • the driving assistance system 1 is configured so as to be able to carry out a standard cleaning operation or an alternative cleaning operation, in a mode of operation. cleaning which can be qualified as degraded but which is accompanied by specific image processing to provide satisfactory image quality for the driving assistance system.
  • the projection device 12 is used to project cleaning liquid onto the transparent part of the protection device 6, this operation being, if necessary, accompanied by an operation of rotating the device. this transparent part of the protection device 6 for removing dirt residues or drops resulting from the projection of cleaning liquid prior or simultaneously.
  • This alternative cleaning procedure only includes a step of rotating the protection device and implementing specific image processing to modify the brightness of at least part of the images captured by the optical sensor with the rotating optical element.
  • the protection device 6 has been shown partially transparent to make visible the optical sensor 4 housed in the protection device.
  • the optical sensor 4 comprises an optical surface 14 and an optical axis A0.
  • the optical surface 14 is for example a camera lens, which may include one or more lenses depending on the field of view and the desired resolution.
  • the optical sensor 4 is mounted at least in part in a protective housing 16 forming a first sub-assembly of the protective device 6.
  • the protective housing 16 comprises a wall 17 delimiting a cavity in which the sensor is housed. optical.
  • This wall 17 is preferably centered around the optical axis AO of the optical sensor 4.
  • the wall 17 is of substantially cylindrical shape.
  • the protective housing 16 also comprises an optical element 18 formed by the transparent wall described above and arranged downstream of the optical surface 14 of the optical sensor 4.
  • This optical element 18 is advantageously dimensioned so as to cover the entire optical surface 14.
  • the optical element 18 is arranged in the field of view of the optical sensor 4, the transparent wall making it possible not to impair the efficiency of the optical sensor 4.
  • the optical element 18 can be made from a one piece with the protective case 16.
  • the protective case and the optical element can be two separate parts joined together.
  • the transparent wall forming all or part of the optical element 18 can be made of glass or of a plastic material such as polycarbonate.
  • the protective housing 16 can be made of any suitable material known to those skilled in the art, preferably from a waterproof material.
  • the optical element 18 By arranging the optical element 18 downstream of the optical surface 14, it is understood that the optical element 18 is disposed between the exterior of the vehicle and the optical surface 14 of the optical sensor 4, so that the optical element 18 protects the optical surface from any projections of dirt or solid debris which could damage this optical surface. It is therefore a protective element, or more precisely a protective mask. protection of the optical sensor 4, and it is this optical element 18 which is subjected to attacks from the outside, that is to say both projections of water, pollutants, gravel and deposits of pollutants or traces of water.
  • the protection device 6 comprises a motor 22 forming a second sub-assembly. The motor 22 is coupled to the protective housing 16 so as to drive the protective housing 16 and therefore the optical element 18 in rotation about an axis of rotation A1, coincident with the optical axis OA of the optical sensor 4.
  • the images captured by the optical sensor 4 are recovered and processed by an electronic control unit 24 which for this purpose comprises an acquisition module 25 configured to acquire these images and a processing and formatting module 26 of the images thus acquired. , as well as a communication module 28 configured to send these processed images to a central control unit 30 configured to use these images and integrate them into a driving assistance strategy.
  • an electronic control unit 24 which for this purpose comprises an acquisition module 25 configured to acquire these images and a processing and formatting module 26 of the images thus acquired.
  • a communication module 28 configured to send these processed images to a central control unit 30 configured to use these images and integrate them into a driving assistance strategy.
  • a standard cleaning procedure for the detection device 2 is triggered each time the vehicle is started, or cyclically after a determined number of vehicle stops, or else when it is detected by analysis of the image acquired by the sensor. optically that significant dirt hinders the reading and use of this image.
  • An electronic control unit 31 dedicated to cleaning the optical sensor which can be confused with the central control unit, simultaneously or successively controls the projection of cleaning liquid, represented in FIG. 3 by the hatched area, on the transparent surface of the protection device 6 disposed opposite the optical surface 14 of the optical sensor 4 and the rotation of the protection device 6 and of the optical element 18 forming the transparent surface.
  • the electronic control unit dedicated to cleaning the sensor 31, or directly the central control unit 30, can control an alternative cleaning procedure, in particular when the vehicle is traveling at high speed and it is detected by analysis of the image captured by the optical sensor 4 that significant soiling is coming interfere with the reading and use of this image.
  • This alternative cleaning procedure consists of only rotating the protection device 6, that is to say, rotating without prior or simultaneous projection of cleaning liquid, in order to save the liquid which would be unnecessary because projected away from the sensing device due to vehicle speed.
  • the images captured by the optical sensor 4 are recovered by the electronic control unit 24 dedicated to the acquisition and processing of images.
  • the images captured by the optical sensor 4 can be distinguished into two categories, including a first category of images captured by the optical sensor while the transparent optical element 18 is fixed and does not move in the field of view. of the optical sensor, and a second category of images captured by the optical sensor 4 while the transparent optical element 18 is movable in rotation and does not move in the field of view of the optical sensor.
  • the electronic control unit 24 dedicated to the acquisition and processing of images is particular in that it comprises a specific image processing module 32, implemented when the or the images processed by this specific module 32 have been acquired with the transparent optical element 18 rotating in the field of view of the optical sensor 4.
  • the driving assistance system 1 comprises at least specific image processing means which are configured to modify the brightness of at least one. image acquired with the optical element 18 rotating, or more precisely to modify the luminosity of a part of this at least one image, the part whose luminosity is to be modified consisting of a dark annular band 34 resulting from the rotation around the optical axis, coincident with the axis of rotation of the detection device, of a dirt present on the transparent optical element.
  • the driving assistance system comprises a detection device 3 and an associated liquid projection device 12, as well as an electronic control unit 31 dedicated to cleaning.
  • FIG. 3 makes visible in particular the configuration presented above according to which the electronic control unit 24 dedicated to the acquisition and to the image processing can comprise an image acquisition module 25, directly connected to the optical sensor 4 and allowing to recover and store the road scene images captured by the optical sensor, an image processing and formatting module 26 configured to establish an image representative of the road scene and a specific image processing module 32 configured to process the brightness of at least a portion of an image acquired when the transparent optical element is rotatable.
  • the electronic control unit 24 dedicated to the acquisition and to the image processing can comprise an image acquisition module 25, directly connected to the optical sensor 4 and allowing to recover and store the road scene images captured by the optical sensor, an image processing and formatting module 26 configured to establish an image representative of the road scene and a specific image processing module 32 configured to process the brightness of at least a portion of an image acquired when the transparent optical element is rotatable.
  • the electronic control unit 24 dedicated to the acquisition and processing of images also comprises a communication module 28, which allows it to communicate by known means with the central control unit 30, for example formed by an on-board computer of the motor vehicle.
  • a communication module 28 which allows it to communicate by known means with the central control unit 30, for example formed by an on-board computer of the motor vehicle.
  • FIG. 4 there is illustrated an image acquired by the optical sensor 4, on which a dirt 50 has been detected in the field of view of the optical sensor. It is understood that the presence of this dirt 50, deposited on the transparent surface of the optical element 18 facing the optical sensor 4, hinders the interpretation of the image and prevents the development of a reliable driving assistance strategy. . Under conditions which will be described in particular below, it may be decided to implement an alternative cleaning procedure in which no cleaning liquid is sprayed onto the optical element 18 and in which only a setting step is provided. rotating the optical element and a step of processing the images acquired with the rotating optical element.
  • FIG. 5 there is shown an image resulting from the rotation of the optical element 18 about an axis of rotation coincident with the optical axis AO of the optical sensor.
  • This rotation generated around this axis a rotation of the dirt 50.
  • the difference between the speed of rotation of the optical element, of the order of 10,000 revolutions / minute, and the resolution of the camera, of the order of 30 images / second, participates in generating an image similar to that of FIG. 4, on which a dark annular band 34 is formed by the displacement of the dirt 50 around the axis of rotation coincident with the optical axis AO.
  • the pixels of the image retain the same color as in the image of the captured road scene but have a lower value brightness compared to the original brightness value.
  • the setting in rotation of the optical element 18 then the processing of images by modification of luminosity makes it possible on the one hand to recover an image in which the information originally hidden by the dirt is now detectable and apprehensible by the central control unit evaluating the driving assistance strategy, and in which the degree of brightness is close to the original image.
  • the specific image processing module 32 detects on the image the dark annular band 34, and determines a directly neighboring zone 35, visible in FIG. 6, of this dark annular band to retrieve information on the brightness. In general, the specific image processing module 32 recovers information relating to the brightness of the directly neighboring zone 35 in order to apply this information to the dark annular band.
  • the specific image processing module 32 can calculate an average luminosity of all or part of the various pixels forming the directly neighboring zone 35 and to apply this average luminosity value to each of the pixels forming the strip. dark ring finger 34.
  • FIG. 6 illustrates an example of determination of this zone directly adjacent to the dark annular band.
  • the zone here corresponds to an annular band surrounding the dark annular band 34, of width at most equal to that of the annular band.
  • width we understand a radial dimension relative to the theoretical center of the dark annular band.
  • the width 135 of the directly adjacent area has a value of about half that of the width 134 of the dark annular band.
  • a first exemplary embodiment consists, as was mentioned previously, in calculating the average luminosity of all the pixels forming the zone, here an annular band, directly adjacent to the dark annular band, and in applying this luminosity value of reference to each of the pixels forming the dark ring band.
  • a second exemplary embodiment consists, in accordance with what is illustrated in FIG. 6, in calculating the reference brightness by considering only a determined angular portion 52 of the directly adjacent zone 35. It is understood that the angular portions are defined with respect to a point corresponding to the theoretical center of the dark annular band.
  • the angular portion 52 can correspond to an angle value of 5 °.
  • the reference brightness calculated in this angular portion is applied to at least one, or to each of the pixels forming the corresponding angular portion of the dark annular band. More particularly, the reference brightness is applied to each of the pixels forming the corresponding angular portion of the dark annular band 34 when the processing of the captured image is carried out by successive processing of angular portions.
  • the average value of an angular portion for the directly neighboring area is strictly applied to the angular portion of the dark annular band.
  • the angular portion of the directly adjacent zone in which the average value forming the reference brightness value is calculated can be modified for each pixel of the dark annular band that is considered.
  • a line is drawn between the pixel under consideration and the theoretical center of the dark annular band, and this line is considered to be the bisector of the angular portion to be considered.
  • Another exemplary embodiment can consist in determining an axis passing through the pixel of the dark band whose luminosity is sought to be modified and through the theoretical center of the dark annular band and in determining a luminosity value of reference on this axis in the directly neighboring zone, the reference luminosity value then being applied to the pixel of the dark band whose luminosity is sought to be modified.
  • the directly neighboring zone has been chosen as a zone arranged outside the dark annular band, but that without departing from the context of the invention, the directly neighboring zone can be chosen as a zone arranged inside the dark annular band. Furthermore, in order to refine the correction of the luminosity of the pixels of the dark annular band, provision may be made to apply an averaged reference luminosity value taking into account both a directly neighboring area called interior and a directly adjacent area called exterior.
  • an annular band may persist, but with a brightness value such relative to the brightness of the rest of the image that the resulting low contrast does not risk generating bad interpretations that could penalize the driving assistance strategy resulting from the analysis of these processed images .
  • FIG. 8 there is illustrated a flowchart representative of a logic for implementing the alternative cleaning procedure and the specific image processing, as has just been described, which results therefrom.
  • a first step consists of an SI detection step of a need for cleaning.
  • the information relating to the need for cleaning can in particular be obtained by detecting the presence of dirt on the optics via the image processing and analysis means on board the vehicle, or it may well be the result of programming, for example when a determined period has elapsed without any cleaning operations.
  • a second step S2 then consists of a test step, in order to verify whether a stop of the vehicle is programmed within a short time or if it is possible to program such a stop.
  • the answer to this test can be given by programming navigation software or by asking the driver a question and analyzing his answer.
  • this test step is particularly easy to implement in the case of the application of an autonomous vehicle, whose central control unit can easily compile the navigation information.
  • test step S2 If the answer is yes to the test step S2 previously mentioned, for example when the vehicle is traveling at low speed, or when this vehicle is traveling on a motorway and a clearance area is provided at an acceptable distance, the operation cleaning is paused S4 and a second test step S5 is launched to define whether the visibility conditions deteriorate or not since it was decided to pause the cleaning operation.
  • a conventional cleaning operation is launched in a sixth step S6 with at least one sub step S7 of spraying cleaning liquid and, where appropriate, a sub-step S8 of rotating the optical element onto which the cleaning liquid is projected.
  • the invention achieves the goals that it had set itself and makes it possible to produce a driving assistance system, the use of which is advantageous in in terms of costs and environmental impact and which is moreover reliable in that it allows the production of processed images correctly reflecting the road scene.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

L'invention concerne un système d'assistance à la conduite pour véhicule automobile comportant au moins un capteur optique configuré pour capturer des images d'une scène de route, au moins un dispositif de protection entourant le capteur optique, le dispositif de protection comportant d'une part un boîtier de protection rotatif comportant un élément optique agencé en vis-à-vis d'une surface optique du capteur optique. Le système d'assistance comporte une unité de commande électronique, dédiée à l'acquisition et au traitement d'images capturées par le capteur optique, qui est configurée pour traiter des images capturées par le capteur optique avec l'élément optique tournant, cette unité de commande électronique étant notamment configurée pour modifier la luminosité d'au moins une partie des images capturées par le capteur optique avec l'élément optique tournant.

Description

ENSEMBLE DE PROTECTION D’UN CAPTEUR OPTIQUE D’UN SYSTÈME D’ASSISTANCE À LA CONDUITE POUR VÉHICULE AUTOMOBILE
DESCRIPTION
La présente invention se rapporte au domaine de l’aide à la conduite et notamment aux systèmes d’assistance à la conduite, implantés sur certains véhicules, et plus particulièrement aux systèmes d’assistance à la conduite comportant un capteur optique, comme par exemple une caméra comprenant un objectif, et un boîtier rotatif de protection agencée autour de ce capteur.
Actuellement, des capteurs optiques et par exemple des caméras de vision avant, arrière, ou encore latérales, équipent un grand nombre de véhicules automobiles. Elles font notamment partie de systèmes d’assistance à la conduite, tels que des systèmes d’aide au stationnement, ou encore des systèmes de détection de franchissement de ligne. Afin de détecter au mieux les obstacles situés tout autour du véhicule, il est connu d’installer les capteurs optiques des systèmes d’assistance à la conduite sur le pourtour des véhicules en différents endroits selon l’utilisation souhaitée, par exemple intégrés dans les pare-chocs arrière ou avant, dans les bandeaux de renfort latéraux, ou au niveau de la plaque d’immatriculation arrière ou avant du véhicule.
Les capteurs optiques sont dans ce cas fortement exposés aux projections de saletés minérales ou organiques qui peuvent se déposer sur la surface optique correspondante et ainsi réduire l’efficacité de la prise de vue ou de la détection d’informations, voire rendre totalement inopérant le capteur, détecteur, ou caméra concerné(e). En particulier par temps de pluie, on constate des projections de pluie et de saletés qui peuvent grandement affecter l’opérabilité du système d’assistance à la conduite comprenant un tel capteur optique.
On comprend dès lors que les surfaces optiques des capteurs doivent être nettoyées afin de garantir leur bon état de fonctionnement, et ce besoin est d’autant plus important dans le cas d’un véhicule autonome, dans lequel le pilotage du véhicule est réalisé par l’intermédiaire des informations recueillies par les caméras.
A cet effet, un capteur, et plus particulièrement une caméra, de système d’assistance à la conduite est associé à un dispositif de protection qui comprend un boîtier de protection logeant la caméra en la protégeant de l’environnement extérieur. Le boîtier de protection comporte un élément optique, transparent et agencé en vis-à-vis de l’objectif de la caméra pour permettre des prises de vue. Le boîtier de protection et l’élément optique associé sont entraînés en rotation par l’intermédiaire d’un moteur formant partie du dispositif de protection. Plus particulièrement, le moteur est configuré pour entraîner la rotation du boîtier de protection à une vitesse suffisante pour retirer par effet centrifuge des salissures ou de l’eau pouvant être présent sur l’élément optique.
La rotation de l’élément optique est générée lorsqu’une salissure est présente sur la surface externe de l’élément optique et que cette salissure risque de pénaliser la qualité de l’image capturée.
On comprend que pour permettre de retirer les salissures par effet centrifuge, il est avantageux que de l’eau ou du liquide de nettoyage soit projeté préalablement à la rotation du boîtier de protection.
Un tel mode de fonctionnement présente un risque de surconsommation de liquide par rapport à la quantité de liquide strictement nécessaire lorsque le véhicule est en roulage, et notamment à grande vitesse sur voie rapide. Or, pour des questions de sécurité de conduite, il convient que chaque capteur associé au système d’assistance de conduite puisse fournir une image utilisable par le module de traitement de données de ce système d’assistance à la conduite. Il n’est dès lors pas possible d’attendre que le véhicule roule à une vitesse moindre, voir qu’il soit à l’arrêt, pour que l’opération de nettoyage avec projection de liquide puis mise en rotation du dispositif de protection soit lancée.
La présente invention se propose de résoudre ce problème technique, en présentant un procédé de pilotage d’un système de nettoyage équipé d’un dispositif de protection rotatif qui permette une gestion appropriée de la projection de liquide avant la mise en rotation du dispositif de protection. L’invention concerne également un système d’assistance à la conduite équipé d’un tel système de nettoyage.
À cet effet l’invention a pour objet un système d’assistance à la conduite pour véhicule automobile comportant au moins un capteur optique configuré pour capturer des images d’une scène de route, au moins un dispositif de protection entourant le capteur optique, le dispositif de protection comportant d’une part un boîtier de protection rotatif comportant un élément optique agencé en vis-à-vis d’une surface optique du capteur optique et d’autre part un moteur configuré pour entraîner en rotation le boîtier de protection et l’élément optique autour d’un axe optique du capteur optique. Le système d’assistance comporte une unité de commande électronique, dédiée à l’acquisition et au traitement d’images capturées par le capteur optique, qui est configurée pour traiter des images capturées par le capteur optique avec l’élément optique tournant, cette unité de commande électronique étant notamment configurée pour modifier la luminosité d’au moins une partie des images capturées par le capteur optique avec l’élément optique tournant.
Selon différentes caractéristiques de l’invention, prises seules ou en combinaison, on pourra prévoir que :
- le système d’assistance à la conduite est configuré pour générer une stratégie d’assistance à la conduite sur la base d’au moins une des images capturées par le capteur optique.
- l’unité de commande électronique est configurée pour traiter distinctement d’une part des images capturées par le capteur optique avec l’élément optique fixe, lors d’un mode de roulage classique dans lequel le capteur optique n’a pas besoin d’être nettoyé, et d’autre part les images capturées par le capteur optique avec l’élément optique tournant tel que précédemment évoqué, lors d’opérations de nettoyage du capteur optique par effet centrifuge sous l’effet de la rotation de l’élément optique.
- l’unité de commande électronique est configurée pour détecter une bande annulaire sombre dans la ou les images capturées avec l’élément optique tournant et pour relever un premier niveau de luminosité d’au moins un pixel de cette bande annulaire sombre, pour détecter un deuxième niveau de luminosité d’au moins un pixel présent dans une zone directement voisine de ladite bande annulaire sombre, et pour calculer une image traitée dans laquelle les points de la bande annulaire sombre sont traités avec la luminosité du point associé de la bande annulaire voisine.
- l’unité de commande électronique est configurée pour détecter un deuxième niveau de luminosité d’une pluralité de pixels présents dans ladite zone directement voisine et pour calculer une valeur moyenne de luminosité à appliquer au ou aux pixels de la bande annulaire sombre.
- la valeur moyenne de luminosité est calculée en considérant l’ensemble des pixels de la zone directement voisine qui sont présents dans une portion angulaire déterminée, la valeur moyenne de luminosité calculée étant appliquée à au moins un des pixels formant la portion angulaire correspondante de la bande annulaire sombre.
- la zone directement voisine est une bande annulaire formée autour de la bande annulaire sombre.
- le système d’assistance comporte un dispositif de projection de liquide de nettoyage sur l’élément optique et une unité de commande centrale configurée de sorte à commander le fonctionnement du boîtier de protection rotatif et de l’élément optique associé et le fonctionnement du dispositif de projection de liquide en fonction d’un état de fonctionnement du véhicule.
Le système d’assistance est ainsi configuré de manière à pouvoir procéder à une opération de nettoyage standard ou à une opération de nettoyage alternative, dans un mode de nettoyage qui peut être qualifié de dégradé mais qui est accompagné d’un traitement d’images spécifique pour offrir une qualité d’images satisfaisantes pour le système d’assistance à la conduite. La procédure de nettoyage standard comporte au moins une étape de projection de liquide de nettoyage et la procédure de nettoyage alternative comporte uniquement une étape de mise en rotation du dispositif de protection et de mise en œuvre d’un traitement d’images spécifique pour modifier la luminosité d’au moins une partie des images capturées par le capteur optique avec l’élément optique tournant. Selon une caractéristique de l’invention, l’état de fonctionnement du véhicule est la vitesse, l’unité de commande centrale étant configurée pour mettre en œuvre le dispositif de projection de liquide uniquement lorsque la vitesse du véhicule présente une valeur inférieure à celle d’un seuil de vitesse déterminé.
L’invention concerne en outre un procédé de traitement et d’analyse d’images pour un système d’assistance à la conduite au cours duquel on récupère des images capturées par un capteur optique, on détecte dans chaque image une bande annulaire sombre dont la luminosité moyenne est supérieure à la luminosité moyenne de l’image, on associe à chaque pixel de cette bande annulaire sombre un ou plusieurs pixel correspondant d’une zone directement voisine de la bande annulaire sombre et on calcule une image modifiée dans laquelle chaque pixel de la bande annulaire sombre est traité avec une luminosité égale à celle du ou des pixels correspondants de la zone directement voisine.
Selon une caractéristique de l’invention, on peut mettre en œuvre les différentes étapes lorsque la vitesse du véhicule présente une valeur supérieure à celle d’un seuil déterminé.
Selon une caractéristique de l’invention, on peut mettre en œuvre les différentes étapes immédiatement lorsque l’on détecte qu’une phase d’arrêt du véhicule est prévue dans un délai supérieur à un temps donné.
L’invention concerne en outre un véhicule automobile mettant en œuvre un procédé de traitement et d’analyse d’images pour un système d’assistance à la conduite. Et elle concerne plus particulièrement, dans le cas où le procédé est tel que l’on met en œuvre les différentes étapes lorsque l’on détecte qu’une phase d’arrêt du véhicule est prévue dans un délai supérieur à un temps donné, un véhicule dans lequel l’information relative à la phase d’arrêt à venir du véhicule est détectée en fonction d’une information d’un logiciel de navigation. A titre d’exemple d’application, le véhicule peut notamment être un véhicule autonome.
D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante, donnée à titre d’exemple illustratif et non limitatif, et des dessins annexés parmi lesquels : - [Fig. 1] représente une vue de face d’un véhicule automobile, comprenant au niveau de sa calandre un système d’assistance à la conduite et notamment un capteur optique logé dans un dispositif de protection rotatif ;
- [Fig. 2] représente une vue schématique et en perspective d’un dispositif de protection d’un capteur optique d’un système d’assistance à la conduite tel qu’il peut être mis en œuvre sur la figure 1 ;
- [Fig. 3] illustre schématiquement une vue de côté illustrant l’implantation d’un système d’assistance d’aide à la conduite dans un élément de structure du véhicule, la figure rendant visible le dispositif de détection, le dispositif de projection de liquide de nettoyage et l’unité de commande électronique du système d’assistance à la conduite selon le présent exemple de réalisation ;
- [Fig. 4] illustre de façon schématique le procédé de traitement d’image formant partie du procédé de pilotage illustré par ailleurs sur la figure 8, cette figure rendant visible une scène de route acquise par un capteur optique propre, sans salissures ;
- [Fig. 5] illustre de façon schématique le procédé de traitement d’image formant partie du procédé de pilotage illustré par ailleurs sur la figure 8, cette figure rendant visible une scène de route acquise par un capteur optique avec un élément optique mis en rotation dans le champ de vision du une coupe longitudinale partielle d’un véhicule automobile, ce qui génère un anneau sombre formé par la rotation de la salissure autour de l’axe de rotation sensiblement confondu avec l’axe optique du capteur optique ;
- [Fig. 6] illustre de façon schématique le procédé de traitement d’image formant partie du procédé de pilotage illustré par ailleurs sur la figure 8, cette figure illustrant la même image de scène de route que celle de la figure 5 sur laquelle on a représenté théoriquement un anneau extérieur à l’anneau sombre pour y détecter des points référentiels avec une luminosité distincte de celle présente dans l’anneau sombre ;
- [Fig. 7] illustre de façon schématique le procédé de traitement d’image formant partie du procédé de pilotage illustré par ailleurs sur la figure 8, cette figure illustrant la même image de scène de route que celle de la figure 5 après traitement par le dispositif selon l’invention pour redonner de la luminosité à la partie de l’image présente dans l’anneau sombre ;
- [Fig. 8] représente, via un organigramme simplifié, un procédé de pilotage du système d’assistance à la conduite selon l’invention.
Il faut tout d’abord noter que les figures exposent l’invention de manière détaillée pour mettre en œuvre l’invention, lesdites figures pouvant bien entendu servir à mieux définir l’invention le cas échéant. Sur ces figures, les éléments identiques portent les mêmes références. Les différentes réalisations sont des exemples. Bien que la description se réfère à un ou plusieurs modes de réalisation, ceci ne signifie pas nécessairement que chaque référence concerne le même mode de réalisation, ou que les caractéristiques s’appliquent à un seul mode de réalisation. De simples caractéristiques de différents modes de réalisation peuvent également être combinées ou interchangées pour fournir d’autres réalisations.
Par ailleurs, il convient de noter que dans la description, on peut indexer certains éléments, avec par exemple un premier élément ou un deuxième élément. Dans ce cas, il s’agit d’un simple indexage pour différencier et dénommer des éléments proches, mais non identiques. Cette indexation n’implique pas une priorité d’un élément par rapport à un autre et on peut aisément interchanger de telles dénominations sans sortir du cadre de la présente description.
Un véhicule 100 est équipé selon l’invention d’un système d'assistance à la conduite 1, qui comporte au moins un dispositif de détection 2 comprenant au moins un capteur optique 4 et un dispositif de protection 6 agencé autour de ce capteur optique et dont une partie transparente agencée en regard du capteur est mobile en rotation. Dans l’exemple illustré, il a été plus particulièrement rendu visible un dispositif de détection 2 formé par une caméra de vision avant disposée dans la calandre 8 du véhicule, mais on comprendra que ce qui va suivre en relation avec un tel dispositif de détection pourra être mis en œuvre pour des dispositifs disposés également ou alternativement à l’arrière ou latéralement par rapport au véhicule. Selon l’invention, le système d’assistance à la conduite 1 comporte en outre au moins des moyens de traitement d’image spécifiques qui sont configurés pour traiter une partie des images acquises par le capteur optique 4, et plus particulièrement, tel que cela va être décrit plus en détails ci-après, pour traiter les images acquises par le capteur optique 4 alors que la partie transparente du dispositif de protection 6 précédemment évoquée est tournante.
Le capteur optique 4 est par exemple un capteur optique de prise de vues tel qu’une caméra. Il peut s’agir d’un capteur CCD (pour“charged coupled device” en anglais à savoir un dispositif à transfert de charge) ou d’un capteur CMOS comportant une matrice de photodiodes miniatures. Selon une autre variante, sans que pour autant cette liste soit exhaustive, il peut s’agir d’un capteur pour télédétection par laser dit capteur LIDAR, acronyme en anglais de“light détection and ranging”.
Tel que cela est visible sur la figure 1, le système d’assistance à la conduite selon l’invention comporte également un dispositif de projection 12 de liquide de nettoyage disposé à proximité du dispositif de détection 2 et configuré pour pouvoir projeter à la demande du liquide de nettoyage sur la partie transparente du dispositif de protection.
Tel que cela sera décrit plus en détails ci-après, le système d’assistance à la conduite 1 selon l’invention est configuré de manière à pouvoir procéder à une opération de nettoyage standard ou à une opération de nettoyage alternative, dans un mode de nettoyage qui peut être qualifié de dégradé mais qui est accompagné d’un traitement d’images spécifique pour offrir une qualité d’images satisfaisantes pour le système d’assistance à la conduite.
Lors de l’opération de nettoyage standard, le dispositif de projection 12 est mis en œuvre pour projeter du liquide de nettoyage sur la partie transparente du dispositif de protection 6, cette opération étant le cas échéant accompagnée d’une opération de mise en rotation de cette partie transparente du dispositif de protection 6 pour évacuer les résidus de saletés ou les gouttes résultant de la projection de liquide de nettoyage préalable ou simultanée.
Il convient de noter qu’à contrario, lors de l’opération de nettoyage alternative, aucun liquide de nettoyage n’est utilisé. Cette procédure de nettoyage alternative comporte uniquement une étape de mise en rotation du dispositif de protection et de mise en œuvre d’un traitement d’images spécifique pour modifier la luminosité d’au moins une partie des images capturées par le capteur optique avec l’élément optique tournant.
Sur la figure 2, le dispositif de protection 6 a été représenté partiellement transparent pour rendre visible le capteur optique 4 logé dans le dispositif de protection. Le capteur optique 4 comporte une surface optique 14 et un axe optique AO. La surface optique 14 est par exemple un objectif de caméra, qui peut comporter une ou plusieurs lentilles suivant le champ de vision et la résolution souhaités.
Le capteur optique 4 est monté au moins en partie dans un boîtier de protection 16 formant un premier sous-ensemble du dispositif de protection 6. Pour ce faire, le boîtier de protection 16 comporte une paroi 17 délimitant une cavité dans laquelle est logé le capteur optique. Cette paroi 17 est de préférence centrée autour de l’axe optique AO du capteur optique 4. Dans l’exemple illustré, la paroi 17 est de forme sensiblement cylindrique.
Le boîtier de protection 16 comprend également un élément optique 18 formé par la paroi transparente précédemment décrite et disposé en aval de la surface optique 14 du capteur optique 4. Cet élément optique 18 est avantageusement dimensionné de façon à recouvrir toute la surface optique 14. En d’autres termes, l’élément optique 18 est agencé dans le champ de vision du capteur optique 4, la paroi transparente permettant de ne pas nuire à l’efficacité du capteur optique 4. L’élément optique 18 peut être réalisé d’une seule pièce avec le boîtier de protection 16. En alternative, le boîtier de protection et l’élément optique peuvent être deux pièces distinctes solidarisées entre elles. La paroi transparente formant tout ou partie de l’élément optique 18 peut être réalisée en verre ou en un matériau plastique tel que du polycarbonate. Le boîtier de protection 16 peut être réalisé en tout matériau approprié connu de l’homme du métier, de préférence à partir d’un matériau étanche.
Par disposition de l’élément optique 18 en aval de la surface optique 14, on comprend que l’élément optique 18 est disposée entre l’extérieur du véhicule et la surface optique 14 du capteur optique 4, de sorte que l’élément optique 18 protège la surface optique des projections éventuelles de salissures ou débris solides qui pourraient abîmer cette surface optique. Il s’agit donc d’un élément de protection, ou plus précisément d’un masque de protection du capteur optique 4, et c’est cet élément optique 18 qui est soumis aux agressions provenant de l'extérieur, c'est-à-dire aussi bien des projections d’eau, de polluants, de graviers que des dépôts de polluants ou des traces d’eau. Afin de permettre le nettoyage de la surface de l’élément optique 18 par effet centrifuge, comme décrit ci-dessus, le dispositif de protection 6 comporte un moteur 22 formant un deuxième sous-ensemble. Le moteur 22 est couplé au boîtier de protection 16 de façon à entraîner en rotation le boîtier de protection 16 et donc l’élément optique 18 autour d’un axe de rotation Al, confondu avec l’axe optique OA du capteur optique 4.
Les images capturées par le capteur optique 4 sont récupérées et traitées par une unité de commande électronique 24 qui comporte à cet effet un module d’acquisition 25 configuré pour acquérir ces images et un module de traitement et de mise en forme 26 des images ainsi acquises, ainsi qu’un module de communication 28 configuré pour envoyer ces images traitées à une unité de commande centrale 30 configurée pour utiliser ces images et les intégrer dans une stratégie d’assistance à la conduite.
Une procédure de nettoyage standard du dispositif de détection 2 est déclenchée à chaque démarrage du véhicule, ou bien de façon cyclique après un nombre déterminé d’arrêts du véhicule, ou bien lorsqu’il est détecté par analyse de l’image acquise par le capteur optique qu’une salissure importante vient gêner la lecture et l’utilisation de cette image. Une unité de commande électronique 31 dédiée au nettoyage du capteur optique, qui peut être confondue avec l’unité de commande centrale, commande simultanément ou successivement la projection de liquide de nettoyage, représenté sur la figure 3 par la zone hachurée, sur la surface transparente du dispositif de protection 6 disposée en regard de la surface optique 14 du capteur optique 4 et la mise en rotation du dispositif de protection 6 et de l’élément optique 18 formant la surface transparente.
Selon l’invention, l’unité de commande électronique dédiée au nettoyage du capteur 31, ou directement l’unité de commande centrale 30, peut commander une procédure de nettoyage alternative, notamment lorsque le véhicule est en roulage à grande vitesse et qu’il est détecté par analyse de l’image capturée par le capteur optique 4 qu’une salissure importante vient gêner la lecture et l’utilisation de cette image. Cette procédure de nettoyage alternative consiste en une mise en rotation seule du dispositif de protection 6, c’est-à-dire une mise en rotation effectuée sans projection préalable ou simultanée de liquide de nettoyage, afin d’économiser le liquide qui serait inutile car projeté à l’écart du dispositif de détection du fait de la vitesse du véhicule.
Lors de cette procédure de nettoyage alternative, il convient de noter que les images capturées par le capteur optique 4 sont récupérées par l’unité de commande électronique 24 dédiée à l’acquisition et au traitement d’images. De la sorte, les images capturées par le capteur optique 4 peuvent se distinguer en deux catégories parmi lesquelles une première catégorie d’images capturées par le capteur optique alors que l’élément optique 18 transparent est fixe et ne bouge pas dans le champ de vision du capteur optique, et une deuxième catégorie d’images capturées par le capteur optique 4 alors que l’élément optique 18 transparent est mobile en rotation et bouge pas dans le champ de vision du capteur optique.
Dans le cadre de cette procédure de nettoyage alternative, l’unité de commande électronique 24 dédiée à l’acquisition et au traitement d’images est particulière en ce qu elle comporte un module de traitement d’images spécifique 32, mis en œuvre lorsque la ou les images traitées par ce module spécifique 32 ont été acquises avec l’élément optique 18 transparent en train de tourner dans le champ de vision du capteur optique 4.
Plus particulièrement, et tel que cela va être décrit ci-après, le système d’assistance à la conduite 1 selon l’invention comporte au moins des moyens de traitement d’images spécifiques qui sont configurés pour modifier la luminosité d’au moins une image acquise avec l’élément optique 18 tournant, ou plus précisément pour modifier la luminosité d’une partie de cette au moins une image, la partie dont la luminosité est à modifier consistant en une bande annulaire sombre 34 résultant de la rotation autour de l’axe optique, confondu avec l’axe de rotation du dispositif de détection, d’une salissure présente sur l’élément optique transparent. Sur la figure 3, on a notamment illustré une représentation schématique dans laquelle le système d’assistance à la conduite comporte un dispositif de détection 3 et un dispositif de projection 12 de liquide associé, ainsi qu’une unité de commande électronique 31 dédiée au nettoyage du capteur, reliée aussi bien au dispositif de projection 12 de liquide qu’au dispositif de détection 2, et une unité de commande électronique 24 dédiée à l’acquisition et au traitement d’images, recevant des données du capteur optique. Les deux unités de commande électronique sont reliées à l’unité de commande centrale 30. Dans l’exemple illustré, des simples flèches peuvent être représentées pour illustrer un sens de communication particulièrement décrit, mais on comprendra que la communication peut être réalisée dans les deux sens entre deux unités de commande sans que l’on sorte du contexte de l’invention.
Par ailleurs, dans l’exemple illustré, il a été représenté trois unités de commande électroniques distinctes communiquant entre elles. Toutefois, il convient de noter que sans sortir du contexte de l’invention, on pourra prévoir que les différentes unités soient regroupées au sein d’une même unité de commande.
La figure 3 rend notamment visible la configuration présentée précédemment selon laquelle l’unité de commande électronique 24 dédiée à l’acquisition et au traitement d’images peut comporter un module d’acquisition d’images 25, directement reliée au capteur optique 4 et permettant de récupérer et stocker les images de scène de route capturées par le capteur optique, un module de traitement et de mise en forme d’images 26 configuré pour établir une image représentative de la scène de route et un module de traitement d’images spécifique 32 configuré pour traiter la luminosité d’au moins une partie d’une image acquise lorsque l’élément optique transparent est mobile en rotation.
Par ailleurs, l’unité de commande électronique 24 dédiée à l’acquisition et au traitement d’images comporte également un module de communication 28, qui lui permet de dialoguer par des moyens connus avec l’unité de commande centrale 30, par exemple formée par un ordinateur de bord du véhicule automobile. On va maintenant décrire, en se référant aux figures 4 à 7, un mode de fonctionnement du module de traitement d’images spécifique 32.
Sur la figure 4, on a illustré une image acquise par le capteur optique 4, sur laquelle une salissure 50 a été détectée dans le champ de vision du capteur optique. On comprend que la présence de cette salissure 50, déposée sur la surface transparente de l’élément optique 18 en regard du capteur optique 4, gêne l’interprétation de l’image et empêche d’élaborer une stratégie d’assistance à la conduite fiable. Dans des conditions qui seront notamment décrites ci-après, il peut être décidé de mettre en œuvre une procédure de nettoyage alternative dans laquelle aucun liquide de nettoyage n’est projeté sur l’élément optique 18 et dans laquelle seules sont prévues une étape de mise en rotation de l’élément optique et une étape de traitement des images acquises avec l’élément optique tournant.
En figure 5, on a représenté une image résultant de la rotation de l’élément optique 18 autour d’un axe de rotation confondu avec l’axe optique AO du capteur optique. Cette rotation a généré autour de cet axe une rotation de la salissure 50. La différence entre la vitesse de rotation de l’élément optique, de l’ordre de 10.000 tours/minute, et la résolution de la caméra, de l’ordre de 30 images/seconde, participe à générer une image semblable à celle de la figure 4, sur laquelle une bande annulaire sombre 34 est formée par le déplacement de la salissure 50 autour de l’axe de rotation confondu avec l’axe optique AO.
On comprend que dans cette bande annulaire sombre 34, les pixels de l’image conservent la même couleur que dans l’image de la scène de route captée mais présentent une luminosité de valeur moindre par rapport à la valeur de luminosité d’origine.
La mise en rotation de l’élément optique 18 puis le traitement d’images par modification de luminosité permet d’une part de récupérer une image dans laquelle l’information à l’origine cachée par la salissure est désormais détectable et appréhendable par l’unité de commande centrale évaluant la stratégie d’assistance à la conduite, et dans laquelle le degré de luminosité est proche de l’image d’origine.
A cet effet, le module de traitement d’images spécifique 32 détecte sur l’image la bande annulaire sombre 34, et détermine une zone directement voisine 35, visible sur la figure 6, de cette bande annulaire sombre pour y récupérer des informations sur la luminosité. De manière générale, le module de traitement d’images spécifique 32 récupère une information relative à la luminosité de la zone directement voisine 35 pour appliquer cette information à la bande annulaire sombre. A titre d’exemple, on peut prévoir que le module de traitement d’images spécifique 32 calcule une luminosité moyenne de tout ou partie des différents pixels formant la zone directement voisine 35 et applique cette valeur de luminosité moyenne à chacun des pixels formant la bande annulaire sombre 34.
La figure 6 illustre un exemple de détermination de cette zone directement voisine 35 de la bande annulaire sombre.
La zone correspond ici à une bande annulaire entourant la bande annulaire sombre 34, de largeur au plus égale à celle de la bande annulaire. Par largeur, on comprend une dimension radiale par rapport au centre théorique de la bande annulaire sombre. Dans l’exemple illustré sur la figure 6, la largeur 135 de la zone directement voisine présente une valeur d’environ la moitié de celle de la largeur 134 de la bande annulaire sombre.
Il peut dès lors être déterminé une valeur de luminosité de référence selon plusieurs exemples de réalisation.
Un premier exemple de réalisation consiste, comme cela a été évoqué précédemment, à calculer la luminosité moyenne de l’ensemble des pixels formant la zone, ici une bande annulaire, directement voisine de la bande annulaire sombre, et à appliquer cette valeur de luminosité de référence à chacun des pixels formant la bande annulaire sombre.
Un deuxième exemple de réalisation consiste, conformément à ce qui est illustré sur la figure 6, à calculer la luminosité de référence en considérant uniquement une portion angulaire 52 déterminée de la zone directement voisine 35. On comprend que les portions angulaires sont définies par rapport à un point correspondant au centre théorique de la bande annulaire sombre.
A titre d’exemple, la portion angulaire 52 peut correspondre à une valeur d’angle de 5°. La luminosité de référence calculée dans cette portion angulaire est appliquée à au moins un, ou à chacun des pixels formant la portion angulaire correspondante de la bande annulaire sombre. Plus particulièrement, la luminosité de référence est appliquée à chacun des pixels formant la portion angulaire correspondant de la bande annulaire sombre 34 lorsque le traitement de l’image capturée se fait par traitement successif de portions angulaires. La valeur moyenne d’une portion angulaire pour la zone directement voisine est appliquée de façon stricte à la portion angulaire de la bande annulaire sombre. Alternativement, et notamment pour améliorer le traitement de l’image et l’homogénéité de l’image traitée, la portion angulaire de la zone directement voisine dans laquelle est calculée la valeur moyenne formant la valeur de luminosité de référence peut être modifiée pour chaque pixel de la bande annulaire sombre que l’on considère. Dans ce cas, une droite est tracée entre le pixel que l’on considère et le centre théorique de la bande annulaire sombre, et cette droite est considérée comme la bissectrice de la portion angulaire à considérer.
Un autre exemple de réalisation peut consister en la détermination d’un axe passant par le pixel de la bande sombre dont on cherche à modifier la luminosité et par le centre théorique de la bande annulaire sombre et en la détermination d’une valeur de luminosité de référence sur cet axe dans la zone directement voisine, la valeur de luminosité de référence étant ensuite appliquée au pixel de la bande sombre dont on cherche à modifier la luminosité.
On comprend que dans ce qui précède, la zone directement voisine a été choisie comme une zone disposée à l’extérieur de la bande annulaire sombre, mais que sans sortir du contexte de l’invention, on pourra choisir la zone directement voisine comme une zone disposée à l’intérieur de la bande annulaire sombre. Par ailleurs, afin d’affiner la correction de luminosité des pixels de la bande annulaire sombre, on pourra prévoir d’appliquer une valeur de luminosité de référence moyennée en tenant compte à la fois d’une zone directement voisine dite intérieure et d’une zone directement voisine dite extérieure.
Il résulte de ce traitement d’image spécifique, dans lequel on crée dans un premier temps une bande annulaire sombre, par rotation de l’élément optique sur lequel une salissure s’est déposée sans qu’il soit projeté par ailleurs de liquide de nettoyage, et dans lequel on modifie la luminosité des pixels de cette bande sombre en les mettant en adéquation avec une luminosité de référence présente dans une zone de l’image traitée directement voisine de la bande annulaire sombre, une image traitée 100 illustrée sur la figure 7. Dans cette image traitée conformément au procédé de l’invention, une bande annulaire peut persister, mais avec une valeur de luminosité telle par rapport à la luminosité du reste de l’image que le contraste faible qui en résulte ne risque pas de générer de mauvaises interprétations pouvant pénaliser la stratégie d’assistance à la conduite résultant de l’analyse de ces images traitées.
Sur la figure 8, on a illustré un organigramme représentatif d’une logique de mise en œuvre de la procédure de nettoyage alternative et du traitement d’images spécifique, tel qu’il vient d’être décrit, qui en résulte.
Une première étape consiste en une étape de détection SI d’un besoin de nettoyage. A titre d’exemples non limitatifs, l’information relative au besoin de nettoyage peut notamment être obtenue par détection de la présence d’une salissure sur l’optique via les moyens de traitement et d’analyse d’image embarqués du véhicule, ou bien elle peut résulter d’une programmation, par exemple lors de l’écoulement d’une période déterminée sans qu’il n’y ait eu d’opérations de nettoyage.
Une deuxième étape S2 consiste alors en une étape de test, afin de vérifier si un arrêt du véhicule est programmé dans un court délai ou s’il est possible de programmer un tel arrêt. La réponse à ce test peut être donné par la programmation d’un logiciel de navigation ou bien par une question posée au conducteur et par l’analyse de sa réponse. On comprend que cette étape de test est particulièrement facile à mettre en œuvre dans le cas d’application d’un véhicule autonome, dont l’unité de commande centrale peut facilement compiler les informations de navigation.
Par la notion d’arrêt du véhicule, on peut comprendre un arrêt complet du véhicule, lors duquel l’intégralité du liquide de nettoyage projeté arrive bien sur la surface optique à nettoyer, ou bien une vitesse de déplacement inférieure à un seuil de vitesse déterminé, par exemple 50 km/h, pour que la quantité de liquide de nettoyage n’atteignant pas la surface optique à nettoyer soit tolérable. S’il est répondu non à cette étape de test S2, par exemple lorsque le véhicule roule sur autoroute et qu’aucune aire de dégagement n’est prévue dans les prochains kilomètres, une procédure de nettoyage alternative conforme à ce qui vient d’être décrit précédemment est déclenchée dans une troisième étape S3, avec uniquement la mise en rotation du dispositif de détection sans projection de liquide de nettoyage, et traitement des images acquises avec l’élément optique tournant.
On comprend que la mise en œuvre de cette solution alternative permet de continuer à fournir des informations fiables au système d’assistance à la conduite du véhicule automobile, l’élément optique associé au capteur optique étant par la suite, lors d’une prochaine étape de nettoyage, nettoyé de façon plus conventionnelle avec du liquide de nettoyage.
S’il est répondu oui à l’étape de test S2 préalablement évoquée, par exemple lorsque le véhicule roule à faible vitesse, ou lorsque ce véhicule roule sur autoroute et qu’une aire de dégagement est prévue à une distance acceptable, l’opération de nettoyage est mise en pause S4 et une deuxième étape de test S5 est lancée pour définir si les conditions de visibilité se dégradent ou non depuis qu’il a été décidé de mettre en pause l’opération de nettoyage.
S’il est détecté que les conditions de visibilité se dégradent, une procédure de nettoyage alternative conforme à ce qui vient d’être décrit précédemment dans la troisième étape S3 est déclenchée, avec uniquement la mise en rotation du dispositif de détection sans projection de liquide de nettoyage, et traitement des images acquises avec l’élément optique tournant.
Si au contraire il est détecté que les conditions de visibilité ne se dégradent pas, et ce jusqu’à ce que la phase d’arrêt du véhicule soit détecté, une opération de nettoyage classique est lancée dans une sixième étape S6 avec au moins une sous-étape S7 de projection de liquide de nettoyage et le cas échéant une sous-étape S8 de mise en rotation de l’élément optique sur lequel le liquide de nettoyage est projeté.
L'invention, telle qu'elle vient d'être décrite, atteint bien les buts qu'elle s'était fixés et permet de réaliser un système d’assistance à la conduite dont l’utilisation est avantageuse en termes de coûts et d’impact environnemental et qui soit par ailleurs fiable en ce qu’il permet l’obtention d’images traitées reflétant correctement la scène de route.

Claims

REVENDICATIONS
1. Système d’assistance à la conduite pour véhicule automobile comportant au moins un capteur optique (4) configuré pour capturer des images d’une scène de route, au moins un dispositif de protection (6) entourant le capteur optique (4), le dispositif de protection comportant d’une part un boîtier de protection (16) rotatif comportant un élément optique (18) agencé en vis-à-vis d’une surface optique du capteur optique (4) et d’autre part un moteur (22) configuré pour entraîner en rotation le boîtier de protection et l’élément optique (18) autour d’un axe optique (AO) du capteur optique (4), le système d’assistance à la conduite étant caractérisé en ce qu’il comporte une unité de commande électronique (24), dédiée à l’acquisition et au traitement d’images capturées par le capteur optique (4), qui est configurée pour traiter des images capturées par le capteur optique avec l’élément optique (18) tournant, cette unité de commande électronique (24) étant notamment configurée pour modifier la luminosité d’au moins une partie des images capturées par le capteur optique (4) avec l’élément optique (18) tournant.
2. Système d’assistance à la conduite selon la revendication précédente, caractérisé en ce que l’unité de commande électronique (24) est configurée pour détecter une bande annulaire sombre (34) dans la ou les images capturées avec l’élément optique (18) tournant et pour relever un premier niveau de luminosité d’au moins un pixel de cette bande annulaire sombre, pour détecter un deuxième niveau de luminosité d’au moins un pixel présent dans une zone directement voisine (35) de ladite bande annulaire sombre (34), et pour calculer une image traitée (100) dans laquelle les points de la bande annulaire sombre sont traités avec la luminosité du point associé de la bande annulaire voisine.
3. Système d’assistance à la conduite selon la revendication précédente, caractérisé en ce que l’unité de commande électronique (24) est configurée pour détecter un deuxième niveau de luminosité d’une pluralité de pixels présents dans ladite zone directement voisine (35) et pour calculer une valeur moyenne de luminosité à appliquer au ou aux pixels de la bande annulaire sombre (34).
4. Système d’assistance à la conduite selon la revendication précédente, caractérisé en ce que la valeur moyenne de luminosité est calculée en considérant l’ensemble des pixels de la zone directement voisine (35) qui sont présents dans une portion angulaire (52) déterminée, la valeur moyenne de luminosité calculée étant appliquée à au moins un des pixels formant la portion angulaire correspondante de la bande annulaire sombre (34).
5. Système d’assistance à la conduite selon l’une des revendications précédentes, en combinaison avec la revendication 3 ou 4, caractérisé en ce que la zone directement voisine (35) est une bande annulaire formée autour de la bande annulaire sombre (34).
6. Système d’assistance à la conduite selon l’une des revendications précédentes, caractérisé en ce qu’il comporte un dispositif de projection (12) de liquide de nettoyage sur l’élément optique (18) et une unité de commande centrale (30) configurée de sorte à commander le fonctionnement du boîtier de protection (16) rotatif et de l’élément optique (18) associé et le fonctionnement du dispositif de projection (12) de liquide en fonction d’un état de fonctionnement du véhicule.
7. Système d’assistance à la conduite selon la revendication précédente, caractérisé en ce que l’état de fonctionnement du véhicule est la vitesse, l’unité de commande centrale (30) étant configurée pour mettre en œuvre le dispositif de projection de liquide uniquement lorsque la vitesse du véhicule présente une valeur inférieure à celle d’un seuil de vitesse déterminé.
8. Procédé de traitement et d’analyse des images pour un système d’assistance à la conduite au cours duquel on récupère des images capturées par un capteur optique (4), on détecte dans chaque image une bande annulaire sombre (34) dont la luminosité moyenne est supérieure à la luminosité moyenne de l’image, on associe à chaque pixel de cette bande annulaire sombre (34) un ou plusieurs pixel correspondant d’une zone directement voisine (35) de la bande annulaire sombre et on calcule une image modifiée dans laquelle chaque pixel de la bande annulaire sombre est traité avec une luminosité égale à celle du ou des pixels correspondants de la zone directement voisine.
9. Procédé selon la revendication précédente, au cours duquel on met en œuvre les différentes étapes lorsque l’on détecte qu’une phase d’arrêt du véhicule est prévue dans un délai supérieur à un temps donné.
10. Véhicule automobile mettant en œuvre le procédé selon la revendication 9, caractérisé en ce que l’information relative à la phase d’arrêt à venir du véhicule est détectée en fonction d’une information d’un logiciel de navigation.
PCT/EP2020/057405 2019-03-26 2020-03-18 Ensemble de protection d'un capteur optique d'un système d'assistance à la conduite pour véhicule automobile Ceased WO2020193304A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1903112A FR3094299B1 (fr) 2019-03-26 2019-03-26 Ensemble de protection d’un capteur optique d’un système d’assistance à la conduite pour véhicule automobile
FR1903112 2019-03-26

Publications (1)

Publication Number Publication Date
WO2020193304A1 true WO2020193304A1 (fr) 2020-10-01

Family

ID=67441398

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/057405 Ceased WO2020193304A1 (fr) 2019-03-26 2020-03-18 Ensemble de protection d'un capteur optique d'un système d'assistance à la conduite pour véhicule automobile

Country Status (2)

Country Link
FR (1) FR3094299B1 (fr)
WO (1) WO2020193304A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115552314A (zh) * 2020-04-13 2022-12-30 法雷奥系统公司 用于清洁机动车辆的驾驶辅助系统的保护装置的方法以及相关的驾驶辅助系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140232869A1 (en) * 2013-02-20 2014-08-21 Magna Electronics Inc. Vehicle vision system with dirt detection
US20170243337A1 (en) * 2014-10-02 2017-08-24 Connaught Electronics Ltd. Motor vehicle camera device with histogram spreading
WO2018019662A1 (fr) * 2016-07-28 2018-02-01 Valeo Systèmes d'Essuyage Dispositif de protection d'un capteur optique et systeme d'assistance a la conduite comprenant un capteur optique

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140232869A1 (en) * 2013-02-20 2014-08-21 Magna Electronics Inc. Vehicle vision system with dirt detection
US20170243337A1 (en) * 2014-10-02 2017-08-24 Connaught Electronics Ltd. Motor vehicle camera device with histogram spreading
WO2018019662A1 (fr) * 2016-07-28 2018-02-01 Valeo Systèmes d'Essuyage Dispositif de protection d'un capteur optique et systeme d'assistance a la conduite comprenant un capteur optique

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115552314A (zh) * 2020-04-13 2022-12-30 法雷奥系统公司 用于清洁机动车辆的驾驶辅助系统的保护装置的方法以及相关的驾驶辅助系统
US20230145395A1 (en) * 2020-04-13 2023-05-11 Valeo Systèmes d'Essuyage Method for cleaning a protective device for a drive assist system for a motor vehicle and associated drive assist system
EP4136492B1 (fr) * 2020-04-13 2024-05-08 Valeo Systèmes d'Essuyage Procédé de nettoyage d'un dispositif de protection pour un système d'assistance à la conduite pour un véhicule automobile et système d'assistance à la conduite associé
US12491842B2 (en) * 2020-04-13 2025-12-09 Valeo Systemes D'essuyage Method for cleaning a protective device for a drive assist system for a motor vehicle and associated drive assist system

Also Published As

Publication number Publication date
FR3094299A1 (fr) 2020-10-02
FR3094299B1 (fr) 2022-04-01

Similar Documents

Publication Publication Date Title
EP1923280B1 (fr) Capteur photosensible dans le domaine automobile
EP3404481B1 (fr) Dispositif de protection d'un capteur optique et système d'assistance à la conduite associé
FR3069506B1 (fr) Dispositif de protection d'un capteur optique et systeme d'assistance a la conduite comportant un tel dispositif de protection
FR3062764B1 (fr) Dispositif de vision, systeme d’assistance a la conduite et procede de maintien de la visibilite associes
EP4136492B1 (fr) Procédé de nettoyage d'un dispositif de protection pour un système d'assistance à la conduite pour un véhicule automobile et système d'assistance à la conduite associé
FR2947781A1 (fr) Dispositif de saisie de donnees d'image pour un vehicule automobile
FR2731515A1 (fr) Dispositif pour determiner la distance d'un vehicule par rapport a un marquage lateral de la chaussee
EP3404480A1 (fr) Dispositif de protection d'un capteur optique, système d'assistance à la conduite et procédé d'assemblage correspondants
FR3082478A1 (fr) Module de nettoyage d'un element optique ou d'un dispositif de protection d'un element optique et systeme d'assistance a la conduite associe
FR2967107A1 (fr) Montage de camera et son procede pour un vehicule automobile
FR2884338A1 (fr) Procede, dispositif et camera pour la detection d'objets a partir d'images numeriques
FR3086768A1 (fr) Dispositif de protection d’un capteur optique d’un systeme d’assistance a la conduite pour vehicule automobile
EP3856581A1 (fr) Ensemble de protection d'un capteur/emetteur d'un système d'assistance à la conduite pour véhicule automobile comprenant un élément chauffant
FR3094299A1 (fr) Ensemble de protection d’un capteur optique d’un système d’assistance à la conduite pour véhicule automobile
EP1580074B1 (fr) Procédé de détection d'une route mouillée et système d'éclairage mettant en oeuvre ce procédé
EP1713132B1 (fr) Capteur photosensible et ses applications dans le domaine automobile
FR3041458A1 (fr) Dispositif d'imagerie, vehicule automobile equipe d'un tel dispositif d'imagerie, et procede associe
EP3938949A1 (fr) Entrainement d'un reseau de neurones, pour l'assistance a la conduite d'un vehicule par determination de delimitations de voie difficilement observables
FR3148555A3 (fr) Dispositif permettant de protéger un capteur optique
WO2022253564A1 (fr) Système d'assistance à la conduite, et procédé de traitement d'images associé
FR3113874A1 (fr) Ensemble de détection et/ou d’émission d’un véhicule.
FR3085923A1 (fr) Dispositif de detection de neige sur une surface vitree d'un vehicule automobile
WO2025153781A1 (fr) Procédé et dispositif de détermination d'un défaut de calibration d'un système de vision embarqué dans un véhicule
FR3102376A1 (fr) Dispositif de protection d’un capteur/émetteur
FR3112325A1 (fr) Dispositif de prise de vues pour véhicule automobile

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20710553

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20710553

Country of ref document: EP

Kind code of ref document: A1