WO2023247844A1 - Method and device for detecting rain - Google Patents

Method and device for detecting rain Download PDF

Info

Publication number
WO2023247844A1
WO2023247844A1 PCT/FR2023/000099 FR2023000099W WO2023247844A1 WO 2023247844 A1 WO2023247844 A1 WO 2023247844A1 FR 2023000099 W FR2023000099 W FR 2023000099W WO 2023247844 A1 WO2023247844 A1 WO 2023247844A1
Authority
WO
WIPO (PCT)
Prior art keywords
rain
vehicle
data
image data
detection device
Prior art date
Application number
PCT/FR2023/000099
Other languages
French (fr)
Inventor
Nicolas Dangy-Caye
Thomas Hannagan
Original Assignee
Stellantis Auto Sas
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stellantis Auto Sas filed Critical Stellantis Auto Sas
Publication of WO2023247844A1 publication Critical patent/WO2023247844A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0859—Other types of detection of rain, e.g. by measuring friction or rain drop impact
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0862—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means including additional sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the present invention claims priority from French application 2206101 filed on 06/21/2022, the content of which (text, drawings and claims) is herein incorporated by reference.
  • the invention relates to a rain detection device, particularly on glazing.
  • This type of device is used to detect rain present on the windows of motor vehicles, in particular to enable the automatic triggering of a windshield wiper.
  • An aim of the present invention is to overcome all or part of the disadvantages of the prior art noted above.
  • An object of the present invention is to propose a solution for detecting rain effectively without increasing the cost of the vehicle, in particular without adding dedicated equipment.
  • the subject of the invention is a rain detection device on board a vehicle comprising an image acquisition module configured to recover image data from a vehicle windshield camera, characterized in that it further comprises:
  • a sound acquisition module configured with sound data coming from a microphone in the passenger compartment of the vehicle
  • a perception module configured to use image data and sound data to determine the presence of rain.
  • the detection module (113) transmits a windshield wiper actuation signal (104) to a windshield wiper control module (103), when it determines the presence of rain.
  • the invention also relates to a computer program comprising instructions which, when the program is executed by a computer, lead it to implement the method according to the invention.
  • the invention also relates to a method of detecting rain by a device embedded in a vehicle comprising steps of:
  • the invention also relates to a vehicle comprising a rain detection device according to the invention.
  • FIG. 1 functionally illustrates a device, according to a particular embodiment of the present invention
  • Figure 1 shows an exemplary embodiment of a rain detection device according to the invention.
  • the rain detection device 110 embedded in a vehicle, comprises an image acquisition module 111 configured to recover image data coming from a windshield camera 101 of the vehicle.
  • the rain detection device 110 also includes a sound acquisition module 112, configured with sound data coming from a microphone 102 in the passenger compartment of the vehicle.
  • the rain detection device 110 also includes a perception module 113 configured to use the image data and the sound data to determine the presence of rain.
  • perception module 113 is configured to:
  • the perception module 113 relies, for example, on a learning approach which makes it possible to train a neural network to detect the presence of rain. During a learning stage, the neural network evolves to learn to recognize a set of characteristic elements which confirm the presence of rain.
  • the learning step includes capturing image data and sound data representative of the presence or absence of rain.
  • This acquired data is possibly processed to format and encode it according to a determined format and coding.
  • Each combination of image data and sound data is associated with the presence or absence of rain to constitute a learning basis.
  • the learning implements a deep convolutional neural network iteratively receiving as input a pair of data (image data and sound data/presence of rain) from the learning base and optimizing the coefficients of the neural network.
  • the optimized coefficients in the learning step are entered as parameters into a vehicle calculator implementing said neural network and which, based on the data acquired by the camera and the microphone and the optimized coefficients, delivers an estimate of the type of presence rain.
  • the perception module 113 is configured to:
  • the first estimate is obtained with a learning approach which makes it possible to train the first neural network to detect the presence of rain.
  • the first neural network evolves to learn to recognize a set of characteristic elements which make it possible to confirm the presence of rain from image data.
  • the way of obtaining the learning information may differ (while being compatible) with the way of using the network on the vehicle (for example, the network can be trained with data from a 'lab' type camera). ', and use a camera optimized for the vehicle for the use of the first neural network).
  • the learning step includes capturing a plurality of images representative of the presence or absence of rain on the windshield of the vehicle;
  • Each image is associated with the presence or absence of rain to provide a learning basis.
  • the learning implements a first deep convolutional neural network iteratively receiving as input a pair of data (captured image, presence of rain) from the learning base and optimizing the coefficients of the first neural network.
  • the optimized coefficients in the learning step are entered as parameters into a vehicle calculator implementing said first neural network and which, based on the images acquired by the vehicle's windshield camera and the optimized coefficients, delivers an estimate of the type presence of rain.
  • the second estimate is obtained with a learning approach which makes it possible to train the second neural network to detect the presence of rain.
  • the second neural network evolves to learn to recognize a set of characteristic elements which make it possible to confirm the presence of rain from sound data.
  • the way of obtaining the learning information may differ (while being compatible) with the way of using the network on the vehicle (for example, the second network can be trained with data from a 'type' microphone). lab', and use a microphone optimized for the vehicle for the use of the second neural network).
  • the learning step includes capturing a plurality of sound samples representative of the presence or absence of rain outside the vehicle;
  • Each sound sample is associated with the presence or absence of rain to constitute a learning basis.
  • the learning implements a second deep convolutional neural network iteratively receiving as input a pair of data (captured sound sample, presence of rain) from the learning base and optimizing the coefficients of the second neural network.
  • the coefficients optimized in the learning step are entered as parameters into a vehicle calculator implementing said second neural network and which, from the sound samples acquired by the microphone in the passenger compartment of the vehicle and the optimized coefficients, delivers a estimation of type of presence of rain.
  • the detection module 113 is configured to use the first and second estimates to determine the presence of rain. This module uses for example a data fusion method according to the known art.
  • the first and second neural networks for example, each produce an output vector. It is then possible to calculate the distance between the two vectors, then from this distance to make a classification. When it detects the presence of rain, the detection module 113 emits a signal to a windshield wiper controller 103 to control the actuation of the windshield wipers of the vehicle 104.
  • the perception module 113 is configured to determine the presence of rain from only the data from one of the camera and the microphone, when the other of the camera and the microphone is defective.
  • the perception module when the camera is broken, the perception module is able to operate in a degraded manner and determine the presence of rain only with the sound data coming from the microphone. Conversely, when the microphone is broken, the perception module is able to operate in a degraded manner and determine the presence of rain only with the image data coming from the camera.
  • the invention also relates to a method of detecting rain by a device 110 embedded in a vehicle comprising steps of:
  • a perception module 113 Determination, by a perception module 113, of the presence of rain from image data and sound data.
  • FIG 2 represents an example of a rain detection device 301 included in the vehicle, in a network (“cloud”) or in a server.
  • This device 301 can be used as a centralized device in charge of at least certain steps of the process described below with reference to Figure 2.
  • This device 301 can take the form of a box comprising printed circuits, any type of computer or even a mobile telephone (“smartphone”).
  • the device 301 comprises a RAM 302 for storing instructions for the implementation by a processor 303 of at least one step of the method as described above.
  • the device also includes a mass memory 304 for the storage of data intended to be retained after implementation of the process.
  • the device 301 may also include a digital signal processor (DSP) 305.
  • This DSP 305 receives data to format, demodulate and amplify this data in a manner known per se.
  • the device 301 also includes an input interface 306 for receiving the data implemented by the method according to the invention and an output interface 307 for transmitting the data implemented by the method according to the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to a rain detection device (110) on board a vehicle comprising an image acquisition module (111) configured to recover image data from a camera (101) on the vehicle windscreen, characterised in that the rain detection device also comprises: - a sound acquisition module (112) configured to acquire sound data from a microphone (102) in the passenger compartment of the vehicle, - a perception module (113) configured to use the image data and the sound data to determine the presence of rain.

Description

DESCRIPTION DESCRIPTION
Titre : Procédé et dispositif de détection de pluie Title: Rain detection method and device
Domaine technique Technical area
La présente invention revendique la priorité de la demande française 2206101 déposée le 21.06.2022 dont le contenu (texte, dessins et revendications) est ici incorporé par référence. L’invention concerne un dispositif de détection de pluie notamment sur un vitrage. The present invention claims priority from French application 2206101 filed on 06/21/2022, the content of which (text, drawings and claims) is herein incorporated by reference. The invention relates to a rain detection device, particularly on glazing.
Arrière-plan technologique Technology background
Ce type de dispositif est utilisé pour détecter la pluie présente sur les vitrages de véhicules automobiles, pour permettre notamment le déclenchement automatique d'un essuie-glace. This type of device is used to detect rain present on the windows of motor vehicles, in particular to enable the automatic triggering of a windshield wiper.
Il est connu d’utilisé un capteur de détection dédié au niveau du parebrise. Mais ce type de capteur renchéri le cout du véhicule. It is known to use a dedicated detection sensor at the windshield level. But this type of sensor increases the cost of the vehicle.
De plus en plus de véhicule sont équipés d’une caméra de parebrise utilisées par des systèmes d’aide à la conduite du véhicule. Il a été proposé d’utiliser cette caméra pour détecter la présence de pluie en se passant d’un capteur dédié sur le parebrise. Un tel système est notamment décrit dans le document US 2021/0101564. Ces systèmes ne donnent pas entière satisfaction car la fiabilité de la détection est inférieure à celle d’un capteur dédié. More and more vehicles are equipped with a windshield camera used by vehicle driving assistance systems. It was proposed to use this camera to detect the presence of rain without a dedicated sensor on the windshield. Such a system is described in particular in document US 2021/0101564. These systems are not entirely satisfactory because the reliability of detection is lower than that of a dedicated sensor.
Un but de la présente invention est de pallier tout ou partie des inconvénients de l'art antérieur relevés ci-dessus. An aim of the present invention is to overcome all or part of the disadvantages of the prior art noted above.
Résumé de l’invention Summary of the invention
Un objet de la présente invention est de proposer une solution pour détecter la pluie efficacement sans augmenter le coût du véhicule, en particulier sans ajouter d'équipements dédiés. An object of the present invention is to propose a solution for detecting rain effectively without increasing the cost of the vehicle, in particular without adding dedicated equipment.
A cette effet, l’invention a pour objet, un dispositif de détection de pluie embarqué dans un véhicule comprenant un module d’acquisition d’image configuré pour récupérer des données d’image provenant d’une caméra de parebrise du véhicule, caractérisé en ce qu’il comporte en outre : To this end, the subject of the invention is a rain detection device on board a vehicle comprising an image acquisition module configured to recover image data from a vehicle windshield camera, characterized in that it further comprises:
- un module d’acquisition de son, configuré des données sonore provenant d’un microphone dans l’habitacle du véhicule, - a sound acquisition module, configured with sound data coming from a microphone in the passenger compartment of the vehicle,
- un module de perception configuré pour utiliser les données d’image et les données sonore pour déterminer la présence de pluie. - a perception module configured to use image data and sound data to determine the presence of rain.
En utilisant deux sources de données distinctes l’invention permet d’améliorer la qualité de la détection de la pluie. En outre en utilisant des capteurs déjà présents dans le véhicule, permet d’obtenir un détecteur efficace sans utiliser d’équipement dédié et donc renchérir le coût du véhicule. By using two distinct data sources, the invention makes it possible to improve the quality of rain detection. In addition, by using sensors already present in the vehicle, it is possible to obtain an effective detector without using dedicated equipment and therefore increasing the cost of the vehicle.
Selon un premier mode de réalisation, le module de perception est configuré pour :According to a first embodiment, the perception module is configured to:
- Combiner les données d’image et les données sonores, - Combine image data and sound data,
- Déterminer la présence de pluie à partir des données combinées en mettant en œuvre un réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage. - Determine the presence of rain from the combined data by implementing a deep convolutional neural network with coefficients optimized during a learning step.
Selon un deuxième mode de réalisation, le module de perception est configuré pour :According to a second embodiment, the perception module is configured to:
- déterminer une première estimation de présence de pluie à partir des données d’image, en mettant en œuvre un premier réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage, - determine a first estimate of the presence of rain from the image data, by implementing a first deep convolutional neural network comprising optimized coefficients during a learning step,
- déterminer une deuxième estimation de présence de pluie à partir des données sonores en mettant en œuvre un deuxième réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage,- determine a second estimate of the presence of rain from the sound data by implementing a second deep convolutional neural network comprising coefficients optimized during a learning step,
- Déterminer la présence de pluie à partir de la première et la deuxième estimation.- Determine the presence of rain from the first and second estimates.
Selon un mode de réalisation de l’invention, le module de perception est configuré pour déterminer la présence de pluie à partir d’uniquement les données de l’un de la caméra et du microphone, lorsque l’autre de la caméra et du microphone est défectueux. According to one embodiment of the invention, the perception module is configured to determine the presence of rain from only the data from one of the camera and the microphone, when the other of the camera and the microphone is defective.
Avantageusement, le module de détection (113) émet un signal d’actionnement des essuie-glaces (104) à destination d’un module de commande (103) d’essuie-glaces, lorsqu’il détermine la présence de pluie. L’invention concerne aussi un programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon l’invention. Advantageously, the detection module (113) transmits a windshield wiper actuation signal (104) to a windshield wiper control module (103), when it determines the presence of rain. The invention also relates to a computer program comprising instructions which, when the program is executed by a computer, lead it to implement the method according to the invention.
L’invention concerne aussi un procédé de détection de pluie par un dispositif embarqué dans un véhicule comprenant des étapes de : The invention also relates to a method of detecting rain by a device embedded in a vehicle comprising steps of:
Acquisition de données d’image provenant d’une caméra de parebrise du véhicule, Acquisition of image data from a vehicle windshield camera,
Acquisition de données sonore provenant d’au moins un micro de l’habitacle du véhicule, Acquisition of sound data coming from at least one microphone in the passenger compartment of the vehicle,
Détermination, par un module de perception, de la présence de pluie à partir des données d’image et des données sonores. Determination, by a perception module, of the presence of rain from image data and sound data.
L’invention concerne aussi un véhicule comportant un dispositif de détection de pluie selon l’invention. The invention also relates to a vehicle comprising a rain detection device according to the invention.
Brève description des figures Brief description of the figures
D’autres caractéristiques et avantages de l’invention ressortiront de la description des modes de réalisation non limitatifs de l’invention ci-après, en référence aux figures annexées, sur lesquelles : Other characteristics and advantages of the invention will emerge from the description of the non-limiting embodiments of the invention below, with reference to the appended figures, in which:
[Fig. 1] illustre de façon fonctionnelle un dispositif, selon un exemple de réalisation particulier de la présente invention ; [Fig. 1] functionally illustrates a device, according to a particular embodiment of the present invention;
[Fig. 2] illustre schématiquement un exemple de réalisation particulier de la présente invention ; [Fig. 2] schematically illustrates a particular embodiment of the present invention;
La figure 1 montre un exemple de réalisation d’un dispositif de détection de pluie selon l’invention. Figure 1 shows an exemplary embodiment of a rain detection device according to the invention.
Le dispositif de détection de pluie 110, embarqué dans un véhicule, comprend un module d’acquisition d’image 111 configuré pour récupérer des données d’image provenant d’une caméra 101 de parebrise du véhicule. The rain detection device 110, embedded in a vehicle, comprises an image acquisition module 111 configured to recover image data coming from a windshield camera 101 of the vehicle.
Le dispositif de détection de pluie 110 comporte aussi un module d’acquisition de son 112, configuré des données sonores provenant d’un microphone 102 dans l’habitacle du véhicule. Le dispositif de détection de pluie 110 comporte aussi un module de perception 113 configuré pour utiliser les données d’image et les données sonore pour déterminer la présence de pluie. The rain detection device 110 also includes a sound acquisition module 112, configured with sound data coming from a microphone 102 in the passenger compartment of the vehicle. The rain detection device 110 also includes a perception module 113 configured to use the image data and the sound data to determine the presence of rain.
Lorsqu’il détecte la présence de pluie, le module de perception 113 émet un signal à destination d’un contrôleur d’essuie-glaces 103 pour commander l’actionnement d’essuie-glaces du véhicules 104. When it detects the presence of rain, the perception module 113 emits a signal to a windshield wiper controller 103 to control the actuation of the vehicle's windshield wipers 104.
Selon un premier mode de réalisation, dit de fusion précoce (ou early fusion en anglais), module de perception 113 est configuré pour : According to a first embodiment, called early fusion, perception module 113 is configured to:
- Combiner les données d’image et les données sonores, - Combine image data and sound data,
- Déterminer la présence de pluie à partir des données combinées en mettant en œuvre un réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage. - Determine the presence of rain from the combined data by implementing a deep convolutional neural network with coefficients optimized during a learning step.
Le module de perception 113 s'appuie, par exemple, sur une approche par apprentissage qui permet d'entrainer un réseau de neurones à détecter la présence de pluie. Lors d’une étape d'apprentissage, le réseau de neurones évolue pour apprendre à reconnaître un ensemble d'éléments caractéristiques qui permettent de confirmer la présence de pluie. The perception module 113 relies, for example, on a learning approach which makes it possible to train a neural network to detect the presence of rain. During a learning stage, the neural network evolves to learn to recognize a set of characteristic elements which confirm the presence of rain.
L’étape d’apprentissage comprend la capture des données d'images et des données sonores représentatives de la présence ou non de pluie. The learning step includes capturing image data and sound data representative of the presence or absence of rain.
Ces données acquises sont éventuellement traitées pour les formater et les coder selon un format et un codage déterminés. Chaque combinaison de données d’image et de données sonore est associée à la présence ou non de pluie pour constituer une base d'apprentissage. L’apprentissage met en œuvre un réseau de neurone à convolution profond recevant itérativement en entrée un couple de données (données d’image et données sonore / présence de pluie) de la base d'apprentissage et optimisant les coefficients du réseau de neurones. This acquired data is possibly processed to format and encode it according to a determined format and coding. Each combination of image data and sound data is associated with the presence or absence of rain to constitute a learning basis. The learning implements a deep convolutional neural network iteratively receiving as input a pair of data (image data and sound data/presence of rain) from the learning base and optimizing the coefficients of the neural network.
Les coefficients optimisés dans l'étape d'apprentissage, sont entrés comme paramètres dans un calculateur du véhicule implémentant ledit réseau de neurones et qui à partir des données acquises par la caméra et le micro et des coefficients optimisés, délivre une estimation de type de présence de pluie. Selon un deuxième mode de réalisation, dit de fusion tardive (ou late fusion en anglais), le module de perception 113 est configuré pour : The optimized coefficients in the learning step are entered as parameters into a vehicle calculator implementing said neural network and which, based on the data acquired by the camera and the microphone and the optimized coefficients, delivers an estimate of the type of presence rain. According to a second embodiment, called late fusion, the perception module 113 is configured to:
- déterminer une première estimation de présence de pluie à partir des données d’image, en mettant en œuvre un premier réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage, - determine a first estimate of the presence of rain from the image data, by implementing a first deep convolutional neural network comprising optimized coefficients during a learning step,
- déterminer une deuxième estimation de présence de pluie à partir des données sonores en mettant en œuvre un deuxième réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage,- determine a second estimate of the presence of rain from the sound data by implementing a second deep convolutional neural network comprising coefficients optimized during a learning step,
- Déterminer la présence de pluie à partir de la première et la deuxième estimation.- Determine the presence of rain from the first and second estimates.
La première estimation est obtenue avec une approche par apprentissage qui permet d'entrainer le premier réseau de neurones à détecter la présence de pluie. Lors d’une étape d'apprentissage, le premier réseau de neurones évolue pour apprendre à reconnaître un ensemble d'éléments caractéristiques qui permettent de confirmer la présence de pluie à partir de données d’image. La manière d'obtenir les informations d'apprentissage peut différer (tout en étant compatible) avec la manière d'utiliser le réseau sur le véhicule (par exemple, on peut entrainer le réseau avec des données issues d'une caméra de type 'labo', et utiliser une caméra optimisée pour le véhicule pour l'utilisation du premier réseau de neurones). The first estimate is obtained with a learning approach which makes it possible to train the first neural network to detect the presence of rain. During a learning step, the first neural network evolves to learn to recognize a set of characteristic elements which make it possible to confirm the presence of rain from image data. The way of obtaining the learning information may differ (while being compatible) with the way of using the network on the vehicle (for example, the network can be trained with data from a 'lab' type camera). ', and use a camera optimized for the vehicle for the use of the first neural network).
L’étape d’apprentissage comprend la capture d'une pluralité d'images représentatives de la présence ou non de pluie sur le parebrise du véhicule ; The learning step includes capturing a plurality of images representative of the presence or absence of rain on the windshield of the vehicle;
Ces images acquises sont éventuellement traitées pour les formater et les coder selon un format et un codage déterminés. Chaque image est associée à la présence ou non de pluie pour constituer une base d'apprentissage. L’apprentissage met en œuvre un premier réseau de neurone à convolution profond recevant itérativement en entrée un couple de données (image capturée, présence de pluie) de la base d'apprentissage et optimisant les coefficients du premier réseau de neurones. These acquired images are possibly processed to format and encode them according to a determined format and coding. Each image is associated with the presence or absence of rain to provide a learning basis. The learning implements a first deep convolutional neural network iteratively receiving as input a pair of data (captured image, presence of rain) from the learning base and optimizing the coefficients of the first neural network.
Les coefficients optimisés dans l'étape d'apprentissage, sont entrés comme paramètres dans un calculateur du véhicule implémentant ledit premier réseau de neurones et qui à partir des images acquises par la caméra de parebrise du véhicule et des coefficients optimisés, délivre une estimation de type de présence de pluie. Comme pour la première estimation, la deuxième estimation est obtenue avec une approche par apprentissage qui permet d'entrainer le deuxième réseau de neurones à détecter la présence de pluie. Lors d’une étape d'apprentissage, le deuxième réseau de neurones évolue pour apprendre à reconnaître un ensemble d'éléments caractéristiques qui permettent de confirmer la présence de pluie à partir de données sonores. La manière d'obtenir les informations d'apprentissage peut différer (tout en étant compatible) avec la manière d'utiliser le réseau sur le véhicule (par exemple, on peut entrainer le deuxième réseau avec des données issues d'un micro de type 'labo', et utiliser un micro optimisé pour le véhicule pour l'utilisation du deuxième réseau de neurones). The optimized coefficients in the learning step are entered as parameters into a vehicle calculator implementing said first neural network and which, based on the images acquired by the vehicle's windshield camera and the optimized coefficients, delivers an estimate of the type presence of rain. As for the first estimate, the second estimate is obtained with a learning approach which makes it possible to train the second neural network to detect the presence of rain. During a learning step, the second neural network evolves to learn to recognize a set of characteristic elements which make it possible to confirm the presence of rain from sound data. The way of obtaining the learning information may differ (while being compatible) with the way of using the network on the vehicle (for example, the second network can be trained with data from a 'type' microphone). lab', and use a microphone optimized for the vehicle for the use of the second neural network).
L’étape d’apprentissage comprend la capture d'une pluralité d’échantillons sonores représentatifs de la présence ou non de pluie à l’extérieur du véhicule ; The learning step includes capturing a plurality of sound samples representative of the presence or absence of rain outside the vehicle;
Ces échantillons sonores acquis sont éventuellement traités pour les formater et les coder selon un format et un codage déterminés. Chaque échantillon sonore est associé à la présence ou non de pluie pour constituer une base d'apprentissage. L’apprentissage met en œuvre un deuxième réseau de neurones à convolution profond recevant itérativement en entrée un couple de données (échantillon sonore capturé, présence de pluie) de la base d'apprentissage et optimisant les coefficients du deuxième réseau de neurones. These acquired sound samples are possibly processed to format and encode them according to a determined format and coding. Each sound sample is associated with the presence or absence of rain to constitute a learning basis. The learning implements a second deep convolutional neural network iteratively receiving as input a pair of data (captured sound sample, presence of rain) from the learning base and optimizing the coefficients of the second neural network.
Les coefficients optimisés dans l'étape d'apprentissage, sont entrés comme paramètres dans un calculateur du véhicule implémentant ledit deuxième réseau de neurones et qui à partir des échantillons sonores acquis par le micro dans l’habitacle du véhicule et des coefficients optimisés, délivre une estimation de type de présence de pluie. The coefficients optimized in the learning step are entered as parameters into a vehicle calculator implementing said second neural network and which, from the sound samples acquired by the microphone in the passenger compartment of the vehicle and the optimized coefficients, delivers a estimation of type of presence of rain.
Le module de détection 113 est configuré pour utiliser la première et la deuxième estimation pour déterminer la présence de pluie. Ce module utilise par exemple une méthode de fusion de données selon l’art connu. Le premier et le deuxième réseau de neurones produisent, par exemple, chacun un vecteur en sortie. Il est ensuite possible de calculer la distance entre les deux vecteurs, puis à partir de cette distance de faire une classification. Lorsqu’il détecte la présence de pluie, le module de détection 113 émet un signal à destination d’un contrôleur d’essuie-glaces 103 pour commander l’actionnement d’essuie-glaces du véhicules 104. The detection module 113 is configured to use the first and second estimates to determine the presence of rain. This module uses for example a data fusion method according to the known art. The first and second neural networks, for example, each produce an output vector. It is then possible to calculate the distance between the two vectors, then from this distance to make a classification. When it detects the presence of rain, the detection module 113 emits a signal to a windshield wiper controller 103 to control the actuation of the windshield wipers of the vehicle 104.
Selon une caractéristique de l’invention, le module de perception 113 est configuré pour déterminer la présence de pluie à partir d’uniquement les données de l’un de la caméra et du microphone, lorsque l’autre de la caméra et du microphone est défectueux. According to one characteristic of the invention, the perception module 113 is configured to determine the presence of rain from only the data from one of the camera and the microphone, when the other of the camera and the microphone is defective.
Autrement dit, lorsque la caméra est en panne, le module de perception est capable de fonctionner de façon dégradée et de déterminer la présence de pluie uniquement avec les données sonores provenant du micro. Inversement, lorsque le micro est en panne, le module de perception est capable de fonctionner de façon dégradée et de déterminer la présence de pluie uniquement avec les données d’image provenant de la caméra. In other words, when the camera is broken, the perception module is able to operate in a degraded manner and determine the presence of rain only with the sound data coming from the microphone. Conversely, when the microphone is broken, the perception module is able to operate in a degraded manner and determine the presence of rain only with the image data coming from the camera.
L’invention concerne aussi un procédé de détection de pluie par un dispositif 110 embarqué dans un véhicule comprenant des étapes de : The invention also relates to a method of detecting rain by a device 110 embedded in a vehicle comprising steps of:
- Acquisition de données d’image provenant d’une caméra de parebrise du véhicule, - Acquisition of image data from a vehicle windshield camera,
- Acquisition de données sonore provenant un micro de l’habitacle du véhicule,- Acquisition of sound data from a microphone in the vehicle passenger compartment,
- Détermination, par un module de perception 113, de la présence de pluie à partir des données d’image et des données sonore. - Determination, by a perception module 113, of the presence of rain from image data and sound data.
La figure 2 représente un exemple de dispositif de détection de pluie 301 compris dans le véhicule, dans un réseau (« cloud ») ou dans un serveur. Ce dispositif 301 peut être utilisé en tant que dispositif centralisé en charge d’au moins certaines étapes du procédé décrit ci-après en référence à la figure 2. Figure 2 represents an example of a rain detection device 301 included in the vehicle, in a network (“cloud”) or in a server. This device 301 can be used as a centralized device in charge of at least certain steps of the process described below with reference to Figure 2.
Ce dispositif 301 peut prendre la forme d’un boitier comprenant des circuits imprimés, de tout type d’ordinateur ou encore d’un téléphone mobile (« smartphone »). This device 301 can take the form of a box comprising printed circuits, any type of computer or even a mobile telephone (“smartphone”).
Le dispositif 301 comprend une mémoire vive 302 pour stocker des instructions pour la mise en œuvre par un processeur 303 d’au moins une étape du procédé tel que décrit ci-avant. Le dispositif comporte aussi une mémoire de masse 304 pour le stockage de données destinées à être conservées après la mise en œuvre du procédé. The device 301 comprises a RAM 302 for storing instructions for the implementation by a processor 303 of at least one step of the method as described above. The device also includes a mass memory 304 for the storage of data intended to be retained after implementation of the process.
Le dispositif 301 peut en outre comporter un processeur de signal numérique (DSP) 305. Ce DSP 305 reçoit des données pour mettre en forme, démoduler et amplifier, de façon connue en soi ces données. The device 301 may also include a digital signal processor (DSP) 305. This DSP 305 receives data to format, demodulate and amplify this data in a manner known per se.
Le dispositif 301 comporte également une interface d’entrée 306 pour la réception des données mises en œuvre par le procédé selon l’invention et une interface de sortie 307 pour la transmission des données mises en œuvre par le procédé selon l’invention. The device 301 also includes an input interface 306 for receiving the data implemented by the method according to the invention and an output interface 307 for transmitting the data implemented by the method according to the invention.

Claims

REVENDICATIONS
1 . Dispositif de détection de pluie (110) embarqué dans un véhicule comprenant un module d’acquisition d’image (111 ) configuré pour récupérer des données d’image provenant d’une caméra (101 ) de parebrise du véhicule, caractérisé en ce qu’il comporte en outre : 1. Rain detection device (110) embedded in a vehicle comprising an image acquisition module (111) configured to recover image data coming from a vehicle windshield camera (101), characterized in that it also includes:
- un module d’acquisition de son (112), configuré pour récupérer des données sonore provenant d’un microphone (102) dans l’habitacle du véhicule, - a sound acquisition module (112), configured to recover sound data coming from a microphone (102) in the passenger compartment of the vehicle,
- un module de perception (113) configuré pour utiliser les données d’image et les données sonore pour déterminer la présence de pluie. - a perception module (113) configured to use the image data and the sound data to determine the presence of rain.
2. Dispositif de détection de pluie (110) selon la revendication 1 , dans lequel le module de perception (113) est configuré pour : 2. Rain detection device (110) according to claim 1, in which the perception module (113) is configured to:
- Combiner les données d’image et les données sonore, - Combine image data and sound data,
- Déterminer la présence de pluie à partir des données combinées en mettant en œuvre un réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage. - Determine the presence of rain from the combined data by implementing a deep convolutional neural network with coefficients optimized during a learning step.
3. Dispositif de détection de pluie selon la revendication 1 , dans lequel le module de perception (113) est configuré pour : 3. Rain detection device according to claim 1, in which the perception module (113) is configured to:
- déterminer une première estimation de présence de pluie à partir des données d’image, en mettant en œuvre un premier réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage, - determine a first estimate of the presence of rain from the image data, by implementing a first deep convolutional neural network comprising optimized coefficients during a learning step,
- déterminer une deuxième estimation de présence de pluie à partir des données sonores en mettant en œuvre un deuxième réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage,- determine a second estimate of the presence of rain from the sound data by implementing a second deep convolutional neural network comprising coefficients optimized during a learning step,
- Déterminer la présence de pluie à partir de la première et la deuxième estimation. - Determine the presence of rain from the first and second estimates.
4. Dispositif de détection de pluie selon l’une des revendications précédentes, dans lequel le module de perception (113) est configuré pour déterminer la présence de pluie à partir d’uniquement les données de l’un de la caméra ou du microphone, lorsque l’autre de la caméra ou du microphone est défectueux. 4. Rain detection device according to one of the preceding claims, in which the perception module (113) is configured to determine the presence of rain from only the data from one of the camera or the microphone, when the other of the camera or microphone is defective.
5. Dispositif de détection de pluie selon l’une des revendications précédentes, dans lequel le module de détection (113) émet un signal d’actionnement des essuie- glaces (104) à destination d’un module de commande (103) d’essuie-glaces, lorsqu’il détermine la présence de pluie. 5. Rain detection device according to one of the preceding claims, in which the detection module (113) transmits a windshield wiper actuation signal (104) to a control module (103) windshield wipers, when it determines the presence of rain.
6. Procédé de détection de pluie par un dispositif (110) embarqué dans un véhicule comprenant des étapes de : 6. Method for detecting rain by a device (110) embedded in a vehicle comprising steps of:
- Acquisition de données d’image provenant d’une caméra de parebrise du véhicule, - Acquisition of image data from a vehicle windshield camera,
- Acquisition de données sonores provenant d’au moins un micro de l’habitacle du véhicule, - Acquisition of sound data from at least one microphone in the vehicle passenger compartment,
- Détermination, par un module de perception (113), de la présence de pluie à partir des données d’image et des données sonores. - Determination, by a perception module (113), of the presence of rain from image data and sound data.
7. Programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon la revendication précédente. 7. Computer program comprising instructions which, when the program is executed by a computer, lead it to implement the method according to the preceding claim.
8. Véhicule comportant un dispositif de détection de pluie selon l’une des revendications 1 à 5. 8. Vehicle comprising a rain detection device according to one of claims 1 to 5.
PCT/FR2023/000099 2022-06-21 2023-05-12 Method and device for detecting rain WO2023247844A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2206101A FR3136723A1 (en) 2022-06-21 2022-06-21 Rain detection method and device
FRFR2206101 2022-06-21

Publications (1)

Publication Number Publication Date
WO2023247844A1 true WO2023247844A1 (en) 2023-12-28

Family

ID=83188369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2023/000099 WO2023247844A1 (en) 2022-06-21 2023-05-12 Method and device for detecting rain

Country Status (2)

Country Link
FR (1) FR3136723A1 (en)
WO (1) WO2023247844A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117908168A (en) * 2024-03-18 2024-04-19 深圳市九天睿芯科技有限公司 Rainfall state detection device and electronic equipment based on sound

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2206101A1 (en) 1972-11-14 1974-06-07 Smb Laboratoires
JP2006044318A (en) * 2004-07-30 2006-02-16 Sony Corp Driving device and method
KR20160059179A (en) * 2014-11-18 2016-05-26 현대모비스 주식회사 Apparatus and method for controlling vehicle device using function for detecting rainfall
DE102014226358A1 (en) * 2014-12-18 2016-06-23 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for detecting surface pollution of a vehicle
US20180099646A1 (en) * 2016-10-06 2018-04-12 Ford Global Technologies, Llc Multi-Sensor Precipitation-Classification Apparatus and Method
US20210101564A1 (en) 2019-10-07 2021-04-08 Denso Corporation Raindrop recognition device, vehicular control apparatus, method of training model, and trained model
WO2023131600A1 (en) * 2022-01-10 2023-07-13 Robert Bosch Gmbh Method for acquiring information relating to a windscreen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2206101A1 (en) 1972-11-14 1974-06-07 Smb Laboratoires
JP2006044318A (en) * 2004-07-30 2006-02-16 Sony Corp Driving device and method
KR20160059179A (en) * 2014-11-18 2016-05-26 현대모비스 주식회사 Apparatus and method for controlling vehicle device using function for detecting rainfall
DE102014226358A1 (en) * 2014-12-18 2016-06-23 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for detecting surface pollution of a vehicle
US20180099646A1 (en) * 2016-10-06 2018-04-12 Ford Global Technologies, Llc Multi-Sensor Precipitation-Classification Apparatus and Method
US20210101564A1 (en) 2019-10-07 2021-04-08 Denso Corporation Raindrop recognition device, vehicular control apparatus, method of training model, and trained model
WO2023131600A1 (en) * 2022-01-10 2023-07-13 Robert Bosch Gmbh Method for acquiring information relating to a windscreen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117908168A (en) * 2024-03-18 2024-04-19 深圳市九天睿芯科技有限公司 Rainfall state detection device and electronic equipment based on sound

Also Published As

Publication number Publication date
FR3136723A1 (en) 2023-12-22

Similar Documents

Publication Publication Date Title
WO2023247844A1 (en) Method and device for detecting rain
FR2883656A1 (en) CONTINUOUS SPEECH TREATMENT USING HETEROGENEOUS AND ADAPTED TRANSFER FUNCTION
EP3419877B1 (en) Motor vehicle driving assistance device and method
FR3082809A1 (en) INTELLIGENT AIR TREATMENT OF A CONNECTED VEHICLE
WO2017158308A1 (en) Method for limiting radio noise, in particular in the fm band, by polynomial interpolation
WO2022152986A1 (en) Method and device for monitoring the trajectory of a vehicle traveling on a traffic lane
FR3103437A1 (en) Method and device for determining the setpoint for a vehicle
EP2605045B1 (en) System for receiving satellite signals.
FR3080189A1 (en) DEVICE FOR GEO-LOCATION OF A MOBILE OBJECT
FR3118824A1 (en) Method and device for taking control by a driver of an autonomous vehicle circulating in a tunnel
FR3072189B1 (en) METHOD AND DEVICE FOR DETERMINING AN ALTERNATIVE ALTITUDE OF AN AIRCRAFT
FR3107873A1 (en) Method and device for controlling a vehicle in a risky meteorological area
FR3087732A1 (en) METHOD AND DEVICE FOR DETERMINING A CHANGE OF TRACK OF A VEHICLE
EP4090565B1 (en) Method and device for controlling a vehicle
EP3434002A1 (en) Method and device for controlling an intercommunication system
WO2022096794A1 (en) Method and device for determining a manoeuvre time of an autonomous vehicle
FR3098326A1 (en) Method for detecting an anomaly affecting an exterior part of a motor vehicle
FR3129236A1 (en) Method for determining the relative orientation of two vehicles
WO2024003473A1 (en) Method and device for controlling a driver-assistance system of a vehicle travelling in a road environment that includes an intersection
EP4165886A1 (en) Method and device for communicating between two vehicles
FR3073352A1 (en) METHOD FOR AUTOMATICALLY CONTROLLING WIFI TRANSMISSIONS IN A VEHICLE
WO2023111412A1 (en) Method and device for controlling the acceleration of a vehicle
FR3118745A1 (en) Method and device for determining an acceleration of a moving object in an environment of a vehicle
EP4277820A1 (en) Method and device for controlling the acceleration of a vehicle
FR3120030A1 (en) Method and digital rear-view device used by a vehicle to replace exterior mirrors of the vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23728085

Country of ref document: EP

Kind code of ref document: A1