WO2023001549A1 - Système d'aide pour fournir une information de diagnostic - Google Patents

Système d'aide pour fournir une information de diagnostic Download PDF

Info

Publication number
WO2023001549A1
WO2023001549A1 PCT/EP2022/068637 EP2022068637W WO2023001549A1 WO 2023001549 A1 WO2023001549 A1 WO 2023001549A1 EP 2022068637 W EP2022068637 W EP 2022068637W WO 2023001549 A1 WO2023001549 A1 WO 2023001549A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
data
sensors
acquisition device
disease
Prior art date
Application number
PCT/EP2022/068637
Other languages
English (en)
Inventor
Georges De Pelsemaeker
Original Assignee
Valeo Systemes Thermiques
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Systemes Thermiques filed Critical Valeo Systemes Thermiques
Priority to EP22744446.0A priority Critical patent/EP4373383A1/fr
Priority to CN202280051220.XA priority patent/CN118055727A/zh
Publication of WO2023001549A1 publication Critical patent/WO2023001549A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A61B5/02433—Details of sensor for infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/0507—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  using microwaves or terahertz waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention

Definitions

  • the present invention relates to an aid system for providing diagnostic information, in particular with a view to detecting a disease in a person, in particular a contagious disease such as COVID 19.
  • the subject of the invention is thus a system for detecting a disease on a person, in particular a contagious disease such as COVID 19, this detection system comprising:
  • this acquisition device comprising in particular at least one physiological measurement sensor such as a radar, and a thermal camera for acquiring this examination data,
  • [7] - a display device arranged to display diagnostic information of the disease based on an analysis of said examination data, this diagnostic information being able to be representative of a level of probability that the person is suffering from the disease .
  • the data processing device comprises an artificial intelligence unit arranged to process the data examination data obtained by the acquisition device and providing said diagnostic information.
  • the data processing device and the display device are part of the same device, for example a computer, in particular a laptop computer.
  • the display device is a laptop computer screen and the data processing device includes this computer's microprocessor.
  • the display device is arranged to be visible to the person examined, and in particular the display device, which notably comprises a screen, is remote from the data processing device, these display device and data processing being for example interconnected by a wireless link, for example by a 3G, 4G or 5G communication protocol, or by the Internet network, or Wifi for example.
  • a wireless link for example by a 3G, 4G or 5G communication protocol, or by the Internet network, or Wifi for example.
  • the display device and possibly also the data processing device, are arranged to be embedded in a motor vehicle.
  • the display device and possibly also the data processing device, are arranged to be placed in a fixed manner, in a building or an outdoor courtyard for example.
  • the processing device is arranged to make the diagnosis automatically, without human intervention.
  • the invention allows rapid diagnosis and/or massive screening allowing a return to work or faster deconfinement.
  • the examination data acquisition device is arranged to allow non-contact and safety distance measurements of vital signals and thermal and visible imaging on the person to examine.
  • the system according to the invention thus advantageously uses the fusion of measurements without contact and at a safety distance, of vital signals and of thermal and visible imaging.
  • the artificial intelligence unit is arranged to use a diagnostic model based on artificial intelligence and fed by a reasonable number of clinical measurements.
  • the invention due to relatively light equipment, notably allows easy deployment of field hospitals in support of populations.
  • the invention allows diagnostics to be carried out in a mobile manner. Its implementation, for example using a thermal camera, a physiological measurement sensor such as a radar and a portable personal computer, is easy. The invention allows its rapid implementation throughout a territory.
  • the acquisition device comprises a radar to acquire data relating to the vital signs of the person, a thermal camera for temperature measurements providing temperature data, and a camera operating in the visible spectrum for the characterization of the person tested providing data characterization of the person.
  • the data processing device is arranged to run a diagnostic algorithm based on a fusion of vital data, in particular a respiratory rate, an amplitude of respiration, a time of inspiration and expiration, heart rhythm and arrhythmia.
  • the algorithm uses temperatures measured on remarkable areas, located by image processing, or even the oxygen level linked to the person examined.
  • these remarkable temperature measurement zones are located inside the mouth, on the tip of the nose, on the cheekbones and the palm of the hand.
  • the diagnostic algorithm uses a characterization of the person, such as data on age, gender, clothing, height, body mass index , also called BMI.
  • the system is arranged to carry out the acquisition of examination data until the provision of the diagnostic information in a period of time comprised in particular between 30 and 120 seconds.
  • the system is arranged to allow acquisition of examination data by taking measurements at a distance of 60 cm to 2 m between the acquisition device and the person. It is avoided that the person has to be in contact with the acquisition device.
  • the invention thus allows rapid diagnosis without additional delay in getting to a doctor, for example. Diagnostic information can, if necessary, be automatically sent to a doctor and can be kept on a cloud-type data storage system.
  • the data processing device uses an algorithm for analyzing the acquired examination data and, if necessary, for sorting people with the aim of detecting cases of sick people, based on all the data collected and an artificial intelligence whose first level of learning is carried out on a sample in a hospital environment.
  • This learning by artificial intelligence can be carried out by means of a set of measurements collected by the system but also by means of the medical follow-up of patients. This allows the improvement of the model over time.
  • the measurements taken by the acquisition device can be used to subsequently refine the diagnosis made by the artificial intelligence.
  • the measured examination data includes at least one of the following data: temperatures measured at different points of the body of the person to be examined, a respiratory or cardiac characteristic.
  • the acquisition device is arranged to acquire examination data comprising an outside temperature, a temperature measured on a cheekbone of the person, a temperature measured on the tip of the person's nose, and also if applicable, a maximum facial temperature and a temperature of a garment or a reference temperature-controlled surface.
  • the remarkable measurement points are located by an artificial intelligence by means of an object identification flowchart.
  • the temperature relative to a remarkable point is obtained by time average and by average of the temperatures of a surface defined by pixels taken from an infrared camera image near the remarkable point identified on the visible image by means of an object identification algorithm.
  • the identification of personal characterizations is done by means of Red Green Blue cameras (or RGB camera) or Far Infrared (FIR camera) in addition to an identity reading of the person, thanks to a classification system which can be learned on RGB (Red Green Blue) or Infrared images.
  • RGB Red Green Blue
  • FIR camera Far Infrared
  • the diagnostic model, or diagnostic algorithm which is fed with more data such as remarkable body temperatures, ambient temperature, a class of personal characteristics, a time of day, can be arranged to additionally use route data of the examined person to check whether he has come across a sick person or has passed through a region at risk.
  • the system is arranged to operate in the absence of a radar and using RGB cameras to estimate cardiac and respiratory parameters.
  • the temperature relative to a remarkable point can be obtained by time average and by average of the temperatures of a surface defined by pixels taken from a camera image near the remarkable point.
  • the remarkable point is for example defined geometrically by means of an image area called Building box, which surrounds it, for example by means of the geometric mean of the sides of the image area.
  • This image area is a surface delimited by a series of points which is constructed by an object identification algorithm.
  • the system does not have an RGB camera and/or does not use the surface whose temperature is controlled.
  • the system uses the external temperature and a heat transfer model on the covered areas or even only the temperature differences between the remarkable points.
  • the system is arranged to use a fusion of non-contact measurements, in particular of vital signals and thermal and visible imaging.
  • the diagnostic information is comprised of a class chosen from among three predetermined classes which are "Healthy person”, “Person with a suspicion of disease”, “Person with a high probability of disease”.
  • Diagnostic information may also include an assessment of disease severity.
  • the invention also relates to a method for providing diagnostic information for the detection of a disease in a person, in particular a contagious disease such as COVID 19, this method comprising the following steps:
  • an acquisition device comprising in particular at least one physiological measurement sensor such as a radar, and a thermal camera to acquire this examination data
  • diagnostic information of the disease based on an analysis of said examination data, this diagnostic information being able to be representative of a level of probability that the person has the disease.
  • the present invention can allow controls in the public space in general, in particular on people's circulation routes, at entrances and exits of buildings, at airport gates, in schools.
  • a further subject of the invention is an aid system for providing diagnostic information, in particular with a view to detecting a disease in a person, in particular a contagious disease such as COVID 19, this detection system comprising:
  • this acquisition device comprising in particular at least one sensor for physiological measurement such as a radar, and a thermal camera for acquiring this examination data
  • this device for acquisition comprising a plurality of sensors arranged to operate without contact with the person, at least one of the contactless sensors being arranged to acquire response data provided by the person,
  • a display device arranged to display diagnostic information of the disease based on an analysis of said data by the data processing device, this diagnostic information being able in particular to be representative of a level of probability that the person is suffering from the disease, this level of probability being able in particular to be a score.
  • the invention allows, thanks to the plurality of sensors that operate without contact with the person to be examined, to have enough data to establish a more reliable diagnosis.
  • the data processing device comprises an artificial intelligence unit arranged to process the data examination data obtained by the acquisition device and providing said diagnostic information.
  • the data processing device and the display device are part of the same device, for example a computer, in particular a laptop computer.
  • the display device and possibly also the data processing device, are arranged to be mounted on a motor vehicle.
  • the contactless sensor arranged to acquire response data provided by the person comprises a microphone arranged to receive responses provided orally by the person.
  • the contactless sensor can, as a variant of the microphone which works with voice recognition, include means for analyzing the person's face to, for example, recognize a YES or a NO, for example by nodding.
  • the contactless sensor may include means allowing the person to point to an answer on a screen with a finger, without contact with the screen.
  • the system is arranged to present a questionnaire, for example by displaying the questions of the questionnaire on a display screen or for example using a sound device which pronounces the questions of the questionnaire, to the person to be examined, and the acquisition device is arranged to receive the answers provided by the person to this questionnaire, for example the microphone being used to record the person's answers.
  • the system comprises a data storage unit, for example forming part of a computer, arranged to store the questions of the questionnaire.
  • the data processing device is arranged to receive data from the acquisition device relating to the answers provided by the person in response to the questionnaire, and this device data processing is arranged to process these data in combination with data from other sensors of the acquisition device, in order to provide the diagnostic information of the disease.
  • the data processing device in order to obtain the diagnostic information, is arranged to run a diagnostic algorithm based on a fusion of the vital data of the person , including respiratory rate, amplitude of respiration, time of inspiration and expiration, cardiac rhythm and arrhythmia, with also questionnaire response data.
  • the system is arranged in such a way as to select the questions to be asked according to the person to be examined, in particular one or more data available on the person.
  • the questions to be asked are of a medical nature, useful for improving the diagnosis in combination with the other data.
  • the questions are chosen from the following list: Do you have chest pain? Do you have a dry cough? Do you have a sore throat? Do you have a runny nose? Do you have trouble breathing?
  • the system is arranged to perform, using one of the contactless sensors, a measurement whose result data is compared with an answer provided by the person in response to a question in the questionnaire.
  • the system is arranged to acquire data relating to a context, for example an ambient temperature.
  • the system is arranged to carry out a sorting based on a static model to give a score associated with the diagnosis.
  • the system is arranged to operate the following steps: receiving consent data from the person to be subjected to the examination, acquiring characterization data of the person such as gender, age, height, and data representative of the context, acquiring data in response to questions, in particular using a microphone, and measurements of vital signs, processing data to allow an evaluation of the level of reliability of the diagnostic information, to possibly ask additional questions if necessary to refine the diagnostic information, to carry out a sorting based on a static model to give a score associated with the diagnosis.
  • contactless sensors are arranged to allow measurement acquisition at a distance from the person to be examined, between 50 cm and 2 m.
  • Another object of the invention is a terminal that includes the help system as mentioned above.
  • This terminal can for example include a processing unit arranged to process data from the sensors and deliver diagnostic information.
  • This processing unit can be a computer, with or without a screen on the terminal.
  • This terminal notably includes the various sensors.
  • This terminal can be installed at the entrance of a building, for example.
  • Another subject of the invention is an aid method for providing diagnostic information, in particular with a view to detecting a disease in a person, in particular a contagious disease such as COVID 19, this method comprising the following steps:
  • this acquisition device comprising in particular at least one sensor for physiological measurement such as a radar, and a thermal camera for acquiring this examination data, this acquisition device comprising a plurality of sensors arranged to operate without contact with the person, at least one of the contactless sensors being arranged to acquire response data provided by the person, this sensor being in particular a microphone, - receive these data obtained by several sensors of the acquisition device,
  • diagnostic information for the disease based on an analysis of said data by the data processing device, this diagnostic information possibly being representative of a level of probability that the person is suffering from the disease, this level of probability which may in particular be a score.
  • Another subject of the invention is an aid system for providing diagnostic information, in particular with a view to detecting a disease in a person, in particular a contagious disease such as COVID 19, this detection system including:
  • this acquisition device comprising at least a first sensor, in particular a sensor for physiological measurement such as a radar or a thermal camera to acquire these examination data, in particular this acquisition device comprising a plurality of sensors arranged to operate without contact with the person, in particular at least one of the contactless sensors being arranged to acquire a response datum provided by the person,
  • a display device arranged to display diagnostic information of the disease based on an analysis of said data by the data processing device, this diagnostic information possibly being representative of a level of probability that the person is affected of the disease, this level of probability being able in particular to be a score
  • the acquisition device further comprising a correction sensor different from said first sensor and arranged to acquire at least one datum on the person, this datum being a correction datum different from data acquired by the first sensor, - the data processing device being arranged to use this correction datum to correct the examination data supplied by the first sensor.
  • the correction sensor is arranged to acquire data representative of a movement of the person.
  • this correction sensor comprises a camera, in particular of the 3D type, to acquire data representative of a movement of the person.
  • This camera is in particular a camera operating on the principle of time of flight (in English: Time of Flight, TOF) which makes it possible to measure a scene in real time in 3 dimensions (3D).
  • TOF Time of Flight
  • this camera is an RGB camera operating with, for example, a body segmentation tool or a platform equipped with a strain gauge on which the person is installed, which person can be standing, lying or sitting.
  • the correction sensor is arranged to acquire data representative of a voice of the person.
  • this correction sensor arranged to acquire data representative of a voice of the person comprises a microphone (33), in particular a directional microphone or a camera.
  • the acquisition device comprises both a correction sensor arranged to acquire data representative of a movement of the person and a correction sensor arranged to acquire data representative of a person's voice.
  • the first sensor in particular being a physiological measurement sensor, is a radar arranged in particular to acquire data representative of a breathing rate of the person, in particular by detecting the movement of the person's skin.
  • the radar is arranged to be placed in front of the person or behind the person's back.
  • the data processing device is arranged to carry out the correction of the examination data according to the correction data using an artificial intelligence.
  • the data processing device is arranged to obtain a correction signal based on the correction data, this correction signal being evolving as a function of time.
  • the data processing device is arranged to provide the examination data, for example related to the respiratory rate, after correction using the correction signal.
  • the invention makes it possible to take into account the noise related to the movements of the person and/or to his voice, to provide reliable and precise examination data.
  • Another object of the invention is a method for providing assistance with diagnostic information, in particular with a view to detecting a disease in a person, in particular a contagious disease such as COVID 19, this method comprising the following steps:
  • this acquisition device comprising at least a first sensor, in particular a sensor for physiological measurement such a radar or a thermal camera to acquire these examination data, in particular this acquisition device comprising a plurality of sensors arranged to operate without contact with the person, in particular at least one of the contactless sensors being arranged to acquire response data provided by the person,
  • the invention has the advantage of being able to cross-reference data in order to obtain a more reliable and/or more robust result.
  • the invention makes it possible to evaluate this disturbance thanks to a microphone or a camera that allows lip reading or even by means of a 4D camera or an inertial balance.
  • the method according to the invention includes the step of taking into account the weight of the evaluations of the parameters acquired to obtain the result.
  • the invention recommends giving more weight to the least disturbed parameters.
  • the method in the case of the evaluation of the heart rate by means of a radar, this evaluation being disturbed by the voice of the person or the movement of the person, the method presents the stage of evaluating this disturbance using a microphone or a camera that allows lip reading or even using a 4D camera or an inertial balance, to correct the examination data.
  • Another subject of the invention is an aid system for providing diagnostic information, in particular with a view to detecting a disease in a person, in particular a contagious disease such as COVID 19, this detection system including:
  • this acquisition device comprising at least two sensors for measuring the same physiological measurement, such as a radar and a thermal camera for acquiring this examination data, these sensors being in particular arranged to operate without contact with the person,
  • a data processing device (3) arranged to receive these data obtained by the sensors of the acquisition device, this processing device being further arranged to carry out a fusion of data coming from at least of the two sensors of the acquisition device, in particular with a view to increasing the robustness of the examination data acquired on the person,
  • a display device arranged to display disease diagnostic information based on an analysis of said data by the data processing device, this diagnostic information possibly being representative of a level of probability that the person has the disease, this level of probability being able in particular to be a score.
  • the two sensors are arranged at different locations.
  • the two sensors can be arranged in the same box or in two different boxes.
  • the two sensors are arranged to pick up signals of different natures, for example signals of different wavelengths.
  • the two sensors comprising a radar and a thermal image camera are arranged to measure the respiratory rate or the heart rate of a person.
  • to measure respiratory rate may refer to measurements of respiratory characteristics such as rate, amplitude, time of inspiration, expiration, apnea ...
  • the invention makes it possible, thanks to the fusion of measurement data coming from two different sensors or more sensors, to have a more robust result on the diagnostic aid information.
  • one or more sensors are provided arranged to evaluate the noise of a signal and to attenuate this noise, in particular in addition to the evaluation of a level of reliability.
  • the processing unit is arranged to assign, for at least one of the sensors, a level of reliability, for example which can be 0 or 1, in one or more measurement windows, this reliability level and this window being used to perform the data fusion.
  • the acquisition device comprises one or more complementary sensors arranged to determine the level of reliability of the two physiological measurement sensors.
  • the sensors are a radar and an infrared camera which make it possible to assess the breathing rate of the person
  • additional sensors such as a microphone or a device for measuring the movements of the person's body makes it possible to evaluate the reliability of the measurement made by the camera or the radar. In fact, when the person is moving or talking, the measurement made by the radar is either impossible or of poor quality.
  • this correction sensor comprises a camera, in particular of the 3D type, to acquire data representative of a movement of the person.
  • the infrared camera can be associated with an RGB camera to check whether the measurements by the infrared camera are possible or, when the person is moving or presents the head turned, for example, to conclude that the measurements by the infrared camera are impossible.
  • the processing unit is arranged to retain the measurement(s) of one or both sensors according to the reliability conditions of the measurement of the sensor(s).
  • the processing unit does not use the measurements made by the sensor, the reliability of which is not recognized as sufficient.
  • the processing unit does not use the measurements made by the sensor formed by a radar when the person is moving or turning his head. In this situation, the processing unit uses the other sensor which is an infrared imaging camera.
  • the processing unit is arranged to reconstitute a diagnostic information value on the basis of measurements obtained by the sensors and retained according to their quality and the reliability .
  • the curve of the signal representative of the diagnostic information can be formed by a signal measured by one of the sensors on a first time window and by a signal obtained by the other of the sensors over a second time window.
  • the processing unit comprises an artificial intelligence arranged to carry out the data fusion.
  • artificial intelligence is designed to assign a level of reliability to measurements made by the sensor(s).
  • the vital signals are evaluated by the artificial intelligence, and the uncertainty on the measurement evaluated by the artificial intelligence can be integrated statistically during the fusion of the data. .
  • artificial intelligence is designed to accept or reject a measurement made by one or other of the sensors depending on the reliability of this measurement.
  • Another subject of the invention is an aid method for providing diagnostic information, in particular with a view to detecting a disease in a person, in particular a contagious disease such as COVID 19, this detection system including:
  • this acquisition device comprising at least two sensors for measuring the same physiological measurement such as a radar and a thermal camera for acquiring this examination data, these sensors being in particular arranged to operate without contact with the person,
  • this processing device being further arranged to carry out a fusion of data coming from at least the two sensors of the acquisition device, in particular with a view to increasing the robustness of the data examination acquired on the person
  • Figure 1 schematically illustrates a system according to a non-limiting embodiment of the invention.
  • Figure 2 shows a block diagram illustrating the steps implemented in the system of Figure 1,
  • Figure 3 illustrates a block diagram illustrating the steps implemented in a system according to another example of implementation of the invention
  • Figure 5 shows curves illustrating the effect of merging data obtained using the invention.
  • FIG. 1 and 2 There is shown in Figures 1 and 2 an aid system 1 for providing diagnostic information, in particular with a view to detecting a disease in a person, in particular a contagious disease such as COVID 19, according to the invention.
  • This system 1 includes:
  • a display device 30 arranged to display diagnostic information of the disease based on an analysis of said examination data, this diagnostic information being able to be representative of a level of probability that the person has the disease.
  • This system 1 includes in particular:
  • this sensor being a camera operating in the near infrared
  • a respiratory activity sensor in particular in frequency and/or respiratory amplitude, of at least one passenger, this sensor being a camera operating in the far infrared, or thermal camera,
  • a radar arranged to measure the person's vital signs, - a sensor of the passenger's profile characteristics, in particular his gender, weight, height and age, this sensor being here a Red Green Blue camera, also called RGB camera in English,
  • - a card reader to read a person's identity card and obtain the person's personal data.
  • sensors and cameras which are part of the acquisition device 7, are represented by the reference 2 in Figure 1.
  • Some sensors 2 are for example arranged on a ceiling of the vehicle.
  • One of the other cameras 2 is arranged in a side upright 6 of the vehicle V.
  • the heart rate and respiration sensor may be in the seat back or in the center console at the level of the passenger's thigh, this being non-limiting.
  • the data processing device 3 includes an artificial intelligence unit arranged to process the examination data obtained by the acquisition device 7 and provide said diagnostic information.
  • the data processing device 3 and the display device 30 are part of the same device, for example a computer, in particular a laptop computer.
  • the display device 30 is a screen of the laptop computer and the data processing device includes this computer's microprocessor.
  • the display device 30 is arranged to be visible to the person examined, and in particular the display device, which notably comprises a screen, is remote from the data processing device, these display and processing devices data being for example interconnected by a wireless link, for example by a 3G, 4G or 5G communication protocol, or by the Internet network, or Wifi for example.
  • a wireless link for example by a 3G, 4G or 5G communication protocol, or by the Internet network, or Wifi for example.
  • the display device 30, and also the data processing device 3, are here arranged to be carried on a motor vehicle.
  • the display device 30, and optionally also the data processing device 3, are arranged to be placed in a fixed manner, in a building or an outdoor courtyard for example.
  • the processing device 3 is arranged to make the diagnosis automatically, without human intervention.
  • the examination data acquisition device 7 is arranged to allow non-contact and safety distance measurements of vital signals and thermal and visible imaging on the person to be examined.
  • the system according to the invention thus advantageously uses the fusion of measurements without contact and at a safe distance, vital signals and thermal and visible imaging.
  • the artificial intelligence unit is arranged to use a diagnostic model based on artificial intelligence and fed by a reasonable number of clinical measures.
  • the invention allows diagnostics to be carried out in a mobile manner. Its implementation, for example using a thermal camera, a physiological measurement sensor such as a radar and a portable personal computer, is easy.
  • the acquisition device 7 comprises a radar to acquire data relating to the vital signs of the person, a thermal camera for temperature measurements providing temperature data, and a camera operating in the visible spectrum for the characterization of the person being tested providing data characterizing the person.
  • the data processing device 3 is arranged to run a diagnostic algorithm based on a fusion of vital data, in particular a breathing rhythm, a breathing amplitude, an inspiration and expiration time, a rhythm and cardiac arrhythmia, oximetry.
  • the algorithm uses temperatures measured on remarkable areas, localized by image processing. [147] Preferably, these remarkable temperature measurement zones are located inside the mouth, on the tip of the nose, on the cheekbones and the palm of the hand.
  • the diagnostic algorithm uses a characterization of the person, such as data on age, gender, dress, height, body mass index.
  • the system is designed to carry out the acquisition of examination data until the provision of diagnostic information in a period of time comprised in particular between 30 and 120 seconds.
  • the invention thus allows rapid diagnosis without additional delay in getting to a doctor, for example.
  • the diagnostic information can, if necessary, be sent automatically to a doctor and can be kept on a data storage system 40 of Cloud type.
  • the data processing device 3 uses an algorithm for analyzing the acquired examination data and, if necessary, sorting people with the aim of detecting cases of sick people, based on the set collected data and an artificial intelligence whose first level of learning is carried out on a sample in a hospital environment.
  • the measurements made by the acquisition device can be used to later refine the diagnosis made by the artificial intelligence.
  • the measured examination data includes at least one of the following data: temperatures measured at different points of the body of the person to be examined, a respiratory or cardiac characteristic.
  • the acquisition device 7 is arranged to acquire examination data comprising an outside temperature, a temperature measured on a cheekbone of the person, a temperature measured on the tip of the nose of the person, and also if applicable, a maximum face temperature and a reference temperature-controlled garment or surface temperature.
  • the identification of personal characterizations is done by means of Red Green Blue cameras (or RGB camera) or Far Infrared (FIR camera) in addition to a reading of the person's identity, thanks to a classification system whose learning can be performed on RGB (Red Green Blue) or Infrared images.
  • RGB Red Green Blue
  • FIR camera Far Infrared
  • the diagnostic model, or diagnostic algorithm which is fed with more data such as remarkable body temperatures, ambient temperature, class of personal characteristics, time of day, can be arranged to additionally use journey data of the person examined to check whether they have crossed paths with a sick person or passed through a region at risk.
  • the temperature relative to a remarkable point can be obtained by temporal average and by average of the temperatures of a surface defined by pixels resulting from a camera image near the remarkable point.
  • the remarkable point is for example defined geometrically by means of an image area called Building box, which surrounds it. This image area is a surface delimited by a series of points which is constructed by an object identification algorithm.
  • the diagnostic information is comprised of a class chosen from three predetermined classes which are "Healthy person”, “Person with a suspicion of disease”, “Person with a high probability of disease”.
  • diagnostic information for the disease based on an analysis of said examination data, this diagnostic information being able to be representative of a level of probability that the person has the disease (step 29).
  • Steps 20 to 25 are as follows:
  • step 20 the identification of personal characterizations is done by means of Red Green Blue cameras (or RGB camera), this is step 20,
  • step 23 acquisition of the heart rate in step 23 using the near infrared camera, or NIR camera,
  • NIR near-infrared
  • Examination data may, where appropriate, include pupil size and position.
  • Diagnostic information is automatically sent to a cloud-based remote data storage system.
  • the acquisition device is in particular arranged to acquire examination data comprising an outside temperature, a temperature measured on a cheekbone of the person, a temperature measured on the tip of the person's nose, and also, where appropriate , a maximum facial temperature and a temperature of a garment or of a reference temperature-controlled surface, and if applicable a respiratory volume, tremors, the level of oxygen in the blood.
  • Figure 3 shows another example of implementation of the invention.
  • the help system 1 includes, like the example described above:
  • this acquisition device comprising in particular at least one physiological measurement sensor such as a radar, and a thermal camera for acquiring this examination data, this device acquisition comprising a plurality of sensors 2 arranged to operate without contact with the person, at least one of the contactless sensors being arranged to acquire response data provided by the person,
  • a data processing device 3 arranged to receive these data obtained by several sensors of the acquisition device
  • a display device 30 arranged to display diagnostic information for the disease based on an analysis of said data by the data processing device, this diagnostic information possibly being representative of a level of probability that the person is affected of the disease, this level of probability possibly being in particular a score.
  • One of the contactless sensors 2 arranged to acquire response data provided by the person comprises a microphone arranged to receive responses provided orally by the person.
  • the system 1 is arranged to present a questionnaire, for example by displaying the questions of the questionnaire on a display screen or for example using a sound device which pronounces the questions of the questionnaire, to the person to examine, and the acquisition device is arranged to receive the answers provided by the person to this questionnaire, here the microphone 33 being used to record the person's answers.
  • System 1 comprises a data storage unit, for example part of a computer, arranged to store the questions of questionnaire 34.
  • the data processing device 3 is arranged to receive data from the acquisition device relating to the answers provided by the person in response to the questionnaire, and this data processing device is arranged to process this data in combination with data coming from other sensors of the acquisition device, in order to provide the diagnostic information of the disease.
  • the data processing device 3 is arranged to run a diagnostic algorithm based on a fusion of the person's vital data, in particular a respiratory rate, an amplitude of respiration , inspiration and expiration time, cardiac rhythm and arrhythmia, also with questionnaire response data.
  • the system is set up in such a way as to select the questions to be asked depending on the person to be examined, in particular one or more data available on the person.
  • the questions to be asked are of a medical nature, useful to improve the diagnosis in combination with the other data.
  • the system 1 is arranged to carry out, using one of the sensors 2 without contact, a measurement whose result data are compared with an answer provided by the person in response to a question of the questionnaire.
  • Step 50 corresponds to the beginning of the method for detecting a disease in a person.
  • step 51 the person enters for example data concerning him, for example his identity, then possibly gives his agreement or consent to continue the diagnostic process.
  • This step 51 can be performed by the person via a touch screen 35 coupled to a disinfection device 36 using UV.
  • a microphone 33 can be used to record the person's responses to questions.
  • a voice recognition device 38 is muted at the microphone 33 to input data picked up by the microphone 33 into the data processing unit 3.
  • Context data 37 for example an ambient temperature, can be acquired by a sensor 2.
  • step 52 characteristics related to the person are determined using one or more sensors 2 via an object image recognition system 39, as described in the previous example.
  • the questions are chosen for example from the following list: Do you have chest pain? Do you have a dry cough? Do you have a sore throat? Do you have a runny nose? Do you have trouble breathing?
  • step 54 the sensors 2 proceed to the acquisition of data relating to the vital signs of the person, as described in the preceding example.
  • step 55 the artificial intelligence provides a preliminary score representative of the diagnosis obtained on the basis of the data entered until then.
  • step 56 additional questions are asked of the person, and the answers obtained are used to refine the preliminary score obtained at step 55.
  • a final score is given in step 57 by the artificial intelligence, which is recorded on the data storage space 40.
  • step 58 the final score is displayed for information to the person.
  • the aid system 1 for providing diagnostic information slightly different from that described above, comprises:
  • this acquisition device comprising at least a first sensor, here a physiological measurement sensor which is a radar for acquiring this examination data,
  • a display device 30 arranged to display diagnostic information for the disease based on an analysis of said data by the data processing device, this diagnostic information possibly being representative of a level of probability that the person is affected of the disease, this level of probability being able in particular to be a score
  • the acquisition device 7 further comprising a correction sensor 33 different from said first sensor, namely the radar, and arranged to acquire at least one datum on the person, this datum being a different correction datum from data acquired by the first sensor,
  • the data processing device being arranged to use this correction data to correct the examination data supplied by the first sensor.
  • This correction sensor 33 is arranged to acquire data representative of a person's voice.
  • This correction sensor 33 arranged to acquire data representative of a person's voice comprises a microphone 33, in particular a directional microphone or a camera.
  • This correction sensor for acquiring data representative of a person's movement comprises a camera, in particular of the 3D type, for acquiring data representative of a person's movement.
  • This camera is in particular a camera operating on the principle of time of flight (in English: Time of Flight, TOF) which makes it possible to measure a scene in real time in 3 dimensions (3D).
  • TOF Time of Flight
  • the radar is arranged in particular to acquire data representative of the person's breathing rate, in particular by detecting the movement of the person's skin.
  • the radar is arranged to be placed in front of the person or behind the person.
  • sensors other than radar can be used, for example a Near Infrared camera.
  • the data processing device 3 is arranged to carry out the correction of the examination data according to the correction data using artificial intelligence.
  • the data processing device 3 is arranged to obtain a correction signal based on the correction data, this correction signal being evolving as a function of time.
  • the data processing device 3 is arranged to provide the examination data, for example related to the respiratory rate, after correction using the correction signal.
  • the invention makes it possible to take into account the noise linked to the movements of the person and/or to his voice, in order to provide reliable and precise examination data.
  • the movements and words of the person are likely to create interference in the acquisition of data, in particular of physiological type such as the respiratory rate.
  • Curve 101 illustrates the magnitude of the error, over time, in a breathing rate measurement on the person, this error being induced by movements of the person during the measurement and by the fact that she speaks during the measurement.
  • the curve 102 shows the magnitude of the error, over time, on a measurement of the breathing rate on the person, when a correction is taken into account taking into account the movements of the person detected by the camera of movements.
  • curve 103 illustrates the amplitude of the error, over time, on a measurement of respiratory rate on the person, when the corrections linked to both the movements and the speech of the person are taken into account. no one.
  • this acquisition device comprising at least a first sensor, in particular a sensor for physiological measurement such a radar or a thermal camera to acquire these examination data, in particular this acquisition device comprising a plurality of sensors arranged to operate without contact with the person, in particular at least one of the contactless sensors being arranged to acquire response data provided by the person,
  • system 1 may comprise
  • this acquisition device 7 for acquiring examination data on the person, this acquisition device comprising at least two sensors for measuring the same physiological measurement such as a radar and a thermal camera for acquiring this examination data, these sensors being in particular arranged to operate without contact with the person, these sensors being already described above,
  • the data processing device 3 arranged to receive these data obtained by the sensors of the acquisition device, this processing device being further arranged to perform a fusion of data coming from at least the two sensors of the acquisition device in particular by with a view to increasing the robustness of the examination data acquired on the person,
  • the display device 30 arranged to display diagnostic information of the disease based on an analysis of said data by the data processing device, this diagnostic information possibly being representative of a level of probability that the person is affected of the disease, this level of probability possibly being in particular a score.
  • the two sensors are placed at different locations.
  • the two sensors comprising a radar and a thermal image camera are arranged to measure a person's breathing rate.
  • the processing unit 3 is arranged to assign, for at least one of the sensors, a level of reliability F, for example which can be 0 or 1, in several measurement windows T1, T2, T3 t T4 by example, this reliability level and these windows being used to perform the data fusion.
  • a level of reliability F for example which can be 0 or 1
  • T1, T2, T3 t T4 by example, this reliability level and these windows being used to perform the data fusion.
  • the acquisition device 7 comprises one or more complementary sensors arranged to determine the level of reliability of the two physiological measurement sensors.
  • the sensors are a radar and an infrared camera which make it possible to assess the breathing rate of the person
  • additional sensors such as a microphone or a device for measuring the movements of the person's body makes it possible to evaluate the reliability of the measurement made by the camera or the radar. In fact, when the person is moving or talking, the measurement made by the radar is either impossible or of poor quality.
  • This correction sensor includes a camera, in particular of the 3D type, to acquire data representative of a movement of the person.
  • the infrared camera can be associated with an RGB camera to check whether the measurements by the infrared camera are possible or, when the person is moving or has his head turned, for example, to conclude that the measurements by the infrared camera are impossible.
  • the processing unit 3 is arranged to retain the measurement(s) of one or both sensors depending on the reliability conditions of the measurement of the sensor(s).
  • the processing unit does not use the measurements made by the sensor, the reliability of which is not recognized as sufficient.
  • the processing unit does not use the measurements made by the sensor formed by a radar when the person is moving or turning his head.
  • the processing unit uses the other sensor which is an infrared imaging camera.
  • the processing unit 3 is arranged to reconstitute a diagnostic information value on the basis of measurements obtained by the sensors and retained according to their quality and reliability.
  • the curve of the signal representative of the diagnostic information can be formed by a signal measured by one of the sensors over a first time window T1 and by a signal obtained by the other of the sensors over a second time window T3, as in the example in Figure 5.
  • the measurements taken by the two sensors are of comparable satisfactory reliability and are merged.
  • the curve 110 represents the theoretical value of the information, for example the respiratory rate, which it is desired to obtain.
  • Curve 111 represents a signal measured by the camera which is one of the sensors used to measure the breathing rate on the person.
  • Curve 112 represents a signal measured by the radar which is the other of the sensors used to measure the breathing rate on the person.
  • Curve 113 represents the fusion of the data represented by curves 111 and 112.
  • the processing unit 3 includes an artificial intelligence designed to perform the data fusion.
  • artificial intelligence is designed to assign a level of reliability to measurements made by the sensor(s).
  • the artificial intelligence is set up to accept or reject a measurement made by one or other of the sensors depending on the reliability of this measurement.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

La présente invention concerne un système d'aide pour fournir une information de diagnostic, notamment en vue de la détection d'une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19, ce système de détection comportant: - un dispositif d'acquisition de données d'examen sur la personne, ce dispositif d'acquisition comportant au moins deux capteurs pour mesurer une même mesure physiologique tels qu'un radar et une caméra thermique pour acquérir ces données d'examen, ces capteurs étant notamment agencés pour fonctionner sans contact avec la personne, - un dispositif de traitement de données agencé pour recevoir ces données obtenues par les capteurs du dispositif d'acquisition, ce dispositif de traitement étant en outre agencé pour réaliser une fusion de données provenant au moins des deux capteurs du dispositif d'acquisition notamment en vue d'augmenter la robustesse de la donnée d'examen acquise sur la personne.

Description

Description
SYSTÈME D’AIDE POUR FOURNIR UNE INFORMATION DE
DIAGNOSTIC
[1] La présente invention se rapporte à un système d’aide pour fournir une information de diagnostic, notamment en vue de la détection d’une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19.
[2] La détection des malades potentiels du COVID 19 est aujourd'hui réalisée par la prise de température, d'examens cliniques complémentaires, puis par un test COVID 19 qui possède encore un niveau de confiance relativement faible. Un scanner pulmonaire peut avec un bon niveau de précision confirmer la gravité de la maladie.
[3] Il existe un besoin important de pouvoir détecter rapidement, notamment grâce à des moyens mobiles, les malades potentiels de maladie contagieuse, par exemple la maladie liée au COVID 19.
[4] L’invention a ainsi pour objet un système de détection d’une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19, ce système de détection comportant:
[5] - un dispositif d’acquisition de données d’examen sur la personne, ce dispositif d’acquisition comportant notamment au moins un capteur de mesure physiologique tel qu’un radar, et une caméra thermique pour acquérir ces données d’examen,
[6] - un dispositif de traitement de données agencé pour recevoir ces données d’examen obtenues par le dispositif d’acquisition,
[7] - un dispositif d’affichage agencé pour afficher une information de diagnostic de la maladie basée sur une analyse desdites données d’examen, cette information de diagnostic pouvant être représentative d’un niveau de probabilité que la personne soit atteinte de la maladie.
[8] Selon l’un des aspects de l’invention, le dispositif de traitement de données comporte une unité d’intelligence artificielle agencée pour traiter les données d’examen obtenues par le dispositif d’acquisition et fournir ladite information de diagnostic.
[9] Selon l’un des aspects de l’invention, le dispositif de traitement de données et le dispositif d’affichage font partie d’un même appareil, par exemple un ordinateur, notamment un ordinateur portable.
[10] Dans ce cas, le dispositif d’affichage est un écran de l’ordinateur portable et le dispositif de traitement de données comprend microprocesseur de cet ordinateur.
[11] Dans une variante, le dispositif d’affichage est agencé pour être visible de la personne examinée, et notamment le dispositif d’affichage, qui comprend notamment un écran, est distant du dispositif de traitement de données, ces dispositif d’affichage et de traitement de données étant par exemple reliés entre eux par une liaison sans fil, par exemple par un protocole de communication 3G, 4G ou 5G, ou par le réseau Internet, ou Wifi par exemple.
[12] Selon l’un des aspects de l’invention, le dispositif d’affichage, et éventuellement également le dispositif de traitement de données, sont agencées pour être embarqués sur un véhicule automobile.
[13] En variante, le dispositif d’affichage, et éventuellement également le dispositif de traitement de données, sont agencés pour être placés de manière fixe, dans un bâtiment ou une cour extérieure par exemple.
[14] Selon l’un des aspects de l’invention, le dispositif de traitement est agencé pour faire le diagnostic de manière automatique, sans une intervention humaine.
[15] Du fait d’un traitement automatique, l’invention permet un diagnostic rapide et/ou un dépistage massif permettant un retour au travail ou un déconfinement plus rapide.
[16] Selon l’un des aspects de l’invention, le dispositif d’acquisition de données d’examen est agencé pour permettre des mesures sans contact et à distance de sécurité, de signaux vitaux et d'imagerie thermique et visible sur la personne à examiner.
[17] Le système selon l’invention utilise ainsi avantageusement la fusion de mesures sans contact et à distance de sécurité, de signaux vitaux et d'imagerie thermique et visible. [18] Selon l’un des aspects de l’invention, l’unité d’intelligence artificielle est agencée pour utiliser un modèle de diagnostic basé sur l'intelligence artificielle et nourri par un nombre raisonnable de mesures cliniques.
[19] L’invention, du fait d’un équipement relativement léger, permet notamment un déploiement facilité d’hôpitaux de campagne en soutien aux populations.
[20] L’invention permet de réalisation des diagnostics de manière mobile. Sa mise en place, par exemple à l’aide d’une caméra thermique, un capteur de mesure physiologique tel qu’un radar et un ordinateur personnel portable, est facile. L’invention permet son implantation rapide sur tout un territoire.
[21] Selon l’un des aspects de l’invention, le dispositif d’acquisition comprend un radar pour acquérir des données relatives aux signes vitaux de la personne, une caméra thermique pour les mesures de température fournissant des données de température, et une caméra fonctionnant dans le spectre visible pour la caractérisation de la personne testée fournissant des données caractérisation de la personne.
[22] Selon l’un des aspects de l’invention, le dispositif de traitement de données est agencé pour faire tourner un algorithme de diagnostic basé sur une fusion des données vitales, notamment un rythme respiratoire, une amplitude de respiration, un temps d'inspiration et d'expiration, un rythme et arythmie cardiaque.
[23] Selon l’un des aspects de l’invention, l’algorithme utilise des températures mesurées sur des zones remarquables, localisées par traitement de l'image, ou encore le taux d’oxygène lié à la personne examinée.
[24] De préférence, ces zones remarquables de mesure de température sont localisées à l’intérieur de la bouche, sur le bout du nez, sur les pommettes et la paume de la main.
[25] Selon l’un des aspects de l’invention, l’algorithme de diagnostic utilise une caractérisation de la personne, telles que des données d’âge, de genre, d’habillage, de taille, d’indice de masse corporelle, encore appelé BMI.
[26] Selon l’un des aspects de l’invention, le système est agencé pour réaliser l’acquisition de données d’examen jusqu’à la mise à disposition de l’information de diagnostic dans un laps de temps compris notamment entre 30 et 120 secondes. [27] Selon l’un des aspects de l’invention, le système est agencé pour permettre une acquisition des données d’examen en faisant des mesures à une distance de 60 cm à 2 m entre le dispositif d’acquisition et la personne. On évite que la personne n’ait à être en contact avec le dispositif d’acquisition.
[28] L’invention permet ainsi un diagnostic rapide sans délai d’acheminement additionnel vers un médecin par exemple. Les informations de diagnostic peuvent, le cas échéant, être envoyés automatiquement à un médecin et peuvent être conservés sur un système de stockage de données de type Cloud.
[29] Selon l’un des aspects de l’invention, le dispositif de traitement de données utilise un algorithme d’analyse des données d’examen acquises et, le cas échéant, de tri des personnes dans le but de détecter les cas de personnes malades, en se basant sur l'ensemble des données collectées et une intelligence artificielle dont le premier niveau d'apprentissage est réalisé sur un échantillon en milieu hospitalier.
[30] Cet apprentissage par l’intelligence artificielle peut être réalisée au moyen d'un set de mesures collecté par le système mais aussi au moyen du suivi médical des patients. Ceci permet l'amélioration du modèle au cours du temps.
[31] Selon l’un des aspects de l’invention, les mesures réalisées par le dispositif d’acquisition peuvent servir pour affiner ultérieurement le diagnostic fait par l’intelligence artificielle.
[32] Grâce à l’invention, la pose d’un diagnostic peut se faire sans contact avec la personne, ce qui limite les risques de contamination, ce qui est particulièrement avantageux par exemple dans le cas d’une pandémie telle que celle liée au COVID 19.
[33] Selon l’un des aspects de l’invention, les données d’examen mesurées comprennent au moins l’une des données suivantes : des températures mesurées en différents points du corps de la personne à examiner, une caractéristique respiratoire ou cardiaque.
[34] Selon l’un des aspects de l’invention, le dispositif d’acquisition est agencé pour acquérir des données d’examen comprenant une température extérieure, une température mesurée sur une pommette de la personne, une température mesurée sur le bout du nez de la personne, et également le cas échéant, une température maximale du visage et une température d’un vêtement ou d’une surface à température contrôlée de référence.
[35] Selon l’un des aspects de l’invention, les points remarquables de mesure sont localisés par une intelligence artificielle au moyen d’un organigramme d’identification d’objet.
[36] Selon l’un des aspects de l’invention, la température relative à un point remarquable est obtenue par moyenne temporelle et par moyenne des températures d’une surface définie par des pixels issu d’une image de caméra infrarouge à proximité du point remarquable identifié sur l’image visible au moyen d’un algorithme d’identification d’objets.
[37] Selon l’un des aspects de l’invention, l’identification des caractérisations personnelles se fait au moyen des caméras Rouge Vert Bleu (ou caméra RGB) ou Infrarouge lointain (caméra FIR) en complément d’une lecture d’identité de la personne, grâce à un système de classification dont l’apprentissage peut être réalisé sur des images RGB (Rouge Vert Bleu) ou Infrarouge. L’utilisation d’un plus grand nombre de paramètres, notamment l’âge, le genre, la taille, l’indice de masse corporelle, le phénotype par exemple, sert à améliorer les modèles de diagnostic.
[38] Selon l’un des aspects de l’invention, le modèle de diagnostic, ou algorithme de diagnostic, qui est nourri de plus de données telles que des températures remarquables du corps, une température ambiante, une classe de caractéristiques personnelles, une heure du jour, peut être agencé pour en plus utiliser des données de parcours de la personne examinée pour vérifier si elle a croisé une personne malade ou est passée par une région à risque.
[39] Selon l’un des aspects de l’invention, le système est agencé pour fonctionner en l’absence d’un radar et en utilisant les caméras RGB pour estimer les paramètres cardiaques et respiratoires.
[40] Selon l’un des aspects de l’invention, la température relative à un point remarquable peut être obtenue par moyenne temporelle et par moyenne des températures d’une surface définie par des pixels issu d’une image de caméra à proximité du point remarquable. Le point remarquable est par exemple défini géométriquement au moyen d’une zone d’image appelée Building box, qui l’entoure, par exemple au moyen de la moyenne géométrique des côtés de la zone de l’image. Cette zone d’image est une surface délimitée par une série de points qui est construite par un algorithme d’identification d’objets.
[41 ] Selon l’un des aspects de l’invention, le système est dépourvu de caméra RGB et/ou n’utilise pas la surface dont la température est contrôlée. Dans ce cas, le système utilise la température externe et un modèle de transfert thermique sur les zones habillées ou encore uniquement les écarts de températures entre les points remarquables.
[42] Selon l’un des aspects de l’invention, le système est agencé pour utiliser une fusion de mesures sans contact, notamment de signaux vitaux et d'imagerie thermique et visible.
[43] L’information de diagnostic est comporte une classe choisie parmi trois classes prédéterminées qui sont « Personne saine », « Personne avec une suspicion de maladie », « Personne avec une forte probabilité de maladie ».
[44] L’information de diagnostic peut également comporter une évaluation de la gravité de la maladie.
[45] L’invention a également pour objet un procédé pour fournir une information de diagnostic pour la détection d’une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19, ce procédé comportant les étapes suivantes:
- acquérir des données d’examen sur la personne, à l’aide d’un dispositif d’acquisition comportant notamment au moins un capteur de mesure physiologique tel qu’un radar, et une caméra thermique pour acquérir ces données d’examen,
- recevoir ces données d’examen obtenues par le dispositif d’acquisition,
- traiter ces données d’examen pour obtenir une information de diagnostic de la maladie basée sur une analyse desdites données d’examen,
- afficher une information de diagnostic de la maladie basée sur une analyse desdites données d’examen, cette information de diagnostic pouvant être représentative d’un niveau de probabilité que la personne soit atteinte de la maladie.
[46] La présente invention peut permettre des contrôles dans l’espace public en général, notamment sur des voies de circulation des personnes, à des entrées et sorties des bâtiments, à des portail d'aéroport, dans des écoles.
[47] La présente permet également un suivi médical des personnes, par exemple pour des personnes malades en maintien à domicile.
[48] L’invention a encore pour objet, indépendamment ou en combinaison avec ce qui précède, un système d’aide pour fournir une information de diagnostic, notamment en vue de la détection d’une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19, ce système de détection comportant:
- un dispositif d’acquisition de données d’examen sur la personne, ce dispositif d’acquisition comportant notamment au moins un capteur de mesure physiologique tel qu’un radar, et une caméra thermique pour acquérir ces données d’examen, ce dispositif d’acquisition comportant une pluralité de capteurs agencés pour fonctionner sans contact avec la personne, l’un au moins des capteurs sans contact étant agencé pour acquérir une donnée réponse fournie par la personne,
- un dispositif de traitement de données agencé pour recevoir ces données obtenues par plusieurs capteurs du dispositif d’acquisition,
- un dispositif d’affichage agencé pour afficher une information de diagnostic de la maladie basée sur une analyse desdites données par le dispositif de traitement de données, cette information de diagnostic pouvant notamment être représentative d’un niveau de probabilité que la personne soit atteinte de la maladie, ce niveau de probabilité pouvant notamment être un score.
[49] L’invention permet, grâce à la pluralité de capteurs qui fonctionnent sans contact avec la personne à examiner, d’avoir suffisamment de donnée pour établir un diagnostic plus fiable.
[50] Selon l’un des aspects de l’invention, le dispositif de traitement de données comporte une unité d’intelligence artificielle agencée pour traiter les données d’examen obtenues par le dispositif d’acquisition et fournir ladite information de diagnostic.
[51] Selon l’un des aspects de l’invention, le dispositif de traitement de données et le dispositif d’affichage font partie d’un même appareil, par exemple un ordinateur, notamment un ordinateur portable.
[52] Selon l’un des aspects de l’invention, le dispositif d’affichage, et éventuellement également le dispositif de traitement de données, sont agencées pour être embarqués sur un véhicule automobile.
[53] Selon l’un des aspects de l’invention, le capteur sans contact agencé pour acquérir une donnée réponse fournie par la personne comporte un microphone agencée pour recevoir des réponses fournies oralement par la personne.
[54] Selon l’un des aspects de l’invention, le capteur sans contact peut, en variante du microphone qui fonctionne avec une reconnaissance vocale, comporter des moyens d’analyse du visage de la personne pour par exemple reconnaître un OUI ou un NON, par exemple par hochement de tête.
[55] En variante encore, le capteur sans contact peut comporter des moyens permettant à la personne de pointer une réponse sur un écran avec un doigt, sans contact avec l’écran.
[56] Selon l’un des aspects de l’invention, le système est agencé pour présenter un questionnaire, par exemple par affichage des questions du questionnaire sur un écran d’affichage ou par exemple à l’aide d’un dispositif sonore qui prononce les questions du questionnaire, à la personne à examiner, et le dispositif d’acquisition est agencé pour recevoir les réponses fournies par la personne à ce questionnaire, par exemple le microphone étant utilisé pour enregistrer les réponses de la personne.
[57] Selon l’un des aspects de l’invention, le système comporte une unité de stockage de données, par exemple faisant partie d’un ordinateur, agencée pour stocker les questions du questionnaire.
[58] Selon l’un des aspects de l’invention, le dispositif de traitement de données est agencé pour recevoir des données du dispositif d’acquisition relatives aux réponses fournies par la personne en réponse au questionnaire, et ce dispositif de traitement de données est agencé pour traiter ces données en combinaison avec des données provenant d’autres capteurs du dispositif d’acquisition, en vue de fournir l’information de diagnostic de la maladie.
[59] Selon l’un des aspects de l’invention, en vue d’obtenir l’information de diagnostic, le dispositif de traitement de données est agencé pour faire tourner un algorithme de diagnostic basé sur une fusion des données vitales de la personne, notamment un rythme respiratoire, une amplitude de respiration, un temps d'inspiration et d'expiration, un rythme et arythmie cardiaque, avec également des données de réponse au questionnaire.
[60] Selon l’un des aspects de l’invention, le système est agencé de manière à sélectionner les questions à poser en fonction de la personne à examiner, notamment d’une ou plusieurs données disponibles sur la personne.
[61] Selon l’un des aspects de l’invention, les questions à poser sont à caractère médical, utiles pour améliorer le diagnostic en combinaison avec les autres données.
[62] Selon l’un des aspects de l’invention, les questions sont choisies dans la liste suivante : Avez-vous mal à la poitrine? Avez-vous une toux sèche? Avez-vous mal à la gorge? Avez-vous le nez qui coule? Avez-vous du mal à respirer ?
[63] Selon l’un des aspects de l’invention, le système est agencé pour effectuer, à l’aide de l’un des capteurs sans contact, une mesure dont les données de résultat sont comparées à une réponse fournie par la personne en réponse à une question du questionnaire.
[64] Ceci permet de rendre plus fiable, ou attribuer un niveau de fiabilité, à la mesure à l’aide du capteur.
[65] Selon l’un des aspects de l’invention, le système est agencé pour acquérir une donnée relative à un contexte, par exemple une température ambiante.
[66] Selon l’un des aspects de l’invention, le système est agencé pour effectuer un tri basé sur un modèle statique pour donner un score associé au diagnostic.
[67] Selon l’un des aspects de l’invention, le système est agencé pour faire fonctionner les étapes suivantes : recevoir une donnée de consentement de la personne pour être soumise à l’examen, acquérir des données de caractérisation de la personne telles que le genre, l’âge, la taille, et des données représentatives du contexte, acquérir des données en réponse à des questions, notamment à l’aide d’une microphone, et mesures de signes vitaux, traiter des données pour permettre une évaluation du niveau de fiabilité de l’information de diagnostic, poser éventuellement des questions complémentaires si nécessaire pour affiner l’information de diagnostic, effectuer un tri basé sur un modèle statique pour donner un score associé au diagnostic.
[68] Selon l’un des aspects de l’invention, les capteurs sans contact sont agencés pour permettre une acquisition de mesure à une distance de la personne à examiner, comprise entre 50 cm et 2 m.
[69] L’invention a encore pour un objet une borne qui inclut le système d’aide tel que précité.
[70] Cette borne peut par exemple comprendre une unité de traitement agencé pour traiter les données provenant des capteurs et délivrer l’information de diagnostic.
[71] Cette unité de traitement peut être un ordinateur, avec ou sans écran sur la borne.
[72] Cette borne comprend notamment les différents capteurs.
[73] Cette borne est par exemple installable à l’entrée d’un immeuble.
[74] L’invention a encore pour objet un procédé d’aide pour fournir une information de diagnostic, notamment en vue de la détection d’une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19, ce procédé comportant les étapes suivantes:
- acquérir des données d’examen sur la personne, ce dispositif d’acquisition comportant notamment au moins un capteur de mesure physiologique tel qu’un radar, et une caméra thermique pour acquérir ces données d’examen, ce dispositif d’acquisition comportant une pluralité de capteurs agencés pour fonctionner sans contact avec la personne, l’un au moins des capteurs sans contact étant agencé pour acquérir une donnée réponse fournie par la personne, ce capteur étant notamment un microphone, - recevoir ces données obtenues par plusieurs capteurs du dispositif d’acquisition,
- afficher une information de diagnostic de la maladie basée sur une analyse desdites données par le dispositif de traitement de données, cette information de diagnostic pouvant notamment être représentative d’un niveau de probabilité que la personne soit atteinte de la maladie, ce niveau de probabilité pouvant notamment être un score.
[75] L’invention a encore pour objet un système d’aide pour fournir une information de diagnostic, notamment en vue de la détection d’une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19, ce système de détection comportant:
- un dispositif d’acquisition de données d’examen sur la personne, ce dispositif d’acquisition comportant au moins un premier capteur, notamment un capteur de mesure physiologique tel qu’un radar ou une caméra thermique pour acquérir ces données d’examen, notamment ce dispositif d’acquisition comportant une pluralité de capteurs agencés pour fonctionner sans contact avec la personne, notamment l’un au moins des capteurs sans contact étant agencé pour acquérir une donnée réponse fournie par la personne,
- un dispositif de traitement de données agencé pour recevoir ces données obtenues par le dispositif d’acquisition,
- notamment un dispositif d’affichage agencé pour afficher une information de diagnostic de la maladie basée sur une analyse desdites données par le dispositif de traitement de données, cette information de diagnostic pouvant notamment être représentative d’un niveau de probabilité que la personne soit atteinte de la maladie, ce niveau de probabilité pouvant notamment être un score
- le dispositif d’acquisition comprenant en outre un capteur de correction différent dudit premier capteur et agencé pour acquérir au moins une donnée sur la personne, cette donnée étant une donnée de correction différente de données acquises par le premier capteur, - le dispositif de traitement de données étant agencé pour utiliser cette donnée de correction pour corriger les données d’examen fournies par le premier capteur.
[76] Selon l’un des aspects de l’invention, le capteur de correction est agencé pour acquérir une donnée représentative d’un mouvement de la personne.
[77] Selon l’un des aspects de l’invention, ce capteur de correction comporte une caméra, notamment de type 3D, pour acquérir une donnée représentative d’un mouvement de la personne.
[78] Cette caméra est notamment une caméra fonctionnant sur le principe du temps de vol (en anglais : Time of Flight, TOF) qui permet de mesurer en temps réel une scène en 3 dimensions (3D). Ce type de caméra est connu.
[79] En variante, cette caméra est une caméra RGB fonctionnant avec par exemple un outil de segmentation du corps ou une plateforme équipée de jauge de contrainte sur laquelle la personne est installée, laquelle personne peut être debout, couchée ou assise.
[80] Selon l’un des aspects de l’invention, le capteur de correction est agencé pour acquérir une donnée représentative d’une voix de la personne.
[81] Selon l’un des aspects de l’invention, ce capteur de correction agencé pour acquérir une donnée représentative d’une voix de la personne comporte un microphone (33), notamment un microphone directionnel ou une caméra.
[82] Selon l’un des aspects de l’invention, le dispositif d’acquisition comporte à la fois un capteur de correction agencé pour acquérir une donnée représentative d’un mouvement de la personne et un capteur de correction agencé pour acquérir une donnée représentative d’une voix de la personne.
[83] Selon l’un des aspects de l’invention, le premier capteur, notamment étant capteur de mesure physiologique, est un radar agencé notamment pour acquérir une donnée représentative d’un rythme respiratoire de la personne, notamment en détectant le mouvement de la peau de la personne.
[84] Selon l’un des aspects de l’invention, le radar est agencé pour être placé face à la personne ou dans le dos de la personne. [85] Selon l’un des aspects de l’invention, le dispositif de traitement de données est agencé pour réaliser la correction des données d’examen en fonction de la donnée de correction à l’aide d’une intelligence artificielle.
[86] Selon l’un des aspects de l’invention, le dispositif de traitement de données est agencé pour obtenir un signal de correction basé sur les données de correction, ce signal de correction étant évolutif en fonction du temps.
[87] Selon l’un des aspects de l’invention, le dispositif de traitement de données est agencé pour fournir les données d’examen, par exemple liées au rythme respiratoire, après correction à l’aide du signal de correction.
[88] L’invention permet de prendre en compte le bruit lié aux mouvements de la personne et/ou à sa voix, pour fournir des données d’examen fiables et précises.
[89] En effet les mouvements et les paroles de la personne sont susceptibles de créer des interférences dans l’acquisition de données, notamment de type physiologiques telles que le rythme respiratoire.
[90] L’invention a encore pour objet un procédé d’aide pour fournir une information de diagnostic, notamment en vue de la détection d’une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19, ce procédé comportant les étapes suivantes:
- acquérir des données d’examen sur la personne, à l’aide d’un dispositif d’acquisition de données d’examen sur la personne, ce dispositif d’acquisition comportant au moins un premier capteur, notamment un capteur de mesure physiologique tel qu’un radar ou une caméra thermique pour acquérir ces données d’examen, notamment ce dispositif d’acquisition comportant une pluralité de capteurs agencés pour fonctionner sans contact avec la personne, notamment l’un au moins des capteurs sans contact étant agencé pour acquérir une donnée réponse fournie par la personne,
- corriger ces données d’examen à l’aide de données de correction, notamment acquises à l’aide d’un capteur de correction.
[91] L’invention présente l’avantage de pouvoir croiser des données en vue d’avoir un résultat plus fiable et ou plus robuste. [92] Dans le cas de l’évaluation du rythme cardiaque au moyen d’un radar, cette évaluation étant perturbée par la voix de la personne ou le mouvement de la personne, l’invention permet d’évaluer cette perturbation grâce à un microphone ou une caméra qui permet une lecture labiale ou encore au moyen d'une caméra 4D ou d'une balance inertielle.
[93] La validité de l’évaluation de ce rythme cardiaque dépend ainsi du bruit extérieur, de la posture de la personne ou de l’intensité lumineuse par exemple.
[94] Selon l’un des aspects de l’invention, le procédé selon l’invention comporte l’étape de prendre en compte le poids des évaluations des paramètres acquis pour l’obtention du résultat.
[95] Ainsi lorsque des perturbations sont d’amplitudes de plus grandes, l’invention préconise de donner davantage de poids aux paramètres les moins perturbés.
[96] Selon l’un des aspects de l’invention, dans le cas de l’évaluation du rythme cardiaque au moyen d’un radar, cette évaluation étant perturbée par la voix de la personne ou le mouvement de la personne, le procédé présente l’étape d’évaluer cette perturbation grâce à un microphone ou une caméra qui permet une lecture labiale ou encore au moyen d'une caméra 4D ou d'une balance inertielle, pour corriger le données d’examen.
[97] L’invention a encore pour objet un système d’aide pour fournir une information de diagnostic, notamment en vue de la détection d’une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19, ce système de détection comportant:
- un dispositif d’acquisition de données d’examen sur la personne, ce dispositif d’acquisition comportant au moins deux capteurs pour mesurer une même mesure physiologique tels qu’un radar et une caméra thermique pour acquérir ces données d’examen, ces capteurs étant notamment agencés pour fonctionner sans contact avec la personne,
- un dispositif de traitement de données (3) agencé pour recevoir ces données obtenues par les capteurs du dispositif d’acquisition, ce dispositif de traitement étant en outre agencé pour réaliser une fusion de données provenant au moins des deux capteurs du dispositif d’acquisition notamment en vue d’augmenter la robustesse de la donnée d’examen acquise sur la personne,
- notamment un dispositif d’affichage (30) agencé pour afficher une information de diagnostic de la maladie basée sur une analyse desdites données par le dispositif de traitement de données, cette information de diagnostic pouvant notamment être représentative d’un niveau de probabilité que la personne soit atteinte de la maladie, ce niveau de probabilité pouvant notamment être un score.
[98] Selon l’un des aspects de l’invention, les deux capteurs sont disposés à des emplacements différents.
[99] Les deux capteurs peuvent être disposés dans un même boiter ou dans deux boîtiers différents.
[100] Selon l’un des aspects de l’invention, les deux capteurs sont agencés pour capter des signaux de natures différentes, par exemple des signaux de longueur d’ondes différentes.
[101] Selon l’un des aspects de l’invention, les deux capteurs comprenant un radar et une caméra d’image thermique sont agencés pour mesurer le rythme respiratoire ou le rythme cardiaque d’une personne.
[102] Lorsque l’on indique « pour mesurer le rythme respiratoire » ci-dessus, il peut s’agir de mesures de caractéristiques respiratoires comme le rythme, l'amplitude, le temps d'inspiration, d'expiration, d'apnée...
[103] L’invention permet, grâce à la fusion de données de mesure provenant de deux capteurs différents ou plus de capteurs, d’avoir un résultat plus robuste su les informations d‘aide au diagnostic.
[104] Selon l’un des aspects de l’invention, sont prévus un ou plusieurs capteurs agencés pour évaluer le bruit d’un signal et pour atténuer ce bruit, notamment en plus de l'évaluation d'un niveau de fiabilité.
[105] Selon l’un des aspects de l’invention, l’unité de traitement est agencée pour attribuer, pour l’un au moins des capteurs, un niveau de fiabilité, par exemple pouvant être 0 ou 1 , dans une ou plusieurs fenêtres de mesure, ce niveau de fiabilité et cette fenêtre étant utilisés pour réaliser la fusion de données. [106] Selon l’un des aspects de l’invention, le dispositif d’acquisition comporte un ou plusieurs capteurs complémentaires agencés pour déterminer le niveau de fiabilité des deux capteurs de mesure physiologique.
[107] Par exemple dans le cas où les capteurs sont un radar et une caméra infrarouge qui permettent d’évaluer le rythme respiratoire de la personne, des capteurs supplémentaires tels qu’un microphone ou un dispositif de mesure de mouvements du corps de la personne permet d’évaluer la fiabilité de la mesure faite par la caméra ou le radar. En effet quand la personne est en mouvement ou est en train de parler, la mesure réalisée par le radar est soit impossible soit de mauvaise qualité.
[108] Selon l’un des aspects de l’invention, ce capteur de correction comporte une caméra, notamment de type 3D, pour acquérir une donnée représentative d’un mouvement de la personne.
[109] Par exemple la caméra infrarouge peut être associée à une caméra RGB pour vérifier si les mesures par la caméra infrarouge sont possibles ou, lorsque la personne est en mouvement ou présente la tête tournée par exemple, conclure que les mesures par la caméra infrarouge sont impossible.
[110] Selon l’un des aspects de l’invention, l’unité de traitement est agencée pour retenir la ou les mesures de l’un ou des deux capteurs en fonction des conditions de fiabilité de la mesure du ou des capteurs.
[111] Ainsi l’unité de traitement n’utilise pas les mesures faites par le capteur dont la fiabilité n’est pas reconnue comme suffisante.
[112] Par exemple l’unité de traitement n’utilise pas les mesures faites par le capteur formé par un radar lorsque la personne est en mouvement ou tourne la tête. Dans cette situation, l’unité de traitement utilise l’autre capteur qui est une caméra à imagerie infrarouge.
[113] Selon l’un des aspects de l’invention, l’unité de traitement est agencée pour reconstituer une valeur d’information de diagnostic sur la base de mesures obtenues par les capteurs et retenues en fonction de leur qualité et de la fiabilité.
[114] Par exemple la courbe du signal représentatif de l’information de diagnostic peut être formé par un signal mesuré par l’un des capteurs sur une première fenêtre de temps et par un signal obtenu par l’autre des capteurs sur une deuxième fenêtre de temps.
[115] Cette fusion de données sur la base de la fiabilité de mesures des capteurs et la prise en compte de fenêtres de temps permet de rendre robuste l’aide à l’obtention d’une information de diagnostic.
[116] Selon l’un des aspects de l’invention, l’unité de traitement comprend une intelligence artificielle agencée pour réaliser la fusion de données.
[117] Notamment l’intelligence artificielle est agencée pour attribuer un niveau de fiabilité pour des mesures faites par le ou les capteurs.
[118] Selon l’un des aspects de l’invention, les signaux vitaux sont évalués par l’intelligence artificielle, et l'incertitude sur la mesure évaluée par l’intelligence artificielle peut être intégrée de manière statistique lors de la fusion des données.
[119] Notamment l’intelligence artificielle est agencée pour retenir ou rejeter une mesure faite par l’un ou l’autre des capteurs en fonction de la fiabilité de cette mesure.
[120] L’invention a encore pour objet un procédé d’aide pour fournir une information de diagnostic, notamment en vue de la détection d’une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19, ce système de détection comportant:
- fournir un dispositif d’acquisition de données d’examen sur la personne, ce dispositif d’acquisition comportant au moins deux capteurs pour mesurer une même mesure physiologique tels qu’un radar et une caméra thermique pour acquérir ces données d’examen, ces capteurs étant notamment agencés pour fonctionner sans contact avec la personne,
- recevoir ces données obtenues par les capteurs du dispositif d’acquisition, ce dispositif de traitement étant en outre agencé pour réaliser une fusion de données provenant au moins des deux capteurs du dispositif d’acquisition notamment en vue d’augmenter la robustesse de la donnée d’examen acquise sur la personne
[121] L’invention et ses différentes applications seront mieux comprises à la lecture de la description qui suit et à l’examen des figures qui l’accompagnent : [122] La figure 1 illustre schématiquement un système selon un mode de réalisation non limitatif de l’invention.
[123] La figure 2 illustre un schéma blocs illustrant les étapes mises en oeuvre dans le système de la figure 1 ,
[124] La figure 3 illustre un schéma blocs illustrant les étapes mises en oeuvre dans un système selon un autre exemple de mise en oeuvre de l’invention,
[125] La figure 4 montre des courbes illustrant l’effet des corrections obtenues grâce à l’invention,
[126] La figure 5 montre des courbes illustrant l’effet d’une fusion de données obtenues grâce à l’invention.
[127] On a représenté sur les Figures 1 et 2 un système 1 d’aide pour fournir une information de diagnostic, notamment en vue de la détection d’une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19, selon l’invention.
[128] Ce système 1 comporte:
- un dispositif d’acquisition 7 de données d’examen sur la personne,
- un dispositif de traitement de données 3 agencé pour recevoir ces données d’examen obtenues par le dispositif d’acquisition 7,
- un dispositif d’affichage 30 agencé pour afficher une information de diagnostic de la maladie basée sur une analyse desdites données d’examen, cette information de diagnostic pouvant être représentative d’un niveau de probabilité que la personne soit atteinte de la maladie.
[129] Ce système 1 comporte en particulier :
- un capteur de l’activité cardiaque d’au moins un passager, ici le rythme cardiaque, ce capteur étant une caméra fonctionnant dans le proche infrarouge,
- un capteur de l’activité respiratoire, notamment en fréquence et/ou en amplitude respiratoire, d’au moins un passager, ce capteur étant une caméra fonctionnant dans l’infrarouge lointain, ou caméra thermique,
- un radar agencé pour mesurer des signes vitaux de la personne, - un capteur des caractéristiques de profil du passager, notamment son genre, poids, taille et âge, ce capteur étant ici une caméra Rouge Vert Bleu, encore appelée caméra RGB en anglais,
- un lecteur de carte pour lire une carte d’identité de la personne et obtenir des données personnelles de la personne.
[130] Ces capteurs et caméras, qui font partie du dispositif d’acquisition 7, sont représentés par la référence 2 sur la figure 1. Certains capteurs 2 sont par exemple disposés sur un plafond du véhicule. L’une des autres caméras 2 est disposée dans un montant latéral 6 du véhicule V.
[131] Le capteur rythme cardiaque et respiration peut être dans le dossier du siège ou dans la console centrale au niveau de la cuisse du passager, ceci étant no limitatif.
[132] Ces capteurs 2 sont reliés pour échanges d’informations avec un dispositif de traitement de données 3 placée sur le véhicule V.
[133] Le dispositif de traitement de données 3 comporte une unité d’intelligence artificielle agencée pour traiter les données d’examen obtenues par le dispositif d’acquisition 7 et fournir ladite information de diagnostic.
[134] Le dispositif de traitement de données 3 et le dispositif d’affichage 30 font partie d’un même appareil, par exemple un ordinateur, notamment un ordinateur portable.
[135] Dans ce cas, le dispositif d’affichage 30 est un écran de l’ordinateur portable et le dispositif de traitement de données comprend microprocesseur de cet ordinateur.
[136] Le dispositif d’affichage 30 est agencé pour être visible de la personne examinée, et notamment le dispositif d’affichage, qui comprend notamment un écran, est distant du dispositif de traitement de données, ces dispositif d’affichage et de traitement de données étant par exemple reliés entre eux par une liaison sans fil, par exemple par un protocole de communication 3G, 4G ou 5G, ou par le réseau Internet, ou Wifi par exemple.
[137] Le dispositif d’affichage 30, et également le dispositif de traitement de données 3, sont ici agencées pour être embarqués sur un véhicule automobile. [138] En variante, le dispositif d’affichage 30, et éventuellement également le dispositif de traitement de données 3, sont agencés pour être placés de manière fixe, dans un bâtiment ou une cour extérieure par exemple.
[139] Le dispositif de traitement 3 est agencé pour faire le diagnostic de manière automatique, sans une intervention humaine.
[140] Le dispositif d’acquisition 7 de données d’examen est agencé pour permettre des mesures sans contact et à distance de sécurité, de signaux vitaux et d'imagerie thermique et visible sur la personne à examiner.
[141] Le système selon l’invention utilise ainsi avantageusement la fusion de mesures sans contact et à distance de sécurité, de signaux vitaux et d'imagerie thermique et visible.
[142] L’unité d’intelligence artificielle est agencée pour utiliser un modèle de diagnostic basé sur l'intelligence artificielle et nourri par un nombre raisonnable de mesures cliniques. [143] L’invention permet de réalisation des diagnostics de manière mobile. Sa mise en place, par exemple à l’aide d’une caméra thermique, un capteur de mesure physiologique tel qu’un radar et un ordinateur personnel portable, est facile.
[144] Le dispositif d’acquisition 7 comprend un radar pour acquérir des données relatives aux signes vitaux de la personne, une caméra thermique pour les mesures de température fournissant des données de température, et une caméra fonctionnant dans le spectre visible pour la caractérisation de la personne testée fournissant des données caractérisation de la personne.
[145] Le dispositif de traitement de données 3 est agencé pour faire tourner un algorithme de diagnostic basé sur une fusion des données vitales, notamment un rythme respiratoire, une amplitude de respiration, un temps d'inspiration et d'expiration, un rythme et arythmie cardiaque, une oxymétrie.
[146] L’algorithme utilise des températures mesurées sur des zones remarquables, localisées par traitement de l'image. [147] De préférence, ces zones remarquables de mesure de température sont localisées à l’intérieur de la bouche, sur le bout du nez, sur les pommettes et la paume de la main.
[148] L’algorithme de diagnostic utilise une caractérisation de la personne, telles que des données d’âge, de genre, d’habillage, de taille, d’indice de masse corporelle.
[149] Le système est agencé pour réaliser l’acquisition de données d’examen jusqu’à la mise à disposition de l’information de diagnostic dans un laps de temps compris notamment entre 30 et 120 secondes.
[150] L’invention permet ainsi un diagnostic rapide sans délai d’acheminement additionnel vers un médecin par exemple. Les informations de diagnostic peuvent, le cas échéant, être envoyés automatiquement à un médecin et peuvent être conservés sur un système de stockage de données 40 de type Cloud.
[151] Le dispositif de traitement de données 3 utilise un algorithme d’analyse des données d’examen acquises et, le cas échéant, de tri des personnes dans le but de détecter les cas de personnes malades, en se basant sur l'ensemble des données collectées et une intelligence artificielle dont le premier niveau d'apprentissage est réalisé sur un échantillon en milieu hospitalier.
[152] Les mesures réalisées par le dispositif d’acquisition peuvent servir pour affiner ultérieurement le diagnostic fait par l’intelligence artificielle.
[153] Grâce à l’invention, la pose d’un diagnostic peut se faire sans contact avec la personne, ce qui limite les risques de contamination, ce qui est particulièrement avantageux par exemple dans le cas d’une pandémie telle que celle liée au COVID 19.
[154] Selon l’un des aspects de l’invention, les données d’examen mesurées comprennent au moins l’une des données suivantes : des températures mesurées en différents points du corps de la personne à examiner, une caractéristique respiratoire ou cardiaque.
[155] Le dispositif d’acquisition 7 est agencé pour acquérir des données d’examen comprenant une température extérieure, une température mesurée sur une pommette de la personne, une température mesurée sur le bout du nez de la personne, et également le cas échéant, une température maximale du visage et une température d’un vêtement ou d’une surface à température contrôlée de référence.
[156] Les points remarquables de mesure sont localisés par une intelligence artificielle au moyen d’un organigramme d’identification d’objet.
[157] L’identification des caractérisations personnelles se fait au moyen des caméras Rouge Vert Bleu (ou caméra RGB) ou Infrarouge lointain (caméra FIR) en complément d’une lecture d’identité de la personne, grâce à un système de classification dont l’apprentissage peut être réalisé sur des images RGB (Rouge Vert Bleu) ou Infrarouge. L’utilisation d’un plus grand nombre de paramètres, notamment l’âge, le genre, la taille, l’indice de masse corporelle, le phénotype par exemple, sert à améliorer les modèles de diagnostic.
[158] Le modèle de diagnostic, ou algorithme de diagnostic, qui est nourri de plus de données telles que des températures remarquables du corps, une température ambiante, une classe de caractéristiques personnelles, une heure du jour, peut être agencé pour en plus utiliser des données de parcours de la personne examinée pour vérifier si elle a croisé une personne malade ou est passée par une région à risque.
[159] La température relative à un point remarquable peut être obtenue par moyenne temporelle et par moyenne des températures d’une surface définie par des pixels issu d’une image de caméra à proximité du point remarquable. Le point remarquable est par exemple défini géométriquement au moyen d’une zone d’image appelée Building box, qui l’entoure. Cette zone d’image est une surface délimitée par une série de points qui est construite par un algorithme d’identification d’objets.
[160] L’information de diagnostic est comporte une classe choisie parmi trois classes prédéterminées qui sont « Personne saine », « Personne avec une suspicion de maladie », « Personne avec une forte probabilité de maladie ».
[161] L’invention met ainsi en oeuvre les étapes suivantes:
- acquérir des données d’examen sur la personne à l’aide du dispositif d’acquisition 7, qui sont les étapes 20 à 25 de la figure 2, - recevoir ces données d’examen obtenues par le dispositif d’acquisition,
- traiter ces données d’examen pour obtenir une information de diagnostic de la maladie basée sur une analyse desdites données d’examen, à l’aide du dispositif de traitement de données 3 (étape 28),
- afficher une information de diagnostic de la maladie basée sur une analyse desdites données d’examen, cette information de diagnostic pouvant être représentative d’un niveau de probabilité que la personne soit atteinte de la maladie (étape 29).
[162] Les étapes 20 à 25 sont les suivantes :
- l’identification des caractérisations personnelles se fait au moyen des caméras Rouge Vert Bleu (ou caméra RGB), c’est l’étape 20,
- acquisition de la température de la personne à l’étape 21 avec une caméra thermique de type FIR, les détails de cette acquisition de température étant déjà décrite,
- acquisition du rythme respiratoire étape 22 à l’aide de la caméra FIR,
- acquisition du rythme cardiaque à l’étape 23 à l’aide de la caméra dans le proche infrarouge, ou caméra NIR,
- acquisition de signes vitaux à l’aide du radar, à l’étape 24,
- acquisition de données personnelles à l’aide du lecteur de carte à l’étape 25,
- potentiellement une oxymétrie par la caméra de proche infrarouge (NIR).
[163] La présente permet également un suivi médical des personnes.
[164] Les données d’examen peuvent, le cas échéant, comporter la taille des pupilles et de leur position.
[165] Les informations de diagnostic sont envoyées automatiquement un système de stockage de données distant de type Cloud.
[166] De même les informations utiles au modèle de diagnostic, ou algorithme de diagnostic, peuvent être reçues du système distant de type Cloud. [167] Potentiellement deux caméras, NIR et FIR, sont utilisées. La caméra FIR pour les températures et les caractéristiques de la respiration et la caméra NIR pour l'oxymétrie et le rythme cardiaque.
[168] Le dispositif d’acquisition est notamment agencé pour acquérir des données d’examen comprenant une température extérieure, une température mesurée sur une pommette de la personne, une température mesurée sur le bout du nez de la personne, et également le cas échéant, une température maximale du visage et une température d’un vêtement ou d’une surface à température contrôlée de référence, et le cas échéant un volume respiratoire, les tremblements, le taux d'oxygène dans le sang.
[169] On a représenté sur la figure 3 un autre exemple de mise en oeuvre de l’invention.
[170] Dans cet exemple, le système d’aide 1 comporte, à l’instar de l’exemple décrit précédemment:
- un dispositif d’acquisition 7 de données d’examen sur la personne, ce dispositif d’acquisition comportant notamment au moins un capteur de mesure physiologique tel qu’un radar, et une caméra thermique pour acquérir ces données d’examen, ce dispositif d’acquisition comportant une pluralité de capteurs 2 agencés pour fonctionner sans contact avec la personne, l’un au moins des capteurs sans contact étant agencé pour acquérir une donnée réponse fournie par la personne,
- un dispositif de traitement de données 3 agencé pour recevoir ces données obtenues par plusieurs capteurs du dispositif d’acquisition,
- un dispositif d’affichage 30 agencé pour afficher une information de diagnostic de la maladie basée sur une analyse desdites données par le dispositif de traitement de données, cette information de diagnostic pouvant notamment être représentative d’un niveau de probabilité que la personne soit atteinte de la maladie, ce niveau de probabilité pouvant notamment être un score.
[171] L’un des capteurs sans contact 2 agencé pour acquérir une donnée réponse fournie par la personne comporte un microphone agencée pour recevoir des réponses fournies oralement par la personne. [172] Le système 1 est agencé pour présenter un questionnaire, par exemple par affichage des questions du questionnaire sur un écran d’affichage ou par exemple à l’aide d’un dispositif sonore qui prononce les questions du questionnaire, à la personne à examiner, et le dispositif d’acquisition est agencé pour recevoir les réponses fournies par la personne à ce questionnaire, ici le microphone 33 étant utilisé pour enregistrer les réponses de la personne.
[173] Le système 1 comporte une unité de stockage de données, par exemple faisant partie d’un ordinateur, agencée pour stocker les questions du questionnaire 34.
[174] Le dispositif de traitement de données 3 est agencé pour recevoir des données du dispositif d’acquisition relatives aux réponses fournies par la personne en réponse au questionnaire, et ce dispositif de traitement de données est agencé pour traiter ces données en combinaison avec des données provenant d’autres capteurs du dispositif d’acquisition, en vue de fournir l’information de diagnostic de la maladie.
[175] En vue d’obtenir l’information de diagnostic, le dispositif de traitement de données 3 est agencé pour faire tourner un algorithme de diagnostic basé sur une fusion des données vitales de la personne, notamment un rythme respiratoire, une amplitude de respiration, un temps d'inspiration et d'expiration, un rythme et arythmie cardiaque, avec également des données de réponse au questionnaire.
[176] Le système est agencé de manière à sélectionner les questions à poser en fonction de la personne à examiner, notamment d’une ou plusieurs données disponibles sur la personne.
[177] Les questions à poser sont à caractère médical, utiles pour améliorer le diagnostic en combinaison avec les autres données.
[178] Le système 1 est agencé pour effectuer, à l’aide de l’un des capteurs 2 sans contact, une mesure dont les données de résultat sont comparées à une réponse fournie par la personne en réponse à une question du questionnaire.
[179] On va maintenant décrire en référence à la figure 3 différentes étapes de mise en oeuvre de l’invention. [180] L’étape 50 correspond au commencement du procédé de détection d’une maladie sur une personne.
[181] Suit une étape 51 de saisie de données par la personne à examiner.
[182] Dans cette étape 51, la personne saisit par exemple des données la concernant, par exemple son identité., puis éventuellement donne son accord ou consentement pour continuer le procédé de diagnostic.
[183] Cette étape 51 peut être réalisée par la personne via un écran tactile 35 couplé à un dispositif 36 de désinfection utilisant des UV. Un microphone 33 peut être utilisé pour enregistrer des réponses de la personne à des questions. Un dispositif de reconnaissance vocale 38 est coupé au microphone 33 pour entrer des données prises par le microphone 33 dans l’unité de traitement de données 3.
[184] Des données de contexte 37, par exemple une température ambiante, peut être acquise par un capteur 2.
[185] A l’étape 52, des caractéristiques liées à la personne sont déterminées grâce à un ou plusieurs capteurs 2 via un système 39 de reconnaissance d’images objet, comme décrit dans l’exemple précédent.
[186] Des questions supplémentaires sont posées à l’issue de l’étape 52 pour préciser l’état clinique de la personne.
[187] Pour cette étape 53 de questions / réponses, les questions sont choisies par exemple dans la liste suivante : Avez-vous mal à la poitrine? Avez-vous une toux sèche? Avez-vous mal à la gorge? Avez-vous le nez qui coule? Avez-vous du mal à respirer ?
[188] Les réponses peuvent être apportées par la personne via le microphone 33.
[189] A l’étape 54 suivante, les capteurs 2 procèdent à l’acquisition de données relatives aux signes vitaux de la personne, comme décrit dans l‘exemple précèdent.
[190] Puis à l’étape 55, l’intelligence artifice fournit un score préalable représentatif du diagnostic obtenu sur la base des données jusqu’alors saisies. [191] A l’étape 56, des questions additionnelles sont posées à la personne, et les réponses obtenues sont utilisées pour affiner le score préalable obtenu à l’étape 55.
[192] Un score final est donné à l’étape 57 par l’intelligence artificielle, qui est enregistré sur l’espace de stockage de données 40.
[193] A l’étape 58, le score final est affiché pour information à la personne.
[194] On va maintenant présenter un autre mode de réalisation de l’invention en référence à la figure 4.
[195] Dans cet exemple, le système 1 d’aide pour fournir une information de diagnostic, légèrement diffèrent de celui décrit plus haut, comporte:
- un dispositif d’acquisition 7 de données d’examen sur la personne, ce dispositif d’acquisition comportant au moins un premier capteur, ici un capteur de mesure physiologique qui est un radar pour acquérir ces données d’examen,
- un dispositif de traitement de données 3 agencé pour recevoir ces données obtenues par le dispositif d’acquisition,
- un dispositif d’affichage 30 agencé pour afficher une information de diagnostic de la maladie basée sur une analyse desdites données par le dispositif de traitement de données, cette information de diagnostic pouvant notamment être représentative d’un niveau de probabilité que la personne soit atteinte de la maladie, ce niveau de probabilité pouvant notamment être un score
- le dispositif d’acquisition 7 comprenant en outre un capteur de correction 33 différent dudit premier capteur, à savoir le radar, et agencé pour acquérir au moins une donnée sur la personne, cette donnée étant une donnée de correction différente de données acquises par le premier capteur,
- le dispositif de traitement de données étant agencé pour utiliser cette donnée de correction pour corriger les données d’examen fournies par le premier capteur.
[196] Ce capteur de correction 33 est agencé pour acquérir une donnée représentative d’une voix de la personne. [197] Ce capteur de correction 33 agencé pour acquérir une donnée représentative d’une voix de la personne comporte un microphone 33, notamment un microphone directionnel ou une caméra.
[198] On peut prévoir que le dispositif d’acquisition 7 comporte à la fois un capteur de correction agencé pour acquérir une donnée représentative d’un mouvement de la personne et un capteur de correction agencé pour acquérir une donnée représentative d’une voix de la personne.
[199] Ce capteur de correction pour acquérir une donnée représentative d’un mouvement de la personne comporte une caméra, notamment de type 3D, pour acquérir une donnée représentative d’un mouvement de la personne.
[200] Cette caméra est notamment une caméra fonctionnant sur le principe du temps de vol (en anglais : Time of Flight, TOF) qui permet de mesurer en temps réel une scène en 3 dimensions (3D). Ce type de caméra est connu
[201] Le radar est agencé notamment pour acquérir une donnée représentative d’un rythme respiratoire de la personne, notamment en détectant le mouvement de la peau de la personne.
[202] Le radar est agencé pour être placé face à la personne ou dans le dos de la personne.
[203] Bien entendu, des capteurs autres que le radar peuvent être utilisés, par exemple une caméra Proche Infrarouge.
[204] Le dispositif de traitement de données 3 est agencé pour réaliser la correction des données d’examen en fonction de la donnée de correction à l’aide d’une intelligence artificielle.
[205] Le dispositif de traitement de données 3 est agencé pour obtenir un signal de correction basé sur les données de correction, ce signal de correction étant évolutif en fonction du temps.
[206] Le dispositif de traitement de données 3 est agencé pour fournir les données d’examen, par exemple liées au rythme respiratoire, après correction à l’aide du signal de correction. [207] L’invention permet de prendre en compte le bruit lié aux mouvements de la personne et/ou à sa voix, pour fournir des données d’examen fiables et précises. [208] En effet les mouvements et les paroles de la personne sont susceptibles de créer des interférences dans l’acquisition de données, notamment de type physiologiques telles que le rythme respiratoire.
[209] On peut le voir par exemple sur les courbes de la figures 4.
[210] La courbe 101 illustre l’amplitude de l’erreur, au fil du temps, sur une mesure de rythme respiratoire sur la personne, cette erreur étant induite par des mouvements de la personne lors de la mesure et par le fait qu’elle parle pendant la mesure.
[211] Cette amplitude d’erreur sur la courbe 101 est relativement grande.
[212] La courbe 102 montre l’amplitude de l’erreur, au fil du temps, sur une mesure de rythme respiratoire sur la personne, lorsqu’est prise en compte une correction tenant compte des mouvements de la personne détectés par la caméra de mouvements.
[213] L’amplitude sur la courbe 102 est réduite par rapport à la courbe 101.
[214] Enfin la courbe 103 illustre l’amplitude de l’erreur, au fil du temps, sur une mesure de rythme respiratoire sur la personne, lorsque sont prises en compte les corrections liées à la fois aux mouvements et à la parole de la personne.
[215] Cette courbe 103 est proche de zéro grâce aux corrections réalisées.
[216] Le système de l’invention permet ainsi de mettre en oeuvre le procédé comportant les étapes suivantes:
- acquérir des données d’examen sur la personne, à l’aide d’un dispositif d’acquisition de données d’examen sur la personne, ce dispositif d’acquisition comportant au moins un premier capteur, notamment un capteur de mesure physiologique tel qu’un radar ou une caméra thermique pour acquérir ces données d’examen, notamment ce dispositif d’acquisition comportant une pluralité de capteurs agencés pour fonctionner sans contact avec la personne, notamment l’un au moins des capteurs sans contact étant agencé pour acquérir une donnée réponse fournie par la personne,
- corriger ces données d’examen à l’aide de données de correction, notamment acquises à l’aide d’un capteur de correction. [217] En lien avec la figure 5, le système 1 selon un exemple de l’invention peut comporter
- le dispositif d’acquisition 7 de données d’examen sur la personne, ce dispositif d’acquisition comportant au moins deux capteurs pour mesurer une même mesure physiologique tels qu’un radar et une caméra thermique pour acquérir ces données d’examen, ces capteurs étant notamment agencés pour fonctionner sans contact avec la personne, ces capteurs étant déjà décrits plus haut,
- le dispositif de traitement de données 3 agencé pour recevoir ces données obtenues par les capteurs du dispositif d’acquisition, ce dispositif de traitement étant en outre agencé pour réaliser une fusion de données provenant au moins des deux capteurs du dispositif d’acquisition notamment en vue d’augmenter la robustesse de la donnée d’examen acquise sur la personne,
- le dispositif d’affichage 30 agencé pour afficher une information de diagnostic de la maladie basée sur une analyse desdites données par le dispositif de traitement de données, cette information de diagnostic pouvant notamment être représentative d’un niveau de probabilité que la personne soit atteinte de la maladie, ce niveau de probabilité pouvant notamment être un score.
[218] Les deux capteurs sont disposés à des emplacements différents.
[219] Dans l’exemple décrit, les deux capteurs comprenant un radar et une caméra d’image thermique sont agencés pour mesurer le rythme respiratoire d’une personne.
[220] L’unité de traitement 3 est agencée pour attribuer, pour l’un au moins des capteurs, un niveau de fiabilité F, par exemple pouvant être 0 ou 1 , dans plusieurs fenêtres de mesure T1 , T2, T3 t T4 par exemple, ce niveau de fiabilité et ces fenêtres étant utilisés pour réaliser la fusion de données.
[221] Ces fenêtres sont visibles sur le graphe de la figure 5.
[222] Le dispositif d’acquisition 7 comporte un ou plusieurs capteurs complémentaires agencés pour déterminer le niveau de fiabilité des deux capteurs de mesure physiologique. [223] Par exemple dans le cas où les capteurs sont un radar et une caméra infrarouge qui permettent d’évaluer le rythme respiratoire de la personne, des capteurs supplémentaires tels qu’un microphone ou un dispositif de mesure de mouvements du corps de la personne permet d’évaluer la fiabilité de la mesure faite par la caméra ou le radar. En effet quand la personne est en mouvement ou est en train de parler, la mesure réalisée par le radar est soit impossible soit de mauvaise qualité.
[224] Ce capteur de correction comporte une caméra, notamment de type 3D, pour acquérir une donnée représentative d’un mouvement de la personne.
[225] Par exemple la caméra infrarouge peut être associée à une caméra RGB pour vérifier si les mesures par la caméra infrarouge sont possibles ou, lorsque la personne est en mouvement ou présente la tête tournée par exemple, conclure que les mesures par la caméra infrarouge sont impossible.
[226] L’unité de traitement 3 est agencée pour retenir la ou les mesures de l’un ou des deux capteurs en fonction des conditions de fiabilité de la mesure du ou des capteurs.
[227] Ainsi l’unité de traitement n’utilise pas les mesures faites par le capteur dont la fiabilité n’est pas reconnue comme suffisante.
[228] Par exemple l’unité de traitement n’utilise pas les mesures faites par le capteur formé par un radar lorsque la personne est en mouvement ou tourne la tête. Dans cette situation, l’unité de traitement utilise l’autre capteur qui est une caméra à imagerie infrarouge.
[229] L’unité de traitement 3 est agencée pour reconstituer une valeur d’information de diagnostic sur la base de mesures obtenues par les capteurs et retenues en fonction de leur qualité et de la fiabilité.
[230] Par exemple la courbe du signal représentatif de l’information de diagnostic peut être formé par un signal mesuré par l’un des capteurs sur une première fenêtre de temps T1 et par un signal obtenu par l’autre des capteurs sur une deuxième fenêtre de temps T3, comme dans l’exemple de la figure 5.
[231] Dans les fenêtres T2 et T4, les mesures effectuées par les deux capteurs sont de fiabilité satisfaisantes comparables et sont fusionnées. [232] Sur le graphe de la figure 5, la courbe 110 représente la valeur théorique de l’information, par exemple le rythme respiratoire, que l’on souhaite obtenir.
[233] La courbe 111 représente un signal mesuré par la caméra qui est l’un des capteurs utilisés pour mesurer le rythme respiratoire sur la personne.
[234] La courbe 112 représente un signal mesuré par le radar qui est l’autre des capteurs utilisés pour mesurer le rythme respiratoire sur la personne.
[235] La courbe 113 représente la fusion des données représentées par les courbes 111 et 112.
[236] Comme on peut le voir sur la figure 5, dans la fenêtre T1 , la fiabilité de la mesure de la caméra n’est pas suffisante et la mesure n’est pas prise en compte dans la fusion de données.
[237] Dans cette fenêtre T 1 , seules les mesures effectuées par le radar, mesures représentées par la courbe 112, sont prises en compte.
[238] A l’inverse, dans la fenêtre T3, seule les mesures effectuées par la caméra sont prises en compte pour l’obtention du résultat.
[239] Dans les fenêtres T2 et T4 par exemple, les mesures de la caméra et du radar, représentées par les courbes 111 et 112, sont suffisamment fiables pour être toutes prises en compte pour obtenir courbe résultante 113.
[240] Cette fusion de données sur la base de la fiabilité de mesures des capteurs et la prise en compte de fenêtres de temps permet de rendre robuste l’aide à l’obtention d’une information de diagnostic.
[241] L’unité de traitement 3 comprend une intelligence artificielle agencée pour réaliser la fusion de données.
[242] Notamment l’intelligence artificielle est agencée pour attribuer un niveau de fiabilité pour des mesures faites par le ou les capteurs.
[243] Notamment l’intelligence artificielle est agencée pour retenir ou rejeter une mesure faite par l’un ou l’autre des capteurs en fonction de la fiabilité de cette mesure.

Claims

Revendications
[Revendication 1 ] Système (1 ) d’aide pour fournir une information de diagnostic, notamment en vue de la détection d’une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19, ce système de détection comportant:
- un dispositif d’acquisition (7) de données d’examen sur la personne, ce dispositif d’acquisition comportant au moins deux capteurs pour mesurer une même mesure physiologique tels qu’un radar et une caméra thermique pour acquérir ces données d’examen, ces capteurs étant notamment agencés pour fonctionner sans contact avec la personne,
- un dispositif de traitement de données (3) agencé pour recevoir ces données obtenues par les capteurs du dispositif d’acquisition, ce dispositif de traitement étant en outre agencé pour réaliser une fusion de données provenant au moins des deux capteurs du dispositif d’acquisition notamment en vue d’augmenter la robustesse de la donnée d’examen acquise sur la personne,
- notamment un dispositif d’affichage (30) agencé pour afficher une information de diagnostic de la maladie basée sur une analyse desdites données par le dispositif de traitement de données, cette information de diagnostic pouvant notamment être représentative d’un niveau de probabilité que la personne soit atteinte de la maladie, ce niveau de probabilité pouvant notamment être un score.
[Revendication 2] Système selon la revendication précédente, selon lequel les deux capteurs sont disposés dans un même boiter.
[Revendication 3] Système selon l’une des revendications précédentes, selon lequel les deux capteurs sont agencés pour capter des signaux de natures différentes.
[Revendication 4] Système selon la revendication précédente, selon lequel les deux capteurs comprenant un radar et une caméra d’image thermique sont agencés pour mesurer le rythme respiratoire ou le rythme cardiaque d’une personne.
[Revendication 5] Système selon l’une des revendications précédentes, selon lequel l’unité de traitement est agencée pour attribuer, pour l’un au moins des capteurs, un niveau de fiabilité, par exemple pouvant être 0 ou 1 , dans une ou plusieurs fenêtres de mesure (T 1 , T2, T3, T4), ce niveau de fiabilité et cette fenêtre étant utilisés pour réaliser la fusion de données.
[Revendication 6] Système selon l’une des revendications précédentes, selon lequel le dispositif d’acquisition (7) comporte un ou plusieurs capteurs complémentaires agencés pour déterminer le niveau de fiabilité des deux capteurs de mesure physiologique.
[Revendication 7] Système selon la revendication précédente, selon lequel, dans le cas où les capteurs sont un radar et une caméra infrarouge qui permettent d’évaluer le rythme respiratoire ou le rythme cardiaque de la personne, des capteurs supplémentaires tels qu’un microphone ou un dispositif de mesure de mouvements du corps de la personne permettant d’évaluer la fiabilité de la mesure faite par la caméra ou le radar.
[Revendication 8] Système selon l’une des revendications précédentes, selon lequel l’unité de traitement est agencée pour retenir la ou les mesures de l’un ou des deux capteurs en fonction des conditions de fiabilité de la mesure du ou des capteurs.
[Revendication 9] Système selon l’une des revendications précédentes, selon lequel l’unité de traitement est agencée pour reconstituer une valeur d’information de diagnostic sur la base de mesures obtenues par les capteurs et retenues en fonction de leur qualité et de la fiabilité.
[Revendication 10] Système selon l’une des revendications précédentes, selon lequel l’unité de traitement comprend une intelligence artificielle agencée pour réaliser la fusion de données.
[Revendication 11] Procédé d’aide pour fournir une information de diagnostic, notamment en vue de la détection d’une maladie sur une personne, notamment une maladie contagieuse telle que le COVID 19, ce système de détection comportant:
- fournir un dispositif d’acquisition (7) de données d’examen sur la personne, ce dispositif d’acquisition comportant au moins deux capteurs pour mesurer une même mesure physiologique tels qu’un radar et une caméra thermique pour acquérir ces données d’examen, ces capteurs étant notamment agencés pour fonctionner sans contact avec la personne,
- recevoir ces données obtenues par les capteurs du dispositif d’acquisition, ce dispositif de traitement étant en outre agencé pour réaliser une fusion de données provenant au moins des deux capteurs du dispositif d’acquisition notamment en vue d’augmenter la robustesse de la donnée d’examen acquise sur la personne.
PCT/EP2022/068637 2021-07-21 2022-07-05 Système d'aide pour fournir une information de diagnostic WO2023001549A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22744446.0A EP4373383A1 (fr) 2021-07-21 2022-07-05 Système d'aide pour fournir une information de diagnostic
CN202280051220.XA CN118055727A (zh) 2021-07-21 2022-07-05 用于辅助提供诊断信息的系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2107859 2021-07-21
FR2107859A FR3125405A1 (fr) 2021-07-21 2021-07-21 Système d’aide pour fournir une information de diagnostic

Publications (1)

Publication Number Publication Date
WO2023001549A1 true WO2023001549A1 (fr) 2023-01-26

Family

ID=78820774

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/068637 WO2023001549A1 (fr) 2021-07-21 2022-07-05 Système d'aide pour fournir une information de diagnostic

Country Status (4)

Country Link
EP (1) EP4373383A1 (fr)
CN (1) CN118055727A (fr)
FR (1) FR3125405A1 (fr)
WO (1) WO2023001549A1 (fr)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
US20190090800A1 (en) * 2017-09-22 2019-03-28 Aurora Flight Sciences Corporation Systems and Methods for Monitoring Pilot Health
WO2020012455A1 (fr) * 2018-07-09 2020-01-16 Neteera Technologies Ltd. Système de sous-thz et thz destiné à la détection de paramètres physiologiques et procédé associé

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
US20190090800A1 (en) * 2017-09-22 2019-03-28 Aurora Flight Sciences Corporation Systems and Methods for Monitoring Pilot Health
WO2020012455A1 (fr) * 2018-07-09 2020-01-16 Neteera Technologies Ltd. Système de sous-thz et thz destiné à la détection de paramètres physiologiques et procédé associé

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOSHIAKI NEGISHI ET AL: "Contactless Vital Signs Measurement System Using RGB-Thermal Image Sensors and Its Clinical Screening Test on Patients with Seasonal Influenza", SENSORS, vol. 20, no. 2171, 13 April 2020 (2020-04-13), pages 1 - 16, XP055759477, DOI: 10.3390/s20082171 *

Also Published As

Publication number Publication date
EP4373383A1 (fr) 2024-05-29
FR3125405A1 (fr) 2023-01-27
CN118055727A (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
US20150087926A1 (en) System and Method for Facilitating Remote Medical Diagnosis and Consultation
Kuru et al. Biomedical visual data analysis to build an intelligent diagnostic decision support system in medical genetics
JP6863563B2 (ja) ストレス評価システム
CN111307290A (zh) 应用虹膜识别的非接触式身份识别与体温监测的方法与装置
WO2021228690A1 (fr) Système de détection d'une maladie
CN108882853A (zh) 使用视觉情境来及时触发测量生理参数
EP4351406A1 (fr) Système d'aide pour fournir une information de diagnostic
US20230060676A1 (en) Multimodal diagnosis system, method and apparatus
US20200175255A1 (en) Device for determining features of a person
KR102366251B1 (ko) 챗봇 문진을 이용한 신체 검진 방법 및 시스템
WO2023001549A1 (fr) Système d'aide pour fournir une information de diagnostic
McGinnis et al. Validation of smartphone based heart rate tracking for remote treatment of panic attacks
EP4333695A1 (fr) Système d'aide pour fournir une information de diagnostic
US20220189639A1 (en) Healthcare device, system, and method
US11523742B2 (en) System, method, and apparatus for temperature asymmetry measurement of body parts
RU188260U1 (ru) Система на основе термоэлектрических приемников инфракрасного излучения и физиологических датчиков для определения достоверности ответов человека
WO2022096309A1 (fr) Système de détection d'une maladie
KR102247712B1 (ko) 빅데이터를 이용한 피부 진단 방법 및 피부 진단 장치
KR102248251B1 (ko) 체열정보를 이용한 의료진단 보조장치
US11475564B2 (en) Non-invasive non-contact system and method for measuring health parameters
Singh et al. A Systematic Survey of Technology Driven Diagnosis for ASD
IT202000016252A1 (it) Sistema di valutazione dell’incidenza territoriale di sintomatologie
JP2022105426A (ja) 学習モデルの生成方法、情報処理方法及びプログラム
TW202325221A (zh) 協助監測糖尿病及高凝血症狀的非接觸式及非侵入式血糖監測
AU2020433840A1 (en) System, method, and apparatus for temperature asymmetry measurement of body parts

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22744446

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022744446

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022744446

Country of ref document: EP

Effective date: 20240221