WO2020245717A1 - Sistema y método para prueba multimodal de engaño calificado por aprendizaje de maquina - Google Patents

Sistema y método para prueba multimodal de engaño calificado por aprendizaje de maquina Download PDF

Info

Publication number
WO2020245717A1
WO2020245717A1 PCT/IB2020/055144 IB2020055144W WO2020245717A1 WO 2020245717 A1 WO2020245717 A1 WO 2020245717A1 IB 2020055144 W IB2020055144 W IB 2020055144W WO 2020245717 A1 WO2020245717 A1 WO 2020245717A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
module
stress
cognitive load
caused
Prior art date
Application number
PCT/IB2020/055144
Other languages
English (en)
French (fr)
Inventor
Carlos Andrés Cuestas Rodríguez
Original Assignee
Cuestas Rodriguez Carlos Andres
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cuestas Rodriguez Carlos Andres filed Critical Cuestas Rodriguez Carlos Andres
Priority to PE2021002023A priority Critical patent/PE20220293A1/es
Priority to MX2021014958A priority patent/MX2021014958A/es
Publication of WO2020245717A1 publication Critical patent/WO2020245717A1/es

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/164—Lie detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Definitions

  • the present invention relates to systems and methods for measuring physiological responses caused by cognitive load and stress to calculate a probability of deception.
  • Deception testing systems are widely used in security procedures by government, military or private companies. The objective of the systems is to make sure if the user of the system is answering in a deceptive or honest way to questions that are asked.
  • the present invention solves the precision problems of conventional systems and refers to systems for measuring physiological responses caused by cognitive load and stress that comprise an eye measurement module that contains a video camera and infrared LEDs oriented towards the user's pupils. , the module configured to determine changes in the dilation of the pupils, determine the blink rate and determine the eye trajectory of the pupils. Additionally, it comprises a thermal measurement module that contains an infrared camera arranged to measure changes in temperature of the user's face and the user's respiratory rate, and a facial measurement module that contains a camera that detects changes in the position of points. user facials.
  • the system also comprises a sensor module comprising heart rate sensors, skin conductivity sensors, motion sensors, and temperature sensors, and an electroencephalography (EEG) signal module.
  • the system further comprises an information presentation and interaction module configured to provide a stimulus to the user and record a conscious response from the user and an integration and processing module configured to receive the signals from the eye measurement module, the thermal measurement module, the face measurement module, the sensor module and the electroencephalography EEG signal module.
  • the system is configured to determine changes in physiological variables of the user associated with stress and cognitive load in response to the stimulus generated by the interaction and information presentation module to calculate a probability of deception in conscious responses.
  • Another aspect of the invention is related to methods for measuring physiological responses caused by cognitive load and stress that includes the steps of: providing stimuli to the user in an interaction and information presentation module, where the stimuli to the user can be visual stimuli text type, image type without text, auditory type or combinations thereof; measure changes in the temperature of the face and the respiratory rate of a user by means of an infrared camera; measure eye movement, blink rate, and changes in pupil dilation by means of a video camera; measuring changes in the position of facial points of the user by means of a second video camera; measuring skin temperature, heart rate, heart rate variation, changes in skin conductivity and movements of the user's hand by means of a sensor module in direct contact with the skin; measure changes in electroencephalography (EEG) electrode information; correlate the physiological information obtained in the previous steps with the different types of stimulus provided and determine the level of cognitive load and stress of the user in response to the different types of stimulus to calculate a probability of deception of the conscious responses.
  • EEG electroencephalography
  • FIGURES Figure 1 shows a preferred embodiment of the physiological response measurement system according to an embodiment of the present invention.
  • Figure 2 shows examples of possible zones of focus on the user's face by the system for measuring the physiological responses of a user according to one embodiment of the present invention.
  • FIG. 3 shows a schematic diagram of the modules of the physiological response measurement system according to one embodiment of the present invention.
  • FIG. 4 shows a schematic diagram of the modules of the physiological response measurement system according to another embodiment of the present invention.
  • Figure 5 shows a flow chart of the method of measuring physiological responses according to an embodiment of the present invention
  • Figure 6 shows a flow chart of the method of measuring physiological responses according to another embodiment of the present invention
  • the present invention relates to systems for measuring physiological responses 100 caused by cognitive load and stress that comprise an eye measurement module 110 that contains a video camera and infrared LEDs oriented towards the user's pupils 101 configured to determine changes in dilation. of the pupils, determine the blink frequency and determine the eye trajectory of the pupils. Additionally, it comprises a thermal measurement module 120 that contains an infrared camera arranged to measure changes in temperature of the user's face and the user's respiratory rhythm 101 and a facial measurement module 130 that contains a camera that detects facial points of the patient. user 101. It also comprises a sensor module 140 with sensors that can be heart rate sensors, skin conductivity sensors, motion sensors, and temperature sensors and an electroencephalography (EEG) signal module 150.
  • EEG electroencephalography
  • the system further comprises a module information display and interaction module 160 configured to provide a stimulus to the user and record a conscious response from the user and an integration and processing module 170 configured to receive signals from the eye measurement module 110, the thermal measurement module 120, the module measurement device 130, sensor module 140, and EEG signal module 150.
  • a module information display and interaction module 160 configured to provide a stimulus to the user and record a conscious response from the user
  • an integration and processing module 170 configured to receive signals from the eye measurement module 110, the thermal measurement module 120, the module measurement device 130, sensor module 140, and EEG signal module 150.
  • the system is configured to determine physiological variable changes of the user associated with stress and cognitive load in response to the stimulus generated by the interaction and information presentation module 160 to calculate a probability of deception in conscious responses.
  • Figure 1 shows a preferred embodiment of the system for measuring the physiological responses of a user in accordance with one embodiment of the present invention.
  • the system for measuring physiological responses 100 of a user caused by cognitive load and stress further comprises a chin support 180 in which the user 101 rests his chin so that his face is facing him. eye measurement module 110.
  • the eye measurement module 110 comprises infrared LEDs that emit radiation to track the relative position of the gaze on the screen using its reflection on the cornea detected with a video camera by means of geometric analysis mathematical models.
  • the configuration of the ocular measurement module 110 in this mode makes it possible to obtain the Cartesian coordinates of the location of the user's gaze in relation to the stimuli generated by the interaction and information presentation module 160.
  • the detected coordinates are They are related to a time record that allows knowing different variables regarding reading time, focus locations in a photo or other elements of interest.
  • the eye measurement module 110 is configured to detect changes in the dilation of the pupils, that is, changes in the diameter of the pupils and determine the blink frequency. These three variables are directly correlated with the stress and cognitive load to which a user is subjected.
  • the eye measurement module camera 110 captures one hundred or more frames per second.
  • the ocular measurement module 110 is fixed to the interaction and information presentation module 160 and in front of the user's face 101 to allow better portability of the system and obtain a field of vision centered on the user's eyes. .
  • the eye measurement module 110 is configured to detect only the user's right eye.
  • the eye measurement module 110 is configured to detect only the user's left eye.
  • the eye measurement module 110 is configured to detect both eyes of the user.
  • the thermal measurement module 120 is fixed to the chin rest 180 to allow the thermal measurement module 120 an orientation towards the nostrils of the user 101. This allows the field of view of the infrared camera to capture a greater amount of pixels with temperature changes caused by the flow of hot air produced by the user's exhalation. Attaching the thermal measurement module 120 to the chin rest 180 then provides better accuracy in detecting temperature changes and allows a more accurate calculation of the user's respiratory rate.
  • the camera of the thermal measurement module 120 is also configured to take measurements of the skin temperature of the user's face. More specifically, the camera is configured to detect temperature changes in 3 demarcated areas by a polygon.
  • the thermal measurement module 120 comprises wireless communication circuitry.
  • the facial measurement module 130 is configured to detect micro movements of the user's face that correlate with sustained stress.
  • the facial measurement module 130 comprises a camera that detects changes in the position of reference points on the user's face.
  • the camera is configured to detect information from at least twenty facial points on the face, preferably twenty-six facial points on the face.
  • the camera of the facial measurement module 130 is fixed to the interaction and information presentation module 160 and in front of the user's face 101 to allow better portability of the system and obtain a field of vision centered on the user's face.
  • Figure 2 shows examples of possible zones of focus on the user's face by the physiological response measurement system according to one embodiment of the present invention.
  • the ocular measurement module camera 110 substantially concentrates its field of view in the eye area 113.
  • the infrared camera of the thermal measurement module 120 substantially concentrates its field of view in the nasal area 122.
  • the face measurement module camera 130 concentrates substantially its field of vision in the facial area 132.
  • the system comprises a sensor module 140 with sensors that are in contact with the user's skin.
  • Sensor module 140 allows heart rate, skin conductivity, arm skin temperature, and / or user movement to be detected.
  • sensor module 140 may be a wrist accessory.
  • sensor module 140 comprises a photoplethysmography (PPG) sensor with an emitter with a wavelength between 480nm and 540nm that detects changes in pulsed blood volume to calculate heart rate variation (HRV). of the user.
  • the sensor module 140 further comprises a 3-axis accelerometer.
  • sensor module 140 acquires skin conductivity data through at least 2 electrodes in direct contact with the user's skin.
  • sensor module 140 comprises a thermopile for sensing the temperature of the wearer's skin. Most preferably, the thermopile in sensor module 140 is an infrared thermopile.
  • the sensor module 140 is configured to measure information on skin conductivity, heart rate, arm skin temperature and movement in the 3 axes, where all the information is referenced with a record of weather.
  • sensor module 140 comprises wireless communication circuitry.
  • the temperature information of the user's arm detected by the sensor module 140 and the temperature information of the face detected by the infrared camera 121 of the thermal measurement module 120 are used together to improve detection of user temperature changes.
  • the user's arm temperature information detected by the sensor module 140 is viewed as a base body temperature with fewer variations and is used as a basis for comparison of the temperature changes detected in the skin of the patient. user's face by the infrared camera of the thermal measurement module 120.
  • Electroencephalography signals describe the user's brain activity by measuring the electrical potentials of the brain and allow estimating the user's cognitive load at a specific time.
  • the system comprises an electroencephalography (EEG) signal capture module 150 that can be located on top of the user's head as shown in Figure 1.
  • the module can include a band or a helmet-like element. Additionally, preferably, the electroencephalography (EEG) signal capture module 150 comprises at least 4 electrodes.
  • the information interaction and presentation module 160 allows the user to provide different types of stimuli.
  • Stimuli can be text-type visual, non-text images, or auditory.
  • a text-like visual stimulus can be a question or a mathematical operation that is presented in the form of text.
  • An image without text can be a photo of an object or person of interest.
  • Auditory stimuli can be noises, questions, math facts, or verbal prayer.
  • Information display and interaction module 160 is also configured to receive user responses to presented stimuli.
  • responses can be received in a pulsed fashion.
  • responses can be received verbally.
  • the information interaction and presentation module 160 comprises peripherals selected from the group comprising: a digital display, headphones, a microphone, a mouse, and a keyboard.
  • the information interaction and presentation module 160 comprises a digital touch screen that allows the user to respond directly to the stimulus that is presented.
  • the information display and interaction module 160 is configured to measure the response time of the user to the stimulus.
  • FIG. 3 shows a schematic diagram of the modules of the physiological response measurement system according to one embodiment of the present invention.
  • the integration and processing module 170 is configured to receive signals from the eye measurement module 110, the thermal measurement module 120, the face measurement module 130, the sensor module 140 and the image capture module. EEG signals 150. Additionally, it is configured to receive the information of the presented stimuli and the responses that were entered in the interaction and information presentation module 160.
  • the integration and processing module 170 comprises circuitry of wireless communication.
  • the integration and processing module 170 is configured to receive the information from the other modules simultaneously.
  • the integration and processing module 170 is configured to determine the level of cognitive load and stress by relating the responses given by the user to the stimuli presented by the interaction and information presentation module 160 through of an algorithm selected from the group consisting of: neural network, logistic regression, tree gradient enhancement (GTB), random forests or dichotomous algorithm.
  • GTB tree gradient enhancement
  • the integration and processing module 170 is configured to prepare the data so that the different data from each sensor is aligned by its time stamp. Additionally, the module is configured to perform a preliminary calculation for each sensor combination, question topic and question type, where each combination has a different preparation equation.
  • Each preparation equation can have factors that result from the experimental review of the data, for example: Elimination of 0, average value of the channel in that question type / topic. In certain cases it may include a time window. For example after response ignoring the data before the user's response.
  • the integration and processing module 170 is configured to discard channels or assign priorities and higher preference to specific variables from those received when determining the level of cognitive load and stress related to the user's responses.
  • the integration and processing module 170 is configured to classify the results based on several or all algorithms and present the performance of each after a cross validation using a Receiver Operating Characteristic curve. (ROC) and a confusion matrix.
  • the information interaction and presentation module 160 is a personal computer.
  • the integration and processing module 170 is also a computer.
  • the information interaction and presentation modules 160 and integration and processing modules 170 are integrated in the same computer.
  • the information interaction and presentation 160 and integration and processing modules 170 are integrated into a tablet-type device.
  • Figure 4 shows a schematic diagram of the modules of the physiological response measurement system according to another embodiment of the present invention.
  • the system further comprises a transmission module 190 that transmits the collected information to a server at another location 191.
  • the server at another location 191 is configured to determine the level of cognitive load and stress based on an algorithm selected from the group consisting of: neural network, logistic regression, tree gradient enhancement (GTB), random forests or dichotomous algorithm.
  • the transmission module 190 is integrated in the same computer as the interaction and information presentation 160 and integration and processing modules 170.
  • the server at another location 191 is configured to discard channels or assign priorities and greater preference to specific variables than those received when determining the level of cognitive load and stress related to user responses.
  • the server at another location 191 is configured to classify the results based on several or all of the algorithms and present the performance of each after cross validation using a Receiver Operating Characteristic (ROC for short) and a confusion matrix.
  • ROC Receiver Operating Characteristic
  • FIG. 5 shows a flow diagram of the method of measuring physiological responses according to an embodiment of the present invention that includes the steps of: a) providing stimuli to the user in an interaction and information presentation module 160, wherein the User stimuli can be text-type visual stimuli, text-free image type, auditory type or combinations thereof; b) measuring eye movement, blink frequency and changes in pupil dilation by means of a video camera; c) measuring changes in the temperature of the face and the respiratory rate of a user by means of an infrared camera; d) measuring changes in facial points of the user by means of a second video camera; e) measure skin temperature, heart rate, heart rate variation, changes in skin conductivity and / or movements of the user's hand by means of a sensor module in direct contact with the skin ; f) measuring changes in electroencephalography (EEG) electrode information; g) correlate the physiological information obtained in the previous steps with the different types of stimulus provided and h) determine the level of EEG (EEG) electrode information; g) correlate the physiological information obtained in
  • step a) provides stimuli of different types such as visual type text, image type without text, auditory type or combinations thereof and on different topics, where the topics can be relevant topics, relevant topics on those that are certain of honesty, relevant topics where instructions to lie are given or neutral topics that print cognitive load such as mathematical operations or puzzles.
  • the information display and interaction module 160 is configured to display another stimulus in three different configurations.
  • the information display and interaction module 160 can display another stimulus when the user actively responds to a stimulus, only when a specified time is met or when a specified time is met if there is no response.
  • the method may include a data preparation step where the different data from each sensor are aligned by their time stamp. Additionally, this stage can contain a pre-calculation for each sensor combination, question topic and question type where each combination has a different preparation equation.
  • Each preparation equation can have factors that result from the experimental review of the data, for example: Elimination of 0, average value of the channel in that question type / topic. In certain cases it may include a time window. For example after response ignoring the data before the user's response.
  • step g) is carried out in the integration and processing module 170 and this is configured to receive the information from the other modules simultaneously.
  • step h) is performed in the integration and processing module 170 when it is configured to determine the level of cognitive load and stress by relating the responses given by the user to the stimuli presented by the module of interaction and presentation of information 160 by means of an algorithm selected from the group consisting of: neural network, logistic regression, tree gradient enhancement (GTB), random forests or dichotomous algorithm.
  • GTB tree gradient enhancement
  • the integration and processing module 170 can classify the results based on several or all of the algorithms and present the performance of each after a cross-validation using a Receiver Operating Characteristic (ROC) curve. for its acronym in English) and a confusion matrix.
  • ROC Receiver Operating Characteristic
  • the integration and processing module 170 can discard channels or assign priorities and greater preference to specific variables than those received when determining the level of cognitive load and stress related to the user's responses.
  • Figure 6 shows a flow chart of the method of measuring physiological responses according to another embodiment of the present invention.
  • the method of measuring physiological responses of a user caused by cognitive load and stress of the Claim also comprises i) transmitting the collected information to a server at another location 191 for processing. It can also comprise the stage of j) classifying, on the server at another location 191, the results based on an algorithm selected from the group consisting of: neural network, logistic regression, Tree gradient enhancement (GTB), random forests or dichotomous algorithm.
  • the server at another location 191 may classify the results based on several or all of the algorithms and display the performance of each after cross-validation using a Receiver Operating Characteristic (ROC per its acronym in English) and a confusion matrix.
  • ROC Receiver Operating Characteristic
  • the server at another location 191 may discard channels or assign priorities and greater preference to specific variables than those received in determining the level of cognitive load and stress related to user responses.
  • the system of the present invention can combine different types of stimuli and prioritize different changes in physiological variables.
  • the system can combine 5 different types of conditions:

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

Sistemas y métodos de medición de respuestas fisiológicas causadas por carga cognitiva y estrés para calcular una probabilidad de engaño. El sistema comprende módulos para determinar cambios en la dilatación de las pupilas, frecuencia de parpadeo, trayectoria ocular de las pupilas, cambios de temperatura de la cara, ritmo respiratorio, posición de puntos faciales del usuario, ritmo cardiaco, conductividad en la piel, movimientos corporales, temperatura en el brazo, señales de electroencefalografía y módulos para proporcionar estímulos al usuario, registrar respuestas conscientes del usuario, recibir las señales fisiológicas y determinar cambios en variables fisiológicas del usuario asociados a estrés y carga cognitiva en respuesta a los estímulos generado para calcular una probabilidad de engaño en las respuestas conscientes.

Description

SISTEMA Y MÉTODO PARA PRUEBA MULTIMODAL DE ENGAÑO CALIFICADO POR
APRENDIZAJE DE MAQUINA
CAMPO DE LA INVENCIÓN
La presente invención se relaciona con sistemas y métodos de medición de respuestas fisiológicas causadas por carga cognitiva y estrés para calcular una probabilidad de engaño.
ANTECEDENTES DE LA INVENCIÓN
Los sistemas de pruebas de engaño son ampliamente utilizados en procedimientos de seguridad por entidades gubernamentales, militares o empresas privadas. El objetivo de los sistemas es cerciorarse si el usuario del sistema esta respondiendo de manera engañosa o honesta a preguntas que se le realizan.
Los sistemas de pruebas de engaño comunes usualmente monitorean la conductividad de la piel, el ritmo cardiaco y el ritmo respiratorio. Diferentes desarrollos se concentran integrar unas pocas variables adicionales para mejorar el porcentaje de éxito. Sin embargo, muchos desarrollos actuales se enfocan en sistemas remotos que no requieren contacto directo con el usuario, como cámaras infrarrojas, con el fin de mejorar la comodidad del usuario y la rapidez con la que se pueden realizar las preguntas.
Otros sistemas actuales se concentran usualmente únicamente en una sola tecnología y no integran de manera eficiente y portable, módulos para medir diferentes variables fisiológicas. Además, no se ha desarrollado a profundidad algoritmos de aprendizaje de maquina aplicado a sistemas de pruebas de engaño que permitan la comparación y detección de patrones dentro de una gran cantidad de variables fisiológicas de manera rápida y efectiva. Adicionalmente, se ha demostrado que existen entrenamientos o
i metodologías que pueden burlar sistemas de detección de engaño clásicos que se basan en el seguimiento de una cantidad limitada de variables lo cual disminuye la precisión de estos.
Existe entonces en la técnica, la necesidad de un sistema que integre de manera eficiente y portable, diferentes módulos para medir una pluralidad de variables fisiológicas y las relacione con respuestas a estímulos utilizando algoritmos de aprendizaje de máquina para obtener una mejor precisión en el calculo de la probabilidad de engaño en las respuestas a los estímulos.
BREVE DESCRIPCIÓN DE LA INVENCIÓN
La presente invención soluciona los problemas de precisión de los sistemas convencionales y se refiere a sistemas de medición de respuestas fisiológicas causadas por carga cognitiva y estrés que comprende un módulo de medición ocular que contiene una cámara de video y leds infrarrojos orientados hacia las pupilas del usuario, el módulo configurado para determinar cambios en la dilatación de las pupilas, determinar la frecuencia de parpadeo y determinar la trayectoria ocular de las pupilas. Adicionalmente, comprende un módulo de medición térmica que contiene una cámara infrarroja dispuesta para realizar mediciones de cambios de temperatura de la cara del usuario y del ritmo respiratorio del usuario y un módulo de medición facial que contiene una cámara que detecta cambios en la posición de puntos faciales del usuario.
También comprende un módulo de sensores que comprende sensores de ritmo cardiaco, sensores de conductividad en la piel, sensores de movimiento, y sensores de temperatura y un módulo de señales de electroencefalografía (EEG). El sistema comprende adicionalmente un módulo de interacción y presentación de información configurado para proporcionar un estímulo al usuario y registrar una respuesta consciente del usuario y un módulo de integración y procesamiento configurado para recibir las señales del módulo de medición ocular, el módulo de medición térmica, el módulo de medición facial, el módulo de sensores y el módulo de señales de electroencefalografía EEG. El sistema está configurado para determinar cambios en variables fisiológicas del usuario asociados a estrés y carga cognitiva en respuesta al estímulo generado por el módulo de interacción y presentación de información para calcular una probabilidad de engaño en las respuestas conscientes. Otro aspecto de la invención se relaciona con métodos de medición de respuestas fisiológicas causadas por carga cognitiva y estrés que incluye las etapas de: proporcionar estímulos al usuario en un módulo de interacción y presentación de información, en donde los estímulos al usuario pueden ser estímulos visuales tipo texto, tipo imagen sin texto, tipo auditivos o combinaciones de los mismos; medir los cambios de temperatura de la cara y el ritmo respiratorio de un usuario por medio de una cámara infrarroja; medir el movimiento ocular, la frecuencia de parpadeo y cambios en la dilatación de la pupila por medio de una cámara de video; medir cambios en la posición de puntos faciales del usuario por medio de una segunda cámara de video; medir la temperatura de la piel, el ritmo cardiaco, la variación de ritmo cardiaco, los cambios en la conductividad de la piel y los movimientos de la mano del usuario por medio de un módulo de sensores en contacto directo con la piel; medir cambios en la información de electrodos de electroencefalografía (EEG); correlacionar la información fisiológica obtenida en los pasos anteriores con los diferentes tipos de estímulo proporcionados y determinar el nivel de carga cognitiva y estrés del usuario en respuesta a los diferentes tipos de estímulo para calcular una probabilidad de engaño de las respuestas conscientes.
BREVE DESCRIPCIÓN DE LAS FIGURAS La Figura 1 muestra una realización preferida del sistema de medición de respuestas fisiológicas de acuerdo con una modalidad de la presente invención.
La Figura 2 muestra ejemplos de posibles zonas de enfoque en la cara del usuario por el sistema de medición de respuestas fisiológicas de un usuario de acuerdo con una modalidad de la presente invención.
La Figura 3 muestra un diagrama esquemático de los módulos del sistema de medición de respuestas fisiológicas de acuerdo con una modalidad de la presente invención.
La Figura 4 muestra un diagrama esquemático de los módulos del sistema de medición de respuestas fisiológicas de acuerdo con otra modalidad de la presente invención.
La Figura 5 muestra un diagrama de flujo del método de medición de respuestas fisiológicas de acuerdo con una modalidad de la presente invención
La Figura 6 muestra un diagrama de flujo del método de medición de respuestas fisiológicas de acuerdo con otra modalidad de la presente invención
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN
La presente invención se refiere a sistemas de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés que comprenden un módulo de medición ocular 110 que contiene una cámara de video y leds infrarrojos orientados hacia las pupilas del usuario 101 configurado para determinar cambios en la dilatación de las pupilas, determinar la frecuencia de parpadeo y determinar la trayectoria ocular de las pupilas. Adicionalmente, comprende un módulo de medición térmica 120 que contiene una cámara infrarroja dispuesta para realizar mediciones de cambios de temperatura de la cara del usuario y del ritmo respiratorio del usuario 101 y un módulo de medición facial 130 que contiene una cámara que detecta puntos faciales del usuario 101. También comprende un módulo de sensores 140 con sensores que pueden ser sensores de ritmo cardiaco, sensores de conductividad en la piel, sensores de movimiento, y sensores de temperatura y un módulo de señales de electroencefalografía (EEG) 150. El sistema comprende adicionalmente un módulo de interacción y presentación de información 160 configurado para proporcionar un estímulo al usuario y registrar una respuesta consciente del usuario y un módulo de integración y procesamiento 170 configurado para recibir las señales del módulo de medición ocular 110, el módulo de medición térmica 120, el módulo de medición facial 130, el módulo de sensores 140 y el módulo de señales de EEG 150.
El sistema está configurado para determinar cambios variables fisiológicas del usuario asociados a estrés y carga cognitiva en respuesta al estímulo generado por el módulo de interacción y presentación de información 160 para calcular una probabilidad de engaño en las respuestas conscientes.
La Figura 1 muestra una realización preferida del sistema de medición de respuestas fisiológicas de un usuario de acuerdo con una modalidad de la presente invención. En esta modalidad preferida de la invención, el sistema de medición de respuestas fisiológicas 100 de un usuario causadas por carga cognitiva y estrés además comprende un soporte para mentón 180 en el cual el usuario 101 reposa el mentón de manera que su cara quede frente a al módulo de medición ocular 110.
En una modalidad, el módulo de medición ocular 110 comprende leds infrarrojos que emiten radiación para rastrear la posición relativa de la mirada en la pantalla usando su reflejo en la córnea detectado con una cámara de video por medio de modelos matemáticos de análisis geométrico. La configuración del módulo de medición ocular 110 en esta modalidad permite obtener las coordenadas cartesianas de la ubicación de la mirada del usuario en relación con los estímulos generados por el por el módulo de interacción y presentación de información 160. Las coordenadas detectadas se encuentran relacionadas con un registro de tiempo que permite conocer diferentes variables referentes al tiempo de lectura, ubicaciones de enfoque en una foto u otros elementos de interés.
Adicionalmente, el módulo de medición ocular 110 se encuentra configurado para detectar cambios en la dilatación de las pupilas, es decir cambios en el diámetro de las pupilas y determinar la frecuencia de parpadeo. Estas tres variables se correlacionan directamente con el estrés y carga cognitiva a la que un usuario se encuentra sometido. De manera preferente, la cámara del módulo de medición ocular 110 captura cien o más cuadros por segundo. De acuerdo con una modalidad preferida, el módulo de medición ocular 110 está fijo al módulo de interacción y presentación de información 160 y frente la cara del usuario 101 para permitir una mejor portabilidad del sistema y obtener un campo de visión centrado en los ojos del usuario. En una modalidad de la invención, el módulo de medición ocular 110 se encuentra configurado para detectar solamente el ojo derecho del usuario. En otra modalidad de la invención, el módulo de medición ocular 110 se encuentra configurado para detectar solamente el ojo izquierdo del usuario. De manera preferida, el módulo de medición ocular 110 se encuentra configurado para detectar ambos ojos del usuario.
De manera preferida, el módulo de medición térmica 120 está fijo al soporte para mentón 180 para permitirle al módulo de medición térmica 120 una orientación hacia las fosas nasales del usuario 101. Esto le permite al campo de visión de la cámara infrarroja capturar una mayor cantidad de pixeles con cambios de temperatura causados por el flujo de aire caliente producto de la exhalación del usuario. La unión del módulo de medición térmica 120 al soporte para mentón 180 proporciona entonces una mejor precisión para detectar cambios de temperatura y permite un cálculo más preciso del ritmo respiratorio del usuario. En una modalidad, la cámara del módulo de medición térmica 120 también se configura para realizar mediciones de la temperatura de la piel de la cara del usuario. De manera más específica, la cámara se encuentra configurada para detectar cambios de temperatura en 3 zonas demarcadas por un polígono. De manera preferida, el módulo de medición térmica 120 comprende circuitaje de comunicación inalámbrica.
El módulo de medición facial 130 se encuentra configurado para detectar micro movimientos de la cara del usuario que se correlacionan con estrés sostenido. El módulo de medición facial 130 comprende una cámara que detecta cambios en la posición de puntos de referencia en la cara del usuario. De acuerdo a una modalidad de la invención, la cámara se encuentra configurada para detectar información de al menos veinte puntos faciales en el rostro, de manera preferente veintiséis puntos faciales en el rostro. En otra realización de la invención, la cámara del módulo de medición facial 130 se encuentra fijo al módulo de interacción y presentación de información 160 y frente la cara del usuario 101 para permitir una mejor portabilidad del sistema y obtener un campo de visión centrado en la cara del usuario.
La Figura 2 muestra ejemplos de posibles zonas de enfoque en la cara del usuario por el sistema de medición de respuestas fisiológicas de acuerdo con una modalidad de la presente invención. La cámara del módulo de medición ocular 110 concentra sustancialmente su campo de visión en la zona ocular 113. La cámara infrarroja del módulo de medición térmica 120 concentra sustancialmente su campo de visión en la zona nasal 122. La cámara del módulo de medición facial 130 concentra sustancialmente su campo de visión en la zona facial 132.
EL sistema comprende un módulo de sensores 140 con sensores que se encuentra en contacto con la piel del usuario. El módulo de sensores 140 permite detectar el ritmo cardiaco, la conductividad en la piel, la temperatura de la piel del brazo y/o el movimiento del usuario. De manera preferente, el módulo de sensores 140 puede ser un accesorio para muñeca. En una modalidad, el módulo de sensores 140 comprende un sensor de fotopletismografía (PPG) con un emisor con una longitud de onda entre 480 nm y 540 nm que detecta cambios en el volumen de sangre pulsado para calcular la variación de ritmo cardiaco (HRV) del usuario. De acuerdo con una modalidad preferida, el módulo de sensores 140 comprende además un acelerómetro de 3 ejes. De manera preferente, el módulo de sensores 140 adquiere datos de la conductividad de la piel por medio al menos de 2 electrodos en contacto directo con la piel del usuario. En una modalidad de la invención, el módulo de sensores 140 comprende una termopila para detectar la temperatura de la piel del usuario. De manera más preferida, la termopila del módulo de sensores 140 es una termopila infrarroja.
En una modalidad preferida, el módulo de sensores 140 está configurado para medir información de conductividad de la piel, ritmo cardiaco, temperatura de la piel del brazo y del movimiento en los 3 ejes, en donde toda la información se encuentra referenciada con un registro de tiempo. De manera preferida, el módulo de sensores 140 comprende circuitaje de comunicación inalámbrica.
En una modalidad preferida de la invención, la información de temperatura del brazo del usuario detectada por el módulo de sensores 140 y la información de temperatura de la cara detectada por la cámara infrarroja 121 del módulo de medición térmica 120, se utilizan en conjunto para mejorar la detección de cambios de temperatura del usuario. En una modalidad preferida, la información de temperatura del brazo del usuario detectada por el módulo de sensores 140 se contempla como una temperatura base del cuerpo con menos variaciones y se utiliza como base para la comparación de los cambios de temperatura detectados en la piel de la cara del usuario por la cámara infrarroja del módulo de medición térmica 120.
Las señales de electroencefalografía describen la actividad cerebral del usuario al medir los potenciales eléctricos del cerebro y permiten estimar la carga cognitiva del usuario en un momento en específico. El sistema comprende un módulo de captura de señales de electroencefalografía (EEG) 150 que se puede ubicar en la parte superior de la cabeza del usuario como se muestra en la Figura 1. El módulo puede incluir una banda o un elemento tipo casco. Adicionalmente, de manera preferente, el módulo de captura de señales de electroencefalografía (EEG) 150 comprende al menos 4 electrodos.
El módulo de interacción y presentación de información 160 permite proporcionar diferentes tipos de estímulos al usuario. Los estímulos pueden ser visuales de tipo texto, imágenes sin texto o auditivos. Un estímulo visual tipo texto puede una pregunta o una operación matemática que se presenta en forma de texto. Una imagen sin texto puede ser una foto de un objeto o una persona de interés. Los estímulos auditivos pueden ser ruidos, preguntas, operaciones matemáticas u oración verbal.
El módulo de interacción y presentación de información 160 también se encuentra configurado para recibir las respuestas del usuario a los estímulos presentados. En una modalidad de la invención, las respuestas pueden ser recibidas de manera pulsada. En otra modalidad de la invención, las respuestas pueden ser recibidas de manera verbal. De manera preferente, el módulo de interacción y presentación de información 160 comprende periféricos seleccionados del grupo que comprende: una pantalla digital, unos audífonos, un micrófono, un ratón y un teclado.
En otra realización de la invención, el módulo de interacción y presentación de información 160 comprende una pantalla digital táctil que le permite al usuario responder directamente al estímulo que se le esta presentado. En una modalidad de la invención, el módulo de interacción y presentación de información 160 se encuentra configurado para medir el tiempo de respuesta del usuario al estímulo.
La Figura 3 muestra un diagrama esquemático de los módulos del sistema de medición de respuestas fisiológicas de acuerdo con una modalidad de la presente invención. El módulo de integración y procesamiento 170 se encuentra configurado para recibir las señales del módulo de medición ocular 110, el módulo de medición térmica 120, el módulo de medición facial 130, el módulo de sensores 140 y el módulo de captura de señales EEG 150. Adidonalmente, se encuentra configurado para recibir la información de los estímulos presentados y las respuestas que se ingresaron en el módulo de interacción y presentación de información 160. De acuerdo a una realización, el módulo de integración y procesamiento 170 comprende circuitaje de comunicación inalámbrica. De manera preferente, el módulo de integración y procesamiento 170 se encuentra configurado para recibir la información de los demás módulos de manera simultánea.
En una modalidad preferida de la invención, el módulo de integración y procesamiento 170 está configurado para determinar el nivel de carga cognitiva y estrés relacionando las respuestas dadas por el usuario frente a los estímulos presentados por el módulo de interacción y presentación de información 160 por medio de un algoritmo seleccionado del grupo compuesto por: red neuronal, regresión logística, potenciación del gradiente de árboles (GTB), bosques aleatorios o algoritmo dicotómico.
En una modalidad, el módulo de integración y procesamiento 170 está configurado para preparar los datos de manera que se alineen los diferentes datos de cada sensor por su registro de tiempo. Adicionalmente el módulo está configurado para realizar un precálculo para cada combinación de sensor, tema de pregunta y tipo de pregunta en donde cada combinación tiene una ecuación de preparación diferente.
Cada ecuación de preparación puede tener factores que resultan de la revisión experimental de los datos, por ejemplo: Eliminación de 0, valor promedio del canal en esa pregunta tipo/tema. En determinados casos puede incluir una ventana de tiempo. Por ejemplo después de la respuesta ignorando los datos antes de la respuesta del usuario.
De acuerdo a una modalidad preferida, el módulo de integración y procesamiento 170 está configurado para descartar canales o asignar prioridades y mayor preferencia a unas variables específicas de las recibidas al determinar el nivel de carga cognitiva y estrés relacionado con las respuestas del usuario.
En una modalidad de la invención, el módulo de integración y procesamiento 170 está configurado para clasificar los resultados en base con varios o todos los algoritmos y presentar el rendimiento de cada uno después de una validación cruzada utilizando por medio de una curva Característica Operativa del Receptor (ROC por sus siglas en ingles) y una matriz de confusión. En una modalidad preferida de la invención, el módulo de interacción y presentación de información 160 es un computador personal. De acuerdo a otra realización de la invención, el módulo de integración y procesamiento 170 también es un computador. De manera preferente, los módulos de interacción y presentación de información 160 y de integración y procesamiento 170 se integran en el mismo computador. En otra modalidad, los módulos de interacción y presentación de información 160 y de integración y procesamiento 170 se integran en un dispositivo tipo tableta.
La Figura 4 muestra un diagrama esquemático de los módulos del sistema de medición de respuestas fisiológicas de acuerdo con otra modalidad de la presente invención. En dicha modalidad, el sistema además comprende un módulo de transmisión 190 que transmite la información recolectada a un servidor en otra ubicación 191. De manera opcional, el servidor en otra ubicación 191 está configurado para determinar el nivel de carga cognitiva y estrés con base en un algoritmo seleccionado del grupo compuesto por: red neuronal, regresión logística, potenciación del gradiente de árboles (GTB), bosques aleatorios o algoritmo dicotómico. De acuerdo a una modalidad preferida de la invención, el módulo de transmisión 190 se integra en el mismo computador que los módulos de interacción y presentación de información 160 y de integración y procesamiento 170. De acuerdo a una modalidad preferida, el servidor en otra ubicación 191 está configurado para descartar canales o asignar prioridades y mayor preferencia a unas variables específicas de las recibidas al determinar el nivel de carga cognitiva y estrés relacionado con las respuestas del usuario.
En una modalidad de la invención, el servidor en otra ubicación 191 está configurado para clasificar los resultados en base con varios o todos los algoritmos y presentar el rendimiento de cada uno después de una validación cruzada utilizando por medio de una curva Característica Operativa del Receptor (ROC por sus siglas en ingles) y una matriz de confusión.
Otro aspecto de la invención se relaciona con métodos de medición de respuestas fisiológicas causadas por carga cognitiva y estrés. La Figura 5 muestra un diagrama de flujo del método de medición de respuestas fisiológicas de acuerdo con una modalidad de la presente invención que incluye las etapas de: a) proporcionar estímulos al usuario en un módulo de interacción y presentación de información 160, en donde los estímulos al usuario pueden ser estímulos visuales tipo texto, tipo imagen sin texto, tipo auditivos o combinaciones de los mismos; b) medir el movimiento ocular, la frecuencia de parpadeo y cambios en la dilatación de la pupila por medio de una cámara de video; c) medir los cambios de temperatura de la cara y el ritmo respiratorio de un usuario por medio de una cámara infrarroja; d) medir cambios en puntos faciales del usuario por medio de una segunda cámara de video; e) medir la temperatura de la piel, el ritmo cardiaco, la variación de ritmo cardiaco, los cambios en la conductividad de la piel y/o los movimientos de la mano del usuario por medio de un módulo de sensores en contacto directo con la piel; f) medir cambios en la información de electrodos de electroencefalografía (EEG); g) correlacionar la información fisiológica obtenida en los pasos anteriores con los diferentes tipos de estímulo proporcionados y h) determinar el nivel de carga cognitiva y estrés del usuario en respuesta a los diferentes tipos de estímulo para calcular una probabilidad de engaño de las respuestas conscientes. En una modalidad de la invención, la etapa a) proporciona estímulos de diferentes tipos como visuales tipo texto, tipo imagen sin texto, tipo auditivos o combinaciones de los mismos y sobre diferentes temas, en donde los temas pueden ser temas relevantes, temas relevantes sobre los que se tiene certeza de honestidad, temas relevantes en donde se dan instrucciones de mentir o temas neutrales que imprimen carga cognitiva como operaciones matemáticas o acertijos.
De acuerdo a una realización de la invención, el módulo de interacción y presentación de información 160 esta configurado para mostrar otro estímulo en tres configuraciones diferentes. El módulo de interacción y presentación de información 160 puede mostrar otro estímulo cuando el usuario responde activamente a un estímulo, solamente cuando se cumple un tiempo determinado o cuando se cumple un tiempo determinado si no hay respuesta.
En una modalidad, el método puede incluir una etapa de preparación de datos en donde se alinean los diferentes datos de cada sensor por su registro de tiempo. Adicionalmente esta etapa puede contener un precálculo para cada combinación de sensor, tema de pregunta y tipo de pregunta en donde cada combinación tiene una ecuación de preparación diferente.
Cada ecuación de preparación puede tener factores que resultan de la revisión experimental de los datos, por ejemplo: Eliminación de 0, valor promedio del canal en esa pregunta tipo/tema. En determinados casos puede incluir una ventana de tiempo. Por ejemplo después de la respuesta ignorando los datos antes de la respuesta del usuario.
De manera preferente, la etapa g) se realiza en el módulo de integración y procesamiento 170 y estese encuentra configurado para recibir la información de los demás módulos de manera simultánea. En una modalidad de la presente invención, la etapa h) se realiza en el módulo de integración y procesamiento 170 cuando está configurado para determinar el nivel de carga cognitiva y estrés relacionando las respuestas dadas por el usuario frente a los estímulos presentados por el módulo de interacción y presentación de información 160 por medio de un algoritmo seleccionado del grupo compuesto por: red neuronal, regresión logística, potenciación del gradiente de árboles (GTB), bosques aleatorios o algoritmo dicotómico.
En una modalidad de la invención, el módulo de integración y procesamiento 170 puede clasificar los resultados en base con varios o todos los algoritmos y presentar el rendimiento de cada uno después de una validación cruzada utilizando por medio de una curva Característica Operativa del Receptor (ROC por sus siglas en ingles) y una matriz de confusión.
De acuerdo a una modalidad preferida, el módulo de integración y procesamiento 170 puede descartar canales o asignar prioridades y mayor preferencia a unas variables específicas de las recibidas al determinar el nivel de carga cognitiva y estrés relacionado con las respuestas del usuario.
La Figura 6 muestra un diagrama de flujo del método de medición de respuestas fisiológicas de acuerdo con otra modalidad de la presente invención. En esta modalidad preferida de la invención, el método de medición de respuestas fisiológicas de un usuario causadas por carga cognitiva y estrés de la Reivindicación también comprende i) transmitir la información recolectada a un servidor en otra ubicación 191 para su procesamiento. Además puede además comprender la etapa de j) clasificar, en el servidor en otra ubicación 191, los resultados con base en un algoritmo seleccionado del grupo compuesto por: red neuronal, regresión logística, Potenciación del gradiente de árboles (GTB), bosques aleatorios o algoritmo dicotómico. En una modalidad de la invención, el servidor en otra ubicación 191 puede clasificar los resultados en base con varios o todos los algoritmos y presentar el rendimiento de cada uno después de una validación cruzada utilizando por medio de una curva Característica Operativa del Receptor (ROC por sus siglas en ingles) y una matriz de confusión.
De acuerdo a una modalidad preferida, el servidor en otra ubicación 191 puede descartar canales o asignar prioridades y mayor preferencia a unas variables específicas de las recibidas al determinar el nivel de carga cognitiva y estrés relacionado con las respuestas del usuario.
Las modalidades aquí reveladas ejemplifican la invención, la cual no está limitada a dichas realizaciones, y su alcance puede incluir variaciones y modificaciones obvias de dichas modalidades.
EJEMPLO 1
El sistema de la presente invención puede combinar diferentes tipos de estímulos y priorizar diferentes cambios en variables fisiológicas. Por ejemplo, el sistema puede combinar 5 tipos diferentes condiciones:
ESTÍMULOS VARIABLES PRIORIZADAS
Figure imgf000018_0001

Claims

REIVINDICACIONES
1. Un sistema de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés caracterizado porque comprende:
un módulo de medición ocular 110 que contiene una cámara de video y leds infrarrojos orientados hacia las pupilas del usuario 101, el módulo de medición ocular 110 configurado para:
determinar cambios en la dilatación de las pupilas,
determinar la frecuencia de parpadeo, y
determinar la trayectoria ocular de las pupilas;
un módulo de medición térmica 120 que contiene una cámara infrarroja dispuesta para realizar mediciones de cambios de temperatura de la cara del usuario y del ritmo respiratorio del usuario 101;
un módulo de medición facial 130 que contiene una cámara que detecta cambios de posición en puntos faciales del usuario 101;
un módulo de sensores 140 que incluye sensores seleccionados del grupo que comprende: sensores de ritmo cardiaco, sensores de conductividad en la piel, sensores de movimiento, y sensores de temperatura;
un módulo de captura de señales de electroencefalografía (EEG) 150;
un módulo de interacción y presentación de información 160 configurado para proporcionar un estímulo al usuario 101 y registrar una respuesta consciente del usuario 101;
un módulo de integración y procesamiento 170 configurado para recibir las señales del módulo de medición ocular 110, el módulo de medición térmica 120, el módulo de medición facial 130, el módulo de sensores 140 y el módulo de captura de señales EEG 150;
en donde el sistema 100 determina cambios en variables fisiológicas del usuario asociados a estrés y carga cognitiva en respuesta al estímulo generado por el módulo de interacción y presentación de información 160 para calcular una probabilidad de engaño en las respuestas conscientes.
2. El sistema de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés de la Reivindicación 1, caracterizado porque el módulo de integración y procesamiento 170 está configurado para determinar el nivel de carga cognitiva y estrés con base en un algoritmo seleccionado del grupo compuesto por: red neuronal, regresión logística, potenciación del gradiente de árboles (GTB), bosques aleatorios o algoritmo dicotómico.
3. El sistema de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés de la Reivindicación 1, caracterizado porque además incluye un soporte para mentón 180 en el cual el usuario 101 reposa el mentón de manera que su cara quede frente a al módulo de medición ocular 110.
4. El sistema de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés de la Reivindicación 2, caracterizado porque el módulo de medición térmica 120 está fijo al soporte para mentón 180.
5. El sistema de medición de respuestas fisiológicas 100 de un usuario causadas por carga cognitiva y estrés de la Reivindicación 1, caracterizado porque el módulo de captura de señales de electroencefalografía (EEG) 150 comprende al menos 4 electrodos.
6. El sistema de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés de la Reivindicación 1, caracterizado porque el módulo de medición ocular 110 está fijo al módulo de interacción y presentación de información 160 y frente la cara del usuario 101.
7. El sistema de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés de la Reivindicación 5, caracterizado porque la cámara del módulo de medición ocular 110 captura cien o más cuadros por segundo.
8. El sistema de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés de la Reivindicación 1, caracterizado porque el módulo de interacción y presentación de información 160 comprende una pantalla digital táctil.
9. El sistema de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés de la Reivindicación 1, caracterizado porque el módulo de sensores 140 comprende un sensor de fotopletismografía (PPG) con un emisor con una longitud de onda entre 480 nm y 540 nm que detecta cambios en el volumen de sangre pulsado para calcular la variación de ritmo cardiaco (HRV) del usuario.
10. El sistema de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés de la Reivindicación 9, caracterizado porque el módulo de sensores 140 comprende además un acelerómetro de 3 ejes.
11. El sistema de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés de la Reivindicación 1, caracterizado porque la información de temperatura detectada por el módulo de sensores 140 y la información de temperatura detectada por la cámara infrarroja del módulo de medición térmica 120 se utilizan en conjunto para mejorar la detección de cambios de temperatura del usuario.
12. El sistema de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés de la Reivindicación 1, caracterizado porque además comprende un módulo de transmisión 190 que transmite la información recolectada a un servidor en otra ubicación 191.
13. El sistema de medición de respuestas fisiológicas 100 causadas por carga cognitiva y estrés de la Reivindicación 12, caracterizado porque el servidor en otra ubicación 191 está configurado para determinar el nivel de carga cognitiva y estrés con base en un algoritmo seleccionado del grupo compuesto por: red neuronal, regresión logística, potenciación del gradiente de árboles (GTB), bosques aleatorios o algoritmo dicotómico.
14. Un método de medición de respuestas fisiológicas causadas por carga cognitiva y estrés caracterizado porque comprende:
a. proporcionar estímulos al usuario 101 en un módulo de interacción y presentación de información 160, en donde los estímulos al usuario se seleccionan del grupo que comprende: estímulos visuales tipo texto, tipo imagen sin texto, tipo auditivos o combinaciones de los mismos;
b. medir el movimiento ocular, la frecuencia de parpadeo y cambios en la dilatación de la pupila por medio de una cámara de video;
c. medir los cambios de temperatura de la cara y el ritmo respiratorio de un usuario por medio de una cámara infrarroja;
d. medir cambios en puntos faciales del usuario por medio de una segunda cámara de video;
e. medir la temperatura de la piel, el ritmo cardiaco, la variación de ritmo cardiaco, los cambios en la conductividad de la piel y los movimientos de la mano del usuario por medio de un módulo de sensores 140 en contacto directo con la piel;
f. medir cambios en la información de electrodos de electroencefalografía (EEG)
150;
g. correlacionar la información fisiológica obtenida en los pasos b, c, d, e, y f con los diferentes tipos de estímulo proporcionados;
h. determinar el nivel de carga cognitiva y estrés del usuario en respuesta a los diferentes tipos de estímulo para calcular una probabilidad de engaño de las respuestas conscientes.
15. El método de medición de respuestas fisiológicas causadas por carga cognitiva y estrés de la Reivindicación 14, caracterizado porque los estímulos se seleccionan del grupo compuesto por: estímulos relevantes al tema de interés, estímulos comparativos no relevantes a la prueba y estímulos neutrales.
16. El método de medición de respuestas fisiológicas causadas por carga cognitiva y estrés de la Reivindicación 14, caracterizado porque además comprende: i. transmitir la información recolectada a un servidor en otra ubicación 191 para su procesamiento.
17. El método de medición de respuestas fisiológicas causadas por carga cognitiva y estrés de la Reivindicación 16, caracterizado porque además comprende: j. clasificar, en el servidor en otra ubicación 191, los resultados con base en un algoritmo seleccionado del grupo compuesto por: red neuronal, regresión logística, Potenciación del gradiente de árboles (GTB), bosques aleatorios o algoritmo dicotómico.
PCT/IB2020/055144 2019-06-05 2020-05-29 Sistema y método para prueba multimodal de engaño calificado por aprendizaje de maquina WO2020245717A1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PE2021002023A PE20220293A1 (es) 2019-06-05 2020-05-29 Sistema y metodo para prueba multimodal de engano calificado por aprendizaje de maquina
MX2021014958A MX2021014958A (es) 2019-06-05 2020-05-29 Sistema y metodo para prueba multimodal de enga?o calificado por aprendizaje de maquina.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CONC2019/0005899 2019-06-05
CONC2019/0005899A CO2019005899A1 (es) 2019-06-05 2019-06-05 Sistema y método para prueba multimodal de engaño calificado por aprendizaje de maquina

Publications (1)

Publication Number Publication Date
WO2020245717A1 true WO2020245717A1 (es) 2020-12-10

Family

ID=66822305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2020/055144 WO2020245717A1 (es) 2019-06-05 2020-05-29 Sistema y método para prueba multimodal de engaño calificado por aprendizaje de maquina

Country Status (5)

Country Link
US (1) US11607160B2 (es)
CO (1) CO2019005899A1 (es)
MX (1) MX2021014958A (es)
PE (1) PE20220293A1 (es)
WO (1) WO2020245717A1 (es)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11298062B2 (en) * 2017-02-01 2022-04-12 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
US11158060B2 (en) 2017-02-01 2021-10-26 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11176675B2 (en) 2017-02-01 2021-11-16 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11950883B2 (en) * 2020-03-06 2024-04-09 Uab Diabetis System, method, and apparatus for temperature asymmetry measurement of body parts
US20210298635A1 (en) * 2020-03-26 2021-09-30 Covidien Lp Systems and methods for sedation-level monitoring
US20210369162A1 (en) * 2020-06-02 2021-12-02 Converus, Inc. Oculomotor based deception detection using audio multi-issue comparison testing
US11950909B2 (en) 2021-07-28 2024-04-09 Gmeci, Llc Apparatuses and methods for individualized polygraph testing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5771261A (en) * 1995-09-13 1998-06-23 Anbar; Michael Telethermometric psychological evaluation by monitoring of changes in skin perfusion induced by the autonomic nervous system
US20050054935A1 (en) * 2003-09-08 2005-03-10 Rice Robert R. Hyper-spectral means and method for detection of stress and emotion
US7111980B2 (en) * 2001-04-19 2006-09-26 Honeywell International Inc. System and method using thermal image analysis and slope threshold classification for polygraph testing
WO2016073812A1 (en) * 2014-11-07 2016-05-12 Emtee Associates, L.P. Systems and methods for detecting truth utilizing biologic data
US20190269328A1 (en) * 2018-03-01 2019-09-05 Polyvagal Science LLC Systems and Methods for Modulating Physiological State

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150969A (en) * 1990-03-12 1992-09-29 Ivac Corporation System and method for temperature determination and calibration in a biomedical probe
US7027621B1 (en) 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US20030120140A1 (en) 2001-03-23 2003-06-26 Bango Joseph J. Polygraph utilizing medical imaging
EP1424936A2 (en) 2001-08-07 2004-06-09 Lawrence Farwell Method for psychophysiological detection of deception through brain function analysis
US20040143170A1 (en) 2002-12-20 2004-07-22 Durousseau Donald R. Intelligent deception verification system
EP1758714A4 (en) 2004-06-14 2009-03-11 Cephos Corp QUESTION AND CONTROL PARADIGMS FOR THE DETECTION OF MISSING BY MEASURING BRAIN ACTIVITY
US7138905B2 (en) 2004-11-18 2006-11-21 Honeywell International Inc. Controlled environment thermal image detection system and methods regarding same
US20080260212A1 (en) 2007-01-12 2008-10-23 Moskal Michael D System for indicating deceit and verity
US8512240B1 (en) * 2007-11-14 2013-08-20 Medasense Biometrics Ltd. System and method for pain monitoring using a multidimensional analysis of physiological signals
US20100324454A1 (en) 2009-06-22 2010-12-23 Kircher John C Deception detection using oculomotor movements
US10869626B2 (en) * 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US20140371549A1 (en) 2011-10-31 2014-12-18 Eyal YAFFE-ERMOZA Polygraph
WO2014138925A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
WO2015116905A1 (en) 2014-01-31 2015-08-06 Arizona Board Of Regents For The University Of Arizona Fraudulent application detection system and method of use
WO2015191809A1 (en) 2014-06-11 2015-12-17 Dignity Health Systems and methods for non-intrusive deception detection
SG11201701018PA (en) * 2014-08-10 2017-03-30 Autonomix Medical Inc Ans assessment systems, kits, and methods
CN104644187B (zh) 2015-01-16 2017-06-09 广微科技集团有限公司 一种基于红外热像仪的测谎方法和系统
US10368792B2 (en) 2015-06-02 2019-08-06 The Charles Stark Draper Laboratory Inc. Method for detecting deception and predicting interviewer accuracy in investigative interviewing using interviewer, interviewee and dyadic physiological and behavioral measurements
US10113913B2 (en) 2015-10-03 2018-10-30 Facense Ltd. Systems for collecting thermal measurements of the face
US10159411B2 (en) 2015-06-14 2018-12-25 Facense Ltd. Detecting irregular physiological responses during exposure to sensitive data
EP3332322A4 (en) * 2015-08-06 2018-08-22 Avishai Abrahami Cognitive state alteration system integrating multiple feedback technologies
CN105105738A (zh) 2015-09-30 2015-12-02 宇龙计算机通信科技(深圳)有限公司 信息处理方法、装置及电子设备
CN109069072B (zh) 2016-02-08 2021-11-30 纽洛斯公司 欺骗检测系统和方法
US20180160959A1 (en) 2016-12-12 2018-06-14 Timothy James Wilde Modular electronic lie and emotion detection systems, methods, and devices
CN106667506B (zh) 2016-12-21 2019-11-01 上海与德信息技术有限公司 一种基于皮肤电反应和瞳孔变化的测谎方法及装置
US20180365784A1 (en) * 2017-05-19 2018-12-20 Converus, Inc. Methods and systems for detection of faked identity using unexpected questions and computer input dynamics
CN107280692A (zh) 2017-06-20 2017-10-24 淮阴师范学院 一种非接触式红外心跳测慌仪
CN107669282A (zh) 2017-11-19 2018-02-09 济源维恩科技开发有限公司 基于面部识别的测谎仪
US10489639B2 (en) * 2018-02-12 2019-11-26 Avodah Labs, Inc. Automated sign language translation and communication using multiple input and output modalities
GB2571147B (en) * 2018-06-13 2020-03-25 Braintrain2020 Ltd Apparatus for sensing
US11589776B2 (en) * 2018-11-06 2023-02-28 The Regents Of The University Of Colorado Non-contact breathing activity monitoring and analyzing through thermal and CO2 imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5771261A (en) * 1995-09-13 1998-06-23 Anbar; Michael Telethermometric psychological evaluation by monitoring of changes in skin perfusion induced by the autonomic nervous system
US7111980B2 (en) * 2001-04-19 2006-09-26 Honeywell International Inc. System and method using thermal image analysis and slope threshold classification for polygraph testing
US20050054935A1 (en) * 2003-09-08 2005-03-10 Rice Robert R. Hyper-spectral means and method for detection of stress and emotion
WO2016073812A1 (en) * 2014-11-07 2016-05-12 Emtee Associates, L.P. Systems and methods for detecting truth utilizing biologic data
US20190269328A1 (en) * 2018-03-01 2019-09-05 Polyvagal Science LLC Systems and Methods for Modulating Physiological State

Also Published As

Publication number Publication date
MX2021014958A (es) 2022-01-24
PE20220293A1 (es) 2022-03-07
CO2019005899A1 (es) 2019-06-19
US20200383621A1 (en) 2020-12-10
US11607160B2 (en) 2023-03-21

Similar Documents

Publication Publication Date Title
WO2020245717A1 (es) Sistema y método para prueba multimodal de engaño calificado por aprendizaje de maquina
US11154203B2 (en) Detecting fever from images and temperatures
US10791938B2 (en) Smartglasses for detecting congestive heart failure
US10113913B2 (en) Systems for collecting thermal measurements of the face
RU2395228C2 (ru) Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения
AU2014225626B2 (en) Form factors for the multi-modal physiological assessment of brain health
US11986273B2 (en) Detecting alcohol intoxication from video images
US10039445B1 (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
KR101711093B1 (ko) 치매의 자가 조기 진단 및 훈련을 위한 안구 운동 및 지각 기능 기반 가상현실 시스템
Kanoh et al. Development of an eyewear to measure eye and body movements
US20130150684A1 (en) System and Method for Detecting, Recording, and Treating Persons with Traumatic Brain Injury
US10638938B1 (en) Eyeglasses to detect abnormal medical events including stroke and migraine
US20110077548A1 (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP2020524530A (ja) 神経機能状態を監視するためのデバイス、システム、および方法
KR102366251B1 (ko) 챗봇 문진을 이용한 신체 검진 방법 및 시스템
US20210369161A1 (en) System and method for detection and continuous monitoring of neurological condition of a user
WO2018232538A1 (es) Sistema y metodo para prevenir actos terroristas basados en evaluaciones psicometricas, de los sentidos, de reflejos y fisiológicas
EP3679857A1 (en) A device monitoring the examined person's behaviour during the diagnosis
Logeshwari et al. Deep Learning Era for Computer Vision-Based Eye Gaze Tracking: An Intensive Model
WO2023192470A1 (en) Eeg-guided spatial neglect detection system and detection method employing same
IT202000016252A1 (it) Sistema di valutazione dell’incidenza territoriale di sintomatologie
ES2957419A1 (es) Sistema y método de detección en tiempo real de estados emocionales mediante visión artificial y escucha del lenguaje natural
WO2019043475A2 (en) DEVICES AND METHODS FOR USE IN THE DIAGNOSIS OF MEDICAL DISEASE

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20819449

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20819449

Country of ref document: EP

Kind code of ref document: A1