WO2021122900A1 - Procede et dispositif d'aide au suivi des etats cognitifs d'un individu - Google Patents

Procede et dispositif d'aide au suivi des etats cognitifs d'un individu Download PDF

Info

Publication number
WO2021122900A1
WO2021122900A1 PCT/EP2020/086653 EP2020086653W WO2021122900A1 WO 2021122900 A1 WO2021122900 A1 WO 2021122900A1 EP 2020086653 W EP2020086653 W EP 2020086653W WO 2021122900 A1 WO2021122900 A1 WO 2021122900A1
Authority
WO
WIPO (PCT)
Prior art keywords
operator
individual
mission
states
analysis
Prior art date
Application number
PCT/EP2020/086653
Other languages
English (en)
Inventor
Pierre-Paul Vidal
Pascal PEYRONNET
Dimitri KERIVEN
Original Assignee
Thales
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales filed Critical Thales
Priority to AU2020407832A priority Critical patent/AU2020407832A1/en
Priority to EP20835760.8A priority patent/EP4078609A1/fr
Publication of WO2021122900A1 publication Critical patent/WO2021122900A1/fr

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/0015—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems
    • B64D45/0051—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems by monitoring passengers or crew on aircraft

Definitions

  • the field of operation of the invention is also that of the continuous training of the operator, the latter being adapted according to the needs of the operator revealed by the restitution of the personal assistant and quantified during the missions and putting it into perspective with data from the common knowledge base.
  • the interpersonal conformity analysis step comprises a step consisting in comparing data characterizing the individual instantaneous state of the operator with data recorded in a register of collective reference states for a plurality of operators, said data being associated with the characterization of the physiological state and the contextualized cognitive state of the plurality of operators during missions similar to the current mission.
  • the method further comprises after the restitution step, a step of transmitting the results of the analysis steps to external systems.
  • FIG.3 an architecture of the device of the invention according to an alternative embodiment
  • FIG. 1 shows a general environment making it possible to implement the device of the invention 100. Although not illustrated so as not to be considered as a limitation, the description of an embodiment is made for an aeronautical environment . However, a person skilled in the art can apply the principles described to any other environment mentioned above such as industry and rail or road transport, the fields of safety, the fields of process control, etc.
  • An operator 102 operates in an environment during simulation training or a real mission, illustrated by a platform 104.
  • the operated platform is a complex system operated by the operator such as for example an aircraft (or a vehicle or a control post, ...) from which it is possible to retrieve context information on the current mission, on the state of the complex system and on the environmental situation (in the aeronautical context: weather conditions, air traffic conditions, etc.).
  • the contextualization component 108 comprises means for receiving context data from the platform 104 and for providing information, contextualization parameters.
  • Context data can include flight data such as: route, altitude, speed, acceleration, attitude and envelope.
  • aircraft parameters can be taken into account, such as: date of the last maintenance, in-flight events, etc.
  • the contextualization component is configured to take into account external data such as weather conditions.
  • the contextualization component 108 comprises means for analyzing the information received and extracting elements of interest (such as for example the force, the orientation of the wind) characteristic of a sequence during the game (a sequence being a particular moment like for example the landing) and operational elements (as for example in the case of the landing of an aircraft: how did the operator operate the action?; what is the attitude of the aircraft, its speed, inclination, what actions on the pedals, etc.) in relation to the behavior of the operator.
  • the device makes it possible to segment a flight into relevant flight phases (restriction of the sequence in the time domain), and to segment the analysis of the actions of the operator (restriction in the operational domain).
  • the contextualization component 108 also takes into account the oral communications made by the operator with the other actors of the mission, and identifies key moments transmitted or received by the operator, such as announcements of heading, speed reference. or altitude.
  • the information from the contextualization component 108 and from the operator individual instantaneous state component 110 are processed by the operator state analysis component 112 which also receives information on individual and collective reference states from the component d 'reference states 1 / C 114, in order to deliver information resulting from the analysis.
  • the theoretical reference state register 114-3 also proceeds from a knowledge base which records and makes available a characterization of the state of the art and of the technical and operational constraints associated with the field concerned. This base of theoretical reference states also constitutes a structured memorization of the various procedures and operating envelopes authorized according to the context and the situation.
  • the analysis made by the operator state analysis component 112 takes into account the individual reference states, the collective reference states and the theoretical reference states, as received. by the base of reference states 114.
  • the I / C reference state component 114 includes records of two types of reference states: individual reference states of operator 114-1 and collective reference states of a plurality of reference states. operators 114-2.
  • the register of individual reference states of the operator 114-1 comprises significant data associated with the characterization of the physiological state and the contextualized cognitive state of an operator, and constitutes a knowledge base of previously recorded data.
  • This database constitutes a structured memorization of the operator's experiences during his previous missions.
  • the structuring of the individual reference register associates the physiological state and the cognitive states of the operator with a contextual situation encountered during a recorded sequence, and presents data structured in triads "Physiological State - Cognitive States - Contextual Situation" associated with the current sequence representative of the behavior of the operator.
  • various services are likely to be offered, such as, for example: information and indicators on the instantaneous physiological state; information on the (intra-individual) comparison of the instantaneous physiological state with the history under the same conditions; alerts on intrinsically abnormal physiological states (incapacity, hypovigilance, signs of falling asleep, etc.) or alerts on contextual situations requiring established physiological states that are not observed (vigilance, wakefulness, etc.); recommendations for action on the various aspects associated with physiological states (for example, if there are signs of falling asleep, recommendation for rest); recommendations for action on various aspects associated with both physiological states and operational situations (for example, recommendation of training or training on certain aspects or on certain operational phases); indications of actions to be carried out if a procedure which was to be initiated is not, or if the physiological state of the operator is divergent, or if the operator encounters a problem that he does not have the habit of solving (for example, reminder of the landing procedure in civil aviation, or advice
  • FIG. 3 illustrates an alternative embodiment of the device of the invention according to FIG. 2 in which the state analysis component 112 comprises or is coupled to a component 302 for selecting instantaneous states making it possible to select from among l 'set of instantaneous states, a subset of instantaneous states to be addressed directly to second comparator 214 in addition to the output of first comparator 212.
  • the method makes it possible to determine, from the operational data, the contextualization parameters of the mission (step 404), and from the data specific to the operator, an individual operator instantaneous state (step 406).
  • a next step 410 the method makes it possible to determine whether the results of the intra-personal analysis should or should not generate an alert signifying that the instantaneous state of the operator during the mission is not or at contrary is or remains in acceptable conformity with its own individual reference states. If there is no alert generated, the process allows 411 to capitalize on the analysis performed. If the operator states are such that an alert is to be generated, the method continues to the next step 412 to perform interpersonal analysis 412 from the individual operator state to collective, collected reference states. previously and recorded in a database of collective operator reference reports 114-2.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Molecular Biology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Educational Technology (AREA)
  • Pulmonology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Debugging And Monitoring (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Electrotherapy Devices (AREA)

Abstract

Il est écrit un dispositif et un procédé mis en oeuvre par ordinateur, d'aide au suivi des états d'un individu opérant sur un système complexe pendant une mission. Le dispositif est configuré pour collecter régulièrement pendant la mission, des données relatives à l'état du système complexe et de son environnement, des données relatives au contexte de la mission, des données physiologiques relatives à l'opérateur, et des données relatives aux tâches effectuées par l'opérateur, notamment les tâches de manipulation, d'observation, de communication; déterminer à partir des données collectées des paramètres de contextualisation et un état instantané individuel de l'opérateur; faire une analyse de conformité intra-personnelle par rapport à ses propres états de référence individuels antérieurs, à partir des paramètres de contextualisation et de l'état instantané individuel de l'opérateur; faire une analyse de conformité interpersonnelle par rapport à des états de référence collectifs antérieurs, à partir des résultats de l'analyse de conformité intra-personnelle; et restituer les résultats des analyses. Le dispositif peut par ailleurs être configurer pour faire une analyse de conformité théorique des tâches effectuées par rapport aux règles théoriques de tâches à exécuter ou de procédures à réaliser.

Description

DESCRIPTION
Titre de l’invention : PROCEDE ET DISPOSITIF D’AIDE AU SUIVI DES ETATS COGNITIFS D’UN INDIVIDU
[0001] L’invention concerne le domaine général des systèmes d’aide au suivi des états d’individus, et propose en particulier un procédé et un dispositif permettant de faire un suivi individuel longitudinal et contextualisé des états cognitifs des individus.
[0002] L’invention couvre ainsi plusieurs domaines que sont la psychophysique, la neurophysiologie et l’analyse des comportements cognitifs. Elle vise à résoudre au moins le problème technique de comparer l’état psychophysique et physiologique d’un individu sain à un instant donné, i.e. ses états sur un plan cognitif ou états cognitifs couvrant sans limitation ses états de vigilance, de fatigue, de somnolence, à un instant donné, à ces mêmes états cognitifs obtenus dans des contextes proches, voire similaires.
[0003] L’invention adresse aussi un problème technique connexe et sous-jacent qui est de construire une modélisation individualisée des états cognitifs d’un individu sain.
[0004] Dans la présente description, les termes suivants ont pour définition :
- Opérateur : individu, sujet, personne, humain en charge d’opérer (i.e. piloter, contrôler, activer) un système complexe. Il peut s’agir d’une personne unique ou d’une équipe de plusieurs membres (on parle alors d’un équipage). La complexité d’un système est également dépendante de la complexité de l’équipe (ou équipage) considérée.
- Suivi longitudinal individuel ou individualisé : suivi sur le temps long d’une ou plusieurs variables associées d’un opérateur, qu’elles soient brutes (par exemple le rythme cardiaque) ou calculées (par exemple la charge mentale).
[0005] A ce jour les états cognitifs des opérateurs sont évalués sur des aspects ayant été étudiés en laboratoire (par exemple, le cas de l’endormissement) et par rapport à des résultats moyennés, mesurés sur une cohorte de participants sains et volontaires.
[0006] Or, ces états cognitifs ne sont pas évalués par rapport aux caractéristiques intrinsèques et personnelles de ces participants, c’est-à-dire par comparaison intra- personnelle. [0007] Par ailleurs, les états cognitifs d’un individu sont évalués dans un cadre général d’une mission qui est/doit être exécutée (par exemple la conduite automobile) et non par rapport à un contexte instantané ou une situation instantanée d’une mission (par exemple, en phase de vol engagée comme le décollage ou en conduite sur autoroute, etc.).
[0008] Aussi, les solutions existantes présentent au moins les lacunes suivantes :
- Elles ne prennent pas en compte l’aspect individuel du suivi longitudinal. En procédant à des comparaisons uniquement par rapport à des normes générales acquises sur des cohortes de sujets, les solutions existantes ne tiennent pas compte du fait que le comportement d’un opérateur est très différent de celui d’un autre opérateur à mission et contexte fixés mais peut être considéré comme stable dans le temps en conditions nominales.
- Elles ne prennent pas en compte les éléments de contextualisation d’une mission : que ce soit le type de mission ou une action précise à mener à un instant donné de la mission ; à l’inverse, les solutions existantes se basent essentiellement sur des résultats généraux.
- Elles ne prennent en compte qu’une base restreinte de paramètres physiologiques et psychophysiques (certaines solutions n’utilisent que l’oculométrie ou seulement le rythme cardiaque), ne permettant pas alors d’aboutir à un résultat réellement pertinent.
[0009] Les références suivantes proposent des approches d’évaluation des états cognitifs d’un individu qui (1) considèrent des données physiologiques de l’individu à un instant donné et ne prennent pas en compte des états de référence individuels antérieurs de l’individu ou expériences passées dans un contexte similaire, ou (2) ne prennent pas en compte dans l’évaluation des états de référence collectifs antérieurs :
(1) L’article d’Angela R. Harrivel et al. « Prédiction of Cognitive States during Flight Simulation using Multimodal Psychophysiological Sensing », AIAA INFORMATION SYSTEMS-AIAA INFOTECH@AEROSPACE, 5 janvier 2017, XP055747223, Reston, Virginia, DOI: 10.2514/6.2017-1135, ISBN: 978-1-62410-449-7.
(2) L’article de Liu Jing et al. “Cognitive pilot-aircraft interface for single-pilot operations” KNOWLEDGE-BASED SYSTEMS, ELSEVIER, AMSTERDAM, NL, vol. 112, 6 septembre 2019 (2016-09-06), pages 37-53, XP029757287, ISSN: 0950-7051, DOI: 10.1016/J.KNOSYS.20160.8.031 , dans les sections “2.2 Conceptual working process” et “2.3. CPAI functionalities”.
[0010] Or, parmi les états cognitifs qui ont un intérêt majeur dans de nombreux domaines qui s’intéressent au suivi du comportement de l’individu, il y a la charge mentale, la vigilance et le style perceptivo-moteur. Le style perceptivo-moteur définit la façon dont un sujet interprète et combine ses entrées sensorielles que sont les informations visuelles, vestibulaires et proprioceptives pour générer un comportement moteur adapté. Cette intégration des signaux perceptifs, au même titre que la charge mentale et la vigilance, a une grande variabilité inter-individuelle, et c’est ce qui constitue le problème technique de construire une modélisation efficace individualisée des états cognitifs d’un individu sain. Par contre, tout comme le comportement, l’intégration des signaux perceptifs peut être considéré comme stable dans le temps en conditions nominales.
[0011 ] Aussi, un objet de l’invention est de répondre aux besoins précités et de pallier les inconvénients des techniques existantes.
[0012] L’invention propose une solution basée sur le suivi longitudinal et contextualisé d’un opérateur (permettant d’acquérir une connaissance personnalisée de ce dernier) grâce à l’interaction de plusieurs composants : un composant individuel dit « Assistant Personnel Opérateur » ou (APO) qui intègre des données personnelles de l’opérateur ; une base de données opérateurs anonymisée ;
- une base de procédures de référence, traduisant l’état de l’art des procédures et leurs contraintes imposées (par exemple : un manuel de référence, des procédures normales, des procédures d’urgence dans le domaine aéronautique, ou encore un recueil de jurisprudence dans le domaine judiciaire).
[0013] Plusieurs aspects contribuent à la mise en oeuvre de l’invention, que sont au moins :
- une modélisation du style perceptivo-moteur ;
- un suivi physiologique ; et
- un suivi psychophysique. [0014] Ces différents aspects permettent que l’assistant personnel opérateur soit un dispositif capable d’une part d’épauler un opérateur au cours de sa mission (par exemple lors de situations difficiles ou peu souvent rencontrées), et d’autre part d’accompagner l’opérateur en dehors de sa mission. Un exemple d’accompagnement hors mission peut être par exemple, d’orienter la formation continue de l’opérateur en fonction des observations réalisées pendant la mission, et restituées par l’APO. Un autre usage peut être de rejouer en simulateur le scénario d’une mission en l’adaptant en fonction des situations et des réactions survenues au cours de ladite mission, et restituées par ARO. L’assistant pourra être utilisé pour optimiser le bien-être ou « well being » de l’opérateur en proposant, par exemple des horaires veille/sommeil, des repas, des contenus de repas, des épisodes d’entrainement physique par exemple pour gérer un décalage horaire ou une veille très prolongée.
[0015] Enfin, à l’échelle d’un ensemble d’opérateurs (au niveau d’une compagnie ou d’un organisme par exemple), les données des assistants personnels opérateurs peuvent être anonymisées afin de créer une base de données de connaissances qui peut être un élément de comparaison et de référence pour l’assistant personnel opérateur.
[0016] Le principe général du suivi longitudinal individuel et contextualisé est que lors de chaque entraînement sur un système simulé, et de chaque mission sur un système réel, deux types de données sont enregistrées : des données physiologiques propres à l’opérateur (comme le rythme cardiaque) et des données contextuelles ou opérationnelles propres à la mission (consignes, tâches effectuées, manipulation de l’interface homme-machine, variables d’état de la machine). L’ensemble de ces données est ensuite agrégé pour fournir en temps réel une assistance personnelle, qui est propre à chaque opérateur en fonction : des variables qui décrivent la situation présente ; et des expériences passées de l’opérateur, colligées sur l’APO.
[0017] Par exemple, cette assistance fournit à l’opérateur un soutien opérationnel en cas de besoin (baisse de la vigilance, signaux de début d’endormissement, montée du niveau de la charge mentale, écart du style perceptivo-moteur, etc.) par une comparaison entre son état cognitif instantané et ses états cognitifs antérieurs dans des contextes similaires.
[0018] Un point capital, pour que l’opérateur établisse une relation de confiance avec son APO et pour répondre aux obligations légales concernant les données médicales, l’intégralité des données colligées sur l’APO et le résultat de leurs traitements par des algorithmes dédiés sont couverts par le secret médical : l’opérateur en est propriétaire et nul autre que lui ne peut les consulter sans qu’il n’ait donné son autorisation au préalable. Par contre, il ne peut les céder à un particulier ou à tout autre organisme tiers.
[0019] En parallèle, toutes les données recueillies par l‘APO sont anonymisées et agrégées au sein d’une base de données ou base de connaissances communes (BCC). Cette base de données sert de référence à l’assistant personnel opérateur pour comparer la situation de l’opérateur à un instant donné avec toutes les situations proches voire identiques (mêmes conditions, même situation opérationnelle, etc.).
[0020] De plus le processus met en oeuvre une base de connaissances théoriques (BCT) traduisant l’état de l’art et les contraintes imposées à l’opérateur dans toutes les situations proches voire identiques, i.e. mêmes conditions, même situation opérationnelle, etc., cet état de l’art étant par exemple l’ensemble des procédures à suivre dans la situation considérée.
[0021] Aussi, le processus proposé peut être décrit comme une mise en abyme de ARO grâce à la BCC et à la BCT. Cette mise en abyme permet d’évaluer le comportement actuel d’un opérateur vis-à-vis de son « enveloppe personnelle », d’une « enveloppe collective » et d’une « enveloppe théorique ». Le cas échéant l’opérateur peut se voir proposer des aides à la décision, des reconfigurations d’une interface homme-machine etc. qui sont adaptées à la situation présente.
[0022] La présente invention trouvera de nombreux domaines d’application où existe le besoin de suivre et d’accompagner des opérateurs de système complexe tout du long de leur carrière. Les domaines d’exploitation de l’invention sont les domaines d’activité dans lesquels un système complexe est contrôlé et mis en oeuvre par un ou plusieurs opérateurs. Ces domaines métiers comportent par exemple l’industrie et le transport aéronautique, ferroviaire, routier, les domaines de la sécurité, les domaines du contrôle de processus, voire les domaines médicaux, judiciaires, etc.
[0023] Un des principaux domaines sensibles à la problématique de suivi du comportement d’un opérateur, que ce soit pour des questions de sécurité ou de performance (i.e. réduction du nombre d’opérateurs pour une tâche donnée, connue selon l’anglicisme « Single Pilot Operation ») est le domaine de l’aéronautique avec la définition du concept de « système de suivi de l’équipage » ou « Crew Monitoring System » en anglais. Ce type de système a pour but de suivre le comportement de chaque membre de l’équipage et de prévenir les opérateurs eux-mêmes et le système complexe des variations du comportement de l’opérateur vis-à-vis du comportement attendu ou des variations vis-à-vis du comportement lors de missions antérieures similaires. A l’extrême, la mise en abyme de son comportement pourrait acter l’exclusion de l’opérateur de la commande du dispositif (par exemple en cas de perte de connaissance ou de pulsion suicidaire, etc.) et lui substituer un dispositif de pilotage automatique.
[0024] Le domaine d’exploitation de l’invention s’étend également à la formation des opérateurs et à la possibilité de mesurer et de suivre leur évolution au cours de leur formation, afin de vérifier leur progression dans l’apprentissage et la maîtrise de la conduite du processus dont ils ont la charge, et d’adapter la formation à leur comportement.
[0025] Le domaine d’exploitation de l’invention est également celui de la formation continue de l’opérateur, cette dernière étant adaptée en fonction des besoins de l’opérateur révélés par la restitution de l’assistant personnel et quantifiés lors des missions et sa mise en perspective avec les données de la base de connaissance commune.
[0026] Ainsi, le dispositif de l’invention dans le contexte de l’aéronautique, participe à plusieurs domaines d’innovation : le développement du cockpit du futur, le monitoring des pilotes (en vol et hors vol), le suivi physiologique et psychophysique de ces derniers ou encore la sécurité des vols et la performance de la mission.
[0027] Le dispositif proposé aborde la problématique de comment s’assurer qu’un pilote est robuste d’un point de vue opérationnel. Cette problématique est multiple et soulève plusieurs questions techniques, car il faut en effet être capable de mesurer plusieurs paramètres physiologiques de façon la moins invasive possible, d’interpréter ces signaux, de les compiler avec les données contextuelles de la mission et de produire en sortie une information pertinente qui soit opérationnellement utile pour le pilote.
[0028] Les avantages de l’invention sont multiples et situés à plusieurs niveaux. Au niveau de l’opérateur, l’assistant personnel permet un meilleur suivi de santé. En enregistrant de manière longitudinale le rythme cardiaque et le rythme respiratoire (ainsi que d’autres paramètres physiologiques), en effectuant des contrôles réguliers de l’audition, de la vision et éventuellement du nycthémère de l’opérateur, l’évolution ou l’apparition de signes cliniques mineurs sont répertoriés et traités avant la survenue de troubles caractérisés. Il s’agit donc d’une démarche préventive. Également, le suivi longitudinal individuel du système sensorimoteur permet de définir la notion de robustesse opérationnelle et de l’évaluer à intervalle régulier tout au long de la carrière de l’opérateur. Enfin, la solution proposée permet une meilleure gestion des problèmes qui peuvent survenir lors de l’accomplissement d’une mission (pannes, actions multiples à mener de façon simultanée, etc.).
[0029] Toujours avantageusement, l’agrégation des paramètres physiologiques et psychophysiques d’un opérateur permet également de modéliser individuellement en temps réel (par opposition à un temps décalé après la mission), les états cognitifs de l’opérateur (fatigue, vigilance, charge mentale). Cela permet une meilleure gestion des situations délicates lors de l’opération des systèmes complexes mis en jeu. De plus, la solution proposée qui profite au fil du temps de la capitalisation continue de sa mise en oeuvre, permet d’améliorer la robustesse des modèles de détection de l’état physiologique et cognitif de l’opérateur.
[0030] Pour obtenir les résultats recherchés, il est proposé un procédé mis en oeuvre par ordinateur, d’aide au suivi des états d’un individu opérant sur un système complexe pendant une mission. Le procédé comprend au moins des étapes pour : -collecter régulièrement pendant la mission, des données relatives à l’état du système complexe et de son environnement, des données relatives au contexte de la mission, et des données physiologiques relatives à l’opérateur ;
-déterminer à partir des données collectées, d’une part des paramètres de contextualisation, et d’autre part un état instantané individuel de l’opérateur ;
-faire une analyse de conformité intra-personnelle par rapport à ses propres états de référence individuels antérieurs, à partir des paramètres de contextualisation et de l’état instantané individuel de l’opérateur ;
-faire une analyse de conformité interpersonnelle par rapport à des états de référence collectifs antérieurs, à partir des résultats de l’analyse de conformité intra- personnelle ; et
-restituer les résultats des analyses.
Selon des modes de réalisation alternatifs ou combinés :
- l’étape d’analyse de conformité intra-personnelle comprend une étape consistant à comparer des données caractérisant l’état instantané individuel de l’opérateur à des données enregistrées dans un registre d’états de référence individuels pour ledit opérateur, les dites données étant associées à la caractérisation de l’état physiologique et de l’état cognitif contextualisés dudit opérateur.
- l’étape d’analyse de conformité interpersonnelle comprend une étape consistant à comparer des données caractérisant l’état instantané individuel de l’opérateur à des données enregistrées dans un registre d’états de référence collectifs pour une pluralité d’opérateurs, les dites données étant associées à la caractérisation de l’état physiologique et de l’état cognitif contextualisés de la pluralité d’opérateurs au cours de missions similaires à la mission en cours.
- l’étape de collecter des données consiste de plus à collecter des données représentatives de tâches effectuées par l’opérateur; et le procédé comprend de plus avant l’étape de restitution des résultats de l’analyse, une étape consistant à faire une analyse de conformité théorique par rapport à des états de référence théoriques, à partir des paramètres de contextualisation et de paramètres représentatifs des tâches opérateur ; et où lesdites étapes d’analyse de conformité intra-personnelle, de conformité interpersonnelle et de conformité théorique sont effectuées dans un quelconque ordre.
- les données de registre sont structurées en triades « Etat Physiologique - Etats Cognitifs - Situation Contextuelle » associées à la séquence en cours d’analyse.
- le procédé comprend de plus après l’étape d’analyse de conformité intra- personnelle, une étape consistant à déterminer si l’état instantané de l’opérateur en cours de mission est en conformité acceptable avec ses propres états individuels de référence ou n’est pas en conformité acceptable. - le procédé comprend de plus après l’étape d’analyse de conformité interpersonnelle, une étape consistant à déterminer si l’état instantané de l’opérateur en cours de mission est en conformité acceptable avec des états collectifs référence ou n’est pas en conformité acceptable.
- le procédé comprend de plus après l’étape de conformité théorique, une étape consistant à déterminer si la réalisation des tâches instantanées de l’opérateur en cours de mission est en conformité acceptable avec la réalisation des actions théoriques de référence ou n’est pas en conformité acceptable. Cette étape pouvant selon les cas être réalisée avant ou après les deux étapes de vérification de conformité intra-personnelle et interpersonnelle.
- le procédé comprend de plus après chaque étape d’analyse, une étape de capitalisation des résultats de chaque analyse pour enrichir les états de référence individuels et collectifs.
- l’étape de déterminer un état instantané de l’opérateur consiste à mettre en oeuvre sur les données physiologiques des modèles d’évaluation et de prédiction associés à chaque aspect physiologique.
- les modèles d’évaluation et de prédiction sont basés sur des modèles d’intelligence artificielle entraînés pour produire des états individuels instantanés.
- le procédé comprend de plus après l’étape de restitution, une étape consistant à fournir à l’opérateur via une interface adaptée, des services personnalisés selon les résultats des étapes d’analyse.
- le procédé comprend de plus après l’étape de restitution, une étape consistant à transmettre à des systèmes externes les résultats des étapes d’analyse.
[0031] L’invention couvre aussi un produit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé revendiqué, lorsque le programme est exécuté sur un ordinateur.
[0032] L’invention couvre de plus un dispositif d’aide au suivi des états d’un individu opérant sur un système complexe pendant une mission. Le dispositif comprend des moyens permettant de :
- collecter régulièrement pendant la mission, des données relatives à l’état du système complexe et de son environnement, des données relatives au contexte de la mission, et des données physiologiques relatives à l’opérateur ;
- déterminer à partir des données collectées, d’une part des paramètres de contextualisation, et d’autre part un état instantané individuel de l’opérateur ;
- faire une analyse de conformité intra-personnelle par rapport à ses propres états de référence individuels antérieurs, à partir des paramètres de contextualisation et de l’état instantané individuel de l’opérateur ;
- faire une analyse de conformité interpersonnelle par rapport à des états de référence collectifs antérieurs, à partir des résultats de l’analyse de conformité intra- personnelle ; et
- restituer les résultats des analyses.
[0033] Le dispositif de l’invention comprend de plus des moyens pour collecter pendant la mission un ensemble de données relatives aux tâches effectuées par l’opérateur, notamment les tâches de manipulation, d’observation, de communication, qui permettent de faire une analyse de conformité théorique des tâches qui sont effectuées par l’opérateur, par rapport à des règles théoriques de tâches à exécuter ou de procédures à réaliser, qui sont consignées comme un état de l’art théorique.
[0034] Le dispositif de l’invention comprend de plus d’autres moyens pour mettre en oeuvre les étapes du procédé de l’invention.
[0035] D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d’exemple et qui représentent, respectivement :
[0036] [Fig.1 ] un contexte général permettant de mettre en oeuvre le dispositif de l’invention dans un mode de réalisation ;
[0037] [Fig.2] une architecture du dispositif de l’invention selon un mode de réalisation ;
[0038] [Fig.3] une architecture du dispositif de l’invention selon une variante de réalisation ;
[0039] [Fig.4] un procédé de mise en oeuvre du dispositif de l’invention selon un mode de réalisation ;
[0040] [Fig.5] un procédé de mise en oeuvre du dispositif de l’invention selon un autre mode de réalisation ; et [0041] [Fig.6] une architecture du dispositif de l’invention selon une variante de réalisation.
[0042] La figure 1 montre un environnement général permettant de mettre en oeuvre le dispositif de l’invention 100. Bien que non illustré pour ne pas être considéré comme une limitation, la description d’un mode de réalisation est faite pour un environnement aéronautique. Cependant l’homme du métier peut appliquer les principes décrits à tout autre environnement cité précédemment tel que l’industrie et le transport ferroviaire ou routier, les domaines de la sécurité, les domaines du contrôle de processus, etc.
[0043] Un opérateur 102 évolue dans un environnement au cours d’un entrainement de simulation ou d’une mission réelle, illustré par une plateforme 104. La plateforme opérée est un système complexe opéré par l’opérateur comme par exemple un aéronef (ou un véhicule ou un poste de contrôle, ...) de laquelle il est possible de récupérer des informations de contexte sur la mission en cours, sur l’état du système complexe et sur la situation de l’environnement (dans le contexte aéronautique : conditions météorologiques, état du trafic aérien, etc). De manière non limitative, l’état du système dans le contexte de l’avionique peut être de l’information relative aux états inhérents à un fonctionnement normal, i.e. le pourcentage de puissance des moteurs, si les ailettes sont repliées ou dépliées, l’état des réservoirs de carburant, etc., et de l’information relative aux états inhérents à un fonctionnement anormal, i.e. le moteur gauche est défaillant, la pédale droite du siège copilote est défaillante, ou toute sorte de potentielle défaillance. La plateforme peut aussi fournir des informations sur les actions réalisées par l’opérateur au travers de ses IHM.
[0044] Dans un mode de réalisation, le contexte est représenté par deux éléments distincts : une tâche à effectuer par l’opérateur. Les états physiologiques et cognitifs de l’opérateur sont classés par rapport aux tâches à effectuer par l’opérateur. Les tâches peuvent être de diverses natures : procédure routinière, réaction face à un problème donné, etc. A chaque tâche correspond une signature physiologique, psychophysique et cognitive, où une signature correspond à une caractéristique identifiée dans un signal acquis et qui est propre à un opérateur donné et à une tâche donnée. Par exemple, la signature dans l’acquisition du rythme cardiaque peut être une accélération de celui-ci en situation stressante (panne, défaillance, changement d’itinéraire, fort vent lors de l’atterrissage, etc.). l’environnement dans lequel le système complexe évolue et est effectuée la tâche. L’environnement constitue une variable d’ajustement pour l’analyse de l’état opérateur : il permet d’ajuster des enveloppes des signatures sus-citées en fonction du contexte. Par exemple lorsque l’on cherche à caractériser les signatures d’un atterrissage, les éléments qui rentrent dans « environnement » seront : la météo (vent, etc.), l’aéroport d’arrivée (voire même la piste utilisée), etc.
[0045] L’environnement de l’opérateur (et/ou l’opérateur lui-même) est équipé de différents capteurs 106 permettant de relever des données physiologiques et des données de tâche ou de manipulation de l’opérateur au cours de l’entrainement ou de la mission. Les données physiologiques et manipulatoires acquises sont par exemple, sans limitation : i) le rythme cardiaque au moyen d’un bracelet cardiofréquencemètre ou d’une ceinture pectorale ; ii) le rythme respiratoire grâce à la même ceinture pectorale ou grâce à un nappe de capteurs située dans ou sur le siège ; iii) les données d’oculométrie récoltées au moyen d’une caméra située soit à distance du pilote sur le tableau de bord soit sur des lunettes portées par le pilote ; iv) la résistance cutanée au moyen de la montre cardio-fréquencemètre ou d’un bracelet dédié , v) des capteurs de mouvements portés par l’opérateur au niveau de la tête, du tronc, des membres supérieurs et inférieurs ou disposés au niveau de ses manipulandum : la vitesse et l’accélération des palonniers, du manche et des manettes, vi) l’ensemble des actions d’observation réalisées par l’opérateur et des zones regardées dans le cockpit, vii) l’ensemble des actions de manipulations réalisées par l’opérateur sur le tableau de bord et plus généralement dans le cockpit, viii) l’ensemble des communications orales effectuées par l’opérateur.
[0046] Le dispositif de l’invention 100 ou assistant personnel opérateur (APO) comprend généralement un composant de contextualisation 108, un composant d’état instantané individuel opérateur 110, un composant d’analyse d’état opérateur 112, une base ou registre d’états de référence 114, , un composant de capitalisation individuelle et collective (l/C) 116 et un composant de restitution 118.
[0047] Selon la variante de réalisation de la figure 1 , le registre d’états de référence 114, comprend une base d’états de référence individuels 114-1 et une base d’états de référence collectifs 114-2. [0048] Selon la variante de réalisation illustrée par la figure 5, le registre d’états de référence 114, comprend de plus ou est couplée à une base d’états de référence théoriques 114-3.
[0049] Le composant de contextualisation 108 comprend des moyens pour recevoir des données de contexte de la plateforme 104 et pour fournir une information, des paramètres de contextualisation. Les données de contexte peuvent comprendre des données de vol telles que : l’itinéraire, l’altitude, la vitesse, l’accélération, l’assiette et l’enveloppe. De plus, les paramètres de l’avion peuvent être pris en compte, tels que : la date de la dernière maintenance, les événements survenus en vol, etc. Avantageusement, le composant de contextualisation est configuré pour prendre en compte des données extérieures telles que les conditions météorologiques. Le composant de contextualisation 108 comprend des moyens pour analyser les informations reçues et extraire des éléments d’intérêt (comme par exemple la force, l’orientation du vent) caractéristiques d’une séquence en cours de jeu (une séquence étant un moment particulier comme par exemple l’atterrissage) et des éléments opérationnels (comme par exemple dans le cas de l’atterrissage d’aéronef : comment est-ce que l’opérateur a opéré l’action ?; quelle est l’assiette de l’appareil, sa vitesse, son inclinaison, quelles actions sur les pédales, etc.) en relation avec le comportement de l’opérateur. Dans des modes de réalisation, le dispositif permet de segmenter un vol en phases de vol pertinentes (restriction de la séquence dans le domaine temporel), et de segmenter l’analyse des actions de l’opérateur (restriction dans le domaine opérationnel). Le composant de contextualisation 108 prend également en compte les communications orales effectuées par l’opérateur avec les autres acteurs de la mission, et identifie des instants-clés émis ou reçus par l’opérateur, tels que des annonces de cap, de consigne de vitesse ou d’altitude.
[0050] Les éléments de contextualisation identifiés par le composant de contextualisation 108 sont fournis au composant d’analyse d’état opérateur 112.
Dans un mode de réalisation avantageux, les éléments de contextualisation sont aussi fournis au composant d’état instantané individuel opérateur 110 afin de renforcer la robustesse de modèles de prédiction et les rendre moins sensibles aux faux positifs.
[0051] Le composant d’état instantané individuel opérateur 110 reçoit les informations produites par les capteurs 106 afin de fournir une information sur l’état instantané de l’opérateur. Les capteurs ne sont pas uniquement physiologiques, mais ils peuvent également acquérir les actions manuelles opérées par l’opérateur, ainsi que les communications et leur analyse vocale, etc.
[0052] Le composant d’état instantané individuel opérateur 110 comprend des moyens pour traiter différents aspects physiologiques de l’opérateur, ainsi que ses observations, manipulations, communications.
[0053] Les informations issues du composant de contextualisation 108 et du composant d’état instantané individuel opérateur 110 sont traitées par le composant d’analyse d’état opérateur 112 qui reçoit aussi des informations d’états de référence individuels et collectifs du composant d’états de référence l/C 114, afin de délivrer des informations résultant de l’analyse.
[0054] Le composant d’états de référence 114 comprend deux modules : un module d’états de références individuels de l’opérateur 114-1 , un module d’états de référence collectifs 114-2. Dans une variante de réalisation illustrée par la figure 5, le composant d’états de référence 114 comprend de plus ou est couplé à un troisième module ou registre d’états de référence théoriques 114-3.
[0055] Le registre d’états de référence théorique 114-3 procède également d’une base de connaissances qui enregistre et met à disposition une caractérisation de l’état de l’art et des contraintes techniques et opérationnelles associés au domaine concerné. Cette base d’états de référence théorique constitue aussi une mémorisation structurée des différentes procédures et enveloppes de fonctionnement autorisées en fonction du contexte et de la situation.
[0056] Selon la variante de la figure 5, l’analyse faite par le composant d’analyse d’état opérateur 112 prend en compte les états de référence individuels, les états de référence collectifs et les états de référence théoriques, tels que reçus par la base d’états de référence 114.
[0057] Le composant de restitution 116 comprend des moyens pour diffuser les informations d’analyse vers des systèmes externes 120 et/ou vers des applications 122 dédiées à l’opérateur 102.
[0058] Le composant d’analyse d’état opérateur 112 fournit de plus au composant de capitalisation l/C 118, des informations résultant de l’analyse. Le composant de capitalisation l/C 118 comprend deux modules : un module de capitalisation individuelle 118-1 et un module de capitalisation collective 118-2 qui ont pour but d’enrichir les bases de connaissances individuelles et collectives du composant d’états de référence l/C 114, et de procéder à une amélioration continue des modèles de comportement et des capacités d’analyse et de discernement de ces modèles.
[0059] La figure 2 illustre une architecture du dispositif de l’invention 100 selon un mode de réalisation conforme à la figure 1. Les composants de la figure 1 dont la fonction est identique gardent les mêmes références sur les différentes figures, des variantes d’implémentation pouvant être réalisées par l’homme du métier en conservant les mêmes fonctionnalités. Ainsi il n’est décrit en détail que les éléments non décrits sur la figure 1. En particulier, le composant d’état instantané individuel opérateur 110 comprend des modèles d’évaluation et de prédiction 202 spécifiques, associés à chacun des différents aspects physiologiques 204 à évaluer, comme par exemple de manière non limitative, la sensorimotricité, l’incapacité, la vigilance, la somnolence, la charge mentale. Dans un mode de réalisation, les modèles d’évaluation et de prédiction sont basés sur des modèles d’intelligence artificielle entraînés pour produire des états individuels instantanés (états cognitifs, physiologiques, etc.) tels qu’ils devraient être si tout se passe bien (pas de panne, etc.).
[0060] Dans une variante de réalisation le composant d’état instantané individuel opérateur ne traite qu’un seul aspect physiologique.
[0061] Le composant d’états de référence l/C 114 comprend des enregistrements de deux types d’états de référence : des états de référence individuels de l’opérateur 114-1 et des états de référence collectifs d’une pluralité d’opérateurs 114-2.
[0062] Le registre d’états de référence individuels de l’opérateur 114-1 comprend des données signifiantes associées à la caractérisation de l’état physiologique et de l’état cognitif contextualisés d’un opérateur, et constitue une base de connaissance de données enregistrées antérieurement. Cette base constitue une mémorisation structurée des expériences de l’opérateur au cours de ses missions précédentes. La structuration du registre de référence individuel associe l’état physiologique et les états cognitifs de l’opérateur à une situation contextuelle rencontrée au cours d’une séquence enregistrée, et présente des données structurées en triades « Etat Physiologique - Etats Cognitifs - Situation Contextuelle » associées à la séquence en cours représentative du comportement de l’opérateur.
[0063] Le registre d’états de référence collectifs opérateurs 114-2 procède également d’une base de connaissances qui enregistre et met à disposition une caractérisation de l’état physiologique d’opérateurs contextualisé, enregistré antérieurement pour différents opérateurs. Cette base constitue aussi une mémorisation structurée des expériences d’un groupe d’opérateurs au cours de missions précédentes. La structuration des informations est en triades « Etat Physiologique - Etats Cognitifs - Situation Contextuelle », de manière équivalente à celle utilisée pour le cas individuel. Dans un mode de réalisation avantageux, un module d’anonymisation permet que les données enregistrées soient anonymisées.
[0064] Le composant d’analyse d’état opérateur 112 procède de l’analyse combinée de l’état physiologique instantané de l’opérateur qui est mesuré 110 et contextualisé 108 par les informations issues de la plateforme opérée, et de la détermination de ses états cognitifs selon les états de référence 114. Cette analyse a pour but de mesurer l’écart entre le comportement instantané et contextualisé d’un opérateur et la pratique antérieure individuelle et collective.
[0065] Le composant d’analyse d’état opérateur 112 comprend un premier comparateur 212 permettant de comparer l’état instantané et contextualisé d’un opérateur, aux états de référence individuels de l’opérateur fournis par le registre d’états de référence individuels de l’opérateur 114-1. Une comparaison individuelle- individuelle, intra-personnelle de l’opérateur est faite entre son état physiologique et ses états cognitifs individuels instantanés et ses mêmes états individuels présents dans la base de connaissance 114-1 et associés à la même situation contextuelle. Il s’agit de mesurer l’écart de comportement instantané de l’opérateur avec les comportements qu’il a produits par le passé dans des conditions similaires. Dans un mode de réalisation, une enveloppe individuelle est définie à partir de l’état de référence individuel de l’opérateur. Une enveloppe dans le cadre de l’invention, définit un champ dans lequel se situent les états à situation donnée : par exemple, si pour la charge mentale, le modèle idoine existant dans la base de modèles 202 donne une mesure comprise entre 0 et 100 (pour qualifier le taux de charge mentale), à situation donnée (par exemple : un atterrissage à Roissy Charles de Gaulle sur la piste alpha avec un vent donné et un appareil donné en parfait état de fonctionnement), l’enveloppe individuelle sera « charge mentale comprise entre 55 et 67 ».
[0066] Le premier comparateur individuel-individuel 212 délivre en sortie une information sur l’état instantané de l’opérateur. Si toutes les variables sont comprises dans leurs enveloppes respectives, la sortie du comparateur indique qu’il n’y a rien à signaler, et les bases de données de connaissance sont consolidées directement. Si une ou plusieurs variables sont en dehors de leurs enveloppes respectives, une seconde analyse comparative est faite sur les variables par rapport à des enveloppes collectives.
[0067] Le composant d’analyse d’état opérateur 112 comprend un second comparateur individuel-collectif 214 permettant de comparer les données issues du premier comparateur 212 à des états de référence collectifs fournis par le registre d’états de référence collectifs 114-2. Une comparaison interpersonnelle avec d’autres opérateurs est réalisée entre l’état physiologique individuel instantané de l’opérateur et les états physiologiques et cognitifs individuels de différents opérateurs, présents dans la base de connaissances 114-2 et associés à la même situation contextuelle. Il s’agit de mesurer l’écart de comportement instantané d’un opérateur avec des comportements produits par le passé par d’autres opérateurs dans des conditions similaires. Dans un mode de réalisation, une enveloppe collective est définie à partir des états de référence collectifs opérateurs. Le résultat de la comparaison fournit une distance de l’état de l’opérateur avec l’enveloppe collective, qui détermine la restitution fournie.
[0068] Le second comparateur 214 délivre en sortie les résultats de l’analyse comparative des données individuelles aux données collectives. Si, malgré le besoin de cette seconde comparaison, finalement les états de l’opérateur sont dans l’enveloppe globale collective, la sortie du comparateur 214 indique qu’il n’y a rien à signaler, et les bases de données de connaissances sont consolidées directement.
Si les états (une ou plusieurs variables) de l’opérateur sont en dehors de leurs enveloppes collectives respectives, le dispositif permet de faire un retour en temps réel à l’opérateur pour le lui signaler, et lui indiquer qu’il doit rectifier des paramètres opérationnels (sa trajectoire, sa vitesse, son incidence, sa puissance moteur, son inclinaison, etc.) ou des paramètres non opérationnels (aller se reposer, passer la main, mettre le pilote automatique, etc.).
[0069] Le composant de restitution 116 couplé au module d’analyse 112 effectue la diffusion des résultats issus du ou des comparateurs 212, 214, à destination de l’opérateur lui-même, pour lui proposer (via une interface adaptée) des services adaptés et/ou personnalisés 122, et/ou vers d’autres systèmes externes 120 qui peuvent exploiter les résultats à des fins de performance ou de sécurité. Avantageusement, selon les modes de réalisation, l’information diffusée est adaptée au type de restitution envisagée (sur le contenu et la forme donnée au contenu).
[0070] Dans le cas d’une exploitation des résultats par une application 122 à destination d’un opérateur, différents services sont susceptibles d’être proposés, comme par exemple : des informations et indicateurs sur l’état physiologique instantané ; des informations sur la comparaison (intra-individuelle) de l’état physiologique instantané avec l’historique dans les mêmes conditions ; des alertes sur des états physiologiques intrinsèquement anormaux (incapacité, hypovigilance, signes d’endormissement, etc.) ou des alertes sur des situations de contexte nécessitant des états physiologiques établis non respectés (vigilance, éveil, etc.) ; des recommandations d’actions sur les différents aspects associés aux états physiologiques (par exemple, si présence de signes d’endormissement, recommandation de repos) ; des recommandations d’action sur différents aspects associés à la fois aux états physiologiques et aux situations opérationnelles (par exemple, recommandation de formation ou d’entraînement sur certains aspects ou sur certaines phases opérationnelles) ; des indications d’actions à effectuer si une procédure qui devait être engagée ne l’est pas, ou si l’état physiologique de l’opérateur est divergent, ou si l’opérateur rencontre un problème qu’il n’a pas l’habitude de résoudre (par exemple, rappel de la procédure d’atterrissage dans l’aviation civile, ou conseils des actions à effectuer en cas de défaillance technique d’un des composants de l’aéronef) ; des indications sur les procédures théoriques qui s’appliquent à une situation donnée, en fonction de l’état du système complexe tel que mesuré par les capteurs. Dans un mode de réalisation, ces indications peuvent être enrichies grâce au module de capitalisation collective qui a enregistré (de façon anonyme) les réactions des différents opérateurs face aux situations analogues.
[0071] L’homme du métier comprend que cette liste de services n’est pas exhaustive, et qu’elle peut être enrichie d’autres options spécifiques et dédiées au contexte d’exploitation de l’invention.
[0072] Dans le cas d’une exploitation des résultats par un système externe 120, différents services peuvent être proposés, comme par exemple :
- des alertes sur des états d’incapacité à court terme ou constatés de l’opérateur, entraînant un problème de sécurité pour la suite de la mission, à destination des autres opérateurs ou des services de contrôle ;
- des alertes sur des états de comportement (états physiologiques et états cognitifs) de l’opérateur en dehors des comportements attendus lors des phases de la mission (vigilance, somnolence, charge mentale) pouvant altérer (mettre en danger) la sécurité de la mission, ou simplement la performance d’exécution de celle-ci. Des « contre-mesures » peuvent être mises en oeuvre par les systèmes externes au dispositif pour pallier ces anomalies détectées et assurer la sécurité de la mission et de la performance de celle-ci ;
- des alertes à destination des éventuels co-opérateurs sur le non-suivi, par l’opérateur principal, des procédures théoriques à mettre en oeuvre dans une situation donnée. Dans un mode de réalisation, ces alertes sont enrichies grâce au module de capitalisation collective qui a enregistré (de façon anonyme) les réactions des différents opérateurs face aux situations analogues.
[0073] L’homme du métier comprend que cette liste de services n’est pas exhaustive, et qu’elle peut être enrichie d’autres options spécifiques et dédiées au contexte d’exploitation de l’invention.
[0074] Les résultats de l’analyse combinée individuelle-individuelle et individuelle- collective issus du composant d’analyse d’état 112 sont de plus utilisés comme données de capitalisation individuelle et collective dans le composant de capitalisation l/C 118. [0075] Dans le mode de réalisation décrit pour la figure 2, le composant de capitalisation l/C 118 comprend un module de capitalisation individuelle 118-1 et un module de capitalisation collective 118-2.
[0076] Le module de capitalisation individuelle 118-1 utilise les éléments personnels opérateur et de contexte acquis lors de l’exécution d’une mission et les insère dans la base de connaissances 114-1 des états de références individuels de l’opérateur. Il est configuré pour extraire les informations pertinentes des données d’état individuel et des éléments de caractérisation du contexte, et les associer dans la base de connaissances individuelle. Avantageusement, le composant de capitalisation individuelle est configuré pour filtrer les seules les informations personnelles et contextuelles signifiantes. Ainsi par exemple, en aéronautique, les informations signifiantes peuvent être : lors du décollage et de l’atterrissage (phases considérées comme critiques), il y a lieu d’extraire de plus nombreux paramètres que lors des phases de croisière où il suffit de suivre seulement quelques paramètres pour savoir si le pilote est dans les clous ou non.
[0077] Le module de capitalisation collective 118-2 est configuré pour effectuer une fonction similaire de capitalisation, c’est-à-dire extraire les informations pertinentes des données d’états collectifs et des éléments de caractérisation du contexte, et les associer dans la base de connaissances collective. Il est aussi configuré pour procéder à une anonymisation des données, la comparaison inter-individuelle n’ayant pas besoin de disposer de l’identification des opérateurs, puisqu’il s’agit d’un ensemble de comportements effectués dans le passé par un ensemble d’opérateurs dans les situations similaires.
[0078] La figure 3 illustre une variante de réalisation du dispositif de l’invention selon la figure 2 dans laquelle le composant d’analyse d’état 112 comprend ou est couplé à un composant 302 de sélection des états instantanés permettant de sélectionner parmi l’ensemble des états instantanés, un sous-ensemble d’états instantanés à adresser directement au second comparateur 214 en plus de la sortie du premier comparateur 212.
[0079] Le composant 302 sert à élaborer une représentation de l’état cognitif issu des modèles de niveau de représentation compatible avec les « états et références collectifs opérateurs » qui peuvent avoir un niveau de détail réduit par rapport au niveau de détail des états références individuels opérateur, ceci car le niveau collectif eut amené à travailler avec une abstraction ou un niveau de détail plus faible (optimisation des données, données individuelles moins sensibles, etc.) qu’au niveau individuel.
[0080] La figure 4 un procédé 400 de mise en oeuvre du dispositif de l’invention illustré sur les figures 1 ou 2, selon un mode de réalisation. D’une manière générale, le procédé est mis en oeuvre par ordinateur pour l’aide au suivi des états d’un individu opérant sur un système complexe pendant une mission. Il comprend au moins des étapes de :
- collecter régulièrement pendant la mission, des données relatives à l’état du système complexe et de son environnement, des données relatives au contexte de la mission, et des données physiologiques relatives à l’opérateur ;
- déterminer à partir des données collectées, d’une part des paramètres de contextualisation, et d’autre part un état instantané individuel de l’opérateur ;
- faire une analyse de conformité intra-personnelle par rapport à ses propres états de référence individuels antérieurs, à partir des paramètres de contextualisation et de l’état instantané individuel de l’opérateur;
- faire une analyse de conformité interpersonnelle par rapport à des états de référence collectifs antérieurs, à partir des résultats de l’analyse de conformité intra- personnelle ; et
- restituer les résultats des analyses.
[0081] Plus en détail, le procédé est mis en oeuvre au début d’une mission 402 sur une plateforme 104 pour un opérateur 102 équipé de différents capteurs 106. Une mission peut être un entraînement sur un système simulé ou une mission opérationnelle sur un système réel. Le procédé permet d’enregistrer deux types de données : des données physiologiques et psychophysiques propres à l’opérateur, et des données contextuelles ou opérationnelles propres à la mission en cours.
[0082] Le procédé permet de déterminer, à partir des données opérationnelles, des paramètres de contextualisation de la mission (étape 404), et à partir des données propres à l’opérateur, un état instantané individuel opérateur (étape 406).
[0083] Dans une étape suivante 408, le procédé permet à partir de l’état instantané individuel opérateur et des paramètres de contextualisation, de faire une analyse de conformité intra-personnelle de l’état individuel de l’opérateur par rapport à ses propres états de référence, collectés antérieurement et enregistrés dans une base d’états de référence individuels opérateurs 114-1.
[0084] Dans une étape suivante 410, le procédé permet de déterminer si les résultats de l’analyse intra-personnelle doivent générer ou non une alerte signifiant que l’état instantané de l’opérateur en cours de mission n’est pas ou au contraire est ou reste en conformité acceptable avec ses propres états individuels de référence. S’il n’y a pas d’alerte générée, le procédé permet 411 de capitaliser sur l’analyse effectuée. Si les états de l’opérateur sont tels qu’une alerte doive être générée, le procédé poursuit à l’étape suivante 412 pour procéder à une analyse interpersonnelle 412 de l’état individuel de l’opérateur à des états de référence collectifs, collectés antérieurement et enregistrés dans une base d’états de référence collectifs opérateurs 114-2.
[0085] Dans une étape suivante 414, le procédé permet de déterminer si les résultats de l’analyse interpersonnelle, doivent générer ou non une alerte 410 signifiant que l’état instantané de l’opérateur en cours de mission n’est pas ou au contraire est ou reste en conformité acceptable avec des états collectifs de référence. S’il n’y a pas d’alerte générée, le procédé permet 415 de capitaliser sur l’analyse effectuée. Si les états de l’opérateur sont tels qu’une alerte doive être générée, le procédé poursuit à l’étape suivante 416 pour restituer les résultats vers l’opérateur et vers des systèmes de restitution autres. Le procédé se poursuit pendant toute la durée de la mission.
[0086] La figure 6 illustre les principales étapes pour opérer le procédé de l’invention sur le dispositif de la figure 5, où le registre des états comprend un module d’états de référence individuels 114-1 , un module d’états de référence collectifs 114-2 et un module d’états de référence théoriques 114-3.
[0087] Le procédé 600 diffère du procédé 400 en ce que l’analyse de l’état opérateur 610 prend en compte en plus de l’analyse de conformité intra-personnelle et de l’analyse de conformité interpersonnelle, une analyse de conformité théorique.
[0088] L’analyse de conformité théorique se fait par rapport à un état de l’art de référence qui est enregistré dans le module d’états de référence théoriques 114-3.
[0089] Avant l’étape de restitution des résultats de l’analyse, le procédé fait une analyse de conformité théorique consistant à comparer des données qui sont collectées et caractérisant des tâches instantanées faites par l’opérateur, à des données de référence théoriques, les dites données de référence théorique étant associées à la caractérisation d’actions (manipulation, observation, communication, ...) et de leur enchaînement (exemple suivi de procédure) tel que décrit dans un état de l’art de la gestion de la situation rencontrée (manuels de référence par exemple).
[0090] En plus des paramètres d’état instantané individuel de l’opérateur (606) et des paramètres de contexte de la mission (604), le procédé prend en compte des paramètres de tâches instantanées individuelles réalisées par l’opérateur (608). Ces paramètres sont des signatures représentatives des tâches effectuées par l’opérateur.
[0091] L’analyse de conformité théorique se fait par rapport à des états ou tâches de référence théoriques (représentant l’état de l’art et les contraintes théoriques imposées pour le domaine d’application de l’invention, sur la situation analysée). L’analyse de conformité théorique se fait à partir des paramètres de contextualisation et des tâches instantanées individuelles de l’opérateur qui sont relevées et identifiées 608.
[0092] L’homme du métier comprend que l’ordre d’exécution des trois types d’analyse de conformité - intra-personnelle ; interpersonnelle ; théorique - peut varier sans départir des principes mêmes de l’invention.
[0093] Les résultats de l’analyse, issus du composant d’analyse de l’état opérateur, peuvent être restitués de manière analogue que pour le procédé 400.
[0094] Il a ainsi été décrit une solution permettant d’assister un opérateur tout au long de sa carrière, que ce soit pendant ses périodes de formation, qu’au cours de ses missions opérationnelles. La solution proposée procède à un suivi longitudinal individualisé de l’opérateur sur un ou plusieurs paramètres dans le temps, avec plusieurs facettes : un suivi physiologique et un suivi psychophysique permettant de définir le style perceptivo-moteur de l’opérateur.
[0095] L’assistant personnel de l’opérateur est configuré pour fournir à l’opérateur un retour qui prend en compte (1) l’historique de comportement de l’opérateur et des différentes situations survenues par le passé au cours de l’exécution de missions équivalentes, et permet donc d’individualiser le diagnostic sur la variation de comportement détectée ; et (2) l’historique de comportement d’un ensemble d’opérateurs dans des différentes situations survenues par le passé au cours de l’exécution de missions équivalentes, et permet donc de comparer le comportement individuel à un faisceau de comportements (anonymisés) et ainsi replacer le diagnostic par rapport à une pratique générale d’exécution de la mission.
[0096] La solution proposée s’avère donc à la fois individualisée et capable de se référer à une pratique générale. De plus, la solution proposée permet de fournir une restitution modulable et adaptée :
- à la mission ;
- au contexte dans lequel est effectuée la mission ;
- à l’opérateur et à ses besoins ;
- à l’équipage s’il y a lieu, et permet donc d’assurer une meilleure coordination.
[0097] La présente description illustre une implémentation préférentielle de l’invention, mais qui n’est pas limitative. Des exemples sont choisis pour permettre une bonne compréhension des principes de l’invention et une application concrète, mais ne sont en rien exhaustifs et doivent permettre à l’homme du métier d’apporter des modifications et des variantes d’implémentation en conservant les mêmes principes.

Claims

REVENDICATIONS
1. Procédé mis en œuvre par ordinateur d’aide au suivi des états d’un individu opérant sur un système complexe pendant une mission, le procédé comprenant au moins des étapes pour :
- collecter (402) régulièrement pendant la mission, des données relatives à l’état du système complexe et de son environnement, des données relatives au contexte de la mission, et des données physiologiques relatives à l’opérateur ;
- déterminer à partir des données collectées, d’une part (404) des paramètres de contextualisation, et d’autre part (406) un état instantané individuel de l’opérateur ;
- faire une analyse de conformité intra-personnelle (408) par rapport à ses propres états de référence individuels antérieurs, à partir des paramètres de contextualisation et de l’état instantané individuel de l’opérateur ;
- faire une analyse de conformité interpersonnelle (412) par rapport à des états de référence collectifs antérieurs, à partir des résultats de l’analyse de conformité intra-personnelle ; et
- restituer (416) les résultats des analyses.
2. Le procédé selon la revendication 1 dans lequel l’étape de collecter des données consiste de plus à collecter des données représentatives de tâches effectuées par l’opérateur ; le procédé comprenant de plus avant l’étape de restitution des résultats de l’analyse, une étape consistant à :
- faire une analyse de conformité théorique (610) par rapport à des états de référence théoriques (114-3), à partir des paramètres de contextualisation et de paramètres représentatifs des tâches opérateur ; et où lesdites étapes d’analyse de conformité intra-personnelle, de conformité interpersonnelle et de conformité théorique sont effectuées dans un quelconque ordre.
3. Le procédé selon la revendication 1 ou 2 dans lequel l’étape d’analyse de conformité intra-personnelle comprend une étape consistant à comparer des données caractérisant l’état instantané individuel de l’opérateur à des données enregistrées dans un registre d’états de référence individuels pour ledit opérateur, les dites données étant associées à la caractérisation de l’état physiologique et de l’état cognitif contextualisés dudit opérateur.
4. Le procédé selon l’une quelconque des revendications 1 à 3 dans lequel l’étape d’analyse de conformité interpersonnelle comprend une étape consistant à comparer des données caractérisant l’état instantané individuel de l’opérateur à des données enregistrées dans un registre d’états de référence collectifs pour une pluralité d’opérateurs, les dites données étant associées à la caractérisation de l’état physiologique et de l’état cognitif contextualisés de la pluralité d’opérateurs au cours de missions similaires à la mission en cours.
5. Le procédé selon les revendications 3 ou 4 dans lequel les données de registre sont structurées en triades « Etat Physiologique - Etats Cognitifs - Situation Contextuelle » associées à la séquence en cours d’analyse.
6. Le procédé selon l’une quelconque des revendications précédentes comprenant de plus après l’étape d’analyse de conformité intra- personnelle, une étape 410 consistant à déterminer si l’état instantané de l’opérateur en cours de mission est en conformité acceptable avec ses propres états individuels de référence ou n’est pas en conformité acceptable.
7. Le procédé selon l’une quelconque des revendications précédentes comprenant de plus après l’étape d’analyse de conformité interpersonnelle, une étape 414 consistant à déterminer si l’état instantané de l’opérateur en cours de mission est en conformité acceptable avec des états collectifs référence ou n’est pas en conformité acceptable.
8. Le procédé selon l’une quelconque des revendications 2 à 7 comprenant de plus après l’étape d’analyse de conformité théorique, une étape consistant à déterminer si l’état instantané de l’opérateur en cours de mission est en conformité acceptable avec des états de référence théoriques ou n’est pas en conformité acceptable.
9. Le procédé selon l’une quelconque des revendications précédentes comprenant de plus après chaque étape d’analyse, une étape de capitalisation des résultats de chaque analyse pour enrichir les états de référence individuels et collectifs.
10. Le procédé selon l’une quelconque des revendications précédentes dans lequel l’étape de déterminer un état instantané de l’opérateur consiste à mettre en oeuvre sur les données physiologiques des modèles d’évaluation et de prédiction associés à chaque aspect physiologique.
11. Le procédé selon la revendication 8 dans lequel les modèles d’évaluation et de prédiction sont basés sur des modèles d’intelligence artificielle entraînés pour produire des états individuels instantanés.
12. Le procédé selon l’une quelconque des revendications 1 à 11 comprenant de plus après l’étape de restitution, une étape consistant à fournir à l’opérateur via une interface adaptée, des services personnalisés selon les résultats des étapes d’analyse.
13. Le procédé selon l’une quelconque des revendications 1 à 12 comprenant de plus après l’étape de restitution, une étape consistant à transmettre à des systèmes externes les résultats des étapes d’analyse.
14. Un dispositif d’aide au suivi des états d’un individu opérant sur un système complexe pendant une mission, le dispositif comprenant des moyens permettant de :
- collecter régulièrement pendant la mission, des données relatives à l’état du système complexe et de son environnement, des données relatives au contexte de la mission, et des données physiologiques relatives à l’opérateur ;
- déterminer à partir des données collectées, d’une part des paramètres de contextualisation, et d’autre part un état instantané individuel de l’opérateur ;
- faire une analyse de conformité intra-personnelle par rapport à ses propres états de référence individuels antérieurs, à partir des paramètres de contextualisation et de l’état instantané individuel de l’opérateur ;
- faire une analyse de conformité interpersonnelle par rapport à des états de référence collectifs antérieurs, à partir des résultats de l’analyse de conformité intra-personnelle ; et
- restituer les résultats des analyses.
15. Le dispositif selon la revendication 14 comprenant de plus des moyens permettant de collecter régulièrement pendant la mission des données relatives aux tâches exécutées par l’opérateur et des moyens permettant de faire une analyse conformité théorique par rapport à des états de référence théoriques, à partir des paramètres de contextualisation et de paramètres représentatifs des tâches instantanées individuelles de l’opérateur collectées.
16. Le dispositif selon la revendication 14 ou 15 comprenant de plus des moyens pour mettre en oeuvre les étapes du procédé selon l’une quelconque des revendications 2 à 13.
17. Programme d'ordinateur comportant des instructions de code pour l'exécution des étapes du procédé d’aide au suivi des états d’un individu opérant sur un système complexe pendant une mission, selon l’une quelconque des revendications 1 à 13, lorsque ledit programme est exécuté par un processeur.
PCT/EP2020/086653 2019-12-20 2020-12-17 Procede et dispositif d'aide au suivi des etats cognitifs d'un individu WO2021122900A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
AU2020407832A AU2020407832A1 (en) 2019-12-20 2020-12-17 Method and device to assist with monitoring the cognitive states of an individual
EP20835760.8A EP4078609A1 (fr) 2019-12-20 2020-12-17 Procede et dispositif d'aide au suivi des etats cognitifs d'un individu

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1915173A FR3104935B1 (fr) 2019-12-20 2019-12-20 Procede et dispositif d'aide au suivi des etats cognitifs d'un individu
FR1915173 2019-12-20

Publications (1)

Publication Number Publication Date
WO2021122900A1 true WO2021122900A1 (fr) 2021-06-24

Family

ID=72470395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/086653 WO2021122900A1 (fr) 2019-12-20 2020-12-17 Procede et dispositif d'aide au suivi des etats cognitifs d'un individu

Country Status (4)

Country Link
EP (1) EP4078609A1 (fr)
AU (1) AU2020407832A1 (fr)
FR (1) FR3104935B1 (fr)
WO (1) WO2021122900A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4266281A1 (fr) * 2022-04-22 2023-10-25 Thales Dispositif électronique de surveillance d'un état de conscience d'un opérateur dans un aéronef, procédé et programme d'ordinateur associés

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANGELA R. HARRIVEL ET AL.: "Prédiction of Cognitive States during Flight Simulation using Multimodal Psychophysiological Sensing", AIAA INFORMATION SYSTEMS-AIAA INFOTECH@AEROSPACE, 5 January 2017 (2017-01-05), ISBN: 978-1-62410-449-7
ANGELA R. HARRIVEL ET AL: "Prediction of Cognitive States during Flight Simulation using Multimodal Psychophysiological Sensing", AIAA INFORMATION SYSTEMS-AIAA INFOTECH @ AEROSPACE, 5 January 2017 (2017-01-05), Reston, Virginia, XP055747223, ISBN: 978-1-62410-449-7, DOI: 10.2514/6.2017-1135 *
LIU JING ET AL.: "KNOWLEDGE-BASED SYSTEMS", vol. 112, 6 September 2019, ELSEVIER, article "Cognitive pilot-aircraft interface for single-pilot operations", pages: 37 - 53
LIU JING ET AL: "Cognitive pilot-aircraft interface for single-pilot operations", KNOWLEDGE-BASED SYSTEMS, ELSEVIER, AMSTERDAM, NL, vol. 112, 6 September 2016 (2016-09-06), pages 37 - 53, XP029757287, ISSN: 0950-7051, DOI: 10.1016/J.KNOSYS.2016.08.031 *
WUSK GRACE C GRACEW@VT EDU ET AL: "Psychophysiological monitoring of aerospace crew state", WEARABLE COMPUTERS, ACM, 2 PENN PLAZA, SUITE 701NEW YORKNY10121-0701USA, 9 September 2019 (2019-09-09), pages 404 - 407, XP058472308, ISBN: 978-1-4503-6869-8, DOI: 10.1145/3341162.3349309 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4266281A1 (fr) * 2022-04-22 2023-10-25 Thales Dispositif électronique de surveillance d'un état de conscience d'un opérateur dans un aéronef, procédé et programme d'ordinateur associés
FR3134914A1 (fr) * 2022-04-22 2023-10-27 Thales Dispositif électronique de surveillance d’un état de conscience d’un opérateur dans un aéronef, procédé et programme d’ordinateur associés

Also Published As

Publication number Publication date
FR3104935A1 (fr) 2021-06-25
FR3104935B1 (fr) 2024-03-15
AU2020407832A1 (en) 2022-07-28
EP4078609A1 (fr) 2022-10-26

Similar Documents

Publication Publication Date Title
Caldwell Crew schedules, sleep deprivation, and aviation performance
Alaimo et al. Aircraft pilots workload analysis: heart rate variability objective measures and NASA-task load index subjective evaluation
EP3699553A1 (fr) Procede et dispositif d'adaptation de l'interface homme-machine d'un aeronef selon le niveau de l'etat fonctionnel du pilote
US20170334456A1 (en) Bias of Physical Controllers in a System
US20200242343A1 (en) Method of assessing a pilot emotional state
Anund et al. Countermeasures for fatigue in transportation: a review of existing methods for drivers on road, rail, sea and in aviation
Plant et al. Distributed cognition in Search and Rescue: loosely coupled tasks and tightly coupled roles
Naeeri et al. Multimodal analysis of eye movements and fatigue in a simulated glass cockpit environment
WO2021122900A1 (fr) Procede et dispositif d'aide au suivi des etats cognitifs d'un individu
Baugh Predicting general aviation accidents using machine learning algorithms
Hendy A tool for human factors accident investigation, classification and risk management
Grimm et al. Dynamical Measurement of Team Resilience
Authority Biomathematical fatigue models
Rao Exploring the influence of time pressure on decision-making by airline pilots: a thesis presented in partial fulfilment of the requirements for the degree of Master of Aviation at Massey University, Palmerston North, New Zealand
Koeppen The influence of automation on aviation accident and fatality rates: 2000-2010
WO2024089479A1 (fr) Procédé et système de reconnaissance précoce d'individus exposés à un accident par l'intermédiaire d'une sécurité neuronale dans les emplois impliqués dans des risques de sécurité extrêmes
Ghaderi Analysis and evaluation of the pilot attentional model
Cook Analysis of hazardous pilot behaviors and causal factors in Part 121 and Part 135 aircraft accidents and incidents
EP4360009A1 (fr) Procede et dispositif d'analyse predictive du comportement d'un operateur en interaction avec un systeme complexe
Bentley Exploring Human Error Variations, Mental Health, and Aviation Accidents: A Qualitative Case Study
Naeeri Multimodal analysis of pilot’s fatigue during a multi-phase flight mission
Reid Evidence-based information fusion platform for estimation of forest fire pilot fitness for duty
Young The lived-experience of inflight automation failures: A qualitative descriptive phenomenological study
Kim Determining Contributing Factors for Passenger Airline Pilot Perceived Fatigue
Cast Risk homeostasis in crew resource management: Correlations between individual and paired risk propensities in two-pilot crews

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20835760

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020835760

Country of ref document: EP

Effective date: 20220720

ENP Entry into the national phase

Ref document number: 2020407832

Country of ref document: AU

Date of ref document: 20201217

Kind code of ref document: A