WO2024073826A1 - Method of training an artificial intelligence–based model for predicting the clinical outcome of an individual and method of predicting the clinical outcome of an indivdual using such artificial intelligence–based model - Google Patents

Method of training an artificial intelligence–based model for predicting the clinical outcome of an individual and method of predicting the clinical outcome of an indivdual using such artificial intelligence–based model Download PDF

Info

Publication number
WO2024073826A1
WO2024073826A1 PCT/BR2023/050263 BR2023050263W WO2024073826A1 WO 2024073826 A1 WO2024073826 A1 WO 2024073826A1 BR 2023050263 W BR2023050263 W BR 2023050263W WO 2024073826 A1 WO2024073826 A1 WO 2024073826A1
Authority
WO
WIPO (PCT)
Prior art keywords
time period
time
vital sign
individual
individuals
Prior art date
Application number
PCT/BR2023/050263
Other languages
French (fr)
Portuguese (pt)
Inventor
Adriano JOSÉ PEREIRA
Marcelo FRANKEN
Daniel SCALDAFERRI LAGES
Wellington APARECIDO DE OLIVEIRA
Original Assignee
Sociedade Beneficente Israelita Brasileira Hospital Albert Einstein
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from BR102022020266-4A external-priority patent/BR102022020266A2/en
Application filed by Sociedade Beneficente Israelita Brasileira Hospital Albert Einstein filed Critical Sociedade Beneficente Israelita Brasileira Hospital Albert Einstein
Publication of WO2024073826A1 publication Critical patent/WO2024073826A1/en

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons

Definitions

  • the present invention refers to a method of training a model based on artificial intelligence and, more specifically, to a training method capable of training a model based on artificial intelligence to predict the outcome of an individual's clinical evolution. admitted to hospital or at risk of hospitalization/readmission.
  • patient data (vital signs, mainly) are integrated from electronic medical records, adding that there may also be alert systems and automatic activation of rapid response teams based on pre-determined triggers (i.e. That is, when this patient's score reaches the trigger, the emergency team is called).
  • the clinical evolution can be, for example, clinical deterioration in patients admitted to a semi-intensive care unit, clinical deterioration in patients admitted to wards/wards or clinical deterioration at home in patients at high risk of hospitalization/reaction. ntern action.
  • the present invention achieves the above objectives through a method of training a model based on artificial intelligence for predicting an individual's clinical outcome, which comprises: - for each individual from a first set of individuals: identify an event indicative of the clinical outcome for the individual as a favorable outcome event or as an unfavorable outcome event; establishing a first predetermined time period, wherein the first predetermined time period is a time interval preceding the outcome event; establishing a second predetermined time period, wherein the second predetermined time period is a time interval preceding the time interval of the first predetermined time period and wherein the second time period comprises multiple equal sub-time periods; obtain, for each sub-period of time, multiple measurements of each vital sign from a plurality of the individual's vital signs; obtain a representative value for each vital sign within each sub-time period based on multiple measurements performed for each vital sign in that sub-time period; establishing a temporal sequence of aggregated vital sign values for each of the plurality of vital signs within the second time period, the temporal sequence comprising a
  • the representative value for Each vital sign within each sub-time period is obtained by calculating an arithmetic average of the multiple measurements taken for each vital sign in that time sub-period.
  • the method further comprises: creating a three-dimensional training matrix in which, for each individual of the first set of individuals, the temporal sequence of aggregated vital sign values for each of the plurality of vital signs within the second time period is arranged in a plane such that an x axis of the plane comprises the vital sign values for each of the plurality of vital signs, and in a y axis of the plan, the values of the subtime periods of the second time period, and, in which the plans created for each individual of the first set of individuals are stacked on a geometric axis z to create the matrix; and the use of the matrix created with training input data from the recurrent neural network.
  • the method further comprises, for each temporal sequence of values aggregates of vital signs for each of the plurality of vital signs within the second time period: an average value of the vital signs of the time sequence; a minimum value of the temporal sequence vital signs; a maximum value of the vital signs of the time sequence; a difference value between the calculated maximum and minimum values; a difference value between each of the values of the time sequence that exceeded a pre-established threshold value and that pre-established threshold value; a difference value between each of the values in the time sequence that are below a pre-established threshold value and that pre-established threshold value; use the calculated values as training input data for the classical machine learning model neural network.
  • the present invention also contemplates a method for predicting the clinical outcome of an individual that uses the artificial intelligence-based clinical deterioration predictive model trained in accordance with the model training method of the present invention, and a system for predicting clinical outcome of an individual comprising at least one vital signs monitoring device configured to perform multiple measurements of at least one vital sign of a plurality of vital signs of the individual; and at least one processing means for carrying out such prediction method.
  • the system comprises a plurality of vital sign monitoring devices, with one of the devices being configured to perform multiple measurements of a different vital sign among a plurality of the individual's vital signs.
  • Such monitoring devices may be monitoring devices installed in the place where the individual is hospitalized or located - such as a hospital unit or home care facility - or wearable monitoring devices connected to the internet (IOT / wearable devices). Internet of Things).
  • IOT internet of Things
  • Figure 1 - illustrates the training parameters of the training method of an artificial neural network according to an embodiment of the present invention
  • Figure 2 illustrates a simplified flowchart of the artificial neural network training method according to an embodiment of the present invention
  • Figure 3 illustrates a simplified flowchart of the method for predicting the outcome of an individual's clinical evolution according to an embodiment of the present invention.
  • the present invention comprises a method of training a model based on artificial intelligence to predict an individual's clinical outcome.
  • the artificial intelligence-based model is an artificial neural network.
  • clinical outcome data from a first set of individuals are used.
  • this first set of individuals comprises patients admitted to semi-intensive units, in which the clinical outcome can be classified as being a favorable outcome or an unfavorable outcome according to a defined event as the trajectory of the patient's passage through the semi-ICU room, as follows:
  • Unfavorable outcome (outcome 0): the patient was transferred from the semi-ICU room to an intensive care unit (ICU) room or died. [0027] It is important to highlight that the same patient may have multiple visits to semi-ICU rooms. In these cases, each passage is considered as an independent “individual”, inserted in the data set.
  • the first pass comprises the transfer from the semi-ICU bed (S1) to the ICU bed (U1).
  • This passage corresponds to an “individual” who has the values of his attributes (features) calculated over the hours that preceded his transfer.
  • the individual is transferred from a semi-ICU bed (S1) to an ICU bed (U1) or the condition progresses to death. This case describes a trajectory with an unfavorable clinical outcome.
  • the trajectory T2 shows exemplifies the unfavorable outcome in which the individual is transferred from a common bed (L1) to a semi-ICU bed (S1) or to an ICU bed (U1) or in which their condition progresses to death after admission to the common bed (L1).
  • trajectory T3 an unfavorable outcome is exemplified in which the individual, monitored at home, needs to be admitted for hospitalization.
  • the individual has the values of his attributes (features) calculated over the hours preceding his hospitalization.
  • monitoring can be carried out using wearable resources - “wearables” - to acquire data in real time or close to real time.
  • the T4 trajectory shows a favorable outcome, with the transfer of the individual from a semi-ICU bed (S1) to a common bed or with the individual being discharged home.
  • the T5 trajectory has a similar favorable outcome, with the individual being discharged after hospitalization.
  • trajectory T6 there is a favorable outcome that includes keeping the patient at home for a determined period.
  • training a neural network comprises a first step of collecting data from the individual for prediction (ET101).
  • a time interval preceding the outcome event can be considered as a prediction window (a first predetermined time period) and a second time interval preceding the first time period can be considered as an observation window (a second predetermined period of time), in which an individual's vital signs are observed/measured up to the prediction window.
  • the first determined period of time and the second determined period of time will be used as parameters for training the model.
  • the first predetermined time period is the “GAP” parameter and the second predetermined time period is the “LOOKBACK” parameter.
  • the sequence of vital sign measurements follows aggregation in time, considering subperiods of equal times (parameter AGG_TIME in figure 1).
  • the observation window (second predetermined period of time) comprises multiple equal sub-periods of time.
  • the training method of the present invention pre-processes the measured data in a data pre-processing step (ET102).
  • Figure 1 represents the history of patient 1's passage through a semi-ICU bed.
  • Figure 1 illustrates the trajectory of this patient and, when analyzing a second predetermined period of time of, for example, 05 hours (observation window, LOOKBACK parameter) that precedes a first predetermined period of time of, for example, 01 hour ( prediction window, GAP parameter) before the patient leaves the semi-ICU bed and is discharged from the hospital, each of the 05 hours that make up the observation window (LOOKBACK) has several measurements for the same vital sign. If n respiratory rate measurements were carried out in the last hour of the observation window (represented by dark green bars), a representative value of the values obtained through the n measurements is used to represent the respiratory rate of this patient in this hour under analysis.
  • AGG_TIME 1-hour interval
  • the training method of the present invention comprises obtain a first representative value for each vital sign within each sub-period of time from the different possible forms of aggregation performed for each vital sign in that sub-period of time (i.e., the calculation of the representative value of each vital sign in the sub-period AGG_TIME ), and establish a temporal sequence of vital sign values for each of the plurality of vital signs within the second time period (observation window, LOOKNACK parameter), with the temporal sequence comprising the representative values for each vital sign in the subperiods of time of the second time period.
  • the representative value is the arithmetic mean of the values measured for the vital sign.
  • the data is formatted according to the model based on artificial intelligence that will be used by the method, with the formatting depending on the model chosen for training in steps ET104a and ET104b.
  • the formatting depending on the model chosen for training in steps ET104a and ET104b.
  • the first time period, the second time period, and the temporal sequences of vital signs for each of all individuals in the first set of individuals are model training input data; and the events indicative of the clinical outcome identified as a favorable outcome event or as an unfavorable outcome event for each of all individuals in the first set of individuals are target output data for training the present artificial intelligence-based model.
  • Modeling for recurrent neural network (example of one of the techniques used in the invention)
  • each of the vital sign sequences of the observation windows was organized in a plane , having, on the X axis, all monitored vital signs and, on the Y axis, the values of all AGG_TIME intervals that make up the observation window (LOOKBACK).
  • the LSTM recurrent neural network architecture used has the following layers:
  • RNN layer (LSTM) - input [0049]
  • input_shape output dimension of the RNN layer - number of features (representative values derived from the values of different vital signs measured over time).
  • Dropout layer - intermediate dropout: “dropout” rate (withdrawal) of neurons from the intermediate layer (0.1 - 0.2)
  • Modeling for classic artificial neural network models (example of different techniques used by the present invention).
  • MEAN for each vital sign, the average value within the observation window was calculated
  • AMP for each vital sign, the amplitude (difference between the maximum and minimum value) was calculated within the observation window;
  • LOW_SUM for each vital sign, the differences between the values that were below the lower limit of normality and this limit throughout the entire period were added. the observation window.
  • embodiments of the invention could use different aggregation criteria, such as area under/over curves, above or below previously defined thresholds, such as normality values (or calibrated with higher or lower thresholds, for greater sensitivity/ specificity).
  • the hyperparameters of the classic models are obtained after several validation cycles (each cycle being a specific iteration conducted by GridSearchCV or Hyperopt). After each cycle, the chosen performance metric is used to check the quality of the model. At the end of all validation cycles that use the same validation metric, the hyperparameter configuration with the highest validation metric average value is selected.
  • model training is performed with data from a first set of individuals and validation is performed with data from a second set of individuals.
  • This second set, as well as the first set of individuals (used for training), is defined in a configuration file where a parameter determines the start and end date of hospitalizations of the individuals who will be considered for model testing.
  • data from this second set of individuals are submitted to the model and the predicted results of each patient's outcomes are compared with the actual results, generating the model metrics.
  • SMOTE the “not majority” option is used as a strategy for “resampling” with the aim of not removing “individuals” from the majority class and, in order to artificially generate “individuals” from the minority class , the 4, 5 or 6 closest “individuals” (“k_neighbors”).
  • the 'not majority' parameter indicates that synthetic samples (individuals) will be created only for the minority class, in the exemplary case, individuals with unfavorable outcomes.
  • the 'k_neighbors' parameter indicates how many real samples (individuals with the closest characteristics) will be used to create synthetic samples.
  • the values of monitored vital signs used for training and testing the prediction model were collected from patients admitted to the semi-intensive unit, whose admission date (entry into the unit) is within an uninterrupted period of 17 months.
  • data from 5,441 different patients were used, with the number of visits to the semi-intensive unit being 7,955, since the same patient may pass through this unit more than once during their stay in the hospital or during other hospitalizations.
  • Each of these visits to the semi-intensive unit (even if it is the same patient) together with the vital signs collected throughout the passage period corresponds to a sample provided for training and testing the prediction model.
  • Each patient's vital signs data goes through a preparation process based on observation windows (parameters AGG_TIME, LOOKBACK and GAP configured in the process). This way, different sets of data can be generated from the same patients and sent for training and testing, with the aim of choosing the model with the best performance. Changing these parameters may impact the number of samples for training and testing, as one pass may contain insufficient data (vital sign measurements).
  • the six vital signs were collected using Dr ⁇ ger multiparametric monitors (https://www.draeger.com/pt- br_br/Products/lnfinity-Delta-Series) and sent to a database.
  • Table V presents the values of the metrics obtained when applying, to the set of tests generated in a first moment of training, the models with the aggregation of vital signs every 60 minutes that reached the highest levels of area under the ROC curve (0.75 or 0.74).
  • Table V Values of metrics obtained when applying the models with the aggregation of vital signs every 60 minutes.
  • Table VI presents the values of the metrics obtained when applying, in the set of tests generated in a first moment of training, the models with the aggregation of vital signs every 30 minutes that reached the highest level of area under the curve ROC (0.74).
  • Table VII presents the values of the metrics obtained when applying, in the set of tests generated in a first moment of training, the models with the aggregation of vital signs every 10 minutes that reached the highest level of area under the curve ROC (0.73).
  • Table VII Values of metrics obtained when applying the models with the aggregation of vital signs every 10 minutes.
  • Table VIII presents the values of the metrics obtained when applying, to the set of tests generated in the first moment of training, the models with the aggregation of vital signs every 2 minutes. These models are listed in descending order of area values under the ROC curve and models with values below 0.65 for this metric were discarded.
  • Table IX presents the values of the metrics obtained when applying, in the set of tests generated in a second moment of a new round of training and testing, the models with the aggregation of vital signs every 60 minutes that reached the levels highest areas under the ROC curve in the first round of testing.
  • the models trained according to the method of the present invention are applied in a method for predicting an individual's clinical outcome.
  • the individual has their data monitored in real time using measuring devices located at the place of hospitalization, in the case of a hospital unit, at the individual's home, in the case of home care, or even through wearable monitoring devices.
  • the prediction method starts with data collection (step EP101). Data collection is based on measurements taken during real-time monitoring. Such measurements are processed and formatted so that they can serve as input data to the trained model as described previously (steps EP102 and EP103), and then the prediction of a favorable or unfavorable outcome is carried out based on the trained model (step EP104).

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

The present invention relates to a method of training an artificial intelligence-based model for predicting clinical deterioration, primarily using an artificial neural network, in order to predict the clinical outcome of an individual, which includes, for each individual in a first group of individuals: identifying an indicative event for the clinical development outcome for the individual as a favourable outcome event or as an unfavourable outcome event; obtaining, for certain subperiods of time, multiple measurements of each vital sign among a plurality of vital signs of the individual; obtaining a representative value for each vital sign within each subperiod of time on the basis of the multiple measurements taken of each vital sign within that subperiod of time; establishing a time sequence of aggregated values of vital signs for each of the plurality of vital signs; and repeating the above steps for all the individuals in the first group of individuals; wherein the time sequences of aggregated values of vital signs for each and every one of the individuals in the first group of individuals constitute input data for training the artificial intelligence-based model for predicting clinical deterioration; and wherein the indicative events of the clinical development outcome identified as a favourable outcome event or an unfavourable outcome event for each and every one of the individuals in the first group of individuals constitute target output data for training the artificial neural network.

Description

“MÉTODO DE TREINAMENTO DE UM MODELO BASEADO EM INTELIGÊNCIA ARTIFICIAL PARA PREDIÇÃO DE DESFECHO CLÍNICO DE UM INDIVÍDUO E MÉTODO DE PREDIÇÃO DE DESFECHO CLÍNICO DE UM INDIVÍDUO QUE UTILIZA TAL MODELO BASEADO EM INTELIGÊNCIA ARTIFICIAL” CAMPO DA INVENÇÃO “METHOD FOR TRAINING AN ARTIFICIAL INTELLIGENCE-BASED MODEL FOR PREDICTING THE CLINICAL OUTCOME OF AN INDIVIDUAL AND METHOD FOR PREDICTING THE CLINICAL OUTCOME OF AN INDIVIDUAL USING SUCH ARTIFICIAL INTELLIGENCE-BASED MODEL” FIELD OF THE INVENTION
[0001] A presente invenção refere-se a um método de treinamento de um modelo baseado em inteligência artificial e, mais especificamente, a um método de treinamento capaz de treinar um modelo baseado em inteligência artificial para predição de desfecho de evolução clínica de um indivíduo internado em hospital ou em risco de internação/reinternação. [0001] The present invention refers to a method of training a model based on artificial intelligence and, more specifically, to a training method capable of training a model based on artificial intelligence to predict the outcome of an individual's clinical evolution. admitted to hospital or at risk of hospitalization/readmission.
FUNDAMENTOS DA INVENÇÃO BASICS OF THE INVENTION
[0002] Em um hospital de grande porte e alta complexidade, até 5 a 10% dos pacientes internados podem apresentar intercorrências significativo após a admissão, culminando com parada cardiorrespiratória e/ou necessidade de transferência para UTI. Atrasos na identificação da deterioração clínica, juntamente com intervenções terapêuticas tardias resultam em aumento de morbidade e mortalidade. Sabe-se que pacientes que desenvolvem piora clínica em unidades de internação geral evoluindo para parada cardiorrespiratória (PCR) e/ou necessidade de transferência para unidade de cuidados intensivos apresentam sinais de deterioração fisiológica cerca de 6 a 24 horas antes do evento clínico (vide Churpek MM, Yuen TC, Park SY, Gibbons R, Edelson DP. Using electronic health record data to develop and validate a prediction model for adverse outcomes in the wards. Grit Care Med. 2014;42(4):841- 848 e J Biomed Inform. 2016;64: 10-19). [0002] In a large and highly complex hospital, up to 5 to 10% of hospitalized patients may experience significant complications after admission, culminating in cardiorespiratory arrest and/or the need for transfer to the ICU. Delays in identifying clinical deterioration along with delayed therapeutic interventions result in increased morbidity and mortality. It is known that patients who develop clinical worsening in general hospitalization units, progressing to cardiorespiratory arrest (CPA) and/or needing transfer to an intensive care unit, show signs of physiological deterioration approximately 6 to 24 hours before the clinical event (see Churpek MM, Yuen TC, Park SY, Gibbons R, Edelson DP. Using electronic health record data to develop and validate a prediction model for adverse outcomes in the wards. Grit Care Med. 2014;42(4):841- 848 and J Biomed Inform. 2016;64: 10-19).
[0003] Baseado neste racional, no início dos anos 1990, foi proposta a instituição de equipes que pudessem avaliar e atender casos de deterioração inicial, de forma rápida, para obtenção de melhores desfechos, o que levou à diminuição de paradas cardíacas intra-hospitalares (vide Edelson DP, Churpek MM. Web Exclusives. Annals for Hospitalists Inpatient Notes - Predicting Codes-A Future With Fewer In-Hospital Cardiac Arrests. Ann Intern Med. 2017;166(10):HO2-HO3.) Entretanto, mesmo com o avanço alcançado, à luz do conhecimento atual, é possível dizer que os times de resposta rápida ainda funcionam de forma reativa, considerando que sua ação é deflagrada por sinais e sintomas já instalados (presentes há algumas horas) e não detectados, sendo dependente de algum grau de subjetividade e com necessidade de ativação manual. A criação de critérios objetivos, baseados em escores de gravidade trouxe avanços nesse sentido e tem se mostrado útil na predição precoce de eventos intra-hospitalares. Diversos escores foram desenvolvidos com base em sinais vitais, como frequência cardíaca, frequência respiratória, pressão arterial, saturação de oxigênio e nível de consciência, apresentando bom desempenho preditivo (1. Smith GB, Prytherch DR, Meredith P, Schmidt PE, Featherstone PL The ability of the National Early Warning Score (NEWS) to discriminate patients at risk of early cardiac arrest, unanticipated intensive care unit admission, and death. Resuscitation. 2013;84(4):465-470. 2. Churpek MM, Yuen TC, Park SY, Meltzer DO, Hall JB, Edelson DP. Derivation of a cardiac arrest prediction model using ward vital signs*. Grit Care Med. 2012;40(7):2102-2108). [0003] Based on this rationale, in the early 1990s, it was proposed to establish teams that could evaluate and treat cases of initial deterioration, quickly, to obtain better outcomes, which led to a reduction in in-hospital cardiac arrests. (see Edelson DP, Churpek MM. Web Exclusives. Annals for Hospitalists Inpatient Notes - Predicting Codes-A Future With Fewer In-Hospital Cardiac Arrests. Ann Intern Med. 2017;166(10):HO2-HO3.) However, even with the progress achieved, in light of current knowledge, it is possible to say that the rapid response still work reactively, considering that their action is triggered by signs and symptoms already installed (present for a few hours) and not detected, being dependent on some degree of subjectivity and requiring manual activation. The creation of objective criteria, based on severity scores, has brought advances in this regard and has proven useful in the early prediction of in-hospital events. Several scores have been developed based on vital signs, such as heart rate, respiratory rate, blood pressure, oxygen saturation and level of consciousness, showing good predictive performance (1. Smith GB, Prytherch DR, Meredith P, Schmidt PE, Featherstone PL The ability of the National Early Warning Score (NEWS) to discriminate patients at risk of early cardiac arrest, unanticipated intensive care unit admission, and death. Resuscitation. 2013;84(4):465-470. 2. Churpek MM, Yuen TC, Park SY, Meltzer DO, Hall JB, Edelson DP. Derivation of a cardiac arrest prediction model using ward vital signs*. Grit Care Med. 2012;40(7):2102-2108).
[0004] Atualmente estes escores são utilizados na prática clínica em diversos hospitais pelo mundo, tendo se tornado um padrão de boas práticas e qualidade, presente, inclusive, como item obrigatório em processos acreditação hospitalar. Em alguns casos, os dados dos pacientes (sinais vitais, principalmente) são integrados, a partir dos prontuários eletrônicos, acrescentando-se que podem também existir sistemas de alerta e acionamento automático dos times de resposta rápida a partir de gatilhos pré-determinados (isto é, quando o escore deste paciente atinge o gatilho, a equipe de urgência é acionada). Ocorre que mesmo nesses casos de completa integração e acionamento automático (que não são realidade no nosso país, e não são comuns em outros países) os sinais vitais nas alas não são registrados com frequência (mesmo em pacientes sob monitorização contínua, por exemplo, em unidades Semi-lntensivas) e, nos casos de deterioração, apenas os valores pontualmente obtidos são utilizados na decisão de disparar o acionamento do médico do Time de Resposta Rápida. Outros fatores, como a carga de trabalho do médico e da equipe multiprofissional, pacientes de alta complexidade, envelhecimento da população etc., também podem prejudicar o reconhecimento imediato e intervenção nos casos de pacientes em deterioração. [0004] Currently, these scores are used in clinical practice in several hospitals around the world, having become a standard of good practices and quality, even present as a mandatory item in hospital accreditation processes. In some cases, patient data (vital signs, mainly) are integrated from electronic medical records, adding that there may also be alert systems and automatic activation of rapid response teams based on pre-determined triggers (i.e. That is, when this patient's score reaches the trigger, the emergency team is called). It turns out that even in these cases of complete integration and automatic activation (which are not a reality in our country, and are not common in other countries) vital signs in the wards are not recorded frequently (even in patients under continuous monitoring, for example, in Semi-intensive units) and, in cases of deterioration, only the values obtained on time are used in the decision to call the Rapid Response Team doctor. Other factors, such as the workload of the doctor and the multidisciplinary team, highly complex patients, aging of the population, etc., can also hinder immediate recognition and intervention. in cases of deteriorating patients.
[0005] Assim, sistemas automatizados que possam alertar a equipe assistencial sobre a deterioração clínica iminente podem permitir uma intervenção em um momento mais precoce, evitando assim o agravo do processo patológico, a necessidade de intervenções, aumentando as chances de recuperação e reduzindo custos. [0005] Thus, automated systems that can alert the care team about imminent clinical deterioration can allow intervention at an earlier time, thus avoiding the worsening of the pathological process, the need for interventions, increasing the chances of recovery and reducing costs.
[0006] Entretanto, os escores conhecidos do estado da técnica são geralmente baseados em medidas pontuais dos sinais vitais, que ocorrem habitualmente de quatro a seis vezes por dia. [0006] However, the known prior art scores are generally based on punctual measurements of vital signs, which usually occur four to six times a day.
[0007] O uso de escores pontuais desconsidera possíveis tendências de variações destes sinais e, consequentemente, é incapaz de associar tais tendências à predição de evolução clínica do paciente. [0007] The use of point scores disregards possible trends in variations of these signs and, consequently, is unable to associate such trends with the prediction of the patient's clinical evolution.
OBJETIVOS DA INVENÇÃO OBJECTIVES OF THE INVENTION
[0008] É um dos objetivos da presente invenção desenvolver uma ferramenta preditiva de desfecho de evolução clínica de um indivíduo. A evolução clínica pode ser, por exemplo, a deterioração clínica em pacientes internados em uma unidade de terapia semi-intensiva, deterioração clínica de pacientes internados em alas/enfermarias ou deterioração clínica domiciliar de pacientes com alto risco de i n te rn ação/re i nte rn ação . [0008] It is one of the objectives of the present invention to develop a predictive tool for the outcome of an individual's clinical evolution. The clinical evolution can be, for example, clinical deterioration in patients admitted to a semi-intensive care unit, clinical deterioration in patients admitted to wards/wards or clinical deterioration at home in patients at high risk of hospitalization/reaction. ntern action.
[0009] É outro objetivo da presente invenção fornecer um método de treinamento capaz de treinar uma rede neural artificial para predizer o desfecho de evolução clínica de um indivíduo utilizando tendências e variações nos sinais vitais do indivíduo. [0009] It is another objective of the present invention to provide a training method capable of training an artificial neural network to predict the outcome of an individual's clinical evolution using trends and variations in the individual's vital signs.
[0010] É ainda outro objetivo da presente invenção fornecer um método de predição de desfecho clínico de um indivíduo capaz de utilizar valores absolutos, tendências e variações nos sinais vitais do indivíduo obtidos em tempo real ou próximo ao tempo real (real time ou near real time). [0010] It is yet another objective of the present invention to provide a method for predicting the clinical outcome of an individual capable of using absolute values, trends and variations in the individual's vital signs obtained in real time or near real time. team).
BREVE DESCRIÇÃO DA INVENÇÃO BRIEF DESCRIPTION OF THE INVENTION
[0011] A presente invenção atinge os objetivos acima por meio de um método de treinamento de um modelo baseado em inteligência artificial para predição de desfecho clínico de um indivíduo, que compreende: - para cada indivíduo de um primeiro conjunto de indivíduos: identificar um evento indicativo do desfecho clínico para o indivíduo como um evento de desfecho favorável ou como um evento de desfecho desfavorável; estabelecer um primeiro período de tempo predeterminado, em que o primeiro período de tempo predeterminado é um intervalo de tempo que antecede o evento de desfecho; estabelecer um segundo período de tempo predeterminado, em que o segundo período de tempo predeterminado é um intervalo de tempo que antecede o intervalo de tempo do primeiro período de tempo predeterminado e em que o segundo período de tempo compreende múltiplos subperíodos de tempo iguais; obter, para cada subperíodo de tempo, aferições múltiplas de cada sinal vital de uma pluralidade de sinais vitais do indivíduo; obter um valor representativo para cada sinal vital dentro de cada subperíodo de tempo com base nas aferições múltiplas realizadas para cada sinal vital naquele subperíodo de tempo; estabelecer um sequência temporal de valores agregados de sinais vitais para cada um da pluralidade de sinais vitais dentro do segundo período de tempo, a sequência temporal compreendendo os valores representativos para cada sinal vital nos subperíodos de tempo do segundo período de tempo; e repetir as etapas acima para todos os indivíduos do primeiro conjunto de indivíduos; em que o primeiro período de tempo, o segundo período de tempo e as sequências temporais de valores agregados de sinais vitais para cada um de todos os indivíduos do primeiro conjunto de indivíduos são dados de entrada de treinamento da rede neural artificial; e em que os eventos indicativos do desfecho clínico identificados como um evento de desfecho favorável ou como um evento de desfecho desfavorável para cada um de todos os indivíduos do primeiro conjunto de indivíduos são dados de saída alvo do treinamento do modelo baseado em inteligência artificial. [0011] The present invention achieves the above objectives through a method of training a model based on artificial intelligence for predicting an individual's clinical outcome, which comprises: - for each individual from a first set of individuals: identify an event indicative of the clinical outcome for the individual as a favorable outcome event or as an unfavorable outcome event; establishing a first predetermined time period, wherein the first predetermined time period is a time interval preceding the outcome event; establishing a second predetermined time period, wherein the second predetermined time period is a time interval preceding the time interval of the first predetermined time period and wherein the second time period comprises multiple equal sub-time periods; obtain, for each sub-period of time, multiple measurements of each vital sign from a plurality of the individual's vital signs; obtain a representative value for each vital sign within each sub-time period based on multiple measurements performed for each vital sign in that sub-time period; establishing a temporal sequence of aggregated vital sign values for each of the plurality of vital signs within the second time period, the temporal sequence comprising representative values for each vital sign in the subtime periods of the second time period; and repeat the above steps for all individuals in the first set of individuals; wherein the first time period, the second time period, and the temporal sequences of aggregated vital sign values for each of all individuals of the first set of individuals are training input data of the artificial neural network; and wherein the events indicative of the clinical outcome identified as a favorable outcome event or as an unfavorable outcome event for each of all subjects of the first set of subjects are target output data from training the artificial intelligence-based model.
[0012] Em uma concretização preferida da invenção, o valor representativo para cada sinal vital dentro de cada subperíodo de tempo é obtido a partir do cálculo uma média aritmética das aferições múltiplas realizadas para cada sinal vital naquele subperíodo de tempo. [0012] In a preferred embodiment of the invention, the representative value for Each vital sign within each sub-time period is obtained by calculating an arithmetic average of the multiple measurements taken for each vital sign in that time sub-period.
[0013] Quando o modelo baseado em inteligência artificial é uma rede neural recorrente, o método compreende ainda: a criação de uma matriz tridimensional de treinamento em que, para cada indivíduo do primeiro conjunto de indivíduos, a sequência temporal de valores agregados de sinais vitais para cada um da pluralidade de sinais vitais dentro do segundo período de tempo é organizada em um plano, de modo que um eixo geométrico x do plano compreende os valores de sinais vitais para cada um da pluralidade de sinais vitais e, em um eixo geométrico y do plano, os valores dos subperíodos de tempo do segundo período de tempo, e, em que os planos criados para cada indivíduo do primeiro de conjunto de indivíduos são empilhados em um eixo geométrico z para a criação da matriz; e a utilização da matriz criada com dados de entrada de treinamento da rede neural recorrente. [0013] When the artificial intelligence-based model is a recurrent neural network, the method further comprises: creating a three-dimensional training matrix in which, for each individual of the first set of individuals, the temporal sequence of aggregated vital sign values for each of the plurality of vital signs within the second time period is arranged in a plane such that an x axis of the plane comprises the vital sign values for each of the plurality of vital signs, and in a y axis of the plan, the values of the subtime periods of the second time period, and, in which the plans created for each individual of the first set of individuals are stacked on a geometric axis z to create the matrix; and the use of the matrix created with training input data from the recurrent neural network.
[0014] Quando o modelo baseado em inteligência artificial é selecionado dentre Bagging, Bernoulli, DNN, Extra Trees, KNN, LightGBM, Regressão Logística, Random Forest, Classificador SGD, SVC e XGBoost, o método compreende ainda, para cada sequência temporal de valores agregados de sinais vitais para cada um da pluralidade de sinais vitais dentro do segundo período de tempo: um valor médio dos sinais vitais da sequência temporal; um valor mínimo dos sinais vitais da sequência temporal; um valor máximo dos sinais vitais da sequência temporal; um valor de diferença entre os valores máximos e mínimos calculados; um valor diferença entre cada um dos valores da sequência temporal que excederam um valor limite preestabelecido e esse valor limite preestabelecido; um valor diferença entre cada um dos valores da sequência temporal que estão abaixo de um valor limite preestabelecido e esse valor limite preestabelecido; utilizar os valores calculados como dados de entrada de treinamento da rede neural de modelo clássico de aprendizado de máquina. [0014] When the model based on artificial intelligence is selected among Bagging, Bernoulli, DNN, Extra Trees, KNN, LightGBM, Logistic Regression, Random Forest, SGD Classifier, SVC and XGBoost, the method further comprises, for each temporal sequence of values aggregates of vital signs for each of the plurality of vital signs within the second time period: an average value of the vital signs of the time sequence; a minimum value of the temporal sequence vital signs; a maximum value of the vital signs of the time sequence; a difference value between the calculated maximum and minimum values; a difference value between each of the values of the time sequence that exceeded a pre-established threshold value and that pre-established threshold value; a difference value between each of the values in the time sequence that are below a pre-established threshold value and that pre-established threshold value; use the calculated values as training input data for the classical machine learning model neural network.
[0015] A presente invenção também contempla um método de predição de desfecho clínico de um indivíduo que utiliza o modelo preditivo de deterioração clínica baseado em inteligência artificial treinado de acordo com o método de treinamento de modelo da presente invenção, e um sistema para predição de desfecho clínico de um indivíduo que compreende pelo menos um dispositivo de monitoramento de sinais vitais configurado para realizar aferições múltiplas de pelo menos um sinal vital de uma pluralidade de sinais vitais do indivíduo; e pelo menos um meio de processamento para execução de tal método de predição. [0015] The present invention also contemplates a method for predicting the clinical outcome of an individual that uses the artificial intelligence-based clinical deterioration predictive model trained in accordance with the model training method of the present invention, and a system for predicting clinical outcome of an individual comprising at least one vital signs monitoring device configured to perform multiple measurements of at least one vital sign of a plurality of vital signs of the individual; and at least one processing means for carrying out such prediction method.
[0016] Em uma concretização da presente invenção, o sistema compreende uma pluralidade de dispositivos de monitoramento de sinais vitais, cara um dos dispositivos sendo configurado para realizar aferições múltiplas de um sinal vital diferente dentre uma pluralidade de sinais vitais do indivíduo. [0016] In one embodiment of the present invention, the system comprises a plurality of vital sign monitoring devices, with one of the devices being configured to perform multiple measurements of a different vital sign among a plurality of the individual's vital signs.
[0017] Tais dispositivos de monitoramento podem ser dispositivos de monitoramento instalados no local em que o indivíduo está internado ou localizado - tal como unidade hospitalar ou instalação domiciliar de home care - ou dispositivos vestíveis de monitoramento conectados à internet (dispositivos vestíveis do tipo IOT / Internet das Coisas). [0017] Such monitoring devices may be monitoring devices installed in the place where the individual is hospitalized or located - such as a hospital unit or home care facility - or wearable monitoring devices connected to the internet (IOT / wearable devices). Internet of Things).
BREVE DESCRIÇÃO DOS DESENHOS BRIEF DESCRIPTION OF THE DRAWINGS
[0018] A presente invenção será descrita a seguir com mais detalhes, com referências aos desenhos anexos, nos quais: [0018] The present invention will be described below in more detail, with references to the attached drawings, in which:
[0019] Figura 1 - ilustra os parâmetros de treinamento do método de treinamento de uma rede neural artificial de acordo com uma concretização da presente invenção; [0020] Figura 2 — ilustra um fluxograma simplificado do método de treinamento de rede neural artificial de acordo com uma concretização da presente invenção; e [0021] Figura 3 - ilustra um fluxograma simplificado do método de predição de desfecho de evolução clínica de um indivíduo de acordo com uma concretização da presente invenção. [0019] Figure 1 - illustrates the training parameters of the training method of an artificial neural network according to an embodiment of the present invention; [0020] Figure 2 — illustrates a simplified flowchart of the artificial neural network training method according to an embodiment of the present invention; and [0021] Figure 3 - illustrates a simplified flowchart of the method for predicting the outcome of an individual's clinical evolution according to an embodiment of the present invention.
DESCRIÇÃO DETALHADA DA INVENÇÃO DETAILED DESCRIPTION OF THE INVENTION
[0022] A presente invenção compreende um método de treinamento de um modelo baseado em inteligência artificial para predição de desfecho clínico de um indivíduo. [0022] The present invention comprises a method of training a model based on artificial intelligence to predict an individual's clinical outcome.
[0023] Em uma concretização da invenção, o modelo baseado em inteligência artificial é uma rede neural artificial. Assim, nessa concretização, para o treinamento da rede, são utilizados dados de desfechos clínicos de um primeiro conjunto de indivíduos. [0023] In one embodiment of the invention, the artificial intelligence-based model is an artificial neural network. Thus, in this embodiment, for training the network, clinical outcome data from a first set of individuals are used.
[0024] Na concretização exemplificative da invenção ilustrada nas figuras 1 a 3, esse primeiro conjunto de indivíduos compreende pacientes internados em unidade semi-intensivas, em que o desfecho clínico pode ser classificado como sendo um desfecho favorável ou um desfecho desfavorável segundo um evento definido como a trajetória de passagem do paciente pelo quarto da semi-UTI, como segue: [0024] In the exemplary embodiment of the invention illustrated in figures 1 to 3, this first set of individuals comprises patients admitted to semi-intensive units, in which the clinical outcome can be classified as being a favorable outcome or an unfavorable outcome according to a defined event as the trajectory of the patient's passage through the semi-ICU room, as follows:
[0025] Desfecho favorável (desfecho 1 ): o paciente teve alta do quarto de semi- UTI para um quarto comum ou alta do hospital (saída para casa); [0025] Favorable outcome (outcome 1): the patient was discharged from the semi-ICU room to a common room or discharged from the hospital (leaving home);
[0026] Desfecho desfavorável (desfecho 0): o paciente foi transferido do quarto de semi-UTI para um quarto de unidade de terapia intensiva (UTI) ou evoluiu para óbito. [0027] É importante destacar que o mesmo paciente pode ter múltiplas passagens por quartos de semi-UTI. Nestes casos, para cada passagem, considera-se como um “indivíduo” independente, inserido no conjunto de dados. [0026] Unfavorable outcome (outcome 0): the patient was transferred from the semi-ICU room to an intensive care unit (ICU) room or died. [0027] It is important to highlight that the same patient may have multiple visits to semi-ICU rooms. In these cases, each passage is considered as an independent “individual”, inserted in the data set.
[0028] A tabela a seguir mostra trajetórias T1 a T6 exemplificando desfechos favoráveis e desfavoráveis de um paciente dentro do hospital conforme a sequência de eventos ordenados de forma cronológica:
Figure imgf000009_0001
[0028] The following table shows trajectories T1 to T6 exemplifying favorable and unfavorable outcomes for a patient within the hospital according to the sequence of events ordered chronologically:
Figure imgf000009_0001
Figure imgf000010_0001
Figure imgf000010_0001
Tabela I - Sequência de eventos de passagem de paciente e classificação de desfecho Table I - Sequence of patient handover events and outcome classification
[0029] Assim, na trajetória T1 , a primeira passagem compreende a transferência do leito de semi-UTI (S1 ) para o leito de UTI (U1 ). Esta passagem corresponde a um “indivíduo” que tem os valores de seus atributos (features) calculados ao longo das horas que antecederam sua transferência. Na segunda passagem da trajetória T1 , há transferência do indivíduo de um leito de semi-UTI (S1 ) para um leito de UTI (U1 ) ou na evolução do quadro para óbito. Este caso descreve uma trajetória com desfecho de evolução clínica desfavorável. [0029] Thus, in the T1 trajectory, the first pass comprises the transfer from the semi-ICU bed (S1) to the ICU bed (U1). This passage corresponds to an “individual” who has the values of his attributes (features) calculated over the hours that preceded his transfer. In the second passage of the T1 trajectory, the individual is transferred from a semi-ICU bed (S1) to an ICU bed (U1) or the condition progresses to death. This case describes a trajectory with an unfavorable clinical outcome.
[0030] A trajetória T2 mostra exemplifica o desfecho desfavorável em que o indivíduo é transferido de um leito comum (L1 ) para um leito de semi-UTI (S1 ) ou para um leito de UTI (U1 ) ou em que seu quadro evolui para óbito após a admissão no leito comum (L1 ). [0030] The trajectory T2 shows exemplifies the unfavorable outcome in which the individual is transferred from a common bed (L1) to a semi-ICU bed (S1) or to an ICU bed (U1) or in which their condition progresses to death after admission to the common bed (L1).
[0031] Na trajetória T3 é exemplificado um desfecho desfavorável em que o indivíduo, monitorado em seu domicílio, precisa ser admitido para internação. Nesse caso, o indivíduo tem os valores de seus atributos (features) calculados ao longo das horas que antecederam sua internação. Nesse exemplo, o monitoramento pode ser realizado utilizando-se recursos vestíveis - “wearables” - para aquisição de dados em tempo real ou próximo ao tempo real. [0031] In trajectory T3, an unfavorable outcome is exemplified in which the individual, monitored at home, needs to be admitted for hospitalization. In this case, the individual has the values of his attributes (features) calculated over the hours preceding his hospitalization. In this example, monitoring can be carried out using wearable resources - “wearables” - to acquire data in real time or close to real time.
[0032] A trajetória T4 mostra um desfecho favorável, com a transferência do indivíduo de leito de semi-UTI (S1 ) para leito comum ou com a alta do indivíduo para domicílio. A trajetória T5 possui desfecho favorável similar, com a alta do indivíduo após internação. [0032] The T4 trajectory shows a favorable outcome, with the transfer of the individual from a semi-ICU bed (S1) to a common bed or with the individual being discharged home. The T5 trajectory has a similar favorable outcome, with the individual being discharged after hospitalization.
[0033] Na trajetória T6 há um desfecho favorável que compreende a manutenção do paciente em seu domicílio por um período determinado. [0033] In trajectory T6 there is a favorable outcome that includes keeping the patient at home for a determined period.
[0034] Desta forma, a partir da trajetória deste paciente é possível se gerar registros distintos que passam a incorporar o conjunto de dados históricos para um primeiro conjunto de indivíduos. Nesse caso, o indivíduo tem os valores de seus atributos (features) calculados ao longo das horas que antecederam o fim do período determinado ou o fim de um intervalo predeterminado da avaliação. [0034] In this way, based on this patient's trajectory, it is possible to generate distinct records that incorporate the set of historical data for a first set of individuals. In this case, the individual has the values of his attributes (features) calculated over the hours that preceded the end of the determined period or the end of a predetermined evaluation interval.
[0035] Assim, como mostra a figura 2, o treinamento de uma rede neural de acordo com o método da presente invenção compreende uma primeira etapa de coleta dos dados do indivíduo para predição (ET101 ). [0035] Thus, as shown in figure 2, training a neural network according to the method of the present invention comprises a first step of collecting data from the individual for prediction (ET101).
[0036] Nessa etapa, para cada indivíduo de um primeiro conjunto de indivíduos são realizadas aferições de sinais vitais ao longo de um período de tempo que antecede o desfecho. [0036] At this stage, for each individual of a first set of individuals, vital signs are measured over a period of time preceding the outcome.
[0037] Como melhor ilustrado na figura 1 , um intervalo de tempo que antecede o evento de desfecho pode ser considerado como uma janela de predição (um primeiro período de tempo predeterminado) e um segundo intervalo de tempo que antecede o primeiro período de tempo pode ser considerado como uma janela de observação (um segundo período de tempo predeterminado), em que os sinais vitais de um indivíduo são observados/aferidos até a janela de predição. [0037] As best illustrated in figure 1, a time interval preceding the outcome event can be considered as a prediction window (a first predetermined time period) and a second time interval preceding the first time period can be considered as an observation window (a second predetermined period of time), in which an individual's vital signs are observed/measured up to the prediction window.
[0038] O primeiro período de tempo determinado e o segundo período de tempo determinado serão utilizados como parâmetros para o treinamento do modelo. Assim, na concretização exemplificativa ilustrada, o primeiro período de tempo predeterminado é o parâmetro “GAP” e o segundo período de tempo predeterminado é o parâmetro “LOOKBACK”. [0038] The first determined period of time and the second determined period of time will be used as parameters for training the model. Thus, in the illustrated exemplary embodiment, the first predetermined time period is the “GAP” parameter and the second predetermined time period is the “LOOKBACK” parameter.
[0039] A sequência das aferições dos sinais vitais obedece à agregação no tempo, considerando subperíodos de tempos iguais (parâmetro AGG_TIME na figura 1 ). Assim, a janela de observação (segundo período de tempo predeterminado) compreende múltiplos subperíodos de tempo iguais. [0039] The sequence of vital sign measurements follows aggregation in time, considering subperiods of equal times (parameter AGG_TIME in figure 1). Thus, the observation window (second predetermined period of time) comprises multiple equal sub-periods of time.
[0040] O método de treinamento da presente invenção faz um pré-processamento dos dados aferidos em uma etapa de pré-processamento de dados (ET102). [0040] The training method of the present invention pre-processes the measured data in a data pre-processing step (ET102).
[0041] A figura 1 representa o histórico da passagem do paciente 1 por um leito de semi-UTI. A Figura 1 ilustra a trajetória deste paciente e, ao se analisar um segundo período predeterminado de tempo de, por exemplo, 05 horas (janela de observação, parâmetro LOOKBACK) que antecede um primeiro período predeterminado de tempo de, por exemplo, 01 hora (janela de predição, parâmetro GAP) antes da saída do paciente do leito de semi-UTI com alta do hospital, tem-se que cada uma das 05 horas que compõem a janela de observação (LOOKBACK) possui diversas aferições para um mesmo sinal vital. Se na última hora da janela de observação foram realizadas n aferições de frequência respiratória (representadas pelas barras verde-escuro), um valor representativo dos valores obtidos por meio das n aferições é utilizado para representar a frequência respiratória deste paciente nesta hora em análise. Por fim, tem-se, para cada paciente e para cada intervalo de 1 hora (AGG_TIME) durante a janela de observação, um valor correspondente a cada um dos sinais vitais analisados. Diferentes AGG_TIME poderão ser testados pelo modelo, de forma a se buscar alcançar os limiares ótimos para cada um dos parâmetros/hiperparâmetros do modelo. [0041] Figure 1 represents the history of patient 1's passage through a semi-ICU bed. Figure 1 illustrates the trajectory of this patient and, when analyzing a second predetermined period of time of, for example, 05 hours (observation window, LOOKBACK parameter) that precedes a first predetermined period of time of, for example, 01 hour ( prediction window, GAP parameter) before the patient leaves the semi-ICU bed and is discharged from the hospital, each of the 05 hours that make up the observation window (LOOKBACK) has several measurements for the same vital sign. If n respiratory rate measurements were carried out in the last hour of the observation window (represented by dark green bars), a representative value of the values obtained through the n measurements is used to represent the respiratory rate of this patient in this hour under analysis. Finally, for each patient and for each 1-hour interval (AGG_TIME) during the observation window, there is a value corresponding to each of the vital signs analyzed. Different AGG_TIME can be tested by the model, in order to reach the optimal thresholds for each of the model's parameters/hyperparameters.
[0042] Desse modo, o método de treinamento da presente invenção compreende obter um primeiro valor representativo para cada sinal vital dentro de cada subperíodo de tempo a partir das diferentes formas de agregação possíveis, realizadas para cada sinal vital naquele subperíodo de tempo (ou seja, o cálculo do valor-representativo de cada sinal vital no subperíodo AGG_TIME), e estabelecer um sequência temporal de valores de sinais vitais para cada um da pluralidade de sinais vitais dentro do segundo período de tempo (janela de observação, parâmetro LOOKNACK), com a sequência temporal compreendendo os valores-representativos para cada sinal vital nos subperíodos de tempo do segundo período de tempo. [0042] Therefore, the training method of the present invention comprises obtain a first representative value for each vital sign within each sub-period of time from the different possible forms of aggregation performed for each vital sign in that sub-period of time (i.e., the calculation of the representative value of each vital sign in the sub-period AGG_TIME ), and establish a temporal sequence of vital sign values for each of the plurality of vital signs within the second time period (observation window, LOOKNACK parameter), with the temporal sequence comprising the representative values for each vital sign in the subperiods of time of the second time period.
[0043] Na concretização preferida da presente invenção, o valor representativo é a média aritmética dos valores aferidos para o sinal vital. [0043] In the preferred embodiment of the present invention, the representative value is the arithmetic mean of the values measured for the vital sign.
[0044] Após o pré-processamento dos dados, os dados são formatados segundo o modelo baseado em inteligência artificial que será utilizado pelo método, sendo a formatação dependente do modelo escolhido para treinamento nas etapas ET104a e ET104b. Assim, como mostra a figura 2, quando uma rede neural recorrente é utilizada, é feita uma formatação adequada na etapa ET103a e quando um modelo com algoritmo clássico é utilizado é feita uma formatação adequada na etapa ET 103b. [0045] Como ficará claro a partir dos exemplos de modelagem de modelo preditivo descritos a seguir, o primeiro período de tempo, o segundo período de tempo e as sequências temporais de sinais vitais para cada um de todos os indivíduos do primeiro conjunto de indivíduos são dados de entrada de treinamento do modelo; e o eventos indicativos do desfecho clínico identificados como um evento de desfecho favorável ou como um evento de desfecho desfavorável para cada um de todos os indivíduos do primeiro conjunto de indivíduos são dados de saída alvo do treinamento do presente modelo baseado em inteligência artificial. [0044] After pre-processing the data, the data is formatted according to the model based on artificial intelligence that will be used by the method, with the formatting depending on the model chosen for training in steps ET104a and ET104b. Thus, as shown in figure 2, when a recurrent neural network is used, appropriate formatting is done in step ET103a and when a model with a classic algorithm is used, appropriate formatting is done in step ET 103b. [0045] As will be clear from the predictive model modeling examples described below, the first time period, the second time period, and the temporal sequences of vital signs for each of all individuals in the first set of individuals are model training input data; and the events indicative of the clinical outcome identified as a favorable outcome event or as an unfavorable outcome event for each of all individuals in the first set of individuals are target output data for training the present artificial intelligence-based model.
Exemplos de modelagem de modelos preditivos Predictive Model Modeling Examples
[0046] Para a realização dos exemplos descritos a seguir, foram utilizados os seguintes parâmetros de LOOKBACK, GAP e AGG_TIME:
Figure imgf000013_0001
Figure imgf000014_0001
[0046] To carry out the examples described below, the following LOOKBACK, GAP and AGG_TIME parameters were used:
Figure imgf000013_0001
Figure imgf000014_0001
Tabela II - Parâmetros propostos para a modelagem Table II - Proposed parameters for modeling
Modelagem para rede neural recorrente (exemplo de uma das técnicas utilizadas na invenção) Modeling for recurrent neural network (example of one of the techniques used in the invention)
[0047] A fim de se utilizar um modelo baseado em rede neural recorrente (RNN), foi construída uma matriz tridimensional. Assim, para um determinado paciente, após a agregação de seus valores dos sinais vitais dentro dos intervalos de agregação (AGG_TIME) por meio da média ou outras medidas-representativas, cada uma das sequências de sinais vitais das janelas de observação foi organizada em um plano, tendo, no eixo X, todos os sinais vitais monitorados e, no eixo Y, os valores de todos os intervalos AGG_TIME que compõem a janela de observação (LOOKBACK). Desta forma, as dimensões do plano obtido para o paciente são (número de sinais vitais monitorados) X (largura da janela de observação - LOOKBACK - em unidades de intervalos de agregação AGG_TIME). Por fim, empilhando-se os planos de todos as passagens de pacientes por semi-UTI em um eixo Z, obtém-se a matriz utilizada como insumo para o treinamento, validação e teste da RNN. [0047] In order to use a model based on a recurrent neural network (RNN), a three-dimensional matrix was constructed. Thus, for a given patient, after aggregating their vital sign values within the aggregation intervals (AGG_TIME) through the average or other representative measures, each of the vital sign sequences of the observation windows was organized in a plane , having, on the X axis, all monitored vital signs and, on the Y axis, the values of all AGG_TIME intervals that make up the observation window (LOOKBACK). In this way, the dimensions of the plan obtained for the patient are (number of vital signs monitored) Finally, by stacking the plans of all patient passages through the semi-ICU on a Z axis, the matrix used as input for training, validation and testing of the RNN is obtained.
[0048] A arquitetura da rede neural recorrente LSTM utilizada possui as seguintes camadas: [0048] The LSTM recurrent neural network architecture used has the following layers:
[0049] Camada RNN (LSTM) - entrada: [0049] RNN layer (LSTM) - input:
- units: dimensão de saída da camada RNN - número de features (valores- representativos derivadas dos valores dos diferentes sinais vitais aferidos ao longo do tempo). - units: output dimension of the RNN layer - number of features (representative values derived from the values of different vital signs measured over time).
- input_shape: dimensão de saída da camada RNN - número de features (valores-representativos derivadas dos valores dos diferentes sinais vitais aferidos ao longo do tempo). - input_shape: output dimension of the RNN layer - number of features (representative values derived from the values of different vital signs measured over time).
- return_sequences: False - retorno da camada RNN com apenas as dimensões (número de passagens de pacientes em semi-UTI X número de features)- return_sequences: False - return the RNN layer with only the dimensions (number of patient passages in semi-ICU X number of features)
- activation: função de ativação dos neurônios das camadas intermediárias (“relu” ou “tanh”)2 - activation: activation function of neurons in the intermediate layers (“relu” or “tanh”)2
[0050] Camada Dropout - intermediária: dropout: taxa de “dropout” (retirada) de neurônios da camada intermediária (0.1 - 0.2) [0050] Dropout layer - intermediate: dropout: “dropout” rate (withdrawal) of neurons from the intermediate layer (0.1 - 0.2)
[0051] Camada Dense - saída: [0051] Dense Layer - output:
- activation: função de ativação dos neurônios das camadas de saída (“sigmoid”) - activation: activation function of neurons in the output layers (“sigmoid”)
- units: dimensão de saída da camada de saída - 01 - units: output dimension of the output layer - 01
[0052] Modelagem para modelos clássicos de rede neural artificial (exemplo de diferentes técnicas utilizadas pela presente invenção). [0052] Modeling for classic artificial neural network models (example of different techniques used by the present invention).
[0053] Na abordagem de modelos clássicos de classificação nesta abordagem, todo o conjunto de sinais vitais, após a agregação segundo o parâmetro AGG_TIME, foi agregado um uma só linha para cada passagem por semi-UTI dentro da janela de observação (LOOKBACK) e, com isso, os seguintes critérios de agregação foram aplicados: [0053] In the approach of classical classification models in this approach, the entire set of vital signs, after aggregation according to the AGG_TIME parameter, was aggregated into a single line for each passage through the semi-ICU within the observation window (LOOKBACK) and , therefore, the following aggregation criteria were applied:
[0054] MEAN: para cada sinal vital, foi calculado o valor médio dentro da janela de observação; [0054] MEAN: for each vital sign, the average value within the observation window was calculated;
[0055] MIN: para cada sinal vital, foi calculado o valor mínimo dentro da janela de observação: [0055] MIN: for each vital sign, the minimum value within the observation window was calculated:
[0056] MÁX: para cada sinal vital, foi calculado o valor máximo dentro da janela de observação; [0056] MAX: for each vital sign, the maximum value within the observation window was calculated;
[0057] AMP: para cada sinal vital, foi calculada a amplitude (diferença entre o valor máximo e mínimo) dentro da janela de observação; [0057] AMP: for each vital sign, the amplitude (difference between the maximum and minimum value) was calculated within the observation window;
[0058] HIGH_SUM: para cada sinal vital, foram somadas as diferenças entre os valores que excederam o limite superior de normalidade e este limite durante toda a janela de observação; [0058] HIGH_SUM: for each vital sign, the differences between the values that exceeded the upper limit of normality and this limit during the entire observation window were added;
[0059] LOW_SUM: para cada sinal vital, foram somadas as diferenças entre os valores que ficaram abaixo do limite inferior de normalidade e este limite durante toda a janela de observação. [0059] LOW_SUM: for each vital sign, the differences between the values that were below the lower limit of normality and this limit throughout the entire period were added. the observation window.
[0060] Deve ser entendido que concretizações da invenção poderiam utilizar diferentes critérios de agregação, como área sob/sobre curvas, acima ou abaixo de limiares previamente definidos, como valores da normalidade (ou calibrados com limiares mais altos ou baixos, para maior sensibilidade/especificidade). [0060] It should be understood that embodiments of the invention could use different aggregation criteria, such as area under/over curves, above or below previously defined thresholds, such as normality values (or calibrated with higher or lower thresholds, for greater sensitivity/ specificity).
[0061] A partir dos critérios de agregação que foram aplicados aos sinais vitais estudados na concretização ilustrativa do presente pedido (frequência respiratória, frequência cardíaca, pressão arterial média, pressão arterial sistólica, pressão arterial diastólica e saturação de O2), foram obtidas 34 features iniciais (ou valores- representativos derivadas dos valores dos diferentes sinais vitais aferidos ao longo do tempo). Destaca-se que, uma vez que a saturação de O2 não possui limite máximo, não são aplicáveis os critérios de agregação AMP e HIGH_SUM. A tabela abaixo apresenta os limites mínimos e máximos das faixas de normalidade adotados para os sinais vitais.
Figure imgf000016_0001
[0061] Based on the aggregation criteria that were applied to the vital signs studied in the illustrative embodiment of the present application (respiratory rate, heart rate, mean arterial pressure, systolic blood pressure, diastolic blood pressure and O2 saturation), 34 features were obtained initial values (or representative values derived from the values of different vital signs measured over time). It should be noted that, since O2 saturation has no maximum limit, the AMP and HIGH_SUM aggregation criteria are not applicable. The table below presents the minimum and maximum limits of normality ranges adopted for vital signs.
Figure imgf000016_0001
[0062] A tabela abaixo apresenta os diferentes modelos clássicos utilizados, bem como os hiperparâmetros testados (cabe ressaltar que os modelos utilizados sempre buscarão a combinação ótima de tais parâmetros/hiperparâmetros, de forma que poderão variar entre versões do modelo).
Figure imgf000017_0001
Figure imgf000018_0001
Figure imgf000019_0001
[0062] The table below presents the different classical models used, as well as the hyperparameters tested (it is worth noting that the models used will always seek the optimal combination of such parameters/hyperparameters, so they may vary between versions of the model).
Figure imgf000017_0001
Figure imgf000018_0001
Figure imgf000019_0001
Figure imgf000020_0001
Figure imgf000021_0001
Figure imgf000020_0001
Figure imgf000021_0001
Tabela IV - Modelos, parâmetros e hiperparâmetos de modelagem Table IV - Models, parameters and modeling hyperparameters
[0063] Os hiperparâmetros dos modelos clássicos são obtidos após vários ciclos de validação (sendo cada ciclo uma iteração específica conduzida pelo GridSearchCV ou Hyperopt). Após cada ciclo, a métrica de desempenho escolhida é utilizada para a verificação da qualidade do modelo. Ao final de todos os ciclos de validação que utilizam a mesma métrica de validação, a configuração de hiperparâmetros com o valor médio da métrica de validação mais elevado é selecionado. [0063] The hyperparameters of the classic models are obtained after several validation cycles (each cycle being a specific iteration conducted by GridSearchCV or Hyperopt). After each cycle, the chosen performance metric is used to check the quality of the model. At the end of all validation cycles that use the same validation metric, the hyperparameter configuration with the highest validation metric average value is selected.
[0064] Preferencialmente, o treinamento dos modelos é realizado com os dados de um primeiro conjunto de indivíduos e a validação é realizada com os dados de um segundo conjunto de indivíduos. Esse segundo conjunto, assim como o primeiro conjunto de indivíduos (utilizado para treinamento), é definido em um arquivo de configuração onde um parâmetro determina a data inicial e final das internações dos indivíduos que serão considerados para os testes do modelo. Ao final do treinamento de cada um dos modelos, os dados deste segundo conjunto de indivíduos são submetidos ao modelo e os resultados previstos dos desfechos de cada paciente são comparados com os resultados reais, gerando as métricas dos modelos. [0064] Preferably, model training is performed with data from a first set of individuals and validation is performed with data from a second set of individuals. This second set, as well as the first set of individuals (used for training), is defined in a configuration file where a parameter determines the start and end date of hospitalizations of the individuals who will be considered for model testing. At the end of training each of the models, data from this second set of individuals are submitted to the model and the predicted results of each patient's outcomes are compared with the actual results, generating the model metrics.
[0065] Além da validação de várias configurações de hiperparâmetros dos modelos clássicos de aprendizado supervisionado de máquina, também são utilizadas duas estratégias de desbalanceamento da base - SMOTE (i) e Associação de pesos (ii): [0065] In addition to validating various hyperparameter configurations of classical supervised machine learning models, they are also used two base unbalance strategies - SMOTE (i) and Weight association (ii):
[0066] (i) SMOTE: utiliza-se como estratégia para o “resampling” a opção “not majority” com o objetivo de não remover “indivíduos” da classe majoritária e, a fim de se gerar artificialmente “indivíduos” da classe minoritária, os 4, 5 ou 6 “indivíduos” mais próximos (“k_neighbors”). O parâmetro 'not majority' indica que serão criadas amostras sintéticas (indivíduos) apenas para a classe minoritária, no caso exemplificative, indivíduos com desfechos desfavoráveis. O parâmetro 'k_neighbors' indica quantas amostras reais (indivíduos com características mais próximas) serão utilizadas para a criação das amostras sintéticas. [0066] (i) SMOTE: the “not majority” option is used as a strategy for “resampling” with the aim of not removing “individuals” from the majority class and, in order to artificially generate “individuals” from the minority class , the 4, 5 or 6 closest “individuals” (“k_neighbors”). The 'not majority' parameter indicates that synthetic samples (individuals) will be created only for the minority class, in the exemplary case, individuals with unfavorable outcomes. The 'k_neighbors' parameter indicates how many real samples (individuals with the closest characteristics) will be used to create synthetic samples.
[0067] (ii) Associação de pesos: Para todos os modelos de classificação, foram associados pesos às amostras de forma inversamente proporcional às proporções das classes da variável de interesse, através do parâmetro “class_weight=balanced”, com objetivo de corrigir o desequilíbrio da classe. [0067] (ii) Association of weights: For all classification models, weights were associated with the samples inversely proportional to the proportions of the classes of the variable of interest, through the parameter “class_weight=balanced”, with the aim of correcting the imbalance from class.
[0068] A fim de se buscar a melhor configuração de modelos e hiperparâmetros, tendo em vista a vastidão do espaço de busca ao se utilizar todos os modelos e configurações possíveis de hiperparâmetros listados abaixo, empregou-se a técnica de busca “hyperopt” por meio da biblioteca Python Hyperopt que conduz a busca de forma otimizada com base na técnica “Tree-structured Parzen Estimator Approach (TPE)”. [0068] In order to seek the best configuration of models and hyperparameters, given the vastness of the search space when using all possible models and configurations of hyperparameters listed below, the “hyperopt” search technique was used for using the Python Hyperopt library that conducts the search in an optimized way based on the “Tree-structured Parzen Estimator Approach (TPE)” technique.
Perfil de Aquisição de dados de treinamento Training Data Acquisition Profile
[0069] Em uma concretização exemplificative do método da presente invenção, os valores dos sinais vitais monitorados utilizados para o treinamento e testes do modelo de predição foram coletados dos pacientes internados na unidade semi-intensiva, cuja data de admissão (entrada na unidade) está compreendida dentro de um período de 17 meses ininterrupto. Neste cenário, dados de 5.441 pacientes distintos foram utilizados, sendo que o número de passagens na unidade semi-intensiva foi de 7.955, uma vez que um mesmo paciente pode passar por esta unidade mais de uma vez durante sua internação no hospital ou em outras internações. Cada uma dessas passagens pela unidade semi-intensiva (mesmo que se trate do mesmo paciente) juntamente com os sinais vitais coletados ao longo do período da passagem corresponde a uma amostra fornecida para o treinamento e testes do modelo de predição. [0069] In an exemplary embodiment of the method of the present invention, the values of monitored vital signs used for training and testing the prediction model were collected from patients admitted to the semi-intensive unit, whose admission date (entry into the unit) is within an uninterrupted period of 17 months. In this scenario, data from 5,441 different patients were used, with the number of visits to the semi-intensive unit being 7,955, since the same patient may pass through this unit more than once during their stay in the hospital or during other hospitalizations. . Each of these visits to the semi-intensive unit (even if it is the same patient) together with the vital signs collected throughout the passage period corresponds to a sample provided for training and testing the prediction model.
[0070] Os dados de sinais vitais de cada paciente passam por um processo de preparação baseado nas janelas de observação (parâmetros AGG_TIME, LOOKBACK e GAP configurados no processo). Dessa forma, diferentes conjuntos de dados poderão ser gerados a partir dos mesmos pacientes e enviados para treinamento e testes, com objetivo de escolher o modelo com melhor desempenho. A alteração desses parâmetros poderá impactar no número de amostras para treinamento e testes, uma vez que uma passagem poderá conter dados (medidas de sinais vitais) em quantidade insuficiente. [0070] Each patient's vital signs data goes through a preparation process based on observation windows (parameters AGG_TIME, LOOKBACK and GAP configured in the process). This way, different sets of data can be generated from the same patients and sent for training and testing, with the aim of choosing the model with the best performance. Changing these parameters may impact the number of samples for training and testing, as one pass may contain insufficient data (vital sign measurements).
[0071] Os seis sinais vitais (frequência respiratória, frequência cardíaca, pressão arterial média, pressão arterial sistólica, pressão arterial diastólica e saturação de 02) foram coletados através de monitores multiparamétricos Drãger (https://www.draeger.com/pt-br_br/Products/lnfinity-Delta-Series) e enviados para um banco de dados. [0071] The six vital signs (respiratory rate, heart rate, mean arterial pressure, systolic blood pressure, diastolic blood pressure and 02 saturation) were collected using Drãger multiparametric monitors (https://www.draeger.com/pt- br_br/Products/lnfinity-Delta-Series) and sent to a database.
[0072] Destes 5.441 pacientes, 56% são do sexo masculino (sendo que 7,7% deterioraram) e 44% são do sexo feminino (com 7,2% de deterioração). [0072] Of these 5,441 patients, 56% are male (with 7.7% deteriorating) and 44% are female (with 7.2% deteriorating).
[0073] Em relação à faixa etária, os idosos [75 anos ou mais] predominam, correspondendo a 53% desses pacientes, seguido de 29% de adultos [25 a 64 anos], 16,5% de sêniores (65 a 74 anos) e 1 ,5% de jovens [15 a 24 anos]. Dos idosos, 9% deterioram. Dos sêniores, 7% deterioram. Já adultos e jovens, 5% e 4,4% respectivamente. Quando se olha os pacientes que deterioraram, os idosos correspondem a 64%, seguido dos adultos (19,5%), sêniores (15,7%) e jovens (0,8%). [0074] Os brasileiros correspondem a 87,8% dos pacientes, já os estrangeiros ou nacionalidade não informada, 12,2%. Tantos brasileiros, quanto estrangeiros, deterioram na faixa de 7,5%. [0073] Regarding the age group, the elderly [75 years or more] predominate, corresponding to 53% of these patients, followed by 29% of adults [25 to 64 years], 16.5% of seniors (65 to 74 years ) and 1.5% of young people [15 to 24 years old]. Of the elderly, 9% deteriorate. Of seniors, 7% deteriorate. Adults and young people, 5% and 4.4% respectively. When looking at patients who deteriorated, the elderly account for 64%, followed by adults (19.5%), seniors (15.7%) and young people (0.8%). [0074] Brazilians account for 87.8% of patients, while foreigners or nationalities not specified account for 12.2%. Both Brazilians and foreigners deteriorate in the range of 7.5%.
[0075] Resultados das modelagens exemplificativas [0075] Exemplary modeling results
[0076] A Tabela V apresenta os valores das métricas obtidas ao se aplicar, no conjunto de testes gerados em um primeiro momento de treinamento, os modelos com a agregação dos sinais vitais a cada 60 minutos que alcançaram os níveis mais elevados de área abaixo da curva ROC (0.75 ou 0.74).
Figure imgf000024_0001
Figure imgf000025_0001
[0076] Table V presents the values of the metrics obtained when applying, to the set of tests generated in a first moment of training, the models with the aggregation of vital signs every 60 minutes that reached the highest levels of area under the ROC curve (0.75 or 0.74).
Figure imgf000024_0001
Figure imgf000025_0001
Figure imgf000026_0001
Figure imgf000026_0001
Tabela V - Valores das métricas obtidas na aplicação dos modelos com a agregação dos sinais vitais a cada 60 minutos. Table V - Values of metrics obtained when applying the models with the aggregation of vital signs every 60 minutes.
[0077] O modelo 632 (com Tnforest without bootstraping”, métrica de validação “roc auc” e parâmetros da janela de observação LOOKBACK=2, GAP=6) possui o melhor desempenho considerando a área abaixo da curva PR para esse valor de agregação. [0077] Model 632 (with Tnforest without bootstraping”, validation metric “roc auc” and observation window parameters LOOKBACK=2, GAP=6) has the best performance considering the area under the PR curve for this aggregation value.
[0078] A Tabela VI apresenta os valores das métricas obtidas ao se aplicar, no conjunto de testes gerados em um primeiro momento de treinamento, os modelos com a agregação dos sinais vitais a cada 30 minutos que alcançaram o maior nível de área abaixo da curva ROC (0.74).
Figure imgf000027_0001
Figure imgf000028_0001
[0078] Table VI presents the values of the metrics obtained when applying, in the set of tests generated in a first moment of training, the models with the aggregation of vital signs every 30 minutes that reached the highest level of area under the curve ROC (0.74).
Figure imgf000027_0001
Figure imgf000028_0001
Figure imgf000029_0001
Figure imgf000029_0001
Figure imgf000030_0001
Figure imgf000030_0001
[0079] Os melhores valores de ROC novamente foram obtidos pelos métodos clássicos (até agora, o “bagging”, “extra trees” e “rnforest” - modelos baseados em árvores de decisão), com o melhor modelo baseado em LSTM novamente obtendo 0.65 contra 0.74 do melhor método clássico. [0079] The best ROC values were again obtained by classical methods (so far, “bagging”, “extra trees” and “rnforest” - models based on decision trees), with the best model based on LSTM again obtaining 0.65 against 0.74 for the best classical method.
[0080] Mais uma vez, os melhores resultados foram alcançados com GAP igual a 6 horas e LOOKBACK igual a 2 ou 4 dentre os primeiros. [0080] Once again, the best results were achieved with GAP equal to 6 hours and LOOKBACK equal to 2 or 4 among the first.
[0081] O modelo 354 (com “extra trees”, métrica de validação “average precision” e parâmetros da janela de observação LOOKBACK=2, GAP=6) alcança níveis elevados de área abaixo da curva ROC (0.74) e área abaixo da curva PR (0.19) e, utilizando-se o critério baseado nas curvas PDF para o estabelecimento do “threshold”, alcança precisão de 0.13 para um nível de sensibilidade de 0.65. [0081] Model 354 (with “extra trees”, validation metric “average precision” and observation window parameters LOOKBACK=2, GAP=6) achieves high levels of area under the ROC curve (0.74) and area under the PR curve (0.19) and, using the criterion based on PDF curves to establish the “threshold”, it achieves an accuracy of 0.13 for a sensitivity level of 0.65.
[0082] A Tabela VII apresenta os valores das métricas obtidas ao se aplicar, no conjunto de testes gerados em um primeiro momento de treinamento, os modelos com a agregação dos sinais vitais a cada 10 minutos que alcançaram o maior nível de área abaixo da curva ROC (0.73).
Figure imgf000031_0001
[0082] Table VII presents the values of the metrics obtained when applying, in the set of tests generated in a first moment of training, the models with the aggregation of vital signs every 10 minutes that reached the highest level of area under the curve ROC (0.73).
Figure imgf000031_0001
Figure imgf000032_0001
Figure imgf000032_0001
Tabela VII - Valores das métricas obtidas na aplicação dos modelos com a agregação dos sinais vitais a cada 10 minutos. Table VII - Values of metrics obtained when applying the models with the aggregation of vital signs every 10 minutes.
[0083] Os modelos com agregação a cada 10 minutos que tiveram os melhores resultados correspondem aos modelos que utilizaram LOOKBACK entre 2 e 4 horas e GAP de 6 horas [0083] The models with aggregation every 10 minutes that had the best results correspond to the models that used LOOKBACK between 2 and 4 hours and GAP of 6 hours
[0084] A Tabela VIII apresenta os valores das métricas obtidas ao se aplicar, no conjunto de testes gerados em um primeiro momento de treinamento, os modelos com a agregação dos sinais vitais a cada 2 minutos. Estes modelos são listados em ordem decrescente dos valores de área abaixo da curva ROC e foram descartados os modelos com valores abaixo de 0.65 para esta métrica.
Figure imgf000032_0002
Figure imgf000033_0001
[0084] Table VIII presents the values of the metrics obtained when applying, to the set of tests generated in the first moment of training, the models with the aggregation of vital signs every 2 minutes. These models are listed in descending order of area values under the ROC curve and models with values below 0.65 for this metric were discarded.
Figure imgf000032_0002
Figure imgf000033_0001
Figure imgf000034_0001
Figure imgf000034_0001
Tabela VIII - Valores das métricas obtidas na aplicação dos modelos com a agregação dos sinais vitais a cada 2 minutos. Table VIII - Values of metrics obtained when applying the models with the aggregation of vital signs every 2 minutes.
[0085] Valores inferiores dos parâmetros LOOKBACK e GAP implicam em um número mais elevado de indivíduos tanto no conjunto de treino/validação quanto no conjunto de teste. Esta pode ser uma das justificativas em termos os cinco modelos melhor colocados com LOOKBACK entre 2 e 4 horas e GAP igual a 6 horas; [0085] Lower values of the LOOKBACK and GAP parameters imply a higher number of individuals in both the training/validation set and the test set. This may be one of the justifications in terms of the five best placed models with LOOKBACK between 2 and 4 hours and GAP equal to 6 hours;
[0086] O modelo 309 (com DNN, métrica de validação ROC AUC e parâmetros da janela de observação LOOKBACK=8, GAP=12) utilizou um menor número de indivíduos de treino/validação e teste. Entretanto, para um valor de área abaixo da curva ROC de 0.71 (não muito menor do que o melhor modelo, com área abaixo da curva ROC igual a 0.73), ele apresentou uma área abaixo da curva PR igual a 0.40 (excepcionalmente mais elevado quando comparado aos demais modelos); [0086] Model 309 (with DNN, ROC AUC validation metric and observation window parameters LOOKBACK=8, GAP=12) used a smaller number of training/validation and test subjects. However, for an area under the ROC curve value of 0.71 (not much lower than the best model, with an area under the ROC curve equal to 0.73), it presented an area under the PR curve equal to 0.40 (exceptionally higher when compared to other models);
[0087] Os modelos baseados em rede neural densa DNN apresentaram níveis mais elevados de “brier score” e podem exigir calibração; [0087] Models based on dense neural network DNN presented higher levels of “brier score” and may require calibration;
[0088] A Tabela IX apresenta os valores das métricas obtidas ao se aplicar, no conjunto de testes gerados em um segundo momento de uma nova rodada de treinamento e testes, os modelos com a agregação dos sinais vitais a cada 60 minutos que alcançaram os níveis mais elevados de área abaixo da curva ROC na primeira rodada dos testes. [0088] Table IX presents the values of the metrics obtained when applying, in the set of tests generated in a second moment of a new round of training and testing, the models with the aggregation of vital signs every 60 minutes that reached the levels highest areas under the ROC curve in the first round of testing.
Figure imgf000035_0001
Figure imgf000036_0001
Figure imgf000035_0001
Figure imgf000036_0001
Tabela IX - Valores das métricas obtidas na aplicação dos modelos com a agregação dos sinais vitais a cada 60 minutos em uma segunda rodada de treinamento e testes. [0089] O modelo “mforest without bootstraping”, métrica de validação “recall” e parâmetros da janela de observação LOOKBACK=2, GAP=6 possui o melhor desempenho considerando a sensibilidade para esse valor de agregação. Table IX - Metric values obtained when applying the models with the aggregation of vital signs every 60 minutes in a second round of training and testing. [0089] The “mforest without bootstrapping” model, “recall” validation metric and observation window parameters LOOKBACK=2, GAP=6 has the best performance considering the sensitivity to this aggregation value.
[0090] Os modelos treinados de acordo com o método da presente invenção são aplicados em um método de predição de desfecho clínico de um indivíduo. O indivíduo tem seus dados monitorados em tempo real por meio de aparelhos de medição dispostos no local de internação, no caso de unidade hospitalar, no domicílio do indivíduo, no caso de home care, ou mesmo por dispositivos vestíveis de monitoramento. [0091] Assim, como mostrado na figura 3, o método de predição é iniciado com a coleta de dados (etapa EP101 ). A coleta de dados é baseada nas medidas aferidas durante o monitoramento em tempo real. Tais medidas são processadas e formatadas para que possam servir de dados de entrada ao modelo treinado como descrito anteriormente (etapas EP102 e EP103), e então a predição de desfecho favorável ou desfavorável é realizada com base no modelo treinado (etapa EP104). [0090] The models trained according to the method of the present invention are applied in a method for predicting an individual's clinical outcome. The individual has their data monitored in real time using measuring devices located at the place of hospitalization, in the case of a hospital unit, at the individual's home, in the case of home care, or even through wearable monitoring devices. [0091] Thus, as shown in figure 3, the prediction method starts with data collection (step EP101). Data collection is based on measurements taken during real-time monitoring. Such measurements are processed and formatted so that they can serve as input data to the trained model as described previously (steps EP102 and EP103), and then the prediction of a favorable or unfavorable outcome is carried out based on the trained model (step EP104).
[0092] Tendo sido descritos exemplos concretizações exemplificativas da presente invenção, deve ser entendido que o escopo da presente invenção abrange outras variações possíveis do conceito inventivo descrito, sendo limitadas tão somente pelo teor das reivindicações anexas, aí incluídos os possíveis equivalentes. [0092] Having described exemplary embodiments of the present invention, it must be understood that the scope of the present invention covers other possible variations of the described inventive concept, being limited only by the content of the attached claims, including possible equivalents.

Claims

REIVINDICAÇÕES
1 . Método de treinamento de um modelo baseado em inteligência artificial para predição de desfecho clínico de um indivíduo caracterizado pelo fato de que compreende: 1 . Method of training a model based on artificial intelligence to predict the clinical outcome of an individual characterized by the fact that it comprises:
- para cada indivíduo de um primeiro conjunto de indivíduos: identificar um evento indicativo do desfecho clínico para o indivíduo como um evento de desfecho favorável ou como um evento de desfecho desfavorável; estabelecer um primeiro período de tempo predeterminado, em que o primeiro período de tempo predeterminado é um intervalo de tempo que antecede o evento de desfecho; estabelecer um segundo período de tempo predeterminado, em que o segundo período de tempo predeterminado é um intervalo de tempo que antecede o intervalo de tempo do primeiro período de tempo predeterminado e em que o segundo período de tempo compreende múltiplos subperíodos de tempo iguais; obter, para cada subperíodo de tempo, aferições múltiplas de cada sinal vital de uma pluralidade de sinais vitais do indivíduo; obter um valor representativo para cada sinal vital dentro de cada subperíodo de tempo com base nas aferições múltiplas realizadas para cada sinal vital naquele subperíodo de tempo; estabelecer uma sequência temporal de valores agregados de sinais vitais para cada um da pluralidade de sinais vitais dentro do segundo período de tempo, a sequência temporal compreendendo os valores representativos para cada sinal vital nos subperíodos de tempo do segundo período de tempo; e repetir as etapas acima para todos os indivíduos do primeiro conjunto de indivíduos; em que o primeiro período de tempo, o segundo período de tempo e as sequências temporais de valores agregados de sinais vitais para cada um de todos os indivíduos do primeiro conjunto de indivíduos são dados de entrada de treinamento da rede neural artificial; e em que os eventos indicativos do desfecho clínico identificados como um evento de desfecho favorável ou como um evento de desfecho desfavorável para cada um de todos os indivíduos do primeiro conjunto de indivíduos são dados de saída alvo do treinamento do modelo baseado em inteligência artificial. - for each individual from a first set of individuals: identify an event indicative of the clinical outcome for the individual as a favorable outcome event or as an unfavorable outcome event; establishing a first predetermined time period, wherein the first predetermined time period is a time interval preceding the outcome event; establishing a second predetermined time period, wherein the second predetermined time period is a time interval preceding the time interval of the first predetermined time period and wherein the second time period comprises multiple equal sub-time periods; obtain, for each sub-period of time, multiple measurements of each vital sign from a plurality of the individual's vital signs; obtain a representative value for each vital sign within each sub-time period based on multiple measurements performed for each vital sign in that sub-time period; establishing a temporal sequence of aggregated vital sign values for each of the plurality of vital signs within the second time period, the temporal sequence comprising representative values for each vital sign in the subtime periods of the second time period; and repeat the above steps for all individuals in the first set of individuals; wherein the first time period, the second time period, and the temporal sequences of aggregated vital sign values for each of all individuals of the first set of individuals are training input data of the artificial neural network; and in which events indicative of the clinical outcome identified as a favorable outcome event or as an unfavorable outcome event for each of all individuals in the first set of individuals are the target output data of the artificial intelligence-based model training.
2. Método, de acordo com a reivindicação 1 , caracterizado pelo fato de que o valor representativo para cada sinal vital dentro de cada subperíodo de tempo é obtido a partir do cálculo uma média aritmética das aferições múltiplas realizadas para cada sinal vital naquele subperíodo de tempo. 2. Method, according to claim 1, characterized by the fact that the representative value for each vital sign within each sub-period of time is obtained by calculating an arithmetic average of the multiple measurements carried out for each vital sign in that sub-period of time .
3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que modelo baseado em inteligência artificial é uma rede neural recorrente e compreendendo ainda: a criação de uma matriz tridimensional de treinamento em que, para cada indivíduo do primeiro conjunto de indivíduos, a sequência temporal de valores agregados de sinais vitais para cada um da pluralidade de sinais vitais dentro do segundo período de tempo é organizada em um plano, de modo que um eixo geométrico x do plano compreende os valores de sinais vitais para cada um da pluralidade de sinais vitais e, em um eixo geométrico y do plano, os valores dos subperíodos de tempo do segundo período de tempo, e, em que os planos criados para cada indivíduo do primeiro de conjunto de indivíduos são empilhados em um eixo geométrico z para a criação da matriz; e a utilização da matriz criada com dados de entrada de treinamento da rede neural recorrente. 3. Method, according to claim 2, characterized by the fact that the artificial intelligence-based model is a recurrent neural network and further comprising: creating a three-dimensional training matrix in which, for each individual of the first set of individuals, the temporal sequence of aggregated vital sign values for each of the plurality of vital signs within the second time period is organized in a plane, such that a geometric x axis of the plane comprises the vital sign values for each of the plurality of vital signs and, on a y-axis of the plane, the values of the subtime periods of the second time period, and, wherein the plans created for each individual of the first set of individuals are stacked on a z-axis to create from the matrix; and the use of the matrix created with training input data from the recurrent neural network.
4. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que o modelo baseado em inteligência artificial é selecionado dentre Bagging, Bernoulli, DNN, Extra Trees, KNN, LightGBM, Regressão Logística, Random Forest, Classificador SGD, SVC e XGBoost, e compreendendo ainda calcular, para cada sequência temporal de valores agregados de sinais vitais para cada um da pluralidade de sinais vitais dentro do segundo período de tempo: um valor médio dos sinais vitais da sequência temporal; um valor mínimo dos sinais vitais da sequência temporal; um valor máximo dos sinais vitais da sequência temporal; um valor de diferença entre os valores máximos e mínimos calculados; um valor diferença entre cada um dos valores da sequência temporal que excederam um valor limite preestabelecido e esse valor limite preestabelecido; um valor diferença entre cada um dos valores da sequência temporal que estão abaixo de um valor limite preestabelecido e esse valor limite preestabelecido; utilizar os valores calculados como dados de entrada de treinamento da rede neural de modelo clássico de aprendizado de máquina. 4. Method, according to claim 2, characterized by the fact that the model based on artificial intelligence is selected from Bagging, Bernoulli, DNN, Extra Trees, KNN, LightGBM, Logistic Regression, Random Forest, SGD Classifier, SVC and XGBoost , and further comprising calculating, for each temporal sequence of aggregate vital sign values for each of the plurality of vital signs within the second time period: an average vital sign value of the temporal sequence; a minimum value of the temporal sequence vital signs; a maximum value of the vital signs of the time sequence; a difference value between the calculated maximum and minimum values; a difference value between each of the values of the time sequence that exceeded a pre-established threshold value and that pre-established threshold value; a difference value between each of the values in the time sequence that are below a pre-established threshold value and that pre-established threshold value; use the calculated values as training input data for the classical machine learning model neural network.
5. Método de predição de desfecho clínico de um indivíduo que utiliza um modelo preditivo de deterioração clínica baseado em inteligência artificial treinado pelo método definido na reivindicação 1 , caracterizado pelo fato de que compreende: estabelecer um primeiro período de tempo predeterminado, em que o primeiro período de tempo predeterminado é um intervalo de tempo que antecede o evento de desfecho; estabelecer um segundo período de tempo predeterminado, em que o segundo período de tempo predeterminado é um intervalo de tempo que antecede o intervalo de tempo do primeiro período de tempo predeterminado e em que o segundo período de tempo compreende múltiplos subperíodos de tempo iguais; obter, para cada subperíodo de tempo, aferições múltiplas de cada sinal vital de uma pluralidade de sinais vitais do indivíduo; obter um valor representativo para cada sinal vital dentro de cada subperíodo de tempo com base nas aferições múltiplas realizadas para cada sinal vital naquele subperíodo de tempo; estabelecer uma sequência temporal de valores agregados de sinais vitais para cada um da pluralidade de sinais vitais dentro do segundo período de tempo, a sequência temporal compreendendo os valores representativos para cada sinal vital nos subperíodos de tempo do segundo período de tempo; utilizar o primeiro período de tempo, o segundo período de tempo e as sequências temporais de valores agregados de sinais vitais como dados de entrada de um modelo preditivo de deterioração clínica baseado em inteligência artificial treinado; e obter uma predição de um desfecho clínico como um evento de desfecho favorável ou como um evento de desfecho desfavorável. 5. Method of predicting the clinical outcome of an individual using a predictive model of clinical deterioration based on artificial intelligence trained by the method defined in claim 1, characterized by the fact that it comprises: establishing a first predetermined period of time, in which the first predetermined time period is a time interval that precedes the outcome event; establishing a second predetermined time period, wherein the second predetermined time period is a time interval preceding the time interval of the first predetermined time period and wherein the second time period comprises multiple equal sub-time periods; obtain, for each sub-period of time, multiple measurements of each vital sign from a plurality of the individual's vital signs; obtain a representative value for each vital sign within each sub-time period based on multiple measurements performed for each vital sign in that sub-time period; establishing a temporal sequence of aggregated vital sign values for each of the plurality of vital signs within the second time period, the temporal sequence comprising representative values for each vital sign in the subtime periods of the second time period; using the first time period, the second time period and the temporal sequences of aggregated vital sign values as input data of a trained artificial intelligence-based clinical deterioration predictive model; It is obtain a prediction of a clinical outcome as a favorable outcome event or as an unfavorable outcome event.
6. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que o valor representativo para cada sinal vital dentro de cada subperíodo de tempo é obtido a partir do cálculo uma média aritmética das aferições múltiplas realizadas para cada sinal vital naquele subperíodo de tempo. 6. Method, according to claim 5, characterized by the fact that the representative value for each vital sign within each sub-period of time is obtained by calculating an arithmetic average of the multiple measurements carried out for each vital sign in that sub-period of time .
7. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que modelo preditivo de deterioração clínica baseado em inteligência artificial inicial é uma rede neural artificial do tipo Extra Trees, o primeiro período de tempo predeterminado é 6 horas, o segundo período de tempo predeterminado é 2 horas e cada um dos subperíodos de tempo é 60 minutos. 7. Method, according to claim 6, characterized by the fact that the clinical deterioration predictive model based on initial artificial intelligence is an Extra Trees type artificial neural network, the first predetermined period of time is 6 hours, the second period of Default time is 2 hours and each of the sub-time periods is 60 minutes.
8. Sistema para predição de desfecho clínico de um indivíduo, caracterizado pelo fato de que compreende: pelo menos um dispositivo de monitoramento de sinais vitais configurado para realizar aferições múltiplas de pelo menos um sinal vital de uma pluralidade de sinais vitais do indivíduo; e pelo menos um meio de processamento para execução do método de predição de desfecho clínico de um indivíduo definido na reivindicação 5. 8. System for predicting an individual's clinical outcome, characterized by the fact that it comprises: at least one vital signs monitoring device configured to perform multiple measurements of at least one vital sign of a plurality of the individual's vital signs; and at least one processing means for carrying out the method of predicting the clinical outcome of an individual defined in claim 5.
9. Sistema, de acordo com a reivindicação 8, caracterizado pelo fato de que o pelo menos um dispositivo de monitoramento de sinais vitais é um dispositivo vestível. 9. System according to claim 8, characterized by the fact that the at least one vital signs monitoring device is a wearable device.
10. Sistema, de acordo com qualquer uma das reivindicações 8 ou 9, caracterizado pelo fato de que compreende uma pluralidade de dispositivos de monitoramento de sinais vitais, cara um dos dispositivos sendo configurado para realizar aferições múltiplas de um sinal vital diferente dentre uma pluralidade de sinais vitais do indivíduo. 10. System according to any one of claims 8 or 9, characterized by the fact that it comprises a plurality of vital sign monitoring devices, with one of the devices being configured to perform multiple measurements of a different vital sign among a plurality of vital signs of the individual.
PCT/BR2023/050263 2022-10-06 2023-08-16 Method of training an artificial intelligence–based model for predicting the clinical outcome of an individual and method of predicting the clinical outcome of an indivdual using such artificial intelligence–based model WO2024073826A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
BR102022020266-4A BR102022020266A2 (en) 2022-10-06 METHOD FOR TRAINING A MODEL BASED ON ARTIFICIAL INTELLIGENCE FOR PREDICTING THE CLINICAL OUTCOME OF AN INDIVIDUAL AND METHOD FOR PREDICTING THE CLINICAL OUTCOME OF AN INDIVIDUAL USING SUCH A MODEL BASED ON ARTIFICIAL INTELLIGENCE
BR1020220202664 2022-10-06

Publications (1)

Publication Number Publication Date
WO2024073826A1 true WO2024073826A1 (en) 2024-04-11

Family

ID=90607491

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/BR2023/050263 WO2024073826A1 (en) 2022-10-06 2023-08-16 Method of training an artificial intelligence–based model for predicting the clinical outcome of an individual and method of predicting the clinical outcome of an indivdual using such artificial intelligence–based model

Country Status (1)

Country Link
WO (1) WO2024073826A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130262357A1 (en) * 2011-10-28 2013-10-03 Rubendran Amarasingham Clinical predictive and monitoring system and method
US10923233B1 (en) * 2018-06-13 2021-02-16 Clarify Health Solutions, Inc. Computer network architecture with machine learning and artificial intelligence and dynamic patient guidance
US20220059223A1 (en) * 2020-08-24 2022-02-24 University-Industry Cooperation Group Of Kyung Hee University Evolving symptom-disease prediction system for smart healthcare decision support system
CN114242259A (en) * 2020-09-07 2022-03-25 奇美医疗财团法人奇美医院 Advanced influenza condition prediction system, program product and establishing and using method thereof
US20220122732A1 (en) * 2020-10-16 2022-04-21 Alpha Global IT Solutions System and method for contactless monitoring and early prediction of a person
US11322234B2 (en) * 2019-07-25 2022-05-03 International Business Machines Corporation Automated content avoidance based on medical conditions
WO2022115356A1 (en) * 2020-11-26 2022-06-02 F. Hoffmann-La Roche Ag Techniques for generating predictive outcomes relating to spinal muscular atrophy using artificial intelligence

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130262357A1 (en) * 2011-10-28 2013-10-03 Rubendran Amarasingham Clinical predictive and monitoring system and method
US10923233B1 (en) * 2018-06-13 2021-02-16 Clarify Health Solutions, Inc. Computer network architecture with machine learning and artificial intelligence and dynamic patient guidance
US11322234B2 (en) * 2019-07-25 2022-05-03 International Business Machines Corporation Automated content avoidance based on medical conditions
US20220059223A1 (en) * 2020-08-24 2022-02-24 University-Industry Cooperation Group Of Kyung Hee University Evolving symptom-disease prediction system for smart healthcare decision support system
CN114242259A (en) * 2020-09-07 2022-03-25 奇美医疗财团法人奇美医院 Advanced influenza condition prediction system, program product and establishing and using method thereof
US20220122732A1 (en) * 2020-10-16 2022-04-21 Alpha Global IT Solutions System and method for contactless monitoring and early prediction of a person
WO2022115356A1 (en) * 2020-11-26 2022-06-02 F. Hoffmann-La Roche Ag Techniques for generating predictive outcomes relating to spinal muscular atrophy using artificial intelligence

Similar Documents

Publication Publication Date Title
Alazzam et al. [Retracted] A Novel Smart Healthcare Monitoring System Using Machine Learning and the Internet of Things
KR102008196B1 (en) Apparatus for generating of Potassium level determination model using ECG and method thereof
CN106073755A (en) The implementation method that in a kind of miniature holter devices, atrial fibrillation identifies automatically
CN106066933B (en) The method for obtaining atrial fibrillation identification artificial neural network weight value matrix
CN105228508A (en) A kind of system and method measured for the risk score of classifying
Li-wei et al. A model-based machine learning approach to probing autonomic regulation from nonstationary vital-sign time series
CN116364290B (en) Hemodialysis characterization identification and complications risk prediction system based on multi-view alignment
CN112967803A (en) Early mortality prediction method and system for emergency patients based on integrated model
TWI688371B (en) Intelligent device for atrial fibrillation signal pattern acquisition and auxiliary diagnosis
Papageorgiou A Fuzzy Inference Map approach to cope with uncertainty in modeling medical knowledge and making decisions
Bajpai et al. Early Prediction of Cardiac Arrest Using Hybrid Machine Learning Models
Manna et al. Decision tree predictive learner-based approach for false alarm detection in ICU
KR101009083B1 (en) Bayesian network system for incident risk prediction of pressure ulcers
WO2024073826A1 (en) Method of training an artificial intelligence–based model for predicting the clinical outcome of an individual and method of predicting the clinical outcome of an indivdual using such artificial intelligence–based model
De Baets et al. Positive blood culture detection in time series data using a BiLSTM network
BR102022020266A2 (en) METHOD FOR TRAINING A MODEL BASED ON ARTIFICIAL INTELLIGENCE FOR PREDICTING THE CLINICAL OUTCOME OF AN INDIVIDUAL AND METHOD FOR PREDICTING THE CLINICAL OUTCOME OF AN INDIVIDUAL USING SUCH A MODEL BASED ON ARTIFICIAL INTELLIGENCE
Liu et al. A novel interpretable feature set optimization method in blood pressure estimation using photoplethysmography signals
Wu et al. Bio-medical application on predicting systolic blood pressure using neural networks
Roversi et al. A Dynamic Bayesian Network model for simulating the progression to diabetes onset in the ageing population
CN116564512A (en) Artificial intelligence prognosis evaluation system for heart failure and renal insufficiency patient
Bhatti et al. Vital Sign Forecasting for Sepsis Patients in ICUs
Doulani et al. Edge-Based Smart Health Monitoring Device for Infectious Disease Prediction Using Biosensors
CN115336977A (en) Accurate ICU alarm grading evaluation method
Fowler et al. Quality of object representations related to service utilization in a long-term residential treatment center.
Türk et al. Comparison of multi layer perceptron and Jordan Elman neural networks for diagnosis of hypertension

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23874121

Country of ref document: EP

Kind code of ref document: A1