WO2023184598A1 - 基于人工智能的心脏模拟器数据矫正系统和方法 - Google Patents

基于人工智能的心脏模拟器数据矫正系统和方法 Download PDF

Info

Publication number
WO2023184598A1
WO2023184598A1 PCT/CN2022/087072 CN2022087072W WO2023184598A1 WO 2023184598 A1 WO2023184598 A1 WO 2023184598A1 CN 2022087072 W CN2022087072 W CN 2022087072W WO 2023184598 A1 WO2023184598 A1 WO 2023184598A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
data
training
cnn
lstm
Prior art date
Application number
PCT/CN2022/087072
Other languages
English (en)
French (fr)
Inventor
张立炜
胡冠彤
彭钰楠
王贝西
彭胡
Original Assignee
胡冠彤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 胡冠彤 filed Critical 胡冠彤
Publication of WO2023184598A1 publication Critical patent/WO2023184598A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models

Definitions

  • the present invention relates to the technical field of abnormal data identification and correction of medical data, and in particular to a heart simulator data correction system and method based on artificial intelligence.
  • the original training data for this type of auxiliary diagnosis algorithm is basically clinical CT images and MRI images.
  • the convolutional neural network (CNN) is trained through supervised learning (Supervised learning) or semi-supervised learning (Semi-Supervised learning) to identify tiny tumors. lesions.
  • CNN convolutional neural network
  • time-series data time-series data, a data type in which time is an independent variable
  • artificial intelligence for example, see patent CN 104766175 A.
  • the present invention discloses a heart simulator data correction system and method based on artificial intelligence.
  • the data generated by the in vitro heart simulator can be dynamically corrected, thereby achieving a level close to that in vivo.
  • the real data of the heart enables the heart simulator to meet clinical application standards.
  • more accurate data will help clinicians/operators make more accurate decisions and predict the patient's postoperative survival time based on simulator data.
  • an artificial intelligence-based heart simulator data correction system which includes: a simulation data collection module that collects data generated by the detection of the animal heart simulator by a cardiac large blood vessel detector. Simulated data The matrix is then imported into the hybrid neural network to train the hybrid neural network, so that the hybrid neural network has the ability to know X and predict Y.
  • the hybrid neural network includes a fully connected neural network/multi-layer perceptron neural network MLP, Convolutional neural network CNN, and long and short temporal neural network LSTM, and the hybrid neural network also includes a stacking algorithm module. After the data matrix is simultaneously imported into the three neural networks MLP, CNN, and LSTM, through the stacking algorithm module The output results of the three neural networks MLP, CNN, and LSTM are stacked and output.
  • m 1,2,3...M ⁇ , where M is The number of training samples, the maximum iteration number K, the starting states DBP k of the three neural networks, and the sample weight distribution D k with the iteration number K; the training data set S is divided into a training set S1 and a verification set S2.
  • the training set S1 is used to evaluate the AI performance during the training process, and the training set S2 is used to evaluate the AI performance during real use.
  • the output of each neural network is the prediction function F k (x), where the prediction function F k ( The training process of x) includes:
  • the stacking algorithm module uses the KRR stacking algorithm to stack the output results of the three neural networks MLP, CNN, and LSTM.
  • MLP includes 5 hidden layers, and each layer has 64 neurons;
  • CNN is constructed using a 1 ⁇ 1 one-dimensional convolution kernel and includes a hidden convolution layer, a hidden pooling layer and a flattening layer.
  • the flat layer of the CNN is input into a fully connected neural network composed of two hidden layers, and finally completes the weighted summary of the weights of each neuron;
  • the LSTM is a four-layer LSTM with 32 hidden layers.
  • the hybrid neural network training is completed, it is further used to correct the simulation data generated by the cardiac in vitro simulator.
  • simulated data of the heart simulator of at least two animals and real data of the in vivo heart are collected.
  • the invention also provides an artificial intelligence-based heart simulator data correction method, which includes: collecting simulation data The real data Y generated by animal heart detection in vivo; integrate the simulated data The ability to predict Y knowing Among the three neural networks MLP, CNN, and LSTM, the stacking algorithm is then used to stack the output results of the three neural networks MLP, CNN, and LSTM.
  • m 1,2,3...M ⁇ , where M is The number of training samples, the maximum iteration number K, the starting states DBP k of the three neural networks, and the sample weight distribution D k with the iteration number K; the training data set S is divided into a training set S1 and a verification set S2.
  • the training set S1 is used to evaluate the AI performance during the training process, and the training set S2 is used to evaluate the AI performance during real use.
  • the output of each neural network is the prediction function F k (x), where the prediction function F k ( The training process of x) includes:
  • Figure 1 is a flow chart of AI training for in vitro heart simulator data correction according to the present invention
  • Figure 2 is a schematic structural diagram of the hybrid neural network of the present invention.
  • Figure 3 is a flow chart of AI prediction for in vitro heart simulator data correction according to the present invention.
  • the present invention aims to provide an artificial intelligence algorithm specifically used to identify and correct the data generated by the simulator.
  • the data generated thereby make the data generated by the simulator as similar or similar to the real heart data as possible.
  • an artificial intelligence-based heart simulator data correction system which includes: a simulation data collection module that collects data generated by the cardiac large vessel detector detecting the animal heart simulator. Simulated data The matrix is then imported into the hybrid neural network to train the hybrid neural network, so that the hybrid neural network has the ability to know X and predict Y.
  • the hybrid neural network includes a fully connected neural network/multi-layer perceptron neural network MLP, Convolutional neural network CNN, and long and short temporal neural network LSTM, and the hybrid neural network also includes a stacking algorithm module. After the data matrix is simultaneously imported into the three neural networks MLP, CNN, and LSTM, through the stacking algorithm module The output results of the three neural networks MLP, CNN, and LSTM are stacked and output.
  • m 1,2,3...M ⁇ , where M is The number of training samples, the maximum iteration number K, the starting states DBP k of the three neural networks, and the sample weight distribution D k with the iteration number K; the training data set S is divided into a training set S1 and a verification set S2.
  • the training set S1 is used to evaluate the AI performance during the training process, and the training set S2 is used to evaluate the AI performance during real use.
  • the output of each neural network is the prediction function F k (x), where the prediction function F k ( The training process of x) includes:
  • the stacking algorithm module uses the KRR stacking algorithm to stack the output results of the three neural networks MLP, CNN, and LSTM.
  • MLP includes 5 hidden layers, and each layer has 64 neurons;
  • CNN is constructed using a 1 ⁇ 1 one-dimensional convolution kernel and includes a hidden convolution layer, a hidden pooling layer and a flattening layer.
  • the flat layer of the CNN is input into a fully connected neural network composed of two hidden layers, and finally completes the weighted summary of the weights of each neuron;
  • the LSTM is a four-layer LSTM with 32 hidden layers.
  • the hybrid neural network training is completed, it is further used to correct the simulation data generated by the cardiac in vitro simulator.
  • simulated data of the heart simulator of at least two animals and real data of the in vivo heart are collected.
  • the invention also provides an artificial intelligence-based heart simulator data correction method, which includes: collecting simulation data The real data Y generated by animal heart detection in vivo; integrate the simulated data The ability to predict Y knowing Among the three neural networks MLP, CNN, and LSTM, the stacking algorithm is then used to stack the output results of the three neural networks MLP, CNN, and LSTM.
  • m 1,2,3...M ⁇ , where M is The number of training samples, the maximum iteration number K, the starting states DBP k of the three neural networks, and the sample weight distribution D k with the iteration number K; the training data set S is divided into a training set S1 and a verification set S2.
  • the training set S1 is used to evaluate the AI performance during the training process, and the training set S2 is used to evaluate the AI performance during real use.
  • the output of each neural network is the prediction function F k (x), where the prediction function F k ( The training process of x) includes:
  • FIG. 1 a flow chart of AI training for in vitro heart simulator data correction is shown.
  • the 3D printed in vitro heart (mouse heart, pig heart and other mammalian hearts, mice and pigs are listed here, but are not limited to this, you can select only one animal heart for data training, or More animal heart data can be selected for training, etc.) connected to the blood pressure detector of the large blood vessels of the heart to generate simulation data generated by 3D printed heart simulation.
  • real mouse hearts and pig hearts are used to connect to the blood pressure detectors of the large blood vessels of the heart in vivo to generate real data obtained by measuring real hearts. Since there must be deviations between simulated data and real data, AI is needed to correct the simulated data.
  • Both simulated data and real data are generated by cardiac and large blood vessel detectors, and are essentially time series data (X-axis is time, Y-axis is blood pressure value).
  • X-axis is time
  • Y-axis is blood pressure value.
  • the final trained hybrid neural network will predict Y (real data) given X (simulated data).
  • S1 3D printed mouse heart and pig heart.
  • S2 Connect the extracorporeal cardiac large vessel blood pressure detector to the extracorporeal cardiac simulator.
  • S3 Collect simulation data generated by probing the external cardiac simulator with an external cardiac large vessel blood pressure detector.
  • S5 Connect real mouse, porcine superior and inferior vena cava, pulmonary arteries and veins, and aorta to cardiac large vessel blood pressure detectors.
  • S6 Collect real data generated by in vivo cardiac simulator detection using an in vivo cardiac large vessel blood pressure detector.
  • S7 Simulated data (X) and real data (Y) are integrated into a matrix with 2 columns and fed to the hybrid neural network together to train the hybrid neural network so that it has the ability to know X and predict Y, that is, correction ability.
  • FIG 2 shows a schematic structural diagram of a hybrid neural network.
  • MLP fully connected neural network/multilayer perceptron neural network
  • CNN convolutional neural network
  • LSTM Long and short sequential neural network
  • Stacking stacking algorithm
  • the invention uses an enhancement algorithm based on the AdaBoost algorithm.
  • m 1,2,3...M ⁇ , where M is the number of training samples.
  • 70% of the total data set uses cross validation, so it includes the training set S1 and the validation set S2, and the remaining 30% is the test set. (test set) is used to evaluate the final model performance.
  • S1 can account for 90% of S
  • S2 can account for 10% of S.
  • the MAE, MSE, SDE and SMAPE of S1 are used to evaluate the AI performance during training
  • the MAE, MSE, SDE and SMAPE of S2 are used to evaluate the AI performance during real use.
  • the proportion of S1 and S2 in S is not limited to this.
  • the maximum number of iterations is K.
  • the starting states DBP k of three different neural networks are the starting states DBP k of three different neural networks.
  • S8 The simulated data (X) and the real data (Y) are integrated into a matrix with a column number of 2 and input into three neural networks (MLP, CNN, LSTM) at the same time.
  • MLP neural network
  • Fully connected/multi-layer perceptron neural network is a feed-forward artificial neural network. It has a simpler network structure than other types of neural networks. Its structure mainly consists of three layers: input layer, hidden layer and output layer. Each layer of MLP is connected through a fully connected method and uses a nonlinear activation function for feature transformation, so that MLP can effectively extract features from the data. In addition, by constructing multiple hidden layers and establishing more neurons, the extraction of deeper features can be achieved. By taking into account the trade-off between prediction accuracy and model complexity. Considering the trade-off between prediction accuracy and model complexity, the present invention constructs an MLP consisting of 5 hidden layers and 64 neurons in each layer.
  • CNN Convolutional neural network
  • CNN has the characteristics of local connections and weight sharing, and uses a grid-like structure to represent and extract data features.
  • a series of different convolution kernels are applied to the local data receiving area to obtain feature maps with different feature information. These feature maps are then convolved to extract more abstract data features. Therefore, the convolution operation enables CNN to process the relative spatial position of the data during the feature extraction process, and the relative spatial position here refers to the extracardiac blood pressure pressure value that changes over time.
  • a 1X1 one-dimensional convolution kernel is used to construct a CNN, and its specific network structure includes a hidden convolution layer, a hidden pooling layer and a flattening layer. The flat layer of the CNN is input into a fully connected neural network composed of two hidden layers, and finally the weighted summary of the weights of each neuron is completed.
  • LSTM Long Short Temporal Neural Network
  • RNN Recurrent Neural Network
  • the matrix is output to a four-layer LSTM with 32 hidden layers in a fully connected manner.
  • the basic idea of the stacking algorithm the output of each basic predictor is combined into new features, and these features are input to the second-level meta-predictor to build a mapping relationship between the basic predictor output and the meta-predictor. There is a mapping between the output of the base predictor and the actual observations.
  • the present invention is based on the KRR stacking algorithm method, which is used to stack basic predictors. In this approach, KRR is used as the second-level meta-predictor of the stacked model due to its good performance in handling multiple predictors.
  • MSE mean squared error
  • SDE standard deviation of errors
  • SMAPE symmetric mean absolute percentage error
  • the neural network model When the neural network model is trained, it will be used to correct the simulation data generated by the simulator. After the patient enters the hospital, a cardiac MRI scan is performed, and a three-dimensional cardiac external simulator is printed, connected to an external cardiac large vessel blood pressure detector and simulated data (X) is generated, which is then input into the trained hybrid neural network. Among them, the corrected correction data (Y) is obtained.
  • the design key point of the present invention is 1: the generation and collection of simulator data and real heart data.
  • This invention 3D prints a 1:1 personalized extracorporeal heart, collects and collects simulation data by connecting the blood pressure detector of the large blood vessels outside the heart, and uses the medical school platform to perform cardiac anatomy on mammals such as mice and pigs, and connects it to the heart
  • the external large vessel blood pressure detector captures and collects real data. Since the training of artificial intelligence requires a large amount of data, a large number of manual experiments are required for data collection.
  • Key point 2 of the design of the present invention the application of AI in the heart simulator.
  • This invention is currently the first AI-based heart simulator data correction system.
  • the purpose of its development is to serve the needs of personalized development of in vitro heart simulators so that they can reach standards that can be used in clinical settings.
  • it based on artificial intelligence integrated learning, it integrates the advantages of multi-layer perceptron neural networks, convolutional neural networks, and long and short temporal neural networks to achieve dynamic correction of the temporal blood pressure spectrum.
  • the data generated by the in vitro heart simulator can be dynamically corrected, thereby achieving real data close to the in vivo heart, so that the heart simulator can meet clinical application standards, and more accurate data will be more beneficial to clinicians. /Surgeons can make more accurate decisions and pave the way for later AI training to predict patients’ postoperative survival time based on simulator data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于人工智能的心脏模拟器数据矫正系统和方法，该系统包括：模拟数据收集模块，收集由心脏大血管探测器对动物心脏模拟器进行探测而产生的模拟数据X；真实数据收集模块，收集由心脏大血管探测器对动物在体心脏探测而产生的真实数据Y；混合神经网络，通过将模拟数据X和真实数据Y整合成列数为2的数据矩阵后导入到混合神经网络，来训练混合神经网络，其中，混合神经网络包括全连接神经网络/多层感知机神经网络MLP、卷积神经网络CNN、以及长短时序神经网络LSTM，并且混合神经网络还包括堆叠算法模块，在将数据矩阵同时导入至三个神经网络MLP、CNN、以及LSTM后，通过堆叠算法模块将三个神经网络MLP、CNN、以及LSTM的输出结果进行堆叠输出。

Description

基于人工智能的心脏模拟器数据矫正系统和方法 技术领域
本发明涉及医疗数据异常数据辨识与修正技术领域，尤其涉及一种基于人工智能的心脏模拟器数据矫正系统和方法。
背景技术
目前人工智能在医学影像专业已经得到广泛应用，尤其在基于人工智能的CT/MRI核磁共振辅助诊断已经大大提高各类早期肿瘤的诊断率。这类辅助诊断算法的原始训练数据基本为临床CT图像和MRI核磁共振图像，通过监督学习(Supervised learing)或半监督学习(Semi-Supervised learing)来训练卷积神经网络(CNN)来识别肿瘤微小病灶。但在其他医学领域应用尚待完善。
回归至人工智能应用领域本身，目前已经有基于人工智能对时间序列数据(time-series data，一种时间作为自变量的数据类型)进行识别和矫正的算法(例如，参见专利CN 104766175 A)。
体外心脏数据产生时间序列数据，但模拟器产生的数据与在体心脏的真实数据总归是存在误差，因此需要一种人工智能算法来专门用于识别和矫正模拟器所产生的数据，进而使模拟器产生的数据尽最大可能地与真实心脏数据相似或相仿。
目前市面尚没有相似的同类发明或者竞品，所以难以满足体外心脏模拟器开发商的需求，进而无法满足临床医生和患者的需求。
发明内容
为了解决上述技术问题，本发明公开了一种基于人工智能的心脏模拟器数据矫正系统和方法，通过该系统和方法可以实现对体外心脏模拟器所产生的数据进行动态矫正，进而达到接近在体心脏的真实数据，使心脏模拟器达到临床应用标准，同时更为准确的数据将更利于临床医生/手术术者做出更为准确的决策，以及为后期基于模拟器数据预测患者术后生存时间的AI训练做好技术铺垫。
为达到上述目的，本发明的技术方案提供了一种基于人工智能的心脏模拟器数据矫正系统，其包括：模拟数据收集模块，收集由心脏大血管探测器对动物心脏模拟器进行探测而产生的模拟数据X；真实数据收集模块，收集由心脏大血管探测器对动物在体心脏探测而产生的真实数据Y；混合神经网络，通过将模拟数据X和真实数据Y整合成列数为2的数据矩阵后导入到混合神经网络，来训练混合神经网络，进而使混合神经网络具备得知X而预测Y的能力，其中，所述混合神经网络包括全连接神经网络/多层感知机神经网络MLP、卷积神经网络CNN、以及长短时序神经网络LSTM，并且所述混合神经网络还包括堆叠算法模块，在将所述数据矩阵同时导入至三个神经网络MLP、CNN、以及LSTM后，通过堆叠算法模块将三个神经网络MLP、CNN、以及LSTM的输出结果进行堆叠输出。
进一步地，在训练所述混合神经网络时，利用10倍交叉验证法进行数据虚拟扩增和模型评估，并使用平均绝对误差MAE、均方误差MSE、误差标准偏差SDE以及平均绝对百分比误差SMAPE中的至少一个来评估所述混合神经网络的矫正能力与准确度。
进一步地，在分别导入三个神经网络MLP、CNN、以及LSTM时，神经网络输入包括训练数据集S＝{(Xm,Ym)|m＝1,2,3...M}，其中 M为训练样本数目，最大迭代数K，三个神经网络的起始状态DBP k，以及迭代数为K的样本权重分布D k；所述训练数据集S分为训练集S1和验证集S2，所述训练集S1用于评估训练过程中的AI性能，所述训练集S2用于评估真实使用时的AI性能，每个神经网络的输出为预测函数F k(x)，其中，预测函数F k(x)的训练过程包括：
(1)启动K＝1的样本权重分布D 1(m)＝1/M；
(2)输入训练集S1；
(3)执行K次迭代循环；
(4)根据样本权重分布D k训练第K次迭代的DBP k；
(5)计算预测的有效性FE k；
(6)计算DBP k的损失函数：Loos k＝1-FE k；
(7)计算每个训练样本的绝对误差AE：
AE(m)＝|F k(Xm)-Ym|，获得最大绝对误差MaxAE k；
(8)计算样本权重更新函数B(x)；
(9)更新样本权重分布：D k+1＝D k(m)*B(x)。
进一步地，所述堆叠算法模块使用KRR堆叠算法来对三个神经网络MLP、CNN、以及LSTM的输出结果进行堆叠运算。
进一步地，MLP包括5个隐藏层，且每层具有64个神经元；CNN使用1×1一维卷积核来构建，且包括一个隐藏卷积层、一个隐藏池化层和一个扁平层，CNN的扁平层输入到一个由两层隐藏层构成的全连接神经网络中，最终完成各个神经元权重的加权汇总；LSTM为具有32个隐藏层的四层LSTM。
进一步地，当所述混合神经网络训练完成后，进一步用于矫正心脏体外模拟器产生的模拟数据。
进一步地，在收集模拟数据X和真实数据Y时，收集至少两种动物的心脏模拟器的模拟数据以及在体心脏的真实数据。
本发明还提供了一种基于人工智能的心脏模拟器数据矫正方法，其包括：收集由心脏大血管探测器对动物心脏模拟器进行探测而产生的模拟数据X；收集由心脏大血管探测器对动物在体心脏探测而产生的真实数据Y；将模拟数据X和真实数据Y整合成列数为2的数据矩阵，并导入到混合神经网络，用于训练混合神经网络进而使混合神经网络具备得知X而预测Y的能力，其中，所述混合神经网络包括全连接神经网络/多层感知机神经网络MLP、卷积神经网络CNN、以及长短时序神经网络LSTM，将所述数据矩阵同时导入至三个神经网络MLP、CNN、以及LSTM中，再利用堆叠算法将三个神经网络MLP、CNN、以及LSTM的输出结果堆叠输出。
进一步地，在训练所述混合神经网络时，利用10倍交叉验证法进行数据虚拟扩增和模型评估，并使用平均绝对误差MAE、均方误差MSE、误差标准偏差SDE以及平均绝对百分比误差SMAPE中的至少一个来评估所述混合神经网络的矫正能力与准确度。
进一步地，在分别导入三个神经网络MLP、CNN、以及LSTM时，神经网络输入包括训练数据集S＝{(Xm,Ym)|m＝1,2,3...M}，其中M为训练样本数目，最大迭代数K，三个神经网络的起始状态DBP k，以及迭代数为K的样本权重分布D k；所述训练数据集S分为训练集S1和验证集S2，所述训练集S1用于评估训练过程中的AI性能，所述训练集S2用于评估真实使用时的AI性能，每个神经网络的输出为预测函数F k(x)，其中，预测函数F k(x)的训练过程包括：
(1)启动K＝1的样本权重分布D 1(m)＝1/M；
(2)输入训练集S1；
(3)执行K次迭代循环；
(4)根据样本权重分布D k训练第K次迭代的DBP k；
(5)计算预测的有效性FE k；
(6)计算DBP k的损失函数：Loos k＝1-FE k；
(7)计算每个训练样本的绝对误差AE：
AE(m)＝|F k(Xm)-Ym|，获得最大绝对误差MaxAE k；
(8)计算样本权重更新函数B(x)；
(9)更新样本权重分布：D k+1＝D k(m)*B(x)。
附图说明
图1是本发明的对体外心脏模拟器数据矫正的AI训练的流程图；
图2是本发明的混合神经网络的结构示意图；
图3是本发明的对体外心脏模拟器数据矫正的AI预测的流程图。
具体实施方式
下面结合具体实施例对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
如在背景技术部分中提到的，体外心脏模拟器产生的数据与在体心脏的真实数据总归是存在误差，因此本发明旨在提供一种人工智能算法来专门用于识别和矫正模拟器所产生的数据，进而使模拟器产生的数据尽最大可能地与真实心脏数据相似或相仿。
在本发明的第一实施方式中，提供了一种基于人工智能的心脏模拟器数据矫正系统，其包括：模拟数据收集模块，收集由心脏大血管 探测器对动物心脏模拟器进行探测而产生的模拟数据X；真实数据收集模块，收集由心脏大血管探测器对动物在体心脏探测而产生的真实数据Y；混合神经网络，通过将模拟数据X和真实数据Y整合成列数为2的数据矩阵后导入到混合神经网络，来训练混合神经网络，进而使混合神经网络具备得知X而预测Y的能力，其中，所述混合神经网络包括全连接神经网络/多层感知机神经网络MLP、卷积神经网络CNN、以及长短时序神经网络LSTM，并且所述混合神经网络还包括堆叠算法模块，在将所述数据矩阵同时导入至三个神经网络MLP、CNN、以及LSTM后，通过堆叠算法模块将三个神经网络MLP、CNN、以及LSTM的输出结果进行堆叠输出。
进一步地，在训练所述混合神经网络时，利用10倍交叉验证法进行数据虚拟扩增和模型评估，并使用平均绝对误差MAE、均方误差MSE、误差标准偏差SDE以及平均绝对百分比误差SMAPE中的至少一个来评估所述混合神经网络的矫正能力与准确度。
进一步地，在分别导入三个神经网络MLP、CNN、以及LSTM时，神经网络输入包括训练数据集S＝{(Xm,Ym)|m＝1,2,3...M}，其中M为训练样本数目，最大迭代数K，三个神经网络的起始状态DBP k，以及迭代数为K的样本权重分布D k；所述训练数据集S分为训练集S1和验证集S2，所述训练集S1用于评估训练过程中的AI性能，所述训练集S2用于评估真实使用时的AI性能，每个神经网络的输出为预测函数F k(x)，其中，预测函数F k(x)的训练过程包括：
(1)启动K＝1的样本权重分布D 1(m)＝1/M；
(2)输入训练集S1；
(3)执行K次迭代循环；
(4)根据样本权重分布D k训练第K次迭代的DBP k；
(5)计算预测的有效性FE k；
(6)计算DBP k的损失函数：Loos k＝1-FE k；
(7)计算每个训练样本的绝对误差AE：
AE(m)＝|F k(Xm)-Ym|，获得最大绝对误差MaxAE k；
(8)计算样本权重更新函数B(x)；
(9)更新样本权重分布：D k+1＝D k(m)*B(x)
进一步地，所述堆叠算法模块使用KRR堆叠算法来对三个神经网络MLP、CNN、以及LSTM的输出结果进行堆叠运算。
进一步地，MLP包括5个隐藏层，且每层具有64个神经元；CNN使用1×1一维卷积核来构建，且包括一个隐藏卷积层、一个隐藏池化层和一个扁平层，CNN的扁平层输入到一个由两层隐藏层构成的全连接神经网络中，最终完成各个神经元权重的加权汇总；LSTM为具有32个隐藏层的四层LSTM。
进一步地，当所述混合神经网络训练完成后，进一步用于矫正心脏体外模拟器产生的模拟数据。
进一步地，在收集模拟数据X和真实数据Y时，收集至少两种动物的心脏模拟器的模拟数据以及在体心脏的真实数据。
本发明还提供了一种基于人工智能的心脏模拟器数据矫正方法，其包括：收集由心脏大血管探测器对动物心脏模拟器进行探测而产生的模拟数据X；收集由心脏大血管探测器对动物在体心脏探测而产生的真实数据Y；将模拟数据X和真实数据Y整合成列数为2的数据矩阵，并导入到混合神经网络，用于训练混合神经网络进而使混合神经网络具备得知X而预测Y的能力，其中，所述混合神经网络包括 全连接神经网络/多层感知机神经网络MLP、卷积神经网络CNN、以及长短时序神经网络LSTM，将所述数据矩阵同时导入至三个神经网络MLP、CNN、以及LSTM中，再利用堆叠算法将三个神经网络MLP、CNN、以及LSTM的输出结果堆叠输出。
进一步地，在训练所述混合神经网络时，利用10倍交叉验证法进行数据虚拟扩增和模型评估，并使用平均绝对误差MAE、均方误差MSE、误差标准偏差SDE以及平均绝对百分比误差SMAPE中的至少一个来评估所述混合神经网络的矫正能力与准确度。
进一步地，在分别导入三个神经网络MLP、CNN、以及LSTM时，神经网络输入包括训练数据集S＝{(Xm,Ym)|m＝1,2,3...M}，其中M为训练样本数目，最大迭代数K，三个神经网络的起始状态DBP k，以及迭代数为K的样本权重分布D k；所述训练数据集S分为训练集S1和验证集S2，所述训练集S1用于评估训练过程中的AI性能，所述训练集S2用于评估真实使用时的AI性能，每个神经网络的输出为预测函数F k(x)，其中，预测函数F k(x)的训练过程包括：
(1)启动K＝1的样本权重分布D 1(m)＝1/M；
(2)输入训练集S1；
(3)执行K次迭代循环；
(4)根据样本权重分布D k训练第K次迭代的DBP k；
(5)计算预测的有效性FE k；
(6)计算DBP k的损失函数：Loos k＝1-FE k；
(7)计算每个训练样本的绝对误差AE：
AE(m)＝|F k(Xm)-Ym|，获得最大绝对误差MaxAE k；
(8)计算样本权重更新函数B(x)；
(9)更新样本权重分布：D k+1＝D k(m)*B(x)。
具体实施例：
参见图1，其示出了一个对体外心脏模拟器数据矫正的AI训练的流程图。在体外模拟器建成后，将3D打印的体外心脏(小鼠心脏、猪心脏等哺乳动物心脏，这里列出小鼠和猪，但不限于此，可以仅选择一种动物心脏进行数据训练，或者可以选择更多种动物心脏数据进行训练等)连接上心脏大血管血压探测器，产生由3D打印心脏模拟产生的模拟数据。同时利用真正的小鼠心脏和猪心脏在体连接到心脏大血管血压探测器，产生对真实心脏测量而得到的真实数据。由于模拟数据与真实数据一定存在偏差，因此需要AI来对模拟数据进行矫正。模拟数据和真实数据均有心脏大血管探测器产生，本质上均为时间序列数据(X轴为时间，Y轴为血压值)。在训练混合神经网络时，模拟数据作为自变量X，真实数据作为因变量Y，将X和Y整合成列数为2的矩阵导入混合神经网络，进而训练混合神经网络。最终训练好的混合神经网络将在已知X(模拟数据)的情况下，预测得到Y(真实数据)。
S1：基于3D打印的小鼠心脏和猪心脏。
首先我们将三维扫描S4的真实小鼠心脏和猪心脏，然后对其进行3D打印制备成1：1复刻体。其具备完整的心脏瓣膜活动以及腱索乳头肌功能。
S2：将体外心脏大血管血压探测器连接到体外心脏模拟器。
S3：收集由用体外心脏大血管血压探测器对体外心脏模拟器探测而产生的模拟数据。
S4：将真实小鼠、猪解剖后暴漏其心脏大血管，其中包括上下 腔静脉、肺动静脉和主动脉。
S5：将真实小鼠、猪上下腔静脉、肺动静脉和主动脉连接至心脏大血管血压探测器。
S6：收集由用在体心脏大血管血压探测器对在体心脏模拟器探测而产生的真实数据。
S7：模拟数据(X)和真实数据(Y)整合成列数为2的矩阵，一同喂给混合神经网络，用以训练混合神经网络进而使其具备得知X而预测Y的能力，即矫正能力。
参见图2，其示出了混合神经网络的结构示意图。当得到真实数据和模拟数据(见图1)后，将其整合为列数为2的矩阵，同时导入全连接神经网络/多层感知机神经网络(MLP)、卷积神经网络(CNN)和长短时序神经网络(LSTM)，再利用堆叠算法(Stacking)将结果堆叠输出。这其中利用10倍交叉验证法进行数据虚拟扩增和模型评估，最终使用平均绝对误差(MAE)、均方误差(MSE)和误差标准差(SDE)以及平均绝对百分比误差SMAPE来评估混合神经网络的矫正能力与准确度。
在分别导入三种不同的神经网络时，该发明使用基于AdaBoost算法的增强算法。
具体如下：
神经网络输入：
训练数据集(占总数据集70％)S＝{(Xm,Ym)|m＝1,2,3...M}，其中M为训练样本数目。在该具体实施例种，总数据集的70％由于使用了交叉验证(cross validation)，因此其包含了训练集(training set)S1和验证集(validation set)S2剩下的30％为测试集(test set)用于评 估最终的模型性能。其中，S1可以占S的90％，S2占S的10％。S1的MAE、MSE、SDE和SMAPE用于评估训练时的AI性能，S2的MAE、MSE、SDE和SMAPE用于评估真实使用时的AI性能。当然，可以理解的，S1和S2占S的比例并不限于此。
最大迭代数K。
三种不同的神经网络的起始状态DBP k。
迭代数为K的样本权重分布D k。
神经网络输出：
每一次迭代的预测函数F k(x)
(1)启动K＝1的样本权重分布D 1(m)＝1/M；
(2)输入训练集S1；
(3)执行K次迭代循环；
(4)根据样本权重分布D k训练第K次迭代的DBP k；
(5)计算预测的有效性FE k；
(6)计算DBP k的损失函数：Loos k＝1-FE k；
(7)计算每个训练样本的绝对误差(AE)：
AE(m)＝|F k(Xm)-Ym|，获得最大绝对误差MaxAE k；
(8)计算样本权重更新函数B(x)；
(9)更新样本权重分布:D k+1＝D k(m)*B(x)。
S8：模拟数据(X)和真实数据(Y)整合成列数为2的矩阵，并同时输入至三个经网络(MLP、CNN、LSTM)中。
S9：全连接/多层感知机神经网络的训练.
全连接/多层感知机神经网络(MLP)是一种前馈的人工神经网络。与其他类型的神经网络相比，它有一个更简单的网络结构。其结构主 要由三层组成：输入层、隐藏层和输出层。MLP的各层是通过全连接的方式连接，并使用非线性激活函数进行特征转换，使MLP能够有效地从数据中提取特征。此外，通过构建多个隐藏层和建立更多的神经元，可以实现对更深层次特征的提取。通过考虑到预测准确性和模型复杂性之间的权衡。考虑到预测准确性和模型复杂性之间的权衡，本发明构建了一个由5个隐藏层和每层64个神经元组成的MLP。
S10：卷积神经网络的训练
卷积神经网络(CNN)具有局部连接和权重共享的特点，使用类似网格的结构来表示和提取数据特征。在CNN中，一系列不同的卷积核(权重矩阵)被应用于本地数据接收区域，以获得不同特征信息的特征图。然后，这些特征图被卷积以提取更抽象的数据特征。因此，卷积操作使CNN能够在特征提取过程中处理数据的相对空间位置，而这里的相对空间位置指的是随时间变化的心脏外血压压力值。本发明中，使用1X1一维卷积核来构建一个CNN，其具体网络结构包括一个隐藏卷积层、一个隐藏池化层和一个扁平层。CNN的扁平层输入到一个由两层隐藏层构成的全连接神经网络中，最终完成各个神经元权重的加权汇总。
S11：长短时序神经网络(LSTM)的训练
长短时序神经网络(LSTM)是作为递归神经网络(RNN)的改进版本。在LSTM中，有三种巧妙的门结构，即输入门、输出门和遗忘门，以及一个存储块来控制数据特征信息的流入和流出。通过这四个模块的信息交互，LSTM可以从时间上提取特征信息。也就是说，它可以自动保留以前输入数据的重要特征信息，并与当前输入数据进行交互。
在这项发明中，矩阵以全连接的方式输出到一个具有32个隐藏层的四层LSTM。
S12：堆叠算法
堆叠算法的基本思路：每个基本预测器的输出被组合成新的特征，这些特征被输入到第二级元预测器，以构建基本预测器输出与元预测器之间的映射关系。基本预测器的输出与实际观测值之间存在映射关系。本发明基于KRR堆叠算法方法，其用于堆叠基本预测器。在这一方法中，KRR被用作堆叠模型的第二级元预测器，因为其在处理多个预测器方面具有良好的性能。
S13：模型评估
为了评估时间序列预测模型的性能，四个广泛使用的统计指标，包括平均绝对误差(MAE)，平均平方误差(MSE)，误差标准偏差(SDE)，以及对称平均绝对百分比误差(SMAPE)。
参见图3，其示出了一个对体外心脏模拟器数据矫正的AI预测的流程图。
当神经网络模型训练完成后，将用于矫正模拟器产生的模拟数据。患者进入医院后做心脏MRI磁共振扫描，并以此打印三维心脏体外模拟器，将其连接至体外心脏大血管血压探测器并产生模拟数据(X)，将其输入已经训练好的混合神经网络当中，得到矫正后的矫正数据(Y)。
本发明的设计关键点1：模拟器数据与真实心脏数据的产生与收集。
本发明3D打印1：1个性化体外心脏，通过连接体外心脏外大血管血压探测器采集并收集模拟数据，同时利用医学院平台对小鼠、猪 等哺乳动物进行心脏解剖，将其连接至心脏外大血管血压探测器采集并收集真实数据。由于人工智能的训练需要大量的数据，因此需要大量人工实验进行数据采集。
本发明的设计关键点2：AI在心脏模拟器中的应用。
本发明是目前第一个基于AI的心脏模拟器数据矫正系统，其开发的目的在于需要服务个性化开发的体外心脏模拟器，使其达到可以在临床使用的标准。同时基于人工智能集成学习，整合了多层感知机神经网络、卷积神经网络以及长短时序神经网络的优点，实现对时间血压谱的动态矫正。
通过本发明的系统可以实现对体外心脏模拟器所产生的数据进行动态矫正，进而达到接近在体心脏的真实数据，使心脏模拟器达到临床应用标准，同时更为准确的数据将更利于临床医生/手术术者做出更为准确的决策，以及为后期基于模拟器数据预测患者术后生存时间的AI训练做好技术铺垫。
以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

  1. 一种基于人工智能的心脏模拟器数据矫正系统，其特征在于，包括：
    模拟数据收集模块，收集由心脏大血管探测器对动物心脏模拟器进行探测而产生的模拟数据X；
    真实数据收集模块，收集由心脏大血管探测器对动物在体心脏探测而产生的真实数据Y；
    混合神经网络，通过将模拟数据X和真实数据Y整合成列数为2的数据矩阵后导入到混合神经网络，来训练混合神经网络，进而使混合神经网络具备得知X而预测Y的能力，其中，
    所述混合神经网络包括全连接神经网络/多层感知机神经网络MLP、卷积神经网络CNN、以及长短时序神经网络LSTM，并且所述混合神经网络还包括堆叠算法模块，在将所述数据矩阵同时导入至三个神经网络MLP、CNN、以及LSTM后，通过堆叠算法模块将三个神经网络MLP、CNN、以及LSTM的输出结果进行堆叠输出。
  2. 根据权利要求1所述的系统，其特征在于，在训练所述混合神经网络时，利用10倍交叉验证法进行数据虚拟扩增和模型评估，并使用平均绝对误差MAE、均方误差MSE、误差标准偏差SDE以及平均绝对百分比误差SMAPE中的至少一个来评估所述混合神经网络的矫正能力与准确度。
  3. 根据权利要求2所述的系统，其特征在于，在分别导入三个神经网络MLP、CNN、以及LSTM时，神经网络输入包括训练数据集S＝{(Xm,Ym)|m＝1,2,3...M}，其中M为训练样本数目，最大迭代数K，三个神经网络的起始状态DBP k，以及迭代数为K的样本权重分布D k； 所述训练数据集S分为训练集S1和验证集S2，所述训练集S1用于评估训练过程中的AI性能，所述训练集S2用于评估真实使用时的AI性能，每个神经网络的输出为预测函数F k(x)，其中，预测函数F k(x)的训练过程包括：
    (1)启动K＝1的样本权重分布D 1(m)＝1/M；
    (2)输入训练集S1；
    (3)执行K次迭代循环；
    (4)根据样本权重分布D k训练第K次迭代的DBP k；
    (5)计算预测的有效性FE k；
    (6)计算DBP k的损失函数：Loos k＝1-FE k；
    (7)计算每个训练样本的绝对误差AE：
    AE(m)＝|F k(Xm)-Ym|，获得最大绝对误差MaxAE k；
    (8)计算样本权重更新函数B(x)；
    (9)更新样本权重分布：D k+1＝D k(m)*B(x)。
  4. 根据权利要求1所述的系统，其特征在于，所述堆叠算法模块使用KRR堆叠算法来对三个神经网络MLP、CNN、以及LSTM的输出结果进行堆叠运算。
  5. 根据权利要求1-4中任一项所述的系统，其特征在于，MLP包括5个隐藏层，且每层具有64个神经元；CNN使用1×1一维卷积核来构建，且包括一个隐藏卷积层、一个隐藏池化层和一个扁平层，CNN的扁平层输入到一个由两层隐藏层构成的全连接神经网络中，最终完成各个神经元权重的加权汇总；LSTM为具有32个隐藏层的四层LSTM。
  6. 根据权利要求1-4中任一项所述的系统，其特征在于，当所述 混合神经网络训练完成后，进一步用于矫正心脏体外模拟器产生的模拟数据。
  7. 根据权利要求1-4中任一项所述的系统，其特征在于，在收集模拟数据X和真实数据Y时，收集至少两种动物的心脏模拟器的模拟数据以及在体心脏的真实数据。
  8. 一种基于人工智能的心脏模拟器数据矫正方法，其特征在于，包括：
    收集由心脏大血管探测器对动物心脏模拟器进行探测而产生的模拟数据X；
    收集由心脏大血管探测器对动物在体心脏探测而产生的真实数据Y；
    将模拟数据X和真实数据Y整合成列数为2的数据矩阵，并导入到混合神经网络，用于训练混合神经网络进而使混合神经网络具备得知X而预测Y的能力，其中，
    所述混合神经网络包括全连接神经网络/多层感知机神经网络MLP、卷积神经网络CNN、以及长短时序神经网络LSTM，将所述数据矩阵同时导入至三个神经网络MLP、CNN、以及LSTM中，再利用堆叠算法将三个神经网络MLP、CNN、以及LSTM的输出结果堆叠输出。
  9. 根据权利要求8所述的方法，其特征在于，在训练所述混合神经网络时，利用10倍交叉验证法进行数据虚拟扩增和模型评估，并使用平均绝对误差MAE、均方误差MSE、误差标准偏差SDE以及平均绝对百分比误差SMAPE中的至少一个来评估所述混合神经网络的矫正能力与准确度。
  10. 根据权利要求9所述的方法，其特征在于，在分别导入三个神经网络MLP、CNN、以及LSTM时，神经网络输入包括训练数据集S＝{(Xm,Ym)|m＝1,2,3...M}，其中M为训练样本数目，最大迭代数K，三个神经网络的起始状态DBP k，以及迭代数为K的样本权重分布D k；所述训练数据集S分为训练集S1和验证集S2，所述训练集S1用于评估训练过程中的AI性能，所述训练集S2用于评估真实使用时的AI性能，每个神经网络的输出为预测函数F k(x)，其中，预测函数F k(x)的训练过程包括：
    (1)启动K＝1的样本权重分布D 1(m)＝1/M；
    (2)输入训练集S1；
    (3)执行K次迭代循环；
    (4)根据样本权重分布D k训练第K次迭代的DBP k；
    (5)计算预测的有效性FE k；
    (6)计算DBPk的损失函数：Loos k＝1-FE k；
    (7)计算每个训练样本的绝对误差AE：
    AE(m)＝|F k(Xm)-Ym|，获得最大绝对误差MaxAE k；
    (8)计算样本权重更新函数B(x)；
    (9)更新样本权重分布：D k+1＝D k(m)*B(x)。
PCT/CN2022/087072 2022-03-31 2022-04-15 基于人工智能的心脏模拟器数据矫正系统和方法 WO2023184598A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210330244 2022-03-31
CN202210330244.0 2022-03-31

Publications (1)

Publication Number Publication Date
WO2023184598A1 true WO2023184598A1 (zh) 2023-10-05

Family

ID=88198699

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/087072 WO2023184598A1 (zh) 2022-03-31 2022-04-15 基于人工智能的心脏模拟器数据矫正系统和方法

Country Status (1)

Country Link
WO (1) WO2023184598A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117598674A (zh) * 2024-01-24 2024-02-27 吉林大学 多参数心脏功能监测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107260159A (zh) * 2017-06-28 2017-10-20 浙江理工大学 一种基于卷积神经网络的心脏电功能成像方法
US20190362494A1 (en) * 2018-05-25 2019-11-28 Shenzhen Keya Medical Technology Corporation Systems and methods for determining blood vessel conditions
CN110598549A (zh) * 2019-08-07 2019-12-20 王满 一种基于心脏功能监控的卷积神经网络信息处理系统及训练方法
WO2020049182A1 (en) * 2018-09-08 2020-03-12 Alpvision S.A. Cognitive computing methods and systems based on biological neural networks
CN111513709A (zh) * 2020-05-20 2020-08-11 浙江大学 基于迭代收缩阈值算法的非局部神经网络心肌跨膜电位重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107260159A (zh) * 2017-06-28 2017-10-20 浙江理工大学 一种基于卷积神经网络的心脏电功能成像方法
US20190362494A1 (en) * 2018-05-25 2019-11-28 Shenzhen Keya Medical Technology Corporation Systems and methods for determining blood vessel conditions
WO2020049182A1 (en) * 2018-09-08 2020-03-12 Alpvision S.A. Cognitive computing methods and systems based on biological neural networks
CN110598549A (zh) * 2019-08-07 2019-12-20 王满 一种基于心脏功能监控的卷积神经网络信息处理系统及训练方法
CN111513709A (zh) * 2020-05-20 2020-08-11 浙江大学 基于迭代收缩阈值算法的非局部神经网络心肌跨膜电位重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117598674A (zh) * 2024-01-24 2024-02-27 吉林大学 多参数心脏功能监测系统及方法
CN117598674B (zh) * 2024-01-24 2024-04-12 吉林大学 多参数心脏功能监测系统及方法

Similar Documents

Publication Publication Date Title
US20220148191A1 (en) Image segmentation method and apparatus and storage medium
US11664125B2 (en) System and method for deep learning based cardiac electrophysiology model personalization
CN105474219B (zh) 用于根据医学图像和临床数据来估计生理学心脏测量的系统和方法
CN109242849A (zh) 医学图像处理方法、装置、系统和存储介质
CN106901723A (zh) 一种心电图异常自动诊断方法
WO2021143780A1 (zh) 一种基于多标签学习的体检后慢性疾病预后系统
CN106170246A (zh) 用于四维(4d)流磁共振成像的设备、方法和产品
CN106456078A (zh) 用于对血流储备分数的基于机器学习的评估的方法和系统
CN110504027A (zh) 一种基于深度学习的X-Ray胸片肺炎智能诊断系统与方法
CN109034360A (zh) 一种从fMRI和DTI数据中构建脑效应连接网络的蚁群方法
CN109431492A (zh) 基于神经网络算法的心电图导联数据模拟重建方法
CN105931262B (zh) 一种肿瘤位置预测装置
CN111798954A (zh) 基于时间注意力机制和图卷积网络的药物组合推荐方法
CN109192305A (zh) 一种基于深度循环神经网络的心功能自动分析方法
WO2020224433A1 (zh) 基于机器学习的目标对象属性预测方法及相关设备
CN105868572A (zh) 一种基于自编码器的心肌缺血位置的预测方法
CN109935337A (zh) 一种基于相似性度量的病案查找方法及系统
Nayeem et al. Prediction of disease level using multilayer perceptron of artificial neural network for patient monitoring
WO2023184598A1 (zh) 基于人工智能的心脏模拟器数据矫正系统和方法
Li Artificial intelligence neural network based on intelligent diagnosis
CN109599178A (zh) 阈值判定模型确定方法、装置、医疗检测设备及存储介质
Peng et al. Heart disease prediction using artificial neural networks: a survey
CN117034142B (zh) 一种不平衡医疗数据缺失值填充方法及系统
Wang et al. [Retracted] Sports Action Recognition Based on GB‐BP Neural Network and Big Data Analysis
CN108596900B (zh) 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22934424

Country of ref document: EP

Kind code of ref document: A1