WO2020233254A1 - 一种融合结构化影像数据的医疗数据分析系统 - Google Patents

一种融合结构化影像数据的医疗数据分析系统 Download PDF

Info

Publication number
WO2020233254A1
WO2020233254A1 PCT/CN2020/083584 CN2020083584W WO2020233254A1 WO 2020233254 A1 WO2020233254 A1 WO 2020233254A1 CN 2020083584 W CN2020083584 W CN 2020083584W WO 2020233254 A1 WO2020233254 A1 WO 2020233254A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
structured
image
module
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/083584
Other languages
English (en)
French (fr)
Inventor
李劲松
周天舒
吴君雅
胡佩君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Publication of WO2020233254A1 publication Critical patent/WO2020233254A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the invention belongs to the field of medical data analysis, and in particular relates to a medical data analysis system integrating structured image data.
  • Biomedical data is widely involved in various fields related to human health. With the popularization of new biological/medical technology applications, the amount of medical electronic medical record data is growing rapidly, showing the characteristics of a wide variety, high-dimensional and multi-mode, complex and rich connotations, especially life High-dimensional unstructured medical data such as scientific omics data and medical imaging data require fast and specific analysis and processing capabilities.
  • Existing technical solutions implement distributed storage and parallel summary calculations based on Hadoop open source software for big data platforms, improve access capabilities, and improve effective scheduling and processing efficiency of analysis tasks.
  • Medical electronic medical record data includes demographic data, clinical diagnosis data, examination data, imaging data, etc., which have the characteristics of high dimensionality, complex and diverse types, and complex structures. Therefore, most of the existing processing methods are only for a single type of data (such as fundus retinal examination). Data, CT scan data of specific parts, etc.) for targeted disease scientific research may have shortcomings such as small data volume and slow analysis speed, and the data collection cycle is long, which is difficult to meet the requirements of accurate and rapid analysis.
  • the purpose of the present invention is to provide a medical data analysis system integrating structured image data in view of the limitations of the existing biomedical data analysis mode.
  • a medical data analysis system that integrates structured image data
  • the system includes an image information structured module, a fusion and preprocessing module, and a machine learning algorithm module:
  • Image information structuring module This module screens the corresponding medical image data from the hospital electronic medical record system according to the patient id, uses computer vision technology, and uses the U-Net convolutional neural network framework to achieve an end-to-end image segmentation model.
  • the image is input as the model and the segmentation result map with the same size as the original image is obtained.
  • the pixel value of the target segmentation area is 1, and the remaining pixel value is 0.
  • the length and width of the original image are divided at equal distances to obtain a multiplicity of equal area.
  • FIG determination result according to whether the target region segmentation, calculation of each area of the target region R i S i, center coordinates (x i, y i), a transverse longest distance W i and longitudinal longest distance H i, and obtains the azimuth of the number of the target region R i P i, the S i, (x i, y i), W i, H i, P i is a feature of the patient id associate to form an image Information structured data sheet.
  • Fusion and preprocessing module This module filters out the structured data corresponding to these patient ids from the electronic medical record system according to the patient id existing in the image information structured data table, and splices the structured data to the image information in a manner corresponding to the id In the structured data table, the fusion of unstructured data and structured data of the same patient is realized; for each patient id in the structured data table of the image information after fusion, the missing rate of all features of the patient id is calculated. The patient id and its corresponding data whose missing rate exceeds the threshold are eliminated, and the missing features that do not exceed the threshold are completed.
  • Machine learning algorithm module This module presets a number of machine learning algorithms, encapsulates the machine learning algorithm into a function form, and the user selects the machine learning algorithm and sets the algorithm parameters; this module receives the data table output by the fusion and preprocessing module, and The data table is converted into data in dataframe format, and the algorithm parameters set by the user are used as the input of the user selection function to complete the data analysis, and visually display the analysis results in the form of charts.
  • the image information structuring module divides the original image into four sub-regions with the same area as the center of the original image, and assigns the orientation numbers 1, 2, 3, and 4, and maps the segmentation result map to the original image , the orientation of press center coordinates (x i, y i) where the target region R i subregion ID number as the orientation of the target area R i.
  • each target area calculated by S i R i using the pixel coordinate information, (x i, y i) , W i, H i, is calculated as follows:
  • N i is the number of pixels in the target region R i
  • (x ij, y ij) is the coordinates of each R pixel i
  • j is R the pixel number i
  • H is the height and width of the original image
  • N wi is the maximum number of horizontal pixels in the target region R i
  • p is an image The scale of pixels to real length.
  • a graphics analysis unit (GPU) is added to accelerate image analysis speed, and the combined use of Spark cluster and GPU is realized through the python high-performance computing library Numba.
  • completing the missing features that do not exceed the threshold is specifically:
  • x ⁇ [x min , x max ], x min , x max are the minimum and maximum values of the feature in the data table respectively;
  • the OneHotEncoder function is used to map, and each element of the feature is converted into a numerical value that can be used for calculation, that is, OneHot type data. Make it suitable for general machine learning algorithms.
  • machine learning algorithm in the machine learning algorithm module includes linear regression, logistic regression, support vector machine, random forest, etc.
  • the system also includes a distributed data analysis platform: the platform is composed of three servers, and distributed access of data between a master server (Master) and two slave servers (Slave) is realized by deploying Hadoop and Spark clusters And task scheduling and parallel computing.
  • Master master server
  • Slave slave servers
  • the beneficial effects of the present invention are: in the actual application process, the present invention has high calculation efficiency, large data utilization rate, simple operation, and is generally applicable to the research of medical data analysis subjects, and can reach a practical level. details as follows:
  • the present invention aims at the integration of structured data such as disease examination and diagnosis, demographics, and unstructured data such as medical imaging data in the hospital electronic medical record system. Improve the utilization of biomedical data.
  • Aiming at the difficulty of fusion analysis of medical image data and structured data in medical electronic medical records computer vision technology is used to structurally transform the key information of medical images, and other data with the same id in the electronic medical record system is integrated through data preprocessing.
  • the module uses machine learning algorithms to comprehensively analyze data to form a high-efficiency and high-utilization medical data analysis system, which can meet the research needs of researchers in different topics.
  • GPU graphics processing units
  • Figure 1 Flow chart of medical data analysis system
  • FIG. 1 Schematic diagram of image information structured module
  • Figure 3 Schematic diagram of original image orientation encoding
  • FIG. 4 Schematic diagram of fusion and preprocessing module
  • FIG. 5 Schematic diagram of machine learning algorithm modules.
  • a medical data analysis system integrating structured image data includes:
  • the module screens the corresponding medical image data (unstructured data) from the hospital electronic medical record system according to the patient id, uses computer vision technology, and uses the U-Net convolutional neural network framework based on Olaf Ronneberger to achieve An end-to-end image segmentation model.
  • a single image is input as the model and a segmentation result image with the same size as the original image is obtained.
  • the pixel value of the target segmentation area is 1 and the remaining pixel values are 0.
  • the original image is divided at equal distances The length and width of, get multiple sub-regions of equal area, and assign an orientation number to each sub-region; the following is an example of an orientation number:
  • the original image is divided into four sub-regions with the same area as the center of the original image, and the orientation numbers 1, 2, 3, 4 are given, and the segmentation result map is mapped to the original image, according to the target area
  • the azimuth number of the subregion where the center point coordinates (x i , y i ) of R i are located is used as the azimuth number of the target region R i .
  • the segmentation results of FIG determines whether target region calculated for each region R i of the target area S i, center coordinates (x i, y i), the longest distance transverse and longitudinal longest distance W i H i, and acquires the target area
  • the position number P i of R i associates S i , (x i , y i ), W i , H i , and P i as features with the patient id to form a structured data table of image information.
  • N i is the number of pixels in the target region R i
  • (x ij, y ij) is the coordinates of each pixel of the R i (j is R i number of pixels)
  • H is the height and width of the original image
  • N wi is the maximum number of horizontal pixels in the target region R i
  • p is an image The ratio of mid-pixel to true length.
  • the module is added to the graphics analysis unit (GPU) Speed up image analysis, and realize the joint use of Spark cluster and GPU through the python high-performance computing library Numba.
  • GPU graphics analysis unit
  • the module filters out the structured data corresponding to these patient ids from the electronic medical record system according to the patient ids in the image information structured data table (structured data can include multiple features, such as sub-type features , Numerical features), the structured data is spliced into the image information structured data table in the way of id correspondence to realize the fusion of unstructured data and structured data of the same patient; for the fused image information structured data For each patient id in the table, calculate the missing rate of all the features of the patient id, eliminate the patient id and its corresponding data whose missing rate exceeds the threshold (the threshold can be set to 60%), and supplement the missing features that do not exceed the threshold all.
  • the threshold can be set to 60%
  • x ⁇ [x min , x max ], x min , x max are the minimum and maximum values of the feature in the data table respectively;
  • OneHotEncoder function mapping can be used to convert each element of the feature (that is, the data corresponding to the feature for each patient id) into a value that can be used for calculation, that is, OneHot data , Making it suitable for general machine learning algorithms.
  • this module presets a number of machine learning algorithms, including linear regression, logistic regression, support vector machines, random forests, etc.; the machine learning algorithm is encapsulated into a function form, and the user chooses the machine learning algorithm and Set algorithm parameters; this module receives the data table output by the fusion and preprocessing module, converts the data table into dataframe format data, and uses the user set algorithm parameters as the input of the user selection function, and completes data analysis on the distributed data analysis platform , And visualize the analysis results in the form of charts.
  • machine learning algorithms including linear regression, logistic regression, support vector machines, random forests, etc.
  • the system can also include a distributed data analysis platform.
  • the platform consists of three servers.
  • Hadoop and Spark clusters distributed data access and tasks between one master server and two slave servers (Slave) are realized Scheduling and parallel computing.
  • Image information structuring module The size of this type of chest CT image is 512*512. Each image has been trained on the U-Net convolutional neural network model, and the corresponding segmentation result image is output. According to the pixel count, S The number of 1 pixels N 1 is 1144, the number of S 2 pixels N 2 is 8876, and p is 21.4 mm.
  • the structured text data corresponding to the same patient id is read in dataframe format, and the data content includes patientId (patient id), medication, gender, age, smoking, drinking, etc., according to patient id
  • PatientId patient id
  • Match the fusion image structured information data and structured text data calculate the data missing rate corresponding to each patient id, remove data with a missing rate of more than 60%, and perform median interpolation for missing data with a missing rate of less than 60%.
  • Character data such as whether to use medicine is mapped to the OneHotEncoder function according to the rules of "Yes"-"[1,0]", "No"-"[0,1]” to form uniform numerical computable data.
  • Machine learning algorithm module Aiming at the accuracy of predicting the cure of tuberculosis after one year of medication, select the logistic regression algorithm, set the maximum number of iterations to 1000 and other parameters, and read the preprocessed data in dataframe format. And pass the data, algorithm model, algorithm parameters, etc. into the analysis function through the interface call. After the calculation is completed, the analysis results are obtained, such as gender statistics pie chart, age distribution statistics histogram, prediction accuracy rate of 0.94, and visualization images The PR curve and POC curve have completed the system analysis process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

一种融合结构化影像数据的医疗数据分析系统，该系统包括影像信息结构化模块、融合与预处理模块、机器学习算法模块，其基于Spark和Hadoop实现的分布式数据分析平台，针对医学影像数据难以和医疗电子病历中结构化数据融合分析的难点，利用影像信息结构化模块通过计算机视觉技术对医学影像数据分析并进行关键信息的结构化转化，融合电子病历系统中同一病人的其他诊断信息、人口统计学信息等结构化数据，通过数据预处理模块进行缺失值处理和分类型数据转化，结合机器学习算法模块进行数据分析和结果可视化，形成高效率的医疗数据分析系统，提高多种类多维度医疗数据的利用率，可满足研究人员不同的课题研究需求。

Description

一种融合结构化影像数据的医疗数据分析系统 技术领域
本发明属于医疗数据分析领域，尤其涉及一种融合结构化影像数据的医疗数据分析系统。
背景技术
生物医学数据广泛涉及人类健康相关的各个领域，随着新型生物/医学技术应用的普及，医疗电子病历数据的量增长迅速，呈现种类繁多、高维度多模式、内涵复杂丰富等特点，特别是生命科学组学数据、医疗影像数据等高维度非结构化医疗数据要求快速特异性分析处理能力。现有技术方案针对大数据平台实现基于Hadoop开源软件的分布式存储和并行汇总计算，提升存取能力，提高分析任务的有效调度和处理效率。
医疗电子病历数据包括人口统计学数据、临床诊断数据、检查数据、影像数据等，具有维度高、种类复杂多样、结构复杂等特点，故现有处理方法大多只是针对单一种类数据(如眼底视网膜检查数据、特定部位CT扫描数据等)进行针对性地疾病科学研究，可能存在数据量小、分析速度慢等缺点，且数据收集周期较长，很难满足准确快速分析的要求。
发明内容
本发明的目的在于针对现有生物医学数据分析模式的局限性，提出了一种融合结构化影像数据的医疗数据分析系统。
本发明是通过以下技术方案来实现的：一种融合结构化影像数据的医疗数据分析系统，该系统包括影像信息结构化模块、融合与预处理模块和机器学习算法模块：
影像信息结构化模块：该模块根据病人id从医院电子病历系统中筛选相对应的医疗影像数据，采用计算机视觉技术，利用U-Net卷积神经网络框架实现端到端的图像分割模型，以单张图像作为模型输入并得到与原图像大小相同的分割结果图，其中目标分割区域的像素点值为1，其余像素点值为0，以等距离划分原图像的长和宽，得到等面积的多个子区域，并对每个子区域赋予方位编号；根据分割结果图判断是否有目标区域，计算各个目标区域R i的面积S i、中心点坐标(x i，y i)、横向最长距离W i和纵向最长距离H i，并获取目标区域R i的方位编号P i，将S i、(x i，y i)、W i、H i、P i作为特征与病人id进行关联，形成影像信息结构化数据表。
融合与预处理模块：该模块根据影像信息结构化数据表中存在的病人id，从电子病历系统中筛选出这些病人id对应的结构化数据，以id对应的方式将结构化数据拼接到影像信息结构化数据表中，实现同一个病人的非结构化数据和结构化数据的融合；对于融合后的影像信息结构化数据表中的每个病人id，计算该病人id所有特征的缺失率，对缺失率超过阈值的病人id 及其对应数据进行剔除，对未超过阈值的缺失特征进行补全。
机器学习算法模块：该模块预设若干机器学习算法，将机器学习算法封装成函数形式，由用户自行选择机器学习算法并设定算法参数；该模块接收融合与预处理模块输出的数据表，将数据表转换为dataframe格式数据，和用户设定算法参数共同作为用户选择函数的输入，完成数据分析，并以图表形式对分析结果进行可视化展示。
进一步地，所述影像信息结构化模块，以原图像中心点为中心，将原图像等面积分割成四个子区域，并给定方位编号1、2、3、4，分割结果图映射到原图像上，按目标区域R i的中心点坐标(x i，y i)所在子区域的方位编号作为该目标区域R i的方位编号。
进一步地，所述影像信息结构化模块中，利用像素点坐标信息计算各个目标区域R i的S i、(x i，y i)、W i、H i，计算公式如下：
Figure PCTCN2020083584-appb-000001
Figure PCTCN2020083584-appb-000002
Figure PCTCN2020083584-appb-000003
Figure PCTCN2020083584-appb-000004
Figure PCTCN2020083584-appb-000005
其中i为目标区域的编号i＝1,2,3,……，N i为目标区域R i的像素数，(x ij,y ij)为R i中每个像素点的坐标，j为R i中像素点编号，H，W分别为原图像的高和宽，N wi为目标区域R i的横向最长像素数，N hi为目标区域R i的纵向最长像素数，p为图像中像素与真实长度比例尺。
进一步地，所述影像信息结构化模块中，加入图形分析单元(GPU)加速图像分析速度，并通过python高性能计算库Numba实现Spark集群和GPU的联合使用。
进一步地，所述融合与预处理模块中，对未超过阈值的缺失特征进行补全具体为：
对于数值型特征，生成随机数x实现数据插值补全，x∈[x min,x max]，x min,x max分别为该特征在数据表中的最小值和最大值；
对于分类型特征，随机取该特征在数据表中出现的类别进行数据插值补全。
进一步地，所述融合与预处理模块中，对于分类型特征，在特征补全后，采用OneHotEncoder函数映射，将该特征的每个元素转化为一个可以用来计算的数值，即OneHot型数据，使之适用于通用机器学习算法。
进一步地，所述机器学习算法模块中的机器学习算法包括线性回归、逻辑回归、支持向量机、随机森林等。
进一步地，该系统还包括分布式数据分析平台：该平台由三台服务器构成，通过部署Hadoop和Spark集群实现一台主服务器(Master)和两台从服务器(Slave)间数据的分布式存取和任务调度及并行化计算。
本发明的有益效果是：本发明在实际应用过程中具有计算效率高、数据利用率大、操作简单且普遍适用于医疗数据分析课题的研究，可以达到实用的水平。具体如下：
1)根据研究者对生物医学数据可能存在的数据要求和分析要求，本发明针对医院电子病历系统中的疾病检查诊断、人口统计学等结构化数据和医疗影像数据等非结构化数据综合，可提高生物医学数据的利用率。
2)针对医学影像数据难以和医疗电子病历中结构化数据融合分析的难点，利用计算机视觉技术将医学图像关键信息进行结构化转化，并融合电子病历系统中相同id的其他数据，通过数据预处理模块，利用机器学习算法综合分析数据，形成高效率高利用率的医疗数据分析系统，可满足研究人员不同的课题研究需求。
3)采用Spark和Hadoop开源软件实现数据分布式存取和并行汇总计算以及计算资源有效调度，在影像信息结构化模块加入图形处理单元(GPU)提高高维度高容量数据处理速度，综合提高分析处理速度，更好地实现数据处理的高效性。
附图说明
图1医疗数据分析系统流程图；
图2影像信息结构化模块示意图；
图3原图像方位编码示意图；
图4融合与预处理模块示意图；
图5机器学习算法模块示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1所示，本发明提供的一种融合结构化影像数据的医疗数据分析系统，该系统包括：
一、影像信息结构化模块
如图2所示，该模块根据病人id从医院电子病历系统中筛选相对应的医疗影像数据(非结构化数据)，采用计算机视觉技术，利用基于Olaf Ronneberger的U-Net卷积神经网络框架实现端到端的图像分割模型，以单张图像作为模型输入并得到与原图像大小相同的分割结果图，其中目标分割区域的像素点值为1，其余像素点值为0，以等距离划分原图像的长和宽，得到 等面积的多个子区域，并对每个子区域赋予方位编号；以下为一个方位编号的实例：
如图3所示，以原图像中心点为中心，将原图像等面积分割成四个子区域，并给定方位编号1、2、3、4，分割结果图映射到原图像上，按目标区域R i的中心点坐标(x i，y i)所在子区域的方位编号作为该目标区域R i的方位编号。
根据分割结果图判断是否有目标区域，计算各个目标区域R i的面积S i、中心点坐标(x i，y i)、横向最长距离W i和纵向最长距离H i，并获取目标区域R i的方位编号P i，将S i、(x i，y i)、W i、H i、P i作为特征与病人id进行关联，形成影像信息结构化数据表。
利用像素点坐标信息计算各个目标区域R i的S i、(x i，y i)、W i、H i，计算公式如下：
Figure PCTCN2020083584-appb-000006
Figure PCTCN2020083584-appb-000007
Figure PCTCN2020083584-appb-000008
Figure PCTCN2020083584-appb-000009
Figure PCTCN2020083584-appb-000010
其中i为目标区域的编号i＝1,2,3,……，N i为目标区域R i的像素数，(x ij,y ij)为R i中每个像素点的坐标(j为R i中像素点编号)，H，W分别为原图像的高和宽，N wi为目标区域R i的横向最长像素数，N hi为目标区域R i的纵向最长像素数，p为图像中像素与真实长度比例尺。
为克服图像数据容量大、处理速度慢的缺点，并保证在研究人员的单次数据分析研究中图像分析速度与结构型数据分析速度差在可接受范围内，该模块加入图形分析单元(GPU)加速图像分析速度，并通过python高性能计算库Numba实现Spark集群和GPU的联合使用。
二、融合与预处理模块
如图4所示，该模块根据影像信息结构化数据表中存在的病人id，从电子病历系统中筛选出这些病人id对应的结构化数据(结构化数据可以包括多个特征，例如分类型特征、数值型特征)，以id对应的方式将结构化数据拼接到影像信息结构化数据表中，实现同一个病人的非结构化数据和结构化数据的融合；对于融合后的影像信息结构化数据表中的每个病人id，计算该病人id所有特征的缺失率，对缺失率超过阈值(阈值可设置为60％)的病人id及其对应数据进行剔除，对未超过阈值的缺失特征进行补全。
对未超过阈值的缺失特征进行补全可以采用以下方式：
对于数值型特征，生成随机数x实现数据插值补全，x∈[x min,x max]，x min,x max分别为该特征在数据表中的最小值和最大值；
对于分类型特征，随机取该特征在数据表中出现的类别进行数据插值补全。
对于分类型特征，在特征补全后，可以采用OneHotEncoder函数映射，将该特征的每个元素(即每个病人id对应该特征的数据)转化为一个可以用来计算的数值，即OneHot型数据，使之适用于通用机器学习算法。
三、机器学习算法模块
如图5所示，该模块预设若干机器学习算法，机器学习算法包括线性回归、逻辑回归、支持向量机、随机森林等；将机器学习算法封装成函数形式，由用户自行选择机器学习算法并设定算法参数；该模块接收融合与预处理模块输出的数据表，将数据表转换为dataframe格式数据，和用户设定算法参数共同作为用户选择函数的输入，在分布式数据分析平台完成数据分析，并以图表形式对分析结果进行可视化展示。
四、分布式数据分析平台
该系统还可以包括分布式数据分析平台，该平台由三台服务器构成，通过部署Hadoop和Spark集群实现一台主服务器(Master)和两台从服务器(Slave)间数据的分布式存取和任务调度及并行化计算。
以下给出一个本发明医疗数据分析系统的具体使用场景：
当用户发起分析请求时如研究药物A对肺结核治疗的影响，即预测用药持续一年后肺结核是否痊愈，其过程如下：
(1)首先在医院电子病历系统及相关联数据库系统中筛选诊断为肺结核且使用了药物A和相同条件下未使用药物A的病人，根据病人id号整理成相对应的结构化文本数据和胸部CT影像数据，存储在分布式数据分析平台；
(2)影像信息结构化模块：该类型胸部CT图像大小为512*512，每幅图像经过已训练好的U-Net卷积神经网络模型，输出相应的分割结果图，根据像素点计数，S 1像素个数N 1为1144，S 2像素个数N 2为8876，p为21.4mm计算可得：
Figure PCTCN2020083584-appb-000011
Figure PCTCN2020083584-appb-000012
选择最大分割区域面积，N w2＝72，N h2＝84，继续计算：
Figure PCTCN2020083584-appb-000013
Figure PCTCN2020083584-appb-000014
对于同一个病人id的不同CT图像分析所得结果，选择S i最大的分析结果，根据设计好的特征名称，对所有病人id的图像数据分析完成后形成结构化信息数据。
(3)融合与预处理模块：相同病人id对应的结构化文本数据以dataframe格式读取，数据内容包括patientId(病人id)、是否用药、性别、年龄、是否吸烟、是否喝酒等，根据病人id匹配融合影像结构化信息数据和结构化文本数据，计算各个病人id对应的数据缺失率，对于缺失率超过60％的数据进行剔除，缺失率低于60％的缺失数据进行中位数插值，对于如是否用药等字符型数据根据“是”——“[1,0]”、“否”——“[0,1]”规则进行OneHotEncoder函数映射，形成统一数值型的可计算数据。
(4)机器学习算法模块：针对预测用药持续一年后肺结核痊愈的准确性问题，选择逻辑回归算法，设定最大迭代次数为1000等参数，将预处理后的数据以dataframe的格式读取，并通过接口调用的方式将数据、算法模型、算法参数等传入分析函数中，待计算完成后，得到分析结果，如性别统计饼图、年龄分布统计柱状图、预测准确率0.94，和可视化图像PR曲线、POC曲线，至此完成系统分析流程。
以上仅为本发明的实施实例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

  1. 一种融合结构化影像数据的医疗数据分析系统，其特征在于，该系统包括：
    (1)影像信息结构化模块：该模块根据病人id从医院电子病历系统中筛选相对应的医疗影像数据，采用计算机视觉技术，利用U-Net卷积神经网络框架实现端到端的图像分割模型，以单张图像作为模型输入并得到与原图像大小相同的分割结果图，其中目标分割区域的像素点值为1，其余像素点值为0，以等距离划分原图像的长和宽，得到等面积的多个子区域，并对每个子区域赋予方位编号；根据分割结果图判断是否有目标区域，计算各个目标区域R i的面积S i、中心点坐标(x i，y i)、横向最长距离W i和纵向最长距离H i，并获取目标区域R i的方位编号P i，将S i、(x i，y i)、W i、H i、P i作为特征与病人id进行关联，形成影像信息结构化数据表。
    (2)融合与预处理模块：该模块根据影像信息结构化数据表中存在的病人id，从电子病历系统中筛选出这些病人id对应的结构化数据，以id对应的方式将结构化数据拼接到影像信息结构化数据表中，实现同一个病人的非结构化数据和结构化数据的融合；对于融合后的影像信息结构化数据表中的每个病人id，计算该病人id所有特征的缺失率，对缺失率超过阈值的病人id及其对应数据进行剔除，对未超过阈值的缺失特征进行补全。
    (3)机器学习算法模块：该模块预设若干机器学习算法，将机器学习算法封装成函数形式，由用户自行选择机器学习算法并设定算法参数；该模块接收融合与预处理模块输出的数据表，将数据表转换为dataframe格式数据，和用户设定算法参数共同作为用户选择函数的输入，完成数据分析，并以图表形式对分析结果进行可视化展示。
  2. 根据权利要求1所述一种融合结构化影像数据的医疗数据分析系统，其特征在于：所述影像信息结构化模块，以原图像中心点为中心，将原图像等面积分割成四个子区域，并给定方位编号1、2、3、4，分割结果图映射到原图像上，按目标区域R i的中心点坐标(x i，y i)所在子区域的方位编号作为该目标区域R i的方位编号。
  3. 根据权利要求1所述一种融合结构化影像数据的医疗数据分析系统，其特征在于：所述影像信息结构化模块中，利用像素点坐标信息计算各个目标区域R i的S i、(x i，y i)、W i、H i，计算公式如下：
    Figure PCTCN2020083584-appb-100001
    Figure PCTCN2020083584-appb-100002
    Figure PCTCN2020083584-appb-100003
    Figure PCTCN2020083584-appb-100004
    Figure PCTCN2020083584-appb-100005
    其中i为目标区域的编号i＝1,2,3,……，N i为目标区域R i的像素数，(x ij,y ij)为R i中每个像素点的坐标(j为R i中像素点编号)，H，W分别为原图像的高和宽，N wi为目标区域R i的横向最长像素数，N hi为目标区域R i的纵向最长像素数，p为图像中像素与真实长度比例尺。
  4. 根据权利要求1所述一种融合结构化影像数据的医疗数据分析系统，其特征在于：所述影像信息结构化模块中，加入图形分析单元(GPU)加速图像分析速度，并通过python高性能计算库Numba实现Spark集群和GPU的联合使用。
  5. 根据权利要求1所述一种融合结构化影像数据的医疗数据分析系统，其特征在于：所述融合与预处理模块中，对未超过阈值的缺失特征进行补全具体为：
    对于数值型特征，生成随机数x实现数据插值补全，x∈[x min,x max]，x min,x max分别为该特征在数据表中的最小值和最大值；
    对于分类型特征，随机取该特征在数据表中出现的类别进行数据插值补全。
  6. 根据权利要求1所述一种融合结构化影像数据的医疗数据分析系统，其特征在于：所述融合与预处理模块中，对于分类型特征，在特征补全后，采用OneHotEncoder函数映射，将该特征的每个元素转化为一个可以用来计算的数值，即OneHot型数据，使之适用于通用机器学习算法。
  7. 根据权利要求1所述一种融合结构化影像数据的医疗数据分析系统，其特征在于：所述机器学习算法模块中的机器学习算法包括线性回归、逻辑回归、支持向量机、随机森林等。
  8. 根据权利要求1所述一种融合结构化影像数据的医疗数据分析系统，其特征在于：该系统还包括分布式数据分析平台：该平台由三台服务器构成，通过部署Hadoop和Spark集群实现一台主服务器(Master)和两台从服务器(Slave)间数据的分布式存取和任务调度及并行化计算。
PCT/CN2020/083584 2019-07-12 2020-04-07 一种融合结构化影像数据的医疗数据分析系统 Ceased WO2020233254A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910629798.9A CN110349652B (zh) 2019-07-12 2019-07-12 一种融合结构化影像数据的医疗数据分析系统
CN201910629798.9 2019-07-12

Publications (1)

Publication Number Publication Date
WO2020233254A1 true WO2020233254A1 (zh) 2020-11-26

Family

ID=68176006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/083584 Ceased WO2020233254A1 (zh) 2019-07-12 2020-04-07 一种融合结构化影像数据的医疗数据分析系统

Country Status (2)

Country Link
CN (1) CN110349652B (zh)
WO (1) WO2020233254A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612823A (zh) * 2020-12-14 2021-04-06 南京铁道职业技术学院 一种基于PySpark和Pandas融合的大数据时序分析方法
CN114358136A (zh) * 2021-12-10 2022-04-15 鹏城实验室 一种图像数据处理方法、装置、智能终端及存储介质
CN114783517A (zh) * 2022-05-13 2022-07-22 中国医科大学 基于影像组学及语义特征预测crlm患者的ras基因状态
CN114999638A (zh) * 2022-07-19 2022-09-02 武汉蓝嵊科技有限公司 基于人工智能医疗诊断用的大数据可视化处理方法及系统
CN116627680A (zh) * 2023-07-20 2023-08-22 河北神玥软件科技股份有限公司 一种基于多源数据融合的云管理平台及方法
TWI857673B (zh) * 2023-06-26 2024-10-01 宏碁智醫股份有限公司 用於提升學習模型之穩定性的資料處理系統
US20250022558A1 (en) * 2023-07-11 2025-01-16 Iterative Scopes, Inc. Systems and methods for generating structured records based on medical images of an endoscopy

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349652B (zh) * 2019-07-12 2022-02-22 之江实验室 一种融合结构化影像数据的医疗数据分析系统
CN113127555A (zh) * 2019-12-30 2021-07-16 北京阿博茨科技有限公司 一种数据可视化画法匹配装置及方法
CN111191733B (zh) * 2020-01-02 2020-09-29 平安科技（深圳）有限公司 多数据来源的数据融合方法、装置、电子设备及存储介质
CN111260209B (zh) * 2020-01-14 2022-03-11 山东大学 电子病历与医学影像结合的心血管疾病风险预测评估系统
CN111598883B (zh) * 2020-05-20 2023-05-26 重庆工程职业技术学院 获取云数据医学影像的标定标签设备和工作方法
DE102020212318A1 (de) * 2020-09-30 2022-03-31 Siemens Healthcare Gmbh Fallpriorisierung für ein medizinisches System
CN112365939B (zh) * 2020-10-14 2023-04-07 山东大学 一种基于医疗健康大数据的数据治理方法及系统
CN112819831B (zh) * 2021-01-29 2024-04-19 北京小白世纪网络科技有限公司 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN113707249A (zh) * 2021-03-25 2021-11-26 腾讯科技（深圳）有限公司 医疗影像处理方法、装置和存储介质
CN113782212A (zh) * 2021-04-19 2021-12-10 东华医为科技有限公司 一种数据处理系统
CN113674837A (zh) * 2021-07-20 2021-11-19 中电通商数字技术(上海)有限公司 一种高性能、高容错、可扩展的医学数据采集方法及系统
CN113627495B (zh) * 2021-07-27 2024-04-16 上海齐网网络科技有限公司 医疗数据融合方法、系统及服务器
CN113808747B (zh) * 2021-10-11 2023-12-26 南昌大学第二附属医院 一种缺血性脑卒中复发预测方法
CN114255840B (zh) * 2022-02-25 2022-06-24 广州科犁医学研究有限公司 基于临床研究数据的智能数据处理系统
CN115131642B (zh) * 2022-08-30 2022-12-27 之江实验室 一种基于多视子空间聚类的多模态医学数据融合系统
CN115145906B (zh) * 2022-09-02 2023-01-03 之江实验室 一种面向结构化数据的预处理和补全方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1613070A (zh) * 2001-11-02 2005-05-04 美国西门子医疗解决公司 用于自动顺应性的病人数据挖掘
CN106846317A (zh) * 2017-02-27 2017-06-13 北京连心医疗科技有限公司 一种基于特征提取和相似匹配的医学影像检索方法
CN109544561A (zh) * 2018-11-07 2019-03-29 杭州迪英加科技有限公司 细胞标注方法、系统和装置
CN109830303A (zh) * 2019-02-01 2019-05-31 上海众恒信息产业股份有限公司 基于互联网一体化医疗平台的临床数据挖掘分析与辅助决策方法
CN110349652A (zh) * 2019-07-12 2019-10-18 之江实验室 一种融合结构化影像数据的医疗数据分析系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238162A (zh) * 2010-12-03 2011-11-09 元润康联（上海）科技有限公司 一种医院间非结构化信息归档的方法
CN103116643A (zh) * 2013-02-25 2013-05-22 江苏物联网研究发展中心 基于Hadoop的智慧医疗数据管理方法
US20170083665A1 (en) * 2015-09-23 2017-03-23 Siemens Healthcare Gmbh Method and System for Radiology Structured Report Creation Based on Patient-Specific Image-Derived Information
CN108335734A (zh) * 2018-02-07 2018-07-27 深圳安泰创新科技股份有限公司 临床图像记录方法、装置及计算机可读存储介质
CN108389614B (zh) * 2018-03-02 2021-01-19 西安交通大学 基于图像分割与卷积神经网络构建医学影像图谱的方法
CN109829892A (zh) * 2019-01-03 2019-05-31 众安信息技术服务有限公司 一种预测模型的训练方法、使用该模型的预测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1613070A (zh) * 2001-11-02 2005-05-04 美国西门子医疗解决公司 用于自动顺应性的病人数据挖掘
CN106846317A (zh) * 2017-02-27 2017-06-13 北京连心医疗科技有限公司 一种基于特征提取和相似匹配的医学影像检索方法
CN109544561A (zh) * 2018-11-07 2019-03-29 杭州迪英加科技有限公司 细胞标注方法、系统和装置
CN109830303A (zh) * 2019-02-01 2019-05-31 上海众恒信息产业股份有限公司 基于互联网一体化医疗平台的临床数据挖掘分析与辅助决策方法
CN110349652A (zh) * 2019-07-12 2019-10-18 之江实验室 一种融合结构化影像数据的医疗数据分析系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612823A (zh) * 2020-12-14 2021-04-06 南京铁道职业技术学院 一种基于PySpark和Pandas融合的大数据时序分析方法
CN112612823B (zh) * 2020-12-14 2022-07-19 南京铁道职业技术学院 一种基于PySpark和Pandas融合的大数据时序分析方法
CN114358136A (zh) * 2021-12-10 2022-04-15 鹏城实验室 一种图像数据处理方法、装置、智能终端及存储介质
CN114358136B (zh) * 2021-12-10 2024-05-17 鹏城实验室 一种图像数据处理方法、装置、智能终端及存储介质
CN114783517A (zh) * 2022-05-13 2022-07-22 中国医科大学 基于影像组学及语义特征预测crlm患者的ras基因状态
CN114999638A (zh) * 2022-07-19 2022-09-02 武汉蓝嵊科技有限公司 基于人工智能医疗诊断用的大数据可视化处理方法及系统
TWI857673B (zh) * 2023-06-26 2024-10-01 宏碁智醫股份有限公司 用於提升學習模型之穩定性的資料處理系統
US20250022558A1 (en) * 2023-07-11 2025-01-16 Iterative Scopes, Inc. Systems and methods for generating structured records based on medical images of an endoscopy
CN116627680A (zh) * 2023-07-20 2023-08-22 河北神玥软件科技股份有限公司 一种基于多源数据融合的云管理平台及方法
CN116627680B (zh) * 2023-07-20 2023-10-03 河北神玥软件科技股份有限公司 一种基于多源数据融合的云管理平台及方法

Also Published As

Publication number Publication date
CN110349652A (zh) 2019-10-18
CN110349652B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN110349652B (zh) 一种融合结构化影像数据的医疗数据分析系统
CN100573530C (zh) 基于网格平台的分布式医学图像检索系统
Hu et al. Classification of metaphase chromosomes using deep convolutional neural network
Akhtar From bard to Gemini: An investigative exploration journey through Google’s evolution in conversational AI and generative AI
Wu et al. Diabetic macular edema grading based on improved Faster R-CNN and MD-ResNet
Muraru et al. Cervical cancer prediction based on imbalanced data using machine learning algorithms with a variety of sampling methods
CN111292815A (zh) 基于云的社区大数据健康服务系统
Wang et al. A multiscale attentional unet model for automatic segmentation in medical ultrasound images
CN117251443A (zh) 一种临床数据管理平台
Aguiar-Salazar et al. Rapid detection of cardiac pathologies by neural networks using ECG signals (1D) and sECG images (3D)
Stefanelli et al. Developing an AI-powered wound assessment tool: a methodological approach to data collection and model optimization
Shan et al. Automatic skin lesion classification using a new densely connected convolutional network with an SF module
Shang et al. Identification of common oral disease lesions based on U-Net
Zhang et al. FedCVD: The first real-world federated learning benchmark on cardiovascular disease data
CN111798455B (zh) 一种基于全卷积密集空洞网络的甲状腺结节实时分割方法
Cheng et al. Dr. Pecker: a deep learning-based computer-aided diagnosis system in medical imaging
Zhang et al. A Study on the Interpretability of Diabetic Retinopathy Diagnostic Models
Jin et al. OBIA: an open biomedical imaging archive
Zhou et al. Hierarchical hybrid networks for automatic pulmonary blood vessel segmentation in computed tomography images
CN109887603A (zh) 一种计算机辅助医疗数据处理系统及方法
Muntasir et al. Interpreting multiclass lung cancer from CT scans using grad-CAM on lightweight CNN layers
CN115700789A (zh) 一种基于多模态医学数据的肺炎预检分诊系统
Sinha et al. Visualizing wellness: the impact of deep learning on healthcare image analysis
Ayadi et al. A medical image retrieval scheme with relevance feedback through a medical social network
Alkhatib et al. Industry 4.0 applications in the healthcare sector: the dawn of healthcare 4.0

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20809280

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20809280

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 23/01/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20809280

Country of ref document: EP

Kind code of ref document: A1