WO2021017736A1 - 一种图像分析装置 - Google Patents

一种图像分析装置 Download PDF

Info

Publication number
WO2021017736A1
WO2021017736A1 PCT/CN2020/099480 CN2020099480W WO2021017736A1 WO 2021017736 A1 WO2021017736 A1 WO 2021017736A1 CN 2020099480 W CN2020099480 W CN 2020099480W WO 2021017736 A1 WO2021017736 A1 WO 2021017736A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
glomerular
dimensionality reduction
feature vector
Prior art date
Application number
PCT/CN2020/099480
Other languages
English (en)
French (fr)
Inventor
李风仪
南洋
侯晓帅
谢春梅
王佳平
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021017736A1 publication Critical patent/WO2021017736A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • This application relates to the field of image processing technology, and in particular to an image analysis device.
  • the kidney is an organ in the human body, but according to statistics, there are more and more people suffering from kidney disease in China, and there are many types of kidney disease. With the development of the medical level, the research on kidney disease has become more and more in-depth. Analyzing the pathological data of the kidneys can classify glomeruli into normal glomeruli and sclerotic glomeruli, which can accelerate the study of different types of glomerular pathology.
  • the inventor realizes that in the prior art, the glomerulus can only be classified through the experience of disease researchers to obtain normal glomeruli and sclerotic glomeruli. For the rigor of disease research, disease researchers spend a lot of time manually distinguishing glomeruli and classifying glomeruli into normal glomeruli and sclerotic glomeruli. Therefore, the process of typing glomeruli will take a lot of time for disease researchers. This reduces the work efficiency of disease researchers.
  • the main purpose of the present application is to provide an image analysis device, which aims to solve the technical problem of artificially distinguishing the type of glomerulus in the prior art, which takes a lot of time and causes low work efficiency of disease researchers.
  • an image analysis device including: an image acquisition module for acquiring image data with glomeruli; an image processing module electrically connected to the image acquisition module, the image processing module used The glomerular data in the image data acquired by the image acquisition module is converted into vector data in Euclidean space to obtain a potential manifold; a glomerular processing module electrically connected to the image processing module, the image processing The module is used to locate and screen abnormal glomerular data in the potential manifold generated by the image processing module; a glomerular typing module electrically connected to the glomerular processing unit, the glomerulus The typing unit is used to perform typing processing on abnormal glomerular data screened by the glomerular processing module.
  • This application provides an image analysis device, which has a beneficial effect in that it can automatically classify glomeruli through an image acquisition module, an image processing module, a glomerular processing module, and a glomerular typing module, so that it can be used in disease research Therefore, disease researchers do not need to distinguish glomeruli manually, thus saving the working time of disease researchers and improving the work efficiency of disease researchers.
  • FIG. 1 is a schematic block diagram of the structure of an image analysis device according to an embodiment of the application
  • FIG. 2 is a schematic block diagram of the structure of an image processing module of an image analysis device according to an embodiment of the application;
  • FIG. 3 is a schematic block diagram of the structure of the glomerular processing module of the image analysis device according to the embodiment of the application;
  • FIG. 4 is a schematic block diagram of the structure of an outlier detection unit of an image analysis device according to an embodiment of the application;
  • FIG. 5 is a schematic block diagram of the structure of the glomerular typing module of the image analysis device according to the embodiment of the application.
  • Figure 1 is an image analysis device, including: an image acquisition module 1, an image processing module 2, a glomerulus processing module 3, and a glomerulus typing module 4; the image acquisition module 1 is used to acquire a glomerulus
  • the image processing module 2 is electrically connected to the image acquisition module 1, and is used to convert the glomerular data in the image data acquired by the image acquisition module 1 into vector data in Euclidean space; glomerular processing module 3 is electrically connected to the image processing module 2 for locating and screening abnormal glomerular data within all the vector data generated by the image processing module 2; the glomerular typing module 4 is connected to the glomerulus
  • the processing unit is electrically connected, and is used for typing and processing the abnormal glomerulus data screened by the glomerulus processing module 3.
  • the image processing module 2 includes: a feature extraction unit 21 and a dimensionality reduction iteration unit 22; the feature extraction unit 21 is electrically connected to the image acquisition module 1, and is used to compare the image acquired by the image acquisition module 1. Perform feature extraction on the data to obtain the three-dimensional feature vector of the glomerular data in the European three-dimensional space; the dimensionality reduction iterative unit 22 is electrically connected to the feature extraction unit 21, and is used to perform the three-dimensional feature vector obtained by the feature extraction unit 21. Dimensionality reduction processing generates dimensionality reduction feature vectors in two-dimensional Euclidean space.
  • the feature extraction unit 21 integrates a feature extraction model.
  • the glomerular data in the image data is extracted by the feature extraction model to generate a three-dimensional feature vector of the glomerular data, and form structured data.
  • Each dimension represents a dimension of the Euclidean space;
  • the dimensionality reduction iterative unit 22 integrates a dimensionality reduction model. After inputting the three-dimensional feature vector into the dimensionality reduction model and performing iterative processing, the three-dimensional feature vector is converted into a two-dimensional Euclidean space. Dimensional feature vector.
  • Equation 2 the conditional probability of P and Q under the Gaussian distribution is converted to the joint distribution probability of P and Q, as shown in Equation 2, which is expressed as follows:
  • the initial dimensionality reduction feature vector is obtained, and the loss of the initial dimensionality reduction feature vector is judged whether the loss has converged.
  • the vector returns to the input part and continues to iterate until the data requirements of the joint probability condition are met, and the final dimensionality reduction feature vector is output.
  • Knowing the data of the three-dimensional feature vector X, X x1,..., xn; set the perplexity of the cost function to Perp; set the number of iterations T, the learning rate ⁇ , and the momentum ⁇ (t) to transform the three-dimensional feature vector
  • the glomerular processing module 3 includes: an image feature screening unit 31 and an image elimination unit 32; the image feature screening unit 31 is electrically connected to the dimensionality reduction iteration unit 22, and is used to perform the dimensionality reduction iteration
  • the dimensionality reduction feature vector generated by the unit 22 is screened to obtain the dimensionality reduction feature vector of abnormal glomerular data;
  • the image removal unit 32 is electrically connected to the image feature screening unit 31, and is used to remove images based on known glomerular data
  • the dimensionality reduction feature vector of abnormal glomerular data that has no research value among the dimensionality reduction feature vectors of abnormal glomerular data generated by the feature screening unit 31, and the dimensionality reduction feature of abnormal glomerular data that has research value is retained vector.
  • the glomerulus processing module 3 also includes: an outlier detection unit 33, which is electrically connected to the image rejection unit 32, and is used to characterize the non-research value retained by the image rejection unit 32 The degree of alienation of normal glomerular data.
  • the outlier detection unit 33 includes: a binary tree construction sub-unit 331 and an abnormal score calculation sub-unit 332; the binary tree construction sub-unit 331 and the image removal unit 32 are electrically connected to The dimensionality reduction feature vector of abnormal glomerular data with research value retained by the image rejection unit 32 constructs a binary tree; the abnormal score calculation subunit 332 is electrically connected to the binary tree construction subunit 331 for calculating the The abnormal score of each data point of the binary tree constructed by the binary tree construction subunit 331, and the size of the abnormal score reflects the degree of alienation of the glomerular data associated with the corresponding data point.
  • the image feature screening unit 31 integrates a data screening model.
  • the data screening model is the Isolation Forest model.
  • the dimensionality reduction feature vector is input into the data screening model to obtain the dimensionality reduction feature vector after screening.
  • the dimensionality reduction feature vector represents abnormal glomerular data; and the image removal unit 32 removes the abnormal glomerular data of known pathology in the dimensionality reduction feature vector after screening, leaving unknown pathology Research on abnormal glomerular data.
  • Isolation Forest is used for outlier detection, which can directly describe the degree of data alienation.
  • Isolation Forest uses a binary tree to segment the data. The depth of the data point in the binary tree reflects the degree of "distance" of the data.
  • Isolation Forest training a binary tree is used to construct subunits to construct multiple binary trees; when Isolation Forest is used for prediction, the results of multiple binary trees are combined to calculate the abnormal score of each data point.
  • the glomerular typing module 4 includes: a glomerular evaluation unit 41 and a typing threshold unit 42; the glomerular evaluation unit 41 is electrically connected to the glomerular processing module 3 for The weight of the abnormal glomerular data screened by the glomerular typing module 4 is adjusted; the typing threshold unit 42 is electrically connected to the glomerular evaluation unit 41, and is used to set the typing threshold according to If the weight of the glomerular data reaches the typing threshold, the range of the glomerular data is different.
  • the glomerular evaluation unit 41 integrates a weighted-accuracy function, uses the weighted-accuracy function to evaluate different types of glomeruli, and uses the weighted-accuracy function to adjust the weights of different types of glomeruli in the classification neural network.
  • the classification threshold unit After the classification threshold unit has set the classification threshold, if the glomerular weight reaches a certain threshold or lies between certain thresholds, the abnormal cause of abnormal glomeruli in the glomerular data can be determined.
  • the classification neural network may be a neural network such as ResNet50, ResNeXt, ResNet-FPN, DenseNet121, etc.
  • the DenseNet121 neural network is used as the classification neural network.
  • the application principle of the DenseNet121 neural network is as follows:
  • Step 1 When the three-dimensional feature vector is [512,512,3], two 512 represent pixels in two dimensions, 3 refers to the number of feature channels, that is, the size of the input image is 512*512*3, after ZeroPadding2D processing 518*518*3 image data; Conv2D processing 518*518*3 image data to obtain 256*256*64 image data; BatchNormalization processing to 256*256*64 image data to obtain standardized 256 *256*64 image data; after activation function, ZeroPadding2D processing 256*256*64 image data to get 258*258*64 image data; MaxPooling2D processing to 258*258*64 image data to get 128*128* 64 image data.
  • Step 2 Take the above 128*128*64 image data as input, specify blocks in a loop, each time through the following operations: perform BatchNormalization processing, pass activation function Activation, perform Conv2D processing, perform BatchNormalization, perform Activation processing, and perform Conv2D processing, Perform Concatenate processing and end a loop. Each time the loop is completed, the image size remains unchanged, and the number of channels (feature channels) increases by 32.
  • Step 3 Perform BatchNormalization processing, after activation function Activation, perform Conv2D processing, perform BatchNormalization, and perform AveragePooling processing; among them, each time a transition block is performed, the image size becomes half of the original and the number of channels remains unchanged.
  • Step 4 Perform step two and step three in sequence, dense block, transition block, dense block, and finally output a feature map with a shape size of [16,16,1024], and then go through BatchNormalization and GlobalAvergatePooling to output a feature with a size of [1024]
  • the vector finally passes through Dense and outputs the probability of 3 classifications.
  • the glomerular typing module 4 further includes: a glomerular data sample unit 43; the glomerular data sample unit 43 is electrically connected to the typing threshold unit 42 for storing and sending to the typing threshold unit 42 Transmit the sample data of abnormal glomeruli and their corresponding weights; by using the sample data, the abnormal glomerular data in the sample data and the corresponding typing threshold can be used to determine whether the current glomerular data has been studied in history.
  • the current abnormal glomerular data has been studied in history, which can reduce the time to study the current abnormal glomerular data.
  • the image analysis device further includes: a typing result marking module 5; the typing result marking module 5 is electrically connected to the glomerular typing module 4, and is used for marking the typed glomeruli;
  • the result marking module integrates three classification functions, and the abnormal glomerulus data is marked as negative samples, glomeruli and sclerotic glomeruli by using the three classification functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种图像分析装置，可在智慧城市智慧医疗中实现，解决了现有技术中人工辨别肾小球类型而花费大量时间导致疾病研究人员工作效率低的问题，包括：图像获取模块（1），用于获取具有肾小球的图像数据；与图像获取模块电连接的图像处理模块（2），用于根据图像获取模块获取的图像数据中的肾小球数据转化为欧式空间的向量数据；与图像处理模块电连接的肾小球处理模块（3），用于在图像处理模块生成的所有向量数据内定位并筛选非正常的肾小球数据；与肾小球处理单元电连接的肾小球分型模块（4），用于将肾小球处理模块筛选的非正常肾小球数据进行分型处理；从而不必人工辨别肾小球，节省了疾病研究人员的工作时间，提高了疾病研究人员的工作效率。

Description

一种图像分析装置
本申请要求于2019年07月31日提交中国专利局、申请号为201910701526.5，发明名称为“一种图像分析装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像分析装置。
背景技术
肾脏是人体内的器官，但是据统计，国内患有肾脏疾病的人越来越多，而且肾脏疾病种类繁多，随着医疗水平的发展，对肾脏疾病的研究也越来越深入，其中，通过解析肾脏的病理数据，能够将肾小球分型为正常肾小球及硬化肾小球，能够加速对不同型肾小球病理的研究。
发明人意识到，在现有技术中，只能通过疾病研究人员的经验来对肾小球进行分型，从而得到正常肾小球及硬化肾小球，而为了疾病研究的严谨性，需要疾病研究人员花费大量的时间来人工辨别肾小球，从而将肾小球进行分型为正常肾小球及硬化肾小球，因此对肾小球的分型过程会花费疾病研究人员大量的时间，从而降低了疾病研究人员的工作效率。
发明内容
本申请的主要目的在于提供一种图像分析装置，旨在解决现有技术中人工辨别肾小球的类型而花费大量时间导致疾病研究人员工作效率低的技术问题。
为实现上述目的，本申请提供一种图像分析装置，包括：图像获取模块，用于获取具有肾小球的图像数据；与所述图像获取模块电连接的图像处理模块，所述图像处理模块用于根据所述图像获取模块获取的图像数据中的肾小球数据转化为欧式空间的向量数据，得到潜在的流形体；与所述图像处理模块电连接的肾小球处理模块，所述图像处理模块用于在所述图像处理模块生成的潜在的流形体内定位并筛选非正常的肾小球数据；与所述肾小球处理单元电连接的肾小球分型模块，所述肾小球分型单元用于将所述肾小球处理模块筛选的非正常肾小球数据进行分型处理。
本申请提供一种图像分析装置，有益效果在于：能够通过图像获取模块、图像处理模块、肾小球处理模块及肾小球分型模块自动对肾小球进行分型，从而使得在疾病研究中，疾病研究人员不必人工辨别肾小球，从而节省了疾病研究人员的工作时间，提高了疾病研究人员的工作效率。
附图说明
图1为本申请实施例图像分析装置的结构示意框图；
图2为本申请实施例图像分析装置的图像处理模块的结构示意框图；
图3为本申请实施例图像分析装置的肾小球处理模块的结构示意框图；
图4为本申请实施例图像分析装置的离群点检测单元的结构示意框图；
图5为本申请实施例图像分析装置的肾小球分型模块的结构示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，为一种图像分析装置，包括：图像获取模块1、图像处理模块2、肾小球处理模块3及肾小球分型模块4；图像获取模块1用于获取具有肾小球的图像数据；图像处理模块2与所述图像获取模块1电连接，用于根据所述图像获取模块1获取的图像数据中的肾小球数据转化为欧式空间的向量数据；肾小球处理模块3与所述图像处理模块2电连接，用于在所述图像处理模块2生成的所有向量数据内定位并筛选非正常的肾小球数据；肾小球分型模块4与所述肾小球处理单元电连接，用于将所述肾小球处理模块3筛选的非正常肾小球数据进行分型处理。
请参阅图2，所述图像处理模块2包括：特征提取单元21及降维迭代单元22；特征提取单元21与所述图像获取模块1电连接，用于对所述图像获取模块1获取的图像数据进行特征提取，得到肾小球数据在欧式三维空间中的三维特征向量；降维迭代单元22与所述特征提取单元21电连接，用于对所述特征提取单元21得到的三维特征向量进行降维处理，生成二维欧式空间中的降维特征向量。
具体地，特征提取单元21集成了特征提取模型，图像数据中的肾小球数据经过特征提取模型的提取，生成肾小球数据的三维特征向量，并形成结构化的数据，三维特征向量中的每一维都代表欧式空间的一个维度；降维迭代单元22集成了降维模型，在将三维特征向量输入降维模型并进行迭代处理后，将三维特征向量转化为二维欧式空间中的降维特征向量。
三维特征向量转化为二维欧式空间中的降维特征向量具体实现过程如下：
设P为原来的空间分布(即，输入前三维特征向量所形成的数据分布)，Q为转化后的空间分布(即，经降维模型处理后得到的降维特征向量所形成的数据分布)，P的分布概率为pij，Q的分布概率为qij；P和Q在高斯分布下的条件概率公式1所示，公式1表示如下：
Figure PCTCN2020099480-appb-000001
为了便于计算，P和Q在高斯分布下的条件概率转换为P和Q的联合分布概率，如公式2所示，公式2表示如下：
Figure PCTCN2020099480-appb-000002
在公式1及公式2中，
Figure PCTCN2020099480-appb-000003
在一次的处理流程中，肾小球数据的三维特征向量输入至降维模型后，得到初始降维特征向量，判断该初始降维特征向量的损失是否收敛，若否，则将初始降维特征向量返回至输入部分继续迭代，直至满足联合概率条件的数据要求，输出最终降维特征向量。
使用t-SNE算法将三维特征向量以低维数据表示，详细过程如下：
已知三维特征向量的数据X，X＝x1，...，xn；设置成本函数cost function的困惑度为Perp；设置迭代次数T，学习速率η,动量α(t)，将三维特征向量转化为降维特征向量的目标结果是低维数据表示Yt＝y1,...,yn；随后就是对Yt的优化，使得三维特征向量转化为降维特征向量。
在对Yt的优化过程中，先计算在给定Perp下的条件概率pj∣i；随后令
Figure PCTCN2020099480-appb-000004
然后用N(0,10-4I)随机初始化Y；最后从t＝1到T进行迭代，做如下操作:计算低维度下的qij，计算梯度，更新Yt＝Yt-1+ηdCdY+α(t)(Yt-1-Yt-2)；完成将三维特征向量转化为降维特征向量。
请参阅图3，所述肾小球处理模块3包括：图像特征筛选单元31及图像剔除单元32；图像特征筛选单元31与所述降维迭代单元22电连接，用于将所述降维迭代单元22生成的降维特征向量进行筛选，得到非正常肾小球数据的降维特征向量；图像剔除单元32与所述图像特征筛选单元31电连接，用于根据已知肾小球数据剔除图像特征筛选单元31生成的非正常肾小球数据的降维特征向量中无研究价值的非正常肾小球数据的降维特征向量，并保留有研究价值的非正常肾小球数据的降维特征向量。
所述肾小球处理模块3还包括：离群点检测单元33，离群点检测单元33与所述图像剔除单元32电连接，用于刻画所述图像剔除单元32保留的有研究价值的非正常肾小球数据的疏离程度。
请参阅图4，所述离群点检测单元33包括：二叉树构建子单元331及异常分值计算子单元332；所述二叉树构建子单元331与所述图像剔除单元32电连接，用于根据所述图像剔除单元32保留的有研究价值的非正常肾小球数据的降维特征向量构建二叉树；所述异常分值计算子单元332与所述二叉树构建子单元331电连接，用于计算所述二叉树构建子单元331构建的二叉树每个数据点的异常分值，所述异常分值的大小即反映了相应数据点关联的肾小球数据的疏离程度。
具体地，图像特征筛选单元31集成了数据筛选模型，在本实施例中，数据筛选模型为Isolation Forest模型，将降维特征向量输入到数据筛选模型中，得到筛选后的降维特征向量，筛选后的降维特征向量表示的为非正常肾小球数据；而图像剔除单元32则将筛选后的降维特征向量中的已知病理的非正常肾小球数据进行剔除，留下未知病理的非正常肾小球数据进行研究。
具体地，Isolation Forest用于离群点检测，可以直接去刻画数据的疏离程度。Isolation Forest采用二叉树去对数据进行切分，数据点在二叉树中所处的深度反应了该条数据的“疏离”程度。
在Isolation Forest的训练中，用二叉树构建子单元构建多棵二叉树；在用Isolation Forest进行预测时，综合多棵二叉树的结果，计算每个数据点的异常分值。
在构建一棵二叉树时，先从全量数据中抽取一批样本，然后随机选择一个特征作为起始节点，并在该特征的最大值和最小值之间随机选择一个值，将样本中小于该取值的数据划到左分支，大于等于该取值的划到右分支。然后，在左右两个分支数据中，重复上述步骤，直至数据不可再分及二叉树达到限定的最大深度。
在使用Isolation Forest进行预测时，计算数据x的异常分值时，先要估算它在每棵二叉树中的路径长度(也可以叫深度)。具体的，先沿着一棵二叉树，从根节点开始按不同特征的取值从上往下，直到到达某叶子节点。假设iTree的训练样本中同样落在x所在叶子节点的样本数为二叉树，则数据x在这棵二叉树上的路径长度h(x)。
请参阅图5，所述肾小球分型模块4包括：肾小球评比单元41及分型阈值单元42；肾小球评比单元41与所述肾小球处理模块3电连接，用于将所述肾小球分型模块4筛选出的非正常肾小球数据的权重进行调整；分型阈值单元42与所述肾小球评比单元41电连接，用于设定分型阈值，并根据所述肾小球数据的权重达到所述分型阈值的范围不同将肾小球数据进行分型。
具体地，肾小球评比单元41中集成了weighted-accuracy函数，使用weighted-accuracy函数对不同类别肾小球进行评比，通过weighted-accuracy函数对分类神经网络中不同类型肾小球权重进行调整。分类阈值单元在设定了分型阈值后，若肾小球权重达到某阈值，或位于某些阈值之间，则可判断出肾小球数据中的非正常肾小球的异常原因。
具体地，分类神经网络可以为ResNet50、ResNeXt、ResNet-FPN、DenseNet121等神经网络，在本实施例中，采用DenseNet121神经网络作为分类神经网络，DenseNet121神经网络应用原理如下：
步骤一：当三维特征向量为[512,512,3]时，两个512表示两个维度上的像素，3指的是特征通道数，即输入图像的大小为512*512*3，经过ZeroPadding2D处理后，得到518*518*3的图像数据；对518*518*3的图像数据进行Conv2D处理，得到256*256*64的图像数据；对256*256*64的图像数据BatchNormalization处理，得到标准化的256*256*64图像数据；经过激活函数Activation，对256*256*64图像数据进行ZeroPadding2D处理，得到258*258*64图像数据；对258*258*64图像数据进行MaxPooling2D处理，得到128*128*64图像数据。
步骤二：将上述128*128*64图像数据作为输入，循环指定blocks次，每次经过如下操作：进行BatchNormalization处理，经过激活函数Activation，进行Conv2D处理，进行BatchNormalization，进行Activation处理，进行Conv2D处理，进行Concatenate处理，结束一次循环。每次循环完成，图像大小不变，channel(特征通道)数量增加32。
步骤三：进行BatchNormalization处理，经过激活函数Activation，进行Conv2D处理，进行BatchNormalization，进行AveragePooling处理；其中，每进行一次transition block,图像大小变为原来的一半，channel数量不变。
步骤四：依次执行步骤二、步骤三，dense block，transition block，dense block，最终输出形状大小为[16,16,1024]的特征图后，再次经过BatchNormalization，GlobalAvergatePooling输出大小为[1024]的特征向量，最终经过Dense，输出3分类的概率。
所述肾小球分型模块4还包括：肾小球数据样本单元43；肾小球数据样本单元43与所述分型阈值单元42电连接，用于存储并向所述分型阈值单元42传输非正常肾小球与其对应权重的样本数据；通过使用样本数据，能够将样本数据中的异常肾小球数据与对应的分型阈值来判断当前肾小球数据是否在历史中研究过，若当前异常肾小球数据在历史研究过，则能减少研究当前非正常肾小球数据的时间。
所述图像分析装置还包括：分型结果标记模块5；分型结果标记模块5与所述肾小球分型模块4电连接，用于把分型后的肾小球进行标记处理；在本实施例中，结果标记模块集成了三分类函数，通过使用三分类函数将非正常肾小球数据标记为阴性样本、肾小球及硬化肾小球。
以上为对本申请所提供的一种图像分析装置的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

  1. 一种图像分析装置，其中，包括：
    图像获取模块，用于获取具有肾小球的图像数据；
    与所述图像获取模块电连接的图像处理模块，所述图像处理模块用于根据所述图像获取模块获取的图像数据中的肾小球数据转化为欧式空间的向量数据；
    与所述图像处理模块电连接的肾小球处理模块，所述肾小球处理模块用于在所述图像处理模块生成的所有向量数据内定位并筛选非正常的肾小球数据；
    与所述肾小球处理单元电连接的肾小球分型模块，所述肾小球分型模块用于将所述肾小球处理模块筛选的非正常肾小球数据进行分型处理。
  2. 根据权利要求1所述的图像分析装置，其中，
    所述图像处理模块包括：
    与所述图像获取模块电连接的特征提取单元，所述特征提取单元用于对所述图像获取模块获取的图像数据进行特征提取，得到肾小球数据在欧式三维空间中的三维特征向量。
  3. 根据权利要求2所述的图像分析装置，其中，
    所述图像处理模块还包括：
    与所述特征提取单元电连接的降维迭代单元，所述降维迭代单元用于对所述特征提取单元得到的三维特征向量进行降维处理，生成二维欧式空间中的降维特征向量。
  4. 根据权利要求3所述的图像分析装置，其中，
    所述肾小球处理模块包括：
    与所述降维迭代单元电连接的图像特征筛选单元，所述图像特征筛选单元用于将所述降维迭代单元生成的降维特征向量进行筛选，得到非正常肾小球数据的降维特征向量。
  5. 根据权利要求4所述的图像分析装置，其中，
    所述肾小球处理模块还包括：
    与所述图像特征筛选单元电连接的图像剔除单元，所述图像剔除单元用于根据已知肾小球数据剔除图像特征筛选单元生成的非正常肾小球数据的降维特征向量中无研究价值的非正常肾小球数据的降维特征向量，并保留有研究价值的非正常肾小球数据的降维特征向量。
  6. 根据权利要求5所述的图像分析装置，其中，
    所述肾小球处理模块还包括：
    与所述图像剔除单元电连接的离群点检测单元，所述离群点检测单元用于刻画所述图像剔除单元保留的有研究价值的非正常肾小球数据的疏离程度。
  7. 根据权利要求6所述的图像分析装置，其中，
    所述离群点检测单元包括：
    与所述图像剔除单元电连接的二叉树构建子单元，所述二叉树构建子单元用于根据所述图像剔除单元保留的有研究价值的非正常肾小球数据的降维特征向量构建二叉树；
    与所述二叉树构建子单元电连接的异常分值计算子单元，所述异常分值计算子单元用于计算所述二叉树构建子单元构建的二叉树每个数据点的异常分值，所述异常分值的大小即反映了相应数据点关联的肾小球数据的疏离程度。
  8. 根据权利要求1所述的图像分析装置，其中，
    所述肾小球分型模块包括：
    与所述肾小球处理模块电连接的肾小球评比单元，所述肾小球评比单元用于将所述肾小球分型模块筛选出的非正常肾小球数据的权重进行调整；
    与所述肾小球评比单元电连接的分型阈值单元，所述分型阈值单元用于设定分型阈值， 并根据所述肾小球数据的权重达到所述分型阈值的范围不同将肾小球数据进行分型。
  9. 根据权利要求7所述的图像分析装置，其中，
    所述肾小球分型模块还包括：
    与所述分型阈值单元电连接的肾小球数据样本单元，所述肾小球数据样本单元用于存储并向所述分型阈值单元传输非正常肾小球与其对应权重的样本数据。
  10. 根据权利要求1所述的图像分析装置，其中，
    所述装置还包括：
    与所述肾小球分型模块电连接的分型结果标记模块，所述分型结果标记模块用于把分型后的肾小球进行标记处理。
  11. 根据权利要求2所述的图像分析装置，其中，
    所述特征提取单元集成特征提取模型，所述特征提取模型用于对所述图像获取模块获取的图像数据进行特征提取，得到肾小球数据在欧式三维空间中的三维特征向量，其中，所述三维特征向量中的每一维代表欧式空间的一个维度。
  12. 根据权利要求3所述的图像分析装置，其中，
    所述降维迭代单元集成降维模型，所述降维模型用于对所述特征提取单元提取的三维特征向量进行迭代处理，并将所述三维特征向量转化为二维欧式空间中的降维特征向量。
  13. 根据权利要求12所述的图像分析装置，其中，
    所述降维模型对所述特征提取单元提取的三维特征向量进行迭代处理，具体包括：
    设P为每次输入所述降维模型的三维特征向量的数据分布，Q为经所述降维模型处理后输出的降维特征向量的数据分布，其中，P的分布概率为pij，Q的分布概率为qij，P和Q在高斯分布下的条件概率如下所示：
    Figure PCTCN2020099480-appb-100001
    其中，P和Q在高斯分布下的条件概率转换为P和Q的联合分布概率的公式如下所示：
    Figure PCTCN2020099480-appb-100002
    其中，
    Figure PCTCN2020099480-appb-100003
    当第n次迭代后的联合分布概率满足联合概率条件时，确定所述第n次迭代后的降维特征向量的损失收敛，将经第n次迭代后的所述降维模型的输出确定为所述二维欧式空间中的降维特征向量。
  14. 根据权利要求12所述的图像分析装置，其中，
    所述降维模型将所述三维特征向量转化为二维欧式空间中的降维特征向量，具体包括：
    通过t-SNE算法将所述三维特征向量转化为二维欧式空间中的降维特征向量，其中：
    设所述三维特征向量的数据X，其中X＝x1，...，xn；
    设置成本函数cost function的困惑度为Perp；
    设置迭代次数T，学习速率η,动量α(t)；
    设三维特征向量转化为降维特征向量的目标结果为Yt＝y1,...,yn；
    通过对Yt的优化，以使得三维特征向量转化为二维欧式空间中的降维特征向量；
    其中，所述对Yt的优化，包括：
    计算在给定Perp下的条件概率pj∣i；
    令
    Figure PCTCN2020099480-appb-100004
    根据N(0,10-4I)随机初始化Y；
    从t＝1到T进行迭代，做如下操作:
    计算低维度下的qij；
    计算梯度，通过更新Yt＝Yt-1+ηdCdY+α(t)(Yt-1-Yt-2)，以得到将三维特征向量转化为降维特征向量的目标结果。
  15. 根据权利要求4所述的图像分析装置，其中，
    所述图像特征筛选单元集成数据筛选模型，所述数据筛选模型用于将所述降维迭代单元生成的降维特征向量进行筛选，得到非正常肾小球数据的降维特征向量。
  16. 根据权利要求15所述的图像分析装置，其中，所述数据筛选模型为Isolation Forest模型；
    所述数据筛选模型用于将所述降维迭代单元生成的降维特征向量进行筛选，得到非正常肾小球数据的降维特征向量，包括：
    所述Isolation Forest模型采用二叉树对数据进行切分，其中，数据点在二叉树中所处的深度为所述数据的疏离程度。
  17. 根据权利要求8所述的图像分析装置，其中，
    所述肾小球评比单元中集成weighted-accuracy函数，所述weighted-accuracy函数用于对所述肾小球分型模块筛选出的非正常肾小球数据的权重进行调整。
  18. 根据权利要求1所述的图像分析装置，其中，
    所述肾小球分型模块包括分类神经网络，所述分类神经网络用于筛选非正常肾小球数据。
  19. 根据权利要求18所述的图像分析装置，其中，所述分类神经网络为DenseNet121神经网络；
    所述分类神经网络用于筛选非正常肾小球数据，包括：
    步骤一：当三维特征向量为[512,512,3]时，两个512表示两个维度上的像素，3指的是特征通道数，即输入图像的大小为512*512*3，经过ZeroPadding2D处理后，得到518*518*3的图像数据；对518*518*3的图像数据进行Conv2D处理，得到256*256*64的图像数据；对256*256*64的图像数据BatchNormalization处理，得到标准化的256*256*64图像数据；经过激活函数Activation，对256*256*64图像数据进行ZeroPadding2D处理，得到258*258*64图像数据；对258*258*64图像数据进行MaxPooling2D处理，得到 128*128*64图像数据；
    步骤二：将所述128*128*64图像数据作为输入，循环指定blocks次，每次经过如下操作：进行BatchNormalization处理，经过激活函数Activation，进行Conv2D处理，进行BatchNormalization，进行Activation处理，进行Conv2D处理，进行Concatenate处理，结束一次循环，每次循环完成，图像大小不变，channel(特征通道)数量增加32；
    步骤三：进行BatchNormalization处理，经过激活函数Activation，进行Conv2D处理，进行BatchNormalization，进行AveragePooling处理；其中，每进行一次transition block,图像大小变为原来的一半，channel数量不变；
    步骤四：依次执行步骤二、步骤三，dense block，transition block，dense block，最终输出形状大小为[16,16,1024]的特征图后，再次经过BatchNormalization，GlobalAvergatePooling输出大小为[1024]的特征向量，最终经过Dense，输出3分类的概率。
  20. 根据权利要求10所述的图像分析装置，其中，
    所述结果标记模块集成三分类函数，所述三分类函数用于将非正常肾小球数据标记为阴性样本、肾小球及硬化肾小球。
PCT/CN2020/099480 2019-07-31 2020-06-30 一种图像分析装置 WO2021017736A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910701526.5 2019-07-31
CN201910701526.5A CN110533636B (zh) 2019-07-31 2019-07-31 一种图像分析装置

Publications (1)

Publication Number Publication Date
WO2021017736A1 true WO2021017736A1 (zh) 2021-02-04

Family

ID=68661242

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/099480 WO2021017736A1 (zh) 2019-07-31 2020-06-30 一种图像分析装置

Country Status (2)

Country Link
CN (1) CN110533636B (zh)
WO (1) WO2021017736A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533636B (zh) * 2019-07-31 2023-08-04 平安科技（深圳）有限公司 一种图像分析装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929894A (zh) * 2011-08-12 2013-02-13 中国人民解放军总参谋部第五十七研究所 一种文本在线聚类可视化方法
CN104281856A (zh) * 2014-10-14 2015-01-14 中国科学院深圳先进技术研究院 用于脑部医学图像分类的图像预处理方法和系统
CN104317908A (zh) * 2014-10-28 2015-01-28 河南师范大学 基于三支决策和距离的离群点检测方法
US20160055636A1 (en) * 2013-04-23 2016-02-25 University Of Maine System Board Of Trustees Improved methods of cancer detection
CN107392907A (zh) * 2017-09-01 2017-11-24 上海理工大学 基于静息态功能性磁共振成像的海马旁回功能分区方法
CN108899087A (zh) * 2018-06-22 2018-11-27 中山仰视科技有限公司 基于深度学习的x光片智能诊断方法
CN109165544A (zh) * 2018-07-05 2019-01-08 丁彦青 肾小球肾炎病理智能分类器的训练方法、诊断仪及存储介质
CN110533636A (zh) * 2019-07-31 2019-12-03 平安科技（深圳）有限公司 一种图像分析装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7817161B2 (en) * 2006-06-26 2010-10-19 Microsoft Corporation Texture synthesis using dimensionality-reduced appearance space
CN105930789B (zh) * 2016-04-18 2019-08-13 电子科技大学 基于对数欧式空间词袋模型的人体行为识别
CN108765397A (zh) * 2018-05-22 2018-11-06 内蒙古农业大学 一种基于降维和特征空间构造的木材图像识别方法及装置
CN109754878B (zh) * 2018-11-30 2023-06-20 平安科技（深圳）有限公司 慢性肾病筛查方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929894A (zh) * 2011-08-12 2013-02-13 中国人民解放军总参谋部第五十七研究所 一种文本在线聚类可视化方法
US20160055636A1 (en) * 2013-04-23 2016-02-25 University Of Maine System Board Of Trustees Improved methods of cancer detection
CN104281856A (zh) * 2014-10-14 2015-01-14 中国科学院深圳先进技术研究院 用于脑部医学图像分类的图像预处理方法和系统
CN104317908A (zh) * 2014-10-28 2015-01-28 河南师范大学 基于三支决策和距离的离群点检测方法
CN107392907A (zh) * 2017-09-01 2017-11-24 上海理工大学 基于静息态功能性磁共振成像的海马旁回功能分区方法
CN108899087A (zh) * 2018-06-22 2018-11-27 中山仰视科技有限公司 基于深度学习的x光片智能诊断方法
CN109165544A (zh) * 2018-07-05 2019-01-08 丁彦青 肾小球肾炎病理智能分类器的训练方法、诊断仪及存储介质
CN110533636A (zh) * 2019-07-31 2019-12-03 平安科技（深圳）有限公司 一种图像分析装置

Also Published As

Publication number Publication date
CN110533636A (zh) 2019-12-03
CN110533636B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN109543502B (zh) 一种基于深度多尺度神经网络的语义分割方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN112308158A (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN111583284B (zh) 一种基于混合模型的小样本图像语义分割方法
CN105608471A (zh) 一种鲁棒直推式标签估计及数据分类方法和系统
CN110097060B (zh) 一种面向树干图像的开集识别方法
CN110472652B (zh) 基于语义引导的少量样本分类方法
CN111860459B (zh) 一种基于显微图像的禾本科植物叶片气孔指数测量方法
CN110781829A (zh) 一种轻量级深度学习的智慧营业厅人脸识别方法
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN110751027B (zh) 一种基于深度多示例学习的行人重识别方法
CN111461025B (zh) 一种自主进化的零样本学习的信号识别方法
CN115410050A (zh) 基于机器视觉的肿瘤细胞检测设备及其方法
CN112766229A (zh) 基于注意力机制的人脸点云图像智能识别系统及方法
CN111125469A (zh) 一种社交网络的用户聚类方法、装置以及计算机设备
CN116152554A (zh) 基于知识引导的小样本图像识别系统
CN115909011A (zh) 基于改进的SE-Inception-v3网络模型的天文图像自动分类方法
WO2021017736A1 (zh) 一种图像分析装置
CN113657472B (zh) 一种基于子空间学习的多源遥感数据融合方法
CN110910388A (zh) 一种基于U-Net和密度估计的癌细胞图像分割方法
CN112084913B (zh) 一种端到端的人体检测与属性识别方法
CN112991280A (zh) 视觉检测方法、系统及电子设备
CN110163489B (zh) 一种戒毒运动锻炼成效评价方法
CN115115847B (zh) 三维稀疏重建方法、装置及电子装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20847635

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20847635

Country of ref document: EP

Kind code of ref document: A1