WO2021058843A1 - Método y sistema para la segmentación automática de hiperintensidades de sustancia blanca en imágenes de resonancia magnética cerebral - Google Patents

Método y sistema para la segmentación automática de hiperintensidades de sustancia blanca en imágenes de resonancia magnética cerebral Download PDF

Info

Publication number
WO2021058843A1
WO2021058843A1 PCT/ES2020/070069 ES2020070069W WO2021058843A1 WO 2021058843 A1 WO2021058843 A1 WO 2021058843A1 ES 2020070069 W ES2020070069 W ES 2020070069W WO 2021058843 A1 WO2021058843 A1 WO 2021058843A1
Authority
WO
WIPO (PCT)
Prior art keywords
layers
image
convolutional
neural network
convolutional neural
Prior art date
Application number
PCT/ES2020/070069
Other languages
English (en)
French (fr)
Inventor
Ana María JIMÉNEZ PASTOR
Eduardo CAMACHO RAMOS
Fabio GARCÍA CASTRO
Ángel ALBERICH BAYARRI
Josep PUIG ALCÁNTARA
Carles BIARNES DURÁN
Luis MARTÍ BONMATÍ
Salvador PEDRAZA GUTIÉRREZ
Original Assignee
Quibim, S.L.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quibim, S.L. filed Critical Quibim, S.L.
Priority to AU2020352676A priority Critical patent/AU2020352676A1/en
Priority to US17/762,628 priority patent/US20220343142A1/en
Priority to EP20867430.9A priority patent/EP4020322A4/en
Priority to BR112022005437A priority patent/BR112022005437A2/pt
Priority to JP2022543800A priority patent/JP7462055B2/ja
Publication of WO2021058843A1 publication Critical patent/WO2021058843A1/es

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to the technical field of computer-aided analysis of medical images and more specifically to the processing by means of convolutional neural networks of images obtained by magnetic resonance, for an automatic segmentation of the images based on the volume of leukoaraiosis, especially useful for the study of radiologists-neurologists on possible brain injuries.
  • magnetic resonance imaging is a commonly used preliminary diagnostic tool to detect abnormalities in tissues. Specifically, in the field of neuro-radiology, it is used by specialists, among other things, to diagnose white matter lesions.
  • the volume of leukoaraiosis is used in medicine precisely to detect the diffuse loss of density in various regions of the white matter of the brain.
  • it is not a diagnosis, but rather a radiological finding related to alterations in the white matter (hyperintensities in this case) and which is detected by images obtained by, among other techniques, magnetic resonance imaging.
  • leukoaraiosis is a descriptive neuroimaging term that appears both in people in good health and in different clinical and pathological situations, including Alzheimer's disease and others. dementias, although there are no specific associated symptoms.
  • the present invention describes, in a first aspect, a method for segmenting hyperintensities of white matter present in magnetic resonance brain images comprising: providing a magnetic resonance brain image to a set of convolutional neural networks, previously trained; identify voxels in the image that contain white matter hyperintensities; determining, for each of the convolutional neural networks and for each voxel, a probability that the identified hyperintensity corresponds to a previously defined pathological hyperintensity; average all the probabilities determined for each voxel; comparing the averaged probabilities for each voxel with a previously established threshold; and generating an image mask with the voxels that exceed the threshold.
  • a pre-processing of the provided image comprising: dimensioning each 2D section of the image to a size of 256x256; scale the intensity values of each 2D section between 0 and 1, according to the equation: rh, j ⁇ min (/)
  • I is the 2D section to be scaled, l, the intensity value in row i and column j, min (l) is the minimum value of the section and max ( l) is its maximum value; and standardize each voxel by subtracting the mean of a training data set and dividing by the standard deviation of the training data set, according to the following equation: where, I 1 is the scaled intensity; m is the mean intensity of the scaled training data set and s is the standard deviation of the scaled training data set.
  • the set of convolutional neural networks comprises a standard convolutional neural network, a residual convolutional neural network, a dilated convolutional neural network, and a dilated residual convolutional neural network, all based on an encoder-architecture architecture. decoder.
  • the combination of these neural networks produces better results than those offered when used in isolation.
  • the following steps are contemplated: filtering the magnetic resonance brain image by means of convolution operations, in some convolutional layers of each of the convolutional neural networks; reducing the image, by intermediate reduction layers sandwiched between the convolutional layers arranged in an encoding path; augmenting the image, by transposition convolutional layers sandwiched between the convolutional layers arranged in a decoding path; refining the output of the convolutional neural network using layers of deep monitoring; and defining a map of the probability of the presence of hyperintensity, by a sigmoid activation function.
  • a total probability map representing, averaged for each voxel, the probabilities determined by the convolutional neural networks for each voxel.
  • the probability threshold that determines whether or not each voxel is included in the image mask is set to 50%.
  • the training of the convolutional neural networks of the present invention comprises, in one of its preferred embodiments, applying a Tversky loss function.
  • the imbalance is advantageously balanced between the number of voxels that exceed the previously established threshold and those that do not.
  • a second aspect of the present invention relates to a system for segmenting white matter hyperintensities present in magnetic resonance brain images comprising:
  • an arrangement of convolutional neural networks configured to receive a magnetic resonance brain image, identify the voxels in the image that contain white matter hyperintensities and determine, for each of these networks, a probability for each voxel that the identified hyperintensity will be corresponds to a previously defined pathological hyperintensity;
  • a processor module configured to average all the probabilities determined for each voxel, compare the probabilities averaged for each voxel with a previously established threshold, and generate an image mask with the voxels that exceed the threshold.
  • the arrangement of neural networks comprises, according to one of the preferred embodiments of the present invention, at least one standard neural network comprising: convolutional layers configured to filter the magnetic resonance brain image by means of convolution operations; reduction layers sandwiched between convolutional layers in an encoding path, configured to reduce the image; transposition layers sandwiched between the convolutional layers in a decoding path, configured to magnify the image; a bottleneck section between the encoding path and the decoding path; a sigmoid activation layer, configured to generate a probability map; and deep monitoring layers, configured to combine the output of the convolutional layers of the decoding path.
  • the neural network arrangement comprises at least one residual convolutional neural network, which in turn comprises: residual blocks configured to filter the magnetic resonance brain image through convolution operations; reduction layers sandwiched between residual blocks in an encoding path, configured to reduce the image; transposition layers sandwiched between residual blocks in a decoding path, configured to magnify the image; a bottleneck section between the encoding path and the decoding path; a sigmoid activation layer, configured to generate a probability map; and deep monitoring layers, configured to combine the output of the convolutional layers of the decoding path.
  • the neural network arrangement comprises at least one dilated convolutional neural network, which in turn comprises: convolutional layers configured to filter the magnetic resonance brain image by means of convolution operations; reduction layers sandwiched between convolutional layers in an encoding path, configured to reduce the image; transposition layers sandwiched between the convolutional layers in a decoding path, configured to magnify the image; a bottleneck section between the encoding path and the decoding path, wherein said section comprises stretched convolutional layers with different dilation rates; a sigmoid activation layer, configured to generate a probability map; and deep monitoring layers, configured to combine the output of the convolutional layers of the decoding path.
  • the neural network arrangement comprises at least one residual-dilated convolutional neural network, which in turn comprises: residual blocks configured to filter by means of operations of brain magnetic resonance imaging convolution; reduction layers sandwiched between residual blocks in an encoding path, configured to reduce the image; transposition layers sandwiched between residual blocks in a decoding path, configured to magnify the image; a bottleneck section between the encoding path and the decoding path, wherein said section comprises stretched convolutional layers with different dilation rates; a sigmoid activation layer, configured to generate a probability map; and deep monitoring layers, configured to combine the output of the convolutional layers of the decoding path.
  • the arrangement of neural networks is composed of the standard convolutional neural network, the residual convolutional neural network, the dilated convolutional neural network and the residual-dilated convolutional neural network, all of them configured to a 256x256 image input size, and where all convolutional layers have 3x3 receptive field followed by batch normalization layer and rectified linear unit layer.
  • a final aspect of the present invention relates to a computer-implemented method for segmenting white matter hyperintensities present in magnetic resonance brain images, comprising: providing a magnetic resonance brain image to a set of previously trained convolutional neural networks; identify voxels in the image that contain white matter hyperintensities; determining, for each of the convolutional neural networks and for each voxel, a probability that the identified hyperintensity corresponds to a previously defined pathological hyperintensity; average all the probabilities determined for each voxel; comparing the averaged probabilities for each voxel with a previously established threshold; and generating an image mask with the voxels that exceed the threshold.
  • the convolutional neural networks are implemented in a central processing unit CPU. In a specific embodiment of the present invention, at least one of the convolutional neural networks is implemented in a graphics processing unit GPU supporting the central processing unit.
  • the present invention has technical characteristics that involve a multitude of advantageous effects.
  • the arrangement of neural networks described in the present invention makes it possible to discern between physiological hyperintensities and hyperintensities that could correspond to white matter lesions, which enables a specialist to concentrate his work on the areas segmented by the present invention and included in the image mask, or even to obtain additional quantitative parameters based on the segmentation provided to describe the lesion load (such as volume or number of lesions) of people with leukoaraiosis.
  • the benefits extend for example to the optimization of the time of the specialist as in an increase of his precision.
  • the novel combination of convolutional neural networks of the present invention offers greater robustness to segmentation than any other of the known solutions. It allows images to be processed by extracting characteristics at different levels, specifically focusing on the complex task of segmenting white matter lesions, which vary their distribution from one person to another and require a special configuration such as that of the present invention.
  • FIG. 1 represents a block diagram of an embodiment of the invention.
  • - Figure 2 represents in detail an embodiment of a standard convolutional neural network used in the present invention.
  • - Figure 3 represents in detail an embodiment of a residual convolutional neural network used in the present invention.
  • FIG. 4 represents in detail an embodiment of a dilated convolutional neural network used in the present invention.
  • FIG. 5 represents in detail an embodiment of a residual-dilated convolutional neural network used in the present invention.
  • the present invention discloses a method and a system for the automatic segmentation of brain magnetic resonance images, which can be used to measure the volume of leukoaraiosis and which can subsequently be used by neurologist-radiologists to detect possible white matter lesions.
  • the automatic segmentation method and system is an aid to the diagnosis of specialists, through image processing, as detailed below, to finally provide in its output an image mask generated from the individual processing of each voxel of individual images, where the criteria established to determine that a voxel belongs to injury or does not seek to differentiate, from among all the voxels in the image, those that correspond to pathological hyperintensities from those that do not, which will be of great help in the subsequent studies, such as the identification of white matter lesions.
  • the input images come from magnetic resonance imaging (MRI) of the brain. From these magnetic resonance images, the FLAIR (inversion-recovery in fluid attenuation) sequence is used to detect voxels belonging to lesions in the white matter of the brain.
  • These white matter hyperintensities (WMH) are segmented by the present invention by generating a probability map by different CNNs that are combined and thresholdized to detect voxels comprising pathological hyperintensities.
  • Figure 1 represents the basic blocks of the invention, according to one of its embodiments, where image 1 is processed by a set of convolutional neural networks 11, 12, 13 and 14, abbreviated as CNN, each configured with an architecture concrete and previously trained.
  • CNN convolutional neural networks
  • Each of the CNNs provides at its output a 16, 17, 18 and 19 probability map of the presence / absence of a white matter lesion in each voxel of the image.
  • a processor module 5 the probability maps associated with each of the CNNs are averaged to obtain a final probability map 2, which establishes the threshold 3 to generate the image masks 4 provided at the output.
  • a pre-processing of the input images is contemplated, such that each 2D section of each 3D image is reshaped to a common size of 256x256, to fit the input size of the convolutional neural network architectures ( CNN) used by applying a bicubic interpolation.
  • CNN convolutional neural network architectures
  • Min-Max scaling the intensity values of each 2D section are scaled between 0 and 1: where, I is the section to be scaled, l, the intensity value in row i and column j, min (l) is the minimum value of the section and max (l) is its maximum value; and 2. standardization: the training data set is normalized to have a mean of zero and a variance of one. For that, each voxel is standardized by subtracting the mean of the training data set and dividing by the deviation training data set standard.
  • G is the min-max scaled intensity
  • m is the mean intensity of the scaled training data set
  • s is the standard deviation of the scaled training data set.
  • Standard CNN 11 allows features to be extracted at different levels, ranging from simpler features based on edges and contrasts to more complex ones based on the shape of the image and the region of interest to segment.
  • CNN with residual convolutional blocks 12 allows more complex characteristics to be obtained without the need to increase the number of convolutional layers.
  • CNN with dilated convolutional filters 13 that allows increasing the region over which characteristics are extracted. Therefore, this architecture is designed and optimized to extract different types of information from the image and increase the precision in the segmentation of white matter lesions.
  • a decoder-encoder architecture has an encoding path in which, given an input image, a high-dimensional feature vector is generated by adding features at different levels; and a decoding path, in which the previously generated feature vector is decoded at multiple levels to, finally, generate a probability map.
  • some bridge connections are arranged, combining both local and contextual information by concatenating features from the encoding path with features from the decoding path.
  • some layers of deep monitoring are included. These layers allow for faster convergence, which means less training time and better edge delineation.
  • all convolutional neural network architectures in line with the preprocessing described above, have an input layer with a size of (256, 256, 1) with the values corresponding to (# rows, # columns, # channels).
  • the number of channels is set to 1 due to working with monochrome images.
  • Figure 2 represents in detail the architecture of the standard convolutional neural network 11 with an encoder-decoder configuration, which includes characteristics common to the other CNN networks.
  • the architecture of the encoding path depicted comprises convolutional layers 21 alternating with intermediate reduction layers 22. All convolutional layers have a 3x3 receptive field followed by a batch normalization layer (BN) and a rectified linear unit layer (ReLU ).
  • the BN layers normalize the output of the convolutional layers to zero mean and variance one, increasing the stability of the convolutional neural network (CNN).
  • ReLU is an activation function that introduces non-linearities into the model.
  • the "max-pooling" reduction layer 22 with a 2x2 core is arranged after every two convolutional layers 21, thus reducing the image size in half. After each "max-pooling" reduction layer, the number of filters in the convolutional layers doubles.
  • the two convolutional layers of the bottleneck section 25 between the encoder and the decoder layers have 512 filters for a reduced 16x16 image.
  • the decoding path has a similar architecture, the only difference being the replacement of the reduction layers 22 by convolutional transposition layers 23, thus doubling the size of the image. In the same way, the number of filters in each convolutional layer after each transposed layer is reduced by half.
  • a layer concatenation operator 27 is introduced.
  • the layer concatenation operator 27 is also connected to the encoding path, so that it takes at its input a set of matrices, all of them of the same size (except in the concatenation axis, which in the present embodiment is corresponding to the third dimension, that is, the channel) and returns an array resulting from concatenating the previous ones. For example, with two inputs with dimensions [256, 256, 32], the output results from dimensions [256, 256, 64]
  • deep supervision layers 26 are included, made up of convolutional filters with a receptive field of 1x1 that combine the output of the second convolutional layer 21 of each of the convolutional blocks of the reduction path by means of a layer sum operator 28
  • a layer addition operator 28 takes as input a set of matrices, all of them of the same size and returns to its output a matrix of the same size corresponding to the sum of all of them.
  • the sum is made along the third dimension, that is, the dimension corresponding to the channel. For example, with two inputs with dimensions [256, 256, 32], the output results from the same dimensions [256, 256, 32]
  • sigmoid activation functions 24 are included.
  • Figure 3 represents in detail the architecture of the residual convolutional neural network 12, where the standard convolutional blocks 21 are replaced by residual blocks 30.
  • the precision increases as the number of layers increases, however, there is a limit where training accuracy begins to degrade. Thanks to the residual blocks, the training of some layers can be omitted, therefore, it allows to design deeper architectures without incorporating additional layers.
  • an operator 27 of layer concatenation Following each of the residual blocks 30, both in the encoding and in the decoding path, an operator 27 of layer concatenation.
  • Figure 4 represents in detail the architecture of the dilated convolutional neural network 13, where some dilated convolutional layers 40 are included in the bottleneck section 25 between the encoder and the decoder layers. Included in this embodiment are six dilated convolutional layers 40 with respective dilatation rates of 1, 2, 4, 6, 8, 16, and 32. These dilated layers add multiscale contextual information by increasing the receptive field without losing resolution.
  • Figure 5 represents in detail the architecture of the residual-dilated convolutional neural network 14, where the two previous architectures are combined by replacing the standard convolutional blocks 21 with residual blocks 30 and incorporating the dilated convolutional layers 40 in the connection 25 between the routes of encoding and decoding.
  • the outputs are averaged to obtain the final probability map. 2.
  • This final probability map is the basis for setting the thresholds in the next thresholding stage 3, since it sets the threshold that determines whether a voxel will be part of the final mask 4 or not.
  • all voxels with a probability greater than 50% are set as lesions, that is, they are segmented as part of a lesion image mask, while voxels with probabilities less than 50% are set as the background.
  • a mask with the white matter lesions is provided at the output, which will be very useful especially for neurologists-radiologists, by concentrating the most relevant parts for their specialist analysis, since the voxels corresponding to brain parenchyma and physiological hyperintensities have been leaked.
  • the set of neural networks has to be trained.
  • the necessary initial manual annotations are carried out by specialist neuroradiologists.
  • This initial segmentation consists of manually selecting voxels corresponding to white matter lesions, excluding physiological hyperintensities, such as the ependymal layer.
  • the training process of each CNN architecture is carried out, according to one of the embodiments of the invention, over 200 epochs with a batch size set to 30.
  • a cross-validation of 5 iterations is performed. Therefore, the training dataset is divided into 5 subsets, using, in each iteration, 4 of them to train and the remaining subset to validate. The error obtained throughout the 5 iterations is averaged to calculate the final training error.
  • Adam's optimization algorithm is used to update the weights of the networks iteratively during the training process.
  • the initial learning rate is set to 1e-5.
  • the remaining hyperparameters (b1, b2, and x) are kept at their default values (0.9, 0.999, and 10-7 respectively), which are known to give good results.
  • WHM white matter hyperintensities
  • DCL Loss of DICE coefficient
  • DC DICE coefficient
  • Binary Cross Entropy (BCE) ⁇ measures how far the predicted probability is from the actual label. It is widely used in classification models. Where y is the true label (0 for the background and 1 for the region of interest) and p (y) is the probability that the voxel is the y label for all N voxels.
  • Tversky focal loss (FTL) ⁇ is an extension of the TL to focus on difficult classes detected with less probability, that is, in small regions, since they do not contribute significantly to the loss.
  • the network obtained using TL is selected, which is the one used to perform the external validation.
  • different on-the-fly data augmentation techniques can be applied to each training batch.
  • the entire set formed by the neural networks, probability maps and the thresholding module that generates the final mask at its output can be evaluated to determine its performance and ensure that the precision is as required.
  • the following parameters are calculated:
  • ASSD Average symmetric surface distance
  • This optional evaluation is carried out once the cross validation has been carried out, which guarantees the proper functioning of the architecture designed during the training process, so if the evaluation shows that there is an error, it would be caused by the differences between the set. training and test data.
  • the solution is either to expand the data growth by applying more techniques or to increase the training data set to make it more robust.
  • the magnetic resonance imaging white matter hyperintensity segmentation method and system of the present invention can be integrated into medical imaging storage and processing infrastructures.
  • the method of the present invention can be implemented by a computer, in a processor, microprocessor, server, web server, or cloud.
  • the algorithms and models described for implementing the neural networks and other processes of the present invention can be implemented as part of an operating system or a specific application, component, program, object, module, or sequence of instructions referred to as "computer programs.”
  • Computer programs typically comprise one or more instructions stored in various memory and storage devices that, when read and executed by one or more processors of a computer, cause the computer to perform necessary operations.
  • Examples of computer-readable media include, but are not limited to, writable-type media, such as volatile and non-volatile memory devices, floppy and other removable disks, hard drives, optical discs (for example, compact disc read-only memory (CD ROM), digital versatile discs (DVD), etc.), among others, and transmission media such as digital and analog communication links.
  • writable-type media such as volatile and non-volatile memory devices, floppy and other removable disks, hard drives, optical discs (for example, compact disc read-only memory (CD ROM), digital versatile discs (DVD), etc.), among others, and transmission media such as digital and analog communication links.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

La presente invención se refiere a un método y un sistema para segmentar hiperintensidades de sustancia blanca (WMH) presentes en imágenes cerebrales de resonancia magnética, que comprende: proporcionar una imagen cerebral de resonancia magnética a un conjunto de redes neuronales convolucionales (CNN) entrenadas; determinar, por cada una de las CNN y para cada vóxel, una probabilidad de que el vóxel dado se corresponda con una hiperintensidad patológica; promediar todas las probabilidades determinadas para cada vóxel; comparar las probabilidad promediadas para cada vóxel con un umbral; generar una máscara de imagen con los vóxel s que superan el umbral.

Description

MÉTODO Y SISTEMA PARA LA SEGMENTACIÓN AUTOMÁTICA DE HIPERINTENSIDADES DE SUSTANCIA BLANCA EN IMÁGENES DE RESONANCIA
MAGNÉTICA CEREBRAL
DESCRIPCIÓN
OBJETO DE LA INVENCIÓN
La presente invención se refiere al campo técnico del análisis asistido por computador de imágenes médicas y más concretamente al procesado mediante redes neuronales convolucionales de imágenes obtenidas por resonancia magnética, para una segmentación automática de las imágenes en función del volumen de leucoaraiosis, especialmente útil para el estudio de radiólogos-neurólogos sobre posibles lesiones cerebrales.
ANTECEDENTES DE LA INVENCIÓN
Actualmente, las imágenes de resonancia magnética son una herramienta de diagnóstico preliminar utilizada habitualmente para detectar alteraciones en los tejidos. Específicamente, en el ámbito de la neuro-radiología, es utilizada por los especialistas, entre otras cosas, para diagnosticar lesiones de sustancia blanca.
Las lesiones de sustancia blanca se observan en las imágenes de resonancia magnética como hiperintensidades en la secuencia de inversión-recuperación en la atenuación del fluido (FLAIR), sin embargo, no todas las hiperintensidades observadas se corresponden a lesión, sino que también aparecen otras hiperintensidades fisiológicas, como la línea del epéndimo (una capa de células que recubre los ventrículos cerebrales), el cortex cerebral y el cráneo.
En este contexto, el volumen de leucoaraiosis se utiliza en medicina precisamente para detectar la pérdida difusa de densidad en varias regiones de la sustancia blanca del cerebro. No obstante, no se trata de un diagnóstico, sino de un hallazgo radiológico relacionado con alteraciones de la sustancia blanca (hiperintensidades en este caso) y que se detecta mediante imágenes obtenidas por, entre otras técnicas, resonancia magnética. Es decir, la leucoaraiosis es un término de neuroimagen descriptivo que aparece tanto en personas con buena salud como con distintas situaciones clínicas y patológicas, entre ellas la enfermedad de Alzheimer y otras demencias, aunque no existe ningún síntoma específico asociado.
El trabajo requerido a los neurólogos-radiólogos especialistas para interpretar estas imágenes resulta ser de muy alta precisión, no solo para realizar su diagnóstico, sino simplemente para diferenciar las zonas susceptibles de estudio de las que no.
El estado del arte contempla algunos sistemas de ayuda para los especialistas basados en inteligencia artificial para la segmentación las imágenes, pero no resultan lo suficientemente robustos como para ofrecer la precisión requerida en este campo de aplicación tan específico.
Por tanto, se echa en falta en el estado del arte una solución de tratamiento de imagen de alta precisión para la segmentación automática de imágenes de resonancia magnética, que pueda servir de ayuda a los especialistas en sus posteriores diagnósticos y estudios de lesiones de sustancia blanca.
DESCRIPCIÓN DE LA INVENCIÓN
Con el fin de alcanzar los objetivos y evitar los inconvenientes mencionados anteriormente, la presente invención describe, en un primer aspecto un método para segmentar hiperintensidades de sustancia blanca presentes en imágenes cerebrales de resonancia magnética que comprende: proporcionar una imagen cerebral de resonancia magnética a un conjunto de redes neuronales convolucionales, entrenadas previamente; identificar los vóxels de la imagen que contienen hiperintensidades de sustancia blanca; determinar, por cada una de las redes neuronales convolucionales y para cada vóxel, una probabilidad de que la hiperintensidad identificada se corresponda con una hiperintensidad patológica definida previamente; promediar todas las probabilidades determinadas para cada vóxel; comparar las probabilidades promediadas para cada vóxel con un umbral establecido previamente; y generar una máscara de imagen con los vóxels que superan el umbral.
Adicionalmente, en una de las realizaciones de la invención se contempla un preprocesado de la imagen proporcionada que comprende: dimensionar cada sección 2D de la imagen a un tamaño de 256x256; escalar los valores de intensidad de cada sección 2D entre 0 y 1, de acuerdo a la ecuación: r h,j ~ min (/)
1,7 max(/) — min (/) donde, I es la sección 2D a escalar, l¡ el valor de intensidad en la fila i y la columna j, min(l) es el valor mínimo de la sección y max(l) es su valor máximo; y estandarizar cada vóxel restando la media de un conjunto de datos de entrenamiento y dividiendo por la desviación estándar del conjunto de datos de entrenamiento, de acuerdo a la siguiente ecuación:
Figure imgf000005_0001
donde, I1 es la intensidad escalada; m es la intensidad media del conjunto de datos de entrenamiento escalado y s es la desviación estándar del conjunto de datos de entrenamiento escalado.
En una de las realizaciones de la presente invención, el conjunto de redes neuronales convolucionales comprende una red neuronal convolucional estándar, una red neuronal convolucional residual, una red neuronal convolucional dilatada y una red neuronal convolucional residual dilatada, todas ellas basadas en una arquitectura codificador- decodificador. Ventajosamente, la combinación de dichas redes neuronales produce mejores resultados que los ofrecidos al utilizarlas de manera aislada.
Para determinar la probabilidad de que la hiperintensidad identificada en un vóxel se corresponda con una hiperintensidad patológica, de acuerdo a una de las realizaciones de la invención, se contemplan los siguientes pasos: filtrar mediante operaciones de convolución la imagen cerebral de resonancia magnética, en unas capas convolucionales de cada una de las redes neuronales convolucionales; reducir la imagen, por unas capas de reducción intermedias intercaladas entre las capas convolucionales dispuestas en una ruta de codificación; aumentar la imagen, por unas capas convolucionales de transposición intercaladas entre las capas convolucionales dispuestas en una ruta de decodificación; refinar la salida de la red neuronal convolucional mediante unas capas de supervisión profunda; y definir un mapa de probabilidad de presencia de hiperintensidad, por una función de activación sigmoidea.
En una de las realizaciones de la invención, se contempla generar, por cada una de las redes neuronales convolucionales, un mapa de probabilidad con la probabilidad determinada para cada vóxel de la imagen.
En una de las realizaciones de la invención, se contempla generar un mapa de probabilidad total que representa, promediadas para cada vóxel, las probabilidades determinadas por las redes neuronales convolucionales para cada vóxel.
De acuerdo a una de las posibles realizaciones de la presente invención, el umbral de probabilidad que determina incluir o no cada vóxel en la máscara de imagen, se establece en un 50%.
El entrenamiento de las redes neuronales convolucionales de la presente invención comprende, en una de sus realizaciones preferentes, aplicar una función de pérdidas Tversky. Así, ventajosamente se equilibra el desbalanceo entre el número de vóxels que superan el umbral establecido previamente y los que no lo superan.
Un segundo aspecto de la presente invención se refiere a un sistema para segmentar hiperintensidades de sustancia blanca presentes en imágenes cerebrales de resonancia magnética que comprende:
- una disposición de redes neuronales convolucionales configuradas para recibir una imagen cerebral de resonancia magnética, identificar los vóxels de la imagen que contienen hiperintensidades de sustancia blanca y determinar, por cada una de dichas redes, una probabilidad para cada vóxel de que la hiperintensidad identificada se corresponda con una hiperintensidad patológica definida previamente; y
- un módulo procesador configurado para promediar todas las probabilidades determinadas para cada vóxel, comparar las probabilidades promediadas para cada vóxel con un umbral establecido previamente, y generar una máscara de imagen con los vóxels que superan el umbral.
La disposición de redes neuronales comprende, de acuerdo a una de las realizaciones preferentes de la presente invención, al menos una red neuronal estándar que comprende: unas capas convolucionales configuradas para filtrar mediante operaciones de convolución la imagen cerebral de resonancia magnética; unas capas de reducción intercaladas entre las capas convolucionales en una ruta de codificación, configuradas para reducir la imagen; unas capas de transposición intercaladas entre las capas convolucionales en una ruta de decodificación, configuradas para aumentar la imagen; una sección de cuello de botella entre la ruta de codificación y la ruta de decodificación; una capa de activación sigmoidea, configurada para generar un mapa de probabilidad; y unas capas de supervisión profunda, configuradas para combinar la salida de las capas convolucionales de la ruta de decodificación.
En una de las realizaciones de la presente invención, la disposición de redes neuronales comprende al menos una red neuronal convolucional residual, que a su vez comprende: unos bloques residuales configurados para filtrar mediante operaciones de convolución la imagen cerebral de resonancia magnética; unas capas de reducción intercaladas entre los bloques residuales en una ruta de codificación, configuradas para reducir la imagen; unas capas de transposición intercaladas entre los bloques residuales en una ruta de decodificación, configuradas para aumentar la imagen; una sección de cuello de botella entre la ruta de codificación y la ruta de decodificación; una capa de activación sigmoidea, configurada para generar un mapa de probabilidad; y unas capas de supervisión profunda, configuradas para combinar la salida de las capas convolucionales de la ruta de decodificación.
En una de las realizaciones de la presente invención, la disposición de redes neuronales comprende al menos una red neuronal convolucional dilatada, que a su vez comprende: unas capas convolucionales configuradas para filtrar mediante operaciones de convolución la imagen cerebral de resonancia magnética; unas capas de reducción intercaladas entre las capas convolucionales en una ruta de codificación, configuradas para reducir la imagen; unas capas de transposición intercaladas entre las capas convolucionales en una ruta de decodificación, configuradas para aumentar la imagen; una sección de cuello de botella entre la ruta de codificación y la ruta de decodificación, donde dicha sección comprende unas capas convolucionales dilatadas con diferentes tasas de dilatación; una capa de activación sigmoidea, configurada para generar un mapa de probabilidad; y unas capas de supervisión profunda, configuradas para combinar la salida de las capas convolucionales de la ruta de decodificación.
En una de las realizaciones de la presente invención, la disposición de redes neuronales comprende al menos una red neuronal convolucional residual-dilatada, que a su vez comprende: unos bloques residuales configurados para filtrar mediante operaciones de convolución la imagen cerebral de resonancia magnética; unas capas de reducción intercaladas entre los bloques residuales en una ruta de codificación, configuradas para reducir la imagen; unas capas de transposición intercaladas entre los bloques residuales en una ruta de decodificación, configuradas para aumentar la imagen; una sección de cuello de botella entre la ruta de codificación y la ruta de decodificación, donde dicha sección comprende unas capas convolucionales dilatadas con diferentes tasas de dilatación; una capa de activación sigmoidea, configurada para generar un mapa de probabilidad; y unas capas de supervisión profunda, configuradas para combinar la salida de las capas convolucionales de la ruta de decodificación.
De acuerdo a una realización particular de la presente invención, la disposición de redes neuronales está compuesta por la red neuronal convolucional estándar, la red neuronal convolucional residual, la red neuronal convolucional dilatada y la red neuronal convolucional residual-dilatada, todas ellas configuradas a un tamaño de entrada de imagen de 256x256, y donde todas las capas convolucionales tienen un campo receptivo de 3x3 seguido de una capa de normalización de lotes y una capa de unidad lineal rectificada.
Un último aspecto de la presente invención se refiere a un método implementado por ordenador para segmentar hiperintensidades de sustancia blanca presentes en imágenes cerebrales de resonancia magnética, que comprende: proporcionar una imagen cerebral de resonancia magnética a un conjunto de redes neuronales convolucionales, entrenadas previamente; identificar los vóxels de la imagen que contienen hiperintensidades de sustancia blanca; determinar, por cada una de las redes neuronales convolucionales y para cada vóxel, una probabilidad de que la hiperintensidad identificada se corresponda con una hiperintensidad patológica definida previamente; promediar todas las probabilidades determinadas para cada vóxel; comparar las probabilidades promediadas para cada vóxel con un umbral establecido previamente; y generar una máscara de imagen con los vóxels que superan el umbral.
En una realización de la presente invención, las redes neuronales convolucionales están implementadas en una unidad central de procesamiento CPU. En una realización específica de la presente invención, al menos una de las redes neuronales convolucionales está implementada en una unidad de procesamiento gráfico GPU de apoyo a la unidad central de procesamiento.
Por todo lo expuesto anteriormente, la presente invención presenta características técnicas que implican multitud de ventajosos efectos. Por ejemplo, la disposición de redes neuronales descrita en la presente invención permite discernir entre hiperintensidades fisiológicas e hiperintensidades que podrían corresponder a lesiones de sustancia blanca, lo que posibilita que un especialista pueda concentrar su trabajo en las áreas segmentadas por la presente invención e incluidas en la máscara de imagen, o incluso de obtener parámetros cuantitativos adicionales basados en la segmentación proporcionada para describir la carga lesional (como volumen o número de lesiones) de personas con leucoaraiosis. Los beneficios se extienden por ejemplo a la optimización del tiempo del especialista como en un aumento de su precisión.
Adicionalmente, la novedosa combinación de redes neuronales convolucionales de la presente invención ofrece una mayor robustez a la segmentación que cualquier otra de las soluciones conocidas. Permite procesar las imágenes extrayendo características a distintos niveles, enfocándose específicamente en la compleja tarea de segmentar lesiones de sustancia blanca, las cuales varían su distribución de una persona a otra y requieren una configuración especial como la de la presente invención
BREVE DESCRIPCIÓN DE LAS FIGURAS
Para completar la descripción de la invención y con objeto de ayudar a una mejor comprensión de sus características, de acuerdo con un ejemplo preferente de realización de la misma, se acompaña un conjunto de dibujos en donde, con carácter ilustrativo y no limitativo, se han representado las siguientes figuras:
- La figura 1 representa un diagrama de bloques de una realización de la invención.
- La figura 2 representa en detalle una realización de una red neuronal convolucional estándar utilizada en la presente invención. - La figura 3 representa en detalle una realización de una red neuronal convolucional residual utilizada en la presente invención.
- La figura 4 representa en detalle una realización de una red neuronal convolucional dilatada utilizada en la presente invención.
- La figura 5 representa en detalle una realización de una red neuronal convolucional residual-dilatada utilizada en la presente invención.
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN
A continuación se describe en detalle al menos una realización para llevar a cabo la presente invención, con referencia a las figuras mencionadas anteriormente. Resultará evidente para un experto en la materia que los términos utilizados en la presente memoria descriptiva se utilizan simplemente para describir realizaciones particulares, y no pretenden limitar la presente invención. Cualquier expresión usada en singular abarca la expresión del plural, a menos que tenga un significado claramente diferente en el contexto. En la siguiente descripción, debe entenderse que términos como “incluyendo”, “tener”, etc. pretenden indicar la existencia de las características, números, pasos, acciones, elementos, partes o combinaciones, pero no pretende excluir la posibilidad de que se puedan agregar una o más características, números, pasos, acciones, elementos, partes o combinaciones.
La presente invención divulga un método y un sistema para la segmentación automática de imágenes de resonancia magnética cerebral, que puede utilizarse para medir el volumen de leucoaraiosis y que posteriormente pueden utilizar los especialistas neurólogos-radiólogos para detectar posibles lesiones de sustancia blanca.
El método y sistema de segmentación automático supone una ayuda al diagnóstico de los especialistas, mediante el procesado de imágenes, tal y como se detalla a continuación, para proporcionar finalmente en su salida una máscara de imagen generada a partir del procesado individual de cada vóxel de las imágenes individuales, donde los criterios establecidos para determinar que un vóxel pertenece a lesión o no persiguen diferenciar, de entre todos los vóxels de la imagen, los que se corresponden con hiperintensidades patológicas de los que no, lo que resultará de gran ayuda en los estudios posteriores, como por ejemplo en la identificación de lesiones de sustancia blanca. Las imágenes de entrada proceden de imágenes de resonancia magnética (RM) cerebrales. De dichas imágenes de resonancia magnética, se utiliza la secuencia FLAIR (inversión-recuperación en la atenuación del fluido) para detectar en ella vóxels pertenecientes a lesiones en la sustancia blanca del cerebro. Estas hiperintensidades de sustancia blanca (WMH) son segmentadas por la presente invención mediante la generación de un mapa de probabilidad por distintas CNN que se combinan y umbralizan para detectar los vóxels que comprenden hiperintensidades patológicas.
La figura 1 representa los bloques básicos de la invención, según una de sus realizaciones, donde la imagen 1 es procesada por un conjunto de redes neuronales convolucionales 11, 12, 13 y 14, abreviadas como CNN, configuradas cada una de ellas con una arquitectura concreta y entrenadas previamente. Cada una de las CNN proporciona a su salida un mapa de probabilidad 16, 17, 18 y 19 de la presencia/ausencia de lesión de sustancia blanca en cada vóxel de la imagen. A continuación, en un módulo procesador 5, los mapas de probabilidad asociados a cada una de las CNN se promedian para obtener un mapa de probabilidad final 2, el cual establece el umbral 3 para generar las máscaras de imagen 4 proporcionadas a la salida.
En una realización de la invención, se contempla un preprocesado de las imágenes de entrada, de manera que cada sección 2D de cada imagen 3D se remodela a un tamaño común de 256x256, para ajustarse al tamaño de entrada de las arquitecturas de red neuronal convolucional (CNN) utilizadas mediante la aplicación de una interpolación bicúbica. A continuación se aplica un proceso de normalización en dos pasos para todo el conjunto de entrenamiento:
1. escalado Min-Máx: los valores de intensidad de cada sección 2D se escalan entre O y 1:
Figure imgf000011_0001
donde, I es la sección a escalar, l¡ el valor de intensidad en la fila i y la columna j, min(l) es el valor mínimo de la sección y max(l) es su valor máximo; y 2. estandarización: el conjunto de datos de entrenamiento se normaliza para tener una media cero y una varianza uno. Para eso, cada vóxel se estandariza restando la media del conjunto de datos de entrenamiento y dividiendo por la desviación estándar del conjunto de datos de entrenamiento.
Figure imgf000012_0001
Donde, G es la intensidad escalada min-max; m es la intensidad media del conjunto de datos de entrenamiento escalado y s es la desviación estándar del conjunto de datos de entrenamiento escalado.
Una vez la imagen ha sido preprocesada como se ha descrito arriba, ésta se proporciona a las cuatro redes CNN, diferentes entre sí, donde todas se basan en una arquitectura de codificador-decodificador, pero con la diferencia de usar una configuración de CNN estándar 11 (representada en detalle en la figura 2), una configuración de CNN con bloques convolucionales residuales 12 (representada en detalle en la figura 3), una configuración de CNN con filtros convolucionales dilatados 13, (representada en detalle en la figura 4) y la combinación de ambos 14 (representada en detalle en la figura 5). La CNN estándar 11 permite extraer características a distintos niveles, yendo desde características más simples basadas en bordes y contrastes a otras más complejas basadas en la forma de la imagen y de la región de interés a segmentar. Sin embargo, la segmentación de lesiones de sustancia blanca es una tarea compleja ya que cada paciente presenta una distribución diferente de las mismas, por lo que, características más complejas son necesarias, esto se consigue aumentando el número de capas convolucionales en las redes, sin embargo, esto conlleva problemas como el conocido como problema del gradiente desaparecido. La CNN con bloques convolucionales residuales 12 permite obtener características más complejas sin necesidad de aumentar el número de capas convolucionales. Por otro lado, para definir si una hiperintensidad es patológica o no es necesario tener más información del resto de la imagen, es decir, más información contextual, esto se consigue con la CNN con filtros convolucionales dilatados 13 que permite aumentar la región sobre la que se extraen características. Por lo tanto, esta arquitectura está pensada y optimizada para extraer diferentes tipos de información de la imagen y aumentar la precisión en la segmentación de las lesiones de sustancia blanca.
Una arquitectura decodificador-codificador tiene una ruta de codificación en la que, dada una imagen de entrada, se genera un vector de características de alta dimensión al agregar características en diferentes niveles; y una ruta de decodificación, en la que el vector de características generado previamente se decodifica en múltiples niveles para, finalmente, generar un mapa de probabilidad. Entre las capas de codificación y decodificación, se disponen algunas conexiones puente, combinando información tanto local como contextual mediante la concatenación de características provenientes de la ruta de codificación con características de la ruta de decodificación. Además, se incluyen algunas capas de supervisión profunda. Estas capas permiten una convergencia más rápida, lo que significa, un menor tiempo de entrenamiento y una mejor delineación de los bordes.
En una de las realizaciones de la invención, en línea con el preprocesado descrito anteriormente, todas las arquitecturas de las redes neuronales convolucionales tienen un capa de entrada con un tamaño de (256, 256, 1) siendo los valores correspondientes a (# filas, # columnas, # canales). El número de canales se establece en 1 debido a que se trabaja con imágenes monocromáticas.
La figura 2 representa en detalle la arquitectura de la red neuronal convolucional estándar 11 con configuración codificador-decodificador, la cual comprende unas características comunes a las demás redes CNN.
La arquitectura de la ruta de codificación representada comprende capas convolucionales 21 alternadas con capas de reducción intermedias 22. Todas las capas convolucionales tienen un campo receptivo de 3x3 seguido de una capa de normalización de lotes (BN) y una capa de unidad lineal rectificada (ReLU). Las capas BN normalizan la salida de las capas convolucionales a media cero y varianza uno, aumentando la estabilidad de la red neuronal convolucional (CNN). ReLU es una función de activación que introduce no- linealidades en el modelo. La capa de reducción 22 “max-pooling” con un núcleo 2x2 se dispone después de cada dos capas convolucionales 21, reduciendo así el tamaño de la imagen a la mitad. Después de cada capa de reducción “max-pooling", el número de filtros en las capas convolucionales se duplica.
Entre el codificador y el decodificador, se dispone una sección de cuello de botella 25 formada por dos capas convolucionales iguales a las anteriores. Así, en una realización en la que las dos primeras capas convolucionales tienen 32 filtros y la imagen de entrada estaba dimensionada a 256x256, después de las cuatro capas de reducción 22, las dos capas convolucionales de la sección de cuello de botella 25 entre el codificador y las capas del decodificador tienen 512 filtros para una imagen reducida a 16x16. La ruta de decodificación tiene una arquitectura similar, la única diferencia es la sustitución de las capas de reducción 22 por capas convolucionales de transposición 23, con lo que el tamaño de la imagen se duplica. De la misma manera, el número de filtros en cada capa convolucional después de cada capa traspuesta, se reduce a la mitad. En la ruta de decodificación, previamente a las capas de transposición 23, se introduce un operador 27 de concatenación de capas. El operador 27 de concatenación de capas también está conectado con la ruta de codificación, de manera que toma a su entrada un conjunto de matrices, todas ellas del mismo tamaño (excepto en el eje de concatenación, que en la presente realización es el correspondiente a la tercera dimensión, es decir, el canal) y devuelve a su salida una matriz resultado de concatenar las anteriores. Por ejemplo, ante dos entradas con dimensiones [256, 256, 32], la salida resulta de dimensiones [256, 256, 64]
Adicionalmente, se incluyen unas capas de supervisión profunda 26 constituidas por filtros convolucionales con un campo receptivo de 1x1 que combinan la salida de la segunda capa convolucional 21 de cada uno de los bloques convolucionales de la ruta de reducción mediante un operador de suma de capas 28. Un operador de suma de capas 28 toma como entrada un conjunto de matrices, todas ellas del mismo tamaño y devuelve a su salida una matriz del mismo tamaño correspondiente a la suma de todas ellas. En la presente realización, la suma se hace a lo largo de la tercera dimensión, es decir, de la dimensión correspondiente al canal. Por ejemplo, ante dos entradas con dimensiones [256, 256, 32], la salida resulta de las mismas dimensiones [256, 256, 32]
Para obtener el mapa de probabilidad final 16 en la salida de la CNN, se incluyen funciones de activación sigmoidea 24.
La figura 3 representa en detalle la arquitectura de la red neuronal convolucional residual 12, donde se sustituyen los bloques convolucionales estándar 21 por bloques residuales 30. Cuando se entrena una CNN, la precisión aumenta a medida que aumenta el número de capas, sin embargo, hay un límite donde la precisión del entrenamiento comienza a degradarse. Gracias a los bloques residuales, se puede omitir el entrenamiento de algunas capas, por lo tanto, permite diseñar arquitecturas más profundas sin incorporar capas adicionales. A continuación de cada uno de los bloques residuales 30, tanto en la ruta de codificación como en la de decodificación, se incluye un operador 27 de concatenación de capas.
La figura 4 representa en detalle la arquitectura de la red neuronal convolucional dilatada 13, donde se incluyen algunas capas convolucionales dilatadas 40 en la sección de cuello de botella 25 entre el codificador y las capas del decodificador. En esta realización se incluyen seis capas convolucionales dilatadas 40 con tasas de dilatación respectivas de 1, 2, 4, 6, 8, 16 y 32. Estas capas dilatadas agregan información contextual de múltiples escalas al aumentar el campo receptivo sin perder resolución.
La figura 5 representa en detalle la arquitectura de la red neuronal convolucional residual-dilatada 14, donde se combinan las dos arquitecturas anteriores sustituyendo los bloques convolucionales estándar 21 por bloques residuales 30 e incorporando las capas convolucionales dilatadas 40 en la conexión 25 entre las rutas de codificación y decodificación.
Una vez las imágenes 3D obtenidas por medio de resonancia magnética han sido segmentadas parcialmente por cada una de las cuatro arquitecturas de redes neuronales convolucionales (CNN) descritas anteriormente, las cuales han sido entrenadas previamente, se promedian las salidas para obtener el mapa de probabilidad final 2. Este mapa de probabilidad final es la base para fijar los umbrales en la siguiente etapa de umbralización 3, ya que fija el umbral que determina si un vóxel formará parte de la máscara final 4 o no. En una de las realizaciones, todos los vóxels con una probabilidad superior al 50% se establecen como lesión, es decir, quedan segmentados formando parte de una máscara de imagen de lesión, mientras los vóxeles con probabilidades inferiores al 50% se establecen como fondo.
Así se proporciona en la salida una máscara con las lesiones de sustancia blanca, la cual será de gran utilidad especialmente para neurólogos-radiólogos, al concentrar las partes más relevantes para su análisis especialista, ya que los vóxels correspondientes a parénquima cerebral e hiperintensidades fisiológicas han sido filtrados.
Previamente a la utilización de la presente invención, el conjunto de redes neuronales tiene que ser entrenado. En un primer paso para el entrenamiento de las cuatro redes CNN utilizadas, las necesarias anotaciones manuales iniciales las realizan neuro- radiólogos especialistas. Esta segmentación inicial consiste en seleccionar manualmente los vóxels correspondientes a lesiones de sustancia blanca, excluyendo hiperintensidades fisiológicas, como la capa ependimaria. A continuación, el proceso de entrenamiento de cada arquitectura CNN se realiza, según una de las realizaciones de la invención, a lo largo de 200 épocas con un tamaño de lote establecido en 30. Para probar la robustez de los modelos CNN a nuevos datos, se realiza una validación cruzada de 5 iteraciones. Por lo tanto, el conjunto de datos de entrenamiento se divide en 5 subconjuntos, utilizando, en cada iteración, 4 de ellos para entrenar y el subconjunto restante para validar. El error obtenido a lo largo de las 5 iteraciones se promedia para calcular el error de entrenamiento final.
Para actualizar los pesos de las redes de forma iterativa durante el proceso de entrenamiento, se utiliza el algoritmo de optimización de Adam. La tasa de aprendizaje inicial se establece en 1e-5. Los hiperparámetros restantes (b1, b2 y x) se mantienen con sus valores predeterminados (0.9, 0.999 y 10-7 respectivamente), que se sabe que ofrecen buenos resultados.
Uno de los problemas con la segmentación de hiperintensidades de sustancia blanca (WMH), como la que realiza la presente invención, es que el conjunto de datos está generalmente muy desequilibrado, lo que significa que el número de vóxels establecidos como hiperintensidad de sustancia blanca en comparación con el número de vóxels establecidos como fondo es muy diferente. Para resolver este problema, se analizan diferentes funciones de coste/pérdida:
Pérdida del coeficiente DICE (DCL)\ el coeficiente DICE (DC) mide la superposición espacial entre dos máscaras de segmentación. DCL es el inverso de DC.
2|XnY|
DC(X,Y)= DCL(X,Y)= 1- DC(X,Y) |X|+ |Y|
Donde es la segmentación manual e Yes la máscara de predicción.
La entropía cruzada binaria (BCE)\ mide lo lejos que está la probabilidad predicha de la etiqueta real. Es muy utilizado en modelos de clasificación. Donde y es la etiqueta verdadera (0 para el fondo y 1 para la región de interés) y p (y) es la probabilidad de que el vóxel sea la etiqueta y para todos los N vóxels.
Pérdida de Tversky (TL), que ha demostrado ofrecer un buen rendimiento cuando se trata de conjuntos de datos muy desequilibrados.
TP + e
TL = 1 -
TP + a FN + (1 - a) FN + e
Donde a = 0.7 y e = 1; TP es la tasa de verdaderos positivos y FN es la tasa de falsos negativos.
Pérdida focal de Tversky (FTL)\ es una extensión de la TL para centrarse en las clases difíciles detectadas con menor probabilidad, es decir, en regiones pequeñas, ya que no contribuyen significativamente a la pérdida.
1
FTL = (1 - TL)Y
Donde g= 1.33 y TL es la pérdida de Tversky definida previamente.
Una vez analizadas las funciones listadas arriba y realizado el entrenamiento con validación cruzada para cada una de ellas, de acuerdo a una de las realizaciones de la presente invención, los mejores resultados los ofrece la función de pérdida de Tversky (TL), Por lo tanto, en una realización de la invención se selecciona la red obtenida empleando TL, que es la que se utiliza para realizar la validación externa.
Para aumentar la generalización de los modelos de las redes CNN y reducir el sobreajuste, durante el proceso de entrenamiento anterior, pueden aplicarse diferentes técnicas de aumento de datos sobre la marcha a cada lote de entrenamiento. En una de las realizaciones de la invención se aplican dos transformaciones diferentes aleatoriamente a estas imágenes: adición de ruido gaussiano a la imagen (m = 0, o e [0.2, 0.5]) y aplicación de rotaciones entre -10° y 10° a la imagen y su máscara correspondiente.
Finalmente, todo el conjunto formado por las redes neuronales, mapas de probabilidad y el módulo de umbralización que genera a su salida la máscara final, puede evaluarse para determinar su rendimiento y asegurar que la precisión es la requerida. Para ello, en una de las realizaciones de la invención, se calculan los siguientes parámetros:
- el coeficiente DC, el cual varía de 0 a 1, donde 0 significa que no hay superposición entre las dos máscaras comparadas y 1 significa superposición completa; y
- distancia de superficie simétrica promedio (ASSD), que indica la diferencia, en promedio, entre ambas máscaras de segmentación. Donde, siendo S(X) el conjunto de vóxeles de la superficie de la máscara X, la distancia más corta de un vóxel arbitrario va S(X) se define como:
Figure imgf000018_0001
donde ||.|| denota la distancia euclidiana. La ASSD es el dado por:
Figure imgf000018_0002
Esta evaluación opcional se lleva a cabo una vez realizada la validación cruzada que garantiza el buen funcionamiento de la arquitectura diseñada durante el proceso de entrenamiento, por lo que si de la evaluación resulta que hay algún error, éste estaría causado por las diferencias entre el conjunto de datos de entrenamiento y el de prueba. En este caso, la solución consiste bien en ampliar el aumento de datos aplicando más técnicas o bien en aumentar el conjunto de datos de entrenamiento para que este sea más robusto.
El método y sistema de segmentación de hiperintensidades de sustancia blanca de imágenes de resonancia magnética de la presente invención, puede integrarse en infraestructuras de almacenamiento y procesamiento de imágenes médicas.
El método de la presente invención puede implementarse por un ordenador, en un procesador, un microprocesador, un servidor, un servidor web o la nube. Los algoritmos y modelos descritos para implementar las redes neuronales y otros procesos de la presente invención pueden implementarse como parte de un sistema operativo o una aplicación específica, componente, programa, objeto, módulo o secuencia de instrucciones referidas como "programas de ordenador". Los programas de ordenador típicamente comprenden una o más instrucciones almacenadas en diversos dispositivos de memoria y almacenamiento que, cuando son leídos y ejecutados por uno o más procesadores de un ordenador, hacen que el ordenador ejecute las operaciones necesarias. Una persona experta en la materia será consciente de que diferentes realizaciones de la presente invención pueden implementarse en una variedad de formas, pero la presente descripción se aplica igualmente independientemente del tipo particular de máquina o medio legible por ordenador utilizado. Ejemplos de medios legibles por ordenador incluyen, entre otros, medios de tipo grabable, como dispositivos de memoria volátiles y no volátiles, disquetes y otros discos extraíbles, unidades de disco duro, discos ópticos (por ejemplo, memoria de sólo lectura en disco compacto (CD ROM), discos versátiles digitales (DVD), etc.), entre otros, y medios de transmisión tales como enlaces de comunicación digitales y analógicos.
La presente invención no debe verse limitada a la forma de realización aquí descrita. Otras configuraciones pueden ser realizadas por los expertos en la materia a la vista de la presente descripción. En consecuencia, el ámbito de la invención queda definido por las siguientes reivindicaciones.

Claims

REIVINDICACIONES
1. Método para segmentar hiperintensidades de sustancia blanca presentes en imágenes cerebrales de resonancia magnética, caracterizado por que comprende: proporcionar una imagen cerebral de resonancia magnética (1) a un conjunto de redes neuronales convolucionales (11, 12, 13, 14), entrenadas previamente; identificar los vóxels de la imagen que contienen hiperintensidades de sustancia blanca; determinar, por cada una de las redes neuronales convolucionales y para cada vóxel, una probabilidad de que la hiperintensidad identificada se corresponda con una hiperintensidad patológica definida previamente; promediar todas las probabilidades determinadas para cada vóxel; comparar las probabilidades promediadas para cada vóxel con un umbral establecido previamente; y generar una máscara de imagen con los vóxels que superan el umbral.
2. Método de acuerdo a la reivindicación 1 que además comprende un preprocesado de la imagen proporcionada que comprende: dimensionar cada sección 2D de la imagen a un tamaño de 256x256; escalar los valores de intensidad de cada sección 2D entre 0 y 1 , de acuerdo a la ecuación:
Figure imgf000020_0001
donde, I es la sección 2D a escalar, l¡j el valor de intensidad en la fila i y la columna j, min(l) es el valor mínimo de la sección y max(l) es su valor máximo; y estandarizar cada vóxel restando la media de un conjunto de datos de entrenamiento y dividiendo por la desviación estándar del conjunto de datos de entrenamiento, de acuerdo a la siguiente ecuación:
Figure imgf000020_0002
donde, G es la intensidad escalada; m es la intensidad media del conjunto de datos de entrenamiento escalado y s es la desviación estándar del conjunto de datos de entrenamiento escalado.
3. Método de acuerdo a cualquiera de las reivindicaciones anteriores donde el conjunto de redes neuronales convolucionales comprende una red neuronal convolucional estándar (11), una red neuronal convolucional residual (12), una red neuronal convolucional dilatada (13) y una red neuronal convolucional residual dilatada (14), todas ellas basadas en una arquitectura codificador-decodificador.
4. Método de acuerdo a cualquiera de las reivindicaciones anteriores donde determinar la probabilidad de que la hiperintensidad identificada en un vóxel se corresponda con una hiperintensidad patológica comprende:
- filtrar mediante operaciones de convolución la imagen cerebral de resonancia magnética, en unas capas convolucionales (21) de cada una de las redes neuronales convolucionales;
- reducir la imagen, por unas capas de reducción intermedias (22) intercaladas entre las capas convolucionales dispuestas en una ruta de codificación;
- aumentar la imagen, por unas capas convolucionales de transposición (23) intercaladas entre las capas convolucionales dispuestas en una ruta de decodificación;
- refinar la salida de la red neuronal convolucional mediante unas capas de supervisión profunda (26); y
- obtener un mapa de probabilidad, por una función de activación sigmoidea (24).
5. Método de acuerdo a cualquiera de las reivindicaciones anteriores que además comprende generar, por cada una de las redes neuronales convolucionales, un mapa de probabilidades (16, 17, 18, 19) con todas las probabilidades determinadas para cada vóxel de la imagen.
6. Método de acuerdo a cualquiera de las reivindicaciones anteriores, donde promediar todas las probabilidades determinadas por las redes neuronales convolucionales para cada vóxel, además comprende generar un mapa de probabilidad total (2).
7. Método de acuerdo a cualquiera de las reivindicaciones anteriores que además comprende establecer el umbral en un 50% de probabilidad para incluir cada vóxel en la máscara de imagen.
8. Método de acuerdo a cualquiera de las reivindicaciones anteriores donde el entrenamiento de las redes neuronales convolucionales comprende aplicar una función de pérdidas Tversky para equilibrar un desbalanceo entre el número de vóxels que superan el umbral establecido previamente y los que no lo superan.
9. Sistema para segmentar hiperintensidades de sustancia blanca presentes en imágenes cerebrales de resonancia magnética, caracterizado por que comprende:
- una disposición de redes neuronales convolucionales (11, 12, 13, 14) configuradas para recibir una imagen cerebral de resonancia magnética (1), identificar los vóxels de la imagen que contienen hiperintensidades de sustancia blanca y determinar, por cada una de dichas redes, una probabilidad para cada vóxel de que la hiperintensidad identificada se corresponda con una hiperintensidad patológica definida previamente; y
- un módulo procesador (5) configurado para promediar todas las probabilidades determinadas para cada vóxel, comparar las probabilidades promediadas para cada vóxel con un umbral establecido previamente, y generar una máscara de imagen con los vóxels que superan el umbral.
10. Sistema de acuerdo a la reivindicación 9 donde la disposición de redes neuronales comprende al menos una red neuronal convolucional estándar (11) que comprende:
- unas capas convolucionales (21) configuradas para filtrar mediante operaciones de convolución la imagen cerebral de resonancia magnética;
- unas capas de reducción (22) intercaladas entre las capas convolucionales (21) en una ruta de codificación, configuradas para reducir la imagen;
- unas capas de transposición (23) intercaladas entre las capas convolucionales (21) en una ruta de decodificación, configuradas para aumentar la imagen;
- una sección de cuello de botella (25) entre la ruta de codificación y la ruta de decodificación;
- una capa de activación sigmoidea (24), configurada para generar un mapa de probabilidad; y
- unas capas de supervisión profunda (26), configuradas para combinar la salida de las capas convolucionales (21) de la ruta de decodificación.
11. Sistema de acuerdo a cualquiera de las reivindicaciones 9-10 donde la disposición de redes neuronales comprende al menos una red neuronal convolucional residual (12) que comprende:
- unos bloques residuales (30) configurados para filtrar mediante operaciones de convolución la imagen cerebral de resonancia magnética;
- unas capas de reducción (22) intercaladas entre los bloques residuales (30) en una ruta de codificación, configuradas para reducir la imagen;
- unas capas de transposición (23) intercaladas entre los bloques residuales (30) en una ruta de decodificación, configuradas para aumentar la imagen;
- una sección de cuello de botella (25) entre la ruta de codificación y la ruta de decodificación;
- una capa de activación sigmoidea (24), configurada para generar un mapa de probabilidad; y
- unas capas de supervisión profunda (26), configuradas para combinar la salida de las capas convolucionales (21) de la ruta de decodificación.
12. Sistema de acuerdo a cualquiera de las reivindicaciones 9-11 donde la disposición de redes neuronales comprende al menos una red neuronal convolucional dilatada (13) que comprende
- unas capas convolucionales (21) configuradas para filtrar mediante operaciones de convolución la imagen cerebral de resonancia magnética;
- unas capas de reducción (22) intercaladas entre las capas convolucionales (21) en una ruta de codificación, configuradas para reducir la imagen;
- unas capas de transposición (23) intercaladas entre las capas convolucionales (21) en una ruta de decodificación, configuradas para aumentar la imagen;
- una sección de cuello de botella (25) entre la ruta de codificación y la ruta de decodificación, donde dicha sección comprende unas capas convolucionales dilatadas (40) con diferentes tasas de dilatación;
- una capa de activación sigmoidea (24), configurada para generar un mapa de probabilidad; y
- unas capas de supervisión profunda (26), configuradas para combinar la salida de las capas convolucionales (21) de la ruta de decodificación.
13. Sistema de acuerdo a cualquiera de las reivindicaciones 9-12 donde la disposición de redes neuronales comprende al menos una red neuronal convolucional residual-dilatada (14) que comprende:
- unos bloques residuales (30) configurados para filtrar mediante operaciones de convolución la imagen cerebral de resonancia magnética;
- unas capas de reducción (22) intercaladas entre los bloques residuales (30) en una ruta de codificación, configuradas para reducir la imagen;
- unas capas de transposición (23) intercaladas entre los bloques residuales (30) en una ruta de decodificación, configuradas para aumentar la imagen;
- una sección de cuello de botella (25) entre la ruta de codificación y la ruta de decodificación, donde dicha sección comprende unas capas convolucionales dilatadas (40) con diferentes tasas de dilatación;
- una capa de activación sigmoidea (24), configurada para generar un mapa de probabilidad; y
- unas capas de supervisión profunda (26), configuradas para combinar la salida de las capas convolucionales (21) de la ruta de decodificación.
14. Sistema de acuerdo a las reivindicaciones 9-13 donde la disposición de redes neuronales está compuesta por la red neuronal convolucional estándar (11), la red neuronal convolucional residual (12), la red neuronal convolucional dilatada (13) y la red neuronal convolucional residual-dilatada (14), todas ellas configuradas a un tamaño de entrada de imagen de 256x256, y donde todas las capas convolucionales tienen un campo receptivo de 3x3 seguido de una capa de normalización de lotes y una capa de unidad lineal rectificada.
PCT/ES2020/070069 2019-09-23 2020-01-30 Método y sistema para la segmentación automática de hiperintensidades de sustancia blanca en imágenes de resonancia magnética cerebral WO2021058843A1 (es)

Priority Applications (5)

Application Number Priority Date Filing Date Title
AU2020352676A AU2020352676A1 (en) 2019-09-23 2020-01-30 Method and system for the automatic segmentation of white matter hyperintensities in brain magnetic resonance images
US17/762,628 US20220343142A1 (en) 2019-09-23 2020-01-30 Method and system for the automatic segmentation of white matter hyperintensities in magnetic resonance brain images
EP20867430.9A EP4020322A4 (en) 2019-09-23 2020-01-30 METHOD AND SYSTEM FOR AUTOMATIC SEGMENTATION OF WHITE SUBSTANCE HYPERINTENSITIES IN BRAIN MAGNETIC RESONANCE IMAGES
BR112022005437A BR112022005437A2 (pt) 2019-09-23 2020-01-30 Método implementado por computador e sistema para segmentação de hipersensibilidades da substância branca presentes nas imagens cerebrais decorrentes da ressonância magnética
JP2022543800A JP7462055B2 (ja) 2019-09-23 2020-01-30 脳の磁気共鳴画像における白質高信号域の自動セグメント化のための方法およびシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ESP201930818 2019-09-23
ES201930818A ES2813777B2 (es) 2019-09-23 2019-09-23 Metodo y sistema para la segmentacion automatica de hiperintensidades de sustancia blanca en imagenes de resonancia magnetica cerebral

Publications (1)

Publication Number Publication Date
WO2021058843A1 true WO2021058843A1 (es) 2021-04-01

Family

ID=75109007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2020/070069 WO2021058843A1 (es) 2019-09-23 2020-01-30 Método y sistema para la segmentación automática de hiperintensidades de sustancia blanca en imágenes de resonancia magnética cerebral

Country Status (7)

Country Link
US (1) US20220343142A1 (es)
EP (1) EP4020322A4 (es)
JP (1) JP7462055B2 (es)
AU (1) AU2020352676A1 (es)
BR (1) BR112022005437A2 (es)
ES (1) ES2813777B2 (es)
WO (1) WO2021058843A1 (es)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096142A (zh) * 2021-04-30 2021-07-09 北京理工大学 基于联合嵌入空间的白质神经束自动分割方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11495353B2 (en) 2018-05-10 2022-11-08 Mohamed Anver Jameel Method, apparatus, and computer readible media for artificial intelligence-based treatment guidance for the neurologically impaired patient who may need neurosurgery
ES2828728A1 (es) * 2019-11-27 2021-05-27 Fundacion Para La Investigacion Del Hospital Univ La Fe De La Comunidad Valenciana Metodo para obtener un biomarcador de imagen que cuantifica la calidad de la estructura trabecular de los huesos
CN113159147B (zh) * 2021-04-08 2023-09-26 平安科技（深圳）有限公司 基于神经网络的图像识别方法、装置、电子设备
CN114419066B (zh) * 2022-01-14 2022-12-13 深圳市铱硙医疗科技有限公司 脑白质高信号分割方法、装置、设备及存储介质
CN115514343B (zh) * 2022-05-13 2023-08-11 浙江腾腾电气有限公司 电网波形滤波系统及其滤波方法
CN115115628B (zh) * 2022-08-29 2022-11-22 山东第一医科大学附属省立医院(山东省立医院) 一种基于三维精细化残差网络的腔隙性脑梗死识别系统
CN117556715B (zh) * 2024-01-12 2024-03-26 湖南大学 基于信息融合的典型环境下智能电表退化分析方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171711A (zh) * 2018-01-17 2018-06-15 深圳市唯特视科技有限公司 一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法
WO2018140596A2 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US20180260951A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
WO2018229490A1 (en) * 2017-06-16 2018-12-20 Ucl Business Plc A system and computer-implemented method for segmenting an image
CN109410167A (zh) * 2018-08-31 2019-03-01 深圳大学 一种3d乳腺图像的分析方法及相关产品
CN109872328A (zh) * 2019-01-25 2019-06-11 腾讯科技（深圳）有限公司 一种脑部图像分割方法、装置和存储介质
WO2019109410A1 (zh) * 2017-12-06 2019-06-13 深圳博脑医疗科技有限公司 用于分割 mri 图像中异常信号区的全卷积网络模型训练方法
CN109886273A (zh) * 2019-02-26 2019-06-14 四川大学华西医院 一种cmr图像分割分类系统
CN109993809A (zh) * 2019-03-18 2019-07-09 杭州电子科技大学 基于残差U-net卷积神经网络的快速磁共振成像方法
CN109993735A (zh) * 2019-03-29 2019-07-09 成都信息工程大学 基于级联卷积的图像分割方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210246B2 (en) * 2014-09-26 2019-02-19 Oracle International Corporation Techniques for similarity analysis and data enrichment using knowledge sources
US11357398B2 (en) * 2017-01-31 2022-06-14 Nidek Co., Ltd. Image processing device and non-transitory computer-readable recording medium
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018140596A2 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US20180260951A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
WO2018229490A1 (en) * 2017-06-16 2018-12-20 Ucl Business Plc A system and computer-implemented method for segmenting an image
WO2019109410A1 (zh) * 2017-12-06 2019-06-13 深圳博脑医疗科技有限公司 用于分割 mri 图像中异常信号区的全卷积网络模型训练方法
CN108171711A (zh) * 2018-01-17 2018-06-15 深圳市唯特视科技有限公司 一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法
CN109410167A (zh) * 2018-08-31 2019-03-01 深圳大学 一种3d乳腺图像的分析方法及相关产品
CN109872328A (zh) * 2019-01-25 2019-06-11 腾讯科技（深圳）有限公司 一种脑部图像分割方法、装置和存储介质
CN109886273A (zh) * 2019-02-26 2019-06-14 四川大学华西医院 一种cmr图像分割分类系统
CN109993809A (zh) * 2019-03-18 2019-07-09 杭州电子科技大学 基于残差U-net卷积神经网络的快速磁共振成像方法
CN109993735A (zh) * 2019-03-29 2019-07-09 成都信息工程大学 基于级联卷积的图像分割方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BERNAL JOSE ET AL., DEEP CONVOLUTIONAL NEURAL NETWORKS FOR BRAIN IMAGE ANALYSIS ON MAGNETIC RESONANCE IMAGING: A REVIEW, XP085638002 *
KARIMI DAVOOD ET AL.: "Reducing the Hausdorff Distance in Medical Image Segmentation With Convolutional Neural Networks", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 39, no. 2, 19 July 2019 (2019-07-19), Piscataway, Nj, Us, pages 499 - 513, XP011769481, ISSN: 0278-0062, DOI: 10.1109/TMI.2019.2930068 *
See also references of EP4020322A4 *
XU BOTIAN ET AL.: "Orchestral fully convolutional networks for small lesion segmentation in brain MRI", IEEE 15TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI 2018, 4 April 2018 (2018-04-04), pages 889 - 892, XP033348292, DOI: 10.1109/ISBI.2018.8363714 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096142A (zh) * 2021-04-30 2021-07-09 北京理工大学 基于联合嵌入空间的白质神经束自动分割方法

Also Published As

Publication number Publication date
EP4020322A1 (en) 2022-06-29
US20220343142A1 (en) 2022-10-27
ES2813777B2 (es) 2023-10-27
EP4020322A4 (en) 2023-10-25
JP2023514964A (ja) 2023-04-12
AU2020352676A1 (en) 2022-04-21
BR112022005437A2 (pt) 2022-06-21
ES2813777A1 (es) 2021-03-24
JP7462055B2 (ja) 2024-04-04

Similar Documents

Publication Publication Date Title
ES2813777B2 (es) Metodo y sistema para la segmentacion automatica de hiperintensidades de sustancia blanca en imagenes de resonancia magnetica cerebral
ES2701095T3 (es) Un sistema y método para anotar imágenes propagando información
Milošević et al. Automated estimation of chronological age from panoramic dental X-ray images using deep learning
ES2595210T3 (es) Método y aparato para procesar imágenes médicas
Klein et al. Early diagnosis of dementia based on intersubject whole-brain dissimilarities
CN111932492B (zh) 一种医学图像处理方法、装置及计算机可读存储介质
CN113096137B (zh) 一种oct视网膜图像领域适应分割方法及系统
Ellingsen et al. Segmentation and labeling of the ventricular system in normal pressure hydrocephalus using patch-based tissue classification and multi-atlas labeling
KR102043829B1 (ko) 병변 발생 시점 추정 방법, 장치 및 프로그램
Li et al. BrainK for structural image processing: creating electrical models of the human head
Dai et al. Bagging ensembles for the diagnosis and prognostication of Alzheimer's disease
JP6785976B2 (ja) 脳画像正規化装置、方法およびプログラム
Ngo et al. Joint-embeddings reveal functional differences in default-mode network architecture between marmosets and humans
Sampath et al. Classification of Alzheimer disease stages exploiting an ANFIS classifier
Jain et al. A review of deep learning-based disease detection in Alzheimer's patients
Shetty et al. Detection and Prediction of Alzheimer's disease using Deep learning: A review
KR20220133834A (ko) 학습 모델을 이용한 데이터 처리 방법
Fujibayashi et al. Nonlinear registration as an effective preprocessing technique for Deep learning based classification of disease
Baydargil et al. A parallel deep convolutional neural network for Alzheimer's disease classification on PET/CT brain images
Khatami et al. Parcellation-Free prediction of task fMRI activations from dMRI tractography
Rachmadi et al. Evaluation of four supervised learning schemes in white matter hyperintensities segmentation in absence or mild presence of vascular pathology
Dey A subpixel residual U-Net and feature fusion preprocessing for retinal vessel segmentation
Mukhopadhyay Task-Agnostic Continual Hippocampus Segmentation for Smooth Population Shifts
Jiménez Mesa Enhancing diagnostic accuracy in neuroimaging through machine learning: advancements in statistical classification and mapping
Yee 3D convolutional neural networks for Alzheimer’s disease classification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20867430

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022543800

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020867430

Country of ref document: EP

Effective date: 20220322

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112022005437

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2020352676

Country of ref document: AU

Date of ref document: 20200130

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 112022005437

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20220323