WO2021253722A1 - 医学图像重建技术的方法、装置、存储介质和电子设备 - Google Patents

医学图像重建技术的方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
WO2021253722A1
WO2021253722A1 PCT/CN2020/129565 CN2020129565W WO2021253722A1 WO 2021253722 A1 WO2021253722 A1 WO 2021253722A1 CN 2020129565 W CN2020129565 W CN 2020129565W WO 2021253722 A1 WO2021253722 A1 WO 2021253722A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
generator
training
node
feature
Prior art date
Application number
PCT/CN2020/129565
Other languages
English (en)
French (fr)
Inventor
王书强
胡博闻
申妍燕
Original Assignee
中国科学院深圳先进技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院深圳先进技术研究院 filed Critical 中国科学院深圳先进技术研究院
Publication of WO2021253722A1 publication Critical patent/WO2021253722A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • This application belongs to the field of image reconstruction technology, and in particular relates to a method, device, storage medium, and electronic equipment for medical image reconstruction technology.
  • Magnetic Resonance Imaging MRI
  • Computed Tomography CT
  • ultrasound Ultrasound
  • CNN Convolutional Neural Networks
  • the embodiments of the application provide a method, device, storage medium, and electronic equipment for medical image reconstruction technology, which can solve the problem that in the prior art, image reconstruction model training takes a long time, model performance is poor, and medical image reconstruction efficiency Lower question.
  • an embodiment of the present application provides a method of medical image reconstruction technology, including:
  • the sample training data set includes a first image and a second image, wherein the first image is a low-resolution image, and the second image is a high-resolution image corresponding to the first image Rate image
  • a generator performs image reconstruction on the first image to obtain a third image, where the third image is a reconstructed image corresponding to the first image, and the generator is a pre-trained width learning network;
  • the step of performing image reconstruction on the first image by the generator to obtain a third image includes:
  • the step of performing image reconstruction according to the feature node, the enhancement node, and the pre-training model parameters of the pre-trained width learning network to generate a third image include:
  • the step of adjusting the model parameters of the generator according to the output result of the discriminator includes:
  • the width learning network includes an output layer
  • the step of adjusting the model parameters of the generator according to the loss value includes:
  • the model parameters of the generator are adjusted.
  • the pre-training of the width learning network includes obtaining pre-training model parameters, which specifically includes:
  • the pre-training model parameters of the width learning network are obtained.
  • an embodiment of the present application provides a medical image reconstruction technology device, including:
  • the sample data acquisition unit is configured to acquire a sample training data set.
  • the sample training data set includes a first image and a second image, wherein the first image is a low-resolution image, and the second image is the same as the The high-resolution image corresponding to the first image;
  • the first training unit is used for the generator to perform image reconstruction on the first image to obtain a third image, where the third image is a reconstructed image corresponding to the first image, and the generator is a pre-trained width Learning network
  • the second training unit is used to input the second image and the third image into the discriminator, and adjust the model parameters of the generator according to the output result of the discriminator until the preset training conditions are met, Get the trained generator;
  • the model application unit is configured to use the trained generator to reconstruct medical images.
  • an embodiment of the present application provides an electronic device including a memory, a processor, and a computer program stored in the memory and running on the processor.
  • the processor executes the computer program, A method for realizing the medical image reconstruction technique described in the first aspect described above.
  • an embodiment of the present application provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the medical image as described in the first aspect is realized.
  • Methods of reconstruction technology
  • the embodiments of the present application provide a computer program product, which when the computer program product runs on an electronic device, causes the electronic device to execute the method of medical image reconstruction technology as described in the first aspect.
  • the sample training data set includes a first image and a second image, wherein the first image is a low-resolution image, and the second image is the same as the A high-resolution image corresponding to the first image.
  • the generator performs image reconstruction on the first image to obtain a third image.
  • the third image is a reconstructed image corresponding to the first image.
  • Trained width learning network input the second image and the third image to the discriminator, and adjust the model parameters of the generator according to the output result of the discriminator, until the preset training conditions are met, obtain The trained generator.
  • This application optimizes the image reconstruction model based on the generative confrontation network, and pre-trains the generator before training the image reconstruction model, so that the generator already has part of the fitting ability, which can greatly save the number of training iterations and shorten
  • the training time of the model combined with the verification of the discriminator, to further adjust the model parameters, improve the performance of the image reconstruction model, and enhance the timeliness of the application of the image reconstruction model.
  • it can meet more needs, and then use the trained generator to perform Medical image reconstruction can improve the efficiency of medical image reconstruction.
  • FIG. 1 is an implementation flowchart of a method of medical image reconstruction technology provided by an embodiment of the present application
  • Fig. 2 is a specific implementation flowchart of image reconstruction by a generator in the method of medical image reconstruction technology provided by an embodiment of the present application;
  • FIG. 3 is a specific implementation flowchart of the BLS pre-training process of the width learning network in the method of medical image reconstruction technology provided by an embodiment of the present application;
  • FIG. 5 is a schematic diagram of a model training scene of a method of medical image reconstruction technology provided by an embodiment of the present application
  • Fig. 6 is a structural block diagram of a medical image reconstruction technology device provided by an embodiment of the present application.
  • Fig. 7 is a schematic diagram of an electronic device provided by an embodiment of the present application.
  • the term “if” can be construed as “when” or “once” or “in response to determination” or “in response to detecting “.
  • the phrase “if determined” or “if detected [described condition or event]” can be interpreted as meaning “once determined” or “in response to determination” or “once detected [described condition or event]” depending on the context ]” or “in response to detection of [condition or event described]”.
  • the method of medical image reconstruction technology is applicable to various types of terminal devices or servers, and may specifically include MRI imaging devices, mobile phones, tablet computers, wearable devices, notebook computers, in-vehicle devices, and augmented reality ( AR) equipment, virtual reality (VR) equipment, personal digital assistant (PDA), digital TV and other electronic equipment.
  • MRI imaging devices mobile phones, tablet computers, wearable devices, notebook computers, in-vehicle devices, and augmented reality ( AR) equipment, virtual reality (VR) equipment, personal digital assistant (PDA), digital TV and other electronic equipment.
  • AR augmented reality
  • VR virtual reality
  • PDA personal digital assistant
  • the embodiment of the application optimizes the image reconstruction model based on the generation confrontation network, and the generator is composed of a pre-trained width learning network , So that when training the image reconstruction model, the generator already has part of the fitting ability, and then through the verification of the discriminator to further improve the accuracy of the model parameters of the image reconstruction model, thereby shortening the model training time and improving the image reconstruction model Performance.
  • FIG. 1 shows the implementation process of the method of medical image reconstruction technology provided by the embodiment of the present application.
  • the execution end is an electronic device.
  • the process of the method may include the following steps S101 to S104.
  • S101 Acquire a sample training data set, the sample training data set includes a first image and a second image, wherein the first image is a low-resolution image, and the second image is corresponding to the first image High resolution image.
  • the first image is a low-resolution image before image reconstruction
  • the second image is a high-resolution image corresponding to the first image.
  • the above-mentioned first image may be a three-primary color image (RGB image), or may be an original image (RAW image) obtained by an image sensor.
  • the above-mentioned sample training data set is divided into a first sample training data set and a second sample training data set according to a specified ratio, wherein the above-mentioned first sample training data set is used to train the above-mentioned image
  • the reconstruction model, the above-mentioned second sample training data set is used to verify the trained image reconstruction model.
  • the above-mentioned sample training data set is divided into a first sample training data set, a second sample training data set, and a third sample training data set according to a specified ratio, wherein the first sample training data set is The data set is used to train the image reconstruction model, the second sample training data set is used to verify the iterative training process, and the third training sample data set is used to verify the image reconstruction model after the iterative training.
  • a generator performs image reconstruction on the first image to obtain a third image, where the third image is a reconstructed image corresponding to the first image, and the generator is a pre-trained width learning network.
  • the generator in the image reconstruction model is used to reconstruct the image.
  • the first image before the first image is input to the generator for image reconstruction, the first image is preprocessed to obtain the preprocessed first image, and the preprocessed first image is Input to the generator to reconstruct the intermediate image.
  • the above-mentioned preprocessing includes image normalization processing, and the first image subjected to the image normalization processing is input to the generator for image reconstruction.
  • the generator used for image reconstruction is a pre-trained width learning network (Board Learning System, BLS).
  • BLS Board Learning System
  • the step of performing image reconstruction on the first image by the generator described above to obtain a third image includes:
  • A1 Extract linear features of the first image to obtain feature nodes.
  • features are extracted through the feature layer of the generator to compress the input scale.
  • A2 Perform nonlinear feature enhancement on the feature node to obtain an enhanced node.
  • the enhancement layer of the generator enhances the characteristic nodes through a nonlinear activation function, and increases the nonlinear fitting ability of the model.
  • A3 Perform image reconstruction according to the feature node, the enhanced node, and the pre-trained model parameters of the pre-trained width learning network to generate a third image.
  • step A3 specifically includes:
  • A31 Based on the feature node and the enhanced node, construct an input matrix.
  • A32 Based on the pre-training model parameters, construct a pre-training parameter matrix.
  • A33 Determine the output matrix of the pre-trained generator according to the input matrix and the pre-training parameter matrix.
  • A34 Perform image reconstruction based on the output matrix to obtain a third image.
  • FIG. 3 shows the pre-training process of the width learning network BLS provided in an embodiment of the present application.
  • the pre-training of the BLS network is also the initialization of the generator.
  • the BLS network includes a feature layer and an enhancement layer.
  • the pre-training of the BLS network includes obtaining pre-training model parameters, which are detailed as follows:
  • the linear feature of the first image is extracted through the feature layer of the generator to obtain the first image feature node.
  • the feature layer is composed of several feature windows, each feature window has several feature nodes, and each node can be understood as a column vector.
  • the feature layer is actually an array column vector, and the function of the feature layer is to extract the features of the input first image, which is actually to compress the scale of the input image.
  • B2 Perform nonlinear feature enhancement on the first image feature node to obtain the first image enhancement node.
  • the first image feature node is non-linear feature enhancement performed by the enhancement layer to obtain the first image enhancement node.
  • the enhancement layer enhances the above-mentioned first image feature node through a nonlinear activation function, thereby enhancing the nonlinear fitting ability of the model.
  • B3 Construct a model input matrix based on the first image feature node and the first image enhancement node.
  • an augmented matrix is constructed according to feature nodes and enhanced nodes to form the aforementioned model input matrix.
  • the image resolution of the first image is n1 ⁇ n2
  • the data size of the model input matrix is N1 ⁇ N2+N3 rows, each row having n1 ⁇ n2 dimensions.
  • N1 is the number of feature windows
  • N2 is the number of feature nodes in each feature window
  • N3 is the number of enhanced nodes
  • n1 ⁇ n2 is the dimension of the feature nodes.
  • the dimension of each row of the model input matrix is determined according to the image resolution of the first image.
  • the feature window is actually a preprocessing process of input data. No matter how much input data is, it can be mapped to N1 feature windows (each feature window has N2 dimensions), so To reduce the input dimension and reduce the complexity of the model.
  • the image resolution of the second image is b1 ⁇ b2
  • the dimension of each row of the model output matrix is b1 ⁇ b2, that is, the dimension of each row of the model output matrix is determined according to the image resolution of the second image.
  • B6 Obtain the pre-training model parameters of the BLS network according to the model input matrix and the model output matrix.
  • X is defined as the model input matrix
  • Y is the model output matrix
  • W is the pre-training parameter matrix, that is, the matrix constructed by the pre-training model parameters.
  • the pre-training model parameters of the above-mentioned BLS network can be obtained.
  • a generator is constructed.
  • the input layer of the generator is composed of a BLS network
  • the input layer of the BLS network is composed of a feature layer and an enhancement layer.
  • m pairs of image groups are obtained from the training sample data set, including m low-resolution images and m high-resolution images.
  • Each image group includes 1 low-resolution image, and 1 image with the low-resolution image.
  • the high-resolution image corresponding to the rate image.
  • Perform normalization processing on the images in the m pair image group and normalize the similarity of the images to [-1,1].
  • the resolution of the low-resolution image is n1 ⁇ n2.
  • each feature window includes N2 feature nodes, a total of N1 ⁇ N2 feature nodes are obtained, and the dimension of each feature node is n1 ⁇ n2.
  • the non-linear feature enhancement of the feature node is performed through the enhancement layer, and N3 enhancement nodes are generated according to the preset parameter N3, and the dimension of each enhancement node is n1 ⁇ n2.
  • an augmented matrix is constructed, and the model input matrix X is obtained.
  • the data size of X is N1 ⁇ N2+N3 rows, and each row has n1 ⁇ n2 dimensions.
  • the pre-training parameters are obtained based on the pre-training parameter matrix, and the pre-training of the generator is completed.
  • a fully connected layer is added to the pre-trained BLS according to actual needs, and the fully connected layer is used to enhance the generating ability of the generator.
  • the generator is constructed using the BLS network, and the BLS network, that is, the generator is pre-trained, to obtain the pre-training parameters of the generator, so that the generator has a certain degree of The fitting ability, which in turn can shorten the time of iterative training.
  • S103 Input the second image and the third image into the discriminator, and adjust the model parameters of the generator according to the output result of the discriminator, until the preset training conditions are met, and the trained generation is obtained Device.
  • the preset training condition may be the preset number of iterations.
  • the above-mentioned discriminator is used to verify the third image generated by the above-mentioned generator.
  • the discriminator is initialized. Specifically, input m low-resolution images into the initialized generator to generate a reconstructed image with a scale of m, rearrange the low-resolution image and the reconstructed image into one dimension, and construct an augmented matrix to obtain the input matrix .
  • the all-zero and all-one vectors of the same scale are spliced to construct an output matrix, and the parameter matrix of the discriminator is obtained according to the regression formula, and then the parameters of the discriminator are obtained.
  • the step of adjusting the model parameters of the generator according to the output result of the discriminator specifically includes:
  • C1 Calculate the loss values of the third image and the second image according to a preset loss function.
  • the preset loss function may be a cross-entropy function.
  • the width learning network includes an output layer, and the above step C2 specifically includes:
  • C21 Calculate the gradient vector of the loss value in the output layer according to the back propagation algorithm.
  • a backpropagation algorithm is used to calculate the gradient vector of the output matrix corresponding to the aforementioned loss value in the output layer.
  • the specific process includes obtaining the partial derivative of each parameter of the closest hidden layer in the output layer according to the loss value, and using the gradient formula to find the gradient.
  • the gradient formula is as follows:
  • i k is the unit vector along the k-th direction.
  • C22 Adjust the model parameters of the generator according to the gradient vector.
  • the gradient descent method is used to calculate and update the model parameters, and the chain rule is used to similarly update each hidden layer forward.
  • the generator inputs low-resolution images. If it is not the first training, the generator BLS network is initialized to obtain a generator with pre-training parameters; if it is not the first training, pass The generator obtains the reconstructed image, inputs the high-resolution image corresponding to the above-mentioned low-resolution image and the above-mentioned reconstructed image to the discriminator, and calculates the loss value of the reconstructed image and the high-resolution image according to the preset loss function, and then according to the back propagation The algorithm updates the model parameters of the generator. One training is completed. When the predetermined number of iterations is reached, the training is completed.
  • the parameters of the discriminator are updated. Specifically, the third image generated by the generator and the aforementioned second image are input to the discriminator, the loss value of the discriminator is calculated according to the preset loss function, and the loss value of the discriminator is calculated according to the back propagation algorithm.
  • the gradient vector of the output layer of the discriminator uses the gradient descent method to calculate and update the model parameters of the discriminator, and uses the chain rule to update each hidden layer of the discriminator forward.
  • the parameters of the discriminator are synchronously updated and adjusted based on the reconstructed image generated by the generator during training, which further improves the discriminant verification ability of the discriminator, thereby effectively enhancing the optimization effect of the generator during the training process.
  • S104 Use the trained generator to perform medical image reconstruction.
  • the generator obtained through the training of the above steps S101 to S103 performs image reconstruction, which can be specifically applied to medical image reconstruction.
  • the trained generator can be used for MRI imaging to observe the lesions of the temporal lobe and hippocampus of patients with Alzheimer's disease (AD), which can improve MRI reconstruction The efficiency of the task.
  • AD Alzheimer's disease
  • the sample training data set includes a first image and a second image, wherein the first image is a low-resolution image, and the second image
  • the image is a high-resolution image corresponding to the first image.
  • the generator performs image reconstruction on the first image to obtain a third image.
  • the third image is a reconstructed image corresponding to the first image.
  • the generator is a pre-trained width learning network; the second image and the third image are input to the discriminator, and the model parameters of the generator are adjusted according to the output result of the discriminator until the pre-trained Set the training conditions to get the trained generator.
  • This application optimizes the image reconstruction model based on the generative confrontation network, and pre-trains the generator before training the image reconstruction model, so that the generator already has part of the fitting ability, which can greatly save the number of training iterations and shorten
  • the training time of the model combined with the verification of the discriminator, to further adjust the model parameters, improve the performance of the image reconstruction model, and enhance the timeliness of the application of the image reconstruction model.
  • it can meet more needs, and then use the trained generator to perform Medical image reconstruction can improve the efficiency of medical image reconstruction.
  • FIG. 6 shows a structural block diagram of the device for medical image reconstruction technology provided in an embodiment of the present application. The relevant part.
  • the medical image reconstruction technology device includes: a sample data acquisition unit 61, a first training unit 62, and a second training unit 63, wherein:
  • the sample data acquisition unit 61 is configured to acquire a sample training data set, the sample training data set includes a first image and a second image, wherein the first image is a low-resolution image, and the second image is The high-resolution image corresponding to the first image;
  • the first training unit 62 is used for the generator to perform image reconstruction on the first image to obtain a third image, where the third image is a reconstructed image corresponding to the first image, and the generator is a pre-trained Wide learning network;
  • the second training unit 63 is configured to input the second image and the third image into the discriminator, and adjust the model parameters of the generator according to the output result of the discriminator, until the preset training condition is satisfied , Get the trained generator.
  • the model application unit 64 is configured to use the trained generator to reconstruct medical images.
  • the first training unit 62 includes:
  • the feature node acquisition module is used to extract the linear feature of the first image to obtain the feature node;
  • An enhanced node acquisition module configured to perform nonlinear feature enhancement on the characteristic node to obtain an enhanced node
  • the image reconstruction module is configured to perform image reconstruction according to the feature node, the enhancement node, and the pre-trained model parameters of the pre-trained width learning network to generate a third image.
  • the image reconstruction module is specifically configured to:
  • the foregoing second training unit 63 specifically includes:
  • a loss calculation module configured to calculate the loss values of the third image and the second image according to a preset loss function
  • the parameter adjustment module is used to adjust the model parameters of the generator according to the loss value.
  • the width learning network includes an output layer
  • the parameter adjustment module is specifically configured to:
  • the model parameters of the generator are adjusted.
  • the above-mentioned medical image reconstruction technology device further includes a pre-training unit, and the pre-training unit specifically includes:
  • the first feature extraction module is configured to extract linear features of the first image to obtain a first image feature node
  • the first enhancement module is configured to perform nonlinear feature enhancement on the first image feature node to obtain the first image enhancement node;
  • An input construction module configured to construct a model input matrix based on the first image feature node and the first image enhancement node
  • the second feature extraction module is used to extract linear features of the second image to obtain a second image feature node
  • An output construction module configured to construct a model output matrix according to the second image feature node
  • the parameter calculation module is used to obtain the pre-training model parameters of the width learning network according to the model input matrix and the model output matrix.
  • the sample training data set includes a first image and a second image, wherein the first image is a low-resolution image, and the second image
  • the image is a high-resolution image corresponding to the first image.
  • the generator performs image reconstruction on the first image to obtain a third image.
  • the third image is a reconstructed image corresponding to the first image.
  • the generator is a pre-trained width learning network; the second image and the third image are input to the discriminator, and the model parameters of the generator are adjusted according to the output result of the discriminator until the pre-trained Set the training conditions to get the trained generator.
  • This application optimizes the image reconstruction model based on the generative confrontation network, and pre-trains the generator before training the image reconstruction model, so that the generator already has part of the fitting ability, which can greatly save the number of training iterations and shorten
  • the training time of the model combined with the verification of the discriminator, to further adjust the model parameters, improve the performance of the image reconstruction model, and enhance the timeliness of the application of the image reconstruction model.
  • it can meet more needs, and then use the trained generator to perform Medical image reconstruction can improve the efficiency of medical image reconstruction.
  • An embodiment of the present application also provides a computer-readable storage medium, the computer-readable storage medium stores computer-readable instructions, and when the computer-readable instructions are executed by a processor, any one of those shown in FIGS. 1 to 5 is implemented.
  • the steps of a method of medical image reconstruction technology are described.
  • An embodiment of the present application also provides an electronic device including a memory, a processor, and computer-readable instructions stored in the memory and capable of running on the processor.
  • the processor executes the computer-readable instructions, The steps of the method for realizing any one of the medical image reconstruction techniques as shown in FIG. 1 to FIG. 5.
  • the embodiment of the present application also provides a computer program product, which when the computer program product runs on an electronic device, causes the electronic device to execute the steps of the method for implementing any one of the medical image reconstruction techniques shown in FIGS. 1 to 5.
  • Fig. 7 is a schematic diagram of an electronic device provided by an embodiment of the present application.
  • the electronic device 7 of this embodiment includes: a processor 70, a memory 71, and computer-readable instructions 72 stored in the memory 71 and running on the processor 70.
  • the processor 70 executes the computer-readable instructions 72
  • the steps in the method embodiments of the foregoing medical image reconstruction techniques are implemented, for example, steps S101 to S104 shown in FIG. 1.
  • the processor 70 executes the computer-readable instructions 72
  • the functions of the modules/units in the foregoing device embodiments are implemented, for example, the functions of the units 61 to 64 shown in FIG. 6.
  • the computer-readable instructions 72 may be divided into one or more modules/units, and the one or more modules/units are stored in the memory 71 and executed by the processor 70, To complete this application.
  • the one or more modules/units may be a series of computer-readable instruction segments capable of completing specific functions, and the instruction segments are used to describe the execution process of the computer-readable instructions 72 in the electronic device 7.
  • the electronic device 7 may be an imaging device or a server.
  • the electronic device 7 may include, but is not limited to, a processor 70 and a memory 71.
  • FIG. 7 is only an example of the electronic device 7 and does not constitute a limitation on the electronic device 7. It may include more or less components than those shown in the figure, or a combination of certain components, or different components.
  • the electronic device 7 may also include an input/output device, a network access device, a bus, and the like.
  • the processor 70 may be a central processing unit (CentraL Processing Unit, CPU), other general-purpose processors, digital signal processors (DigitaL Signal Processor, DSP), application specific integrated circuits (AppLication Specific Integrated Circuit, ASIC), Ready-made programmable gate array (FieLd-Programma bLe Gate Array, FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor or the like.
  • the memory 71 may be an internal storage unit of the electronic device 7, for example, a hard disk or a memory of the electronic device 7.
  • the memory 71 may also be an external storage device of the electronic device 7, such as a plug-in hard disk equipped on the electronic device 7, a smart media card (SMC), or a secure digital (SD) Card, Flash Card, etc. Further, the memory 71 may also include both an internal storage unit of the electronic device 7 and an external storage device.
  • the memory 71 is used to store the computer readable instructions and other programs and data required by the electronic device.
  • the memory 71 can also be used to temporarily store data that has been output or will be output.
  • the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium. Based on this understanding, the implementation of all or part of the processes in the above-mentioned embodiment methods in this application can be completed by instructing relevant hardware through a computer program.
  • the computer program can be stored in a computer-readable storage medium. When executed by the processor, the steps of the foregoing method embodiments can be implemented.
  • the computer program includes computer program code, and the computer program code may be in the form of source code, object code, executable file, or some intermediate form.
  • the computer-readable medium may at least include: any entity or device capable of carrying the computer program code to the photographing device/terminal device, recording medium, computer memory, read-only memory (ROM, Read-Only Memory), and random access memory (RAM, Random Access Memory), electric carrier signal, telecommunications signal and software distribution medium.
  • ROM read-only memory
  • RAM random access memory
  • electric carrier signal telecommunications signal and software distribution medium.
  • U disk mobile hard disk, floppy disk or CD-ROM, etc.
  • computer-readable media cannot be electrical carrier signals and telecommunication signals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请适用于图像重建技术领域，提供了一种医学图像重建技术的方法、装置、存储介质和电子设备，包括：获取样本训练数据集，样本训练数据集包括第一图像和第二图像，其中，第一图像为低分辨率图像，第二图像为与第一图像对应的高分辨率图像；生成器对所述第一图像进行图像重建，得到第三图像，第三图像为第一图像对应的重建图像，生成器为经过预训练的宽度学习网络；将第二图像与第三图像输入至判别器中，并根据判别器的输出结果调整生成器的模型参数，直至满足预设训练条件，得到训练完成的生成器，利用训练完成的生成器进行医学图像重建。本申请可缩短医学图像重建模型的训练时间，并提高医学图像重建的效率。

Description

医学图像重建技术的方法、装置、存储介质和电子设备 技术领域
本申请属于图像重建技术领域，尤其涉及一种医学图像重建技术的方法、装置、存储介质和电子设备。
背景技术
近30年来，以磁共振成像(Magnetic Resonance Imaging，MRI)、电子计算机断层扫描(Computed Tomography，CT)和超声为代表的高端医学影像技术和设备不断发展，功能和性能日趋完善，检查技术和方法亦在不断创新。然而，MRI/CT图像的质量并不都是尽如人意的，大量图像存在模糊、部分缺漏等问题，这样的图像往往需要进行图像重建或增强后才能被正常用于诊断。
现有的医学图像重建技术中，大多采用卷积神经网络(Convolutional Neural Networks，CNN)构建并训练重建深度学习重建模型进行图像重建。然而，使用卷积神经网络的深度学习重建模型的模型训练耗时较长，模型性能较差，进行医学图像重建效率较低。
发明内容
本申请实施例提供了一种医学图像重建技术的方法、装置、存储介质和电子设备，可以解决现有技术中，存在图像重建模型训练耗时较长，模型性能较差，进行医学图像重建效率较低的问题。
第一方面，本申请实施例提供了一种医学图像重建技术的方法，包括：
获取样本训练数据集，所述样本训练数据集包括第一图像和第二图像，其中，所述第一图像为低分辨率图像，所述第二图像为与所述第一图像对应的高分辨率图像；
生成器对所述第一图像进行图像重建，得到第三图像，所述第三图像为所述第一图像对应的重建图像，所述生成器为经过预训练的宽度学习网络；
将所述第二图像与所述第三图像输入至判别器中，并根据所述判别器的输出结果调整所述生成器的模型参数，直至满足预设训练条件，得到训练完成的生成器；
利用训练完成的所述生成器进行医学图像重建。
在第一方面的一种可能的实现方式中，所述生成器对所述第一图像进行图像重建，得到第三图像的步骤，包括：
提取所述第一图像的线性特征，得到特征节点；
对所述特征节点进行非线性特征增强，得到增强节点；
根据所述特征节点、所述增强节点以及所述经过预训练的宽度学习网络的预训练模型参数进行图像重建，生成第三图像。
在第一方面的一种可能的实现方式中，所述根据所述特征节点、所述增强节点以及所述经过预训练的宽度学习网络的预训练模型参数进行图像重建，生成第三图像的步骤，包括：
基于所述特征节点与所述增强节点，构建输入矩阵；
基于所述预训练模型参数，构建预训练参数矩阵；
根据所述输入矩阵和所述预训练参数矩阵，确定所述预训练的生成器的输出矩阵；
基于所述输出矩阵进行图像重建，得到第三图像。
在第一方面的一种可能的实现方式中，所述根据所述判别器的输出结果调整所述生成器的模型参数的步骤，包括：
根据预设的损失函数，计算所述第三图像与所述第二图像的损失值；
根据所述损失值调整所述生成器的模型参数。
在第一方面的一种可能的实现方式中，所述宽度学习网络包括输出层，所述根据所述损失值调整所述生成器的模型参数的步骤，包括：
根据反向传播算法，计算所述损失值在所述输出层的梯度向量；
根据所述梯度向量，调整所述生成器的模型参数。
在第一方面的一种可能的实现方式中，所述宽度学习网络的预训练包括获取预训练模型参数，具体包括：
提取所述第一图像的线性特征，得到第一图像特征节点；
对所述第一图像特征节点进行非线性特征增强，得到第一图像增强节点；
基于所述第一图像特征节点与所述第一图像增强节点，构建模型输入矩阵；
提取所述第二图像的线性特征，得到第二图像特征节点；
根据所述第二图像特征节点，构建模型输出矩阵；
根据所述模型输入矩阵以及所述模型输出矩阵，得到所述宽度学习网络的预训练模型参数。
第二方面，本申请实施例提供了一种医学图像重建技术的装置，包括：
样本数据获取单元，用于获取样本训练数据集，所述样本训练数据集包括第一图像和第二图像，其中，所述第一图像为低分辨率图像，所述第二图像为与所述第一图像对应的高分辨率图像；
第一训练单元，用于生成器对所述第一图像进行图像重建，得到第三图像，所述第三图像为所述第一图像对应的重建图像，所述生成器为经过预训练的宽度学习网络；
第二训练单元，用于将所述第二图像与所述第三图像输入至判别器中，并根据所述判别器的输出结果调整所述生成器的模型参数，直至满足预设训练条件，得到训练完成的生成器；
模型应用单元，用于利用训练完成的所述生成器进行医学图像重建。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的医学图像重建技术的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可 读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的医学图像重建技术的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如上述第一方面所述的医学图像重建技术的方法。
本申请实施例中，通过获取样本训练数据集，所述样本训练数据集包括第一图像和第二图像，其中，所述第一图像为低分辨率图像，所述第二图像为与所述第一图像对应的高分辨率图像，生成器对所述第一图像进行图像重建，得到第三图像，所述第三图像为所述第一图像对应的重建图像，所述生成器为经过预训练的宽度学习网络；将所述第二图像与所述第三图像输入至判别器中，并根据所述判别器的输出结果调整所述生成器的模型参数，直至满足预设训练条件，得到训练完成的生成器。本申请优化了基于生成对抗网络的图像重建模型，在对图像重建模型进行训练之前对生成器进行了预训练，使得生成器已经拥有了部分的拟合能力，可大幅节省训练的迭代次数，缩短模型的训练时间，再结合判别器的验证进一步调整模型参数，提高图像重建模型的性能，增强图像重建模型应用的及时性，在实际应用中可以满足更多需要，再利用训练完成的生成器进行医学图像重建，可提高医学图像重建的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的医学图像重建技术的方法的实现流程图；
图2是本申请实施例提供的医学图像重建技术的方法中的生成器重建图像 的具体实现流程图；
图3是本申请实施例提供的医学图像重建技术的方法中宽度学习网络BLS预训练过程的具体实现流程图；
图4是本申请实施例提供的医学图像重建技术的方法中生成器的模型参数调整的具体实现流程图；
图5是本申请实施例提供的医学图像重建技术的方法的模型训练场景示意图；
图6是本申请实施例提供的医学图像重建技术的装置的结构框图；
图7是本申请实施例提供的电子设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一 些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的一种医学图像重建技术的方法适用于各种类型的终端设备或者服务器，具体可以包括MRI成像设备、手机、平板电脑、可穿戴设备、笔记本电脑、车载设备、增强现实(AR)设备，虚拟现实(VR)设备、个人数字助理(Personal Digital Assistant，PDA)、数字电视等电子设备。
本申请实施例为了能够缩短用于医学图像重建的模型的训练时间，提高模型性能以及医学图像重建的效率，通过优化基于生成对抗网络的图像重建模型，生成器由经过预训练的宽度学习网络构成，使得在训练图像重建模型时，生成器已经拥有了部分的拟合能力，再通过判别器的验证进一步提高图像重建模型的模型参数的准确性，进而在缩短模型训练时间的同时提高图像重建模型的性能。
下面结合具体实施例对本申请提供的医学图像重建技术的方法进行示例性的说明。
图1示出了本申请实施例提供的医学图像重建技术的方法的实现流程，执行端为电子设备，该方法流程可以包括如下步骤S101至S104。
S101：获取样本训练数据集，所述样本训练数据集包括第一图像和第二图像，其中，所述第一图像为低分辨率图像，所述第二图像为与所述第一图像对应的高分辨率图像。
上述第一图像是图像重建之前的低分辨率图像，上述第二图像是与上述第一图像对应的高分辨率图像。在本申请实施例中，上述第一图像可以是三基色图像(RGB图像)，也可以是图像传感器获取的原始图像(RAW图像)。
在一种可能的实施方式中，将上述样本训练数据集按指定比例划分为第一样本训练数据集和第二样本训练数据集，其中，上述第一样本训练数据集用于 训练上述图像重建模型，上述第二样本训练数据集用于验证训练好的图像重建模型。
在一种可能的实施方式中，将上述样本训练数据集按指定比例划分为第一样本训练数据集、第二样本训练数据集以及第三样本训练数据集，其中，上述第一样本训练数据集用于训练上述图像重建模型，上述第二样本训练数据集用于迭代训练过程的验证，上述第三训练样本数据集用于验证迭代训练结束后的图像重建模型。
S102：生成器对所述第一图像进行图像重建，得到第三图像，所述第三图像为所述第一图像对应的重建图像，所述生成器为经过预训练的宽度学习网络。
本申请实施例中，图像重建模型中的生成器用于重建图像。
在一种可能的实施方式中，将上述第一图像输入至生成器中进图像重建之前，对上述第一图像进行预处理，得到预处理后的第一图像，将预处理后的第一图像输入至生成器中间图像重建。
在一些实施方式中，上述预处理包括图像归一化处理，将经过图像归一化处理的第一图像输入至生成器中进行图像重建。
在本申请实施例中，用于图像重建的生成器为经过预训练的宽度学习网络(Board Learning System，BLS)。经过预训练的宽度学习网络使得用于图像重建的生成器在进行训练之前已具备一定的拟合能力，可快速收敛模型参数。
作为本申请一种可能的实施方式，如图2所示，上述所述生成器对所述第一图像进行图像重建，得到第三图像的步骤，包括：
A1：提取所述第一图像的线性特征，得到特征节点。
在本申请实施例中，通过生成器的特征层提取特征，压缩输入的规模。
A2：对所述特征节点进行非线性特征增强，得到增强节点。
在本申请实施例中，生成器的增强层通过非线性激活函数，对特征节点进行增强，增加模型的非线性拟合能力。
A3：根据所述特征节点、所述增强节点以及所述经过预训练的宽度学习网 络的预训练模型参数进行图像重建，生成第三图像。
在一些可能的实施方式中，上述步骤A3具体包括：
A31：基于所述特征节点与所述增强节点，构建输入矩阵。
A32：基于所述预训练模型参数，构建预训练参数矩阵。
A33：根据所述输入矩阵和所述预训练参数矩阵，确定所述预训练的生成器的输出矩阵。
A34：基于所述输出矩阵进行图像重建，得到第三图像。
作为本申请一种可能的实施方式，图3示出了本申请实施例提供的宽度学习网络BLS的预训练过程，BLS网络的预训练也即生成器的初始化。BLS网络包括特征层和增强层，具体地，BLS网络的预训练包括获取预训练模型参数，详述如下：
B1：提取所述第一图像的线性特征，得到第一图像特征节点。
在本申请实施例中，通过生成器的特征层提取第一图像的线性特征，得到第一图像特征节点。特征层由数个特征窗口组成，每个特征窗口有若干个特征节点，每个节点可以理解为一个列向量。在本申请实施例中，特征层实际上就是数组列向量，特征层的作用就是提取输入的第一图像的特征，实际上就是压缩输入的图像的规模。
B2：对所述第一图像特征节点进行非线性特征增强，得到第一图像增强节点。
在本申请实施例中，通过增强层对所述第一图像特征节点进行非线性特征增强，得到第一图像增强节点。增强层通过非线性激活函数，对上述第一图像特征节点进行增强，从而增强模型的非线性拟合能力。
B3：基于所述第一图像特征节点与所述第一图像增强节点，构建模型输入矩阵。
具体地，根据特征节点和增强节点，构建增广矩阵，组成上述模型输入矩阵。
在本申请实施例中，第一图像的图像分辨率为n1×n2，模型输入矩阵的数据规模为N1×N2+N3行，每行n1×n2维。其中，N1为特征窗口数，N2为每个特征窗口的特征节点数，N3为增强节点数，n1×n2为特征节点的维度。模型输入矩阵每行的维度根据第一图像的图像分辨率确定。
在本申请实施例中，特征窗口实际上是一个对输入数据的预处理过程，无论输入数据有多少，都可以将其映射到N1个特征窗口(每个特征窗口有N2个维度)，以此来起到减少输入维度，降低模型复杂度。
B4：提取所述第二图像的线性特征，得到第二图像特征节点。
B5：根据所述第二图像特征节点，构建模型输出矩阵。
在本申请实施例中，第二图像的图像分辨率为b1×b2，模型输出矩阵每行的维度为b1×b2，即，模型输出矩阵每行的维度根据第二图像的图像分辨率确定。
B6：根据所述模型输入矩阵以及所述模型输出矩阵，得到所述BLS网络的预训练模型参数。
在本申请实施例中，根据回归公式Y＝WX获取预训练模型参数。其中，定义X为模型输入矩阵，Y为模型输出矩阵，W为预训练参数矩阵，即为预训练模型参数构建的矩阵。具体地，预训练参数矩阵根据W＝YX +得到，其中，X +是通过岭回归求出的伪逆。根据预训练参数矩阵即可得到上述BLS网络的预训练模型参数。
以一个应用场景为例，构建生成器，该生成器的输入层由BLS网络构成，该BLS网络的输入层由特征层和增强层构成。具体地，从训练样本数据集中获取m对图像组，共包括m张低分辨率图像和m张高分辨率图像，每一图像组包括1张低分辨率图像，以及1张与该张低分辨率图像对应的高分辨率图像。对该m对图像组中的图像进行归一化处理，将图像的相似归一化到[-1,1]之间。低分辨率图像的分辨率为n1×n2，将m张低分辨率图像输入至特征层，通过特征层将低分辨率图像的二维矩阵n1×n2重排列成n1×n2的一维向量，然后根 据预设参数N1、预设参数N2，生成N1个特征窗口，每个特征窗口包括N2个特征节点，共得到N1×N2个特征节点，每一特征节点的维度为n1×n2。通过增强层对特征节点进行非线性特征增强，根据预设参数N3，生成N3个增强节点，每一增强节点的维度为n1×n2。根据特征节点和增强节点，构建增广矩阵，得到模型输入矩阵X，X的数据规模为N1×N2+N3行，每行n1×n2维。根据m张高分辨率图像构建输出矩阵，其中每张高分辨率图像的分辨率为b1×b2，通过特征层将高分辨率图像的二维矩阵b1×b2重排列成b1×b2的一维向量，生成模型输出矩阵。根据回归公式Y＝WX，计算预训练参数矩阵W＝YX +，其中，X +是通过岭回归求出的伪逆。基于预训练参数矩阵得到预训练参数，生成器的预训练完成。
在一些实施方式中，按照实际需要在预训练完成的BLS添加全连接层，所述全连接层用于增强生成器的生成能力。
在本申请实施例中，利用BLS网络构建生成器，并对该BLS网络也即生成器进行预训练，得到生成器的预训练参数，使得在利用判别器进行迭代训练之前，生成器已具备一定的拟合能力，进而可缩短迭代训练的时间。
S103：将所述第二图像与所述第三图像输入至判别器中，并根据所述判别器的输出结果调整所述生成器的模型参数，直至满足预设训练条件，得到训练完成的生成器。
在本申请实施例中，预设训练条件可以是预设迭代次数。将上述第二图像和上述第三图像输入判别器中，并根据所述判别器的输出结果调整所述生成器的模型参数，一次训练完成，重复执行将样本训练数据集中的第一图像输入至生成器中进行图像重建，得到第三图像，将第二图像与第三图像输入至判别器中，并根据所述判别器的输出结果调整所述生成器的模型参数的步骤，直到达到预设迭代次数，例如，200次，则训练完成，得到训练好的生成器。
在本申请实施例中，上述判别器用于验证上述生成器生成的第三图像。
在一种可能的实施方式中，初始化判别器。具体地，将m张低分辨率图像 输入至已经初始化完成的生成器中，生成规模为m的重建图像，根据低分辨率图像与重建图像重排列成一维，并构建增广矩阵，得到输入矩阵。将规模同为m的全0和全1向量拼接构建输出矩阵，根据回归公式，求得判别器的参数矩阵，继而得到判别器的参数。
作为本申请一种可能的实施方式，如图4所示，上述根据所述判别器的输出结果调整所述生成器的模型参数的步骤，具体包括：
C1：根据预设的损失函数，计算所述第三图像与所述第二图像的损失值。
在本申请实施例中，预设的损失函数可以为交叉熵函数。
C2：根据所述损失值调整所述生成器的模型参数。
在一些可能的实施方式中，所述宽度学习网络包括输出层，上述步骤C2具体包括：
C21：根据反向传播算法，计算所述损失值在所述输出层的梯度向量。
具体地，使用反向传播算法，计算上述损失值在所述输出层对应的输出矩阵的梯度向量。其具体过程包括，根据损失值对里输出层最近的一个隐层的各个参数求偏导，并使用梯度公式求出梯度，梯度公式如下式(1)：
Figure PCTCN2020129565-appb-000001
其中i k是沿第k个方向的单位向量。
C22：根据所述梯度向量，调整所述生成器的模型参数。
具体地，使用梯度下降法计算更新模型参数，并使用链式法则类似的向前更新各个隐层。
以一个应用场景为例，如图5所示，生成器输入低分辨率图像，若不是首次训练，则进行生成器BLS网络初始化，得到具有预训练参数的生成器；若不是首次训练，则通过生成器得到重建图像，将上述低分辨率图像对应的高分辨率图像与上述重建图像输入至判别器，并根据预设损失函数计算重建图像与高分辨率图像的损失值，再根据反向传播算法更新生成器的模型参数，一次训练完成，当达到预定迭代次数，训练完成。
作为本申请一种可能的实施方式，对判别器的参数进行更新。具体地，将生成器生成的第三图像与上述第二图像输入至判别器，根据预设的损失函数计算判别器的损失值，根据反向传播算法，计算所述判别器的损失值在所述判别器的输出层的梯度向量，使用梯度下降法计算并更新判别器的模型参数，并使用链式法则类似的向前更新判别器各个隐层。
本申请实施例中，基于训练时生成器生成的重建图像对判别器的参数进行同步更新调整，进一步提高判别器的判别验证能力，从而可有效增强训练过程中生成器的优化效果。
S104：利用训练完成的所述生成器进行医学图像重建。
在本申请实施例中，通过上述步骤S101至步骤S103训练完成得到的生成器进行图像重建，具体可应用于医学图像重建。在一种实际应用场景中，训练好的生成器可用于MRI成像，用于观察阿尔茨海默症(Alzheimer’s disease,AD)患者的颞叶和海马等脑部结构的病变情况，可提高MRI重建任务的效率。
由上可见，在本申请实施例中，通过获取样本训练数据集，所述样本训练数据集包括第一图像和第二图像，其中，所述第一图像为低分辨率图像，所述第二图像为与所述第一图像对应的高分辨率图像，生成器对所述第一图像进行图像重建，得到第三图像，所述第三图像为所述第一图像对应的重建图像，所述生成器为经过预训练的宽度学习网络；将所述第二图像与所述第三图像输入至判别器中，并根据所述判别器的输出结果调整所述生成器的模型参数，直至满足预设训练条件，得到训练完成的生成器。本申请优化了基于生成对抗网络的图像重建模型，在对图像重建模型进行训练之前对生成器进行了预训练，使得生成器已经拥有了部分的拟合能力，可大幅节省训练的迭代次数，缩短模型的训练时间，再结合判别器的验证进一步调整模型参数，提高图像重建模型的性能，增强图像重建模型应用的及时性，在实际应用中可以满足更多需要，再利用训练完成的生成器进行医学图像重建，可提高医学图像重建的效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的医学图像重建技术的方法，图6示出了本申请实施例提供的医学图像重建技术的装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图6，该医学图像重建技术的装置包括：样本数据获取单元61，第一训练单元62，第二训练单元63，其中：
样本数据获取单元61，用于获取样本训练数据集，所述样本训练数据集包括第一图像和第二图像，其中，所述第一图像为低分辨率图像，所述第二图像为与所述第一图像对应的高分辨率图像；
第一训练单元62，用于生成器对所述第一图像进行图像重建，得到第三图像，所述第三图像为所述第一图像对应的重建图像，所述生成器为经过预训练的宽度学习网络；
第二训练单元63，用于将所述第二图像与所述第三图像输入至判别器中，并根据所述判别器的输出结果调整所述生成器的模型参数，直至满足预设训练条件，得到训练完成的生成器。
模型应用单元64，用于利用训练完成的所述生成器进行医学图像重建。
在一种可能的实施方式中，所述第一训练单元62包括：
特征节点获取模块，用于提取所述第一图像的线性特征，得到特征节点；
增强节点获取模块，用于对所述特征节点进行非线性特征增强，得到增强节点；
图像重建模块，用于根据所述特征节点、所述增强节点以及所述经过预训练的宽度学习网络的预训练模型参数进行图像重建，生成第三图。
在一种可能的实施方式中，所述图像重建模块具体用于：
基于所述特征节点与所述增强节点，构建输入矩阵；
基于所述预训练模型参数，构建预训练参数矩阵；
根据所述输入矩阵和所述预训练参数矩阵，确定所述预训练的生成器的输出矩阵；
基于所述输出矩阵进行图像重建，得到第三图像。
在一种可能的实施方式中，上述第二训练单元63具体包括：
损失计算模块，用于根据预设的损失函数，计算所述第三图像与所述第二图像的损失值；
参数调整模块，用于根据所述损失值调整所述生成器的模型参数。
在一种可能的实施方式中，所述宽度学习网络包括输出层，所述参数调整模块具体用于：
根据反向传播算法，计算所述损失值在所述输出层的梯度向量；
根据所述梯度向量，调整所述生成器的模型参数。
在一种可能的实施方式中，上述医学图像重建技术的装置还包括预训练单元，所述预训练单元具体包括：
第一特征提取模块，用于提取所述第一图像的线性特征，得到第一图像特征节点；
第一增强模块，用于对所述第一图像特征节点进行非线性特征增强，得到第一图像增强节点；
输入构建模块，用于基于所述第一图像特征节点与所述第一图像增强节点，构建模型输入矩阵；
第二特征提取模块，用于提取所述第二图像的线性特征，得到第二图像特征节点；
输出构建模块，用于根据所述第二图像特征节点，构建模型输出矩阵；
参数计算模块，用于根据所述模型输入矩阵以及所述模型输出矩阵，得到所述宽度学习网络的预训练模型参数。
由上可见，在本申请实施例中，通过获取样本训练数据集，所述样本训练 数据集包括第一图像和第二图像，其中，所述第一图像为低分辨率图像，所述第二图像为与所述第一图像对应的高分辨率图像，生成器对所述第一图像进行图像重建，得到第三图像，所述第三图像为所述第一图像对应的重建图像，所述生成器为经过预训练的宽度学习网络；将所述第二图像与所述第三图像输入至判别器中，并根据所述判别器的输出结果调整所述生成器的模型参数，直至满足预设训练条件，得到训练完成的生成器。本申请优化了基于生成对抗网络的图像重建模型，在对图像重建模型进行训练之前对生成器进行了预训练，使得生成器已经拥有了部分的拟合能力，可大幅节省训练的迭代次数，缩短模型的训练时间，再结合判别器的验证进一步调整模型参数，提高图像重建模型的性能，增强图像重建模型应用的及时性，在实际应用中可以满足更多需要，再利用训练完成的生成器进行医学图像重建，可提高医学图像重建的效率。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如图1至图5表示的任意一种医学图像重建技术的方法的步骤。
本申请实施例还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如图1至图5表示的任意一种医学图像重建技术的方法的步骤。
本申请实施例还提供一种计算机程序产品，当该计算机程序产品在电子设备上运行时，使得电子设备执行实现如图1至图5表示的任意一种医学图像重建技术的方法的步骤。
图7是本申请一实施例提供的电子设备的示意图。如图7所示，该实施例 的电子设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机可读指令72。所述处理器70执行所述计算机可读指令72时实现上述各个医学图像重建技术的方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，所述处理器70执行所述计算机可读指令72时实现上述各装置实施例中各模块/单元的功能，例如图6所示单元61至64的功能。
示例性的，所述计算机可读指令72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令72在所述电子设备7中的执行过程。
所述电子设备7可以是成像设备或者服务器。所述电子设备7可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是电子设备7的示例，并不构成对电子设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备7还可以包括输入输出设备、网络接入设备、总线等。
所述处理器70可以是中央处理单元(CentraL Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitaL SignaL Processor，DSP)、专用集成电路(AppLication Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieLd–Programma bLe Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述电子设备7的内部存储单元，例如电子设备7的硬盘或内存。所述存储器71也可以是所述电子设备7的外部存储设备，例如所述电子设备7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure DigitaL，SD)卡，闪存卡(Flash Card)等。进一步地，所 述存储器71还可以既包括所述电子设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机可读指令以及所述电子设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储 器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

  1. 一种医学图像重建技术的方法，其特征在于，包括：
    获取样本训练数据集，所述样本训练数据集包括第一图像和第二图像，其中，所述第一图像为低分辨率图像，所述第二图像为与所述第一图像对应的高分辨率图像；
    生成器对所述第一图像进行图像重建，得到第三图像，所述第三图像为所述第一图像对应的重建图像，所述生成器为经过预训练的宽度学习网络；
    将所述第二图像与所述第三图像输入至判别器中，并根据所述判别器的输出结果调整所述生成器的模型参数，直至满足预设训练条件，得到训练完成的生成器；
    利用训练完成的所述生成器进行医学图像重建。
  2. 根据权利要求1所述的方法，其特征在于，所述生成器对所述第一图像进行图像重建，得到第三图像的步骤，包括：
    提取所述第一图像的线性特征，得到特征节点；
    对所述特征节点进行非线性特征增强，得到增强节点；
    根据所述特征节点、所述增强节点以及所述经过预训练的宽度学习网络的预训练模型参数进行图像重建，生成第三图像。
  3. 根据权利要求2所述的方法，其特征在于，所述根据所述特征节点、所述增强节点以及所述经过预训练的宽度学习网络的预训练模型参数进行图像重建，生成第三图像的步骤，包括：
    基于所述特征节点与所述增强节点，构建输入矩阵；
    基于所述预训练模型参数，构建预训练参数矩阵；
    根据所述输入矩阵和所述预训练参数矩阵，确定所述预训练的生成器的输出矩阵；
    基于所述输出矩阵进行图像重建，得到第三图像。
  4. 根据权利要求1所述的方法，其特征在于，所述根据所述判别器的输出结果调整所述生成器的模型参数的步骤，包括：
    根据预设的损失函数，计算所述第三图像与所述第二图像的损失值；
    根据所述损失值调整所述生成器的模型参数。
  5. 根据权利要求4所述的方法，其特征在于，所述宽度学习网络包括输出层，所述根据所述损失值调整所述生成器的模型参数的步骤，包括：
    根据反向传播算法，计算所述损失值在所述输出层的梯度向量；
    根据所述梯度向量，调整所述生成器的模型参数。
  6. 根据权利要求1至5任一项所述的方法，其特征在于，所述宽度学习网络的预训练包括获取预训练模型参数，具体包括：
    提取所述第一图像的线性特征，得到第一图像特征节点；
    对所述第一图像特征节点进行非线性特征增强，得到第一图像增强节点；
    基于所述第一图像特征节点与所述第一图像增强节点，构建模型输入矩阵；
    提取所述第二图像的线性特征，得到第二图像特征节点；
    根据所述第二图像特征节点，构建模型输出矩阵；
    根据所述模型输入矩阵以及所述模型输出矩阵，得到所述宽度学习网络的预训练模型参数。
  7. 一种医学图像重建技术的装置，其特征在于，包括：
    样本数据获取单元，用于获取样本训练数据集，所述样本训练数据集包括第一图像和第二图像，其中，所述第一图像为低分辨率图像，所述第二图像为与所述第一图像对应的高分辨率图像；
    第一训练单元，用于生成器对所述第一图像进行图像重建，得到第三图像，所述第三图像为所述第一图像对应的重建图像，所述生成器为经过预训练的宽度学习网络；
    第二训练单元，用于将所述第二图像与所述第三图像输入至判别器中，并根据所述判别器的输出结果调整所述生成器的模型参数，直至满足预设训练条 件，得到训练完成的生成器；
    模型应用单元，用于利用训练完成的所述生成器进行医学图像重建。
  8. 根据权利要求7所述的装置，其特征在于，所述第一训练单元包括：
    特征节点获取模块，用于提取所述第一图像的线性特征，得到特征节点；
    增强节点获取模块，用于对所述特征节点进行非线性特征增强，得到增强节点；
    图像重建模块，用于根据所述特征节点、所述增强节点以及所述经过预训练的宽度学习网络的预训练模型参数进行图像重建，生成第三图。
  9. 一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的医学图像重建技术的方法。
  10. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的医学图像重建技术的方法。
PCT/CN2020/129565 2020-06-19 2020-11-17 医学图像重建技术的方法、装置、存储介质和电子设备 WO2021253722A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010565805.6A CN111862251B (zh) 2020-06-19 2020-06-19 医学图像重建技术的方法、装置、存储介质和电子设备
CN202010565805.6 2020-06-19

Publications (1)

Publication Number Publication Date
WO2021253722A1 true WO2021253722A1 (zh) 2021-12-23

Family

ID=72986947

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/129565 WO2021253722A1 (zh) 2020-06-19 2020-11-17 医学图像重建技术的方法、装置、存储介质和电子设备

Country Status (2)

Country Link
CN (1) CN111862251B (zh)
WO (1) WO2021253722A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115544126A (zh) * 2022-12-05 2022-12-30 南方电网数字电网研究院有限公司 光伏数据的升频重建方法、装置、计算机设备和存储介质
CN116402825A (zh) * 2023-06-09 2023-07-07 华东交通大学 轴承故障红外诊断方法、系统、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862251B (zh) * 2020-06-19 2024-05-03 中国科学院深圳先进技术研究院 医学图像重建技术的方法、装置、存储介质和电子设备
CN112509091B (zh) * 2020-12-10 2023-11-14 上海联影医疗科技股份有限公司 医学图像重建方法、装置、设备及介质
CN114742807A (zh) * 2022-04-24 2022-07-12 北京医准智能科技有限公司 基于x光图像的胸片识别方法、装置、电子设备和介质
CN116863016A (zh) * 2023-05-31 2023-10-10 北京长木谷医疗科技股份有限公司 基于深度学习生成对抗网络的医学图像重建方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN110070174A (zh) * 2019-04-10 2019-07-30 厦门美图之家科技有限公司 一种生成对抗网络的稳定训练方法
US10540798B1 (en) * 2019-01-10 2020-01-21 Capital One Services, Llc Methods and arrangements to create images
CN111160198A (zh) * 2019-12-23 2020-05-15 北方工业大学 基于宽度学习的物体识别方法及系统
CN111862251A (zh) * 2020-06-19 2020-10-30 中国科学院深圳先进技术研究院 医学图像重建技术的方法、装置、存储介质和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
US10540798B1 (en) * 2019-01-10 2020-01-21 Capital One Services, Llc Methods and arrangements to create images
CN110070174A (zh) * 2019-04-10 2019-07-30 厦门美图之家科技有限公司 一种生成对抗网络的稳定训练方法
CN111160198A (zh) * 2019-12-23 2020-05-15 北方工业大学 基于宽度学习的物体识别方法及系统
CN111862251A (zh) * 2020-06-19 2020-10-30 中国科学院深圳先进技术研究院 医学图像重建技术的方法、装置、存储介质和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOU SULI: "Manifold Regularization And Spasrse Coding Based Medical Images High-Resolution Reconstruction", MASTER THESIS, TIANJIN POLYTECHNIC UNIVERSITY, CN, no. 3, 15 March 2017 (2017-03-15), CN , XP055881257, ISSN: 1674-0246 *
ZENG XIANHUA, HOU SU-LI: "Integrated Super-Resolution Reconstruction Method based on Broad-Learning", COMPUTER ENGINEERING AND DESIGN, vol. 37, no. 9, 16 September 2016 (2016-09-16), pages 2526 - 2532, XP055881253, ISSN: 1000-7024, DOI: 10.16208/j.issn1000-7024.2016.09.044 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115544126A (zh) * 2022-12-05 2022-12-30 南方电网数字电网研究院有限公司 光伏数据的升频重建方法、装置、计算机设备和存储介质
CN116402825A (zh) * 2023-06-09 2023-07-07 华东交通大学 轴承故障红外诊断方法、系统、电子设备及存储介质
CN116402825B (zh) * 2023-06-09 2023-08-11 华东交通大学 轴承故障红外诊断方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN111862251A (zh) 2020-10-30
CN111862251B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
WO2021253722A1 (zh) 医学图像重建技术的方法、装置、存储介质和电子设备
WO2021179205A1 (zh) 医学图像分割方法、医学图像分割装置及终端设备
Yan et al. Multi-scale dense networks for deep high dynamic range imaging
Fang et al. Blind visual quality assessment for image super-resolution by convolutional neural network
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
WO2020125498A1 (zh) 心脏磁共振图像分割方法、装置、终端设备及存储介质
WO2021164269A1 (zh) 基于注意力机制的视差图获取方法和装置
CN109766925B (zh) 特征融合方法、装置、电子设备及存储介质
Zhang et al. The emergence of reproducibility and consistency in diffusion models
Li et al. Image super-resolution with parametric sparse model learning
WO2020168648A1 (zh) 一种图像分割方法、装置及计算机可读存储介质
CN111325695B (zh) 基于多剂量等级的低剂量图像增强方法、系统及存储介质
CN114863225B (zh) 图像处理模型训练方法、生成方法、装置、设备及介质
Kim et al. Deeply aggregated alternating minimization for image restoration
WO2021102644A1 (zh) 图像增强方法、装置及终端设备
CN113470684A (zh) 音频降噪方法、装置、设备及存储介质
CN110874855B (zh) 一种协同成像方法、装置、存储介质和协同成像设备
Vlachos et al. Finger vein segmentation from infrared images based on a modified separable mumford shah model and local entropy thresholding
CN109961435B (zh) 脑图像获取方法、装置、设备及存储介质
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
Lu et al. Image-specific prior adaptation for denoising
Pang et al. Progressive polarization based reflection removal via realistic training data generation
Wu et al. Data-iterative optimization score model for stable ultra-sparse-view CT reconstruction
Zhang et al. Multi-scale network with the deeper and wider residual block for MRI motion artifact correction
Wang et al. Single image rain removal via cascading attention aggregation network on challenging weather conditions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20940917

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 24.04.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20940917

Country of ref document: EP

Kind code of ref document: A1