WO2023201625A1 - 一种基于标准化流的伪影矫正方法及装置 - Google Patents

一种基于标准化流的伪影矫正方法及装置 Download PDF

Info

Publication number
WO2023201625A1
WO2023201625A1 PCT/CN2022/088186 CN2022088186W WO2023201625A1 WO 2023201625 A1 WO2023201625 A1 WO 2023201625A1 CN 2022088186 W CN2022088186 W CN 2022088186W WO 2023201625 A1 WO2023201625 A1 WO 2023201625A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
artifact
domain
artifacts
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2022/088186
Other languages
English (en)
French (fr)
Inventor
苏鉴东
商琨
梁栋
刘新
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to PCT/CN2022/088186 priority Critical patent/WO2023201625A1/zh
Publication of WO2023201625A1 publication Critical patent/WO2023201625A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Definitions

  • the present application relates to the field of magnetic resonance imaging, and specifically to an artifact correction method and device based on standardized flow.
  • Magnetic Resonance Imaging (MRI) technology has been widely used in the field of medical diagnosis.
  • MRI Magnetic Resonance Imaging
  • existing research is mainly divided into two directions.
  • One is based on artifact removal in the image domain, which mainly uses computer vision methods and uses neural networks to learn the residuals of images with and without artifacts to remove artifacts.
  • the other one performs artifact removal based on K-space and treats the artifact information as outliers for processing. Both routes have their own shortcomings.
  • nuclear magnetic resonance is a medical imaging technology that has been widely used in recent years. It can reflect human organ abnormalities and early lesions from the inside of human molecules, and is superior to X-ray and CT imaging in many places. Compared with CT and X-ray, MRI can provide more information on the physiological status of human organs and can perform imaging at any level. Magnetic resonance imaging can also measure the nuclear relaxation times T1 and T2 of atoms, which can correlate human tissues. The information of chemical structure is reflected, and the quantitative analysis of soft tissue, gray and white matter is more accurate.
  • Normalizing flow is a new generation model proposed in recent years. Compared with Generative Adversarial Network (GAN) and Variational Autoencoder (VAE), it has better interpretability and traceability.
  • Flow refers to the data flow passing through a series of bijections (reversible mapping) and finally mapped to a suitable representation space. Normalizing means that the variable integral that represents the space is 1, so that it meets the definition of the probability distribution function. This technique can be simply described as: working from a simple probability distribution to a more complex and expressive probability distribution. Let the initial basic probability distribution change step by step into the required complex distribution through this series of mapping changes.
  • Andreas Lugmayr et al. proposed a super-resolution reconstruction method (SRFlow) based on normalized flow in 2020 to learn a reversible transformation from a low-resolution image to a high-resolution image, allowing SRFlow to generate multiple different images from the learned complex distribution. High-quality images at higher resolutions, demonstrating better representation and interpretability.
  • SRFlow super-resolution reconstruction method
  • A is the metric matrix
  • G( ⁇ ) is the Flow model
  • p G is the likelihood function about x guided by G
  • ⁇ is the hyperparameter. Asim et al. applied this model to solve compressed sensing and image denoising problems and achieved good performance.
  • the traditional artifact correction method is based solely on information in the image domain or K-space domain. It has the following shortcomings:
  • the method is effective for artifacts that have been trained, but does not effectively remove artifact types with unknown distribution.
  • Image domain-based methods are not effective in correcting heavy artifacts. At the same time, part of the fat tissue will be enhanced during the correction process, resulting in loss of detail.
  • K-space based methods are difficult to obtain original data and lack sufficient data support.
  • Embodiments of the present application provide an artifact correction method and device based on standardized flow, so as to at least solve the technical problem of poor effectiveness of existing artifact correction methods.
  • an artifact correction method based on standardized flow including the following steps:
  • the standardized flow in the flow model is used to perform dual learning on the data in the image domain and the K-space domain, and a bidirectional reversible mapping between the data with artifacts and the data without artifacts is constructed;
  • Bidirectional reversible mapping is used to correct artifacts in MRI images.
  • the technical solutions adopted by the embodiments of this application also include: learning different artifact types and different levels of flow models for data in the image domain and K-space domain, including:
  • the technical solutions adopted by the embodiments of this application also include: learning different artifact types and different levels of flow models for data in the image domain and K-space domain also includes:
  • the technical solution adopted by the embodiment of the present application also includes: performing artifact correction in the relevant domain on the image domain and K-space domain data respectively, and then merging the correction results. For example, if only the results in a separate domain directly provide the final correction result.
  • an artifact correction device based on standardized flow including:
  • the bidirectional reversible mapping unit is used to use the standardized flow in the flow model to perform dual learning on the data in the image domain and the K-space domain, and construct a bidirectional reversible mapping between the data with artifacts and the data without artifacts;
  • An artifact correction unit is used to correct artifacts on MRI images using bidirectional reversible mapping.
  • a storage medium that stores program files capable of implementing any of the above standardized flow-based artifact correction methods.
  • a processor is used to run a program, wherein when the program is running, it executes any one of the above standardized flow-based artifact correction methods.
  • Figure 2 is a schematic diagram of dual learning in the image domain and K-space domain in the artifact correction method based on standardized flow according to the embodiment of the present application;
  • Figure 3 is a flow chart of the entire artifact correction in the standardized flow-based artifact correction method according to the embodiment of the present application.
  • the standardized flow in the flow model is used to perform dual learning on the data in the image domain and the K-space domain, and a bidirectional reversible mapping between the data with artifacts and the data without artifacts is constructed;
  • Bidirectional reversible mapping is used to correct artifacts in MRI images.
  • image domain data with artifacts image domain data with artifacts
  • K-space domain data with artifacts image domain data without artifacts
  • K-space domain data without artifacts K-space domain data without artifacts.
  • the image domain data is inversely processed. Fourier transform is used to obtain the corresponding K-space data.
  • the standardized flow in the flow model is used to perform dual learning on the data in the image domain and the K-space domain, and the construction of a bidirectional reversible mapping between the data with artifacts and the data without artifacts includes:
  • the use of bidirectional reversible mapping to correct artifacts in MRI images includes:
  • the learned normalized flow model is used to correct artifacts on MRI images.
  • This application combines existing research.
  • Third, the artifact correction of MRI images is achieved. Compared with previous methods, the correction results are better, the interpretability is stronger, and the generalization is better.
  • the artifact data can be subdivided in the next step, divided according to the degree, and divided into light, medium and severe artifact data.
  • Step 2 use a series of reversible mappings Establish a mapping relationship that converts the original distribution (data x without artifacts) into a new distribution (data y with artifacts), as shown in Figure 1.
  • Figure 1 is a schematic diagram of the standardized flow of reversible mapping, from Z 0 to Z k generation process.
  • This application can be considered as an artifact correction method based on the reversibility of the same mapping, or as an artifact generation method based on the reversibility of the same mapping.
  • this application optimizes the artifact correction method based on dual domain constraints. Compared with the traditional breathing artifact correction based on single domain, it has better effect, can effectively restore the image, and has better traceability and interpretability. .
  • this application can simultaneously generate more realistic artifacts than other artifact generation methods, further expand the data set, and improve the model generalization. transformation.
  • this method can also be used for CT image artifact correction after appropriate transformation.
  • This method is further optimized and can be applied to the joint tasks of MRI and CT reconstruction and artifact correction, using flow prior to build a data-driven joint model of image reconstruction and artifact correction.
  • this method can be used for MR image artifact generation.
  • an artifact correction device based on standardized flow including:
  • the bidirectional reversible mapping unit is used to use the standardized flow in the flow model to perform dual learning on the data in the image domain and the K-space domain, and construct a bidirectional reversible mapping between the data with artifacts and the data without artifacts;
  • An artifact correction unit is used to correct artifacts on MRI images using bidirectional reversible mapping.
  • this application will combine the image domain and K-space dual domain to provide more information, and propose a new standardized flow-based artifact correction device to target artifacts in the MRI imaging process. Effective correction is performed to reduce the impact of this unnecessary information on the radiologist's diagnosis and improve the imaging quality of MRI images.
  • This application uses paired data to construct a reversible mapping from an image with artifacts to an image without artifacts during artifact removal, and artifact removal is performed based on this mapping. Compared with traditional correction methods, due to the reversibility of the flow method, this invention has better interpretability. At the same time, combined with dual domain constraints, it can also have better artifact correction effects.
  • Flow model building unit learn data in the image domain and K-space domain to obtain different artifact types and different levels of flow models.
  • This application is a deep learning algorithm for paired training in the image domain and K-space domain, and corresponding data needs to be collected.
  • Bidirectional reversible mapping unit establishment of artifact and artifact-free reversible mapping
  • Step 2 use a series of reversible mappings Establish a mapping relationship that converts the original distribution (data x without artifacts) into a new distribution (data y with artifacts), as shown in Figure 1.
  • Figure 1 is a schematic diagram of the standardized flow of reversible mapping, from Z 0 to Z k generation process.
  • Step 3 Establish a mapping relationship between artifact-free and various degrees of artifacts.
  • a series of reversible mappings convert the original distribution into a new distribution. By optimizing this series of distributions, a simple Gaussian distribution can be converted into a complex real distribution. The purpose of the posterior distribution.
  • the two-way learning strategy based on dual domain data is shown in Figure 2.
  • Figure 2 is a schematic diagram of dual domain learning in the image domain and K-space domain.
  • This application can be considered as an artifact correction method based on the reversibility of the same mapping, or as an artifact generation method based on the reversibility of the same mapping.
  • this application optimizes the artifact correction method based on dual domain constraints. Compared with the traditional breathing artifact correction based on single domain, it has better effect, can effectively restore the image, and has better traceability and interpretability. .
  • this device can also be used for CT image artifact correction after appropriate transformation.
  • This device is further optimized and can be applied to the joint tasks of MRI and CT reconstruction and artifact correction, using flow priors to build a joint model of data-driven image reconstruction and artifact correction.
  • this device can be used for MR image artifact generation.
  • a storage medium that stores program files capable of implementing any of the above standardized flow-based artifact correction methods.
  • a processor is used to run a program, wherein when the program is running, it executes any one of the above standardized flow-based artifact correction methods.
  • the disclosed technical content can be implemented in other ways.
  • the system embodiments described above are only illustrative.
  • the division of units can be a logical function division. In actual implementation, there may be other division methods.
  • multiple units or components can be combined or integrated into Another system, or some features can be ignored, or not implemented.
  • the coupling or direct coupling or communication connection between each other shown or discussed may be through some interfaces, and the indirect coupling or communication connection of the units or modules may be in electrical or other forms.
  • Units described as separate components may or may not be physically separate, and components shown as units may or may not be physical units, that is, they may be located in one place, or they may be distributed over multiple units. Some or all of the units can be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional unit in each embodiment of the present application can be integrated into one processing unit, each unit can exist physically alone, or two or more units can be integrated into one unit.
  • the above integrated units can be implemented in the form of hardware or software functional units.
  • Integrated units may be stored in a computer-readable storage medium if they are implemented in the form of software functional units and sold or used as independent products.
  • the technical solution of the present application is essentially or contributes to the existing technology, or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium , including several instructions to cause a computer device (which can be a personal computer, a server or a network device, etc.) to execute all or part of the steps of the methods of various embodiments of the present application.
  • the aforementioned storage media include: U disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), mobile hard disk, magnetic disk or optical disk and other media that can store program code. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种基于标准化流的伪影矫正方法及装置，对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型；利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射；利用双向可逆映射对MRI图像进行伪影矫正。与传统的矫正方法相比，由于流方法的可逆性，基于标准化流的伪影矫正方法拥有更好的可解释性，同时结合对偶域约束，也能拥有更好的伪影矫正效果。

Description

一种基于标准化流的伪影矫正方法及装置 技术领域
本申请涉及磁共振成像领域，具体而言，涉及一种基于标准化流的伪影矫正方法及装置。
背景技术
核磁共振成像技术(Magnetic Resonance Imaging，MRI)在医学诊断领域一直得到了广泛的应用，但由于成像过程中对于成像环境的高要求，患者的呼吸和移动均会在影像中造成影响诊断的伪影。因此，对于伪影也成为了核磁共振影像的重要研究内容。现有研究主要分两个方向，一个基于图像域进行伪影去除，主要使用计算机视觉的方法，用神经网络学习有伪影和无伪影图像的残差来进行伪影去除。另一个基于K空间进行伪影去除，将伪影信息视为离群值进行处理。两条路线都有各自的不足，基于图像域的方法由于MRI图像的复杂性和特殊性，包括伪影类型的多样性，经常导致网络很难学到真正伪影的特征，从而导致伪影矫正结果不佳。基于K空间的方法由于很难拿到初始的原始数据(Raw data)，导致现有的研究乏善可陈。为了解决这一问题，基于对偶域的矫正方法是一个很不错的选择，结合图像域与K空间域的双域信息，结合核磁共振成像的物理方法，更能保证MRI图像质量，对于辅助医疗和诊断领域有非常重要的科学意义和应用前景。
同时核磁共振是一种近年得到广泛应用的一种医学成像技术，能够从人体分子内部反映出人体器官失常和早期病变，在很多地方优于X-ray和CT成像。相较于CT和X-ray，MRI能够提供更多人体器官的生理状态信息，能够进行 任意层面成像，磁共振成像还能通过测出原子的核弛豫时间T1和T2，能将人体组织有关化学结构的信息反映出来，对于软组织和灰质白质的定量分析更加准确。
在核磁共振检查过程中，如患者不屏住呼吸，则在K空间上对图像信息产生扰动，从而在图像域上产生伪影，影响医生诊断速度和准确度。MRI的伪影以呼吸伪影居多，图像表示为条纹状，伪影模糊程度与患者在检查过程中的呼吸强弱程度呈正相关。因此，对MRI图像上的伪影矫正是十分必要的。
标准化流(Normalizing flow)是近年提出的一种新式的生成模型，相比生成对抗网络(GAN)和变分自编码器(VAE)，它具有更好的可解释性和回溯性。流(Flow)指的是数据流经过一系列双射(可逆映射)，最终映射到合适的表征空间。标准化(normalizing)指的是表征空间的变量积分是1，使其满足概率分布函数的定义。此技术可简单描述为：从简单的概率分布来生产建立更为复杂、更有表达能力的概率分布。让初始的基本概率分布通过这一系列的映射变化，一步一步变成所需要的复杂分布。
Andreas Lugmayr等人在2020年提出了基于标准化流的超分重建方法(SRFlow)去学习一个从低分辨率图像到高分辨率图像的可逆变换，使得SRFlow能够从学习的复杂分布中生成多个不同分辨率的高质量图像，展示出更好的表示能力和可解释性。此外，由于SRFlow的变换是可逆的，它可以完成从高分辨率图像到低分辨率图像的下采样的任务。Muhammad Asim等人提出利用Flow先验替换GAN先验求解反问题的模型：
Figure PCTCN2022088186-appb-000001
其中A为度量矩阵，G(·)为Flow模型，p G是由G引导的关于x的似然函数，λ为超参数。Asim等人将此模型应用于求解压缩感知与图像去噪问题，取 得了不错的性能。
传统的伪影矫正方法是单独基于图像域或K空间域的信息进行伪影矫正的方法，有以下的缺点：
1.单独域(图像域或K空间域)相比双域而言，信息量相对较少。
2.方法对于已经训练过的伪影具有作用，对未知分布的伪影类型没有有效的去除。
3.基于图像域的方法对于较重伪影矫正效果不佳，同时在矫正过程中会将部分脂肪组织增强导致细节损失。
4.基于K空间的方法很难获取原始数据，缺乏足够的数据支持。
发明内容
本申请实施例提供了一种基于标准化流的伪影矫正方法及装置，以至少解决现有伪影矫正方法效果不佳的技术问题。
根据本申请的一实施例，提供了一种基于标准化流的伪影矫正方法，包括以下步骤：
对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型；
利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射；
利用双向可逆映射对MRI图像进行伪影矫正。
本申请实施例采取的技术方案还包括：对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型包括：
收集相对应的数据使用深度学习算法对图像域与K空间域进行成对训练。
本申请实施例采取的技术方案还包括：收集相对应的数据使用深度学习算 法对图像域与K空间域进行成对训练包括：
收集有伪影的图像域数据、有伪影的K空间域数据、无伪影的图像域数据、无伪影的K空间域数据的四组数据，并根据设备参数，由图像域数据经过逆傅里叶变换获得对应K空间数据。
本申请实施例采取的技术方案还包括：对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型还包括：
对伪影数据按着程度进行下一步的细分，分为轻、中、重度伪影数据；
建立图像域和K空间域上的无、轻、中、重度伪影数据集。
本申请实施例采取的技术方案还包括：利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射包括：
定义可微、可逆变换T：y＝f(x),
Figure PCTCN2022088186-appb-000002
为从一个基本分布p x(x)中采样u经过变换T得到一个随机变量：
Figure PCTCN2022088186-appb-000003
p y(y)＝p x(x)|detJ f(x)| -1＝p y(f -1(x))*|detJ f-1(x)|；
用一系列的可逆映射
Figure PCTCN2022088186-appb-000004
建立原始分布无伪影数据x转换成新的分布有伪影数据y的映射关系；
建立无伪影和各程度伪影的映射关系，一系列的可逆映射将原始分布转换成新的分布。
本申请实施例采取的技术方案还包括：利用双向可逆映射对MRI图像进行伪影矫正包括：
利用所学习的标准化流模型对MRI图像进行伪影矫正。
本申请实施例采取的技术方案还包括：对图像域与K空间域数据分别进行 相关域的伪影矫正，再进行矫正结果融合，如只有单独域的结果直接给出最后的矫正结果。
根据本申请的另一实施例，提供了一种基于标准化流的伪影矫正装置，包括：
流模型构建单元，用于对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型；
双向可逆映射单元，用于利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射；
伪影矫正单元，用于利用双向可逆映射对MRI图像进行伪影矫正。
一种存储介质，存储介质存储有能够实现上述任意一项基于标准化流的伪影矫正方法的程序文件。
一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的基于标准化流的伪影矫正方法。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例中的基于标准化流的伪影矫正方法及装置，对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型；利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射；利用双向可逆映射对MRI图像进行伪影矫正。与传统的矫正方法相比，由于流方法的可逆性，该发明拥有更好的可解释性，同时结合对偶域约束，也能拥有更好的伪影矫正效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分， 本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例基于标准化流的伪影矫正方法中可逆映射的标准化流示意图；
图2为本申请实施例基于标准化流的伪影矫正方法中图像域与K空间域的对偶学习示意图；
图3为本申请实施例基于标准化流的伪影矫正方法中整个伪影矫正的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本申请一实施例，提供了一种基于标准化流的伪影矫正方法，包括以下步骤：
对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型；
利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射；
利用双向可逆映射对MRI图像进行伪影矫正。
本申请实施例中的基于标准化流的伪影矫正方法，对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型；利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射；利用双向可逆映射对MRI图像进行伪影矫正。与传统的矫正方法相比，由于流方法的可逆性，该发明拥有更好的可解释性，同时结合对偶域约束，也能拥有更好的伪影矫正效果。
其中，对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型包括：
收集相对应的数据使用深度学习算法对图像域与K空间域进行成对训练。
其中，收集相对应的数据使用深度学习算法对图像域与K空间域进行成对训练包括：
收集有伪影的图像域数据、有伪影的K空间域数据、无伪影的图像域数据、无伪影的K空间域数据的四组数据，并根据设备参数，由图像域数据经过逆傅里叶变换获得对应K空间数据。
其中，对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型还包括：
对伪影数据按着程度进行下一步的细分，分为轻、中、重度伪影数据；
建立图像域和K空间域上的无、轻、中、重度伪影数据集。
其中，利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射包括：
定义可微、可逆变换T：y＝f(x),
Figure PCTCN2022088186-appb-000005
为从一个基本分布p x(x)中采样u经过变换T得到一个随机变量：
Figure PCTCN2022088186-appb-000006
p y(y)＝p x(x)|detJ f(x)| -1＝p y(f -1(x))*|detJ f-1(x)|；
用一系列的可逆映射
Figure PCTCN2022088186-appb-000007
建立原始分布无伪影数据x转换成新的分布有伪影数据y的映射关系；
建立无伪影和各程度伪影的映射关系，一系列的可逆映射将原始分布转换成新的分布。
其中，利用双向可逆映射对MRI图像进行伪影矫正包括：
利用所学习的标准化流模型对MRI图像进行伪影矫正。
其中，对图像域与K空间域数据分别进行相关域的伪影矫正，再进行矫正结果融合，如只有单独域的结果直接给出最后的矫正结果。
下面以具体实施例，对本申请的基于标准化流的伪影矫正方法进行详细说明：
为了解决MRI成像图像质量的技术问题，本申请将结合图像域与K空间双域提供更多的信息量，提出一种新的基于标准化流的伪影矫正方法，针对MRI成像过程中的伪影进行有效的矫正，减少这种不必要的信息对放射科医生进行诊断的影响，提供MRI图像的成像质量。本申请在伪影去除时使用成对数据构建由有伪影图像到无伪影图像的可逆映射，基于此映射进行伪影去除。 与传统的矫正方法相比，由于流方法的可逆性，该发明拥有更好的可解释性，同时结合对偶域约束，也能拥有更好的伪影矫正效果。
本申请结合已有研究，首先，利用标准化流对于图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射。其次，进一步学习不同的伪影类型和不同等级的流模型。最后，实现MRI图像的伪影矫正，相比之前已有方法，矫正结果更好，可解释性更强，泛化性更佳。
为实现上述目的，本申请的具体实现方法如下：
一.数据集
本申请是对图像域与K空间域进行成对训练的深度学习算法，需收集相对应的数据。
首先，需收集1)有伪影的图像域数据、2)有伪影的K空间域数据、3)无伪影的图像域数据、4)无伪影的K空间域数据的四组数据。不要求1)与2)的数据和3)与4)的数据必须一一对应，成对的数据存在，可根据设备参数，由图像域数据经过逆傅里叶变换获得对应K空间数据。
其次，对伪影数据可进行下一步的细分，按着程度进行划分，分为轻、中、重度伪影数据。
最后，建立图像域和K空间域上的无、轻、中、重度伪影数据集。
二.伪影与无伪影的可逆映射建立
步骤一，定义可微、可逆变换T：y＝f(x),
Figure PCTCN2022088186-appb-000008
为从一个基本分布p x(x)中采样u经过变换T得到一个随机变量：
Figure PCTCN2022088186-appb-000009
那么p y(y)＝p x(x)|detJ f(x)| -1＝p y(f -1(x))*|detJ f-1(x)|；
步骤二，用一系列的可逆映射
Figure PCTCN2022088186-appb-000010
建 立原始分布(无伪影数据x)转换成新的分布(有伪影数据y)的映射关系，具体如图1所示，图1为可逆映射的标准化流示意图，由Z 0到Z k的生成过程。
步骤三、建立无伪影和各程度伪影的映射关系，一系列的可逆映射将原始分布转换成新的分布，通过优化这一系列分布，即可实现将简单的高斯分布转换为复杂的真实后验分布的目的。基于对偶域数据的双向学习策略，如图2所示，图2为图像域与K空间域的对偶学习示意图。
步骤四、利用所学习的标准化流模型用于MRI伪影矫正，如有图像域与K空间域数据，分别进行相关域的伪影矫正，再进行矫正结果融合，如只有单独域的结果直接给出最后的矫正结果，整个流程如图3所示，图3为整个伪影矫正的流程图。
本申请方法的关键点和欲保护点至少在于：
1.基于标准化流，建立无伪影至轻度、中度、重度伪影数据之间的可逆映射关系，实现各种数据之间的自由转换。
2.利用图像域与K空间域对偶域的信息进行伪影矫正，并实现最后矫正图像的质量增强。
3.本申请可认为是基于同一映射可逆性的伪影矫正方法，也可以认为是基于同一映射可逆性的伪影生成方法。
本申请方法和现有的呼吸伪影矫正方法，其优点体现在：
首先，本申请基于对偶域约束对伪影矫正方法进行优化，相比于传统的基于单域的呼吸伪影矫正效果更好，能有效的复原图像，也拥有更好的回溯性和可解释性。
其次，基于标准化流的可逆性，相比于其他单纯进行伪影矫正的方法，本申请能够同时产生相比于其他伪影生成方法更逼真的伪影，能够进一步的扩充 数据集，提高模型泛化性。
最后，图像域与K空间域的对偶域同时优化，能够提供比单一域更加丰富的细节信息，减少伪影矫正后的图像的细节丢失。
本申请方法的变更设计或替代方案为：
本方法除用于MRI伪影矫正外，经过适当变换也可以用于CT图像伪影矫正。
本方法进一步优化，可以应用于MRI与CT重建与伪影矫正的联合任务，利用流先验构建数据驱动的图像重建和伪影矫正的联合模型。
基于流模型的可逆性，本方法可用于MR图像伪影产生。
实施例2
根据本申请的另一实施例，提供了一种基于标准化流的伪影矫正装置，包括：
流模型构建单元，用于对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型；
双向可逆映射单元，用于利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射；
伪影矫正单元，用于利用双向可逆映射对MRI图像进行伪影矫正。
本申请实施例中的基于标准化流的伪影矫正装置，对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型；利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射；利用双向可逆映射对MRI图像进行伪影矫正。与传统的矫正方法相比，由于流方法的可逆性，该发明拥有更好的可解释性，同时结合对偶域约束，也能拥有更好的伪影矫正效果。
下面以具体实施例，对本申请的基于标准化流的伪影矫正装置进行详细说明：
为了解决MRI成像图像质量的技术问题，本申请将结合图像域与K空间双域提供更多的信息量，提出一种新的基于标准化流的伪影矫正装置，针对MRI成像过程中的伪影进行有效的矫正，减少这种不必要的信息对放射科医生进行诊断的影响，提供MRI图像的成像质量。本申请在伪影去除时使用成对数据构建由有伪影图像到无伪影图像的可逆映射，基于此映射进行伪影去除。与传统的矫正方法相比，由于流方法的可逆性，该发明拥有更好的可解释性，同时结合对偶域约束，也能拥有更好的伪影矫正效果。
本申请结合已有研究，首先，利用标准化流对于图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射。其次，进一步学习不同的伪影类型和不同等级的流模型。最后，实现MRI图像的伪影矫正，相比之前已有方法，矫正结果更好，可解释性更强，泛化性更佳。
为实现上述目的，本申请的具体实现方法如下：
一.流模型构建单元：对图像域与K空间域中的数据进行学习，获得不同的伪影类型和不同等级的流模型。
本申请是对图像域与K空间域进行成对训练的深度学习算法，需收集相对应的数据。
首先，需收集1)有伪影的图像域数据、2)有伪影的K空间域数据、3)无伪影的图像域数据、4)无伪影的K空间域数据的四组数据。不要求1)与2)的数据和3)与4)的数据必须一一对应，成对的数据存在，可根据设备参数，由图像域数据经过逆傅里叶变换获得对应K空间数据。
其次，对伪影数据可进行下一步的细分，按着程度进行划分，分为轻、中、 重度伪影数据。
最后，建立图像域和K空间域上的无、轻、中、重度伪影数据集。
二.双向可逆映射单元：伪影与无伪影的可逆映射建立
步骤一，定义可微、可逆变换T：y＝f(x),
Figure PCTCN2022088186-appb-000011
为从一个基本分布p x(x)中采样u经过变换T得到一个随机变量：
Figure PCTCN2022088186-appb-000012
那么p y(y)＝p x(x)|detJ f(x)| -1＝p y(f -1(x))*|detJ f-1(x)|；
步骤二，用一系列的可逆映射
Figure PCTCN2022088186-appb-000013
建立原始分布(无伪影数据x)转换成新的分布(有伪影数据y)的映射关系，具体如图1所示，图1为可逆映射的标准化流示意图，由Z 0到Z k的生成过程。
步骤三、建立无伪影和各程度伪影的映射关系，一系列的可逆映射将原始分布转换成新的分布，通过优化这一系列分布，即可实现将简单的高斯分布转换为复杂的真实后验分布的目的。基于对偶域数据的双向学习策略，如图2所示，图2为图像域与K空间域的对偶域学习示意图。
步骤四、伪影矫正单元：利用所学习的标准化流模型用于MRI伪影矫正，如有图像域与K空间域数据，分别进行相关域的伪影矫正，再进行矫正结果融合，如只有单独域的结果直接给出最后的矫正结果，整个流程如图3所示，图3为整个伪影矫正的流程图。
本申请装置的关键点和欲保护点至少在于：
1.基于标准化流，建立无伪影至轻度、中度、重度伪影数据之间的可逆映射关系，实现各种数据之间的自由转换。
2.利用图像域与K空间域对偶域的信息进行伪影矫正，并实现最后矫正图像的质量增强。
3.本申请可认为是基于同一映射可逆性的伪影矫正方法，也可以认为是基于同一映射可逆性的伪影生成方法。
本申请装置和现有的呼吸伪影矫正方法，其优点体现在：
首先，本申请基于对偶域约束对伪影矫正方法进行优化，相比于传统的基于单域的呼吸伪影矫正效果更好，能有效的复原图像，也拥有更好的回溯性和可解释性。
其次，基于标准化流的可逆性，相比于其他单纯进行伪影矫正的方法，本申请能够同时产生相比于其他伪影生成方法更逼真的伪影，能够进一步的扩充数据集，提高模型泛化性。
最后，图像域与K空间域的对偶域同时优化，能够提供比单一域更加丰富的细节信息，减少伪影矫正后的图像的细节丢失。
本申请装置的变更设计或替代方案为：
本装置除用于MRI伪影矫正外，经过适当变换也可以用于CT图像伪影矫正。
本装置进一步优化，可以应用于MRI与CT重建与伪影矫正的联合任务，利用流先验构建数据驱动的图像重建和伪影矫正的联合模型。
基于流模型的可逆性，本装置可用于MR图像伪影产生。
实施例3
一种存储介质，存储介质存储有能够实现上述任意一项基于标准化流的伪影矫正方法的程序文件。
实施例4
一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的基于标准化流的伪影矫正方法。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网 络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

  1. 一种基于标准化流的伪影矫正方法，其特征在于，包括以下步骤：
    对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型；
    利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射；
    利用双向可逆映射对MRI图像进行伪影矫正。
  2. 根据权利要求1所述的基于标准化流的伪影矫正方法，其特征在于，所述对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型包括：
    收集相对应的数据使用深度学习算法对图像域与K空间域进行成对训练。
  3. 根据权利要求2所述的基于标准化流的伪影矫正方法，其特征在于，所述收集相对应的数据使用深度学习算法对图像域与K空间域进行成对训练包括：
    收集有伪影的图像域数据、有伪影的K空间域数据、无伪影的图像域数据、无伪影的K空间域数据的四组数据，并根据设备参数，由图像域数据经过逆傅里叶变换获得对应K空间数据。
  4. 根据权利要求2所述的基于标准化流的伪影矫正方法，其特征在于，所述对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型还包括：
    对伪影数据按着程度进行下一步的细分，分为轻、中、重度伪影数据；
    建立图像域和K空间域上的无、轻、中、重度伪影数据集。
  5. 根据权利要求1所述的基于标准化流的伪影矫正方法，其特征在于，所述利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射包括：
    定义可微、可逆变换T：
    Figure PCTCN2022088186-appb-100001
    为从一个基本分布p x(x)中采样 u经过变换T得到一个随机变量：
    Figure PCTCN2022088186-appb-100002
    Figure PCTCN2022088186-appb-100003
    用一系列的可逆映射
    Figure PCTCN2022088186-appb-100004
    建立原始分布无伪影数据x转换成新的分布有伪影数据y的映射关系；
    建立无伪影和各程度伪影的映射关系，一系列的可逆映射将原始分布转换成新的分布。
  6. 根据权利要求1所述的基于标准化流的伪影矫正方法，其特征在于，所述利用双向可逆映射对MRI图像进行伪影矫正包括：
    利用所学习的标准化流模型对MRI图像进行伪影矫正。
  7. 根据权利要求6所述的基于标准化流的伪影矫正方法，其特征在于，对图像域与K空间域数据分别进行相关域的伪影矫正，再进行矫正结果融合，如只有单独域的结果直接给出最后的矫正结果。
  8. 一种基于标准化流的伪影矫正装置，其特征在于，包括：
    流模型构建单元，用于对图像域与K空间域中的数据学习不同的伪影类型和不同等级的流模型；
    双向可逆映射单元，用于利用流模型中的标准化流对图像域与K空间域中的数据进行对偶学习，构建有伪影数据和无伪影数据之间的双向可逆映射；
    伪影矫正单元，用于利用双向可逆映射对MRI图像进行伪影矫正。
  9. 一种存储介质，其特征在于，所述存储介质存储有能够实现权利要求1至7中任意一项所述基于标准化流的伪影矫正方法的程序文件。
  10. 一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的基于标准化流的伪影矫正方法。
PCT/CN2022/088186 2022-04-21 2022-04-21 一种基于标准化流的伪影矫正方法及装置 Ceased WO2023201625A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/088186 WO2023201625A1 (zh) 2022-04-21 2022-04-21 一种基于标准化流的伪影矫正方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/088186 WO2023201625A1 (zh) 2022-04-21 2022-04-21 一种基于标准化流的伪影矫正方法及装置

Publications (1)

Publication Number Publication Date
WO2023201625A1 true WO2023201625A1 (zh) 2023-10-26

Family

ID=88418815

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/088186 Ceased WO2023201625A1 (zh) 2022-04-21 2022-04-21 一种基于标准化流的伪影矫正方法及装置

Country Status (1)

Country Link
WO (1) WO2023201625A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015164825A1 (en) * 2014-04-24 2015-10-29 Chun Yuan Dual space dictionary learning for magnetic resonance (mr) image reconstruction
CN105654527A (zh) * 2015-12-31 2016-06-08 中国科学院深圳先进技术研究院 一种基于结构化字典学习的磁共振成像重建方法和装置
CN108814603A (zh) * 2018-05-10 2018-11-16 上海东软医疗科技有限公司 一种磁共振成像方法和装置
CN109557489A (zh) * 2019-01-08 2019-04-02 上海东软医疗科技有限公司 一种磁共振成像方法和装置
US20220051454A1 (en) * 2020-08-11 2022-02-17 Siemens Healthcare Gmbh Magnetic resonance imaging reconstruction using machine learning
CN114299185A (zh) * 2021-12-31 2022-04-08 清华大学 磁共振图像生成方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015164825A1 (en) * 2014-04-24 2015-10-29 Chun Yuan Dual space dictionary learning for magnetic resonance (mr) image reconstruction
CN105654527A (zh) * 2015-12-31 2016-06-08 中国科学院深圳先进技术研究院 一种基于结构化字典学习的磁共振成像重建方法和装置
CN108814603A (zh) * 2018-05-10 2018-11-16 上海东软医疗科技有限公司 一种磁共振成像方法和装置
CN109557489A (zh) * 2019-01-08 2019-04-02 上海东软医疗科技有限公司 一种磁共振成像方法和装置
US20220051454A1 (en) * 2020-08-11 2022-02-17 Siemens Healthcare Gmbh Magnetic resonance imaging reconstruction using machine learning
CN114299185A (zh) * 2021-12-31 2022-04-08 清华大学 磁共振图像生成方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN107492071B (zh) 医学图像处理方法及设备
CN115760586A (zh) 一种基于多尺度注意力生成对抗网络的医学图像增强方法
CN114782576B (zh) 一种基于标准化流的伪影矫正方法及装置
Wang et al. A self-supervised guided knowledge distillation framework for unpaired low-dose CT image denoising
Luo et al. Target-guided diffusion models for unpaired cross-modality medical image translation
CN112017136B (zh) 一种基于深度学习的肺部ct图像参数重建方法、系统、终端及存储介质
CN111899165A (zh) 一种基于功能模块的多任务图像重建卷积网络模型
CN114170118B (zh) 基于由粗到精学习的半监督多模态核磁共振影像合成方法
CN115330600B (zh) 一种基于改进srgan的肺部ct图像超分辨率方法
Zhang et al. Adaptive dual-axis style-based recalibration network with class-wise statistics loss for imbalanced medical image classification
WO2024245469A1 (zh) 软组织的三维重建方法及系统
Chan et al. An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction
Morís et al. Unsupervised contrastive unpaired image generation approach for improving tuberculosis screening using chest X-ray images
Zhao et al. Perception-oriented generative adversarial network for retinal fundus image super-resolution
CN117974468A (zh) 一种全局与局部特征交互并行的多模态医学图像融合方法
Zhao et al. Medical images super resolution reconstruction based on residual network
CN111798535A (zh) Ct图像增强显示方法及计算机可读存储介质
WO2024113395A1 (zh) 一种快速磁共振成像方法及装置
CN118172525A (zh) 一种用于改善颅内出血诊断的成对医学图像增强方法
CN115661171A (zh) 一种基于改进U-net的颈椎黄韧带增厚的图像分割方法
Zhang et al. Structure and intensity unbiased translation for 2d medical image segmentation
CN114549837A (zh) 血管医学图像分割方法、装置和设备
CN119027332A (zh) 一种针对低质量眼底图像增强的金字塔条件归一化流方法
Liu et al. Dual stage MRI image restoration based on blind spot denoising and hybrid attention
Sun et al. DIRECTION: Deep cascaded reconstruction residual-based feature modulation network for fast MRI reconstruction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22937862

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22937862

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 22937862

Country of ref document: EP

Kind code of ref document: A1