WO2020134769A1 - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质，其中方法包括：获取待配准图像和用于配准的参考图像；将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失；基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。

Description

图像处理方法、装置、电子设备及计算机可读存储介质

本公开要求在2018年12月27日提交中国专利局、申请号为201811614468.4、申请名称为“图像处理方法、装置、电子设备及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。

技术领域

本发明涉及计算机视觉技术领域，具体涉及图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术

图像配准是将不同的获取时间、不同传感器、不同条件下的同一场景或者同一目标的两幅或者多幅图像进行配准的过程，被广泛应用于医学图像处理过程中。医学图像配准是医学图像处理领域中一项重要技术，对临床诊断和治疗起着越来越重要的作用。

发明内容

本申请实施例提供了图像处理方法、装置、电子设备及计算机可读存储介质。

本申请实施例第一方面提供一种图像处理方法，包括：

获取待配准图像和用于配准的参考图像；

将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失；

基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果。

在一种可选的实施方式中，所述获取待配准图像和用于配准的参考图像之前，所述方法还包括：

获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的待配准图像和参考图像。

在一种可选的实施方式中，所述对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像包括：

将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；

将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。

在一种可选的实施方式中，所述预设神经网络模型的训练过程包括：

获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场；

基于所述形变场将所述预设待配准图像向所述预设参考图像配准，获得配准后图像；

获得所述配准后图像和所述预设参考图像的相关系数损失；

基于所述相关系数损失对所述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。

在一种可选的实施方式中，所述获取所述预设待配准图像和所述预设参考图像之后，所述方法还包括：

对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；

所述将所述预设待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场包括：

将所述满足预设训练参数的预设待配准图像和预设参考图像输入所述预设神经网络模型生成形变场。

在一种可选的实施方式中，所述方法还包括：

将所述预设待配准图像的尺寸和所述预设参考图像的尺寸转换为预设图像尺寸；

所述对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像包括：

根据目标窗宽对所述转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。

在一种可选的实施方式中，所述根据目标窗宽对所述转换后的预设待配准图像和预设参考图像进行处理之前，所述方法还包括：

获取所述预设待配准图像的目标类别标签，根据预设类别标签与预设窗宽的对应关系，确定所述目标类别标签对应的所述目标窗宽。

在一种可选的实施方式中，所述方法还包括：

基于预设优化器对所述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。

本申请实施例第二方面提供一种图像处理装置，包括：获取模块和配准模块，其中：

所述获取模块，用于获取待配准图像和用于配准的参考图像；

所述配准模块，用于将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失；

所述配准模块，还用于基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果。

在一种可选的实施方式中，所述图像处理装置还包括：

预处理模块，用于获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像。

在一种可选的实施方式中，所述预处理模块具体用于：

将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；

将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。

在一种可选的实施方式中，所述配准模块包括配准单元和更新单元，其中：

所述配准单元用于，获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场；

所述配准单元还用于，基于所述形变场将所述预设待配准图像向所述预设参考图像配准，获得配准后图像；

所述更新单元用于，获得所述配准后图像和所述预设参考图像的相关系数损失；以及用于基于所述相关系数损失对所述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。

在一种可选的实施方式中，所述预处理模块还用于：

对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；

所述配准单元具体用于，将所述满足预设训练参数的预设待配准图像和预设参考图像输入所述预设神经网络模型生成形变场。

在一种可选的实施方式中，所述预处理模块具体用于：

将所述预设待配准图像的尺寸和所述预设参考图像的尺寸转换为预设图像尺寸；

根据目标窗宽对所述转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。

在一种可选的实施方式中，所述预处理模块还具体用于：

在所述根据预设窗宽对所述转换后的预设待配准图像和预设参考图像进行处理之前，获取所述预设待配准图像的目标类别标签，根据预设类别标签与预设窗宽的对应关系，确定所述目标类别标签对应的所述目标窗宽。

在一种可选的实施方式中，所述更新单元还用于：

基于预设优化器对所述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。

本申请实施例第三方面提供一种电子设备，包括处理器以及存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

本申请实施例第五方面提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行用于实现如上所述的方法。

本申请实施例通过获取待配准图像和用于配准的参考图像，将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失，基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本申请实施例公开的一种图像处理方法的流程示意图；

图2是本申请实施例公开的一种预设神经网络模型训练方法的流程示意图；

图3是本申请实施例公开的一种图像处理装置的结构示意图；

图4是本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有 作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的图像处理装置可以允许多个其他终端设备进行访问。上述图像处理装置可以为电子设备，包括终端设备，具体实现中，上述终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

本申请实施例中的深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素点强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

下面对本申请实施例进行详细介绍。

请参阅图1，图1是本申请实施例公开的一种图像处理的流程示意图，如图1所示，该图像处理方法可以由上述图像处理装置执行，包括如下步骤：

101、获取待配准图像和用于配准的参考图像。

图像配准是将不同的获取时间、不同传感器、不同条件下的同一场景或者同一目标的两幅或者多幅图像进行配准的过程，被广泛应用于医学图像处理过程中。医学图像配准是医学 图像处理领域中一项重要技术，对临床诊断和治疗起着越来越重要的作用。现代医学通常需要将多个模态或者多个时间点获得的医学图像进行综合分析，那么在进行分析之前就需要将几副图像进行配准工作。

本申请实施例中提到的待配准图像(moving)和用于配准的参考图像(fixed)均可以为通过各种医学图像设备获得的医学图像，尤其可以是可形变的器官的图像，比如肺部CT，其中待配准图像和用于配准的参考图像一般为同一器官在不同时间点或不同条件下采集的图像，经过配准后可以获得配准结果图像(moved)。

由于需要进行配准的医学图像可能具有多样性，在图像中可以体现为图像灰度值、图像尺寸等特征的多样性。可选的，在步骤101之前，可以获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的待配准图像和参考图像。

上述目标参数可以理解为描述图像特征的参数，即用于使上述原始图像数据呈统一风格的规定参数。例如，上述目标参数可以包括：用于描述图像分辨率、图像灰度、图像大小等特征的参数。

上述原始待配准图像可以为通过各种医学图像设备获得的医学图像，尤其可以是可形变的器官的图像，具有多样性，在图像中可以体现为图像灰度值、图像尺寸等特征的多样性。在进行配准前可以对原始待配准图像和原始参考图像做一些基本的预处理，也可以仅对上述原始待配准图像进行预处理。其中可以包括上述图像归一化处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。

本申请实施例中的图像归一化是指对图像进行一系列标准的处理变换，使之变换为一固定标准形式的过程，该标准图像称作归一化图像。图像归一化可以利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，将待处理的原始图像转换成相应的唯一标准形式，该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性。因此，通过上述图像归一化处理可以获得统一风格的图像，提高后续处理的稳定性和准确度。

可选的，上述待配准图像和参考图像也可以是通过算法提取出的掩膜(mask)或者特征点。其中掩膜可以理解为一种图像滤镜的模板，图像掩膜可以理解为用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。数字图像处理中掩模一般为二维矩阵数组，有时也用多值图像，可以用于结构特征提取。

在提取特征或mask后，可以减少图像处理中的干扰，使得配准结果更准确。

具体的，可以将上述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；

将上述原始参考图像转换为上述预设灰度值范围内和上述预设图像尺寸的参考图像。

本申请实施例中的图像处理装置可以存储有上述预设灰度值范围和上述预设图像尺寸。可以通过simple ITK软件做重采样(resample)的操作来使得上述待配准图像和上述参考图像的位置和分辨率基本保持一致。ITK是一个开源的跨平台系统，为开发人员提供了一整套用于图像分析的软件工具。

上述预设图像尺寸可以为长宽高：416 x 416 x 80，可以通过剪切或者填充(补零)的操作来使得上述待配准图像和上述参考图像的图像尺寸一致为416 x 416 x 80。

通过对原始图像数据进行预处理，可以降低其多样性，神经网络模型能够给出更稳定的判断。

对于在不同时间或/和不同条件下获取的两幅医学图像1和2配准，就是寻找一个映射关系P，使图像1上的每一个点在图像2上都有唯一的点与之相对应。并且这两点应对应同一解剖位置。映射关系P表现为一组连续的空间变换。常用的空间几何变换有刚体变换(Rigid body transformation)、仿射变换(Affine transformation)、投影变换(Projective transformation)和非线性变换(Nonlinear transformation)。

其中，刚性变换是指物体内部任意两点间的距离及平行关系保持不变。仿射变换是一种最为简单的非刚性变换，它一种保持平行性，但不保角的、距离发生变化的变换。而在许多重要的临床应用中，就经常需要应用可形变的图像配准方法，比如在研究腹部以及胸部脏器的图像配准时，由于生理运动或者患者移动造成内部器官和组织的位置、尺寸和形态发生改变，就需要可形变变换来补偿图像变形。

在本申请实施例中，上述预处理还可以包括上述刚性变换，即先进行图像的刚性变换，在根据本申请实施例中的方法实现上图像配准。

在图像处理领域，只有物体的位置(平移变换)和朝向(旋转变换)发生改变，而形状不变，得到的变换称为上述刚性变换。

102、将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失。

本申请实施例中，图像处理装置中可以存储有上述预设神经网络模型，该预设神经网络模型可以预先训练获得。

上述预设神经网络模型可以是基于相关系数损失进行训练获得，具体可以基于预设待配 准图像和预设参考图像的相关系数损失作为衡量相似度的目标函数进行训练获得。

本申请实施例中提到的相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母r表示。由于研究对象的不同，相关系数有多种定义方式，较为常用的是皮尔逊相关系数。

一般相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。需要说明的是，皮尔逊相关系数并不是唯一的相关系数，但是为常见的相关系数，本申请实施例中的相关系数可以为皮尔逊相关系数。

具体的，在预设神经网络模型中可以通过特征提取配准后图像和预设参考图像的特征图，利用特征图之间的互相关系数，得到上述相关系数损失。

上述相关系数损失的可以基于以下公式(1)获得：

其中，F可以表示上述预设参考图像，M(φ)可以表示上述配准后图像。φ可以表示神经网络代表的非线性关系。加上三角符号的

分别表示配准后图像的均值和预设参考图像的参数均值。比如

表示预设参考图像的参数均值，那么上述减法

则可以理解为上述预设参考图像的每个像素值减掉参数均值，以此类推。

上述预设神经网络模型的训练过程可以包括：

获取上述预设待配准图像和上述预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场；

基于上述形变场将上述预设待配准图像向上述预设参考图像配准，获得配准后图像；

获得上述配准后图像和上述预设参考图像的相关系数损失；

基于上述相关系数损失对上述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。

具体的，上述形变场生使用的损失函数可以包括L2损失函数，使预设神经网络模型学习到合适的形变场使moved图像和fixed图像更相似。

103、基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果。

图像配准一般是首先对两幅图像进行特征提取得到特征点；再通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。

本申请实施例中的预设神经网络模型的卷积层可以为3D卷积，通过上述预设神经网络模型生成形变场(deformable field)，然后通过3D的空间转换层将需要形变的待配准图像进行可形变的变换，获得配准后的上述配准结果，即包括生成的配准结果图像(moved)。

其中，上述预设神经网络模型中，使用L2损失和相关系数作为损失函数，可以在使上述形变场平滑的同时达到先进的配准精度。

现有的方法是利用有监督深度学习来做配准，基本没有金标准，必须利用的、传统配准方法来获得标记，处理时间较长，且限制了配准精度。并且利用传统方法做配准需要计算每个像素点的变换关系，计算量巨大，消耗时间也很大。

根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。本申请实施例使用基于无监督深度学习的神经网络来进行图像配准，可用于任何会发生形变的脏器的配准中。本申请实施例可以利用GPU执行上述方法在几秒内得到配准结果，更加高效。

本申请实施例通过获取待配准图像和用于配准的参考图像，将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失，基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。

请参阅图2，图2是本申请实施例公开的另一种图像处理方法的流程示意图，具体为一种预设神经网络的训练方法的流程示意图，图2是在图1的基础上进一步优化得到的。执行本申请实施例步骤的主体可以为一种图像处理装置，可以是与图1所示实施例的方法中相同或者不同的图像处理装置。如图2所示，该图像处理方法包括如下步骤：

201、获取预设待配准图像和预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场。

其中，与图1所示实施例中类似的，上述预设待配准图像(moving)和上述预设参考图像(fixed)，均可以为通过各种医学图像设备获得的医学图像，尤其可以是可形变的器官的图像，比如肺部CT，其中待配准图像和用于配准的参考图像一般为同一器官在不同时间点或不同条件下采集的图像。“预设”一词是为了区别于图1所示实施例中的待配准图像和参考图像区别，这里的预设待配准图像和预设参考图像主要作为该预设神经网络模型的输入，用 于进行该预设神经网络模型的训练。

由于需要进行配准的医学图像可能具有多样性，在图像中可以体现为图像灰度值、图像尺寸等特征的多样性。可选的，上述获取上述预设待配准图像和上述预设参考图像之后，上述方法也可以包括：

对上述预设待配准图像和上述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；

其中，上述将上述预设待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场包括：

将上述满足预设训练参数的预设待配准图像和预设参考图像输入上述预设神经网络模型生成形变场。

上述预设训练参数可以包括预设灰度值范围和预设图像尺寸(如416 x 416 x 80)。上述图像归一化处理的过程可以参考图1所示实施例的步骤101中的具体描述。可选的，首先在配准前进行的预处理可以包括刚体变换。具体可以通过simple ITK软件做重采样的操作来使得预设待配准图像和预设参考图像的位置和分辨率基本保持一致。为了后续训练过程的方便操作，可以对图像进行预定大小的裁剪或者填充。假设预先设定的输入图像的图像尺寸长宽高为416 x 416 x 80，就需要通过剪切或者填充(补零)的操作来使得预设待配准图像和预设参考图像的图像尺寸一致为416 x 416 x 80。

可选的，可以根据目标窗宽对上述转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。

因为不同的器官组织在CT上的表现是不一样的，也就是对应的灰度级别可能不同。所谓的窗宽(windowing)就是指用韩森费尔德(发明者)单位(Hounsfield Unit，HU)所得的数据来计算出影像的过程，不同的放射强度(Raiodensity)对应到256种不同程度的灰阶值，这些不同的灰阶值可以依CT值的不同范围来重新定义衰减值，假设CT范围的中心值不变，定义的范围一变窄后，我们称为窄窗位(Narrow Window)，比较细部的小变化就可以分辨出来了，在影像处理的观念上称为对比压缩。

为了肺部CT中的重要信息，可以预先设置目标窗宽，比如通过目标窗宽为[-1200，600]对预设待配准图像和预设参考图像归一化到[0，1]，即对于原图像中大于600的设为1，小于-1200的设为0。

本申请实施例中不同组织在CT上可以设置公认的窗宽、窗位，是为了更好地提取重要的信息。这里的[-1200，600]的具体值-1200，600代表的是窗位，范围大小为1800，即窗宽。 上述图像归一化处理是为了方便后续的损失计算不造成梯度爆炸。

本申请实施例提出一种归一化层来提升训练的稳定性和收敛性。可以假设特征图大小为N x C x D x H x W，其中N指的是batch size：每批数据量的大小，C是通道数，D是深度，H和W分别为特征图的高和宽；可选的，上述H、W、D也可以分别为表示特征图的长、宽、高的参数，在不同的应用中可以是其他图像参数来描述特征图。本申请实施例可以通过计算C x D x H x W的最小值和最大值，来对每个图像数据做归一化处理操作。

可选的，上述根据预设窗宽对上述转换后的预设待配准图像和预设参考图像进行处理之前，上述方法还包括：

获取上述预设待配准图像的目标类别标签，根据预设类别标签与预设窗宽的对应关系，确定上述目标类别标签对应的上述目标窗宽。

具体的，图像处理装置可以存储有至少一个预设窗宽和至少一个预设类别标签，以及存储有上述预设类别标签与预设窗宽的对应关系，输入的预设待配准图像可以携带目标类别标签，或者用户可以通过操作图像处理装置选取该预设待配准图像的目标类别标签，图像处理装置可以在上述预设类别标签中查找到上述目标类别标签，根据上述预设类别标签与预设窗宽的对应关系，在上述预设窗宽中确定上述目标类别标签对应的目标窗宽，再根据该目标窗宽对上述转换后的预设待配准图像和预设参考图像进行处理。

通过上述步骤，图像处理装置可以快速灵活地选取不同的预设待配准图像处理使用的窗宽，便于进行后续的配准处理。

202、基于上述形变场将上述预设待配准图像向上述预设参考图像配准，获得配准后图像。

其中，由于L2具有光滑的性质，对于形变场的梯度可以使用L2损失函数。

将预处理过后的预设待配准图像和预设参考图像输入到待训练的神经网络中生成形变场(deformable field)，再基于上述形变场和上述预设待配准图像向上述预设参考图像配准，即利用该形变场和预设参考图像生成形变后的配准结果图像(moved)。

上述配准后图像即为预设待配准图像经过预设神经网络模型向预设参考图像初步配准后的中间图像，这个过程可以理解为多次执行，即可以重复执行步骤202和步骤203以不断训练和优化该预设神经网络模型。

203、获得上述配准后图像和上述预设参考图像的相关系数损失，基于上述相关系数损失对上述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。

本申请实施例中，通过相关系数损失作为配准后的图像和参考图像的相似度评估标准， 即可以重复执行步骤202和步骤203，不断对上述预设神经网络模型的参数进行更新，来指导完成网络的训练。

可选的，可以基于预设优化器对所述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。

上述更新时涉及的预设阈值次数，指的是神经网络训练中的时期(epoch)。一个时期可以理解为所有训练样本的一个正向传递和一个反向传递。

优化器中使用的算法一般有自适应梯度优化算法(Adaptive Gradient，AdaGrad)，它能够对每个不同的参数调整不同的学习率，对频繁变化的参数以更小的步长进行更新，而稀疏的参数以更大的步长进行更新；以及RMSProp算法，结合梯度平方的指数移动平均数来调节学习率的变化，能够在不稳定(Non-Stationary)的目标函数情况下进行很好地收敛。

具体的，上述预设优化器可以采用ADAM的优化器，结合AdaGrad和RMSProp两种优化算法的优点。对梯度的一阶矩估计(First Moment Estimation，即梯度的均值)和二阶矩估计(SecondMoment Estimation，即梯度的未中心化的方差)进行综合考虑，计算出更新步长。

图像处理装置或者上述预设优化器中可以存储上述预设阈值次数和预设学习率来控制更新。比如学习率0.001，预设阈值次数300epoch。以及可以设置学习率的调整规则，以该学习率的调整规则调整参数更新的学习率，比如可以设置分别在40、120和200epoch时学习率减半。

在获得上述训练后的预设神经网络模型之后，图像处理装置可以执行图1所示实施例中的部分或全部方法，即可以基于上述预设神经网络模型将待配准图像向参考图像配准，获得配准结果。

一般而言，大多数技术使用互信息的配准方法，需要估计联合分布密度。而非参数化方法估计互信息(比如使用直方图)，不仅计算量大并且不支持反向传播，无法应用到神经网络中。本申请实施例采用局部窗口的相关系数作为相似度度量损失，训练后的预设神经网络模型的可用于图像配准，尤其是任何会发生形变的脏器的医学图像配准中，可以对于不同时间点的随访图像进行形变配准，配准效率高、结果更加准确。

一般在某些手术中需要在术前或者手术期间进行不同质量和速度的各种扫描，获得医学图像，但通常需要做完各种扫描之后才可以进行医学图像配准，这是不满足手术中的实时需求的，所以一般需要通过额外的时间对手术的结果进行判定，如果配准后发现手术结果不够理想，可能需要进行后续的手术治疗，对于医生和病人来说都会带来时间上的浪费，耽误治疗。而基于本申请实施例的预设神经网络模型进行配准，可以应用于手术中实时的医学图像 配准，比如在做肿瘤切除手术中进行实时配准来判断肿瘤是否完全切除，提高了时效性。

本申请实施例通过获取预设待配准图像和预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场，基于上述形变场将上述预设待配准图像向上述预设参考图像配准，获得配准后图像，获得上述配准后图像和上述预设参考图像的相关系数损失，基于上述相关系数损失对上述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型，可以应用于可形变配准，提高图像配准的精度和实时性。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

本申请实施例可以根据上述方法示例对图像处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

请参阅图3，图3是本申请实施例公开的一种图像处理装置的结构示意图。如图3所示，该图像处理装置300包括：获取模块310和配准模块320，其中：

上述获取模块310，用于获取待配准图像和用于配准的参考图像；

上述配准模块320，用于将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失；

上述配准模块320，还用于基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果。

可选的，上述图像处理装置300还包括：预处理模块330，用于获取原始待配准图像和原始参考图像，对上述原始待配准图像和上述原始参考图像进行图像归一化处理，获得满足目标参数的上述待配准图像和上述参考图像。

可选的，上述预处理模块330具体用于：

将上述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；

将上述原始参考图像转换为上述预设灰度值范围内和上述预设图像尺寸的参考图像。

可选的，上述配准模块320包括配准单元321和更新单元322，其中：

上述配准单元321用于，获取上述预设待配准图像和上述预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场；

上述配准单元321还用于，基于上述形变场将上述预设待配准图像向上述预设参考图像配准，获得配准后图像；

上述更新单元322用于，获得上述配准后图像和上述预设参考图像的相关系数损失；以及用于基于上述相关系数损失对上述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。

可选的，上述预处理模块330还用于：

对上述预设待配准图像和上述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；

上述配准单元321具体用于，将上述满足预设训练参数的预设待配准图像和预设参考图像输入上述预设神经网络模型生成形变场。

可选的，上述预处理模块330具体用于：

将上述预设待配准图像的尺寸和上述预设参考图像的尺寸转换为预设图像尺寸；

根据目标窗宽对上述转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。

可选的，上述预处理模块330还具体用于：

在上述根据预设窗宽对上述转换后的预设待配准图像和预设参考图像进行处理之前，获取上述预设待配准图像的目标类别标签，根据预设类别标签与预设窗宽的对应关系，确定上述目标类别标签对应的上述目标窗宽。

可选的，上述更新单元322还用于：

基于预设优化器对上述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。

图3所示的实施例中的图像处理装置300可以执行图1和/或图2所示实施例中的部分或全部方法。

实施图3所示的图像处理装置300，图像处理装置300可以获取待配准图像和用于配准的参考图像，将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失，基 于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。

请参阅图4，图4是本申请实施例公开的一种电子设备的结构示意图。如图4所示，该电子设备400包括处理器401和存储器402，其中，电子设备400还可以包括总线403，处理器401和存储器402可以通过总线403相互连接，总线403可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。总线403可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，电子设备400还可以包括输入输出设备404，输入输出设备404可以包括显示屏，例如液晶显示屏。存储器402用于存储包含指令的一个或多个程序；处理器401用于调用存储在存储器402中的指令执行上述图1和图2实施例中提到的部分或全部方法步骤。上述处理器401可以对应实现图3中的电子设备300中的各模块的功能。

实施图4所示的电子设备400，电子设备400可以获取待配准图像和用于配准的参考图像，将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失，基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。

本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。

本申请实施例还提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。 例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块(或单元)的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (19)

1. 一种图像处理方法，其特征在于，所述方法包括：

   获取待配准图像和用于配准的参考图像；

   将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失；

   基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果。
2. 根据权利要求1所述的图像处理方法，其特征在于，所述获取待配准图像和用于配准的参考图像之前，所述方法还包括：

   获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像。
3. 根据权利要求2所述的图像处理方法，其特征在于，所述对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像包括：

   将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；

   将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。
4. 根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述预设神经网络模型的训练过程包括：

   获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场；

   基于所述形变场将所述预设待配准图像向所述预设参考图像配准，获得配准后图像；

   获得所述配准后图像和所述预设参考图像的相关系数损失；

   基于所述相关系数损失对所述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。
5. 根据权利要求4所述的图像处理方法，其特征在于，所述获取所述预设待配准图像和所述预设参考图像之后，所述方法还包括：

   对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；

   所述将所述预设待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场包括：

   将所述满足预设训练参数的预设待配准图像和预设参考图像输入所述预设神经网络模型生成形变场。
6. 根据权利要求5所述的图像处理方法，其特征在于，所述方法还包括：

   将所述预设待配准图像的尺寸和所述预设参考图像的尺寸转换为预设图像尺寸；

   所述对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像包括：

   根据目标窗宽对所述转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。
7. 根据权利要求6所述的图像处理方法，其特征在于，所述根据目标窗宽对所述转换后的预设待配准图像和预设参考图像进行处理之前，所述方法还包括：

   获取所述预设待配准图像的目标类别标签，根据预设类别标签与预设窗宽的对应关系，确定所述目标类别标签对应的所述目标窗宽。
8. 根据权利要求5-7任一项所述的图像处理方法，其特征在于，所述方法还包括：

   基于预设优化器对所述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。
9. 一种图像处理装置，其特征在于，包括：获取模块和配准模块，其中：

   所述获取模块，用于获取待配准图像和用于配准的参考图像；

   所述配准模块，用于将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失；

   所述配准模块，还用于基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果。
10. 根据权利要求9所述的图像处理装置，其特征在于，还包括：预处理模块，用于获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像。
11. 根据权利要求10所述的图像处理装置，其特征在于，所述预处理模块具体用于：

    将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；

    将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。
12. 根据权利要求9-11任一项所述的图像处理装置，其特征在于，所述配准模块包括配准单元和更新单元，其中：

    所述配准单元用于，获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场；

    所述配准单元还用于，基于所述形变场将所述预设待配准图像向所述预设参考图像配准，获得配准后图像；

    所述更新单元用于，获得所述配准后图像和所述预设参考图像的相关系数损失；以及用于基于所述相关系数损失对所述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。
13. 根据权利要求12所述的图像处理装置，其特征在于，所述预处理模块还用于：

    对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；

    所述配准单元具体用于，将所述满足预设训练参数的预设待配准图像和预设参考图像输入所述预设神经网络模型生成形变场。
14. 根据权利要求13所述的图像处理装置，其特征在于，所述预处理模块具体用于：

    将所述预设待配准图像的尺寸和所述预设参考图像的尺寸转换为预设图像尺寸；

    根据目标窗宽对所述转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。
15. 根据权利要求14所述的图像处理装置，其特征在于，所述预处理模块还具体用于：

    在所述根据预设窗宽对所述转换后的预设待配准图像和预设参考图像进行处理之前，获取所述预设待配准图像的目标类别标签，根据预设类别标签与预设窗宽的对应关系，确定所述目标类别标签对应的所述目标窗宽。
16. 根据权利要求13-15任一项所述的图像处理装置，其特征在于，所述更新单元还用于：

    基于预设优化器对所述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。
17. 一种电子设备，其特征在于，包括处理器以及存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，所述程序包括用于执行如权利要求1-8任一项所述的方法。
18. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-8任一项所述的方法。
19. 一种计算机程序，包括计算机可读代码，其特征在于，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行用于实现如权利要求1-8中的任一项所述的方法。

Images