WO2023050587A1 - 一种暗场超分辨率成像方法、模型评估方法及系统 - Google Patents

一种暗场超分辨率成像方法、模型评估方法及系统 Download PDF

Info

Publication number
WO2023050587A1
WO2023050587A1 PCT/CN2021/138096 CN2021138096W WO2023050587A1 WO 2023050587 A1 WO2023050587 A1 WO 2023050587A1 CN 2021138096 W CN2021138096 W CN 2021138096W WO 2023050587 A1 WO2023050587 A1 WO 2023050587A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
super
image
low
real
Prior art date
Application number
PCT/CN2021/138096
Other languages
English (en)
French (fr)
Inventor
马文齐
李剑平
杨振宇
陈涛
Original Assignee
深圳先进技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳先进技术研究院 filed Critical 深圳先进技术研究院
Publication of WO2023050587A1 publication Critical patent/WO2023050587A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明公开一种暗场超分辨率成像方法、模型评估方法及系统，成像方法包括：获取颗粒物高低分辨率真实图像对并训练生成超分辨率重建模型；对高低分辨率真实图像对进行预处理，构建超分辨率数据集；利用超分辨率数据集并结合超分辨率重建网络及上下文损失函数进行训练，获取超分辨率重建模型；将低分辨率真实图像输入到生成的超分辨率重建模型中，获取超分辨率暗场图像。还公开了模型评估方法及超分辨率成像系统。实施本发明，通过训练生成的超分辨率重建模型，从低分辨率图像重构出对应的超分辨率颗粒物图像，重建出更多的高频信息与纹理细节，降低了高低分辨率图像对的配准精度要求，降低了超分辨率数据集的构建难度。

Description

一种暗场超分辨率成像方法、模型评估方法及系统 技术领域
本发明涉及暗场光学成像技术领域，特别涉及一种暗场超分辨率成像方法、模型评估方法及系统。
背景技术
暗场光学成像技术是一种有力的观测手段，为了观测到更多的个体，现有的暗场成像仪不得不使用放大倍率较低的镜头进行成像，以增大单位时间内的采样体积。然而，这会不可避免地导致成像分辨率下降，从而无法获得目标个体的更多形态细节，进而会影响到对目标鉴定的准确率，进而严重影响到观测的统计结果。
图像超分辨率技术旨在利用低分辨率(LR)图像恢复对应的高分辨率(HR)图像。超分辨率重建技术可以分为两种，一种是非深度学习方法，即利用传统方法实现图像重建，另一种是利用深度学习的卷积神经网络实现图像特征提取、映射及重建的工作。
近年来，基于深度学习的超分辨率技术在各种成像模式(例如，自然场景图像、医学影像与显微图像等)中取得了重大进展。如果可以将超分辨率成像技术应用于暗场成像仪，在保留原始的视场(FOV)与景深(DOF)的前提下提升图像的分辨率，有助于获得更多小型目标的形态细节并进一步提升目标鉴定的准确率。
传统的超分辨率方法主要分为基于插值与基于重构的超分辨率方法。基于插值的超分辨率方法在低分辨率图像中插入额外的像素块以生成相应的高分辨率图像，分为最近邻插值、双线性插值与双立方插值方法；基于重构的超分辨率方法通过分析图像退化过程，构建退化模型，利用逆退化过程来完成图像的重建，分为凸集投影法、迭代反向投影法与最大后验概率法。
专利21710773994.4，一种基于深度学习的超分辨率图像重建方法，该专利使用下采样方法获取高分辨率图像对应的低分辨率图像，构建超分辨率数据集，最后配合基于残差结构的卷积神经网络实现超分辨率重建。
论文“Toward real-world single image super-resolution:A new benchmark and a  new model”利用深度学习的方法实现了基于真实拍摄图像对的超分辨率。该论文使用数码相机的四种焦距拍摄图像：5mm，50mm，35mm和28mm。以最大焦距拍摄的图像用于生成真实拍摄的HR图像，其他三个焦距拍摄的图像用于生成LR图像，配合图像配准与切割，构建了RealSR数据集，提出的LP-KPN网络模型，配合均方误差损失函数(L2-norm loss)作为上下文损失函数，验证了其方法对真实拍摄的图像的超分辨率任务的效率和有效性。
现有的暗场超分辨率成像技术存在如下问题：
基于插值的超分辨率方法重建的图像较为平滑无法恢复出更多的高频信息，存在较大的局限性；基于重构的超分辨率方法更能够结合图像的先验信息，能够有校减少振铃和锯齿现象的产生，但是其重建的图像仍然缺乏纹理细节。
基于“下采样数据集”所训练的网络并不能学习到真实拍摄的高低分辨率图像对之间的映射关系，此方法所训练的超分辨率模型针对真实拍摄的图像的超分效果往往较差。
利用深度学习的方法实现了基于真实拍摄图像对的超分辨率，对图像对配准的精度要求极高，这也在一定程度上增加了数据集的构建难度。
发明内容
针对上述问题，提出一种暗场超分辨率成像方法、模型评估方法及成像系统，通过利用超分辨率重建网络、损失函数与真实拍摄的数据集，训练生成超分辨率重建模型，就可以从低分辨率图像重构出对应的超分辨率颗粒物图像，能够比传统超分辨率方法获得更多的高频信息与纹理细节，进一步提升了物种鉴定的准确率。通过使用真实拍摄的高低分辨率图像对作为数据集进行网络训练，不使用下采样数据集或模拟数据集，针对真实拍摄的暗场图像能够获得更好的超分辨率效果。使用Contextual loss，降低了高低分辨率图像对的配准精度要求，减少了真实拍摄超分辨率数据集的构建难度。
第一方面，一种暗场超分辨率成像方法，用于从获取的低分辨率暗场图像重建超分辨率暗场图像，包括步骤：
获取颗粒物高低分辨率真实图像对并训练生成超分辨率重建模型；
将低分辨率真实图像输入到生成的超分辨率重建模型中，获取超分辨率暗场图像；
其中，所述超分辨率重建模型的生成步骤包括：
对所述高低分辨率真实图像对进行预处理，构建超分辨率数据集；
利用所述超分辨率数据集并结合超分辨率重建网络及上下文损失函数进行训练，获取超分辨率重建模型。
结合本发明所述的暗场超分辨率成像方法，第一种可能的实施方式中，所述成像方法还包括步骤：
对所述超分辨率重建模型进行评估的步骤。
结合本发明第一种可能的实施方式，第二种可能的实施方式中，所述步骤：获取颗粒物高低分辨率真实图像对并训练生成超分辨率重建模型，包括子步骤：
分别使用不同放大倍率的成像子系统获取高分辨率真实图像、低分辨率真实图像；
根据高分辨率真实图像、低分辨率真实图像构建高低分辨率真实图像对。
结合本发明第二种可能的实施方式，第三种可能的实施方式中，所述步骤：对所述高低分辨率真实图像对进行预处理，构建超分辨率数据集，包括子步骤：
从所述真实图像对中选取少量真实图像对，分别作为测试集、验证集；
对剩余真实图像对进行过滤处理，构建训练集。
结合本发明第三种可能的实施方式，第四种可能的实施方式中，所述步骤：对剩余真实图像对进行过滤处理，构建训练集，包括子步骤：
对剩余真实图像对数据进行增强扩充；
对增强扩充后的真实图像对进行目标检测与图像块裁剪，获取具有内容重叠的真实图像块；
对所述真实图像块进行过滤，获取最终真实图像对训练集。
结合本发明第四种可能的实施方式，第五种可能的实施方式中，所述步骤：对所述真实图像块进行过滤，获取最终真实图像对训练集，包括子步骤：
设置所述真实图像块像素阈值，保留大于所述像素阈值的真实图像块为第一真实图像块；
设置真实图像块清晰度阈值，利用聚焦评价算法对所述第一真实图像块清晰度进行评估；
保留大于所述清晰度阈值的所述第一真实图像块为第二真实图像块；
将所述第二真实图像块的数量集合保存为最终训练集。
结合本发明第五种可能的实施方式，第六种可能的实施方式中，所述步骤： 利用所述超分辨率数据集并结合超分辨率重建网络及上下文损失函数进行训练，获取超分辨率重建模型，包括子步骤：
选择超分辨率重建网络为训练网络，利用式子(1)确定上下文损失函数L CX及特征提取网络
Figure PCTCN2021138096-appb-000001
Figure PCTCN2021138096-appb-000002
其中，L CX为上下文损失函数，
Figure PCTCN2021138096-appb-000003
与
Figure PCTCN2021138096-appb-000004
表示从特征提取网络
Figure PCTCN2021138096-appb-000005
的第l层提取的超分辨率图像
Figure PCTCN2021138096-appb-000006
与低分辨率图像y的特征，CX表示从
Figure PCTCN2021138096-appb-000007
与
Figure PCTCN2021138096-appb-000008
表示
Figure PCTCN2021138096-appb-000009
与
Figure PCTCN2021138096-appb-000010
之间的上下文相似度；
利用超分辨率重建网络的预训练模型对所述训练网络进行初始化，以加快训练速度。
第二方面，一种超分辨率重建模型评估方法，用于对第一方面中的超分辨率重建模型超分效果进行评估，包括步骤：
获取分辨率靶标的低分辨率图像；
训练生成第一超分辨率重建模型及第二超分辨率重建模型；
利用第一超分辨率重建模型及第二超分辨率重建模型将所述低分辨率图像重建为第一超分辨率图像及第二超分辨率图像；
将所述第一超分辨率图像、第二超分辨率图像分别与所述低分辨率图像比较，分别获取所述第一超分辨率重建模型的提升倍数T A、第二超分辨率重建模型的提升倍数T B。
第三方面，一种暗场超分辨率成像系统，利用第一方面的暗场超分辨率成像方法构建颗粒物超分辨率重建模型对低分辨率颗粒物图像进行重建，得到超分辨率颗粒物图像，包括暗场低倍成像仪，所述暗场低倍成像仪包括：
图像获取单元；
图像处理单元；
重构单元；
所述图像获取单元用于在现有视场及景深值下，以低倍率获取低分辨率真实颗粒物图像；
所述图像处理单元用于对颗粒物真实图像进行目标检测与图像裁剪以获取存在颗粒物目标的低分辨率图像块；
所述重构单元用于利用已经训练好的超分辨率重建模型对所述低分辨率图 像块进行重建，得到超分辨率微颗粒物图像块。
结合本发明第三方面，第一种可能的实施方式中，所述暗场超分辨率成像系统还包括：
模型评估单元；
所述模型评估单元用于对超分辨率重建模型的超分辨率效果进行评估。
实施本发明所述的一种暗场超分辨率成像方法、模型评估方法及系统，利用低倍成像仪，保持其固有的视场和景深，获取颗粒物真实的高低分辨率图像对，通过利用超分辨率重建网络、损失函数与真实拍摄的数据集，训练生成超分辨率重建模型，就可以从低分辨率图像重构出对应的超分辨率颗粒物图像，能够比传统超分辨率方法获得更多的高频信息与纹理细节，进一步提升了物种鉴定的准确率。通过使用真实拍摄的高低分辨率图像对作为数据集进行网络训练，不使用下采样数据集或模拟数据集，针对真实拍摄的暗场图像能够获得更好的超分辨率效果。使用Contextual loss，降低了高低分辨率图像对的配准精度要求，减少了真实拍摄超分辨率数据集的构建难度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明中一种暗场超分辨率成像方法第一实施例示意图；
图2是本发明中一种暗场超分辨率成像方法超分辨率重建模型生成方法步骤实施例示意图；
图3是本发明中一种暗场超分辨率成像方法中的真实拍摄超分辨率数据集图像；
图4是本发明中一种暗场超分辨率成像方法中的真实拍摄超分辨率数据集与下采样数据集超分效果对比图；
图5是本发明中一种暗场超分辨率成像方法第二实施例示意图；
图6是本发明中一种暗场超分辨率成像方法第三实施例示意图；
图7是本发明中一种暗场超分辨率成像方法第四实施例示意图；
图8是本发明中一种暗场超分辨率成像方法第五实施例示意图；
图9是本发明中一种暗场超分辨率成像方法中超分辨率重建模型对颗粒物景深拓展效果图；
图10是本发明中一种暗场超分辨率成像方法第六实施例示意图；
图11是本发明中一种暗场超分辨率成像方法中的EDSR结构图；
图12是本发明中一种暗场超分辨率成像方法中不同损失函数超分效果对比图；
图13是本发明中一种超分辨率重建模型评估方法第一实施例示意图；
图14是本发明中一种超分辨率重建模型评估方法第二实施例示意图；
图15是本发明中一种暗场超分辨率成像系统模块连接示意图；
图16是本发明中一种暗场低倍成像仪模块连接示意图；
附图中各数字所指代的部位名称为：110——低倍成像仪、120——模型评估单元、111——图像获取单元、112——图像处理单元、113——重构单元。
具体实施方式
下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
现有的暗场超分辨率成像技术基于插值的超分辨率方法重建的图像较为平滑无法恢复出更多的高频信息，存在较大的局限性；基于重构的超分辨率方法更能够结合图像的先验信息，能够有校减少振铃和锯齿现象的产生，但是其重建的图像仍然缺乏纹理细节。基于“下采样数据集”所训练的网络并不能学习到真实拍摄的高低分辨率图像对之间的映射关系，此方法所训练的超分辨率模型针对真实拍摄的图像的超分效果往往较差。利用深度学习的方法实现了基于真实拍摄图像对的超分辨率，对图像对配准的精度要求极高，这也在一定程度上增加了数据集的构建难度。
针对上述问题，提出一种暗场超分辨率成像方法、重建模型评估方法及成像系统。
一种暗场超分辨率成像方法，如图1，图1是本发明中一种暗场超分辨率成像方法第一实施例示意图，用于从获取的低分辨率暗场图像重建超分辨率暗场图像，包括步骤：
S1、获取颗粒物高低分辨率真实图像对并训练生成超分辨率重建模型；
作为一种优选实施方式，可以利用低倍成像仪110分别获取暗场颗粒物的低分辨率真实图像、高分辨率真实图像，形成高低分辨率真实图像对。
本实施例所使用的真实拍摄图像对为大亚湾海域采集的4×颗粒物高低分辨率HR-LR图像对，优选地，选择5897对高低分辨率HR-LR图像对，其高分辨率HR图像与低分辨率图像LR均为真实拍摄的水下颗粒物活体图像。拍摄高分辨率HR与低分辨率图像的镜头放大倍率分别为2×与0.5×。如图3，图3是本发明中一种暗场超分辨率成像方法中的真实拍摄超分辨率数据集图像，展示了数据集中的一些图像对，大尺寸图像为高分辨率HR图像，高分辨率HR图像右下角的小尺寸图像为其对应的低分辨率图像LR。
值得注意的是，虽然本实施方式中以暗场成像方式拍摄水下的颗粒物真实的高低分辨率图像对，但本申请中的暗场超分辨率成像方法也可以应用在空气等其他环境中的颗粒物的超分辨率暗场成像，本申请对颗粒物所处的环境不做限制。
真实拍摄数据集与下采样超分效果评估。
采用峰值信噪比PSNR、结构相似度SSIM、自然图像质量评价指标NIQE及图像质量评价IQA指标来对真实拍摄数据集与下采样超分效果进行评估。
如图4，图4是本发明中一种暗场超分辨率成像方法中的真实拍摄超分辨率数据集与下采样数据集超分效果对比图，展示了它们的结果对比，可以明显看出，使用真实拍摄数据集训练的模型恢复出了更多的高频细节，在测试集上的评价指标也印证了这一结论，如表1所示。两者在PSNR上的表现不相上下，仅相差0.13，而使用真实拍摄数据集所训练的模型在SSIM与NIQE上的表现远远优于使用下采样数据集训练的模型(使用各损失函数时4×EDSR在测试集上的结果评估，均为平均值，PSNR与SIIM越高越好，NIQE越低越好)。
表1.真实拍摄数据集与下采样超分效果评估对比
  下采样数据集 真实拍摄数据集
PSNR 31.01 30.88
SSIM 0.64 0.77
NIQE 17.09 12.61
S2、将低分辨率真实图像输入到生成的超分辨率重建模型中，获取超分辨 率暗场图像。
如图2，图2是本发明中一种暗场超分辨率成像方法超分辨率重建模型生成方法步骤实施例示意图，超分辨率重建模型生成的步骤包括：
S21、对高低分辨率真实图像对进行预处理，构建超分辨率数据集。
S22、利用超分辨率数据集并结合超分辨率重建网络及上下文损失函数进行训练，获取超分辨率重建模型。
优选地，在5897对高低分辨率(HR-LR)图像中，选择一小部分作为验证集及测试集，例如选择10对图像用来作为验证集，20对图像用来作为测试集。其余的高低分辨率(HR-LR)图像对用来构建训练集。
通过水平、垂直、水平垂直翻转将训练集的数量进行了增强，增强倍数优选为4倍。从高低分辨率(HR-LR)图像对中提取了50％内容重叠的图像块进行模型训练。优选地，低分辨率图像与高分辨率图像的图像块尺寸分别为50×50与100×100。
优选地，成像方法还包括步骤：
SA、利用图像质量评估指标及分辨率靶标对超分辨率重建模型进行评估。
优选地，如图5，图5是本发明中一种暗场超分辨率成像方法第二实施例示意图，步骤S1包括子步骤：
S11、分别使用不同放大倍率的成像子系统获取高分辨率真实图像、低分辨率真实图像；
S12、利用高分辨率真实图像、低分辨率真实图像构建颗粒物高低分辨率真实图像对。
在保持低倍成像仪110的FOV(视场)与DOF(景深)的前提下，恢复出能够比传统超分辨率方法获得更多的高频信息与纹理细节，进一步提升物种鉴定的准确率。
通过利用超分辨率重建网络、损失函数与真实拍摄的数据集，训练生成超分辨率重建模型，就可以从低分辨率图像重构出对应的超分辨率颗粒物图像，能够比传统超分辨率方法获得更多的高频信息与纹理细节，进一步提升了物种鉴定的准确率。
优选地，如图6，图6是本发明中一种暗场超分辨率成像方法第三实施例示意图，步骤S21包括子步骤：
S211、从真实图像对中选取少量真实图像对，分别作为测试集、验证集。
S212、对剩余真实图像对进行过滤处理，构建训练集。
优选地，在5897对高低分辨率(HR-LR)图像中选择10对图像用来作为验证集，20对图像用来作为测试集。其余的高低分辨率HR-LR图像对用来构建训练集。
优选地，如图7，图7是本发明中一种暗场超分辨率成像方法第四实施例示意图，步骤S212包括子步骤：
S2121、对剩余真实图像对数据进行增强扩充；S2122、对增强扩充后的真实图像对进行目标检测与图像块裁剪，获取具有内容重叠的真实图像块；S2123、对真实图像块进行过滤，获取最终真实图像对训练集。
通过水平、垂直、水平垂直翻转将训练集的数量进行了增强，优选地，增强倍数为4倍，从高低分辨率(HR-LR)图像对中提取了50％重叠的图像块进行模型训练。优选地，低分辨率图像与高分辨率(HR)图像的图像块尺寸分别为50×50与100×100。
优选地，如图8，图8是本发明中一种暗场超分辨率成像方法第五实施例示意图，步骤S2123包括子步骤：
S21231、设置真实图像块像素阈值，保留大于像素阈值的真实图像块为第一真实图像块；S21232、设置真实图像块清晰度阈值，利用聚焦评价算法对第一真实图像块清晰度进行评估；S21233、保留大于清晰度阈值的第一真实图像块为第二真实图像块；S21234、将第二真实图像块的数量集合保存为最终训练集。
由于数据集中的图像是使用的暗场照明采集得到的，如图3所示，高低分辨率(HR-LR)图像对中会由大量的黑色背景。高低分辨率(HR-LR)图像对中的图像块中只包含黑色背景的话，模型是无法学习到颗粒物图像之间的高低倍率映射关系的。为了避免这种情况的发生，在裁剪图像块的过程中，需要设定一个阈值(优选为2)，只有当图像块的像素均值大于该阈值时，此图像块才会被保留。
此外，由于一些颗粒物的体积大于高倍镜头的景深。如图8，图8是本发明中一种暗场超分辨率成像方法中超分辨率重建模型对颗粒物景深拓展效果图，一些高分辨率(HR)图像会出现部分清晰部分模糊的情况，因此其裁剪的图像 块也有些会是模糊的，采用聚焦评价算法过滤掉这些模糊的图像块，仅保留清晰的图像块。在经过背景过滤与聚焦评价之后，最终保留了84256对HR-LR图像块作为训练集。
优选地，如图10，图10是本发明中一种暗场超分辨率成像方法第六实施例示意图，步骤S22包括子步骤：
S221、选择超分辨率重建网络为训练网络，利用式子(1)确定上下文损失函数L CX及特征提取网络
Figure PCTCN2021138096-appb-000011
Figure PCTCN2021138096-appb-000012
其中，L CX为上下文损失函数，
Figure PCTCN2021138096-appb-000013
与
Figure PCTCN2021138096-appb-000014
表示从特征提取网络
Figure PCTCN2021138096-appb-000015
的第l层提取的超分辨率图像
Figure PCTCN2021138096-appb-000016
与低分辨率图像y的特征，CX表示从
Figure PCTCN2021138096-appb-000017
与
Figure PCTCN2021138096-appb-000018
表示
Figure PCTCN2021138096-appb-000019
与
Figure PCTCN2021138096-appb-000020
之间的上下文相似度；
S222、利用超分辨率重建网络的预训练模型进行初始化，以加快训练速度。
本实施例所使用的网络为超分辨率重建网络的预训练模型，优选的，预训练模型可以为EDSR网络，其网络结构如图10所示。EDSR网络的骨干部分由32个ResBlock(残差块)组成，ResBlock由Conv(卷积层)与ReLU(线性修正单元)串连组成。最终，EDSR网络通过Shuffle层实现上采样。
优选地，损失函数L CX采用上下文损失函数Contextual loss(上下文损失，以下简称CX loss)，CX loss将图像视为特征的集合，并根据特征之间的相似性度量图像之间的相似性。CX loss忽略了特征的空间位置。因此，CX loss允许图像对不完全对齐或局部形变。
超分辨率重建网络训练过程。
在网络开始训练之前，加载EDSR网络的预训练模型来对超分辨率重建网络进行初始化，加快训练网络的拟合速度，缩短训练时间。在开始训练之后，每次迭代从训练集中随机取16张LR图像块送入网络(即batch size＝16)。使用Adam作为网络优化器，初始学习率设置为0.0004，在[200,400,500]次迭代时分别减半。
对采用损失函数Contextual loss的暗场颗粒物图像的超分效果进行评估。
采用峰值信噪比PSNR、结构相似度SSIM、自然图像质量评价指标NIQE及图像质量评价IQA指标来进行评估，主要评估了损失函数L2 loss、损失函数Perceptual loss及上下文损失函数CX loss(Contextual loss)。
评估过程与结果。
优选地，使用真实拍摄数据集配合不同的损失函数训练了3个4×超分辨率模型，表2展示了他们的IQA评价指标，图12是本发明中一种暗场超分辨率成像方法中不同损失函数超分效果对比图，展示了它们的超分效果。结合图11与表2可以看出，L2 loss训练的模型所输出的图像相较于其他结果虽然拥有更高的PSNR与SSIM值，但却更加平滑。在视觉感受方面，L2 loss训练的模型表现不如使用其他损失函数得到的超分结果，并且其在NIQE上的表现也是最差的。Perceptual loss训练的模型的输出图像相较于使用L2 loss训练的模型的输出结果在视觉感受与NIQE方面稍微有一点改善，但其PSNR与SSIM均低于使用L2 Loss训练的模型的输出图像。相比于其他损失函数，本申请采用的损失函数CX loss(Contextual loss)训练的模型的输出结果虽然拥有最低的PSNR值，但其在视觉感受与NIQE上的表现最好，并且其输出图像恢复出了更多的高频细节，没有使用其他损失函数那么平滑。使用CX loss训练的超分辨率模型达到了最好的超分效果(使用各损失函数时4×EDSR在测试集上的结果评估，均为平均值，PSNR与SIIM越高越好，NIQE越低越好。)。
表2.各个损失函数暗场颗粒物超分效果对比
  L2 loss Perceptual loss CX loss
PSNR 33.03 32.24 30.88
SSIM 0.78 0.69 0.77
NIQE 19.91 18.47 12.61
通过使用真实拍摄的高低分辨率图像对作为数据集进行网络训练，不使用下采样数据集或模拟数据集，针对真实拍摄的暗场图像能够获得更好的超分辨率效果。使用Contextual loss，降低了高低分辨率图像对的配准精度要求，减少了真实拍摄超分辨率数据集的构建难度。
一种超分辨率重建模型评估方法，如图13，图13是本发明中一种超分辨率重建模型评估方法实施例示意图，包括步骤：
S31、获取分辨率靶标的低分辨率图像；
S32、训练生成第一超分辨率重建模型及第二超分辨率重建模型；
S33、利用第一超分辨率重建模型及第二超分辨率重建模型将低分辨率图像重建为第一超分辨率图像及第二超分辨率图像；
S34、将第一超分辨率图像、第二超分辨率图像分别与低分辨率图像比较，分别获取第一超分辨率重建模型的提升倍数T A、第二超分辨率重建模型的提升倍数T B。
优选地，利用USAF 1951分辨率靶标对未经训练的第一超分辨率重建模型及经过训练的第二超分辨率重建模型的超分性能的评价结果如图14所示，图14是本发明中一种超分辨率重建模型评估方法第二实施例示意图，图14中(a)：分辨率靶标LR图像；图14中(b)：针对(a)中的第4行与第5行元素放大后的分辨率靶标LR图像；图14中(c)：没有重新训练的第一超分辨率重建模型对靶标图像的超分辨率结果；图14中(d)：进行重新训练后的第二超分辨率重建模型对靶标图像的超分辨率结果；图14中(e)针对(b)(c)(d)的对比度曲线图及其最佳分辨率值。首先将使用真实拍摄的颗粒物数据集训练的未经过训练的第一超分辨率重建模型应用于拍摄的LR靶标图像，得到第一超分辨率图像输出，图14中(b)(c)分别为低分辨率与超分辨率SR靶标图像，计算得到其最佳光学分辨率分别为22.1μm和19.69μm，可见其最佳分辨率提升并不明显。这是由于第一超分辨率重建模型未学习过靶标HR-LR图像之间的映射关系所致。因此，对第二超分辨率重建模型进行网络训练，采集一些分辨率靶标图像对并对齐进行数据增强与图像块提取，将生成数据并入超分辨率数据集再次训练了第二超分辨率重建模型。图14中(d)展示了将重新训练的第二超分辨率重建模型再次应用于LR靶标图像后的第二超分辨率图像输出。可以看出将重新训练的第二超分辨率重建模型再次应用于靶标图像后，生成的超分图像明显拥有了更高的分辨率。经过计算得输入LR图像的最佳分辨率为22.1μm，输出SR图像的最佳分辨率为13.4μm，后者是前者的1.78倍，最佳分辨率提升效果显著。
一种暗场超分辨率成像系统，如图16，图16是本发明中一种暗场低倍成像仪110模块连接示意图，利用暗场超分辨率成像方法构建颗粒物超分辨率重建模型对低分辨率颗粒物图像进行重建，得到超分辨率颗粒物图像，包括暗场低倍成像仪110，成像仪110包括：图像获取单元111、图像处理单元112及重构单元113。图像获取单元111用于在现有视场及景深值下，以低倍率获取低分辨率真实颗粒物。图像图像处理单元112用于对颗粒物真实图像进行目标检测与图像裁剪以获取存在颗粒物目标的低分辨率图像块。重构单元113用于利用已 经训练好的超分辨率重建模型对低分辨率图像块进行重建，得到超分辨率微颗粒物图像块。
如图15，图15是本发明中一种暗场超分辨率成像系统模块连接示意图，暗场超分辨率成像系统还包括：模型评估单元120；模型评估单元120用于对超分辨率重建模型的超分辨率效果进行评估。
实施本发明的一种暗场超分辨率成像方法、模型评估方法及系统，利用低倍成像仪110，保持其固有的视场和景深，获取颗粒物低分辨率图像，通过利用训练好的超分辨率重建模型，就可以从低分辨率图像重构出对应的超分辨率颗粒物图像，能够比传统超分辨率方法获得更多的高频信息与纹理细节，进一步提升了物种鉴定的准确率。通过使用真实拍摄的高低分辨率图像对作为数据集进行网络训练，不使用下采样数据集或模拟数据集，针对真实拍摄的暗场图像能够获得更好的超分辨率效果。使用Contextual loss，降低了高低分辨率图像对的配准精度要求，减少了真实拍摄超分辨率数据集的构建难度。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种暗场超分辨率成像方法，用于从获取的低分辨率暗场图像重建超分辨率暗场图像，其特征在于，包括步骤：
    获取颗粒物高低分辨率真实图像对并训练生成超分辨率重建模型；
    将低分辨率真实图像输入到生成的超分辨率重建模型中，获取超分辨率暗场图像；
    其中，所述超分辨率重建模型的生成步骤包括：
    对所述高低分辨率真实图像对进行预处理，构建超分辨率数据集；
    利用所述超分辨率数据集并结合超分辨率重建网络及上下文损失函数进行训练，获取超分辨率重建模型。
  2. 根据权利要求1所述的暗场超分辨率成像方法，其特征在于，所述成像方法还包括：
    对所述超分辨率重建模型进行评估的步骤。
  3. 根据权利要求2所述的暗场超分辨率成像方法，其特征在于，所述步骤：获取颗粒物高低分辨率真实图像对并训练生成超分辨率重建模型，包括子步骤：
    分别使用不同放大倍率的成像子系统获取高分辨率真实图像、低分辨率真实图像；
    根据高分辨率真实图像、低分辨率真实图像构建高低分辨率真实图像对。
  4. 根据权利要求3所述的暗场超分辨率成像方法，其特征在于，所述步骤：对所述高低分辨率真实图像对进行预处理，构建超分辨率数据集，包括子步骤：
    从所述真实图像对中选取少量真实图像对，分别作为测试集、验证集；
    对剩余真实图像对进行过滤处理，构建训练集。
  5. 根据权利要求4所述的暗场超分辨率成像方法，其特征在于，所述步骤：对剩余真实图像对进行过滤处理，构建训练集，包括子步骤：
    对剩余真实图像对数据进行增强扩充；
    对增强扩充后的真实图像对进行目标检测与图像块裁剪，获取具有内容重叠的真实图像块；
    对所述真实图像块进行过滤，获取最终真实图像对训练集。
  6. 根据权利要求5所述的暗场超分辨率成像方法，其特征在于，所述步骤： 对所述真实图像块进行过滤，获取最终真实图像对训练集，包括子步骤：
    设置所述真实图像块像素阈值，保留大于所述像素阈值的真实图像块为第一真实图像块；
    设置真实图像块清晰度阈值，利用聚焦评价算法对所述第一真实图像块清晰度进行评估；
    保留大于所述清晰度阈值的所述第一真实图像块为第二真实图像块；
    将所述第二真实图像块的数量集合保存为最终训练集。
  7. 根据权利要求6所述的暗场超分辨率成像方法，其特征在于，所述步骤：利用所述超分辨率数据集并结合超分辨率重建网络及上下文损失函数进行训练，获取超分辨率重建模型，包括子步骤：
    选择超分辨率重建网络为训练网络，利用式子(1)确定上下文损失函数L CX及特征提取网络
    Figure PCTCN2021138096-appb-100001
    Figure PCTCN2021138096-appb-100002
    其中，L CX为上下文损失函数，
    Figure PCTCN2021138096-appb-100003
    与
    Figure PCTCN2021138096-appb-100004
    表示从特征提取网络
    Figure PCTCN2021138096-appb-100005
    的第l层提取的超分辨率图像
    Figure PCTCN2021138096-appb-100006
    与低分辨率图像y的特征，CX表示从
    Figure PCTCN2021138096-appb-100007
    与
    Figure PCTCN2021138096-appb-100008
    表示
    Figure PCTCN2021138096-appb-100009
    与
    Figure PCTCN2021138096-appb-100010
    之间的上下文相似度；
    利用超分辨率重建网络的预训练模型对所述训练网络进行初始化，以加快训练速度。
  8. 一种超分辨率重建模型评估方法，用于对权利要求1-7任一所述的超分辨率重建模型超分效果进行评估，其特征在于，包括步骤：
    获取分辨率靶标的低分辨率图像；
    训练生成第一超分辨率重建模型及第二超分辨率重建模型；
    利用第一超分辨率重建模型及第二超分辨率重建模型将所述低分辨率图像重建为第一超分辨率图像及第二超分辨率图像；
    将所述第一超分辨率图像、第二超分辨率图像分别与所述低分辨率图像比较，分别获取所述第一超分辨率重建模型的提升倍数T A、第二超分辨率重建模型的提升倍数T B。
  9. 一种暗场超分辨率成像系统，利用权利要求1-7任一所述的暗场超分辨率成像方法构建颗粒物超分辨率重建模型对低分辨率颗粒物图像进行重建，得到超分辨率颗粒物图像，其特征在于，包括暗场低倍成像仪，所述暗场低倍成 像仪包括：
    图像获取单元；
    图像处理单元；
    重构单元；
    所述图像获取单元用于在现有视场及景深值下，以低倍率获取低分辨率真实颗粒物图像；
    所述图像处理单元用于对颗粒物真实图像进行目标检测与图像裁剪以获取存在颗粒物目标的低分辨率图像块；
    所述重构单元用于利用已经训练好的超分辨率重建模型对所述低分辨率图像块进行重建，得到超分辨率微颗粒物图像块。
  10. 根据权利要求9所述的暗场超分辨率成像系统，其特征在于，所述暗场超分辨率成像系统还包括：
    模型评估单元；
    所述模型评估单元用于对超分辨率重建模型的超分辨率效果进行评估。
PCT/CN2021/138096 2021-09-30 2021-12-14 一种暗场超分辨率成像方法、模型评估方法及系统 WO2023050587A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111166388.9 2021-09-30
CN202111166388.9A CN115908126A (zh) 2021-09-30 2021-09-30 一种暗场超分辨率成像方法、模型评估方法及系统

Publications (1)

Publication Number Publication Date
WO2023050587A1 true WO2023050587A1 (zh) 2023-04-06

Family

ID=85743063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/138096 WO2023050587A1 (zh) 2021-09-30 2021-12-14 一种暗场超分辨率成像方法、模型评估方法及系统

Country Status (2)

Country Link
CN (1) CN115908126A (zh)
WO (1) WO2023050587A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120300122A1 (en) * 2011-05-26 2012-11-29 Microsoft Corporation Adaptive super resolution for video enhancement
CN109117944A (zh) * 2018-08-03 2019-01-01 北京悦图遥感科技发展有限公司 一种轮船目标遥感影像的超分辨率重建方法及系统
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111476717A (zh) * 2020-04-07 2020-07-31 西安电子科技大学 基于自注意力生成对抗网络的人脸图像超分辨重建方法
CN112488924A (zh) * 2020-12-21 2021-03-12 深圳大学 一种图像超分辨率模型训练方法、重建方法及装置
CN113379601A (zh) * 2021-06-08 2021-09-10 中国科学技术大学 基于降质变分自编码器的真实世界图像超分辨方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120300122A1 (en) * 2011-05-26 2012-11-29 Microsoft Corporation Adaptive super resolution for video enhancement
CN109117944A (zh) * 2018-08-03 2019-01-01 北京悦图遥感科技发展有限公司 一种轮船目标遥感影像的超分辨率重建方法及系统
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111476717A (zh) * 2020-04-07 2020-07-31 西安电子科技大学 基于自注意力生成对抗网络的人脸图像超分辨重建方法
CN112488924A (zh) * 2020-12-21 2021-03-12 深圳大学 一种图像超分辨率模型训练方法、重建方法及装置
CN113379601A (zh) * 2021-06-08 2021-09-10 中国科学技术大学 基于降质变分自编码器的真实世界图像超分辨方法及系统

Also Published As

Publication number Publication date
CN115908126A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
Li et al. Learning warped guidance for blind face restoration
CN110782399B (zh) 一种基于多任务cnn的图像去模糊方法
WO2020087607A1 (zh) 一种基于Bi-Skip-Net的图像去模糊方法
CN107392852B (zh) 深度图像的超分辨率重建方法、装置、设备及存储介质
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN111915484A (zh) 基于密集匹配与自适应融合的参考图引导超分辨率方法
CN110517203B (zh) 一种基于参考图像重建的去雾方法
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
Anwar et al. Attention-based real image restoration
CN111654621B (zh) 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
CN112651911A (zh) 一种基于偏振图像的高动态范围成像生成方法
CN111986102B (zh) 一种数字病理图像去模糊方法
CN113538245A (zh) 基于退化模型的超分辨率图像重建方法及系统
CN110852947B (zh) 一种基于边缘锐化的红外图像超分辨方法
WO2023050587A1 (zh) 一种暗场超分辨率成像方法、模型评估方法及系统
CN116579945B (zh) 一种基于扩散模型的夜间图像复原方法
CN110853040B (zh) 一种基于超分辨率重建的图像协同分割方法
Ma et al. Super-resolution for in situ Plankton Images
Li et al. Blur-Attention: A boosting mechanism for non-uniform blurred image restoration
CN110717873A (zh) 一种基于多尺度残差的交通标识去模糊检测识别算法
Jingwei et al. SRDGAN: learning the noise prior for Super Resolution with Dual Generative Adversarial Networks
He et al. Pyramid Fusion Attention Network For Single Image Super-Resolution
Yao et al. A Deep Image Denoising Method at Transmit Electricity Surveillance Environment
Hao et al. Pollen texture migration deblurring method based on self-coding generator
CN110349100B (zh) 一种沿模糊路径的比例式像素提取方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959147

Country of ref document: EP

Kind code of ref document: A1