WO2020041936A1 - 一种图像重构方法、装置、电子设备和存储介质 - Google Patents

一种图像重构方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
WO2020041936A1
WO2020041936A1 PCT/CN2018/102525 CN2018102525W WO2020041936A1 WO 2020041936 A1 WO2020041936 A1 WO 2020041936A1 CN 2018102525 W CN2018102525 W CN 2018102525W WO 2020041936 A1 WO2020041936 A1 WO 2020041936A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
digital template
formula
super
integral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/102525
Other languages
English (en)
French (fr)
Inventor
杨志刚
张炜
陈楚芳
屈军乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to PCT/CN2018/102525 priority Critical patent/WO2020041936A1/zh
Publication of WO2020041936A1 publication Critical patent/WO2020041936A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Definitions

  • the present invention relates to the field of image processing, and in particular, to an image reconstruction method, device, electronic device, and storage medium.
  • the first is a single-molecule localization imaging method that uses the switching effect of fluorescent substances, such as Photoactivated Localization Microscopy (PALM) and random optical reconstruction microscopy ( Stochastic Optical Reconstruction Microscopy (STORM).
  • PAM Photoactivated Localization Microscopy
  • PROM Stochastic Optical Reconstruction Microscopy
  • STED Stimulated Emission Depletion
  • a beam of laser light excites the fluorescent molecules and a beam of ring-shaped loss light to erase the fluorescence around the focal point of the excitation spot, thereby limiting the place where stimulated radiation occurs, reducing the point spread function, and improving the resolution.
  • STED uses point scanning, which is not conducive to large area imaging and has low time resolution.
  • high power loss light is needed to achieve high spatial resolution, but this will cause photobleaching and cell damage; the third is Structured Illumination Microscopy (SIM).
  • SIM Structured Illumination Microscopy
  • Moire fringes are generated where the spatial frequency of the test sample and the spatial frequency of the illumination pattern are different by irradiating the fluorescently labeled sample with periodic structured light.
  • the space of the test sample can be solved based on the frequency of the known illumination pattern. frequency.
  • This kind of microscopy belongs to wide-field imaging, but it also needs to acquire multiple frames of images with low temporal resolution. In general, these typical super-resolution microscopy techniques have a common disadvantage: slow imaging speed and low time resolution are not conducive to the dynamic observation of cell information.
  • the main objective of the embodiments of the present invention is to provide an image reconstruction method, device, electronic device, and storage medium to improve the imaging speed and time resolution of super-resolution microscopy.
  • a first aspect of an embodiment of the present invention provides an image reconstruction method.
  • the image reconstruction method includes:
  • a second aspect of an embodiment of the present invention provides an image reconstruction apparatus, where the apparatus includes:
  • a first acquisition module configured to acquire a single-frame wide-field image I 0 of a target sample collected by a microscope system
  • a setting module for setting a digital template P i with the same size as the wide-field image I 0 , where i 1 ... N;
  • a first calculation module calculate a light intensity corresponding to the digital template distribution P i I i, * represents the point multiplication;
  • a second acquisition module configured to acquire a point spread function H of the microscope system
  • a processing module based on the integral T i , the point spread function H, the digital template P i , and a formula A super-resolution image S is obtained, where the Represents convolution.
  • a third aspect of the embodiments of the present invention provides an electronic device, including: a processor, a memory, and a communication bus;
  • the communication bus is configured to implement connection and communication between the processor and the memory
  • the memory is configured to store one or more programs
  • the processor is configured to execute one or more programs stored in the memory to implement the steps of the image reconstruction method as described above.
  • a fourth aspect of the embodiments of the present invention provides a storage medium, where the storage medium stores one or more programs, and the one or more programs can be executed by one or more processors to implement the foregoing. Steps of the image reconstruction method.
  • FIG. 1 is a schematic flowchart of an image reconstruction method according to an embodiment of the present invention
  • FIG. 2 is a schematic structural diagram of an image reconstruction apparatus according to an embodiment of the present invention.
  • the super resolution microscopy in the prior art has the disadvantages of slow imaging speed and low time resolution, which is not conducive to the dynamic observation of cell information.
  • an embodiment of the present invention proposes an image Reconstruction method, see FIG. 1.
  • the image reconstruction method includes:
  • Step 101 Obtain a single-frame wide-field image I 0 of a target sample collected by a microscope system
  • the microscope system in this embodiment includes a microscope and a camera combined with the microscope to acquire a microscope image.
  • the camera may be a CCD camera or a CMOS camera, which is not limited in this embodiment.
  • the image reconstruction method in this embodiment may be implemented by a terminal.
  • the terminal includes, but is not limited to, a mobile terminal such as a mobile phone and a fixed terminal such as a computer.
  • Obtaining a single-frame wide-field image I 0 of the target sample collected by the microscope system in step 101 includes: receiving a single-frame wide-field image I 0 of the target sample sent by the camera in the microscope system.
  • the original wide-field image I 0 in this embodiment can be regarded as a result of convolution of the super-resolution image S and the point spread function H of the microscope system, that is, among them Represents a convolution operation.
  • the size of the wide-field image I 0 is the same as that of the N digital templates P i , that is, the matrix of the wide-field image I 0 and the matrix of the digital template P i have the same number of rows and columns.
  • the multiplication of the digital template P i and the wide-field image I 0 is actually the multiplication of the elements at the same position in the matrix of P i and the matrix of I 0 .
  • I i (x, y) [ ⁇ S (u, v) H (xu, yv) dudv] P i (x, y), where , (X, y) represents the coordinates on the imaging plane of the camera that captures the wide-field image I 0 in the microscope system (the camera imaging plane establishes an xy coordinate system); (u, v) represents the target sample plane Coordinates (UV coordinate system is established on the plane where the target sample is located).
  • P i (x, y) dxdy can be obtained by:
  • T i ⁇ ( ⁇ S (u, v) H (xu, yv) dudv)
  • P i (x, y) dxdy ⁇ S (u, v) dudv ( ⁇ P i (x, y) H (xu, yv) dxdy)
  • the light intensity distribution I ′ i is expressed as a result of multiplying the digital template P i and the point spread function H of the microscope system by a point multiplication with the super-resolution image S. Integrating I ′ i can obtain the integral of I ′ i as:
  • the integration result of I i and I 'i is equal to the integration result.
  • the integral values of I i and I ′ i are equal, when we obtain the integral value of the multiplication result of the original wide-field image I 0 and the digital template P i , the integral value can also be considered as the light intensity distribution I ′. i points are obtained.
  • Step 105 Obtain a point spread function H of the microscope system.
  • Step 106 Based on the integral T i , the point spread function H, the digital template P i , and the formula A super-resolution image S is obtained, where Represents convolution.
  • Obtaining the super-resolution image S includes:
  • the new light intensity distribution I ′ i can be regarded as:
  • the digital template P 'i and the light intensity distribution I' integrated value of i T i are known, this single-pixel camera imaging principle the same.
  • digital template P ′ i digital template P ′ i
  • a single-pixel camera imaging algorithm to obtain a super-resolution image S includes: A digital template of the P 'i as the digit single-pixel camera imaging template used in the algorithm, the super-resolution image seen S single-pixel camera imaging algorithms to be collected, the integral T i is the light intensity distribution using a digital template P' i The integral value of the light intensity collected by the single-pixel camera at this time is used to obtain the super-resolution image S. It can be understood that when a large number of digital templates P i are used, a large number of fuzzy digital templates P ′ i and corresponding integrated values of light intensity distribution T i can also be obtained.
  • the number template P ′ i is a matrix of m rows and n columns.
  • the digital template P ′ i is regarded as the digital template used in the single-pixel camera imaging algorithm
  • the super-resolution image S is regarded as the image to be acquired in the single-pixel camera imaging algorithm
  • the integral T i of the light intensity distribution is the digital template P ′ i
  • the light intensity integrated value collected by a single-pixel camera at the time, and the super-resolution image S obtained includes:
  • the column vector X of m * n rows is combined into a matrix with m rows and n columns to obtain a super-resolution image S.
  • matrix A has N rows and m ⁇ n columns. Specifically, The i-th row of the matrix A is equal to A i , and the width of A i is m * n.
  • the column vector T also has a total of N rows. The i-th row of the vector T is equal to T i and is an integral of the light intensity distribution I i corresponding to the i-th digital template P i .
  • the preset algorithm in this embodiment includes, but is not limited to, at least one of a least squares algorithm, a conjugate gradient algorithm, and a compressed sensing algorithm.
  • the image reconstruction apparatus includes:
  • a first acquisition module 21 for acquiring a single-frame wide-field image I 0 of a target sample collected by a microscope system
  • a setting module 22 for setting a digital template P i with the same size as the wide-field image I 0 , where i 1 ... N;
  • the second calculation module 24 calculate the light intensity distribution of the integrator I i T i;
  • a second acquisition module 25, configured to acquire a point spread function H of the microscope system
  • a processing module 26 based on the integral T i , the point spread function H, the digital template P i , and a formula A super-resolution image S is obtained, where Indicates a convolution, (x, y) indicates a coordinate on an imaging plane of a camera in the microscope system that captures a wide-field image I 0 ; (u, v) indicates a coordinate on a plane on which a target sample is located.
  • the processing module 26 is configured to: according to the point spread function H, the digital template P i and the formula To obtain a new digital template P ′ i ;
  • the processing module 26 is configured to expand the digital template P ′ i into a row vector A i with a width of m ⁇ n, and combine the N row vectors A i into a matrix A;
  • the column vector X of m * n rows is combined into a matrix with m rows and n columns to obtain a super-resolution image S.
  • the electronic device includes: a processor, a memory, and a communication bus;
  • the communication bus is used to implement connection and communication between the processor and the memory
  • the memory is configured to store one or more programs
  • the processor is configured to execute one or more programs stored in the memory to implement the steps of the image reconstruction method as described above.
  • this embodiment further provides a storage medium.
  • the storage medium stores one or more programs, and the one or more programs can be executed by one or more processors, so as to implement the foregoing. Steps of image reconstruction method.
  • the microscope system only needs to acquire a single frame of image to perform image reconstruction.
  • the super-resolution image S greatly improves the imaging speed and the time resolution of the algorithm, which is conducive to observing the dynamic change process of the constituent materials inside the cells of the target sample and performing the mechanism analysis.
  • the disclosed devices, systems, and methods may be implemented in other ways.
  • the device embodiments described above are only schematic.
  • the division of modules is only a logical function division.
  • multiple modules or components may be combined or integrated.
  • To another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or modules, which may be electrical, mechanical or other forms.
  • the modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical modules, which may be located in one place, or may be distributed on multiple network modules. Some or all of the modules may be selected according to actual needs to achieve the objective of the solution of this embodiment.
  • each functional module in each embodiment of the present invention may be integrated into one processing module, or each module may exist separately physically, or two or more modules may be integrated into one module.
  • the above integrated modules may be implemented in the form of hardware or software functional modules.
  • the integrated module is implemented in the form of a software functional module and sold or used as an independent product, it can be stored in a computer-readable storage medium.
  • the technical solution of the present invention essentially or part that contributes to the existing technology or all or part of the technical solution can be embodied in the form of a software product, which is stored in a storage medium , Including a plurality of instructions for causing a computer device (which may be a personal computer, a server, or a network device, etc.) to perform all or part of the steps of the method of each embodiment of the present invention.
  • the foregoing storage media include: U disk, mobile hard disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), magnetic disks or optical disks and other media that can store program codes .

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

一种图像重构方法、装置、电子设备和存储介质。所述方法包括：获取显微镜系统采集的目标样本的单帧的宽场图像I 0（101）；设置与宽场图像I 0的尺寸相同的数字模板P i，其中i＝1…N（102）；根据公式I i＝I 0*P i，计算数字模板P i对应的光强分布I i（103）；根据公式T i＝∫I i，计算光强分布I i的积分T i（104）；获取显微镜系统的点扩散函数H（105）；基于公式（I）和已知的积分T i、点扩散函数H以及数字模板Pi，求得未知的超分辨图像S（106）。根据该方法，显微镜系统只需要采集单帧的图像即可进行图像重构得到超分辨图像S，大大提升了成像速度以及算法的时间分辨率，有利于观察目标样本的细胞内部组成物质的动态变化过程及进行机制分析。

Description

一种图像重构方法、装置、电子设备和存储介质 技术领域
本发明涉及图像处理领域，尤其涉及一种图像重构方法、装置、电子设备和存储介质。
背景技术
近20年来，随着衍射极限的突破，技术以及荧光探针的发展，超分辨显微技术已经成为观察研究生物细胞活动的重要方法。它从原理上大致可分为三种：第一种是利用荧光物质开关效应的单分子定位成像方法，例如光激活定位显微术(Photoactivated Localization Microscopy，PALM)和随机光学重构显微术(Stochastic Optical Reconstruction Microscopy，STORM)。样品被荧光探针标记后，用一束激活光激活荧光分子，另一波长激发光激发荧光分子并成像。但这两种技术都需要采集很多幅原始图像，时间分辨率低；第二种是基于荧光非线性效应，对点扩散函数进行减小的显微术。典型技术代表为受激发射损耗显微术(Stimulated Emission Depletion,STED)。一束激光激发荧光分子，一束环形损耗光来将激发光斑焦点外围的荧光擦除，从而限制发生受激辐射的地方，减小点扩散函数，提高分辨率。STED采用点扫描，不利于大面积的成像，时间分辨率低。而且需要用功率较高的损耗光才能实现高的空间分辨率，但这样会造成光漂白和细胞损伤；第三种是结构光照明显微术(Structured Illumination Microscopy,SIM)。用周期性的结构光照射被荧光标记的样品，被测样品的空间频率和照明图案的空间频率不同的地方会产生莫尔条纹，根据已知的照明图案的频率可解出被测样品的空间频率。这种显微术属于宽场成像，但也需要采集多帧图像，时间分辨率低。总体上讲，这几种典型的超分辨显微 技术都存在一个共同的缺点：成像速度慢，时间分辨率都比较低，不利于实现对细胞信息的动态观察。
发明内容
本发明实施例的主要目的在于提供一种图像重构方法、装置、电子设备和存储介质，提升超分辨显微技术的成像速度和时间分辨率。
为实现上述目的，本发明实施例第一方面提供一种图像重构方法，该图像重构方法包括：
获取显微镜系统采集的目标样本的单帧的宽场图像I 0；
设置与所述宽场图像I 0的尺寸相同的数字模板P i，其中i＝1…N；
根据公式I i＝I 0*P i，计算所述数字模板P i对应的光强分布I i，所述*表示点乘；
根据公式T i＝∫I i，计算所述光强分布I i的积分T i；
获取所述显微镜系统的点扩散函数H；
基于所述积分T i、所述点扩散函数H、所述数字模板P i、以及公式
Figure PCTCN2018102525-appb-000001
得到超分辨图像S，其中，所述
Figure PCTCN2018102525-appb-000002
表示卷积。
为实现上述目的，本发明实施例第二方面提供一种图像重构装置，该装置包括：
第一获取模块，用于获取显微镜系统采集的目标样本的单帧的宽场图像I 0；
设置模块，用于设置与所述宽场图像I 0的尺寸相同的数字模板P i，其中i＝1…N；
第一计算模块，用于根据公式I i＝I 0*P i，计算所述数字模板P i对应的光强分布I i，所述*表示点乘；
第二计算模块，用于根据公式T i＝∫I i，计算所述光强分布I i的积分T i；
第二获取模块，用于获取所述显微镜系统的点扩散函数H；
处理模块，用于基于所述积分T i、所述点扩散函数H、所述数字模板P i、以及公式
Figure PCTCN2018102525-appb-000003
得到超分辨图像S，其中，所述
Figure PCTCN2018102525-appb-000004
表示卷积。
为实现上述目的，本发明实施例第三方面提供一种电子设备，该电子设备包括：包括：处理器、存储器及通信总线；
所述通信总线用于实现所述处理器和所述存储器之间的连接通信；
所述存储器用于存储一个或多个程序，所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现如上述的图像重构方法的步骤。
为实现上述目的，本发明实施例第四方面提供一种存储介质，该存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述的图像重构方法的步骤。
本发明实施例提供了一种图像重构方法、装置、电子设备和存储介质，可获取显微镜系统采集的目标样本的单帧的宽场图像I 0，设置与所述宽场图像I 0的尺寸相同的数字模板P i，其中i＝1…N；根据公式I i＝I 0*P i，计算所述数字模板P i对应的光强分布I i；根据公式T i＝∫I i，计算所述光强分布I i的积分T i；获取所述显微镜系统的点扩散函数H；基于公式
Figure PCTCN2018102525-appb-000005
和已知的积分T i、点扩散函数H以及数字模板Pi，求得未知的超分辨图像S，根据本发明实施例的方案，只需要显微镜系统采集单帧的图像即可进行图像重构得到超分辨图像S，大大提升了成像速度以及算法的时间分辨率，有利于观察目标样本的细胞内部组成物质的动态变化过程及进行机制分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创 造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种图像重构方法的流程示意图；
图2为本发明实施例中一种图像重构装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中的超分辨显微技术存在成像速度慢，时间分辨率较低的缺点，不利于实现对细胞信息的动态观察，为了解决现有技术中的问题，本发明实施例提出一种图像重构方法，参见图1，该图像重构方法包括：
步骤101、获取显微镜系统采集的目标样本的单帧的宽场图像I 0；
本实施例中显微镜系统包括显微镜以及和该显微镜结合来获取显微镜成像图像的相机。本实施例中，相机可以是CCD相机或CMOS相机，本实施例对此没有限制。
本实施例的图像重构方法可以是由终端实现，该终端包括但不限于如手机等移动终端以及如电脑等固定终端。步骤101中获取显微镜系统采集的目标样本的单帧的宽场图像I 0包括：接收显微镜系统中相机发送的目标样本的单帧的宽场图像I 0。
其中，本实施例的原始的宽场图像I 0可以看作超分辨图像S与显微镜系统的点扩散函数H卷积之后的结果，即
Figure PCTCN2018102525-appb-000006
其中
Figure PCTCN2018102525-appb-000007
表示卷积运算。
步骤102、设置与宽场图像I 0的尺寸相同的数字模板P i，其中i＝1…N；
步骤103、根据公式I i＝I 0*P i，计算数字模板P i对应的光强分布I i，其中，* 表示点乘；
本实施例中，宽场图像I 0的尺寸和N个数字模板P i的尺寸相同，即宽场图像I 0的矩阵和数字模板P i的矩阵具有相同的行数和列数。数字模板P i与宽场图像I 0点乘，实际上就是P i的矩阵和I 0的矩阵中的相同位置的元素相乘。
将
Figure PCTCN2018102525-appb-000008
代入公式I i＝I 0*P i，并进行展开可以得到I i(x,y)＝[∫∫S(u,v)H(x-u,y-v)dudv]P i(x,y)，其中，(x，y)表示显微镜系统中拍摄宽场图像I 0的相机的成像平面上的坐标(相机的成像平面上建立的是xy坐标系)；(u，v)表示目标样本所在平面上的坐标(目标样本所在平面上建立的是uv坐标系)。
步骤104、根据公式T i＝∫I i，计算光强分布I i的积分T i；
具体的，根据已知的I 0和P i，计算与数字模板P i对应的光强分布I i的积分T i。另一方面，将I i(x,y)＝[∫∫S(u,v)H(x-u,y-v)dudv]P i(x,y)代入T i＝∫I i，得到积分T i的表达式为：
T i＝∫I i＝∫∫(∫∫S(u,v)H(x-u,y-v)dudv)P i(x,y)dxdy
对式子T i＝∫I i＝∫∫(∫∫S(u,v)H(x-u,y-v)dudv)P i(x,y)dxdy进行变形可以得到：
T i＝∫∫(∫∫S(u,v)H(x-u,y-v)dudv)P i(x,y)dxdy＝∫∫S(u,v)dudv(∫∫P i(x,y)H(x-u,y-v)dxdy)
这里假设一个新的光强分布
Figure PCTCN2018102525-appb-000009
即光强分布I′ i表示为数字模板P i与显微镜系统的点扩散函数H卷积之后再与超分辨图像S点乘的结果。对I′ i进行积分可得I′ i的积分为：
∫∫S(u,v)dudv(∫∫P i(x,y)H(x-u,y-v)dxdy)
所以I i的积分结果和I′ i的积分结果相等。依据I i和I′ i的积分值相等的结论，当我们得到原始的宽场图像I 0与数字模板P i点乘结果的积分值时，同样可以认为该积分值是对光强分布I′ i积分得到。
所以，
Figure PCTCN2018102525-appb-000010
在这个式子中，积分T i在步骤104中已计算得到，P i在步骤102中已获取，所以只要获取点扩散函数H，在
Figure PCTCN2018102525-appb-000011
中就只有S为未知，其它均为已知，根据已知的积分T i、数字模板P i和点扩散函数H求解S即可。T i
步骤105、获取显微镜系统的点扩散函数H；
步骤106、基于积分T i、点扩散函数H、数字模板P i、以及公式
Figure PCTCN2018102525-appb-000012
得到超分辨图像S，其中，
Figure PCTCN2018102525-appb-000013
表示卷积。
可选的，基于积分T i、点扩散函数H、数字模板P i、以及公式
Figure PCTCN2018102525-appb-000014
得到超分辨图像S包括：
根据点扩散函数H、数字模板P i以及公式
Figure PCTCN2018102525-appb-000015
得到新的数字模板P′ i；
根据公式
Figure PCTCN2018102525-appb-000016
得到
Figure PCTCN2018102525-appb-000017
基于积分T i、P′ i、
Figure PCTCN2018102525-appb-000018
以及单像素相机成像算法，得到超分辨图像S。
具体的，当我们测量显微镜系统的点扩散函数H之后，将点扩散函数H分别与i＝1······N的N个数字模板P i进行卷积，可以得到模糊数字模板P′ i，其中
Figure PCTCN2018102525-appb-000019
将模糊数字模板P′ i视为新的数字模板时，新的光强分布I′ i可以看做为：
I′ i＝P′ i*S
同时，
T i＝∫I′ i＝∫P′ i*S
在式子T i＝∫I′ i＝∫P′ i*S中，数字模板P′ i与光强分布I′ i的积分值T i是已知的，这种情况与单像素相机成像原理相同。基于积分T i、数字模板P′ i、
Figure PCTCN2018102525-appb-000020
以及单像素相机成像算法，得到超分辨图像S包括：基于 公式
Figure PCTCN2018102525-appb-000021
将数字模板P′ i看做单像素相机成像算法中使用的数字模板，超分辨图像S看做单像素相机成像算法中需要采集的图像，光强分布的积分T i为使用数字模板P′ i时由单像素相机采集的光强积分值，求得超分辨图像S。可以理解的是，当采用大量的数字模板P i时，同样可以获得大量的模糊数字模板P′ i以及对应光强分布积分值T i。
本实施例中，假设数字模板P′ i为m行n列的矩阵。具体的，基于公式
Figure PCTCN2018102525-appb-000022
将数字模板P′ i看做单像素相机成像算法中使用的数字模板，超分辨图像S看做单像素相机成像算法中需要采集的图像，光强分布的积分T i为使用数字模板P′ i时由单像素相机采集的光强积分值，求得超分辨图像S包括：
将数字模板P′ i展开成宽度为m×n的行向量A i，将N个行向量A i组合成矩阵A；
将N个数字模板P i所对应的不同积分T i组合成列向量Τ；
对方程组AX＝T，根据预设算法计算出列向量X，其中，X为m*n行的列向量，X为超分辨图像S的展开形式；
将m*n行的列向量X组合成具有m行n列的矩阵，得到超分辨图像S。
其中，可以理解的是，矩阵A共有N行，m×n列，具体的
Figure PCTCN2018102525-appb-000023
矩阵A的第i行等于A i，A i的宽度为m*n。列向量Τ一共也有N行，具体的
Figure PCTCN2018102525-appb-000024
向量Τ的第i行等于Τ i，是第i个数字模板P i对应的光强分布I i的积分。
本实施例中预设算法包括但不限于：最小二乘算法、共轭梯度算法和压缩感知算法中的至少一种。
为了解决现有技术中的问题，本实施例还提供一种图像重构装置，参见图2，该图像重构装置包括：
第一获取模21，用于获取显微镜系统采集的目标样本的单帧的宽场图像I 0；
设置模块22，用于设置与宽场图像I 0的尺寸相同的数字模板P i，其中i＝1…N；
第一计算模块23，用于根据公式I i＝I 0*P i，计算数字模板P i对应的光强分布I i，*表示点乘；
第二计算模块24，用于根据公式T i＝∫I i，计算光强分布I i的积分T i；
第二获取模块25，用于获取显微镜系统的点扩散函数H；
处理模块26，用于基于积分T i、点扩散函数H、数字模板P i、以及公式
Figure PCTCN2018102525-appb-000025
得到超分辨图像S，其中，
Figure PCTCN2018102525-appb-000026
表示卷积，(x，y)表示显微镜系统中拍摄宽场图像I 0的相机的成像平面上的坐标；(u，v)表示目标样本所在平面上的坐标。
可选的，处理模块26，用于根据点扩散函数H、数字模板P i以及公式
Figure PCTCN2018102525-appb-000027
得到新的数字模板P′ i；
根据公式
Figure PCTCN2018102525-appb-000028
得到
Figure PCTCN2018102525-appb-000029
基于积分T i、P′ i、
Figure PCTCN2018102525-appb-000030
以及单像素相机成像算法，得到超分辨图像S。
可选的，处理模块26，用于将数字模板P′ i展开成宽度为m×n的行向量A i，将N个行向量A i组合成矩阵A；
将N个数字模板P i所对应的不同积分T i组合成列向量Τ；
对方程组AX＝T，根据预设算法计算出列向量X，其中，X为m*n行的列向量，X为超分辨图像S的展开形式；
将m*n行的列向量X组合成具有m行n列的矩阵，得到超分辨图像S。
为了解决现有技术中的问题，本实施例还提供一种电子设备，该电子设备包括：处理器、存储器及通信总线；
通信总线用于实现处理器和存储器之间的连接通信；
存储器用于存储一个或多个程序，处理器用于执行存储器中存储的一个或者多个程序，以实现如上述的图像重构方法的步骤。
为了解决现有技术中的问题，本实施例还提供一种存储介质，该存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上述的图像重构方法的步骤。
采用本实施例的方案，可获取显微镜系统采集的目标样本的单帧的宽场图像I 0，设置与宽场图像I 0的尺寸相同的数字模板P i，其中i＝1…N；根据公式I i＝I 0*P i，计算数字模板P i对应的光强分布I i；根据公式T i＝∫I i，计算光强分布I i的积分T i；获取显微镜系统的点扩散函数H；基于公式
Figure PCTCN2018102525-appb-000031
和已知的积分T i、点扩散函数H以及数字模板Pi，求得未知的超分辨图像S，根据本发明实施例的方案，显微镜系统只需要采集单帧的图像即可进行图像重构得到超分辨图像S，大大提升了成像速度以及算法的时间分辨率，有利于观察目标样本的细胞内部组成物质的动态变化过程及进行机制分析。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置、系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可 以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种图像重构方法、装置、电子设备和存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限 制。

Claims (9)

  1. 一种图像重构方法，其特征在于，包括：
    获取显微镜系统采集的目标样本的单帧的宽场图像I 0；
    设置与所述宽场图像I 0的尺寸相同的数字模板P i，其中i＝1…N；
    根据公式I i＝I 0*P i，计算所述数字模板P i对应的光强分布I i，所述*表示点乘；
    根据公式T i＝∫I i，计算所述光强分布I i的积分T i；
    获取所述显微镜系统的点扩散函数H；
    基于所述积分T i、所述点扩散函数H、所述数字模板P i、以及公式
    Figure PCTCN2018102525-appb-100001
    得到超分辨图像S，其中，所述
    Figure PCTCN2018102525-appb-100002
    表示卷积。
  2. 如权利要求1所述的图像重构方法，其特征在于，所述基于所述积分T i、所述点扩散函数H、所述数字模板P i、以及公式
    Figure PCTCN2018102525-appb-100003
    得到超分辨图像S包括：
    根据所述点扩散函数H、所述数字模板P i以及公式
    Figure PCTCN2018102525-appb-100004
    得到新的数字模板P i′；
    根据公式
    Figure PCTCN2018102525-appb-100005
    得到
    Figure PCTCN2018102525-appb-100006
    基于所述积分T i、所述P i′、所述
    Figure PCTCN2018102525-appb-100007
    以及单像素相机成像算法，得到超分辨图像S。
  3. 如权利要求2所述的图像重构方法，其特征在于，所述数字模板P i′为m行n列的矩阵，所述基于所述积分T i、所述P i′、所述
    Figure PCTCN2018102525-appb-100008
    以及单像素相机成像算法，得到超分辨图像S包括：
    将所述数字模板P i′展开成宽度为m×n的行向量A i，将N个行向量A i组合成矩阵A；
    将N个所述数字模板P i所对应的不同积分T i组合成列向量Τ；
    对方程组AX＝T，根据预设算法计算出列向量X，其中，所述X为m*n行的列向量，所述X为超分辨图像S的展开形式；
    将m*n行的列向量X组合成具有m行n列的矩阵，得到超分辨图像S。
  4. 如权利要求3所述的图像重构方法，其特征在于，所述预设算法包括：最小二乘算法、共轭梯度算法和压缩感知算法中的至少一种。
  5. 一种图像重构装置，其特征在于，包括：
    第一获取模块，用于获取显微镜系统采集的目标样本的单帧的宽场图像I 0；
    设置模块，用于设置与所述宽场图像I 0的尺寸相同的数字模板P i，其中i＝1…N；
    第一计算模块，用于根据公式I i＝I 0*P i，计算所述数字模板P i对应的光强分布I i，所述*表示点乘；
    第二计算模块，用于根据公式T i＝∫I i，计算所述光强分布I i的积分T i；
    第二获取模块，用于获取所述显微镜系统的点扩散函数H；
    处理模块，用于基于所述积分T i、所述点扩散函数H、所述数字模板P i、以及公式
    Figure PCTCN2018102525-appb-100009
    得到超分辨图像S，其中，所述
    Figure PCTCN2018102525-appb-100010
    表示卷积。
  6. 如权利要求5所述的图像重构装置，其特征在于，所述处理模块，用于根据所述点扩散函数H、所述数字模板P i以及公式
    Figure PCTCN2018102525-appb-100011
    得到新的数字模板P i′；根据公式
    Figure PCTCN2018102525-appb-100012
    得到
    Figure PCTCN2018102525-appb-100013
    基于所述积分T i、所述P i′、所述
    Figure PCTCN2018102525-appb-100014
    以及单像素相机成像算法，得到超分辨图像S。
  7. 如权利要求6所述的图像重构装置，其特征在于，所述处理模块，用于将所述数字模板P i′展开成宽度为m×n的行向量A i，将N个行向量A i组合成矩阵A；将N个所述数字模板P i所对应的不同积分T i组合成列向量Τ；对方程组AX＝T，根据预设算法计算出列向量X，其中，所述X为m*n行的列向量，所述X为超分辨图像S的展开形式；将m*n行的列向量X组合成具有m行n列的矩阵，得到超分辨图像S。
  8. 一种电子设备，其特征在于，包括：包括：处理器、存储器及通信总线；
    所述通信总线用于实现所述处理器和所述存储器之间的连接通信；
    所述存储器用于存储一个或多个程序，所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现如权利要求1-4中任一项所述的图像重构方法的步骤。
  9. 一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-4中任一项所述的图像重构方法的步骤。
PCT/CN2018/102525 2018-08-27 2018-08-27 一种图像重构方法、装置、电子设备和存储介质 Ceased WO2020041936A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/102525 WO2020041936A1 (zh) 2018-08-27 2018-08-27 一种图像重构方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/102525 WO2020041936A1 (zh) 2018-08-27 2018-08-27 一种图像重构方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
WO2020041936A1 true WO2020041936A1 (zh) 2020-03-05

Family

ID=69642684

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/102525 Ceased WO2020041936A1 (zh) 2018-08-27 2018-08-27 一种图像重构方法、装置、电子设备和存储介质

Country Status (1)

Country Link
WO (1) WO2020041936A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407799A (zh) * 2015-03-13 2017-11-28 加州理工学院 使用傅里叶叠层成像技术校正不相干成像系统中的像差
CN108319009A (zh) * 2018-04-11 2018-07-24 中国科学院光电技术研究所 基于结构光调制的快速超分辨成像方法
CN108318464A (zh) * 2018-01-23 2018-07-24 深圳大学 一种超分辨荧光波动显微成像方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407799A (zh) * 2015-03-13 2017-11-28 加州理工学院 使用傅里叶叠层成像技术校正不相干成像系统中的像差
CN108318464A (zh) * 2018-01-23 2018-07-24 深圳大学 一种超分辨荧光波动显微成像方法、装置及存储介质
CN108319009A (zh) * 2018-04-11 2018-07-24 中国科学院光电技术研究所 基于结构光调制的快速超分辨成像方法

Similar Documents

Publication Publication Date Title
Sibarita Deconvolution microscopy
Sarder et al. Deconvolution methods for 3-D fluorescence microscopy images
US20180329225A1 (en) Pattern Detection at Low Signal-To-Noise Ratio
KR20120114933A (ko) 초고해상도 현미경 시스템 및 그 시스템을 이용한 영상 획득 방법
JP2021513095A (ja) 局在化顕微鏡法のための方法及びシステム
CN106530381B (zh) 一种基于gpu加速的三维荧光显微图像的去卷积算法
CN116245790B (zh) 一种精子三维形态的动态观测方法、装置及存储介质
Spring et al. Image analysis for denoising full‐field frequency‐domain fluorescence lifetime images
CN111123496B (zh) 基于希尔伯特变换的结构照明快速三维彩色显微成像方法
CN104062272B (zh) 一种适用于高速连续超分辨定位成像方法及系统
CN111402210B (zh) 一种单分子荧光信号图像的超分辨定位方法及系统
US11340057B2 (en) Systems and methods for interferometric multifocus microscopy
Rieger et al. Image processing and analysis for single-molecule localization microscopy: Computation for nanoscale imaging
Zhao et al. Faster super-resolution imaging with auto-correlation two-step deconvolution
CN115100033B (zh) 一种荧光显微图像超分辨重建方法和装置以及计算设备
US11422090B2 (en) Phase plate for high precision wavelength extraction in a microscope
CN116539576A (zh) 寻址扫描超分辨率显微成像方法及相关设备
Liu et al. Enhancing structural illumination microscopy with hybrid CNN-transformer and dynamic frequency loss
CN109146790B (zh) 一种图像重构方法、装置、电子设备和存储介质
Herberich et al. Signal and noise modeling in confocal laser scanning fluorescence microscopy
WO2020041936A1 (zh) 一种图像重构方法、装置、电子设备和存储介质
US20240428375A1 (en) Holographic ultra resolution imaging
CN108717685A (zh) 一种增强图像分辨率的方法及系统
CN112651884A (zh) 一种获取层析超分辨率图像的方法、装置及电子设备
CN108550128B (zh) 一种单分子荧光散焦图像处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18931302

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11.06.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18931302

Country of ref document: EP

Kind code of ref document: A1