WO2020051764A1 - 分子定位超分辨成像的降噪方法、装置及终端设备 - Google Patents

分子定位超分辨成像的降噪方法、装置及终端设备 Download PDF

Info

Publication number
WO2020051764A1
WO2020051764A1 PCT/CN2018/104992 CN2018104992W WO2020051764A1 WO 2020051764 A1 WO2020051764 A1 WO 2020051764A1 CN 2018104992 W CN2018104992 W CN 2018104992W WO 2020051764 A1 WO2020051764 A1 WO 2020051764A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
super
intensity
molecular
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/104992
Other languages
English (en)
French (fr)
Inventor
屈军乐
陈秉灵
潘文慧
杨志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to PCT/CN2018/104992 priority Critical patent/WO2020051764A1/zh
Publication of WO2020051764A1 publication Critical patent/WO2020051764A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Definitions

  • the invention relates to the technical field of image processing, and in particular, to a method, a device, and a terminal device for reducing noise of molecular localized super-resolution imaging.
  • Fluorescence microscopy is widely used in cell microbiology imaging.
  • molecular localized super-resolution imaging is a representative super-resolution fluorescence imaging technology.
  • This technology combines single-molecule imaging with high-precision molecular positioning algorithms on the basis of fluorescence microscopy to achieve ultra-high spatial resolution of 20-30 nm to observe the ultra-microstructure in cells.
  • Single-molecule localization imaging methods include light-activated localization microscopy, random optical reconstruction microscopy, and fluorescent light-sensitive localization microscopy. They all use random activation of fluorescence to turn on a single photoactive molecule and then image and bleach these single molecules. Only one fluorescent probe emits light within the diffraction limit. Then, all the single-molecule coordinates obtained by the light activation and imaging / bleaching cycles are obtained through the positioning algorithm, and a final super-resolution image is obtained by reconstruction.
  • the main purpose of the present invention is to propose a noise reduction method, device and terminal device for molecular localization super-resolution imaging, so as to solve the problem of low localization accuracy of the molecular localization super-resolution imaging method in the case of high-density labeled samples.
  • the first aspect of the present invention provides a molecular localization super-resolution imaging method for noise reduction, which is applied to a molecular localization super-resolution microscope.
  • the molecular localization super-resolution imaging method includes:
  • An image is processed according to the N reconstructed units to generate a super-resolution image.
  • performing the Poisson correction on the unit-processed image to obtain a first image includes:
  • performing the principal component analysis on the first image to obtain a second image includes:
  • a first image coordinate systems are established, and the variables in the a first image coordinate system are mapped to the principal elements of the a + 1th first image coordinate system To obtain the variables of the a + 1th first image coordinate system, wherein A is an integer greater than 1 and a is an integer greater than or equal to 1 and less than A;
  • V is a right singular vector
  • V T is a transpose of V, including the right eigenvector of the covariance matrix
  • U is a left singular vector
  • D is the The diagonal matrix corresponding to the eigenvalues of the covariance matrix
  • m indicates that the m feature values correspond to m feature images, and the m principal features determine m principal components;
  • V p, i represents the value of the p-th feature vector in the i-th frame
  • Re represents the intensity value of the k-th pixel in the i-th frame after Poisson correction
  • q represents the total number of frames.
  • extracting an image reconstruction component from the second image, reconstructing an image based on the image reconstruction component, and obtaining a reconstructed unit-processed image includes:
  • the reconstruction component is extracted according to the second image, and the specific gravity of the m second images is calculated.
  • the calculation formula is:
  • a projection matrix is established according to the proportions of the m second images, and the formula is:
  • S m represents a projection matrix established by m according to the specific gravity of the m second images
  • V m represents a feature vector corresponding to m feature values.
  • An image is reconstructed according to the q-frame image composed of k pixels after the denoising, to obtain a reconstructed unit-processed image.
  • the diagonal matrices D corresponding to the eigenvalues of the covariance matrix are sorted in descending order.
  • a molecular positioning super-resolution imaging noise reduction device is applied to a molecular positioning super-resolution microscope.
  • the molecular positioning super-resolution imaging noise reduction device includes:
  • a segmentation module for segmenting an image obtained by a molecular positioning super-resolution microscope to obtain several unit-processed images
  • a correction module configured to perform Poisson correction on the unit processed image to obtain a first image
  • a principal component analysis module configured to perform principal component analysis on the first image to obtain a second image
  • a reconstruction module configured to extract an image reconstruction component from the second image, reconstruct an image according to the image reconstruction component, and obtain a reconstructed unit-processed image
  • An image generation module is configured to process an image according to a number of the reconstructed units to generate a super-resolution image.
  • the correction module includes:
  • An obtaining unit configured to obtain a noise signal and an original image signal in an image processed by the unit
  • An adjusting unit configured to adjust the distribution of the intensity of the noise signal and the intensity of the original image signal through the Poisson correction to obtain a first image
  • the principal component analysis module includes:
  • a coordinate mapping unit configured to establish A first image coordinate systems according to the number of frames in the first image, and map variables in the a first image coordinate system to an a + 1 first The principal element of the image coordinate system, to obtain the a + 1st variables of the first image coordinate system, where A is an integer greater than 1 and a is an integer greater than or equal to 1 and less than A;
  • a covariance matrix establishing unit is configured to establish a covariance matrix based on the mapped first image, and a formula is:
  • the eigenvalue calculation unit is configured to calculate an eigenvalue in the covariance matrix, and the formula is:
  • V is a right singular vector
  • V T is a transpose of V, including the right eigenvector of the covariance matrix
  • U is a left singular vector
  • D is the The diagonal matrix corresponding to the eigenvalues of the covariance matrix
  • m indicates that the m feature values correspond to m feature images, and the m principal features determine m principal components;
  • the principal component analysis unit is configured to calculate the value of the P-th principal component at k pixels in the m characteristic images to obtain a second image, and the formula is:
  • v p, i represents the value of the p-th feature vector in the i-th frame
  • q represents the total number of frames.
  • a third aspect of the embodiments of the present invention provides a terminal device including a memory, a processor, and a computer program stored on the memory and executable on the processor.
  • the processor executes the computer program, the foregoing is implemented.
  • a fourth aspect of the embodiments of the present invention provides a storage medium.
  • the storage medium is a computer-readable storage medium on which a computer program is stored.
  • the computer program is executed by a processor, the above-mentioned molecular localization super-resolution imaging is implemented. Steps in the noise reduction method.
  • the noise reduction method for molecular localized super-resolution imaging extracts several unit processed images from the image obtained by the molecular localized super-resolution microscope, and performs Poisson correction on each unit processed image to reduce the high linear correlation in the labeled sample. Variables, and then carry out principal component analysis on the basis of the corrected image, keep as much of the main information of the original image on the time series as possible, remove excess noise, that is, reduce the repeated parts of the image reconstruction components, and improve molecular localization super-resolution imaging
  • the positioning accuracy of the single molecule in the positioning process of the system was used to obtain a super-resolution image.
  • FIG. 1 is a schematic flowchart of implementing a noise reduction method for molecular localized super-resolution imaging provided in Embodiment 1 of the present invention
  • FIG. 2 is a schematic flowchart of the detailed steps of step S102 in FIG. 1; FIG.
  • FIG. 3 is a schematic flowchart of the detailed steps of step S103 in FIG. 1; FIG.
  • FIG. 4 is a schematic flowchart of the detailed steps of step S104 in FIG. 1; FIG.
  • FIG. 5 is a schematic structural diagram of a noise reduction device for molecular localized super-resolution imaging provided in Embodiment 2 of the present invention.
  • FIG. 6 is a schematic structural diagram of a correction module in FIG. 5;
  • FIG. 7 is a schematic structural diagram of a principal component analysis module in FIG. 5.
  • an embodiment of the present invention provides a method for reducing noise of molecular localized super-resolution imaging, which is applied to molecular localized super-resolution microscopy such as a random optical reconstruction microscope to improve the imaging process of cells and microorganisms;
  • Denoising methods for resolution imaging include:
  • the image obtained by the molecular localization super-resolution microscope is an image obtained by fluorescence information emitted from the sample collected after the fluorescent probe has finished flickering within a certain time.
  • the image obtained at this time there are many cases where molecules overlap with each other in a single frame image, which will cause the positioning algorithm to locate the single molecule incorrectly.
  • segmenting an image obtained by a molecular positioning super-resolution microscope to obtain a unit-processed image can improve positioning accuracy and a noise reduction effect of molecular positioning super-resolution imaging.
  • the specific segmentation method of the image can be arbitrary, reducing the image processing area; for example: segmenting according to the number of frames of the image, segmenting according to the pixels of a single frame image, or dividing the image according to the number of frames, and then The pixels are divided to obtain a unit-processed image, which is not specifically limited in the implementation of the present invention.
  • step S102 performing Poisson correction on the unit-processed image manifests itself as: correcting the dependence of the detection noise on the signal intensity similar to the Poisson distribution, and retaining the linear relationship between the variables in the unit-processed image, such as different pixels in the image Linear relationship between the intensity vectors.
  • step S102 performing Poisson correction on the unit-processed image, and obtaining the first image may include:
  • the source of the noise signal is the molecular positioning super-resolution imaging system.
  • photon noise and other sensor-based noise sources contribute to different proportions at different signal levels, resulting in the distribution of the noise signal. It is related to the intensity of the image signal; the signal intensity of the original image signal is expressed as the brightness at each pixel in the image; in the embodiment of the present invention, obtaining the original image signal is to obtain the brightness at each pixel in the image and the distribution of the noise signal Related to the brightness at each pixel in the image.
  • the intensity at the k-th pixel detected in the original image of the i-th frame is the average intensity of the entire original image in the i-th frame, and k is a positive integer.
  • the formula for adjusting the distribution of the noise signal intensity and the original image signal intensity indicates that the obtained original image intensity is divided by the square root of the average intensity at each time point; the first image is a Poisson correction process on the original image After the image.
  • Poisson correction is used to adjust the distribution of the intensity of the noise signal and the intensity of the original image signal to reduce the correlation between the distribution of the noise signal and the distribution of the original image signal, while retaining the unit processing variables in the image A linear relationship, such as a linear relationship between the intensity vectors of different pixels in an image.
  • a principal component analysis process is performed on the original image after the Poisson correction process is performed.
  • the principal component analysis is a spatial mapping method, which can delete repeated variables or closely related variables to establish as few as possible
  • the new variables make the new variables irrelevant to each other, and the new variables retain the original information as much as possible in terms of reflecting the topic's information.
  • Performing the principal component analysis on the first image in the foregoing step S103 includes:
  • step S1031 according to the number of frames in the first image, A first image coordinate systems are established, and A is still smaller than the number of frames in the first image; because images with different frame numbers in the first image have different , By mapping the variables in the coordinate system to the principal elements in the adjacent coordinate system, the linear correlation between the variables can be reduced.
  • a covariance matrix is established according to the mapped first image coordinate system, and the formula is:
  • V is a right singular vector
  • V T is a transpose of V, including a right eigenvector of the second covariance matrix
  • U is a left singular vector
  • D is a diagonal matrix corresponding to the eigenvalues of the second covariance matrix.
  • the linear correlation between variables is measured through the covariance matrix; at the same time, for the purpose of principal component analysis, the obtained covariance matrix is subjected to singular value decomposition to extract the eigenvectors of C and Eigenvalues to analyze the matrix and write it as the product of three matrices.
  • the sample when the sample is n-dimensional data, its covariance is actually a covariance matrix (symmetric square matrix), and the side length of the square matrix is Cn 2 .
  • the covariance is:
  • singular value decomposition is a decomposition method that can be applied to any matrix.
  • the sigma matrix obtained by the decomposition is a diagonal matrix, and the eigenvalues are arranged from large to small.
  • the special eigenvectors corresponding to these eigenvalues describe the change direction of the matrix, that is, from the major change to the minor change. arrangement.
  • this matrix is a linear transformation in a high-dimensional space. This linear change may not be represented by pictures, but it is conceivable that this transformation also has many transformation directions.
  • the first N feature vectors obtained through eigenvalue decomposition correspond to the N major change directions of this matrix. Using these first N directions of change, the most important features of this matrix can be extracted. According to the above features, after reducing the correlation between variables, the variables can reflect the subject's information as much as possible while retaining the original information.
  • the magnitude of the variance describes the amount of information of a variable.
  • the direction of the large variance is the direction of the signal
  • the direction of the small variance is the direction of the noise.
  • Ratio which is the signal-to-noise ratio.
  • the singular value decomposition can find the axis with the largest variance, that is, the first singular vector, and the axis with the second largest variance is the second singular vector. In general, a set of mutually orthogonal coordinate axes is sequentially found in the original space.
  • the first axis makes the variance the largest
  • the second axis makes the plane orthogonal to the first axis such that The variance is the largest
  • the third axis is the largest in the plane orthogonal to the first and second axes.
  • the diagonal matrices D corresponding to the eigenvalues of the second covariance matrix are sorted in descending order.
  • m indicates that the m feature values correspond to m feature images, and the m principal features determine m principal components;
  • V p, i represents the value of the p-th feature vector in the i-th frame
  • Re represents the intensity value of the k-th pixel in the i-th frame after Poisson correction
  • q represents the total number of frames.
  • step S1034 since one feature vector corresponds to one projection image, m projection images (S1, S2, ..., Sm) are obtained, that is, the second image.
  • an image reconstruction component is extracted from the original image after Poisson correction and dimensionality reduction.
  • the extracted reconstruction component avoids repeated extraction on the one hand, and it is necessary to ensure reconstruction based on this reconstruction component. No information is lost in the image.
  • step S104 an image reconstruction component is extracted from the second image, and an image is reconstructed according to the image reconstruction component to obtain a reconstruction.
  • the post-processing image includes:
  • a projection matrix is established according to the proportions of the m second images, and the formula is:
  • S m represents a projection matrix established by m according to the specific gravity of the m second images
  • V m represents a feature vector corresponding to m feature values.
  • An image is reconstructed according to the q-frame image composed of k pixels after the denoising, to obtain a reconstructed unit-processed image.
  • the q-frame image is q images composed of k pixels, Where i represents the i-th frame image composed of k pixels, and q is the total number of frames in the image. For example, if the number of image frames q is 4, and the pixel k is 1000, then the q frame image is the first frame image composed of 1000 pixels, the second frame image composed of 1000 pixels, and the third frame composed of 1000 pixels. A frame image and a fourth frame image composed of 1000 pixels.
  • a feature image is calculated by using a feature vector. If m feature values are selected, there are m feature images (S1, S2, ..., Sm), and the second image is a projection image After extracting the reconstructed components from the second image, because the proportion of each feature value is different, you need to calculate the proportion r p of each feature value in its feature image, that is, m feature values in m Specific gravity in the second image; when performing image reconstruction, a projection matrix needs to be established according to the specific gravity of the m second images, and the image is reconstructed based on the projection matrix to form a reconstructed unit processed image. The processing is complete.
  • step S105 all the reconstructed unit processed images are combined to generate a complete super-resolution image. At this time, there is less noise in the image, and the positioning accuracy of the single molecule is high.
  • the method for noise reduction of molecular localized super-resolution imaging extracts several unit processed images from the images obtained by the molecular localized super-resolution microscope, performs Poisson correction on each unit processed image, and reduces the linear correlation in the labeled sample. High variable, and then perform principal component analysis based on the corrected image, retaining as much of the main information of the original image on the time series as possible, sharpening the point spread function that repeatedly appears within a diffraction limit, and removing excess noise, ie Reduce the repetitive part of the image reconstruction components, improve the single molecule positioning accuracy during the localization process of the molecular localization super-resolution imaging system, and obtain super-resolution images.
  • an embodiment of the present invention provides a molecular positioning super-resolution imaging noise reduction device 50, which is applied to a molecular positioning super-resolution microscope.
  • the molecular positioning super-resolution imaging noise reduction device 50 includes:
  • a segmentation module 51 configured to segment an image obtained by a molecular positioning super-resolution microscope to obtain several unit-processed images
  • a correction module 52 configured to perform Poisson correction on a unit processed image to obtain a first image
  • a principal component analysis module 53 configured to perform principal component analysis on a first image to obtain a second image
  • a reconstruction module 54 configured to extract an image reconstruction component from the second image, reconstruct an image according to the image reconstruction component, and obtain a reconstructed unit-processed image
  • An image generation module 55 is configured to process an image according to a number of reconstructed units to generate a super-resolution image.
  • the correction module 52 includes:
  • An obtaining unit 521 configured to obtain a noise signal and an original image signal in an image processed by the unit
  • An adjusting unit 522 configured to adjust the distribution of the intensity of the noise signal and the intensity of the original image signal through the Poisson correction to obtain a first image
  • the principal component analysis module 53 includes:
  • a coordinate mapping unit 531 configured to establish A first image coordinate systems according to the number of frames in the first image, and map variables in the a first image coordinate system to an a + 1th A principal element of an image coordinate system to obtain the variables of the a + 1th first image coordinate system, wherein A is an integer greater than 1 and a is an integer greater than or equal to 1 and less than A;
  • a covariance matrix establishing unit 532 is configured to establish a covariance matrix according to the mapped first image, and a formula is:
  • the eigenvalue calculation unit 533 is configured to calculate an eigenvalue in the covariance matrix, and the formula is:
  • V is a right singular vector
  • V T is a transpose of V, including the right eigenvector of the covariance matrix
  • U is a left singular vector
  • D is the The diagonal matrix corresponding to the eigenvalues of the covariance matrix
  • the principal component determining unit 534 is configured to select all t eigenvalues in the diagonal matrix D corresponding to the eigenvalues of the covariance matrix, and select the first m as the eigenvalues, the formula is:
  • m indicates that the m feature values correspond to m feature images, and the m principal features determine m principal components;
  • the principal component analysis unit 535 is configured to calculate the value of the P-th principal component in k pixels among the m characteristic images to obtain a second image, and the formula is:
  • V p, i represents the value of the p-th feature vector in the i-th frame
  • Re represents the intensity value of the k-th pixel in the i-th frame after Poisson correction
  • q represents the total number of frames.
  • the reconstruction module 54 includes a specific gravity calculation unit, a projection matrix establishment unit, and an image reconstruction unit, where:
  • the specific gravity calculation unit is configured to extract a reconstruction component according to the second image, and calculate the specific gravity of the m second images, and the calculation formula is:
  • a projection matrix establishing unit is configured to establish a projection matrix according to the proportions of the m second images, and a formula is:
  • An image reconstruction unit is configured to reconstruct an image according to the projection matrix, and a calculation formula is:
  • S m represents a projection matrix established by m according to the specific gravity of the m second images
  • V m represents a feature vector corresponding to m feature values.
  • An image is reconstructed according to the q-frame image composed of k pixels after the denoising, to obtain a reconstructed unit-processed image.
  • q-frame images are q images composed of k pixels.
  • i represents the i-th frame image composed of k pixels
  • q is the total number of frames in the image. For example, if the number of image frames q is 4, and the pixel k is 1000, the q frame image is the first frame image composed of 1000 pixels, the second frame image composed of 1000 pixels, and the third frame composed of 1000 pixels A frame image and a fourth frame image composed of 1000 pixels.
  • An embodiment of the present invention further provides a terminal device including a memory, a processor, and a computer program stored on the memory and executable on the processor.
  • a terminal device including a memory, a processor, and a computer program stored on the memory and executable on the processor.
  • the processor executes the computer program, implementation is as described in the first embodiment. Steps in the noise reduction method of molecular localization super-resolution imaging
  • An embodiment of the present invention also provides a storage medium.
  • the storage medium is a computer-readable storage medium on which a computer program is stored.
  • the computer program is executed by a processor, the molecular positioning as described in the first embodiment is implemented.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种分子定位超分辨成像的降噪方法、装置(50)及终端设备，应用于分子定位超分辨显微镜，分子定位超分辨成像的降噪方法包括将分子定位超分辨显微镜获得的图像进行分割，获得N个单元处理图像，N为大于一的整数(S101)；对单元处理图像进行泊松校正，获得第一图像(S102)；对第一图像进行主成分分析处理，获得第二图像(S103)；从第二图像中提取图像重构成分，根据图像重构成分重构图像，获得重构后的单元处理图像(S104)；根据N个重构后的单元处理图像，生成超分辨图像(S105)。通过该降噪方法能够解决分子定位超分辨成像方法在高密度标记样本的情况下，定位精度较低的问题。

Description

分子定位超分辨成像的降噪方法、装置及终端设备 技术领域
本发明涉及图像处理技术领域，尤其涉及一种分子定位超分辨成像的降噪方法、装置及终端设备。
背景技术
荧光显微镜被广泛应用于细胞微生物成像，其中，分子定位超分辨成像是一种代表性的超分辨荧光成像技术。该技术在荧光显微镜的基础上，将单分子成像与高精度分子定位算法相结合，实现了20～30nm的超高空间分辨率，以观察到细胞中的超微结构。单分子定位成像方法包括光活化定位显微镜、随机光学重构显微镜和荧光光敏定位显微镜，他们都利用荧光的随机激活来开启单个光活化分子继而成像和漂白这些单分子，使得单次成像时在同一衍射极限内只有一个荧光探针发光。继而通过定位算法获得光激活和成像/漂白循环而得到的所有单分子坐标，经重构得到一幅最终的超分辨图像。
但是，由于分子密度的提升，常规的分子定位超分辨成像系统在定位过程中，单帧图像内分子间相互重叠的情形多，导致定位算法定位单分子错误，因此，分子定位超分辨成像方法在高密度标记样本的情况下，定位精度较低。
发明内容
本发明的主要目的在于提出一种分子定位超分辨成像的降噪方法、装置及终端设备，以解决分子定位超分辨成像方法在高密度标记样本的情况下，定位精度较低的问题。
为实现上述目的，本发明第一方面提供一种分子定位超分辨成像的降噪方法，应用于分子定位超分辨显微镜，所述分子定位超分辨成像的降噪方法包括：
将分子定位超分辨显微镜获得的图像进行分割，获得N个单元处理图像，所述N为大于一的整数；
对所述单元处理图像进行泊松校正，获得第一图像；
对所述第一图像进行主成分分析处理，获得第二图像；
从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像；
根据N个所述重构后的单元处理图像，生成超分辨图像。
可选地，所述对所述单元处理图像进行泊松校正，获得第一图像包括：
获取所述单元处理图像中的噪声信号和原始图像信号；
通过所述泊松校正，调整所述噪声信号强度和所述原始图像信号强度的分布，获得第一图像；
所述调整所述噪声信号强度和所述原始图像信号强度的分布的公式为：
Figure PCTCN2018104992-appb-000001
其中，
Figure PCTCN2018104992-appb-000002
是在第i帧的所述原始图像检测到的第k个像素上的强度，
Figure PCTCN2018104992-appb-000003
是第i帧的整幅所述原始图像的平均强度，k为正整数。
可选地，所述对所述第一图像进行主成分分析，获得第二图像包括：
根据所述第一图像中的帧数，建立A个第一图像坐标系，将处于所述第a个第一图像坐标系的变量，映射到第a+1个第一图像坐标系的主元，获得所述第a+1个第一图像坐标系的变量，其中，A为大于1的整数，a为大于等于1且小于A的整数；
根据所述映射后的第一图像坐标系，建立协方差矩阵，公式为：
Figure PCTCN2018104992-appb-000004
其中，
Figure PCTCN2018104992-appb-000005
分别是所述第一图像中第i帧和第j帧在k像素上的强度值，而
Figure PCTCN2018104992-appb-000006
分别是所述第一图像在第i和j帧的平均强度值；
计算所述协方差矩阵中的特征值，公式为：
C＝UDV T，
其中，V是右奇异向量，V T是V的转置，包含所述协方差矩阵的右特征向量，U是左奇异向量，包含所述协方差矩阵的左特征向量的矩阵，D是与所述协方差矩阵的特征值对应的对角矩阵；
选择与所述协方差矩阵的特征值对应的对角矩阵D中所有t个特征值选择前m个为所述特征值，公式为：
Figure PCTCN2018104992-appb-000007
其中，m表示m个所述特征值对应m个特征图像，m个所述特征图像确定了m个主成分；
计算m个所述特征图像中第P个主成分在k像素上的值，获得第二图像，公式为：
Figure PCTCN2018104992-appb-000008
V p,i表示第p个特征向量在第i帧的值，
Figure PCTCN2018104992-appb-000009
表示第k个像素经过泊松校正后在第i帧的强度值，q表示总帧数。
可选地，所述从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像包括：
根据所述第二图像提取重构成分，计算m幅第二图像的比重，计算公式为：
Figure PCTCN2018104992-appb-000010
根据所述m幅第二图像的比重建立投影矩阵，表示公式为：
S m＝[r 1S 1，r 2S 2，...，r pS p，...，r mS m]；
根据所述投影矩阵重构图像，计算公式为：
Figure PCTCN2018104992-appb-000011
其中，S m表示由m个根据所述m幅第二图像的比重建立的投影矩阵，V m表示m个特征值对应的特征向量，
Figure PCTCN2018104992-appb-000012
表示去噪后的由k个像素组成的q帧图像；
根据所述去噪后的由k个像素组成的q帧图像重构图像，获得重构后的单元处理图像。
可选地，所述与所述协方差矩阵的特征值对应的对角矩阵D按降序排序。
本发明实施例第二方面提供一种分子定位超分辨成像的降噪装置，应用于分子定位超分辨显微镜，所述分子定位超分辨成像的降噪装置包括：
分割模块，用于将分子定位超分辨显微镜获得的图像进行分割，获得若干单元处理图像；
校正模块，用于对所述单元处理图像进行泊松校正，获得第一图像；
主成分分析模块，用于对所述第一图像进行主成分分析，获得第二图像；
重构模块，用于从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像；
图像生成模块，用于根据若干所述重构后的单元处理图像，生成超分辨图像。
可选地，所述校正模块包括：
获取单元，用于获取所述单元处理图像中的噪声信号和原始图像信号；
调整单元，用于通过所述泊松校正，调整所述噪声信号强度和所述原始图像信号强度的分布，获得第一图像；
所述调整所述噪声信号强度和所述原始图像信号强度的分布的公式为：
Figure PCTCN2018104992-appb-000013
其中，
Figure PCTCN2018104992-appb-000014
是在第i帧的所述原始图像检测到的第k个像素上的强度，
Figure PCTCN2018104992-appb-000015
是第i帧的整幅所述原始图像的平均强度，k为正整数。
可选地，所述主成分分析模块包括：
坐标映射单元，用于根据所述第一图像中的帧数，建立A个第一图像坐标系，将处于所述第a个第一图像坐标系的变量，映射到第a+1个第一图像坐标系的主元，获得所述第a+1个第一图像坐标系的变量，其中，A为大于1的整数，a为大于等于1且小于A的整数；
协方差矩阵建立单元，用于根据所述映射后的第一图像，建立协方差矩 阵，公式为：
Figure PCTCN2018104992-appb-000016
其中，
Figure PCTCN2018104992-appb-000017
分别是所述第一图像中第i帧和第j帧在k像素上的强度值，而
Figure PCTCN2018104992-appb-000018
分别是所述第一图像在第i和j帧的平均强度值；
特征值计算单元，用于计算所述协方差矩阵中的特征值，公式为：
C＝UDV T，
其中，V是右奇异向量，V T是V的转置，包含所述协方差矩阵的右特征向量，U是左奇异向量，包含所述协方差矩阵的左特征向量的矩阵，D是与所述协方差矩阵的特征值对应的对角矩阵；
选择与所述协方差矩阵的特征值对应的对角矩阵D中所有t个特征值选择前m个为所述特征值，公式为：
Figure PCTCN2018104992-appb-000019
其中，m表示m个所述特征值对应m个特征图像，m个所述特征图像确定了m个主成分；
主成分分析单元，用于计算m个所述特征图像中第P个主成分在k像素上的值，获得第二图像，公式为：
Figure PCTCN2018104992-appb-000020
v p,i表示第p个特征向量在第i帧的值，
Figure PCTCN2018104992-appb-000021
表示第k个像素经过泊松校正后在第i帧的强度值，q表示总帧数。
本发明实施例第三方面提供了一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上所述的分子定位超分辨成像的降噪方法中的各个步骤。
本发明实施例第四方面提供了一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的分子定位超分辨成像的降噪方法中的各个步骤。
本发明提出的分子定位超分辨成像的降噪方法，从分子定位超分辨显微镜获得的图像中提取若干单元处理图像，对每个单元处理图像进行泊松校正，降低标记样本中线性相关度高的变量，然后在校正后的图像基础上进行主成分分析，在时间序列上保留原始图像尽量多的主要信息，去除多余的噪声，即降低图像重构成分中重复的部分，提高分子定位超分辨成像系统在定位过程中单分子的定位精度，获得超分辨图像。
附图说明
图1为本发明实施例一提供的分子定位超分辨成像的降噪方法的实现流程示意图；
图2为图1中步骤S102的细化步骤流程示意图；
图3为图1中步骤S103的细化步骤流程示意图；
图4为图1中步骤S104的细化步骤流程示意图；
图5为本发明实施例二提供的分子定位超分辨成像的降噪装置的结构示意图；
图6为图5中校正模块的结构示意图；
图7为图5中主成分分析模块的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本文中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
在后续的描述中，发明实施例序号仅仅为了描述，不代表实施例的优劣。
实施例一
如图1所示，本发明实施例提供了一种分子定位超分辨成像的降噪方法，应用于如随机光学重构显微镜等的分子定位超分辨显微镜，以改进细胞微生物成像过程；分子定位超分辨成像的降噪方法包括：
S101、将分子定位超分辨显微镜获得的图像进行分割，获得N个单元处理图像，所述N为大于一的整数。
在上述步骤S101中，分子定位超分辨显微镜获得的图像为荧光探针在一定时间内完成闪烁后，采集的样品发出的荧光信息，从而获得的图像。由于采集的样品组分子密度逐渐提升，此时获得的图像中，单帧图像内分子间相互重叠的情形多，将导致定位算法定位单分子错误。
在本发明实施例中，将分子定位超分辨显微镜获得的图像进行分割，获得单元处理图像，能够提高定位精度和分子定位超分辨成像的降噪效果。在具体应用中，图像的具体分割方式可以为任意的，减少图像处理面积的方式；例如：根据图像的帧数进行分割、根据单帧图像的像素进行分割或者将图像 根据帧数分割后，再对其像素进行分割，获得单元处理图像，在本发明实施中不对其做具体限定。
在具体应用中，对单元处理图像进行处理时，可以同时对多个单元处理图像进行处理，不降低图像处理效率。
S102、对所述单元处理图像进行泊松校正，获得第一图像。
在上述步骤S102中，对所述单元处理图像进行泊松校正表现为：校正近似于泊松分布的检测噪声对于信号强度的依赖性，保留单元处理图像中各变量线性关系，例如在图像不同像素的强度矢量之间的线性关系。
如图2所示，本发明实施例还对上述步骤S102细化说明，上述步骤S102中，对所述单元处理图像进行泊松校正，获得第一图像可以包括：
S1021、获取所述单元处理图像中的噪声信号和原始图像信号。
在上述步骤S1021中，噪声信号的来源是分子定位超分辨成像系统在成像过程中，光子噪声和其他基于传感器的噪声源，其在不同信号电平下以不同比例作出贡献，导致噪声信号的分布与图像信号强度有关；原始图像信号的信号强度表现为图像中每个像素上的亮度；在本发明实施例中，获取原始图像信号即是获取图像中每个像素上的亮度，噪声信号的分布与图像中每个像素上的亮度有关。
S1022、通过所述泊松校正，调整所述噪声信号强度和所述原始图像信号强度的分布，获得第一图像。
所述调整所述噪声信号强度和所述原始图像信号强度的分布的公式为：
Figure PCTCN2018104992-appb-000022
其中，是在第i帧的所述原始图像检测到的第k个像素上的强度，是第i帧的整幅所述原始图像的平均强度，k为正整数。
在上述步骤S1022中，调整噪声信号强度和原始图像信号强度的分布的公式表示将获得的原始图像强度除以每个时间点平均强度的平方根；第一图像即是对原始图像进行泊松校正处理后的图像。
在本发明实施例中，泊松校正用于调整噪声信号强度和原始图像信号强度的分布，以减少噪声信号的分布与原始图像信号的分布之间的关联性，同时保留单元处理图像中各变量线性关系，例如在图像不同像素的强度矢量之间的线性关系。
S103、对所述第一图像进行主成分分析处理，获得第二图像。
在上述步骤S103中，对进行泊松校正处理后的原始图像进行主成分分析处理，主成分分析是一种空间映射方法，能够将重复的变量或者关系紧密的变量删去，建立尽可能少的新变量，使得新变量两两不相关，且新变量在反映课题的信息方面尽可能保持原有的信息。
如图3所示，本发明实施例还对上述步骤S103细化说明，上述步骤S103中对所述第一图像进行主成分分析包括：
S1031、根据所述第一图像中的帧数，建立A个第一图像坐标系，将处于所述第a个第一图像坐标系的变量，映射到第a+1个第一图像坐标系的主元，获得所述第a+1个第一图像坐标系的变量，其中，A为大于1的整数，a为大于等于1且小于A的整数。
在上述步骤S1031中，根据所述第一图像中的帧数，建立A个第一图像坐标系，则A还小于第一图像中的帧数；由于第一图像中不同帧数的图像具有不同的坐标系，通过将坐标系中的变量映射到相邻坐标系中的主元，能够减少变量间的线性相关性。
S1032、根据所述映射后的第一图像坐标系，建立协方差矩阵，公式为：
Figure PCTCN2018104992-appb-000023
其中，
Figure PCTCN2018104992-appb-000024
分别是所述第一图像中第i帧和第j帧在k像素上的强度值，而
Figure PCTCN2018104992-appb-000025
分别是所述第一图像在第i和j帧的平均强度值。
S1033、计算所述第二协方差矩阵中的第二特征值，公式为：
C＝UDV T，
其中，V是右奇异向量，V T是V的转置，包含所述第二协方差矩阵的右特征向量，U是左奇异向量，包含所述第二协方差矩阵的左特征向量的矩阵，D是与所述第二协方差矩阵的特征值对应的对角矩阵。
在上述步骤S1032和步骤S1033中，通过协方差矩阵，衡量变量之间的线性相关性；同时，为了达到主成分分析的目的，将获得的协方差矩阵进行奇异值分解，提取C的特征向量和特征值来分析矩阵，并将其写成三个矩阵的乘积。
在具体应用中，当样本是n维数据时，其协方差实际上是协方差矩阵(对称方阵)，方阵的边长是Cn 2。例如：对于3维数据(x，y，z)，协方差为：
cov(x,x)cov(x,y)cov(x,z)
C＝cov(y,x)cov(y,y)cov(y,z)。
cov(z,x)cov(z,x)cov(z,z)
为得到协方差矩阵，需将原来变量矩阵转换，以使协方差矩阵除了对角线上的元素，其他元素都变为0；上述的矩阵变化为矩阵对角化过程，通过奇异值分解完成。其中，奇异值分解是一个能适用于任意的矩阵的一种分解的方法，将一个矩阵分解成C＝UΣVT的形式，U是左奇异向量阵，Σ是由奇异值组成的对角矩阵，奇异值由大到小排列，V是右奇异向量。分解得到的Σ矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特主要征向量就是描述这个矩阵变化方向，即从主要的变化到次要的变化排列。当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换。 这个线性变化可能无法通过图片来表示，但是可以想象，这个变换也同样有很多的变换方向，通过特征值分解得到的前N个特征向量，对应这个矩阵最主要的N个变化方向。利用这前N个变化方向，则能够提取这个矩阵最重要的特征，根据上述特征，能够在减少变量间的相关性后，在变量反映课题的信息方面时，尽可能保持原有的信息。
在具体应用中，方差的大小描述的是一个变量的信息量，一般来说方差大的方向是信号的方向，方差小的方向是噪声的方向，在数字信号处理中，往往要提高信号与噪声的比例，也就是信噪比。通过奇异值分解能够找到方差最大的坐标轴，即第一个奇异向量，方差次大坐标轴就是第二奇异向量。总的来说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的。假设在N维空间中，可以找到N个这样的坐标轴，取前r个去近似这个空间，则实现了从一个N维的空间压缩到r维的空间，但是此时选择的r个坐标轴能够使得空间的压缩使得数据的损失最小。
在一个实施例中，与所述第二协方差矩阵的特征值对应的对角矩阵D按降序排序。
S1034、选择与所述协方差矩阵的特征值对应的对角矩阵D中所有t个特征值选择前m个为所述特征值，公式为：
Figure PCTCN2018104992-appb-000026
其中，m表示m个所述特征值对应m个特征图像，m个所述特征图像确定了m个主成分；
计算m个所述特征图像中第P个主成分在k像素上的值，获得第二图像，公式为：
Figure PCTCN2018104992-appb-000027
V p,i表示第p个特征向量在第i帧的值，
Figure PCTCN2018104992-appb-000028
表示第k个像素经过泊松校正后在第i帧的强度值，q表示总帧数。
在上述步骤S1034中，由于一个特征向量对应一个投影图像，所以获得m个投影图像(S1,S2,…,Sm)，即第二图像。
S104、从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像。
在上述步骤S104中，从进行了泊松校正和降维后的原始图像中提取图像重构成分，所提取的重构成分一方面避免重复提取，另一方面需保证根据此重构成分重构图像时不损失信息。
如图4所示，本发明实施例还对上述步骤S104细化说明，上述步骤S104中从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像包括：
S1041、根据所述第二图像提取重构成分，计算m幅第二图像的比重，计算公式为：
Figure PCTCN2018104992-appb-000029
S1042、根据所述m幅第二图像的比重建立投影矩阵，表示公式为：
S m＝[r 1S 1，r 2S 2，...，r pS p，...，r mS m]；
S1043、根据所述投影矩阵重构图像，计算公式为：
Figure PCTCN2018104992-appb-000030
其中，S m表示由m个根据所述m幅第二图像的比重建立的投影矩阵，V m表示m个特征值对应的特征向量，
Figure PCTCN2018104992-appb-000031
表示去噪后的由k个像素组成的q帧图像。
根据所述去噪后的由k个像素组成的q帧图像重构图像，获得重构后的单元处理图像。
在上述步骤S1043中，q帧图像为q个由k个像素组成的图像，
Figure PCTCN2018104992-appb-000032
中的i表示由k个像素组成的第i帧图像，而q为图像总帧数。例如，假设图像帧数q为4，像素k为1000，则q帧图像为由1000个像素组成的第1帧图像、由1000个像素组成的第2帧图像、由1000个像素组成的第3帧图像和由1000个像素组成的第4帧图像。
在上述步骤S1041至步骤S1043中，通过一个特征向量计算得到一幅特征图像，如果选取m个特征值就有m个特征图像(S1，S2，…，Sm)，其中第二图像即是投影图像，从第二图像中提取重构成分后，又由于每个特征值占的比重都不一样，则需要计算每个特征值的在其特征图像中的比重r p，即m个特征值在m幅第二图像中的比重；进行图像重构时，需根据m幅第二图像的比重建立投影矩阵，再根据投影矩阵重构图像，形成重构后的单元处理图像，此时对单元处理图像的处理完成。
S105、根据N个所述重构后的单元处理图像，生成超分辨图像。
在上述步骤S105中，将所有重构后的单元处理图像组合，生成完整的超分辨图像，此时图像中噪声少，单分子的定位精度高。
本发明实施例提供的分子定位超分辨成像的降噪方法，从分子定位超分辨显微镜获得的图像中提取若干单元处理图像，对每个单元处理图像进行泊松校正，降低标记样本中线性相关度高的变量，然后在校正后的图像基础上进行主成分分析，在时间序列上保留原始图像尽量多的主要信息，锐化在一个衍射极限内重复出现的点扩散函数，去除多余的噪声，即降低图像重构成分中重复的部分，提高分子定位超分辨成像系统在定位过程中单分子的定位精度，获得超分辨图像。
实施例二
如图5所示，本发明实施例提供了一种分子定位超分辨成像的降噪装置50，应用于分子定位超分辨显微镜，分子定位超分辨成像的降噪装置50包括：
分割模块51，用于将分子定位超分辨显微镜获得的图像进行分割，获得若干单元处理图像；
校正模块52，用于对单元处理图像进行泊松校正，获得第一图像；
主成分分析模块53，用于对第一图像进行主成分分析，获得第二图像；
重构模块54，用于从第二图像中提取图像重构成分，根据图像重构成分重构图像，获得重构后的单元处理图像；
图像生成模块55，用于根据若干重构后的单元处理图像，生成超分辨图像。
如图6所示，在本发明实施例中，校正模块52包括：
获取单元521，用于获取所述单元处理图像中的噪声信号和原始图像信号；
调整单元522，用于通过所述泊松校正，调整所述噪声信号强度和所述原始图像信号强度的分布，获得第一图像；
所述调整所述噪声信号强度和所述原始图像信号强度的分布的公式为：
Figure PCTCN2018104992-appb-000033
其中，
Figure PCTCN2018104992-appb-000034
是在第i帧的所述原始图像检测到的第k个像素上的强度，
Figure PCTCN2018104992-appb-000035
是第i帧的整幅所述原始图像的平均强度，k为正整数。
如图7所示，主成分分析模块53包括：
坐标映射单元531，用于根据所述第一图像中的帧数，建立A个第一图像坐标系，将处于所述第a个第一图像坐标系的变量，映射到第a+1个第一图像坐标系的主元，获得所述第a+1个第一图像坐标系的变量，其中，A为大于1的整数，a为大于等于1且小于A的整数；
协方差矩阵建立单元532，用于根据所述映射后的第一图像，建立协方差矩阵，公式为：
Figure PCTCN2018104992-appb-000036
其中，
Figure PCTCN2018104992-appb-000037
分别是所述第一图像中第i帧和第j帧在k像素上的强度值，而
Figure PCTCN2018104992-appb-000038
分别是所述第一图像在第i和j帧的平均强度值；
特征值计算单元533，用于计算所述协方差矩阵中的特征值，公式为：
C＝UDV T，
其中，V是右奇异向量，V T是V的转置，包含所述协方差矩阵的右特征向量，U是左奇异向量，包含所述协方差矩阵的左特征向量的矩阵，D是与 所述协方差矩阵的特征值对应的对角矩阵；
主成分确定单元534，用于选择与所述协方差矩阵的特征值对应的对角矩阵D中所有t个特征值选择前m个为所述特征值，公式为：
Figure PCTCN2018104992-appb-000039
其中，m表示m个所述特征值对应m个特征图像，m个所述特征图像确定了m个主成分；
主成分分析单元535，用于计算m个所述特征图像中第P个主成分在k像素上的值，获得第二图像，公式为：
Figure PCTCN2018104992-appb-000040
V p,i表示第p个特征向量在第i帧的值，
Figure PCTCN2018104992-appb-000041
表示第k个像素经过泊松校正后在第i帧的强度值，q表示总帧数。
在一个实施例中，重构模块54包括比重计算单元、投影矩阵建立单元和图像重构单元，其中：
比重计算单元，用于根据所述第二图像提取重构成分，计算m幅第二图像的比重，计算公式为：
Figure PCTCN2018104992-appb-000042
投影矩阵建立单元，用于根据所述m幅第二图像的比重建立投影矩阵，表示公式为：
S m＝[r 1S 1，r 2S 2，...，r pS p，...，r mS m],
图像重构单元，用于根据所述投影矩阵重构图像，计算公式为：
Figure PCTCN2018104992-appb-000043
其中，S m表示由m个根据所述m幅第二图像的比重建立的投影矩阵，V m表示m个特征值对应的特征向量，
Figure PCTCN2018104992-appb-000044
表示去噪后的由k个像素组成的q帧图像；
根据所述去噪后的由k个像素组成的q帧图像重构图像，获得重构后的单元处理图像。
在具体应用中，q帧图像为q个由k个像素组成的图像，
Figure PCTCN2018104992-appb-000045
中的i表示由k个像素组成的第i帧图像，而q为图像总帧数。例如，假设图像帧数q为4，像素k为1000，则q帧图像为由1000个像素组成的第1帧图像、由1000个像素组成的第2帧图像、由1000个像素组成的第3帧图像和由1000个像素组成的第4帧图像。
本发明实施例还提供一种终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如实施例一中所述的分子定位超分辨成像的降噪方法中的各个步骤
本发明实施例还提供一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如实施例一中所述的分子定位超分辨成像的降噪方法中的各个步骤。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

  1. 一种分子定位超分辨成像的降噪方法，其特征在于，应用于分子定位超分辨显微镜，所述分子定位超分辨成像的降噪方法包括：
    将分子定位超分辨显微镜获得的图像进行分割，获得N个单元处理图像，所述N为大于一的整数；
    对所述单元处理图像进行泊松校正，获得第一图像；
    对所述第一图像进行主成分分析处理，获得第二图像；
    从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像；
    根据N个所述重构后的单元处理图像，生成超分辨图像。
  2. 如权利要求1所述的分子定位超分辨成像的降噪方法，其特征在于，所述对所述单元处理图像进行泊松校正，获得第一图像包括：
    获取所述单元处理图像中的噪声信号和原始图像信号；
    通过所述泊松校正，调整所述噪声信号强度和所述原始图像信号强度的分布，获得第一图像；
    所述调整所述噪声信号强度和所述原始图像信号强度的分布的公式为：
    Figure PCTCN2018104992-appb-100001
    其中，
    Figure PCTCN2018104992-appb-100002
    是在第i帧的所述原始图像检测到的第k个像素上的强度，
    Figure PCTCN2018104992-appb-100003
    是第i帧的整幅所述原始图像的平均强度，k为正整数。
  3. 如权利要求1所述的分子定位超分辨成像的降噪方法，所述对所述第一图像进行主成分分析，获得第二图像包括：
    根据所述第一图像中的帧数，建立A个第一图像坐标系，将处于所述第a个第一图像坐标系的变量，映射到第a+1个第一图像坐标系的主元，获得所述第a+1个第一图像坐标系的变量，其中，A为大于1的整数，a为大于等于1且小于A的整数；
    根据所述映射后的第一图像坐标系，建立协方差矩阵，公式为：
    Figure PCTCN2018104992-appb-100004
    其中，
    Figure PCTCN2018104992-appb-100005
    分别是所述第一图像中第i帧和第j帧在k像素上的强度值，而
    Figure PCTCN2018104992-appb-100006
    分别是所述第一图像在第i和j帧的平均强度值；
    计算所述协方差矩阵中的特征值，公式为：
    C＝UDV T，
    其中，V是右奇异向量，V T是V的转置，包含所述协方差矩阵的右特征 向量，U是左奇异向量，包含所述协方差矩阵的左特征向量的矩阵，D是与所述协方差矩阵的特征值对应的对角矩阵；
    选择与所述协方差矩阵的特征值对应的对角矩阵D中所有t个特征值选择前m个为所述特征值，公式为：
    Figure PCTCN2018104992-appb-100007
    其中，m表示m个所述特征值对应m个特征图像，m个所述特征图像确定了m个主成分；
    计算m个所述特征图像中第P个主成分在k像素上的值，获得第二图像，公式为：
    Figure PCTCN2018104992-appb-100008
    V p,i表示第p个特征向量在第i帧的值，
    Figure PCTCN2018104992-appb-100009
    表示第k个像素经过泊松校正后在第i帧的强度值，q表示总帧数。
  4. 如权利要求1至3任一项所述的分子定位超分辨成像的降噪方法，其特征在于，所述从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像包括：
    根据所述第二图像提取重构成分，计算m幅第二图像的比重，计算公式为：
    Figure PCTCN2018104992-appb-100010
    根据所述m幅第二图像的比重建立投影矩阵，表示公式为：
    S m＝[r 1S 1，r 2S 2，...，r pS p，...，r mS m]；
    根据所述投影矩阵重构图像，计算公式为：
    Figure PCTCN2018104992-appb-100011
    其中，S m表示由m个根据所述m幅第二图像的比重建立的投影矩阵，V m表示m个特征值对应的特征向量，
    Figure PCTCN2018104992-appb-100012
    表示去噪后的由k个像素组成的q帧图像；
    根据所述去噪后的由k个像素组成的q帧图像重构图像，获得重构后的单元处理图像。
  5. 如权利要求4所述的分子定位超分辨成像的降噪方法，其特征在于，所述与所述协方差矩阵的特征值对应的对角矩阵D按降序排序。
  6. 一种分子定位超分辨成像的降噪装置，其特征在于，应用于分子定位超分辨显微镜，所述分子定位超分辨成像的降噪装置包括：
    分割模块，用于将分子定位超分辨显微镜获得的图像进行分割，获得若干单元处理图像；
    校正模块，用于对所述单元处理图像进行泊松校正，获得第一图像；
    主成分分析模块，用于对所述第一图像进行主成分分析，获得第二图像；
    重构模块，用于从所述第二图像中提取图像重构成分，根据所述图像重构成分重构图像，获得重构后的单元处理图像；
    图像生成模块，用于根据若干所述重构后的单元处理图像，生成超分辨图像。
  7. 如权利要求6所述的分子定位超分辨成像的降噪装置，其特征在于，所述校正模块包括：
    获取单元，用于获取所述单元处理图像中的噪声信号和原始图像信号；
    调整单元，用于通过所述泊松校正，调整所述噪声信号强度和所述原始图像信号强度的分布，获得第一图像；
    所述调整所述噪声信号强度和所述原始图像信号强度的分布的公式为：
    Figure PCTCN2018104992-appb-100013
    其中，
    Figure PCTCN2018104992-appb-100014
    是在第i帧的所述原始图像检测到的第k个像素上的强度，
    Figure PCTCN2018104992-appb-100015
    是第i帧的整幅所述原始图像的平均强度，k为正整数。
  8. 如权利要求6所述的分子定位超分辨成像的降噪装置，其特征在于，所述主成分分析模块包括：
    坐标映射单元，用于根据所述第一图像中的帧数，建立A个第一图像坐标系，将处于所述第a个第一图像坐标系的变量，映射到第a+1个第一图像坐标系的主元，获得所述第a+1个第一图像坐标系的变量，其中，A为大于1的整数，a为大于等于1且小于A的整数；
    协方差矩阵建立单元，用于根据所述映射后的第一图像，建立协方差矩阵，公式为：
    Figure PCTCN2018104992-appb-100016
    其中，
    Figure PCTCN2018104992-appb-100017
    分别是所述第一图像中第i帧和第j帧在k像素上的强度值，而
    Figure PCTCN2018104992-appb-100018
    分别是所述第一图像在第i和j帧的平均强度值；
    特征值计算单元，用于计算所述协方差矩阵中的特征值，公式为：
    C＝UDV T，
    其中，V是右奇异向量，V T是V的转置，包含所述协方差矩阵的右特征向量，U是左奇异向量，包含所述协方差矩阵的左特征向量的矩阵，D是与所述协方差矩阵的特征值对应的对角矩阵；
    选择与所述协方差矩阵的特征值对应的对角矩阵D中所有t个特征值选择前m个为所述特征值，公式为：
    Figure PCTCN2018104992-appb-100019
    其中，m表示m个所述特征值对应m个特征图像，m个所述特征图像确定了m个主成分；
    主成分分析单元，用于计算m个所述特征图像中第P个主成分在k像素上的值，获得第二图像，公式为：
    Figure PCTCN2018104992-appb-100020
    v p,i表示第p个特征向量在第i帧的值，
    Figure PCTCN2018104992-appb-100021
    表示第k个像素经过泊松校正后在第i帧的强度值，q表示总帧数。
  9. 一种终端设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至5任一项所述的分子定位超分辨成像的降噪方法中的各个步骤。
  10. 一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至5任一项所述的分子定位超分辨成像的降噪方法中的各个步骤。
PCT/CN2018/104992 2018-09-11 2018-09-11 分子定位超分辨成像的降噪方法、装置及终端设备 Ceased WO2020051764A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/104992 WO2020051764A1 (zh) 2018-09-11 2018-09-11 分子定位超分辨成像的降噪方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/104992 WO2020051764A1 (zh) 2018-09-11 2018-09-11 分子定位超分辨成像的降噪方法、装置及终端设备

Publications (1)

Publication Number Publication Date
WO2020051764A1 true WO2020051764A1 (zh) 2020-03-19

Family

ID=69776472

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/104992 Ceased WO2020051764A1 (zh) 2018-09-11 2018-09-11 分子定位超分辨成像的降噪方法、装置及终端设备

Country Status (1)

Country Link
WO (1) WO2020051764A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610705A (zh) * 2021-06-23 2021-11-05 珠海全志科技股份有限公司 用于超分重建的图像去交织方法及装置
CN114781433A (zh) * 2022-03-24 2022-07-22 成都飞机工业（集团）有限责任公司 飞机液压导管振动信号提取方法、装置、存储介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103091297A (zh) * 2013-01-30 2013-05-08 浙江大学 一种基于随机荧光漂白的超分辨显微方法和装置
US8913121B2 (en) * 2010-07-11 2014-12-16 Spynsite, LLC System for image rendering or spectral recognition
CN104463808A (zh) * 2014-12-25 2015-03-25 武汉大学 基于空间相关性的高光谱数据降噪方法及系统
CN104515760A (zh) * 2014-12-17 2015-04-15 香港纳观生物有限公司 双色荧光定位超分辨率生物显微方法及系统
CN108090872A (zh) * 2017-12-18 2018-05-29 武汉大学 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8913121B2 (en) * 2010-07-11 2014-12-16 Spynsite, LLC System for image rendering or spectral recognition
CN103091297A (zh) * 2013-01-30 2013-05-08 浙江大学 一种基于随机荧光漂白的超分辨显微方法和装置
CN104515760A (zh) * 2014-12-17 2015-04-15 香港纳观生物有限公司 双色荧光定位超分辨率生物显微方法及系统
CN104463808A (zh) * 2014-12-25 2015-03-25 武汉大学 基于空间相关性的高光谱数据降噪方法及系统
CN108090872A (zh) * 2017-12-18 2018-05-29 武汉大学 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI, JIA ET AL.: "Efficient image reconstruction of high-density molecules with augmented Lagrangian method in super-resolution microscopy", OPTICS EXPRESS, vol. 26, no. 19, 4 September 2018 (2018-09-04), pages 24329 - 24342, XP055695481, ISSN: 1094-4087 *
MAROIS, A. L. ET AL.: "Noise-Corrected Principal Component Analysis of fluorescence lifetime imaging data", JOURNAL OF BIOPHOTONICS, vol. 10, no. 9, 13 December 2016 (2016-12-13), pages 1124 - 1126, ISSN: 1864-0648 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610705A (zh) * 2021-06-23 2021-11-05 珠海全志科技股份有限公司 用于超分重建的图像去交织方法及装置
CN114781433A (zh) * 2022-03-24 2022-07-22 成都飞机工业（集团）有限责任公司 飞机液压导管振动信号提取方法、装置、存储介质及设备

Similar Documents

Publication Publication Date Title
Tarzanagh et al. Fast randomized algorithms for t-product based tensor operations and decompositions with applications to imaging data
CN115393233B (zh) 一种基于自编码器的全线偏振图像融合方法
Zhou et al. Bayesian low-tubal-rank robust tensor factorization with multi-rank determination
Gopalan et al. A blur-robust descriptor with applications to face recognition
Lefkimmiatis et al. Hessian Schatten-norm regularization for linear inverse problems
CN108830818B (zh) 一种快速多聚焦图像融合方法
WO2021036471A1 (zh) 样本生成方法、装置、计算机设备及存储介质
CN106203511B (zh) 一种图像相似块评估方法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
US12136184B2 (en) Changing the size of images by means of a neural network
CN110400276A (zh) 高光谱图像去噪方法、装置
CN112084847A (zh) 基于多通道截断核范数及全变差正则化的高光谱图像去噪方法
WO2019128675A1 (zh) 视线追踪设备中确定参数的方法和装置
CN114202697A (zh) 基于注意力对齐分布自适应的遥感跨场景分类方法和设备
WO2020051764A1 (zh) 分子定位超分辨成像的降噪方法、装置及终端设备
Zeng et al. SAU-Net: Saliency-Based Adaptive Unfolding Network for Interpretable High Quality Image Compressed Sensing in Internet of Things
Sun et al. Compressive superresolution imaging based on local and nonlocal regularizations
CN109977769B (zh) 一种低分辨率环境下微表情识别的方法
CN112348912B (zh) 基于rpca和pca的图像重建及异物检测方法
CN109325914B (zh) 分子定位超分辨成像的降噪方法、装置及终端设备
Faisan et al. Joint filtering estimation of Stokes vector images based on a nonlocal means approach
Sharma et al. Facial image super-resolution with CNN,“A Review”
CN118823360A (zh) 基于显著性结构感知的点云去噪方法及装置
Min et al. Grid-free localization algorithm using low-rank Hankel matrix for super-resolution microscopy
Long et al. Bayesian low rank tensor ring model for image completion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18933247

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 28.06.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18933247

Country of ref document: EP

Kind code of ref document: A1