WO2022062773A1 - 一种小型化、低成本、多衬度无标记显微成像系统 - Google Patents
一种小型化、低成本、多衬度无标记显微成像系统 Download PDFInfo
- Publication number
- WO2022062773A1 WO2022062773A1 PCT/CN2021/113185 CN2021113185W WO2022062773A1 WO 2022062773 A1 WO2022062773 A1 WO 2022062773A1 CN 2021113185 W CN2021113185 W CN 2021113185W WO 2022062773 A1 WO2022062773 A1 WO 2022062773A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- imaging
- phase
- contrast
- illumination
- numerical aperture
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 139
- 238000005286 illumination Methods 0.000 claims abstract description 66
- 230000003287 optical effect Effects 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000011084 recovery Methods 0.000 claims abstract description 7
- 238000004043 dyeing Methods 0.000 claims abstract description 3
- 238000012546 transfer Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 9
- 238000010186 staining Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 claims description 2
- 206010008342 Cervix carcinoma Diseases 0.000 description 9
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 9
- 201000010881 cervical cancer Diseases 0.000 description 9
- 229920000742 Cotton Polymers 0.000 description 5
- 241000234435 Lilium Species 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000386 microscopy Methods 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 241001233957 eudicotyledons Species 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000000339 bright-field microscopy Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000001446 dark-field microscopy Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0008—Microscopes having a simple construction, e.g. portable microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/086—Condensers for transillumination only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/10—Condensers affording dark-field illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/12—Condensers affording bright-field illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/12—Condensers affording bright-field illumination
- G02B21/125—Condensers affording bright-field illumination affording both dark- and bright-field illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/14—Condensers affording illumination for phase-contrast observation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
Landscapes
- Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种小型化、低成本、多衬度无标记显微成像系统，该成像系统基于倒置显微结构，采用固定焦距的微型透镜设计了高度集成的光学系统，代替了传统显微镜系统复杂的光学系统，使得整个显微镜高度集成。系统采用可编程LED阵列作为照明光源，通过电脑控制LED阵列显示不同照明模式，实现明场、暗场、彩虹暗场、莱茵伯格光学染色、差分相衬、定量相位成像等六种成像功能，为生物应用提供多样化的无标记成像方法。本发明提供了配套的控制系统，可实现系统硬件控制和算法执行与显示，包括照明控制、相机参数调节、定量相位重构恢复、二维/三维结果显示、定量剖线分析等功能，可实现无标记样品的多样化信息获取和分析。
Description
本发明属于光学显微成像、定量相位成像技术领域，特别涉及一种小型化、低成本、多衬度无标记显微成像系统。
相衬成像技术是生物研究、药物开发、材料检测等显微成像中进行无标记成像的重要光学工具。它可以在不使用任何外源性造影剂的情况下，将肉眼看不见的样品厚度转化为可检测到的强度变化，增强成像的对比度。相衬方法，如暗场成像、莱茵伯格光学染色成像、微分干涉成像，被广泛应用于透明样品的可视化成像中，获得了观测样品多样的结构信息，为诊断提供了丰富而有力的数据。为了实现样本的多样化研究，需要提供同一样品在不同的显微成像方法下的多个可视化结果和定量数据，进行更加直观的显示和比较。但是，由于光学系统和操作结构的复杂性，现有显微镜很难同时实现多衬度成像。例如，基于科勒照明的明场显微镜采用透射光成像，提供了部分相干成像理论带宽内的成像分辨率。然而，要实现暗场的高频细节成像，需要改变显微镜的硬件配置，如添加环形的孔径光阑来采集样品的反射或衍射信息。更复杂的成像方法往往需要更复杂的光学成像系统，这就限制了显微镜在不同样品下的应用。
近年来，可编程LED阵列和液晶显示器LCD屏被引入显微镜系统，取代了传统的孔径光阑，实现了光照的灵活可调。例如，在基于LED的系统中，暗场显微镜可以通过调节光照使最小光照数值孔径大于物镜的数值孔径来实现，从而产生样品的可视化高分辨率细节。一般来说，LED只需使用计算机发送的不同照明模式对应的串行口协议，就可以在不同的照明模式之间切换。在此基础上，利用LED阵列实现了强度传输方程、差分相位衬度和傅立叶叠层显微成像等多种显微成像方法。这些方法通过反卷积或迭代重建算法进一步获得透明样品的三维定量信息，为生物研究、细胞分析、疾病诊断等提供更有效可靠的定量数据。此外，LED阵列还可以在单一成像系统中实现多衬度成像。2015年，Joo等人利用三个不同光照模式的通道同时照射样品并采集图像，通过通道分离得到样品的明场、暗场和差分相衬的观测结果(Lee D,Ryu S,Kim U,et al.Color-coded LED microscopy for multi-contrast and quantitative phase-gradient imaging[J].Biomedical optics express, 2015,6(12):4912-4922.)。在此基础上，基于LED照明和智能手机成像的小型化多对比度显微系统陆续被提出(Jung D,Choi J H,Kim S,et al.Smartphone-based multi-contrast microscope using color-multiplexed illumination[J].Scientific reports,2017,7(1):1-10.)。然而，这种系统需要智能手机作为图像采集设备，因此不能保证系统的稳定性，也不能应用于活体细胞成像。目前，并没有可实现稳定成像效果的多衬度显微镜系统被研究出来。
发明内容
本发明的目的在于针对上述现有技术存在的问题，提供一种小型化、低成本、多衬度无标记显微成像系统。
实现本发明目的的技术解决方案为：一种小型化、低成本、多衬度无标记显微成像系统，所述系统包括成像单元，该单元为倒置显微光路结构，包括从上至下依次设置的可编程LED阵列光源、筒镜、镜头、样品载物台、彩色相机以及三维位移台；所述镜头作为物镜；
还包括控制单元，用于控制可编程LED阵列光源的照明图案，调节彩色相机的参数，控制相机采集图像，切换成像功能，切换二维/三维成像结果显示，以及执行检测结果分析。
进一步地，所述可编程LED阵列光源通过改变照明图案可产生六种成像模式照明，包括：明场成像、暗场成像、彩虹暗场成像、莱茵伯格光学染色成像、差分相衬成像以及定量相位成像。
本发明与现有技术相比，其显著优点为：1)采用倒置显微镜结构，LED阵列作为照明光源，首次在同一系统中实现了明场、暗场、彩虹暗场、差分相衬、莱茵伯格光学染色、定量相位成像等6种显微成像功能，实现多样化多衬度观察；2)采用微型物镜替代传统显微镜物镜，设计了高度集成的显微光路，将整个显微镜系统集成在14*16.5*20cm
3的尺寸内，使显微镜可内置于培养箱观察，在保证高集成度的同时确保了成像的稳定性；3)设有控制单元，实现与显微镜整机良好的交互，可轻松通过软件控制完成功能切换、参数调节、相位重构、二维/三维显示、定量数值分析功能，无需任何机械移动；4)整个系统使用低成本硬件获得高质量、多样化的观察结果并实现定量相位测量。
下面结合附图对本发明作进一步详细描述。
图1为一个实施例中小型化、低成本、多衬度无标记显微成像系统整体示意图。
图2为一个实施例中小型化、低成本、多衬度无标记显微成像系统爆炸图的主视图。
图3为一个实施例中小型化、低成本、多衬度无标记显微成像系统爆炸图的后视图。
图4为一个实施例中小型化、低成本、多衬度无标记显微成像系统照明模式示意图，图(a)为明场照明图案，图(b)为暗场和彩虹暗场照明图案，图(c)为莱茵伯格光学染色成像照明图案，图(d1)至(d4)为差分相衬成像和定量相位成像的上下左右四个方向的照明图案。
图5为一个实施例中多个样品在明场、暗场、彩虹暗场、莱茵伯格光学染色下的观察结果，其中图(a1)至(a5)分别为羽毛装片、水棉、百合花粉、蚂蚁头部以及双子叶植物在明场下的观察结果，图(b1)至(b5)分别为羽毛装片、水棉、百合花粉、蚂蚁头部以及双子叶植物在暗场下的观察结果，图(c1)至(c5)分别为羽毛装片、水棉、百合花粉、蚂蚁头部以及双子叶植物在彩虹暗场下的观察结果，图(d1)至(d5)分别为羽毛装片、水棉、百合花粉、蚂蚁头部以及双子叶植物在莱茵伯格下的观察结果。
图6为一个实施例中微透镜阵列的定量相位重构结果和分析结果图，其中图(a)为明场下直接拍摄的微透镜阵列图，图(b)为图(a)中的一个微透镜单元示意图，图(c)为图(b)的定量相位结果图，图(d)为图(c)定量相位的彩色渲染图，图(e)为针对图(c)中的相位剖线系统检测结果和标准值的对比图。
图7为一个实施例中人类宫颈癌细胞的定量相位重构结果和分析结果图，其中图(a)为宫颈癌细胞的暗场成像结果，图(b)为宫颈癌细胞在差分相衬成像下的相位梯度结果，图(c)为图(b)的定量相位结果，图(d)为图(c)中的剖线上的定量相位值定量化曲线，图(e)为系统细胞计数功能下得到的细胞计数结果，图(f)为图(c)中定量相位的三维彩色渲染结果。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
在一个实施例中，结合图1至图3，提供了一种小型化、低成本、多衬度无标记显微成像系统，所述系统包括成像单元，该单元为倒置显微光路结构，包括从上至下依次设置的可编程LED阵列光源、筒镜、微型物镜、样品载物台、彩色相机以及三维位移台；
还包括控制单元(基于QT的操作软件)，用于控制可编程LED阵列光源的照明图案，调节彩色相机的参数，控制相机采集图像，切换成像功能，切换二维/三维成像结果显示，以及执行检测结果分析。
整个系统高度集成，尺寸仅为14*16.5*20cm
3。LED作为照明系统，直接通过电脑控制其显示彩色复用照明图案，经筒镜后照射在样品上，光线被彩色相机所记录得到采集图像，实现多模式的观察和计算。
这里，可编程LED阵列光源包括若干个规则排布为二维矩阵的点LED光源，每个点光源可进行R、G、B三通道照明。典型波长为红光632nm、绿光522nm和蓝光470nm。每个点LED光源之间中心间距d取值为2mm；可编程LED阵列光源与样品载物台上表面的间距h取值为30mm～90mm。
进一步地，在其中一个实施例中，所述微型镜头的放大倍率为6.4倍，数值孔径NA
obj为0.14，焦距4.25，透镜的畸变在1％以内。
这里，采用该小型化透镜，整个系统被高度集成的同时确保了成像的稳定性。
进一步地，在其中一个实施例中，结合图4，所述可编程LED阵列光源通过改变照明图案可产生六种成像模式照明，包括：明场成像、暗场成像、彩虹暗场成像、莱茵伯格光学染色成像、差分相衬成像以及定量相位成像；
所述六种成像模式的照明图案与微型物镜数值孔径相匹配，假设微型物镜数 值孔径为NA
obj，每个LED对应的照明数值孔径NA
ill为：
式中，R
LED表示每个LED到光轴中心对应的LED的距离，h表示可编程LED阵列光源到样品载物上表面的距离；
明场成像：照明图案为圆形，所有照明的LED的照明数值孔径小于等于微型物镜的数值孔径，此时是透射光成像；
暗场成像：照明图案为圆形中空，所有照明的LED的照明数值孔径大于微型物镜的数值孔径；圆形部分的LED不点亮，其他LED点亮，较大角度的散射光照射样品成像，呈现样品的高分辨率细节信息；
彩虹暗场成像：照明图案与暗场成像的照明图案相同，所有照明的LED的照明数值孔径大于微型物镜的数值孔径，照明光颜色为彩虹分布；
莱茵伯格光学染色成像：照明图案为圆形，照明数值孔径小于等于微型物镜数值孔径的LED采用任意颜色，照明数值孔径大于微型物镜数值孔径的LED被不同颜色等分；这里，照明图案对应明场的LED与对应暗场的LED显示不同颜色的照明光，使样品和背景呈现不同的颜色；
差分相衬成像：照明图案为半圆形，所有照明的LED的数值孔径小于等于微型物镜的数值孔径；
定量相位成像：照明图案为半圆形，所有照明的LED的数值孔径小于等于微型物镜的数值孔径。
进一步地，在其中一个实施例中，所述差分相衬成像通过差分相衬成像算法实现，以获得样品在360°任意方向上的相位梯度图像；差分相衬成像算法的计算公式为：
式中，I
lr表示任意一个轴方向的差分相衬成像的相位梯度，I
l和I
r表示所述轴方向上不对称照明采集的两幅图像。
进一步地，在其中一个实施例中，所述定量相位成像通过差分相衬定量相位恢复算法实现，具体过程包括：
步骤1，在任意两个轴方向上，沿轴向分别采用两个照明图案照射样品(这样的倾斜照明引入了相位因子，将不可见的样品相位转换为可测量的强度)，采集对应的样品图像；假设某一轴向上采集的样品图像分别为I
l和I
r，另一轴向上采集的样品图像分别为I
u和I
d，假设采集图像的顺序为I
l、I
r、I
u、I
d；
步骤2，分别计算两个轴方向上的样品相位梯度图像I
lr、I
ud：
步骤3，根据成像模型，计算差分相衬成像的相位传递函数为：
式中，PTF
lr(u)表示I
l和I
r所在轴方向上的相位传递函数，u表示频谱的频率坐标，可被表示为u＝(u
x,u
y)，u
x和u
y为频率横坐标和纵坐标；S
lr(u
j)表示I
l和I
r所在轴方向上的照明光源强度，u
j为第j个LED对应的空间频率，P(u)表示光瞳函数，由物镜的数值孔径NA
obj和照明波长λ决定，其表现为截止频率为
的圆形滤波函数，P
*表示P的共轭；d
2(·)表示二次微分符号；
这里，相位传递函数生成之后保存至本地，系统在每次启动时，会自动调用相位传递函数。
采用这样的方式，简化了计算步骤，可以大大提升相位重构的速度；
步骤4，求解样品相位：利用Tikhonov准则对差分相衬图像的频谱和相位传递函数进行反卷积计算，获得样品的定量相位结果，计算公式为：
式中，φ(r)为样品定量相位，φ(r)为样品定量相位，F、F
-1分别表示傅 里叶变换和傅里叶逆变换，i表示一个轴向的照明，PTF
i(u)和
表示i轴向对应的相位传递函数及其共轭，I
i(u)表示i轴向对应的相位梯度图像，β为正则化参数用来抑制相位传递函数中近似0的数值可能被过度放大带来的误差，β可取0.01；
步骤5，重复上述过程直至停止定量相位成像。
进一步地，在其中一个实施例中，所述差分相衬定量相位恢复算法，还包括位于步骤4之后的：
按照I
l、I
r、I
u、I
d的顺序循环采集I
l或I
r或I
u或I
d(即若上一次采集的为I
d，则当前采集I
l，若上一次采集的为I
l，则当前采集I
r，若上一次采集的为I
r，则当前采集I
u，若上一次采集的为I
u，则当前采集I
d)，每采集一幅图像返回执行步骤2(由当前采集的I
l和之前采集的I
r、I
u、I
d求取样品相位梯度图像，由当前采集的I
r和之前采集的I
l、I
u、I
d求取样品相位梯度图像，由当前采集的I
u和之前采集的I
l、I
r、I
d求取样品相位梯度图像，由当前采集的I
d和之前采集的I
l、I
r、I
u求取样品相位梯度图像)。
这里，传统的差分相衬成像需采集四幅图像进行相位重构，为了增加成像速度，本发明提供了快速成像的模式，即采集前三幅图像后，每次的采集图像都和前三幅采集图像进行计算。由于采集通常在很短的时间内发生，所以四幅相邻图像通常是相对静止的。这样相当于每次仅需采集单幅图像就可完成重构计算，实现了相机最高帧率的重构速度。
进一步地，在其中一个实施例中，所述差分相衬定量相位恢复算法还包括位于步骤5之后的：
增强样品定量相位的显示对比度，具体过程包括：
直方图滤波：统计相位结果中像素值的灰度分布直方图，通过直方图选择显示的相位值范围将背景相位去除；
或者，多颜色伪彩色显示：基于多种伪彩色分布(Gray、Jet、Cool、Hot、Hsv等)，任意选择相位显示的颜色谱，显示样品的不同结构信息。
进一步地，在其中一个实施例中，所述成像单元与控制单元之间通过FPGA进行交互，控制单元将控制信息传输至FPGA，由FPGA控制可编程LED阵列光源的照明图案以及控制相机采集图像。
这里，不限于采用FPGA，还可以采用单片机、ARM或者可编程逻辑器件等等。
作为一种具体示例，在其中一个实施例中，对本发明小型化、低成本、多衬度无标记显微成像系统进行验证说明。为了展示本发明系统的成像结果，采用羽毛装片、水棉、百合花粉、蚂蚁头部以及双子叶植物作为观测目标，给出了明场、暗场、彩虹暗场、莱茵伯格光学染色成像的成像结果，如图5所示。其中，(a1)-(a5)为这五种样品在明场下的观察结果，明场展示了这些样品结构信息，(b1)-(b5)为暗场成像结果，此时由于是散射光成像，提供了更多的样品细节信息，(c1)-(c5)在暗场成像的基础上，采用彩虹分布的颜色进行照明，由于不同频率方向上的样品被不同的颜色照射，样品中的不同结构被不同的颜色所显示，(d1)-(d5)显示了莱茵伯格光学染色成像的结果，可以看到样品背景和样品的信息被更加明显的区分。
采用微透镜阵列作为样品来验证系统的定量相位成像性能，结果显示在图6中。如图6(a)所示为明场下直接拍摄的微透镜阵列，此时由于其呈现透明分布，明场结果的对比度较低，而且无法得到其厚度信息。选择图6(b)所示的一个微透镜单元进行定量相位结果分析，定量相位结果显示在图6(c)，可以看到它的定量相位分布被清楚的恢复出来。图6(d)显示了定量相位的彩色渲染结果，可以清晰的观察到它的三维结构分布。进一步提取图6(c)中线上的定量相位数值绘制曲线来定量的比较恢复的相位数值和标准相位数值的误差。如图6(e)所示，系统得到了与标准相位值一致的检测结果。
最后，采用宫颈癌细胞作为样品来验证系统对生物细胞的定量相位成像性能，图7显示了成像结果。如图7(a)所示为宫颈癌细胞的暗场成像结果，它显示了细胞的高分辨率细节信息。图7(b)显示了宫颈癌细胞在差分相衬成像下的相位梯度结果。对其进行定量相位成像，获得了图7(c)所示的结果。
进一步提取图7(c)中剖线上的定量相位值来分析宫颈癌细胞的三维分布，得到了如图7(d)所示的定量化曲线。系统进一步可以实现细胞计数的功能， 如图7(e)所示，整个视场内包含120个宫颈癌细胞。定量相位结果可以被显示为三维渲染结果以提升其显示的对比度，图7(f)所示为宫颈癌细胞的三维彩色渲染结果。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
- 一种小型化、低成本、多衬度无标记显微成像系统，其特征在于，所述系统包括成像单元，该单元为倒置显微光路结构，包括从上至下依次设置的可编程LED阵列光源、筒镜、微型物镜、样品载物台、彩色相机以及三维位移台；还包括控制单元，用于控制可编程LED阵列光源的照明图案，调节彩色相机的参数，控制相机采集图像，切换成像功能，切换二维/三维成像结果显示，以及执行检测结果分析。
- 根据权利要求1所述的小型化、低成本、多衬度无标记显微成像系统，其特征在于，所述微型物镜的放大倍率为6.4倍，数值孔径NA obj为0.14，焦距4.25，透镜的畸变在1％以内。
- 根据权利要求2所述的小型化、低成本、多衬度无标记显微成像系统，其特征在于，所述可编程LED阵列光源通过改变照明图案可产生六种成像模式照明，包括：明场成像、暗场成像、彩虹暗场成像、莱茵伯格光学染色成像、差分相衬成像以及定量相位成像；所述六种成像模式的照明图案与微型物镜数值孔径相匹配，假设微型物镜数值孔径为NA obj，每个LED对应的照明数值孔径NA ill为：
式中，R LED表示每个LED到光轴中心对应的LED的距离，h表示可编程LED阵列光源到样品载物台上表面的距离；明场成像：照明图案为圆形，所有照明的LED的照明数值孔径小于等于微型物镜的数值孔径；暗场成像：照明图案为圆形中空，所有照明的LED的照明数值孔径大于微型物镜的数值孔径；彩虹暗场成像：照明图案与暗场成像的照明图案相同，所有照明的LED的照明数值孔径大于微型物镜的数值孔径，照明光颜色为彩虹分布；莱茵伯格光学染色成像：照明图案为圆形，照明数值孔径小于等于微型物镜数值孔径的LED采用任意颜色，照明数值孔径大于微型物镜数值孔径的LED被不同颜色等分；差分相衬成像：照明图案为半圆形，所有照明的LED的数值孔径小于等于微型物镜的数值孔径；定量相位成像：照明图案为半圆形，所有照明的LED的数值孔径小于等于微型物镜的数值孔径。 - 根据权利要求3所述的小型化、低成本、多衬度无标记显微成像系统，其特征在于，所述差分相衬成像通过差分相衬成像算法实现，以获得样品在360°任意方向上的相位梯度图像；差分相衬成像算法的计算公式为：
式中，I lr表示任意一个轴方向的差分相衬成像的相位梯度，I l和I r表示所述轴方向上不对称照明采集的两幅图像。 - 根据权利要求4所述的小型化、低成本、多衬度无标记显微成像系统，其特征在于，所述定量相位成像通过差分相衬定量相位恢复算法实现，具体过程包括：步骤1，在任意两个轴方向上，沿轴向分别采用两个照明图案照射样品，采集对应的样品图像；假设某一轴向上采集的样品图像分别为I l和I r，另一轴向上采集的样品图像分别为I u和I d，假设采集图像的顺序为I l、I r、I u、I d；步骤2，分别计算两个轴方向上的样品相位梯度图像I lr、I ud：
步骤3，根据成像模型，计算差分相衬成像的相位传递函数为：
式中，PTF lr(u)表示I l和I r所在轴方向上的相位传递函数，u表示频谱的频率坐标，可被表示为u＝(u x,u y)，u x和u y为频率横坐标和纵坐标；S lr(u j)表示I l 和I r所在轴方向上的照明光源强度，u j为第j个LED对应的空间频率，P(u)表示光瞳函数，由物镜的数值孔径NA obj和照明波长λ决定，其表现为截止频率为的圆形滤波函数，P *表示P的共轭；d 2(·)表示二次微分符号；
步骤4，求解样品相位：利用Tikhonov准则对差分相衬图像的频谱和相位传递函数进行反卷积计算，获得样品的定量相位结果，计算公式为：
式中，φ(r)为样品定量相位，F、F -1分别表示傅里叶变换和傅里叶逆变换，i表示一个轴向的照明，PTF i(u)和PTF i *(u)表示i轴向对应的相位传递函数及其共轭，I i(u)表示i轴向对应的相位梯度图像，β为正则化参数；步骤5，重复上述过程直至停止定量相位成像。 - 根据权利要求5所述的小型化、低成本、多衬度无标记显微成像系统，其特征在于，所述差分相衬定量相位恢复算法，还包括位于步骤4之后的：按照I l、I r、I u、I d的顺序循环采集I l或I r或I u或I d，每采集一幅图像返回执行步骤2。
- 根据权利要求6所述的小型化、低成本、多衬度无标记显微成像系统，其特征在于，所述差分相衬定量相位恢复算法还包括位于步骤5之后的：增强样品定量相位的显示对比度，具体过程包括：直方图滤波：统计相位结果中像素值的灰度分布直方图，通过直方图选择显示的相位值范围将背景相位去除；或者，多颜色伪彩色显示：基于多种伪彩色分布，任意选择相位显示的颜色谱，显示样品的不同结构信息。
- 根据权利要求5所述的小型化、低成本、多衬度无标记显微成像系统，其特征在于，所述相位传递函数生成之后保存至本地，系统在每次启动时，会自动调用相位传递函数。
- 根据权利要求1所述的小型化、低成本、多衬度无标记显微成像系统， 其特征在于，所述成像单元与控制单元之间通过FPGA进行交互，控制单元将控制信息传输至FPGA，由FPGA控制可编程LED阵列光源的照明图案以及控制相机采集图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/026,276 US20230359010A1 (en) | 2020-09-24 | 2021-08-18 | A miniaturized, low-cost, multi-contrast label-free microscope imaging system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011012762.5A CN112130309B (zh) | 2020-09-24 | 2020-09-24 | 一种小型化、低成本、多衬度无标记显微成像系统 |
| CN202011012762.5 | 2020-09-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022062773A1 true WO2022062773A1 (zh) | 2022-03-31 |
Family
ID=73839560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/113185 WO2022062773A1 (zh) | 2020-09-24 | 2021-08-18 | 一种小型化、低成本、多衬度无标记显微成像系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230359010A1 (zh) |
| CN (1) | CN112130309B (zh) |
| WO (1) | WO2022062773A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116297337A (zh) * | 2022-09-09 | 2023-06-23 | 山东大学 | 一种使用暗场光学成像技术判别二维材料层数的方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112130309B (zh) * | 2020-09-24 | 2022-08-09 | 南京理工大学 | 一种小型化、低成本、多衬度无标记显微成像系统 |
| CN112731641A (zh) * | 2020-12-31 | 2021-04-30 | 安徽医科大学 | 多模式成像手机显微镜装置 |
| WO2022241672A1 (zh) * | 2021-05-19 | 2022-11-24 | 浙江大学 | 共聚焦扫描式暗场显微成像方法与装置 |
| CN114677447B (zh) * | 2022-03-21 | 2023-05-12 | 中国科学院西安光学精密机械研究所 | 光学显微成像冗余信息定量度量方法 |
| CN115980989A (zh) * | 2023-01-09 | 2023-04-18 | 南开大学 | 基于微透镜阵列的单帧定量相位层析成像系统及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103197413A (zh) * | 2013-04-15 | 2013-07-10 | 厦门大学 | 可产生三维立体图像的光学显微成像方法 |
| CN105425377A (zh) * | 2015-12-29 | 2016-03-23 | 电子科技大学 | 一种用于显微镜的成像方法及系统 |
| CN106768396A (zh) * | 2016-12-23 | 2017-05-31 | 电子科技大学 | 一种基于微分相衬成像还原定量相位图像的方法及系统 |
| CN107272178A (zh) * | 2017-08-04 | 2017-10-20 | 南京理工大学 | 基于半环状led照明的差分相衬显微成像方法 |
| CN107290846A (zh) * | 2017-08-04 | 2017-10-24 | 南京理工大学 | 基于环状可编程led照明的定量相位显微成像方法 |
| CN109375358A (zh) * | 2018-11-28 | 2019-02-22 | 南京理工大学 | 一种基于最优照明模式设计下的差分相衬定量相位显微成像方法 |
| CN112130309A (zh) * | 2020-09-24 | 2020-12-25 | 南京理工大学 | 一种小型化、低成本、多衬度无标记显微成像系统 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4470247B2 (ja) * | 1999-10-20 | 2010-06-02 | 株式会社ニコン | 倒立顕微鏡 |
| JP4532930B2 (ja) * | 2004-02-20 | 2010-08-25 | オリンパス株式会社 | 暗視野照明装置 |
| JP4815349B2 (ja) * | 2004-06-24 | 2011-11-16 | オリンパス株式会社 | 蛍光相関分光装置 |
| CN103763543B (zh) * | 2014-02-13 | 2015-09-23 | 北京大学 | 合成全息图的采集方法 |
| CN104765138B (zh) * | 2015-04-17 | 2017-09-29 | 南京理工大学 | 基于led阵列的多模式显微成像系统及其方法 |
| WO2016177319A1 (en) * | 2015-05-04 | 2016-11-10 | Versitech Limited | Apparatus and method for quantitative phase-gradient chirped-wavelength-encoded optical imaging |
| CN105158887B (zh) * | 2015-09-29 | 2017-09-22 | 南京理工大学 | 基于可编程led阵列照明的多模式显微成像方法 |
| CN105681748A (zh) * | 2016-01-05 | 2016-06-15 | 广州杰赛科技股份有限公司 | 一种图像摄录装置及监控系统 |
| CN108594418B (zh) * | 2018-03-29 | 2021-02-05 | 暨南大学 | 一种基于阵列单像素探测器的光场显微成像系统及其方法 |
| CN109581645B (zh) * | 2018-11-22 | 2020-07-24 | 南京理工大学 | 基于光强传输方程的相衬与微分干涉相衬的显微成像方法 |
| CN111123497B (zh) * | 2020-01-21 | 2021-07-20 | 电子科技大学 | 一种基于led阵列照明的显微镜光学装置及其校准方法 |
-
2020
- 2020-09-24 CN CN202011012762.5A patent/CN112130309B/zh active Active
-
2021
- 2021-08-18 US US18/026,276 patent/US20230359010A1/en active Pending
- 2021-08-18 WO PCT/CN2021/113185 patent/WO2022062773A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103197413A (zh) * | 2013-04-15 | 2013-07-10 | 厦门大学 | 可产生三维立体图像的光学显微成像方法 |
| CN105425377A (zh) * | 2015-12-29 | 2016-03-23 | 电子科技大学 | 一种用于显微镜的成像方法及系统 |
| CN106768396A (zh) * | 2016-12-23 | 2017-05-31 | 电子科技大学 | 一种基于微分相衬成像还原定量相位图像的方法及系统 |
| CN107272178A (zh) * | 2017-08-04 | 2017-10-20 | 南京理工大学 | 基于半环状led照明的差分相衬显微成像方法 |
| CN107290846A (zh) * | 2017-08-04 | 2017-10-24 | 南京理工大学 | 基于环状可编程led照明的定量相位显微成像方法 |
| CN109375358A (zh) * | 2018-11-28 | 2019-02-22 | 南京理工大学 | 一种基于最优照明模式设计下的差分相衬定量相位显微成像方法 |
| CN112130309A (zh) * | 2020-09-24 | 2020-12-25 | 南京理工大学 | 一种小型化、低成本、多衬度无标记显微成像系统 |
Non-Patent Citations (1)
| Title |
|---|
| DING JUNYI: "Design and Development of the Built-In Cell Dynamic 3D Microscopic Imaging System of the Incubator", MASTER THESIS, TIANJIN POLYTECHNIC UNIVERSITY, CN, no. 6, 15 June 2020 (2020-06-15), CN , XP055914487, ISSN: 1674-0246 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116297337A (zh) * | 2022-09-09 | 2023-06-23 | 山东大学 | 一种使用暗场光学成像技术判别二维材料层数的方法 |
| CN116297337B (zh) * | 2022-09-09 | 2023-10-31 | 山东大学 | 一种使用暗场光学成像技术判别二维材料层数的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112130309A (zh) | 2020-12-25 |
| CN112130309B (zh) | 2022-08-09 |
| US20230359010A1 (en) | 2023-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022062773A1 (zh) | 一种小型化、低成本、多衬度无标记显微成像系统 | |
| CN106896489B (zh) | 基于波长复用的频域拼贴显微系统及其方法 | |
| CN104765138B (zh) | 基于led阵列的多模式显微成像系统及其方法 | |
| Chen et al. | Optical and digital microscopic imaging techniques and applications in pathology | |
| JP5775069B2 (ja) | 細胞観察装置および細胞観察方法 | |
| US9743020B2 (en) | Super resolution optofluidic microscopes for 2D and 3D imaging | |
| EP2681757B1 (en) | Imaging system and method of generating a sub-pixel resolution image | |
| US20140133702A1 (en) | Methods for Rapid Distinction between Debris and Growing Cells | |
| CN109375358B (zh) | 一种基于最优照明模式设计下的差分相衬定量相位显微成像方法 | |
| CN105158894A (zh) | 基于彩色led阵列照明的无透镜相位显微层析装置及图像重构方法 | |
| JP2022529366A (ja) | ディープラーニングベースのカラーホログラフィック顕微鏡のためのシステム及び方法 | |
| WO2013187833A1 (en) | Quantitative phase microscopy for label-free high-contrast cell imaging using frequency domain phase shift | |
| CN105425377A (zh) | 一种用于显微镜的成像方法及系统 | |
| CN109407297B (zh) | 一种基于可编程led阵列照明的多模式光场显微成像方法 | |
| CN112114423A (zh) | 一种便携式全自动多模态显微成像装置 | |
| WO2021150973A1 (en) | Intelligent automated imaging system | |
| US9406118B2 (en) | Stain image color correcting apparatus, method, and system | |
| Lee et al. | Color-coded LED microscopy for quantitative phase imaging: Implementation and application to sperm motility analysis | |
| Zhu et al. | Smartphone-based microscopes | |
| US11169079B2 (en) | Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program | |
| CN112041660A (zh) | 用于移动粒子三维成像的系统、装置与方法 | |
| CN107300762A (zh) | 一种相衬显微成像装置及方法 | |
| CN115774327A (zh) | 一种集成照明调制和瞳孔调制的定量差分相衬显微镜 | |
| WO2021073245A1 (zh) | 一种基于彩色复用照明的单帧差分相衬定量相位成像方法 | |
| Jiao et al. | PAIM (πM): Portable AI-enhanced fluorescence microscope for real-time target detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21871146 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21871146 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21871146 Country of ref document: EP Kind code of ref document: A1 |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 04.10.2023) |