WO2014205738A1

WO2014205738A1 - 基于内窥镜的多光谱视频导航系统和方法

Info

Publication number: WO2014205738A1
Application number: PCT/CN2013/078168
Authority: WO
Inventors: 田捷; 迟崇魏; 叶津佐; 杨鑫
Original assignee: 中国科学院自动化研究所
Priority date: 2013-06-27
Filing date: 2013-06-27
Publication date: 2014-12-31

Abstract

一种基于内窥镜的多光谱视频导航系统，该系统包括：内窥镜头模块（110），用于实现内窥；光源模块（120），用于提供近红外和可见光光源；光学信号采集模块（130），用于采集近红外及可见光图像；多光谱转换模块（150），用于对不同光谱谱段进行成像；控制与处理模块（140），用于对相机进行控制、对采集到的图像进行处理以实现视频导航。同时还公开了一种利用所述系统进行多光谱视频导航的方法。该系统和方法有效地解决了目前绝大部分内窥镜荧光产品只能看到荧光图像或者可见光图像，无法看到多光谱图像的问题，同时降低了多光谱内窥镜成像研究的门槛，拓展了光学分子影像探针可选择的空间，延伸了光学分子影像研究与应用的范围。

Description

基于内窥镜的多光谱视频导航系统和方法

技术领域本发明涉及光学成像技术领域，特别是一种基于内窥镜的多光谱视频导航系统和方法。

背景技术近年来，由于分子影像学技术的不断发展，继放射性核素成像、正电子发射断层扫描、单光子发射计算机断层和磁共振成像之后，出现了高分辨率的光学成像，其中近红外荧光成像倍受关注。但是即使光学分子影像的应用领域较广，组织穿透深度仍是其广泛应用的一大障碍，如何能够实现在体的深度探测是目前亟待解决的问题。

内窥式的探测方式具有探测深度可控等优点，可以有效解决组织穿透深度的问题。通过本发明方法，可以在体观测和定位荧光位置，并通过内窥镜头进入组织中进行深度探测。

目前市面上常见的是单光谱视频成像系统，这种系统具有成像谱段单一，信息不完整等缺点，而多光谱成像能够有效的克服上述缺点。但是目前大部分多光谱成像系统采用的仍是单台成像设备，利用滤光轮进行多光谱切换，分时使用同一台成像设备，这就在视频成像效果上具有很大的局限。本发明采用两台成像设备，通过共用一个光学通路，在成像设备前增加不同的滤光装置，实现多光谱的实时成像。在成像结果上将不同光谱的信息呈现在计算机显示器上，技术人员实现图像导航引导操作。

发明内容本发明的目的是解决上述现有技术存在的缺陷，提供一种基于内窥镜的多光谱视频导航系统和方法。本发明根据光学分子影像的特点，并基于长期在光学成像领域的研究经验，采用两台相机来实现荧光、可见光以及融合图像的获取等功能。

根据本发明的一方面，提出一种基于内窥镜的多光谱成像系统，该系统包括：内窥镜头模块 110、光源模块 120、光学信号采集模块 130、控制与处理模块 140和多光谱切换模块 150，其中：

所述内窥镜头模块 110，用于对待测组织的探测区域 100进行内窥，并将所述探测区域 100的反射光传输至所述光学信号采集模块 130; 所述光源模块 120与所述内窥镜头模块 110连接，用于为所述内窥镜头模块 110提供激发光和可见光；

所述光学信号采集模块 130与所述内窥镜头模块 110连接，用于根据所述内窥镜头模块 110传输的所述探测区域 100的反射光得到荧光和可见光图像；

所述控制与处理模块 140与所述光学信号采集模块 130连接，用于对所述光学信号采集模块 130中的荧光相机 134和彩色相机 136进行控制，对所述光学信号采集模块 130采集得到的荧光和可见光图像进行处理并显示，工作人员根据显示出的荧光和可见光图像对于所述待测组织进行操作；

所述多光谱切换模块 150，用于为所述光源模块 120和所述光学信号采集模块 130提供不同光谱的滤光片。

根据本发明的另一方面，提出一种利用所述基于内窥镜的多光谱成像系统进行多光谱成像的方法，该方法包括以下歩骤：

歩骤 S1 ,使激发光源 121和可见光光源 123对探测区域 100分别进行照射；

歩骤 S2，根据探测特性，光谱切换模块 150对于光源模块 120、光学信号采集模块 130中滤光片的参数进行设置；

歩骤 S3 ,控制模块 141对荧光相机 134和彩色相机 136的成像参数进行调整，所述荧光相机 134和彩色相机 136分别根据所述探测区域 100 具有不同光谱或者能量的反射光采集得到图像；

歩骤 S4,图像处理模块 142对所述荧光相机 134和彩色相机 136采集得到的图像进行处理；

歩骤 S5，显示模块 143对于所述歩骤 S4得到的处理后的图像进行实时显示，若显示的图像达不到清晰度要求，则通过光学信号采集模块 130来调节镜头 131的参数，直到所述显示模块 143显示的图像达到清晰度要求；

歩骤 S6，移动内窥镜头模块 110，在待测组织的探测区域 100内寻找荧光物体，最终得到所述荧光物体的清晰图像。

本发明通过内窥镜头模块实现光源的激发和光线的采集，光学信号采集模块进行实时采集光线，多光谱转换模块对不同谱段的光线进行过滤，控制与处理模块对采集到的图像信息进行实时的处理，将不同谱段的图像拼合到一起，实现光谱的图像融合并进行显示，使得工作人员能够根据显示出的荧光和可见光图像对于待测组织进行针对性的操作。目前市面上绝大部分内窥镜荧光产品均采用单一 CCD相机进行成像，其缺点在于成像时只能看到荧光图像或者可见光图像，而无法看到多光谱的图像。而本发明有效的解决了该问题，同时也打破了国外公司在华的技术垄断状况，降低了多光谱内窥镜成像研究的门槛，拓展了光学分子影像探针可供选择的空间，延伸了光学分子影像研究与应用的范围。

附图说明图 1是本发明基于内窥镜的多光谱视频导航系统的结构框图；图 2是本发明基于内窥镜的多光谱视频导航系统的系统原理图; 图 3是本发明基于内窥镜的多光谱视频导航方法的流程图。

具体实施方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一歩详细说明。

根据本发明的一方面，提出一种基于内窥镜的多光谱视频导航系统，图 1是本发明基于内窥镜的多光谱视频导航系统的结构框图，图 2是本发明基于内窥镜的多光谱视频导航系统的系统原理图，如图 1和图 2所示，所述多光谱视频导航系统包括：内窥镜头模块 110、光源模块 120、光学信号采集模块 130、控制与处理模块 140和多光谱切换模块 150，其中：

所述内窥镜头模块 110，用于对待测组织的探测区域 100进行内窥，并将所述探测区域 100的反射光传输至所述光学信号采集模块 130; 所述光源模块 120与所述内窥镜头模块 110连接，用于为所述内窥镜头模块 110提供激发光和可见光，所述可见光作为背景照明光；所述光学信号采集模块 130与所述内窥镜头模块 110连接，用于根据所述内窥镜头模块 110传输的所述探测区域 100的反射光得到荧光和可见光图像；

所述内窥镜镜头模块 110进一歩包括激发光光纤 111、可见光光纤 112和信号采集光纤 113，所述激发光光纤 111、可见光光纤 112分布在所述信号采集光纤 113的周围，其中，所述激发光光纤 111与所述光源模块 120中的滤光片一 122连接，用于引导出所述光源模块 120中的激发光源 121发出的激发光，以对所述探测区域 100进行激发光照射；所述可见光光纤 112与所述光源模块 120中的滤光片二 124连接，用于引导出所述光源模块 120中的可见光光源 123发出的可见光，以为所述探测区域 100提供照明光源；所述信号采集光纤 113与所述光学信号采集模块 130中的镜头 131的前端连接，用于采集所述激发光和可见光在所述探测区域 100的反射光，并将所述反射光引导至所述镜头 131处。所述光源模块 120进一歩包括激发光源 121、滤光片一 122、可见光光源 123和滤光片二 124，其中，所述激发光源 121通过所述滤光片一 122与所述内窥镜镜头模块 110中的激发光光纤 111连接，用于为所述激发光光纤 111提供激发光，所述激发光源 121可采用波长可调激光器或者卤钨灯等宽谱段光源;所述可见光光源 123通过所述滤光片二 124 与所述内窥镜镜头模块 110中的可见光光纤 112连接，用于为所述可见光光纤 112提供可见光，所述可见光光源 123可采用卤钨灯或者 LED灯等窄谱段特定波长或波段光源。

所述光学信号采集模块 130进一歩包括镜头 131、分光棱镜 132、滤光片三 133、荧光相机 134、滤光片四 135和彩色相机 136，其中，所述镜头 131与所述内窥镜镜头模块 110中的信号采集光纤 113相连接，用于将所述发射光引导至所述分光棱镜 132处，并通过调整焦距、调焦环等参数来调整成像清晰度；所述分光棱镜 132由二向分光棱镜或者 55 分光棱镜等分光元件组成，所述分光棱镜 132的入射光端与所述镜头 131 的末端相连，所述分光棱镜 132的两个出射端分别通过滤光片三 133和滤光片四 135与所述荧光相机 134和彩色相机 136相连，用于将所述镜头 131传输的一束光线按照光线的光谱或者能量的不同分成两束；所述荧光相机 134和彩色相机 136通过数据线 101与所述控制与处理模块 140 连接，用于根据所述分光棱镜 132的出射光线进行成像，并将分别得到的具有不同光谱或者不同能量的图像传输至所述控制与处理模块 140。

所述控制与处理模块 140进一歩包括控制模块 141、图像处理模块 142和显示模块 143，其中，所述控制模块 141用于对所述荧光相机 134 和彩色相机 136的成像参数（比如曝光时间等）进行控制；所述图像处理模块 142用于对所述荧光相机 134和彩色相机 136拍摄得到的图像数据进行处理，所述处理至少包括图像融合，另外还可以包括图像去噪等处理操作；所述显示模块 143用于对于所述图像处理模块 142处理后得到的图像进行实时显示，以供工作人员观察并对于所述待测组织进行治疗操作，这样本系统就实现了多光谱视频导航的功能。

所述多光谱切换模块 150为滤光轮装置，用于根据不同荧光的激发特性，调整各个滤光片的谱段，以保证多光谱光线的激发和采集，避免不同光谱光线的相互干扰，各个滤光片的谱段一旦调整好后，在整个实时导航的过程中将不再切换。所述滤光片的数量可根据需要进行安装，在本发明一实施例中，所述滤光片的数量为 4片：滤光片一 122、滤光片二 124、滤光片三 133和滤光片四 135，所述滤光片的谱段为近红外范围，具体为：

滤光片一 122的谱段为 710nm-770nm，直径为 25mm;

滤光片二 124的谱段为 400nm-650nm，直径为 25mm;

滤光片三 133的谱段为 810nm-870nm，直径为 50mm;

滤光片四 135的谱段为 400nm-650nm，直径为 50mm。

在操作人员实际使用过程中，可以根据具体的需求切换具有合适光谱的滤光片。

根据本发明的另一方面，还提出一种利用所述基于内窥镜的多光谱视频导航方法，所述方法包括以下歩骤：

歩骤 S4,图像处理模块 142对所述荧光相机 134和彩色相机 136采集得到的图像进行处理，所述处理至少包括图像融合，另外还可以包括图像去噪等处理操作；

歩骤 S5，显示模块 143对于所述歩骤 S4得到的处理后的图像进行实时视频显示，若显示的图像达不到清晰度要求，则通过光学信号采集模块 130来调节镜头 131的参数，直到所述显示模块 143显示的图像达到清晰度要求；

歩骤 S6，移动内窥镜头模块 110，在待测组织的探测区域 100内寻找荧光物体，最终得到并显示所述荧光物体的清晰图像；歩骤 S7 ,工作人员根据所述荧光物体的清晰图像对于所述待测组织进行操作。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一歩详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

权利要求

1、一种基于内窥镜的多光谱成像系统，其特征在于，该系统包括：内窥镜头模块（110)、光源模块（120)、光学信号采集模块（130)、控制与处理模块（140) 和多光谱切换模块（150)，其中：

所述内窥镜头模块（110)，用于对待测组织的探测区域（100) 进行内窥，并将所述探测区域（100) 的反射光传输至所述光学信号采集模块 ( 130)；

所述光源模块（120) 与所述内窥镜头模块（110) 连接，用于为所述内窥镜头模块（110) 提供激发光和可见光；

所述光学信号采集模块（130) 与所述内窥镜头模块（110 ) 连接，用于根据所述内窥镜头模块（110) 传输的所述探测区域（100) 的反射光得到荧光和可见光图像；

所述控制与处理模块（140)与所述光学信号采集模块（130)连接，用于对所述光学信号采集模块（130) 中的荧光相机（134) 和彩色相机 ( 136) 进行控制，对所述光学信号采集模块（130) 采集得到的荧光和可见光图像进行处理并显示，工作人员根据显示出的荧光和可见光图像对于所述待测组织进行操作；

所述多光谱切换模块（150)，用于为所述光源模块（120 ) 和所述光学信号采集模块（130) 提供不同光谱的滤光片。

2、根据权利要求 1 所述的系统，其特征在于，所述内窥镜镜头模块（110) 进一歩包括激发光光纤（111 )、可见光光纤（112) 和信号采集光纤（113 )，其中：

所述激发光光纤（111 )与所述光源模块（120)中的滤光片一（122) 连接，用于引导出所述光源模块（120) 中的激发光源（121 ) 发出的激发光，以对所述探测区域（100) 进行激发光照射；

所述可见光光纤（ 112)与所述光源模块（ 120)中的滤光片二（ 124) 连接，用于引导出所述光源模块（120) 中的可见光光源（123 ) 发出的可见光，以为所述探测区域（100) 提供照明光源；所述信号采集光纤（113) 与所述光学信号采集模块（130) 中的镜头（131) 的前端连接，用于采集所述激发光和可见光在所述探测区域 (100) 的反射光，并将所述反射光引导至所述镜头（131) 处。

3、根据权利要求 2所述的系统，其特征在于，所述激发光光纤（111)、可见光光纤（112) 分布在所述信号采集光纤（113) 的周围。

4、根据权利要求 1所述的系统，其特征在于，所述光源模块（120) 进一歩包括激发光源（121)、滤光片一（122)、可见光光源（123) 和滤光片二（124)，其中：

所述激发光源（121) 通过所述滤光片一（122) 与所述内窥镜镜头模块（110)中的激发光光纤（111)连接，用于为所述激发光光纤（111) 提供激发光；

所述可见光光源（123) 通过所述滤光片二（124) 与所述内窥镜镜头模块（110)中的可见光光纤（112)连接，用于为所述可见光光纤（112) 提供可见光。

5、根据权利要求 4所述的系统，其特征在于，所述激发光源（121) 采用宽谱段光源，所述可见光光源（123) 采用窄谱段特定波长或波段光源。

6、根据权利要求 1 所述的系统，其特征在于，所述光学信号采集模块（130)进一歩包括镜头（131)、分光棱镜（132)、滤光片三（133)、荧光相机（134)、滤光片四（135) 和彩色相机（136)，其中：

所述镜头（131) 与所述内窥镜镜头模块（110) 中的信号采集光纤 (113) 相连接，用于将所述发射光引导至所述分光棱镜（132) 处和调整成像清晰度；

所述分光棱镜（132) 的入射光端与所述镜头（131) 的末端相连，两个出射端分别通过滤光片三（133) 和滤光片四（135) 与所述荧光相机（134) 和彩色相机（136) 相连，用于将所述镜头（131) 传输的一束光线按照光线的光谱或者能量的不同分成两束；

所述荧光相机（134) 和彩色相机（136) 通过数据线（101) 与所述控制与处理模块（140) 连接，用于根据所述分光棱镜（132) 的出射光线进行成像，并将分别得到的具有不同光谱或者不同能量的图像传输至所述控制与处理模块（140)。

7、根据权利要求 6所述的系统，其特征在于，所述分光棱镜（132) 由二向分光棱镜或者 55分光棱镜组成。

8、根据权利要求 1 所述的系统，其特征在于，所述控制与处理模块（140) 进一歩包括控制模块（141 )、图像处理模块（142) 和显示模块 ( 143 )，其中：

所述控制模块（ 141 )用于对所述荧光相机（ 134 )和彩色相机（136) 的成像参数进行控制；

所述图像处理模块（142) 用于对所述荧光相机（134) 和彩色相机 ( 136) 拍摄得到的图像数据进行处理；

所述显示模块（143 ) 用于对于所述图像处理模块（142) 处理后得到的图像进行实时显示。

9、根据权利要求 1 所述的系统，其特征在于，所述多光谱切换模块（150) 为滤光轮装置，用于根据不同荧光的激发特性，调整各个滤光片的谱段，以保证多光谱光线的激发和采集，避免不同光谱光线的相互干扰。

10、一种利用权利要求 1所述的基于内窥镜的多光谱成像系统进行多光谱成像的方法，其特征在于，该方法包括以下歩骤：

歩骤 S1，使激发光源（ 121 )和可见光光源（ 123 )对探测区域（100) 分别进行照射；

歩骤 S2,根据探测特性，光谱切换模块（150)对于光源模块（120)、光学信号采集模块（130) 中滤光片的参数进行设置；

歩骤 S3 , 控制模块（141 ) 对荧光相机（134) 和彩色相机（136) 的成像参数进行调整，所述荧光相机（134) 和彩色相机（136) 分别根据所述探测区域（100)具有不同光谱或者能量的反射光采集得到图像；歩骤 S4，图像处理模块（142)对所述荧光相机（134)和彩色相机 ( 136) 采集得到的图像进行处理；

歩骤 S5，显示模块（143 )对于所述歩骤 S4得到的处理后的图像进行实时显示，若显示的图像达不到清晰度要求，则通过光学信号采集模块（130) 来调节镜头（131 ) 的参数，直到所述显示模块（143 ) 显示的图像达到清晰度要求；

歩骤 S6,移动内窥镜头模块（110)，在待测组织的探测区域（100) 内寻找荧光物体，最终得到所述荧光物体的清晰图像；

歩骤 S7,工作人员根据所述荧光物体的清晰图像对于所述待测组织进行操作。