WO2013185317A1

WO2013185317A1 - 双相机的多光谱成像系统和方法

Info

Publication number: WO2013185317A1
Application number: PCT/CN2012/076888
Authority: WO
Inventors: 田捷; 迟崇巍; 秦承虎; 杨鑫
Original assignee: 中国科学院自动化研究所
Priority date: 2012-06-14
Filing date: 2012-06-14
Publication date: 2013-12-19

Abstract

一种双相机的多光谱成像系统，包括：光源模块（120），用于提供近红外光和可见光；光学信号采集模块（130），用于采集荧光和可见光图像；计算机模块（140），用于处理采集到的图像，并将处理后的图像显示在计算机显示器上。本发明采用光学分光棱镜将通过镜头的光线一分为二，用两台CCD相机同时进行实时采集。在各相机前增加带通滤光片，使得两台相机分别在不同光波长范围内成像，最终通过软件进行图像处理，将不同谱段的图像拼合到一起，实现荧光与可见光融合的图像效果。拓展了光学分子影像探针可供选择的空间，延伸了光学分子影像研究与应用的范围。

Description

双相机的多光谱成像系统和方法

技术领域

本发明涉及一种成像系统，特别是关于一种双相机的多光谱成像的系统和方法。

背景技术

近年来，由于分子影像学技术的不断发展，继放射性核素成像、正电子发射断层扫描、单光子发射计算机断层和磁共振成像之后，出现了高分辨率的光学成像，其中近红外荧光成像倍受关注。由于光穿透组织的能力与组织吸收光的强弱、光波的特性、生物组织结构及其物理化学特性均有关系。 650〜900nm 的近红外光（Near-Infrared, NIR) 被称为 "组织光窗 (Tissue Optical Window)", 与可见光相比具有：（1)生物组织对此波段近红外光的吸收和散射效应最小，与可见光相比近红外光可穿透更深层的组织；（2)由于生物组织对此波段近红外光的自体荧光较小，信背比（Signal-to- background ratio, SBR)相对高等优点。

目前市场上有关探测近红外光线的产品均是采用单台相机进行实时成像，由于近红外光线肉眼不可见，所以一般采集到的图像和肉眼看到的图像有所不同。根据《Nature Medicine》 2011年 9 月报道的国际最新进展，荷兰科学家 Gooitzen M van Dam等人采用三台相机协同工作的方法进行拍摄，可以同时看到荧光图像、彩色图像以及拼合图像。其中三台相机主要由三个 CCD组成，分别用来拍摄彩色图像（光谱范围 400nm-650nm)，荧光图像（光谱范围 745nm-845nm) 以及背景图像（光谱范围 740nm-760nm)。通过两台计算机进行协同工作，同步处理拍摄到的图像，达到荧光、彩色以及拼合三幅图像显示的目的。发明内容

本发明的目的是提供一种基于双 CCD相机的视频成像系统和方法。

按照本发明的一方面，一种双相机的多光谱成像系统，包括：光源模块，用于提供近红外光和可见光；

光学信号采集模块，用于采集荧光和可见光图像；

计算机模块，用于处理采集到的图像，并将处理后的图像显示在计算机显示器上。

本发明采用光学分光棱镜将通过镜头的光线一分为二，用两台 CCD 相机同时进行实时采集。我们在各相机前增加带通滤光片，使得两台相机分别在不同光波长范围内成像，最终通过软件进行图像处理，将不同谱段的图像拼合到一起，实现荧光与可见光融合的图像效果。拓展了光学分子影像探针可供选择的空间，延伸了光学分子影像研究与应用的范围。附图说明

图 1是本发明的组织结构图；

图 2是本发明的系统原理图；图 3是本发明的棱镜结构图；

图 4是本发明的系统支架结构示意图;

图 5是本发明的算法流程图；

图 6是本发明实施案例的结果图。具体实施方式

下面结合附图对本发明的实施做详细的描述。

我们根据近红外光线的特点，并基于长期在近红外成像领域的研究经验，本发明采用两台相机来实现荧光、彩色以及拼合图像的获取功能,同样达到三幅图像显示的目的。系统所拍摄的视频和图像均可以达到其报道的水平，并且所有的操作最终在一台计算机上运行实现。

如图 1所示，

系统支撑模块（110)，用于支撑和连接各部件；

光源模块（120)，用于提供近红外光和可见光；

光学信号采集模块（130)，用于采集荧光和可见光图像；计算机模块（140)，软件控制模块（141 )控制近红外 CCD相机 ( 101 ) 和彩色 CCD相机（102)，图像处理模块（142 ) 处理采集到的图像，显示模块（143 ) 将处理后的图像显示在计算机显示器上。

¾φ :

滤光片一（122 ) 表示带通滤光片，光谱范围是 710nm-770nm; 滤光片二（133 ) 表示带通滤光片，光谱范围是 810nm-870nm_; 滤光片三（124) 表示带通滤光片，光谱范围是 400nm-650nm_; 滤光片四（125) 表示带通滤光片，光谱范围是 400nm-650nm。系统支撑模块（110)包括光源支架（111)、光学平台支架（112) 和系统支架（113)。光源支架（111) 主要是用来支撑 LED近红外光源（121)，连接方式是将灯的手柄插入光源支架（111) 的前端，如图 4光源支架（111)箭头所指位置。系统支撑装置（110)主要是为了支撑起光学平台支架（112) 以及光源支架（111)，并且保证可以移动。系统支撑装置（110) 纵向可调节，整体高度范围是 1500nun-1800mm_o光学平台支架（112)挂接在系统支撑装置的上端，如图 4光学平台支架（112) 箭头所指位置。

光源模块（120)包括 LED近红外光源（121)、卤素灯白光光源 (123)和滤光片一（122)、滤光片四（125)。滤光片一（122)套有金属圈，圈上有一圈外螺纹，外形类似市面销售的 UV镜。 LED近红外光源（121) 由 47个 LED灯焊接在一块圆形电路板上，电路板外套有金属套筒，焊接好的电路板放置在金属套筒底部，顶部有内螺紋，可以与滤光片一（122)的金属圈旋紧固定。电源线由底部小孔引出，外接电源适配器，电压 24V，功率 20W。其外形如同图 1中的（121) 所示。滤光片四（125)可以放置在卤素灯白光光源（123) 的滤光片槽（104) 内，卤素灯白光光源（123)产生的光信号通过光纤（105) 引出。

光学信号采集模块（130) 包括镜头（131)、分光棱镜（132)、滤光片二（133)、滤光片三（124)、近红外 CCD相机（101)和彩色 CCD相机（102)。分光棱镜（132) 是由一块经过特殊镀膜的立方体玻璃（1324)、基座（1325)、金属外壳（1326)所组成，如图 3所示，立方体玻璃（1324)放置在基座（1325)上，基座（1325)上方套有金属外壳（1326)，与基座（1325) 由螺丝固定。金属外壳（1326) 上有 4个圆孔，将孔（1321) 与镜头（131)对接，？ L (1322) 与彩色 CCD相机（102)对接，孔（1323) 与近红外 CCD相机（101)对接。滤光片二（133) 放置在近红外 CCD相机（101) 的进光孔处。滤光片三（ 124 )放置在彩色 CCD相机（ 102 )的进光孔处。镜头（ 131 )、分光棱镜（132)、近红外 CCD相机（101) 和彩色 CCD相机（102) 按照中轴线对齐原则固定在同一光学平台上，位置摆放如图 2 中

(101)、 (102)、 (131)、（132)、（133)、 (124) 所示。

计算机模块（140) 包括软件控制模块（141) 和图像处理模块

(142)。其中软件控制模块（141) 是通过近红外 CCD相机（101) 和彩色 CCD相机（102)的数据线（106)与计算机模块（140)相连。工作人员通过操作软件控制模块（141 )来达到控制近红外 CCD相机

(101)和彩色 CCD相机（102) 的目的。图像处理模块（142)主要是处理近红外 CCD相机（101)和彩色 CCD相机（102)拍摄的图像数据，完成分割点运算和图像叠加功能。

如图 2所示，

近红外 CCD相机（101)，用于采集近红外图像。

彩色 CCD相机（102)，用于采集可见光图像。

分光棱镜（132)，用于将光路一分为二，一半透射，一半反射。镜头（131)，用于调节使得图像成像清晰。

LED近红外光源（121)，用于发射近红外光线。

卤素灯白光光源（123)，用于发射可见光光线；滤光片槽（104) 用于放置滤光片四（125); 光纤（105) 用于将光线引出。

滤光片二（133)，用于过滤其他波长光线，保证需要波长的光线进入近红外 CCD相机（101); 滤光片三（124)，用于过滤其他波长光线，保证需要波长的光线进入彩色 CCD相机（102)。

数据线（106) 用于传输采集的图像数据。

计算机模块（140) 用于控制相机和处理图像数据。

图 3所示，？ L (1321)、 ?L (1322) 和孔（1323) 均用于保证光线的进出。

立方体玻璃（1324)，用于将光线分成两路，是分光棱镜（132) 的核心部件。

基座（1325)用于托住立方体玻璃 (1324),并与金属外壳（1326) 固定。

金属外壳（1326) 用于将立方体玻璃（1324) 从其他面固定住。图 4所示，

光学平台支架（112) 用于将各元器件固定在同一平台上。

光源支架（111) 用于将 LED近红外光源（121) 进行支撑。系统支撑装置（110)用于将光学平台支架（112)和光源支架（111) 进行固定和调节，并保证整体可以移动。

下面描述本发明的方法。卤素灯白光光源（123) 对探测区域（103) 进行照射；

系统支撑模块（110) 调整系统支架（113)至合适高度，光学信号采集模块（130) 调节镜头（131) 焦距，软件控制模块（141) 采集彩色 CCD相机（102) 视频图像，计算机模块（140) 中显示模块 (141) 进行实时显示，调整为清晰成像；

LED近红外光源（121) 对探测区域（103) 进行照射，计算机模块（140) 中软件控制模块（141)切换到拍照模式，获取一组校准图像；

计算机模块（140) 中软件控制模块（141) 采集近红外 CCD相机（101) 视频图像，进行实时观测；

计算机模块（140) 中软件控制模块（141)切换到拍照模式，获取一组图像，进行存档；

图像处理模块（142) 对存档的图像进行运算，计算分割点，图像处理模块（ 142)根据计算出的分割点进行图像拼合，显示模块（ 143 ) 将处理后的图像显示到计算机显示器上。

校准图像。由于近红外 CCD相机（101 )和彩色 CCD相机（102) 感光芯片大小不同，所以当系统支撑模块（110)调整系统支架（113) 至合适高度，光学信号采集模块（130) 调节镜头（131)焦距后，我们需要获取一组校准图像，为图像处理模块（142) 计算分割点做准备。如图 5所示，本发明所述图像处理模块（142) 分割点计算算法流程图。

步骤 501： MATLAB读取两台相机拍照所得图像灰度值矩阵；步骤 502: 通过硬件信息可以得知近红外 CCD相机（101 )芯片面积为 1.3英寸，图片分辨率为 1024*1024，彩色 CCD相机（102 ) 芯片面积为 2/3英寸，分辨率为 2136*2548。通过 MATLAB软件的工具包插值运算，将彩色 CCD相机（102)图像分辨率转化为 534*637，近红外 CCD相机（101 )取得图像中以 i， j为基点选择一块 534*637 的数据矩阵赋给 A,插值后的彩色 CCD相机（102 )图像矩阵赋给 B, 其中，设置变量 i， j均为 0;

步骤 503 : 计算矩阵 A 中各点的均值赋给 mA，通过公式计算

^DA =∑∑ —mA j 步骤 504: 计算矩阵 B 中各点的均值赋给 mB，通过公式计算

DB =∑∑ [ ,— mB 骤 505：根据矩阵 A、 B 以及 mA、 mB，计算

- mA ) X ( , - mB ] 然后计算得到 A、 B 的相关系攝 corAB

corrcoef _AB =

^jDA DB，

步骤 506: 得到该相关系数之后 i=i+533， j=j+636, 再重复步骤 3-5步骤，比较两个相关系数的大小，取较小值，并记录 i， j的数值；步骤 507: 迭代运算 200次，最终返回 i， j的值，公式中 1, j代表两个程序变量，用于记录运算过程中矩阵的顶点坐标； A， B分别代表一个 534*637的数据矩阵； mA代表 A矩阵中各点的平均值； mB代表 B矩阵中各点的平均值； ¾代表矩阵 A中第 i行第」列的数值; ¾代表矩阵 B中第 i行第 j列的数值; DA、DB、corAB、corrcoef—AB 分别是通过公式计算后的结果。实施例

光学信号采集模块（130) 按照图 2所示组装好，光学信号采集模块（130) 固定在光学平台支架（112)上，按照图 4所示光学平台支架（112)挂接在系统支撑装置（110)端， LED近红外光源（121) 插入光源支架（111)中。系统支撑模块（110)移动到探测区域（103) 正上方，数据线（106) 与计算机模块（140) 对应端口连接。

光源模块（120) 中光纤（105) 固定在光源支架（111) 上，卤素灯白光光源（123) 对准探测区域（103) 进行照射。

软件控制模块（141)控制采集彩色 CCD相机（102)视频图像，光学信号采集模块（130)调整镜头（131)焦距保证清晰成像。软件控制模块（ 141 )获取近红外 CCD相机（ 101 )和彩色 CCD相机（102) 图像，并保存。

用遮光布对探测区域（103) 进行避光处理。 LED近红外光源对准探测区域（103)进行照射。

软件控制模块（141) 控制采集近红外 CCD相机（101) 视频图像，拍摄物体放置最佳拍摄角度后，保持不动，软件控制模块（141) 采集近红外 CCD相机（101) 和彩色 CCD相机（102) 图像。

图像处理模块（142) 计算 3中获取的近红外 CCD相机（101) 和彩色 CCD相机（102) 图像分割点。图像处理模块（142) 将近红外 CCD相机（101) 获取图像增加伪绿，图像处理模块（142) 用分割点拼合 5 中采集彩色 CCD相机（102) 图像和增加伪绿的近红外 CCD相机 (101) 图像。

实验结果如图 6所示，本发明使用 0.01mg/ml浓度的吲哚菁绿荧光染料注入 EP管中作为实验，验证系统的可行性。可以看到图（601) 为近红夕卜 CCD相机（101)拍到的图像，图（602)为彩色 CCD相机（102) 拍到的图像。图（603) 为图像处理模块（142) 计算拼合后的图像。可以看到，虽然通过肉眼看到的（602) 中为透明液体，但是通过激发光源照射后，明显看出有荧光发出（601)，通过图像处理模块（142) 将两幅图像进行拼合，我们便在肉眼可见的（601) 图像上同时看到了（602) 图像信息。

尽管为说明目的公开了本发明的具体实施案例与附图，辅助理解本发明的内容并据以实施，但是专业技术人员可以理解：在不脱离本发明及所附的权利要求的精神与范围内，各种替换和修改都是可能的。因此，本发明不应该局限于最佳实施案例和附图所公幵的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

权利要求

1 . 一种双相机的多光谱成像系统，包括：

光源模块，用于提供近红外光和可见光；

光学信号采集模块，用于采集荧光和可见光图像；

2. 根据权利要求 1所述的系统，其中，所述光源模块包括 LED 近红外光源、卤素灯白光光源、第一滤光片和第四滤光片。

3. 根据权利要求 2所述的系统，其中，所述第一滤光片的光谱范围是 710nm-770nm，所述第四滤光片的光谱范围是 400nm-650nm。

4. 根据权利要求 1 所述的系统，其中，所述光学信号采集模块包括镜头、分光棱镜、第二滤光片、第三滤光片、近红外 CCD相机和彩色 CCD相机。

5. 根据权利要求 4所述的系统，其中，所述第二滤光片的光谱范围是 810nm-870nm，所述第三滤光片的光谱范围是 400nm-650nm。

6. 根据权利要求 1所述的系统，其中，所述计算机模块包括：软件控制模块，用于控制近红外 CCD相机和彩色 CCD相机；图像处理模块，用于处理近红外 CCD相机和彩色 CCD相机拍摄的图像数据，并完成分割点运算和图像叠加功能；

显示模块，用于在计算机显示器上显示图像。

7. 根据权利要求 1 所述的系统，还包括系统支持模块用于支撑和连接各部件，所述支撑模块包括光源支架、光学平台支架和系统支

8. 一种基于双相机的多光谱成像方法，包括步骤：使用近红外光源和可见光源照射探测区域；

使用近红外 CCD相机和彩色 CCD相机采集荧光和可见光图像；处理采集到的图像，并将处理后的图像显示在计算机显示器上。

9. 根据权利要求 8所述的方法，其中，所述处理采集到的图像包括分割点计算，所述分割点计算包括- 步骤 1：读取近红外 CCD相机和彩色 CCD相机拍照所得图像灰度值矩阵；

步骤 2: 进行插值运算，将图像分辨率转化为 534*637，近红外 CCD相机（101)取得图像中以 1， j为基点选择一块 534*637的数据矩阵赋给 A，插值后彩色 CCD相机（102) 图像矩阵赋给 B, 其中，变量 i， j均为 0;

步骤 3: 计算矩阵 A 中各点的均值赋给 mA，通过公式计算

^DA =∑∑ —mAj 步骤 4: 计算矩阵 B 中各点的均值赋给 mB，通过公式计算

DB =∑∑ {b_i}-mB)

ϋ产 o^L

骤 5 : 根据矩阵八、 B 以及 mA、 mB，计算

- mA ) X ( , -mB\ 然后计算得到 A、 B 的相关系攝 corAB

corrcoef _AB =

/DAxDB ，步骤 6:得到该相关系数之后 i=i+533， j=i+636,再重复步骤 3-5，比较两个相关系数的大小，取较小值，并记录 1， j的数值；

步骤 7: 迭代运算 200次，最终返回 i，」的值，

其中，公式中 i, j代表两个程序变量，用于记录运算过程中矩阵的顶点坐标； A， B分别代表一个 534*637的数据矩阵； mA代表 A 矩阵中各点的平均值； mB代表 B矩阵中各点的平均值； ¾代表矩阵 A中第 i行第」列的数值；代表矩阵 B中第 i行第」列的数值； DA、 DB、 corAB、 corrcoef— AB分别是通过公式计算后的结果。

10. 根据权利要求 9所述的方法，其中，近红外 CCD相机的图片分辨率为 1024*1024，彩色 CCD相机的分辨率为 2136*2548。