WO2025124236A1 - 非对称双目内镜及其三维重建方法 - Google Patents

非对称双目内镜及其三维重建方法 Download PDF

Info

Publication number
WO2025124236A1
WO2025124236A1 PCT/CN2024/136530 CN2024136530W WO2025124236A1 WO 2025124236 A1 WO2025124236 A1 WO 2025124236A1 CN 2024136530 W CN2024136530 W CN 2024136530W WO 2025124236 A1 WO2025124236 A1 WO 2025124236A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera module
resolution
image captured
image
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2024/136530
Other languages
English (en)
French (fr)
Inventor
钱大宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Weigao Hongrui Medical Technology Co Ltd
Shanghai Jiao Tong University
Original Assignee
Shandong Weigao Hongrui Medical Technology Co Ltd
Shanghai Jiao Tong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Weigao Hongrui Medical Technology Co Ltd, Shanghai Jiao Tong University filed Critical Shandong Weigao Hongrui Medical Technology Co Ltd
Publication of WO2025124236A1 publication Critical patent/WO2025124236A1/zh
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Definitions

  • the present application relates to the field of endoscopes, and in particular to an asymmetric binocular endoscope and a three-dimensional reconstruction method thereof.
  • An endoscope is a detection instrument that integrates traditional optics, ergonomics, precision machinery, modern electronics, mathematics, and software. It has an image sensor, an optical lens, a light source, a mechanical device, etc. It can enter the stomach through the mouth or other natural orifices. Endoscopes can be used to see lesions that cannot be shown by X-rays, so they are very useful to doctors. For example, with the help of an endoscope, doctors can observe ulcers or tumors in the stomach and develop the best treatment plan based on this.
  • the purpose of the present application is to provide an asymmetric binocular endoscope and a three-dimensional reconstruction method thereof, which can solve the problem of insufficient spatial arrangement of binocular camera modules on an endoscope while ensuring clarity.
  • the present application discloses a three-dimensional reconstruction method of an asymmetric binocular endoscope, comprising:
  • the first camera module 1 performs white light imaging
  • the second camera module 2 performs fluorescence imaging, wherein the diameter of the first camera module 1 is greater than the diameter of the second camera module 2, and the resolution of the first camera module 1 is greater than the resolution of the second camera module 2;
  • the image captured by the second camera module 2 is superimposed on the texture to obtain a fluorescent three-dimensional image.
  • the processing of the image captured by the first camera module 1 further includes:
  • the image captured by the first camera module 1 is downsampled so that the resolution of the image captured by the first camera module 1 after downsampling is consistent with the resolution of the image captured by the second camera module 2.
  • the processing of the image captured by the first camera module 1 further includes:
  • the image captured by the second camera module 2 is interpolated so that the resolution of the interpolated image captured by the second camera module 2 is consistent with the resolution of the image captured by the first camera module 1.
  • the resolution of the first camera module 1 is 4K
  • the resolution of the second camera module 2 is 2K
  • the present application also discloses an asymmetric binocular endoscope, comprising:
  • a second camera module 2 wherein the second camera module 2 is configured to perform fluorescence imaging
  • the diameter of the first camera module 1 is greater than the diameter of the second camera module 2;
  • the resolution of the first camera module 1 is greater than the resolution of the second camera module 2;
  • the image captured by the first camera module 1 is configured to have a resolution consistent with a resolution of the image captured by the second camera module 2 so as to perform three-dimensional reconstruction to obtain a three-dimensional image.
  • the resolution of the first camera module 1 is 4K
  • the resolution of the second camera module 2 is 2K
  • the image captured by the first camera module 1 is configured to be downsampled so that the resolution is consistent with the resolution of the image captured by the second camera module 2.
  • the image captured by the second camera module 2 is configured to be interpolated so that the resolution is consistent with the resolution of the image captured by the first camera module 1.
  • the first light source module is configured as a fluorescent light source with an emission wavelength of 760nm-900nm
  • the second light source module is configured as a white light source with an emission wavelength of 400nm-700nm
  • the lens is configured to refract the fluorescent light source and the white light source
  • the light guide is configured to transmit the refracted light from the fluorescent light source and the white light source to the illumination lens part of the endoscope.
  • the present application also discloses a computer-readable storage medium, in which computer-executable instructions are stored.
  • computer-executable instructions are stored.
  • the steps in the method described above are implemented.
  • a first camera module with a larger diameter and a higher resolution and a second camera module with a smaller diameter and a lower resolution are used.
  • the first camera module is used for white light imaging
  • the second camera module is used for fluorescence imaging. Since fluorescence synthesis or enhancement does not require a resolution consistent with white light imaging, the higher resolution of the first camera module is processed to make it consistent with the resolution of the second camera module, and then three-dimensional reconstruction is performed to obtain a three-dimensional image of the lesion. Subsequently, the image collected by the first camera module with higher clarity is superimposed on the three-dimensional image as a texture.
  • the doctor can not only observe the three-dimensional image of the lesion, but also observe clearer textures, that is, a three-dimensional texture image of the lesion with higher clarity is obtained.
  • the present application can make two camera modules with high definition or ultra-high definition accommodated in a narrow diameter endoscope channel at the same time, so the doctor can clearly observe the three-dimensional graphics of the lesion.
  • a high-definition three-dimensional texture image and a fluorescent image can be simultaneously obtained within the same range of the lesion image that needs to be observed, which can help doctors better observe tumors and other lesions.
  • step 103 based on the image obtained by processing the image captured by the first camera module 1 and the image captured by the second camera module 2, three-dimensional reconstruction is performed to obtain a three-dimensional image.
  • step 104 the image captured by the first camera module 1 is overlaid on the three-dimensional image as a texture.
  • step 105 the image captured by the second camera module 2 is superimposed on the texture to obtain a fluorescent three-dimensional image.
  • step 102 may further include: downsampling the image captured by the first camera module 1 so that the resolution of the image captured by the first camera module 1 after downsampling is consistent with the resolution of the image captured by the second camera module 2.
  • step 102 may further include: performing interpolation processing on the image captured by the second camera module 2 so that the resolution of the interpolated image captured by the second camera module 2 is consistent with the resolution of the image captured by the first camera module 1.
  • the image captured by the second camera module 2 is superimposed on the texture to obtain a fluorescent three-dimensional image.
  • the first camera module 1 performs white light imaging
  • the second camera module 2 performs fluorescence imaging, wherein the diameter of the first camera module 1 is greater than the diameter of the second camera module 2 , and the resolution of the first camera module 1 is greater than the resolution of the second camera module 2 .
  • the image captured by the second camera module 2 is interpolated so that the resolution of the interpolated image captured by the second camera module 2 is consistent with the resolution of the image captured by the first camera module 1.
  • the three-dimensional reconstruction is performed to obtain a three-dimensional image
  • the image captured by the second camera module 2 is superimposed on the texture to obtain a fluorescent three-dimensional image.
  • a second embodiment of the present application relates to an asymmetric binocular endoscope, a structure diagram of which is shown in FIG2 .
  • the asymmetric binocular endoscope includes a first camera module 1 and a second camera module 2 .
  • the first camera module 1 is configured to perform white light imaging
  • the second camera module 2 is configured to perform fluorescence imaging
  • the diameter of the first camera module 1 is greater than the diameter of the second camera module 2;
  • the resolution of the first camera module 1 is greater than the resolution of the second camera module 2;
  • the resolution of the first camera module 1 is 4K.
  • the resolution of the second camera module 2 is 2K.
  • the image captured by the second camera module 2 is configured to be interpolated so that the resolution is consistent with the resolution of the image captured by the first camera module 1.
  • it may also include a first light source module, a second light source module, a lens and a light guide, the first camera module 1, the second camera module 2 and the light guide are located in the same endoscope tube, the first light source module is configured as a fluorescent light source with an emission wavelength of 760nm-900nm, the second light source module is configured as a white light source with an emission wavelength of 400nm-700nm, the lens is configured to refract the fluorescent light source and the white light source, and the light guide is configured to transmit the refracted light from the fluorescent light source and the white light source to the illumination lens part of the endoscope.
  • the first light source module is configured as a fluorescent light source with an emission wavelength of 760nm-900nm
  • the second light source module is configured as a white light source with an emission wavelength of 400nm-700nm
  • the lens is configured to refract the fluorescent light source and the white light source
  • the light guide is configured to transmit the refracted light from the fluorescent light source and the white
  • the asymmetric binocular endoscope includes two camera modules, namely a first camera module 1 and a second camera module 2, wherein the diameter and resolution of the first camera module 1 are greater than the diameter and resolution of the second camera module 2, the first camera module 1 has a higher resolution, such as 4K, and the second camera module 2 has a lower resolution, such as 2K. Both camera modules are set in one endoscope channel.
  • Camera element white light 2*5K CMOS, fluorescent 2*2K CMOS, 60 frames
  • the first implementation manner is a method implementation manner corresponding to the present implementation manner.
  • the technical details in the first implementation manner can be applied to the present implementation manner, and the technical details in the present implementation manner can also be applied to the first implementation manner.
  • Examples of computer storage media include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), flash memory or other memory technology, read-only compact disk read-only memory (CD-ROM), digital versatile disk (DVD) or other optical storage, magnetic cassettes, disk storage or other magnetic storage devices or any other non-transmission media that can be used to store information that can be accessed by a computing device.
  • PRAM phase change memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • RAM random access memory
  • ROM read-only memory
  • EEPROM electrically erasable programmable read-only memory
  • flash memory or other memory technology
  • CD-ROM compact disk read-only memory
  • DVD digital versatile disk
  • magnetic cassettes disk storage or other magnetic storage devices or any other non-transmission media that can be used to store information that can be accessed by a
  • a certain action is performed according to a certain element, it means at least the meaning of performing the action according to the element, which includes two situations: performing the action only according to the element and performing the action according to the element and other elements.
  • Multiple, multiple, multiple, etc. expressions include 2, 2 times, 2 kinds and more than 2, more than 2 times, more than 2 kinds.
  • serial numbers used in describing the steps of the method do not themselves constitute any limitation on the order of these steps.
  • the step with a larger serial number does not necessarily have to be executed after the step with a smaller serial number.
  • the step with a larger serial number may be executed first and then the step with a smaller serial number. They may also be executed in parallel, as long as this execution order is reasonable for those skilled in the art.
  • multiple steps with consecutive serial numbers e.g., step 101, step 102, step 103, etc.
  • steps with consecutive serial numbers do not limit other steps that can be executed in between.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)

Abstract

本申请涉及内窥镜领域，公开了一种非对称双目内镜及其三维重建方法，可以在保证超高清晰度的情况下解决内窥镜上采用双目摄像模组空间排布不足的问题。该方法包括：第一摄像模组进行白光成像，第二摄像模组进行荧光成像，第一摄像模组的直径和分辨率大于第二摄像模组的直径和分辨率。对第一摄像模组采集到的图像进行处理，使第一摄像模组采集到的图像处理后的分辨率与第二摄像模组采集到的图像分辨率一致。基于对第一摄像模组采集到的图像进行处理后得到的图像和第二摄像模组采集到的图像，配准进行三维重建得到三维图像。将第一摄像模组采集到的图像作为纹理覆盖至三维图像上。将第二摄像模组采集到的图像叠加至纹理上得到荧光三维图像。

Description

非对称双目内镜及其三维重建方法 技术领域
本申请涉及内窥镜领域，具体涉及一种非对称双目内镜及其三维重建方法。
背景技术
本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是已被公开的现有技术。
内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器。其具有图像传感器、光学镜头、光源照明、机械装置等，它可以经口腔进入胃内或经其他天然孔道进入体内。利用内窥镜可以看到X射线不能显示的病变，因此它对医生非常有用。例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案。
传统的内窥镜只具有单个摄像模组，目前市场上提供了一种具有两个摄像模组的双目内窥镜，以解决传统内窥镜白光成像模式图像质量低的问题，然而目前常见的双目内窥镜采用的是直径和分辨率大小完全一致的两个摄像模组，如果两个摄像模组均为高清或者超高清，那么在直径非常狭小的内窥镜中存在空间排布不足的问题，因此需要牺牲一定的清晰度来允许两个摄像模组容纳入内窥镜中，因而也导致了成像质量较低的问题，另外，荧光合成或增强并不需要与白光成像相同的分辨率，也导致了摄像模组资源浪费的问题。
发明内容
本申请的目的在于提供一种非对称双目内镜及其三维重建方法，可以在保证清晰度的情况下解决内窥镜上采用双目摄像模组空间排布不足的问题。
本申请公开了一种非对称双目内镜的三维重建方法，包括：
第一摄像模组1进行白光成像，第二摄像模组2进行荧光成像，其中所述第一摄像模组1的直径大于所述第二摄像模组2的直径，所述第一摄像模组1的分辨率大于所述第二摄像模组2的分辨率；
对所述第一摄像模组1采集到的图像进行处理，使所述第一摄像模组1采集到的图像处理后的分辨率与所述第二摄像模组2采集到的图像分辨率一致；
基于对第一摄像模组1采集到的图像进行处理后得到的图像和所述第二摄像模组2采集到的图像，配准进行三维重建得到三维图像；
将所述第一摄像模组1采集到的图像作为纹理覆盖至所述三维图像上；
将所述第二摄像模组2采集到的图像叠加至所述纹理上得到荧光三维图像。
在一个优选例中，所述对所述第一摄像模组1采集到的图像进行处理进一步包括：
对所述第一摄像模组1采集到的图像进行降采样处理，使所述第一摄像模组1采集到的图像降采样处理后的分辨率与所述第二摄像模组2采集到的图像分辨率一致。
在一个优选例中，所述对所述第一摄像模组1采集到的图像进行处理进一步包括：
对所述第二摄像模组2采集到的图像进行插值处理，使所述第二摄像模组2采集到的图像插值后的分辨率与所述第一摄像模组1采集到的图像的分辨率一致。
在一个优选例中，所述第一摄像模组1的分辨率为4K，所述第二摄像模组2的分辨率为2K。
本申请还公开了一种非对称双目内镜，包括：
第一摄像模组1，所述第一摄像模组1被配置为进行白光成像；
第二摄像模组2，所述第二摄像模组2被配置为进行荧光成像；
所述第一摄像模组1的直径大于所述第二摄像模组2的直径；
所述第一摄像模组1的分辨率大于所述第二摄像模组2的分辨率；
所述第一摄像模组1采集到的图像被配置为使分辨率与所述第二摄像模组2采集到的图像分辨率一致以进行三维重建得到三维图像。
在一个优选例中，所述第一摄像模组1的分辨率为4K，所述第二摄像模组2的分辨率为2K。
在一个优选例中，所述第一摄像模组1采集到的图像被配置为进行降采样处理使分辨率与所述第二摄像模组2采集到的图像分辨率一致。
在一个优选例中，所述第二摄像模组2采集到的图像被配置为进行插值处理使分辨率与所述第一摄像模组1采集到的图像分辨率一致。
在一个优选例中，还包括第一光源模组、第二光源模组、透镜以及导光束，所述第一摄像模组1、所述第二摄像模组2和所述导光束位于同一根内窥镜管道内，所述第一光源模组被配置为出射波长为760nm-900nm的荧光光源，所述第二光源模组被配置为出射波长为400nm-700nm的白光光源，所述透镜被配置为折射所述荧光光源和所述白光光源，所述导光束被配置为将折射后的所述荧光光源和所述白光光源的光传导到内窥镜的照明透镜部。
本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。
本申请的实施方式中，采用了直径较大、分辨率较高的第一摄像模组，以及直径较小、分辨率较低的第二摄像模组，将第一摄像模组用于白光成像，将第二摄像模组用于荧光成像，由于荧光合成或增强不需要与白光成像一致的分辨率，将第一摄像模组较高的分辨率进行处理后使其与第二摄像模组的分辨率一致后进行三维重建可以得到病灶部立体的三维图像，随后将清晰度较高的第一摄像模组采集到的图像作为纹理叠加至三维图像上，医生不仅可以观察到病灶部立体的三维图像，还可以观察到更为清晰的纹理，也就是说获得了清晰度更高的病灶部三维纹理图像，在狭小的内窥镜通道内几乎没有多余可分配空间的情况下，本申请可以使两个清晰度均为高清或超高清的摄像模组同时容纳在一个直径狭小的内窥镜通道内，因此医生可以很清晰地观察到病灶三维图形；
进一步地，将第二摄像模组通过荧光成像获得的荧光图像叠加在具有高清纹理的三维图像上，可以在需要观察的病灶图像的同一范围内同时获得高清三维纹理图像和荧光图像，能够帮助医生更好地观察肿瘤和其他病灶。
上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案这些技术方案均应该视为在本说明书中已经记载，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。
附图说明
图1是根据本申请的一个实施方式的非对称双目内镜的三维重建方法的流程示意图。
图2是根据本申请的一个实施方式的非对称双目内镜的结构示意图；
附图标记说明：
1-第一摄像模组；2-第二摄像模组。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
本申请的第一实施方式涉及一种非对称双目内镜的三维重建方法，其流程图如图1所示，该方法包括：
在步骤101中，第一摄像模组1进行白光成像，第二摄像模组2进行荧光成像，其中第一摄像模组1的直径大于第二摄像模组2的直径，第一摄像模组1的分辨率大于第二摄像模组2的分辨率。
在步骤102中，对第一摄像模组1采集到的图像进行处理，使第一摄像模组1采集到的图像处理后的分辨率与第二摄像模组2采集到的图像分辨率一致。
在步骤103中，基于对第一摄像模组1采集到的图像进行处理后得到的图像和第二摄像模组2采集到的图像，配准进行三维重建得到三维图像。
在步骤104中，将第一摄像模组1采集到的图像作为纹理覆盖至三维图像上。
在步骤105中，将第二摄像模组2采集到的图像叠加至纹理上得到荧光三维图像。
在一个可选的实施例中，步骤102中可以进一步包括：对第一摄像模组1采集到的图像进行降采样处理，使第一摄像模组1采集到的图像降采样处理后的分辨率与第二摄像模组2采集到的图像分辨率一致。
在一个可选的实施例中，步骤102中可以进一步包括：对第二摄像模组2采集到的图像进行插值处理，使第二摄像模组2采集到的图像插值后的分辨率与第一摄像模组1采集到的图像的分辨率一致。
在一个可选的实施例中，第一摄像模组1的分辨率可以为4K，第二摄像模组2的分辨率可以为2K。
为了能够更好地理解本申请的技术方案，下面结合几个具体的例子来进行说明，该例子中罗列的细节主要是为了便于理解，不作为对本申请的保护范围的限制。
实施例1
第一摄像模组1进行白光成像，第二摄像模组2进行荧光成像，其中第一摄像模组1的直径大于第二摄像模组2的直径，第一摄像模组1的分辨率大于第二摄像模组2的分辨率。
对第一摄像模组1采集到的图像进行降采样处理，使第一摄像模组1采集到的图像降采样后的分辨率与第二摄像模组2采集到的图像的分辨率一致。
基于对第一摄像模组1采集到的图像进行降采样处理后得到的图像和第二摄像模组2采集到的图像，配准进行三维重建得到三维图像；
将第一摄像模组1采集到的图像作为纹理覆盖至三维图像上；
将第二摄像模组2采集到的图像叠加至纹理上得到荧光三维图像。
实施例2
第一摄像模组1进行白光成像，第二摄像模组2进行荧光成像，其中第一摄像模组1的的直径大于第二摄像模组2的直径，第一摄像模组1的分辨率大于第二摄像模组2的分辨率。
对第二摄像模组2采集到的图像进行插值处理，使第二摄像模组2采集到的图像插值后的分辨率与第一摄像模组1采集到的图像的分辨率一致。
基于对第一摄像模组1采集到的图像和对第二摄像模组2采集到的图像进行插值处理后得到的图像，配准进行三维重建得到三维图像；
将第一摄像模组1采集到的图像作为纹理覆盖至三维图像上；
将第二摄像模组2采集到的图像叠加至纹理上得到荧光三维图像。
本申请的第二实施方式涉及一种非对称双目内镜，其结构图如图2所示，该非对称双目内镜包括第一摄像模组1和第二摄像模组2。
第一摄像模组1被配置为进行白光成像；
第二摄像模组2被配置为进行荧光成像；
第一摄像模组1的直径大于第二摄像模组2的直径；
第一摄像模组1的分辨率大于第二摄像模组2的分辨率；
第一摄像模组1采集到的图像被配置为使分辨率与第二摄像模组2采集到的图像分辨率一致以进行三维重建得到三维图像。
在一个可选的实施例中，第一摄像模组1的分辨率为4K。
在一个可选的实施例中，第二摄像模组2的分辨率为2K。
在一个可选的实施例中，第一摄像模组1采集到的图像被配置为进行降采样处理使分辨率与第二摄像模组2采集到的图像分辨率一致。
在一个可选的实施例中，第二摄像模组2采集到的图像被配置为进行插值处理使分辨率与第一摄像模组1采集到的图像分辨率一致。
在一个可选的实施例中，还可以包括第一光源模组、第二光源模组、透镜以及导光束，第一摄像模组1、第二摄像模组2和导光束位于同一根内窥镜管道内，第一光源模组被配置为出射波长为760nm-900nm的荧光光源，第二光源模组被配置为出射波长为400nm-700nm的白光光源，透镜被配置为折射荧光光源和白光光源，导光束被配置为将折射后的所述荧光光源和所述白光光源的光传导到内窥镜的照明透镜部。
为了能够更好地理解本申请的技术方案，下面结合一个具体的例子来进行说明，该例子中罗列的细节主要是为了便于理解，不作为对本申请的保护范围的限制。
非对称双目内镜包括两个摄像模组，分别是第一摄像模组1和第二摄像模组2，其中，第一摄像模组1的直径和分辨率均大于第二摄像模组2的直径和分辨率，第一摄像模组1具有较高的分辨率，例如4K，第二摄像模组2的分辨率较低，例如2K。两个摄像模组均设置在一根内窥镜通道内。
第一摄像模组1用于白光成像，第二摄像模组2用于荧光成像，优选地，将第一摄像模组1采集到的图像进行降采样使其与第二摄像模组2采集到的图像分辨率一致，从而可以进行三维重建得到三维图像。或者，可以将第二摄像模组2采集到的图像通过插值的方式使其分辨率与第一摄像模组1的分辨率一致，从而可以进行三维重建得到三维图像。
技术指标：
光学
摄像元件：白光2*5K cmos，荧光2*2K cmos，60帧
景深：3-200mm
视野角：100°
视像角：0/30°光谱范围：白光400-700nm；荧光760-900nm
荧光：NIR(Near Infrared，近红外)，ICG(靛青绿)
照明
多光谱：白光400-760nm LED；NBI(Narrow Band Imaging，内镜窄带成像术)(415m+530nm)LED，显色指数≥90；输出光强兰600lm
荧光激励：LED，785nm+805nm
白光亮度：自动/手动。
图像
显示：白光、荧光、白光+荧光融合、6色荧光、彩色荧光。
色谱：白光+NBI，白光
图像处理：12区测光、去雾处理，金属反光处理，动态对比度增强，自适应锐化调节等。
图像输出：3840*2160X；12G-SDI*4
第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。
相应地，本申请的实施方式还提供一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本申请的各方法实施方式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于，相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
需要说明的是，在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本申请中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
在描述方法的步骤时使用的序号本身并不对这些步骤的顺序构成任何的限定。例如，序号大的步骤并非一定要在序号小的步骤之后执行，也可以是先执行序号大的步骤再执行序号小的步骤，还可以是并行执行，只要这种执行顺序对于本领域技术人员来说是合理的即可。又如，拥有连续编号序号的多个步骤(例如步骤101，步骤102，步骤103等)并不限制其他步骤可以在其间执行，例如步骤101和步骤102之间可以有其他的步骤。
本说明书包括本文所描述的各种实施例的组合。对实施例的单独提及(例如“一个实施例”或“一些实施例”或“优选实施例”)；然而，除非指示为是互斥的或者本领域技术人员很清楚是互斥的，否则这些实施例并不互斥。应当注意的是，除非上下文另外明确指示或者要求，否则在本说明书中以非排他性的意义使用“或者”一词。
在本说明书提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。
在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

Claims (10)

  1. 一种非对称双目内镜的三维重建方法，其特征在于，包括：
    第一摄像模组(1)进行白光成像，第二摄像模组(2)进行荧光成像，其中所述第一摄像模组(1)的直径大于所述第二摄像模组(2)的直径，所述第一摄像模组(1)的分辨率大于所述第二摄像模组(2)的分辨率；
    对所述第一摄像模组(1)采集到的图像进行处理，使所述第一摄像模组(1)采集到的图像处理后的分辨率与所述第二摄像模组(2)采集到的图像分辨率一致；
    基于对第一摄像模组(1)采集到的图像进行处理后得到的图像和所述第二摄像模组(2)采集到的图像，配准进行三维重建得到三维图像；
    将所述第一摄像模组(1)采集到的图像作为纹理覆盖至所述三维图像上；
    将所述第二摄像模组(2)采集到的图像叠加至所述纹理上得到荧光三维图像。
  2. 如权利要求1所述的非对称双目内镜的三维重建方法，其特征在于，所述对所述第一摄像模组(1)采集到的图像进行处理进一步包括：
    对所述第一摄像模组(1)采集到的图像进行降采样处理，使所述第一摄像模组(1)采集到的图像降采样处理后的分辨率与所述第二摄像模组(2)采集到的图像分辨率一致。
  3. 如权利要求1所述的非对称双目内镜的三维重建方法，其特征在于，所述对所述第一摄像模组(1)采集到的图像进行处理进一步包括：
    对所述第二摄像模组(2)采集到的图像进行插值处理，使所述第二摄像模组(2)采集到的图像插值后的分辨率与所述第一摄像模组(1)采集到的图像的分辨率一致。
  4. 如权利要求1所述的非对称双目内镜的三维重建方法，其特征在于，所述第一摄像模组(1)的分辨率为4K，所述第二摄像模组(2)的分辨率为2K。
  5. 一种非对称双目内镜，其特征在于，包括：
    第一摄像模组(1)，所述第一摄像模组(1)被配置为进行白光成像；
    第二摄像模组(2)，所述第二摄像模组(2)被配置为进行荧光成像；
    所述第一摄像模组(1)的直径大于所述第二摄像模组(2)的直径；
    所述第一摄像模组(1)的分辨率大于所述第二摄像模组(2)的分辨率；
    所述第一摄像模组(1)采集到的图像被配置为使分辨率与所述第二摄像模组(2)采集到的图像分辨率一致以进行三维重建得到三维图像。
  6. 如权利要求5所述的非对称双目内镜，其特征在于，所述第一摄像模组(1)的分辨率为4K，所述第二摄像模组(2)的分辨率为2K。
  7. 如权利要求5所述的非对称双目内镜，其特征在于，所述第一摄像模组(1)采集到的图像被配置为进行降采样处理使分辨率与所述第二摄像模组(2)采集到的图像分辨率一致。
  8. 如权利要求5所述的非对称双目内镜，其特征在于，所述第二摄像模组(2)采集到的图像被配置为进行插值处理使分辨率与所述第一摄像模组(1)采集到的图像分辨率一致。
  9. 如权利要求5所述的非对称双目内镜，其特征在于，还包括第一光源模组、第二光源模组、透镜以及导光束，所述第一摄像模组(1)、所述第二摄像模组(2)和所述导光束位于同一根内窥镜管道内，所述第一光源模组被配置为出射波长为760nm-900nm的荧光光源，所述第二光源模组被配置为出射波长为400nm-700nm的白光光源，所述透镜被配置为折射所述荧光光源和所述白光光源，所述导光束被配置为将折射后的所述荧光光源和所述白光光源的光传导到内窥镜的照明透镜部。
  10. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如权利要求1至4中任意一项所述的方法中的步骤。
PCT/CN2024/136530 2023-12-13 2024-12-03 非对称双目内镜及其三维重建方法 Pending WO2025124236A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202311719364.0 2023-12-13
CN202311719364.0A CN117710579A (zh) 2023-12-13 2023-12-13 非对称双目内镜及其三维重建方法

Publications (1)

Publication Number Publication Date
WO2025124236A1 true WO2025124236A1 (zh) 2025-06-19

Family

ID=90160108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2024/136530 Pending WO2025124236A1 (zh) 2023-12-13 2024-12-03 非对称双目内镜及其三维重建方法

Country Status (2)

Country Link
CN (1) CN117710579A (zh)
WO (1) WO2025124236A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710579A (zh) * 2023-12-13 2024-03-15 山东威高宏瑞医学科技有限公司 非对称双目内镜及其三维重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011188928A (ja) * 2010-03-12 2011-09-29 Olympus Corp 蛍光内視鏡装置
CN217186054U (zh) * 2021-12-24 2022-08-16 深圳开立生物医疗科技股份有限公司 一种内窥镜及内窥镜系统
CN115251809A (zh) * 2022-09-28 2022-11-01 科弛医疗科技(北京)有限公司 内窥镜
CN117710579A (zh) * 2023-12-13 2024-03-15 山东威高宏瑞医学科技有限公司 非对称双目内镜及其三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011188928A (ja) * 2010-03-12 2011-09-29 Olympus Corp 蛍光内視鏡装置
CN217186054U (zh) * 2021-12-24 2022-08-16 深圳开立生物医疗科技股份有限公司 一种内窥镜及内窥镜系统
CN115251809A (zh) * 2022-09-28 2022-11-01 科弛医疗科技(北京)有限公司 内窥镜
CN117710579A (zh) * 2023-12-13 2024-03-15 山东威高宏瑞医学科技有限公司 非对称双目内镜及其三维重建方法

Also Published As

Publication number Publication date
CN117710579A (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
JP6939000B2 (ja) 撮像装置及び撮像方法
US20210152752A1 (en) Multi-function imaging
Roblyer et al. Multispectral optical imaging device for in vivo detection of oral neoplasia
JP6589471B2 (ja) 撮像装置、顕微鏡撮像システム及び内視鏡撮像システム
US11744439B2 (en) Micro CMOS scopes for medical imaging
CN110087528B (zh) 内窥镜系统以及图像显示装置
JP2013534083A (ja) ２センサー撮像システム
CN109068945A (zh) 图像处理装置、图像处理装置的工作方法及图像处理程序
WO2011058971A1 (ja) 画像処理装置、電子機器、内視鏡システム及びプログラム
WO2011058973A1 (ja) 画像処理装置、電子機器、内視鏡システム及びプログラム
US20230222637A1 (en) High resolution microendoscope employing differential structured illumination and method of using same
WO2025124236A1 (zh) 非对称双目内镜及其三维重建方法
Liu et al. Bio-inspired multimodal 3D endoscope for image-guided and robotic surgery
CN214231268U (zh) 内窥镜成像装置和电子设备
US20160198132A1 (en) Method and apparatus for wide-band imaging based on narrow-band image data
JP2009153074A (ja) 画像撮影装置
JP2014108193A (ja) 画像処理装置および内視鏡
Kwan et al. High resolution, programmable aperture light field laparoscope for quantitative depth mapping
JP6476610B2 (ja) ダーモスコピー用撮像装置及びその制御方法並びにプログラム
JP6128989B2 (ja) 画像処理装置、内視鏡装置及び画像処理装置の作動方法
CN221977398U (zh) 非对称双目内镜
JP5835797B2 (ja) パノラマ画像作成プログラム
JP6398334B2 (ja) ダーモスコピー用撮像装置及びダーモスコピー用撮像装置の使用方法
KR102142861B1 (ko) 실시간으로 관찰 및 촬영이 동시에 가능한 더마스코프 장치
KR20190035017A (ko) Lc 파장가변 필터를 이용하는 광학 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24902657

Country of ref document: EP

Kind code of ref document: A1