WO2020215811A1 - 一种基于图像识别和3d-slam实时建模的新型内窥镜智能导航器系统 - Google Patents

一种基于图像识别和3d-slam实时建模的新型内窥镜智能导航器系统 Download PDF

Info

Publication number
WO2020215811A1
WO2020215811A1 PCT/CN2020/000067 CN2020000067W WO2020215811A1 WO 2020215811 A1 WO2020215811 A1 WO 2020215811A1 CN 2020000067 W CN2020000067 W CN 2020000067W WO 2020215811 A1 WO2020215811 A1 WO 2020215811A1
Authority
WO
WIPO (PCT)
Prior art keywords
patient
intestinal
intestine
lesion
robot
Prior art date
Application number
PCT/CN2020/000067
Other languages
English (en)
French (fr)
Inventor
王玉峰
Original Assignee
天津御锦人工智能医疗科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 天津御锦人工智能医疗科技有限公司 filed Critical 天津御锦人工智能医疗科技有限公司
Publication of WO2020215811A1 publication Critical patent/WO2020215811A1/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/04—Endoscopic instruments

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

一种基于图像识别和3D-SLAM实时建模的新型内窥镜智能导航器系统，包括：图像采集单元和三维UWB接受器系统、以及图像处理单元、胶囊肠道机器人（14），通过获取的全患者肠道图像和病灶（15）精确坐标能够导航胶囊肠道机器人（14）根据患者（4）肠道路径（13）快速自动找到病灶（15）位置取出活体样本，由于有全肠道的图片模型，胶囊肠道机器人（14）的运动过程不会损伤患者（4）的肠道（1），不会给患者（4）带来多余的病痛，效果好，便于在产业上推广和应用。

Description

一种基于图像识别和3D-SLAM实时建模的新型内窥镜智能导航器系统 技术领域
本发明涉及医疗设备技术领域，尤其涉及一种基于图像识别和3D-SLAM实时建模的新型内窥镜智能导航器系统。
背景技术
随着智能医学的发展和普及，医疗检测和手术更是朝向无痛无创的方向发展，面对肠息肉患者，肛肠检测是不可避免的。肠息肉是指肠黏膜表面突出的异常生长的组织，在没有确定病理性质前统称为息肉。息肉主要分为是炎症性和腺瘤性两种。炎症性息肉在炎症治愈后可自行消失；腺瘤性息肉一般不会自行消失，有恶变倾向。检出息肉和确定其病变性质的最有效措施是定期进行全结肠镜(包括病理)检查并在肠镜下进行干预治疗。然而仅仅依靠肠镜检测准确率并不高需要配合活体检测来确定是否有癌变倾向。这回给患者带来二次伤害，如果能够通过肠道机器人将活体样本带出体外或者直接切除病变组织将极大的减轻患者痛苦。
在肠道机器人执行任务之前，我们必须要了解病人肠道的结构和病变组织的位置，这样才能导航控制倡导机器人顺利找到病变组织并且不会破坏肠道结构。因此发明一套新型内窥镜智能导航器系统是很有意义的。
发明内容
本发明的目的是提供一种基于图像识别和3D-SLAM实时建模的新型内窥镜智能导航器系统。
为实现本发明的目的，本发明提供了一种基于图像识别和3D-SLAM实时建模的新型内窥镜智能导航器系统，
包括：图像采集单元和三维UWB接受器系统、以及图像处理单元、胶囊肠道机器人，
所述图像采集单元为装有高速摄像机(2)和能够发送数据的RFID标签(3) 的肠镜(11)；
所述三维UWB接受器系统包括：6个位置固定信号接收器，通过6个信号接收器接收信号的时间差来分三个维度去定位相机的位置，经过多次拍照标记位置，获得患者的带有坐标的肠道内部图库；
所述图像处理单元，能够利用图像处理融合技术，根据这些图片的定位信息和图片信息将这些图片融合成一张完整的患者肠道内部图；通过所述患者肠道内部图确定病灶的位置坐标；
所述胶囊肠道机器人用于通过患者肠道内部图和病灶位置坐标能够快速自动找到病灶位置取出活体样本。
与现有技术相比，本发明的有益效果为，通过获取的全患者肠道图像和病灶精确坐标能够导航胶囊肠道机器人根据患者肠道路径快速自动找到病灶位置取出活体样本，由于有全肠道的图片模型，肠道机器人的运动过程不会损伤患者肠道，不会给患者带来多余的病痛，效果好，便于在产业上推广和应用。
附图说明
图1所示为本申请的肠镜的工作示意图；
图2所示为本申请的三维UWB接受器系统的布置示意图；
图3所示为本申请的肠道机器人自动导航寻找病灶示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
应当说明的是，本申请中所述的“连接”和用于表达“连接”的词语，如“相连接”、“相连”等，既包括某一部件与另一部件直接连接，也包括某一部件通过其他部件与另一部件相连接。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说 明书中使用属于“包含”和/或“包括”时，其指明存在特征、步骤、操作、部件或者模块、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在......之上”、“在......上方”、“在......上表面”、“上面的”等，用来描述如在图中所示的一个部件或者模块或特征与其他部件或者模块或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了部件或者模块在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的部件或者模块被倒置，则描述为“在其他部件或者模块或构造上方”或“在其他部件或者模块或构造之上”的部件或者模块之后将被定位为“在其他部件或者模块或构造下方”或“在其他部件或者模块或构造之下”。因而，示例性术语“在......上方”可以包括“在......上方”和“在......下方”两种方位。该部件或者模块也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1-图2，本发明一种基于图像识别和3D-SLAM实时建模的新型内窥镜智能导航器系统。
首先需要绘制患者肠道影像图，要将肠道的内的图像和肠道外的定位相结合这是为了能够了解病人肠道具体位置的情况。因此，此过程需要定位系统和 拍照系统协同还原患者肠道情况。即进行3D-SLAM实时建模。将装有高速摄像机2的肠镜上装上一个可以发送数据的RFID标签3，将整个肠镜塞入患者肠道1内部进行观察.其中RFID标签不断以一个极高的频率发射一段数据。再搭建一个三维UWB接受器系统，该系统有6个位置固定信号接收器，如图2所示，分别为附图标记5、6、7、8、9、10，这样根据同一时间比接收器收到的信号值就能算出，信号到各个接收器的时间差。就能确定相机拍到肠内的内容是在哪一个位置。经过不断的拍照标记位置，获得患者的带有坐标的肠道内部图库。利用图像处理融合技术，根据这些图片的定位信息和图片信息将这些图片融合成一张完整的患者肠道内部图。这样可以直观的整体的观察到患者肠道内的情况，准确的找到病灶15可能存在的位置。通过全患者肠道图像和病灶精确坐标可以导航胶囊肠道机器人14根据患者肠道路13径快速自动找到病灶位置取出活体样本，由于有全肠道的图片模型，肠道机器人的运动过程不会损伤患者肠道，不会给患者带来多余的病痛。
具体实施过程：
患者4在病床上接受检查由带有高速摄像机2和可以发射高频率信号的RFID3的肠镜11深入患者肠道内部12中由摄像机不断拍照收集患者肠道内信息，同时在摄像机上的RFID不断发送一个高频率的信号，由6个信号收集器通过接收信号的时间差来分三个维度去定位相机的位置，并通过电脑将相机位置信息和照片信息整合。通过图像处理方式将多个带有位置信息肠道内图像整合成一个完整的患者肠道内部图片。这样可以准确观察到可疑病灶15的区域，并确定其空间位置。这样可以将该图像坐标信息输入到肠道机器人14上.肠道机器人拥有患者肠道的全信息图像和病灶位置信息。可以根据这些信息对这个肠道机器人导航根据肠道道路准确寻找到病灶位置。并进行活体取样，这样就可以无创活体检验判断病灶性质。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润 饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

  1. 一种基于图像识别和3D-SLAM实时建模的新型内窥镜智能导航器系统，其特征在于，
    包括：图像采集单元和三维UWB接受器系统、以及图像处理单元、胶囊肠道机器人，
    所述图像采集单元为装有高速摄像机(2)和能够发送数据的RFID标签(3)的肠镜(11)；
    所述三维UWB接受器系统包括：6个位置固定信号接收器，通过6个信号接收器接收信号的时间差来分三个维度去定位相机的位置，经过多次拍照标记位置，获得患者的带有坐标的肠道内部图库；
    所述图像处理单元，能够利用图像处理融合技术，根据这些图片的定位信息和图片信息将这些图片融合成一张完整的患者肠道内部图；通过所述患者肠道内部图确定病灶的位置坐标；
    所述胶囊肠道机器人用于通过患者肠道内部图和病灶位置坐标能够快速自动找到病灶位置取出活体样本。
PCT/CN2020/000067 2019-04-25 2020-04-09 一种基于图像识别和3d-slam实时建模的新型内窥镜智能导航器系统 WO2020215811A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910339423.9A CN111839426A (zh) 2019-04-25 2019-04-25 一种基于图像识别和3d-slam实时建模的新型内窥镜智能导航器系统
CN201910339423.9 2019-04-25

Publications (1)

Publication Number Publication Date
WO2020215811A1 true WO2020215811A1 (zh) 2020-10-29

Family

ID=72940611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/000067 WO2020215811A1 (zh) 2019-04-25 2020-04-09 一种基于图像识别和3d-slam实时建模的新型内窥镜智能导航器系统

Country Status (2)

Country Link
CN (1) CN111839426A (zh)
WO (1) WO2020215811A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393744B (zh) * 2021-05-10 2023-08-25 皖南医学院 一种模拟肠镜检查与诊断系统及方法
CN114916898A (zh) * 2022-07-20 2022-08-19 广州华友明康光电科技有限公司 一种磁控胶囊的自动控制检查方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1443510A (zh) * 2002-03-08 2003-09-24 奥林巴斯光学工业株式会社 胶囊内视镜
DE102005024538A1 (de) * 2005-05-28 2006-11-30 Aziz Bousfiha Mikropille
CN101252870A (zh) * 2003-10-20 2008-08-27 麦格耐泰克斯公司 用于雷达辅助的导管导向和控制的系统与方法
US20120041291A1 (en) * 2006-04-12 2012-02-16 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Temporal control of a lumen traveling device in a body tube tree
CN103169443A (zh) * 2013-03-29 2013-06-26 哈尔滨工业大学深圳研究生院 基于灵巧机器人的磁控主动式胶囊内窥镜运动控制系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1443510A (zh) * 2002-03-08 2003-09-24 奥林巴斯光学工业株式会社 胶囊内视镜
CN101252870A (zh) * 2003-10-20 2008-08-27 麦格耐泰克斯公司 用于雷达辅助的导管导向和控制的系统与方法
DE102005024538A1 (de) * 2005-05-28 2006-11-30 Aziz Bousfiha Mikropille
US20120041291A1 (en) * 2006-04-12 2012-02-16 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Temporal control of a lumen traveling device in a body tube tree
CN103169443A (zh) * 2013-03-29 2013-06-26 哈尔滨工业大学深圳研究生院 基于灵巧机器人的磁控主动式胶囊内窥镜运动控制系统

Also Published As

Publication number Publication date
CN111839426A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN206102675U (zh) 用于执行外科手术的系统和活检工具
EP3138526B1 (en) Augmented surgical reality environment system
JP5676058B1 (ja) 内視鏡システム及び内視鏡システムの作動方法
Spyrou et al. Video-based measurements for wireless capsule endoscope tracking
Soper et al. Surface mosaics of the bladder reconstructed from endoscopic video for automated surveillance
US10032060B2 (en) Reporting imaged portions of a patient's body part
Fu et al. The future of endoscopic navigation: a review of advanced endoscopic vision technology
US20060106283A1 (en) Methods and devices for endoscopic imaging
US9198640B2 (en) System and methods for providing information related to a tissue region of a subject
JPWO2005077253A1 (ja) 内視鏡システム
WO2020215811A1 (zh) 一种基于图像识别和3d-slam实时建模的新型内窥镜智能导航器系统
WO2014140813A1 (en) Anatomical site relocalisation using dual data synchronisation
KR20130108320A (ko) 관련 애플리케이션들에 대한 일치화된 피하 해부구조 참조의 시각화
KR20220025186A (ko) 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법
EP3238649A1 (en) Self-localizing medical device
CN108806776A (zh) 一种基于深度学习的多模态医学影像的方法
JP2006230906A (ja) 医用診断システム、医用診断装置及び内視鏡
JP2013518612A (ja) 球状のカプセル内視鏡
JP2023523562A (ja) ビデオにおけるコンピュータ支援形状測定のためのシステムおよび方法
US10631948B2 (en) Image alignment device, method, and program
CN111839726A (zh) 一种基于多传感多数据融合的3d-slam建模的肠道完整度检测系统
Luca et al. An overview on computer processing for endoscopy and colonoscopy videos
Puerto-Souza et al. A comparative study of ego-motion estimation algorithms for teleoperated robotic endoscopes
KR101492801B1 (ko) Oct 영상과 심장 삼차원 영상의 정합을 통한 심장 수술 내비게이션 시스템 및 방법
CN105213032A (zh) 手术定位系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20794652

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20794652

Country of ref document: EP

Kind code of ref document: A1