WO2020215810A1 - 一种基于图像识别的结肠镜手术中窄带成像检测方法 - Google Patents

一种基于图像识别的结肠镜手术中窄带成像检测方法 Download PDF

Info

Publication number
WO2020215810A1
WO2020215810A1 PCT/CN2020/000066 CN2020000066W WO2020215810A1 WO 2020215810 A1 WO2020215810 A1 WO 2020215810A1 CN 2020000066 W CN2020000066 W CN 2020000066W WO 2020215810 A1 WO2020215810 A1 WO 2020215810A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
nbi
intestinal
polyp
colonoscopy
Prior art date
Application number
PCT/CN2020/000066
Other languages
English (en)
French (fr)
Inventor
王玉峰
Original Assignee
天津御锦人工智能医疗科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 天津御锦人工智能医疗科技有限公司 filed Critical 天津御锦人工智能医疗科技有限公司
Publication of WO2020215810A1 publication Critical patent/WO2020215810A1/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Abstract

一种基于图像识别的结肠镜手术中窄带成像检测方法，包括步骤：通过构建的息肉检测模型（302）检测肠镜视频（301），判断是否有息肉；若检测到有息肉，则利用OpenCV图像处理技术，判断肠道图像R通道平均值（303）与阈值（204）的关系，根据肠道图像R通道平均值（303）与阈值（204）的关系，给出是否需要进行NBI观察的提示（306）。本方法用于实时检测结肠息肉，发现息肉时，使用OpenCV图像处理技术判断术者是否进行了NBI技术观察息肉，若未使用则予以提醒，以规范其操作手法，从而最大限度地降低息肉漏诊率，从而降低患者死亡率。

Description

一种基于图像识别的结肠镜手术中窄带成像检测方法 技术领域
本发明涉及检测技术领域，特别是涉及一种基于图像识别的结肠镜手术中窄带成像检测方法。
背景技术
结直肠腺瘤性息肉被公认为是结直肠癌的癌前病变，腺瘤性息肉的及时诊治及息肉切除术后的随访，是防治结直肠癌的关键措施。电子肠镜是目前最主要的肠道病变检查方法。检查时着重观察有利于肠道病变的诊断和治疗。内镜检查是诊断肠道病变尤其是结肠息肉的金标准，由于受肠道解剖结构、操作者水平、息肉类型、退镜检查时间等相关因素，通过结肠镜检查发现结肠息肉均有一定的漏诊率，国外研究报道，结肠镜检查中息肉的漏诊率波动在6％～27％之间，国内有文献报道漏诊率为22.5％。
随着内镜技术的不断进步，内镜窄带成像(NBI)技术的应用越来越广泛，其是一种用于观察黏膜表面结构和微血管形态的简便易行工具。NBI技术在结肠镜手术中经常被用于手术中观察结肠息肉的形态、分析结肠息肉的性质。然而使用肠镜检查发现结肠息肉，由于患者的肠道准备情况、操作者的结肠镜检查技术熟练程度、结肠息肉的形状和大小等情况的不同，以及检查时退镜时间不够充分都可能对结肠镜的检查结果产生影响。结肠镜检查对早癌的早期发现、早期诊断及早期治疗有着重要的作用，若出现漏检，可能会延误医治的最佳时机，因此，最大限度地降低漏诊从某种意义上讲可以降低患者的死亡率。特别地，在大肠镜初级医师培训中一直存在有肠镜操作高风险的问题，培训医师操作并发症发生比例高。鉴于结肠镜检查对于肠道疾病患者的重要意义，规范内窥镜医生的手术操作手法对于肠道疾病患者的诊断和治疗有十分重要的意义。窄带 成像NBI技术作为结肠镜检查过程中观察息肉的关键技术之一，对于息肉识别和诊断起到了重要作用，因此，对于医生在操作过程中是否使用NBI技术对于患者的肠道息肉进行观察时十分重要的。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于图像识别的结肠镜手术中窄带成像检测方法，用于检测医生在进行结肠镜手术过程中观察息肉时是否使用了NBI技术进行了观察，若未使用则予以提醒，以规范其操作手法。
为实现本发明的目的所采用的技术方案是：
一种基于图像识别的结肠镜手术中窄带成像检测方法，包括步骤：
通过构建的肠息肉检测识别模型检测肠镜视频，判断是否有息肉；
若检测到有息肉，则利用OpenCV图像处理技术，计算判断肠道图像R通道平均值与阈值的关系，根据肠道图像R通道平均值与阈值关系，给出是否需要进行NBI观察的提示。
若肠道图像R通道平均值与小于等于＝阈值，则需要进行NBI观察，反之不需要进行NBI观察。
所述阈值通过以下步骤获得：
使用OpenCV技术，统计白光下与经过NBI滤光后肠道图像的RGB数值，计算白光下与NBI滤光后整幅肠道图像的R通道平均值，找出区分白光下与NBI滤光后整幅肠道图像的阈值。
与现有技术相比，本发明的有益效果是：
本发明使用YOLOv3目标检测算法构建息肉识别模型，可以用于实时检测结肠息肉，当发现息肉时，使用OpenCV图像处理技术判断术者是否进行了NBI技 术观察息肉，若未使用则予以提醒，以规范其操作手法。从而最大限度地降低息肉漏诊率，从而降低患者死亡率。
附图说明
图1为结肠息肉识别模型构建的流程图；
图2为OpenCV处理图像的示意图；
图3为当模型处理肠镜视频的流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提出了一种基于图像识别的用于结肠镜手术中窄带成像检测方法。包括二个部分，其一为建立结肠息肉实时检测模型，其二为使用OpenCV处理的方法判断图像是否使用了窄带成像技术。
如图1所示，本发明基于图像识别的结肠镜手术中窄带成像检测方法，包括以下实现步骤：
步骤101，搭建深度学习框架。在Ubuntu系统下安装Python2.7，Cuda 8.0，Cudnn6.0.21，OpenCV3.4.0，最后安装深度学习框架。
本实施例中，上述深度学习框架可以为Darknet、Tensorflow、Caffe等，本实施例对此不做限定，利用深度学习框架可以对处理后的图像数据进行训练。
步骤102，VOC数据集制作。从医院收集各类结肠息肉图片，将所有图片格式转化为JPEG格式，并且按照固定顺序将所有图片重命名。然后使用图像标注工具对整理好的息肉图像进行标注处理，使用矩形框标出图片中的结肠息肉，根据图像尺寸、矩形框坐标等信息生成XML格式文档。然后使用Python编写脚本将XML文件转换为TXT格式文件，转换完的TXT文件记录着每张图片中的病 变类别信息以及坐标信息。
本实施例中，上述图像标注工具可以为Labelimg、Labelme、Vatic、Sloth等可用于目标检测任务数据集制作的软件，本实施例对此不做限定。
步骤103，息肉检测模型训练。训练模型采用YOLOv3目标检测算法，根据步骤102获得的VOC数据集配置相关网络参数，在GPU中进行模型训练，获得结肠息肉实时检测模型。
OpenCV图像处理：
(1)大部分正常人体肠道环境在白光下呈现粉红色，经过NBI技术滤掉宽带光波之后，从图像中看红色信息不明显，使用OpenCV统计正常图像与经过NBI技术滤光后图像的RGB数值。统计发现经NBI技术滤光后的图片红通道数值明显下降。通过计算白光下与NBI滤光后整幅图像的R通道平均值，找出阈值对二者进行区分。
(2)使用OpenCV编写程序，判断整幅图像的R通道平均值与步骤(1)中获得的阈值关系，当小于等于阈值时，判定为经NBI滤光后的图像；当大于阈值时，判定为正常白光下的图像。
图2为OpenCV处理图像示意图，其中：201代表正常白光下的肠道图像，202代表经过NBI滤光后的肠道图像，204代表图像平均R通道阈值。正常白光下的肠道图像201与NBI滤光后的肠道图像202经过步骤203--OpenCV统计RGB三通道平均值，得到图像平均R通道阈值204。
图3为当模型处理肠镜视频流程图，其中包括：301代表待处理的肠镜视频，302代表息肉检测模型，303代表OpenCV处理判断图像的R通道平均值，304代表无提示内容，305代表已经进行了NBI观察操作正确，无提示内容，306代表提示需要经过NBI观察。
待处理的肠镜视频首先经过息肉检测模型处理，当检测到息肉时，使用OpenCV计算判断当前帧图像的R通道平均值，当结果小于等于步骤203获得的阈值时，说明已经进行了NBI观察操作正确，当结果大于步骤203获得的阈值时，提示需要经过NBI观察。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

  1. 一种基于图像识别的结肠镜手术中窄带成像检测方法，其特征在于，包括步骤：
    通过构建的肠息肉检测识别模型检测肠镜视频，判断是否有息肉；
    若检测到有息肉，则利用OpenCV图像处理技术，计算判断肠道图像R通道平均值与阈值的关系，根据肠道图像R通道平均值与阈值关系，给出是否需要进行NBI观察的提示。
  2. 如权利要求1所述基于图像识别的结肠镜手术中窄带成像检测方法，其特征在于，若肠道图像R通道平均值与小于等于阈值，则需要进行NBI观察，反之不需要进行NBI观察。
  3. 如权利要求1所述基于图像识别的结肠镜手术中窄带成像检测方法，其特征在于，所述阈值通过以下步骤获得：
    使用OpenCV技术，统计白光下与经过NBI滤光后肠道图像的RGB数值，计算白光下与NBI滤光后整幅肠道图像的R通道平均值，找出区分白光下与NBI滤光后整幅肠道图像的阈值。
PCT/CN2020/000066 2019-04-25 2020-04-09 一种基于图像识别的结肠镜手术中窄带成像检测方法 WO2020215810A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910339648.4 2019-04-25
CN201910339648.4A CN111839445A (zh) 2019-04-25 2019-04-25 一种基于图像识别的结肠镜手术中窄带成像检测方法

Publications (1)

Publication Number Publication Date
WO2020215810A1 true WO2020215810A1 (zh) 2020-10-29

Family

ID=72940610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/000066 WO2020215810A1 (zh) 2019-04-25 2020-04-09 一种基于图像识别的结肠镜手术中窄带成像检测方法

Country Status (2)

Country Link
CN (1) CN111839445A (zh)
WO (1) WO2020215810A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465766A (zh) * 2020-11-25 2021-03-09 武汉楚精灵医疗科技有限公司 扁平、微小息肉图像识别方法
CN114391792A (zh) * 2021-09-13 2022-04-26 南京诺源医疗器械有限公司 基于窄带成像的肿瘤预测方法、装置及成像内镜

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935993B (zh) * 2021-12-15 2022-03-01 武汉楚精灵医疗科技有限公司 肠镜图像识别系统、终端设备及存储介质
CN113962998A (zh) * 2021-12-23 2022-01-21 天津御锦人工智能医疗科技有限公司 肠镜检查的有效退镜时间评估方法、装置及存储介质
CN114998644B (zh) * 2022-05-10 2023-02-07 中国医学科学院肿瘤医院 肿瘤诊断系统及其构建方法、终端设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076184A (ja) * 1999-09-03 2001-03-23 Ge Yokogawa Medical Systems Ltd ３次元表示方法および３次元表示装置
CN1754508A (zh) * 2004-09-30 2006-04-05 西门子（中国）有限公司 一种计算机断层成像检查流程的用户界面的操作方法
CN102695446A (zh) * 2009-12-28 2012-09-26 奥林巴斯株式会社 图像处理装置、电子设备、程序和图像处理方法
CN103025227A (zh) * 2010-07-28 2013-04-03 富士胶片株式会社 图像处理设备、方法和程序
CN107113405A (zh) * 2015-01-20 2017-08-29 奥林巴斯株式会社 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置
CN108292366A (zh) * 2015-09-10 2018-07-17 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法
CN108695001A (zh) * 2018-07-16 2018-10-23 武汉大学人民医院（湖北省人民医院） 一种基于深度学习的癌症病灶范围预测辅助系统及方法
CN109447973A (zh) * 2018-10-31 2019-03-08 腾讯科技（深圳）有限公司 一种结肠息肉图像的处理方法和装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596237B (zh) * 2018-04-19 2019-11-15 北京邮电大学 一种基于颜色和血管的lci激光内镜下的结肠息肉分类装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076184A (ja) * 1999-09-03 2001-03-23 Ge Yokogawa Medical Systems Ltd ３次元表示方法および３次元表示装置
CN1754508A (zh) * 2004-09-30 2006-04-05 西门子（中国）有限公司 一种计算机断层成像检查流程的用户界面的操作方法
CN102695446A (zh) * 2009-12-28 2012-09-26 奥林巴斯株式会社 图像处理装置、电子设备、程序和图像处理方法
CN103025227A (zh) * 2010-07-28 2013-04-03 富士胶片株式会社 图像处理设备、方法和程序
CN107113405A (zh) * 2015-01-20 2017-08-29 奥林巴斯株式会社 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置
CN108292366A (zh) * 2015-09-10 2018-07-17 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法
CN108695001A (zh) * 2018-07-16 2018-10-23 武汉大学人民医院（湖北省人民医院） 一种基于深度学习的癌症病灶范围预测辅助系统及方法
CN109447973A (zh) * 2018-10-31 2019-03-08 腾讯科技（深圳）有限公司 一种结肠息肉图像的处理方法和装置及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465766A (zh) * 2020-11-25 2021-03-09 武汉楚精灵医疗科技有限公司 扁平、微小息肉图像识别方法
CN114391792A (zh) * 2021-09-13 2022-04-26 南京诺源医疗器械有限公司 基于窄带成像的肿瘤预测方法、装置及成像内镜
CN114391792B (zh) * 2021-09-13 2023-02-24 南京诺源医疗器械有限公司 基于窄带成像的肿瘤预测方法、装置及成像内镜

Also Published As

Publication number Publication date
CN111839445A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
WO2020215810A1 (zh) 一种基于图像识别的结肠镜手术中窄带成像检测方法
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
Zhou et al. Polyp detection and radius measurement in small intestine using video capsule endoscopy
JP6231885B2 (ja) 頸部を検査する医療機器
Cho et al. Comparison of convolutional neural network models for determination of vocal fold normality in laryngoscopic images
WO2021147429A9 (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
US20210042915A1 (en) Automated monitoring of medical imaging procedures
TW202006742A (zh) 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體
WO2020215807A1 (zh) 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN110867233B (zh) 用于生成电子喉镜医学检测报告的系统和方法
KR20200038121A (ko) 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
US20200090548A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
WO2023143014A1 (zh) 一种基于人工智能的内窥镜辅助检查方法及装置
Al-Rahayfeh et al. Detection of bleeding in wireless capsule endoscopy images using range ratio color
WO2022184154A1 (zh) 超声内镜小探头伸出长度的识别方法、系统及存储介质
KR102095730B1 (ko) 딥러닝 기반의 대장 병변 검출 방법
Li et al. Intelligent detection endoscopic assistant: An artificial intelligence-based system for monitoring blind spots during esophagogastroduodenoscopy in real-time
CN112651375A (zh) 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统
CN113990456A (zh) 基于深度学习的消化道早期癌症图形分析筛查方法和系统
CN105520712B (zh) 一种阴道镜图像智能采集评估方法及装置
CN114049934B (zh) 辅助诊断方法、装置、系统、设备和介质
CN111839429A (zh) 一种基于图像识别判断结肠镜检查是否完整的检测方法
WO2013150419A1 (en) Quality-check during medical imaging procedure
JP2022111195A (ja) ハンナ病変の指摘のためのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20793938

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20793938

Country of ref document: EP

Kind code of ref document: A1