WO2022253093A1 - 肠道内窥镜观察视频中图像的处理方法、装置及存储介质 - Google Patents

肠道内窥镜观察视频中图像的处理方法、装置及存储介质 Download PDF

Info

Publication number
WO2022253093A1
WO2022253093A1 PCT/CN2022/095185 CN2022095185W WO2022253093A1 WO 2022253093 A1 WO2022253093 A1 WO 2022253093A1 CN 2022095185 W CN2022095185 W CN 2022095185W WO 2022253093 A1 WO2022253093 A1 WO 2022253093A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video
detection
intestinal
area
Prior art date
Application number
PCT/CN2022/095185
Other languages
English (en)
French (fr)
Inventor
李佳昕
王玉峰
Original Assignee
天津御锦人工智能医疗科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 天津御锦人工智能医疗科技有限公司 filed Critical 天津御锦人工智能医疗科技有限公司
Publication of WO2022253093A1 publication Critical patent/WO2022253093A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Definitions

  • the present application relates to the field of medical technology, in particular to a method, device and storage medium for processing images in intestinal endoscope observation video.
  • Endoscopy is an important means of screening for colorectal polyps.
  • the way doctors operate endoscopes determines the quality of screening and diagnosis, and spiral retraction is an important way to observe the intestinal tract completely.
  • some doctors may fail to observe the complete intestinal tract due to unskilled techniques, resulting in missed examinations.
  • the present application provides a method, device and storage medium for processing images in an endoscope observation video.
  • the present application provides a method for processing images in an endoscope observation video, the method for processing images in the endoscope observation video includes:
  • the intestinal observation area image of each frame video image is intercepted from the endoscope observation video
  • the intestinal observation area image of each frame of video image is scaled to obtain multiple detection images
  • the endoscopic intestinal integrity was determined from the sum of the absolute values of the mean differences.
  • the intestinal tract can be any medium with intestinal morphology and/or structure, for example, human intestinal tract, human intestinal simulation model, animal intestinal tract, etc., all of which are regarded as Included within the protection scope of the present invention.
  • the intestinal observation area image of each frame of video image intercepted from the endoscope observation video includes:
  • the intestinal observation area image of each frame of video image is cut out from each frame of video image according to the effective boundary of each frame of video image.
  • the interception from the endoscope observation video may be real-time interception, or interception from stored video, etc.
  • the determining the effective boundary of the intestinal observation area in each frame of video images includes:
  • the pixel points in the grayscale image that are smaller than the effective grayscale value are set to 0, and the pixel points that are larger than the effective grayscale value are set to 0.
  • the pixels of the gray value are set to 255 to obtain the first binarized image
  • the noise of the first binarized image is removed, and a boundary value greater than 0 pixels is used as the effective boundary in the first binarized image from which the noise is removed.
  • the determining the coordinates of the central point of the opening area of the distal intestinal tract displayed in each detection image includes:
  • the determining the maximum connected domain in each detection image according to the preset gray threshold of the dark area of the distal intestinal tract includes:
  • a maximum connected domain of the plurality of second binarized images is determined.
  • the determining the coordinates of the center point of the largest connected domain in each detection image includes:
  • the coordinates of the central point of the maximum connected domain are determined.
  • the pixels whose gray value is smaller than the gray threshold of the dark area of the distal intestinal tract are set to 0, and the pixels whose gray value is greater than the gray threshold of the dark area of the distal intestinal tract are set to 0.
  • 255 includes:
  • determining the integrity of the intestinal tract through endoscopy according to the sum of the absolute values of the average differences includes:
  • the completeness of the intestinal tract observed through the endoscope is determined.
  • the present application provides a processing device for endoscopic observation video.
  • the processing device for endoscopic observation video includes: a memory, a processor, and an running computer programs;
  • the storage is cloud storage.
  • the processing device is used in connection with medical laboratory equipment and/or medical imaging equipment;
  • the medical imaging device is a nuclear magnetic resonance imaging device.
  • the present application provides a computer-readable storage medium, the computer-readable storage medium stores a processing program for an endoscope observation video, and the image processing method program for the endoscope observation video is processed When the device is executed, the steps of the method for processing images in the endoscopic observation video as described in any one of the above items are realized.
  • Various embodiments of the present application determine the uniformity of movement and overall integrity of the endoscope through the position detection of the opening area of the distal intestinal tract, and the quality control of endoscope screening can be effectively performed through the methods in the embodiments of the present invention.
  • Fig. 1 is the flow chart of the processing method of the image in the endoscopic observation video provided by each embodiment of the present application;
  • Fig. 2 is the endoscopic observation video image provided by various embodiments of the present application.
  • FIG. 3 is a schematic diagram of the out-of-view area of various embodiments of the present application.
  • Fig. 4 is a schematic diagram of the opening area of the distal intestinal tract in various embodiments of the present application.
  • Embodiments of the present invention provide a method for processing images in an endoscope observation video.
  • the image processing method for the endoscope observation video includes:
  • each frame image of the endoscope observation video includes an intestinal observation area image and an information area image;
  • the intestinal observation area image of each frame of video image may be 534*480;
  • S105 Determine the ratio of the number of center point coordinates of each detection area to the number of center point coordinates of the plurality of detection images
  • the center point coordinates of each detection image in the endoscopic observation video are mapped into the detection matrix, and the number of center point coordinates of each detection area of the detection matrix and all center coordinates are determined by calculation.
  • the intestinal observation area image of each frame of video image intercepted from the endoscope observation video may include:
  • the intestinal observation area image of each frame of video image is cut out from each frame of video image according to the effective boundary of each frame of video image.
  • this step includes:
  • the pixel points in the grayscale image that are smaller than the effective grayscale value are set to 0, and the pixel points that are larger than the effective grayscale value are set to 0.
  • the pixels of the gray value are set to 255 to obtain the first binarized image
  • the noise of the first binarized image is removed, and a boundary value greater than 0 is used as the effective boundary in the noise-removed first binarized image.
  • the effective grayscale value of the intestinal observation area can be a pixel value of 20. Specifically, first, the current frame image is converted to a grayscale image, and then the grayscale image is binarized so that pixels with a grayscale value less than 20 The value is 0, and the value greater than 20 is 255, and the binarized image 1 (that is, the first binarized image) is obtained.
  • the cut out effective area image is scaled to 534*480, and the detection image H is obtained.
  • the determination of the center point coordinates of the opening area of the distal intestinal tract of each detection image includes:
  • the determining the maximum connected domain in each detection image according to the preset gray threshold of the dark area of the distal intestinal tract optionally includes:
  • the maximum connected domain of the black area of each second binarized image is determined.
  • said determining the coordinates of the central point of the largest connected domain in each detection image optionally includes:
  • the coordinates of the central point of the maximum connected domain are determined.
  • the pixels whose gray value is less than the gray threshold of the dark area of the distal intestinal tract in each detection image are set to 0, and the pixels whose gray value is greater than the gray threshold of the dark area of the distal intestinal tract are set to 0.
  • the points whose gray value is greater than the gray threshold of the dark area of the distal intestinal tract are set to 0.
  • Before the point is set to 255 can include:
  • the region of the distal intestinal opening was determined by detecting darker regions.
  • the viewing horizon is the image of the intestinal observation area except the black areas in the corners (four corners), and the black areas in the corners are the areas outside the viewing horizon.
  • the gray value of the black area in the corner is used as the gray value outside the horizon, and the gray value outside the horizon is 16 in this embodiment.
  • the value of the pixels whose gray value is less than 16 in the filtered detection image H is set to 255 to prevent the interference of the pure black area outside the "field of view" on the dark area detection.
  • Gaussian smoothing is performed on the image to remove noise.
  • Binarized image 2 (i.e. the second binarized image); simultaneously judge whether the black region area of binarized image 2 is greater than 1% of the whole picture (the image area threshold of intestinal observation area), if less than, it is considered as current
  • the image has no distal intestinal opening area, and subsequent calculations are not performed.
  • image 2 is screened, and only the largest connected domain is kept in the figure to obtain image 3 (ie, the third binarized image).
  • determining the integrity of the intestinal tract by endoscopic observation according to the sum of absolute values of the mean differences comprises:
  • the completeness of the intestinal tract observed through the endoscope is determined.
  • the video is detected frame by frame to calculate the overall result of the video, and the center point coordinates obtained above are stored in an array to obtain a set N.
  • the function of storing in the array is to facilitate unified calculation and processing after the subsequent video ends.
  • a detection matrix with a dimension of 534*480 is established here, and the matrix is divided into m*m (a total of n detection areas), and each detection area is a block X.
  • Count all the center points in the set N correspond the coordinates of each center point to the corresponding area blocks, count the number of center point coordinates in each area block (denoted as Xs), and divide each area block The number of points is compared with the total number of points, and the calculation formula is: Xs/sum(Xs).
  • the average difference is one of the indicators reflecting the degree of dispersion.
  • offset processing is performed by subtracting ⁇ , and through several authoritative endoscope observation videos, it is assumed that it is the gold standard operation in the actual situation, and the completeness of these operations is calculated by analyzing the endoscope observation video, and the The result is back substituted into the formula to get ⁇ .
  • the embodiment of the present invention proposes a method for processing images in endoscopic observation videos, which detects the distal opening of the intestinal tract based on the opencv connected domain method and calculates the average difference in blocks to derive the completeness, which can effectively judge the endoscopic screen.
  • the completeness of the inspection can be quantified, so as to effectively control the quality of endoscopic screening.
  • An embodiment of the present invention provides a processing device for endoscopic observation video.
  • the processing device for endoscopic observation video includes: a memory, a processor, and a computer stored on the memory and operable on the processor. program;
  • the processing device for endoscope observation video may be endoscope detection equipment.
  • An embodiment of the present invention provides a computer-readable storage medium, the computer-readable storage medium stores a processing program for an endoscope observation video, and when the program for processing images in the endoscope observation video is executed by a processor , implementing the steps of the method for processing images in endoscopic observation videos as described in any one of the first embodiment.
  • Embodiment 2 For the specific implementation of Embodiment 2 and Embodiment 3, reference may be made to Embodiment 1, which have corresponding technical effects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种肠道内窥镜观察视频中图像的处理方法、装置及存储介质，所述方法包括：从内窥镜观察视频中截取每帧视频图像的肠道观察区域图像；根据预设像素规格缩放每帧视频图像的肠道观察区域图像，得到多幅检测图像；确定每幅检测图像的肠道远端开口区域的中心点坐标；将各幅检测图像的中心点坐标映射在与所述像素规格相同的检测矩阵的多个检测区域；确定每个检测区域的中心点坐标数量与所述多幅检测图像的中心点坐标数量的平均差；根据所述平均差确定所述多个检测区域的平均差绝对值总和；根据所述平均差绝对值总和确定通过内窥镜观察肠道的完整度。本申请可以有效对内窥镜筛查进行质量控制，提高内窥镜筛查准确性。

Description

肠道内窥镜观察视频中图像的处理方法、装置及存储介质
交叉引用说明
本申请要求于2021年6月1日提交中国专利局、申请号为202110605854.2，发明名称为“肠道内窥镜观察视频中图像的处理方法、装置及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及医疗技术领域，尤其涉及一种肠道内窥镜观察视频中图像的处理方法、装置及存储介质。
背景技术
内窥镜是筛查结直肠息肉的重要手段，医生操作内窥镜的手法决定了筛查诊断的质量，其中螺旋退镜是完整观察肠道的重要手法。但是，由于医生水平参差不齐，有些医生可能由于手法不熟练而导致未能观察完整肠道，进而导致漏查。
因此，为了对内窥镜筛查进行质量控制,方便医生了解筛查操作情况,提高内窥镜筛查准确性，亟待研发出可以确认内窥镜对肠道观察的完整度的方案。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种内窥镜观察视频中图像的处理方法、装置及存储介质。
第一方面，本申请提供了一种内窥镜观察视频中图像的处理方法，所述内窥镜观察视频中图像的处理方法包括：
从内窥镜观察视频中截取每帧视频图像的肠道观察区域图像；
根据预设像素规格缩放每帧视频图像的肠道观察区域图像，得到多幅检测图像；
确定每幅检测图像中显示的肠道远端开口区域的中心点坐标；
将各幅检测图像的中心点坐标映射在与所述像素规格相同的检测矩阵的多个检测区域；
确定每个检测区域的中心点坐标数量与所述多幅检测图像的中心点坐标数量的平均差；
根据所述平均差确定所述多个检测区域的平均差绝对值总和；
根据所述平均差绝对值总和确定通过内窥镜观察肠道的完整度。
在本发明的公开中，所述肠道可以为任意的具有肠道形态和/或结构的介质，例如，人的肠道、人的肠道仿真模型、动物肠道，等，这些都视为包含在本发明的保护范围之内。
可选地，所述从内窥镜观察视频中截取每帧视频图像的肠道观察区域图像包括：
在每帧视频图像中确定出所述肠道观察区域的有效边界；
根据每帧视频图像的有效边界从每帧视频图像中切割出每帧视频图像的肠道观察区域图像。
在本发明的公开中，所述从内窥镜观察视频中截取可以为实时截取，也可以为从已存储视频中截取，等。
可选地，所述在每帧视频图像中确定出所述肠道观察区域的有效边界包括：
将每帧视频图像转换为灰度图；
在每帧视频图像的灰度图中，根据预先确定的肠道观察区域的有效灰度值，将所述灰度图中小于所述有效灰度值的像素点设为0，大于所述有效灰度值的像素点设为255，得到第一二值化图像；
清除所述第一二值化图像的噪点，并在清除噪点的第一二值化图像中将大于0像素点的边界值作为所述有效边界。
可选地，所述确定每幅检测图像中显示的肠道远端开口区域的中心点坐标包括：
根据预设的肠道远端暗区灰度阈值，确定出每幅检测图像中的最大连通域，所述最大连通域对应所述肠道远端开口区域；
确定出每幅检测图像中所述最大连通域的中心点坐标。
可选地，所述根据预设的肠道远端暗区灰度阈值，确定出每幅检测图像中的最大连通域包括：
将每幅检测图像中灰度值小于所述肠道远端暗区灰度阈值的像素点设为0，大于所述肠道远端暗区灰度阈值的像素点设为255，得到与各幅检测图像对应的多幅第二二值化图像；
确定多幅第二二值化图像的最大连通域。
可选地，所述确定出每幅检测图像中所述最大连通域的中心点坐标包括：
保留多幅第二二值化图像的最大连通域，得到多幅第三二值化图像；
确定出每幅第三二值化图像中值为0的像素点在每幅第三二值化图像中的第一坐标的均值和第二坐标均值；
根据所述第一坐标的均值和所述第二坐标的均值，确定出所述最大连通域的中心点坐标。
可选地，所述将每幅检测图像中灰度值小于所述肠道远端暗区灰度阈值的像素点设为0，大于所述肠道远端暗区灰度阈值的像素点设为255之前包括：
将每幅检测图像中灰度值小于预设视界外灰度值的像素点设为255；
所述确定每幅第二二值化图像的最大连通域之后包括：
判断黑色区域面积是否不小于预设肠道观察区域图像面积阈值，在不小于时，确定出每幅检测图像中所述最大连通域的中心点坐标。
可选地，根据所述平均差绝对值总和确定通过内窥镜观察肠道的 完整度包括：
根据所述多个检测区域的数量确定完整度最大值；
根据所述平均差绝对值总和、所述完整度最大值和预设的权重系数，确定通过内窥镜观察肠道的完整度。
第二方面，本申请提供了一种内窥镜观察视频的处理装置，所述内窥镜观察视频的处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如上任一项所述的内窥镜观察视频中图像的处理方法的步骤。
可选地，所述存储器为云存储器。
可选地，所述处理装置与医用化验设备和/或医学影像设备连接使用；
进一步可选地，所述医学影像设备为核磁共振成像设备。
第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有内窥镜观察视频的处理程序，所述内窥镜观察视频中图像的处理方法程序被处理器执行时，实现如上任一项所述的内窥镜观察视频中图像的处理方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请各实施例通过肠道远端开口区域的位置检测来确定内窥镜运动均匀程度和整体的完整度，通过本发明实施例中方法可以有效对内窥镜筛查进行质量控制。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而 易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请各个实施例提供的内窥镜观察视频中图像的处理方法的流程图；
图2为本申请各个实施例提供的内窥镜观察视频图像；
图3为本申请各个实施例的视界外区域示意图；
图4为本申请各个实施例的肠道远端开口区域示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
实施例一
本发明实施例提供一种内窥镜观察视频中图像的处理方法，如图1所示，所述内窥镜观察视频中图像的处理方法包括：
S101，从内窥镜观察视频中截取每帧视频图像的肠道观察区域图像；如图2所示，内窥镜观察视频的每帧图像包括肠道观察区域图像和信息区域图像；
S102，根据预设像素规格缩放每帧视频图像的肠道观察区域图像，得到多幅检测图像；像素规格可以是534*480；
S103，确定每幅检测图像的肠道远端开口区域的中心点坐标；
S104，将各幅检测图像的中心点坐标映射在与所述像素规格相同的检测矩阵的多个检测区域；
S105，确定每个检测区域的中心点坐标数量与所述多幅检测图像的中心点坐标数量的比值；
S106，根据所述比值确定所述多个检测区域的平均差绝对值总和；
S107，根据所述平均差绝对值总和确定通过内窥镜观察肠道的完整度。
本发明实施例将内窥镜观察视频中每幅检测图像中肠道远端开口区域的中心点坐标映射在检测矩阵中，通过计算确定检测矩阵的每个检测区域的中心点坐标数量与所有中心点坐标数量的比值，并计算确定出平均差绝对值总和，然后根据所述平均差绝对值总和确定通过内窥镜观察肠道的完整度，从而通过肠道远端开口区域的位置检测来确定内窥镜运动均匀程度和整体的完整度，通过本发明实施例中方法可以有效对内窥镜筛查进行质量控制。
在一些实施方式中，从内窥镜观察视频中截取每帧视频图像的肠道观察区域图像可以包括：
在每帧视频图像中确定出所述肠道观察区域的有效边界；
根据每帧视频图像的有效边界从每帧视频图像中切割出每帧视频图像的肠道观察区域图像。
详细地，该步骤包括：
将每帧视频图像转换为灰度图；
在每帧视频图像的灰度图中，根据预先确定的肠道观察区域的有效灰度值，将所述灰度图中小于所述有效灰度值的像素点设为0，大于所述有效灰度值的像素点设为255，得到第一二值化图像；
清除所述第一二值化图像的噪点，并在清除噪点的第一二值化图像中将大于0的边界值作为所述有效边界。
例如，肠道观察区域的有效灰度值可以是像素值20，具体地，首先，将当前帧图像转灰度图，然后对灰度图进行二值化处理，令灰度值小于20的像素值为0，大于20的为255，得到二值化处理图像1(即第一二值化图像)。
然后，使用OpenCV进行腐蚀和膨胀操作，清除噪点。
并使用numpy计算出大于0的矩阵的上下左右边界值(即有效边界值)，根据有效边界值对二值化图像1得到的灰度图进行切割，得 到每帧视频图像的肠道观察区域图像。
最后，切割出的有效区域图像缩放成534*480，得到检测图像H。
在一些实施方式中，所述确定每幅检测图像的肠道远端开口区域的中心点坐标包括：
根据预设的肠道远端暗区灰度阈值，确定出每幅检测图像中的最大连通域，所述最大连通域对应所述肠道远端开口区域；
确定出每幅检测图像中所述最大连通域的中心点坐标。
其中，所述根据预设的肠道远端暗区灰度阈值，确定出每幅检测图像中的最大连通域可选地包括：
将每幅检测图像中灰度值小于所述肠道远端暗区灰度阈值的像素点设为0，大于所述肠道远端暗区灰度阈值的像素点设为255，得到与各幅检测图像对应的多幅第二二值化图像；
确定每幅第二二值化图像的黑色区域的最大连通域。
其中，所述确定出每幅检测图像中所述最大连通域的中心点坐标可选地包括：
保留多幅第二二值化图像的最大连通域，得到多幅第三二值化图像；
确定出每幅第三二值化图像中值为0的像素在每幅第三二值化图像中的第一坐标的均值和第二坐标均值；
根据所述第一坐标的均值和所述第二坐标的均值，确定出所述最大连通域的中心点坐标。
在一些实施方式中，所述将每幅检测图像中灰度值小于所述肠道远端暗区灰度阈值的像素点设为0，大于所述肠道远端暗区灰度阈值的像素点设为255之前可以包括：
将每幅检测图像中灰度值小于预设视界外灰度值的像素点设为255；
所述确定每幅第二二值化图像的黑色区域的最大连通域之后包括：
判断黑色区域面积是否不小于预设肠道观察区域图像面积阈值，在不小于时，确定出每幅检测图像中所述最大连通域的中心点坐标。
详细地，通过检测较暗区域确定肠道远端开口区域。
首先，如图3所示，视界为除去角落(四个角)黑色区域内的肠道观察区域图像，角落黑色区域为视界外区域。本实施方式中角落黑色区域的灰度值作为视界外灰度值，本实施方式中视界外灰度值为像素值16。过滤检测图像H中灰度值小于16的像素点值设为255，防止“视界”外的纯黑区域对暗区检测的干扰。
然后，对图像进行高斯平滑处理，去除噪点。
将图像进行二值化，灰度值小于“肠道远端暗区灰度阈值”的像素点值设为0，大于“肠道远端暗区灰度阈值”的像素点值设为255，二值化图像2(即第二二值化图像)；同时判断二值化图像2的黑色区域面积是否大于整张图片的1％(肠道观察区域图像面积阈值)，若小于则视为当前图像无肠道远端开口区域，不进行后续的计算。
并使用opencv函数求出图像的最大连通域，即为肠道远端开口区域，如图4所示。
将上面的二值化图像2进行筛选，图中仅保留最大连通域，得到图像3(即第三二值化图像)。
若存在最大连通域，则进行后续步骤；否则视为当前图像无肠道远端开口，不进行后续的计算。
最后，计算肠道远端开口的中心点坐标，统计图像3中，值为0的像素在矩阵中的x坐标均值和y坐标均值，作为中心点坐标.
在一些实施方式中，根据所述平均差绝对值总和确定通过内窥镜观察肠道的完整度包括：
根据所述多个检测区域的数量确定完整度最大值；
根据所述平均差绝对值总和、所述完整度最大值和预设的权重系数，确定通过内窥镜观察肠道的完整度。
详细地，视频逐帧检测计算视频整体结果，将上面得到的中心点 坐标存储在数组中，得到集合N，存储在数组中的作用为方便后续视频结束后统一进行计算处理。
由于所有输入的图像维度均为534*480，所以这里建立一个维度为534*480的检测矩阵，并将矩阵切分成m*m个(共计n个检测区域)，每个检测区域即为区域块X。
统计集合N中的所有中心点，将每个中心点的坐标分别对应到相应位置的区域块中，统计每个区域块中的中心点坐标个数(记作Xs)，将每个区域块中的点数与总点数做比，计算公式为：Xs/sum(Xs)。
计算这n个区域块的平均差绝对值总和L。
最后，使用公式(L max-L)/(L max-β)，计算出整体检查的完整度(大于1的记为1)。
其中，平均差是体现离散程度的指标之一，平均差和越大，离散程度越大，完整度越低；相反完整度越高。由于计算了n个区域块，那么最优的情况，就是总和L min为0，即每个区域块中占比均为1/n，此时完整度为100％；最差的情况，则是所有点都集中到一个格子中，那么总和L max为2*(n-1)/n，故公式分子使用L max-L；分母设置为L max-β，β为权重系数。
本实施方式中，通过减去β做偏移处理，通过若干权威的内窥镜观察视频，假定其为实际情况的金标准操作，通过分析内窥镜观察视频，计算这些手术的完整度，将结果反代入公式中得出β。
本实施方式中m取8；n取64；β取0.5。
本发明实施例提出了一种内窥镜观察视频中图像的处理方法，基于opencv连通域方法检测肠道远端开口以及通过分块计算平均差从而推导出完整度，可以有效判断内窥镜筛查的完整度，从而量化指标，进而可对内窥镜筛查进行有效地质量控制。
实施例二
本发明实施例提供一种内窥镜观察视频的处理装置，所述内窥镜观察视频的处理装置包括：存储器、处理器及存储在所述存储器上并 可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如实施例一中任一项所述的内窥镜观察视频中图像的处理方法的步骤。
其中，内窥镜观察视频的处理装置可以是内窥镜检测设备。
实施例三
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有内窥镜观察视频的处理程序，所述内窥镜观察视频中图像的处理方法程序被处理器执行时，实现如实施例一中任一项所述的内窥镜观察视频中图像的处理方法的步骤。
实施例二和实施例三的具体实现可以参阅实施例一，具有相应的技术效果。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局 限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (13)

  1. 一种肠道内窥镜观察视频中图像的处理方法，其特征在于，所述肠道内窥镜观察视频中图像的处理方法包括：
    从内窥镜观察视频中截取每帧视频图像的肠道观察区域图像；
    根据预设像素规格缩放每帧视频图像的肠道观察区域图像，得到多幅检测图像；
    确定每幅检测图像中显示的肠道远端开口区域的中心点坐标；
    将各幅检测图像的中心点坐标映射在与所述像素规格相同的检测矩阵的多个检测区域；
    确定每个检测区域的中心点坐标数量与所述多幅检测图像的中心点坐标数量的平均差；
    根据所述平均差确定所述多个检测区域的平均差绝对值总和；
    根据所述平均差绝对值总和确定通过内窥镜观察肠道的完整度。
  2. 根据权利要求1所述的内窥镜观察视频中图像的处理方法，其特征在于，所述从内窥镜观察视频中截取每帧视频图像的肠道观察区域图像包括：
    在每帧视频图像中确定出所述肠道观察区域的有效边界；
    根据每帧视频图像的有效边界从每帧视频图像中切割出每帧视频图像的肠道观察区域图像。
  3. 根据权利要求2所述的内窥镜观察视频中图像的处理方法，其特征在于，所述在每帧视频图像中确定出所述肠道观察区域的有效边界包括：
    将每帧视频图像转换为灰度图；
    在每帧视频图像的灰度图中，根据预先确定的肠道观察区域的有效灰度值，将所述灰度图中小于所述有效灰度值的像素点设为0，大于所述有效灰度值的像素点设为255，得到第一二值化图像；
    清除所述第一二值化图像的噪点，并在清除噪点的第一二值化图 像中将大于0像素点的边界值作为所述有效边界。
  4. 根据权利要求1中任意一项所述的内窥镜观察视频中图像的处理方法，其特征在于，所述确定每幅检测图像中显示的肠道远端开口区域的中心点坐标包括：
    根据预设的肠道远端暗区灰度阈值，确定出每幅检测图像中的最大连通域，所述最大连通域对应所述肠道远端开口区域；
    确定出每幅检测图像中所述最大连通域的中心点坐标。
  5. 根据权利要求4所述的内窥镜观察视频中图像的处理方法，其特征在于，所述根据预设的肠道远端暗区灰度阈值，确定出每幅检测图像中的最大连通域包括：
    将每幅检测图像中灰度值小于所述肠道远端暗区灰度阈值的像素点设为0，大于所述肠道远端暗区灰度阈值的像素点设为255，得到与各幅检测图像对应的多幅第二二值化图像；
    确定多幅第二二值化图像的最大连通域。
  6. 根据权利要求5所述的内窥镜观察视频中图像的处理方法，其特征在于，所述确定出每幅检测图像中所述最大连通域的中心点坐标包括：
    保留多幅第二二值化图像的最大连通域，得到多幅第三二值化图像；
    确定出每幅第三二值化图像中值为0的像素点在每幅第三二值化图像中的第一坐标的均值和第二坐标均值；
    根据所述第一坐标的均值和所述第二坐标的均值，确定出所述最大连通域的中心点坐标。
  7. 根据权利要求5所述的内窥镜观察视频中图像的处理方法，其特征在于，所述将每幅检测图像中灰度值小于所述肠道远端暗区灰度阈值的像素点设为0，大于所述肠道远端暗区灰度阈值的像素点设为255之前包括：
    将每幅检测图像中灰度值小于预设视界外灰度值的像素点设为 255；
    所述确定每幅第二二值化图像的最大连通域之后包括：
    判断黑色区域面积是否不小于预设肠道观察区域图像面积阈值，在不小于时，确定出每幅检测图像中所述最大连通域的中心点坐标。
  8. 根据权利要求1中任意一项所述的内窥镜观察视频中图像的处理方法，其特征在于，根据所述平均差绝对值总和确定通过内窥镜观察肠道的完整度包括：
    根据所述多个检测区域的数量确定完整度最大值和权重系数；
    根据所述平均差绝对值总和、所述完整度最大值和所述权重系数，确定通过内窥镜观察肠道的完整度。
  9. 一种内窥镜观察视频的处理装置，其特征在于，所述内窥镜观察视频的处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
    所述计算机程序被所述处理器执行时，实现如权利要求1中所述的内窥镜观察视频中图像的处理方法的步骤。
  10. 根据权利要求9所述的处理装置，其特征在于，所述存储器为云存储器。
  11. 根据权利要求9所述的处理装置，其特征在于，所述处理装置与医用化验设备和/或医学影像设备连接使用。
  12. 根据权利要求11所述的处理装置，其特征在于，所述医学影像设备为核磁共振成像设备。
  13. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有内窥镜观察视频的处理程序，所述内窥镜观察视频中图像的处理方法程序被处理器执行时，实现如权利要求1中所述的内窥镜观察视频中图像的处理方法的步骤。
PCT/CN2022/095185 2021-06-01 2022-05-26 肠道内窥镜观察视频中图像的处理方法、装置及存储介质 WO2022253093A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110605854.2 2021-06-01
CN202110605854.2A CN113052844B (zh) 2021-06-01 2021-06-01 肠道内窥镜观察视频中图像的处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
WO2022253093A1 true WO2022253093A1 (zh) 2022-12-08

Family

ID=76518597

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/095185 WO2022253093A1 (zh) 2021-06-01 2022-05-26 肠道内窥镜观察视频中图像的处理方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN113052844B (zh)
WO (1) WO2022253093A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052844B (zh) * 2021-06-01 2021-08-10 天津御锦人工智能医疗科技有限公司 肠道内窥镜观察视频中图像的处理方法、装置及存储介质
CN114419521B (zh) * 2022-03-28 2022-07-01 武汉楚精灵医疗科技有限公司 肠道内镜检查的监控方法及装置
CN115035152B (zh) * 2022-08-12 2022-10-25 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置以及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013506A (zh) * 2007-02-13 2007-08-08 上海交通大学 管道性脏器虚拟切开可视化方法
JP2011050590A (ja) * 2009-09-02 2011-03-17 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム
US20120092472A1 (en) * 2010-10-15 2012-04-19 Olympus Corporation Image processing device, method of controlling image processing device, and endoscope apparatus
US20130002842A1 (en) * 2011-04-26 2013-01-03 Ikona Medical Corporation Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
CN108292366A (zh) * 2015-09-10 2018-07-17 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法
CN113052844A (zh) * 2021-06-01 2021-06-29 天津御锦人工智能医疗科技有限公司 肠道内窥镜观察视频中图像的处理方法、装置及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
CN107967946B (zh) * 2017-12-21 2021-05-11 武汉楚精灵医疗科技有限公司 基于深度学习的胃镜操作实时辅助系统及方法
CN111325769B (zh) * 2018-12-13 2023-12-08 北京嘀嘀无限科技发展有限公司 一种目标对象检测方法及装置
CN111861049A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 基于图像识别的肠镜检查质量标准及打分系统
CN111839429A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于图像识别判断结肠镜检查是否完整的检测方法
CN111863209B (zh) * 2019-04-25 2023-08-18 天津御锦人工智能医疗科技有限公司 基于图像识别的结肠镜检查质量评估工作站
CN111839726A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于多传感多数据融合的3d-slam建模的肠道完整度检测系统
CN111863177A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于大数据的肠镜检查质量报告管理系统
CN110533609B (zh) * 2019-08-16 2022-05-27 域鑫科技（惠州）有限公司 适用于内窥镜的图像增强方法、装置和存储介质
CN111080585A (zh) * 2019-12-04 2020-04-28 绍兴文理学院 面向结肠内窥镜反光区域检测的中智分析方法
CN111932532B (zh) * 2020-09-21 2021-01-08 安翰科技(武汉)股份有限公司 胶囊内窥镜无参考图像评价方法、电子设备及介质
CN112785549B (zh) * 2020-12-29 2024-03-01 成都微识医疗设备有限公司 基于图像识别的肠镜检查质量评估方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013506A (zh) * 2007-02-13 2007-08-08 上海交通大学 管道性脏器虚拟切开可视化方法
JP2011050590A (ja) * 2009-09-02 2011-03-17 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム
US20120092472A1 (en) * 2010-10-15 2012-04-19 Olympus Corporation Image processing device, method of controlling image processing device, and endoscope apparatus
US20130002842A1 (en) * 2011-04-26 2013-01-03 Ikona Medical Corporation Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
CN108292366A (zh) * 2015-09-10 2018-07-17 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法
CN113052844A (zh) * 2021-06-01 2021-06-29 天津御锦人工智能医疗科技有限公司 肠道内窥镜观察视频中图像的处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN113052844A (zh) 2021-06-29
CN113052844B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
WO2022253093A1 (zh) 肠道内窥镜观察视频中图像的处理方法、装置及存储介质
US9860446B2 (en) Flare detection and mitigation in panoramic images
EP3246871A1 (en) Image splicing
CN110176010B (zh) 一种图像检测方法、装置、设备及存储介质
JP5031877B2 (ja) 画像処理装置及び画像処理方法
WO2021073101A1 (zh) 一种图像处理方法、装置和电子设备及可读存储介质
JPH03206572A (ja) 階調変換自動化装置
TW201626292A (zh) 魚計數裝置、魚計數方法、魚數之預測裝置、魚數之預測方法、魚計數系統及魚數預測系統
US20220006981A1 (en) Method of automatic image freezing of digestive endoscopy
KR20170098386A (ko) X선 영상에서의 치아의 인접면 우식증 영역 검출 방법 및 장치
JP2015156937A (ja) 画像処理装置、画像処理方法、並びにプログラム
WO2021189770A1 (zh) 基于人工智能的图像增强处理方法、装置、设备及介质
JP2007312810A (ja) 画像処理装置
JP5581237B2 (ja) 画像処理装置、電子内視鏡用プロセッサ装置、画像処理装置の作動方法および画像処理用コンピュータプログラム
JP7232424B2 (ja) 情報処理装置、制御方法、及びプログラム
CN107194886B (zh) 一种用于相机传感器的灰尘检测方法及装置
CN113689337B (zh) 一种基于生成对抗网络的超声图像超分辨率重建方法及系统
CN111444555A (zh) 一种测温信息显示方法、装置及终端设备
JP2018185265A (ja) 情報処理装置、制御方法、及びプログラム
JP6325939B2 (ja) 放射線撮影装置およびゲイン画像作成方法
JP6935663B1 (ja) 口腔粘膜疾患診断支援システム，方法およびプログラム
JPWO2020071086A1 (ja) 情報処理装置、制御方法、及びプログラム
CN114299081B (zh) 一种上颌窦cbct图像分割方法、装置、存储介质及电子设备
JP6838644B2 (ja) 画像診断装置、画像診断方法、及びプログラム
JPH11332858A (ja) 照射野外黒化処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22815139

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22815139

Country of ref document: EP

Kind code of ref document: A1