WO2021141253A1 - 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법 - Google Patents

캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법 Download PDF

Info

Publication number
WO2021141253A1
WO2021141253A1 PCT/KR2020/018087 KR2020018087W WO2021141253A1 WO 2021141253 A1 WO2021141253 A1 WO 2021141253A1 KR 2020018087 W KR2020018087 W KR 2020018087W WO 2021141253 A1 WO2021141253 A1 WO 2021141253A1
Authority
WO
WIPO (PCT)
Prior art keywords
capsule endoscope
matching point
image
matching
point
Prior art date
Application number
PCT/KR2020/018087
Other languages
English (en)
French (fr)
Inventor
김유진
정홍영
Original Assignee
주식회사 인트로메딕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인트로메딕 filed Critical 주식회사 인트로메딕
Publication of WO2021141253A1 publication Critical patent/WO2021141253A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00108—Constructional details of the endoscope body characterised by self-sufficient functionality for stand-alone use
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances

Definitions

  • the present invention relates to a system and method for determining the position of a capsule endoscope based on position information of the capsule endoscope, and more specifically, to calculate the position information of the capsule endoscope by comparing the previous image with the current image to determine the position of the capsule endoscope. It relates to a system and method for determining the position of a capsule endoscope that can be grasped.
  • a method of inserting an endoscope attached to a cable through a subject's mouth or anus is used to obtain information inside the human body, particularly medical information.
  • the endoscope can be directly controlled through a cable made of a conducting wire or an optical fiber, it is easy to secure data inside the human body, but it is very painful for the subject.
  • an organ such as the small intestine is far from the mouth or anus of the examinee, and the body cavity diameter of the organ is small, so that it is difficult to examine it by the above-described endoscopic method.
  • a capsule endoscope is being used.
  • the capsule endoscope acquires necessary data using a camera or the like in the human body, and transmits the acquired data to a receiver outside the human body to be output.
  • the present invention is to solve the problems of the prior art as described above, and it is an object of the present invention to identify the position of the capsule endoscope inserted into the human body and notify the user.
  • a system for determining the position of a capsule endoscope according to the present invention for achieving the above object is an acquisition unit that acquires an image from the capsule endoscope, extracting a keypoint about a frame based on the image, and extracting a keypoint between consecutive frames.
  • a matching point selector that generates a plurality of a pair of keypoint descriptors in which the keypoints match each other, analyzes the plurality of keypoint descriptors to select a final matching point, the final matching point, and the depth of the continuous frame and a movement distance calculator that calculates by accumulating a distance based on a map (Depth map), wherein the depth map calculates the distance from the image sensor provided in the capsule endoscope to the object obtained by acquiring the image to all pixels of the image sensor. is calculated for
  • the matching point selector may generate a plurality of the pair of feature point descriptors by determining the position and direction of the feature point between the consecutive frames based on a scale-invariant feature transform (SIFT) technique.
  • SIFT scale-invariant feature transform
  • the matching point selector may generate a plurality of the pair of feature point descriptors by determining the location and direction of the feature point between the consecutive frames based on a Speeded Up Robust Features (SURF) technique.
  • SURF Speeded Up Robust Features
  • the matching point selector may randomly select two matching point candidates from among the plurality of pair of feature point descriptors based on a RANSAC (Random Sample Consensus) technique.
  • the matching point candidates may have the same location in the continuous frame and the depth map.
  • the matching point selector may select a pair of near-horizontal matching points from among the matching point candidates as the final matching point.
  • the moving distance of the capsule endoscope may be calculated by accumulating all the final matching points on the continuous depth map.
  • the moving distance calculator may calculate by accumulating the distance from the first section of the esophagus to the end of the large intestine through the stomach and small intestine.
  • the acquiring unit acquires an image from the capsule endoscope, and the matching point selector extracts keypoints about the frame based on the image. generating a plurality of a pair of keypoint descriptors in which the keypoints between consecutive frames are matched with each other, selecting a final matching point by analyzing the plurality of keypoint descriptors by the matching point selector, and a moving distance calculation unit accumulating and calculating a distance based on the final matching point and a depth map of the successive frames, wherein the depth map is from an image sensor provided in the capsule endoscope to an object acquiring an image is calculated for all pixels of the image sensor.
  • the system and method for determining the position of the capsule endoscope according to the present invention can easily determine the position of the capsule endoscope.
  • feature points are detected in successive frames from images captured by the capsule endoscope, and an optimal pair of matching points from among matching points is selected and connected as a final matching point.
  • an optimal pair of matching points from among matching points is selected and connected as a final matching point.
  • the distance traveled by the capsule endoscope inside the human body is calculated. Accordingly, by displaying the distance traveled by the capsule endoscope on the time bar, the user can easily grasp the distance traveled by the capsule endoscope.
  • FIG. 1 is a block diagram of a capsule endoscope grasping system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of a method for grasping a capsule endoscope according to an embodiment of the present invention.
  • FIG. 3 is a view for explaining a process of generating a keypoint descriptor based on the SIFT technique in the capsule endoscope grasping system according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining a process of generating a keypoint descriptor based on the SURF technique in the capsule endoscope grasping system according to an embodiment of the present invention.
  • FIG. 5 is a diagram for explaining a process of finding a matching point based on a feature point in the capsule endoscope grasping system according to an embodiment of the present invention.
  • FIG. 6 is a diagram schematically showing the accumulation and calculation of the movement distance of the capsule endoscope based on the depth map matched with the continuous organ images in the capsule endoscope grasping system according to the embodiment of the present invention.
  • FIG. 7 is a diagram schematically illustrating display of a time bar and location information of the capsule endoscope in the capsule endoscope grasping system according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a capsule endoscope grasping system according to an embodiment of the present invention.
  • the capsule endoscope positioning system 1 includes an acquisition unit 100, a matching point selection unit 110, a movement distance calculation unit 120, and a time bar generation unit. 130 may be included.
  • the acquisition unit 100 is configured to receive an image captured by the capsule endoscope inside the human body from the capsule endoscope.
  • a capsule endoscope may be transmitted to the acquisition unit 100 through a wireless communication method such as RF communication.
  • the capsule endoscope may use a dual camera having two photographing units.
  • a depth map can be applied, and the position of the capsule endoscope can be found using the depth map.
  • the depth map refers to a map in which the distance from the image sensor provided in the capsule endoscope to the object obtained by the image is calculated for all pixels of the sensor.
  • the capsule endoscope moves while maintaining the posture from the introduction part of the esophagus to the end of the large intestine.
  • the matching point selection unit 110 extracts or detects keypoints 2 for successive frames based on the image acquired from the capsule endoscope to generate a keypoint descriptor 3 between successive frames, and , a configuration for selecting a matching point candidate 4 and a final matching point 5 for calculating the movement distance of the capsule endoscope from among the feature point descriptors 3 .
  • the matching point selector 110 uses a Scale-Invariant Feature Transform (SIFT) technique or a Speeded Up Robust Features (SURF) technique when detecting the feature point 2 for matching the feature point descriptor 3 in successive frames.
  • SIFT Scale-Invariant Feature Transform
  • SURF Speeded Up Robust Features
  • the SIFT technique is a feature extraction technique that is very robust to image rotation, scale change, transformation with similarity, viewpoint change, noise, and lighting change in general. SIFT is performed through four major steps, which are the first Scale Space Extrema Detection, the second Keypoint Localization, the third Orientation Assignment, and the fourth Description Generation. )to be.
  • the position and scale of the principal points are identified using the scale space extrema in the Difference of Gaussian (DoG) function with different ⁇ values.
  • DoG Difference of Gaussian
  • the Gaussian difference function performs a convolution operation on an image in a scale space separated by k, which is a constant coefficient, and the formula is as follows.
  • G is a Gaussian function
  • I is an image.
  • G is a Gaussian function
  • I is an image.
  • a Gaussian image is subtracted, and subsampling is performed with a factor of 2. Then, a Gaussian difference is calculated from the image. Compare with 3*3 neighboring regions in one pixel to detect the region maximum and minimum values of D(x, y, ⁇ ).
  • the candidates of the feature points (2) are localized and rearranged by removing the low contrast points.
  • Principal curvature is calculated using a Hessian matrix, and feature points 2 having a greater ratio than the maximum and minimum curvatures of the spatial curve on the curved surface are removed.
  • the direction of the feature point (2) is obtained based on the local image gradient.
  • an orientation histogram is obtained from the gradient direction of the sample points in the peripheral region where the feature point 2 is located.
  • a local image descriptor for each feature point 2 is calculated based on the image gradient magnitude and direction for each image sample point within the region with respect to the feature point 2 .
  • the sample points mentioned here are samples constituting a 3D histogram for the position and direction of the gradient, and each has a 4*4 array position grid and 8-direction bins.
  • the feature descriptor 3 becomes a 128-dimensional vector value.
  • the matching point selector 110 may generate the feature point descriptor 3 based on a process of the SIFT technique. That is, a gray image is first converted, and the converted gray image is configured as a pyramid image. Thereafter, the position and direction of the feature point 2 are determined by calculating the Gaussian difference, and finally, the feature point descriptor 3 is generated.
  • the SURF technique is generally based on the Multi-Scale Space Theory, and the feature descriptor 3 is extracted or detected based on the Hessian matrix, which is excellent in performance and accuracy.
  • an integral image is extracted before obtaining a matrix.
  • the sum of the densities in the rectangular region is computed, which is obtained by simply adding three times.
  • the Hessian matrix H(x, ⁇ ) with ⁇ scale at the x position is expressed as follows.
  • L xx (x, ⁇ ) is the Gaussian filter at the x position of the image I is a second-order derived convolution of
  • L xy (x, ⁇ ) is calculated in the same way.
  • the SURF technique is similarly performed based on attributes, like the SIFT technique.
  • a process of fixing a reproducible direction based on information obtained from a circular region around a point of interest is performed.
  • a square region aligned with the selected method is constructed and a feature descriptor (3) is extracted therefrom.
  • a Harr-Wavelet response is calculated in the x and y directions.
  • the sum of all responses within the range is calculated while moving the direction window of magnitude ⁇ /3.
  • the horizontal and vertical responses within the window are summed, and a local orientation vector is calculated from the two summed results.
  • the matching point selector 110 may generate the feature point descriptor 3 based on the SURF technique. That is, the acquired image is first converted into a gray image, and the converted gray image is calculated as an integral image. Thereafter, the Hessian matrix using the box filter is calculated, the position of the feature point 2 is determined in the frame using NMS (Non-Maximum Suppression), and the direction of the feature point 2 is calculated using the Haar-Wavelet response. A feature point descriptor (3) is generated.
  • the matching point selector 110 detects the key point 2 and generates the key point descriptor 3
  • the key points 2 may be connected to each other by a pair of key point descriptors 3 .
  • basic feature matching may be performed by measuring distances in all pairs of feature point descriptors 3 .
  • the distance measurement may be performed using a Euclidean distance.
  • the formula is:
  • the matching point selector 110 may randomly select two pairs of matched matching points from a plurality of pairs of feature point descriptors 3 using a random sample consensus (RANSAC) technique.
  • RANSAC random sample consensus
  • the RANSAC technique is to select sample data at random and then select data with the maximum consensus.
  • the RANSAC technique is a general methodology that is not limited to a specific field, and can show a normal distribution even if there is a lot of noise, that is, data that interferes with prediction from observation data containing data that prevents prediction of model parameters.
  • the RANSAC technique distinguishes an inlier and an outlier to enable approximation of data even if there are a large number of outliers.
  • an outlier is defined as an observation that deviates significantly from the data distribution.
  • the model with the largest consensus we explain how to select the model with the largest consensus.
  • the final result may be derived as a matching point candidate (4).
  • the proportion of inliers that approximate a certain parabola is 80%
  • the number of iterations required to set the RANSAC success probability to 99.9% is calculated as follows.
  • such a RANSAC technique can be used to select two from a pair of feature point descriptors 3 generated in large numbers.
  • the matching point selector 110 selects two key point descriptors 3 at random from the matched key point descriptors 3 and calculates a homography matrix to distinguish an inlier from an outlier. . By repeatedly performing this process, a matching point candidate 4 may be selected from the feature point descriptor 3 .
  • the matching point selector 110 may select one of the selected matching point candidates 4 to select the final matching point 5 .
  • This final matching point (5) selects a matching point candidate (4) whose respective feature points (2) are close to each other from among the remaining two matching point candidates (4) in a continuous frame, and finally determines the movement distance of the capsule endoscope. It is possible to select the final matching point (5) to be calculated.
  • the movement distance calculation unit 120 is configured to calculate the movement distance of the capsule endoscope based on the depth map corresponding to the final matching point 5 selected from successive frames.
  • the continuous frame and the depth map have the same position, and accordingly, the final matching point 5 selected from the continuous frame may have the same position in the depth map as well.
  • the location information map of the capsule endoscope can be configured by accumulating and calculating all the final matching points 5 in the depth map.
  • the time bar generator 130 is configured to generate the time bar 140 based on location information of the capsule endoscope and display it on a user interface or display.
  • the time bar generator 130 may generate the time bar to match the length of a general long-term section.
  • the time bar generator 130 may represent each region representing the esophagus, stomach, small intestine, and large intestine in the time bar 140 with different colors.
  • the user interface or display may be illustrated using, for example, a MiroView program.
  • FIG. 2 is a flowchart of a method for grasping a capsule endoscope according to an embodiment of the present invention.
  • the acquisition unit 100 initially acquires an image from the capsule endoscope. ⁇ S20>
  • the acquisition unit 100 may receive an image obtained by capturing the inside of the human body by the capsule endoscope from the capsule endoscope. Such a capsule endoscope may be transmitted to the acquisition unit 100 through a wireless communication method such as RF communication.
  • the matching point selector 110 extracts the feature points (2) about the frame based on the image to generate a plurality of pair of feature point descriptors (3) in which the feature points (2) between successive frames are matched with each other.
  • the matching point selection unit 110 extracts or detects the feature points 2 of successive frames based on the image obtained from the capsule endoscope to generate the feature point descriptors 3 between successive frames, and among the feature point descriptors 3 A matching point candidate 4 and a final matching point 5 for calculating the movement distance of the capsule endoscope can be selected.
  • the matching point selector 110 uses a Scale-Invariant Feature Transform (SIFT) technique or a Speeded Up Robust Features (SURF) technique when detecting the feature point 2 for matching the feature point descriptor 3 in successive frames. can This will be described with reference to FIGS. 3 and 4 .
  • SIFT Scale-Invariant Feature Transform
  • SURF Speeded Up Robust Features
  • FIG. 3 is a view for explaining a process of generating the feature descriptor 3 based on the SIFT technique in the capsule endoscope grasping system according to the embodiment of the present invention
  • FIG. 4 is the capsule endoscope grasping system according to the embodiment of the present invention. It is a diagram for explaining the process of generating the feature descriptor 3 based on the SURF technique.
  • the matching point selector 110 extracting the feature point 2 from successive frames and generating the feature point descriptor 3 using the SIFT technique.
  • the matching point selector 110 may convert the image of the inside of the human body transmitted by the capsule endoscope into a gray image using the SIFT technique. Thereafter, a Pyramid image may be constructed for the converted gray image to calculate a Gaussian difference. Next, the position of the feature point 2 may be determined and the direction of the feature point 2 may be determined. Using the SIFT technique as described above, the matching point selector 110 may generate the key point descriptor 3 .
  • the feature descriptor 3 refers to a pair of feature points 2 connected to each other in a continuous frame.
  • the matching point selector 110 may extract the feature point 2 from successive frames using the SURF technique and generate the feature point descriptor 3 .
  • the matching point selector 110 may convert the image of the inside of the human body transmitted by the capsule endoscope into a gray image using the SURF technique. Then, the converted gray image is calculated as an integral image. Next, the Hessian matrix using the box filter is calculated, the position of the feature point 2 is determined in successive frames using NMS (Non-Maximum Suppression), and the direction of the feature point 2 is determined using the Haar response. By calculating, the feature point descriptor 3 can be generated.
  • the matching point selection unit 110 uses the SIFT technique or the SURF technique may be different depending on the specification of the capsule endoscope positioning system 1 .
  • the SURF technique has better performance than the SIFT technique and thus the processing speed is faster, so the system requirements are higher. Therefore, the capsule endoscope localization system 1 may selectively use the SIFT technique or the SURF technique according to implementation.
  • the matching point selector 110 may use both the SIFT technique and the SURF technique. That is, when the capsule endoscope localization system 1 operates, the matching point selector 110 initially generates the feature point descriptor 3 using the SURF technique, and then the load applied to the capsule endoscope localization system 1 increases. When it is increased, the matching point selector 110 may complete the SURF technique and convert to the SIFT technique to generate the feature point descriptor 3 .
  • the reference for increasing the load applied to the capsule endoscope positioning system 1 may be detected as an increase in the load when the memory usage, CPU usage, data bus amount, etc. exceed preset values.
  • the matching point selector 110 may include a first matching point selector (not shown) and a second matching point selector (not shown) to generate the feature descriptor 3 in parallel. That is, the first matching point selector may generate the keypoint descriptor 3 using the SIFT technique, and the second matching point selector may generate the keypoint descriptor 3 using the SURF technique. At this time, dozens or hundreds of consecutive frames of the human body internal image received from the acquisition unit 100 form a single frame unit, and are transmitted to the first matching point selector once, and transmitted to the second matching point selector once. It can be transmitted alternately.
  • the first frame and the last frame of each frame unit in which consecutive frames are cut due to the frame unit are SIFT only the first frame and the last frame by the first matching point selector or the second matching point selector according to the sequence information included in the frame unit.
  • the feature point descriptor 3 is generated through the technique or the SURF technique. Accordingly, the first matching point selector and the second matching point selector generate the feature descriptor 3 in parallel to increase the processing speed.
  • the matching point selection unit 110 analyzes the plurality of feature point descriptors 3 and selects the final matching point 5. ⁇ S22> This will be described with reference to FIG. 5 .
  • FIG. 5 is a view for explaining a process of finding a matching point based on the feature point (2) in the capsule endoscope grasping system according to an embodiment of the present invention.
  • the matching point selector 110 may extract the feature point 2 from successive frames using the SIFT technique or the SURF technique and generate the feature point descriptor 3 .
  • the feature point descriptor 3 is generated by matching the feature points 2 of the same part in successive frames with each other, and the number of the feature point descriptors 3 may be plural. Thereafter, basic feature matching may be performed through distance measurement for all pairs of feature point descriptors 3 .
  • the distance measurement may measure the distance of the feature descriptor 3 using the Euclidean distance.
  • the matching point selector 110 analyzes all the feature descriptors 3 as targets, which can select two feature points 2 at random using the RANSAC technique to calculate a homography matrix.
  • an inlier and an outlier may be distinguished, and this may be repeatedly performed according to a set number of times.
  • the matching point candidates 4 may be selected by selecting two optimal feature point descriptors 3 in successive frames.
  • the movement distance calculation unit 120 calculates by accumulating the distance based on the final matching point 5 and the depth map of successive frames. ⁇ S23> This will be described with reference to FIG. 6 . do.
  • FIG. 6 is a diagram schematically showing the accumulation and calculation of the movement distance of the capsule endoscope based on the continuous depth map matched with the continuous organ images in the capsule endoscope grasping system according to an embodiment of the present invention.
  • the matching point selector 110 may leave only two matching point candidates 4 in successive frames and remove the remaining feature point descriptors 3 .
  • the matching point selector 110 may select a matching point candidate 4 that is closer to a horizontal line in the drawing, that is, the final matching point 5 indicated by a dotted line, among two matching point candidates 4 in successive frames. .
  • This final matching point 5 may be generated at the same position in the depth map as successive frames and the depth map are based on the same position.
  • the depth map is a map in which the distance from the image sensor of the capsule to the photographed object is calculated for all pixels of the sensor. Extracts the posture correction parameters of the dual camera provided in the capsule endoscope, aligns the matching rows of the left and right images based on the posture information of the dual cameras, and finds the matching points in pixels of the left and right images based on the aligned row Create a disparity map.
  • a depth map may be calculated using such a disparity map to be identically matched with a continuous image. Since the technology related to the depth map is well-known, a detailed description thereof will be omitted.
  • the movement distance calculator 120 accumulates the length of the final matching point 5 displayed on the entire depth map to configure the location information map of the capsule endoscope.
  • the length connecting the final matching points 5 of a0 and a1 to five consecutive depth maps, the length connecting the final matching points 5 of b0 and b1, and the final length of c0 and c1 The length of connecting the matching points 5 and the length of connecting the final matching points 5 of d0 and d1 are displayed, and the movement distance calculator 120 may accumulate them to calculate the movement distance of the capsule endoscope. This can be expressed as a formula as follows.
  • Capsule endoscope travel distance (a0-a1)+(b0-a1)+(b0-b1)+(c0-b1)+(c0-c1)+ (d0-c1)+(d0-d1) .
  • the time bar generating unit 130 may generate the time bar 140 . This will be described with reference to FIG. 7 .
  • FIG. 7 is a view schematically showing the display of the time bar 140 and the position information of the capsule endoscope in the capsule endoscope grasping system according to an embodiment of the present invention.
  • the time bar generating unit 130 generates the time bar 140 by displaying the total length and the length of each organ section, and displays the capsule endoscope in the generated time bar 140 .
  • Location information can be displayed. That is, in the drawing, the capsule endoscope is located in the small intestine, and the capsule position is shown as being located at an x cm part of the small intestine with a total length of 700 cm, so that it is possible to determine which part of the small intestine the capsule endoscope is currently located. Since the position of the capsule endoscope calculates the movement distance of the capsule and the entire movement distance of the capsule endoscope is configured as a map, the current position of the capsule endoscope can be grasped when the capsule endoscope is inserted again in the future.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 캡슐 내시경의 위치를 파악하는 시스템에 관한 것으로, 캡슐 내시경으로부터 영상을 획득하는 획득부; 상기 영상을 기반으로 프레임에 관한 특징점(Keypoint)을 추출하여 연속된 프레임 간의 상기 특징점이 서로 매칭된 한 쌍의 특징점 기술자(Keypoint Descriptor)를 다수 생성하고, 다수의 상기 특징점 기술자를 분석하여 최종 매칭점을 선택하는 매칭점 선택부; 및 상기 최종 매칭점과, 상기 연속된 프레임의 뎁스 맵(Depth map)을 기반으로 거리를 누적하여 계산하는 이동거리 계산부를 포함하고, 상기 뎁스 맵은 상기 캡슐 내시경에 구비된 이미지 센서부터 영상을 획득한 객체까지의 거리를 상기 이미지 센서의 모든 픽셀에 대해 계산할 수 있다.

Description

캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법
본 발명은 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법에 관한 것으로, 더욱 구체적으로는 이전 영상과 현재 영상을 비교하여 캡슐 내시경의 위치정보를 계산함으로써 캡슐 내시경의 위치를 파악할 수 있도록 하는 캡슐 내시경의 위치를 파악하는 시스템 및 방법에 관한 것이다.
인체 내부의 정보, 특히 의학적 정보를 획득하기 위해 피검사자의 입 또는 항문을 통해 케이블에 부착된 내시경을 삽입하는 방법이 이용되고 있다. 이 방법에 의하여 도선 또는 광섬유로 이루어진 케이블을 통해 내시경을 직접 제어할 수 있으므로, 인체 내부의 데이터를 확보하기 용이하지만 피검사자에게는 큰 고통이 따른다.
또한, 소장과 같은 장기는 피검사자의 입 또는 항문으로부터 멀리 떨어져 있을뿐더러, 장기의 체강 직경이 작아서 상술한 내시경 방법으로 검사하기 곤란하다는 문제가 있다.
이를 고려하여 캡슐 내시경이 이용되고 있다. 피검사자가 캡슐 내시경을 구강을 통해 삼키면, 캡슐 내시경은 인체 내에서 카메라 등으로 필요한 데이터를 획득하고, 획득한 데이터를 인체 외부의 수신기(receiver)로 전송하여 출력할 수 있도록 한다.
하지만 전문의와 같은 사용자들은 캡슐 내시경 진단 보조 소프트웨어 상에서 소화 기관을 일주하면서 영상을 촬영하는 캡슐 내시경의 위치를 정확히 파악하기 어렵다는 문제점이 있었다. 특히, 소장의 경우에는 길이가 길고 구조가 복잡하여 캡슐 내시경의 정확한 위치를 판단하는 것이 난해하였다.
따라서 캡슐 내시경의 위치를 정확히 파악할 수 있는 시스템이 필요한 실정이다.
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 인체 내부에 투입된 캡슐 내시경의 위치를 파악하여 사용자에게 공지하는 데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 캡슐 내시경의 위치를 파악하는 시스템은, 캡슐 내시경으로부터 영상을 획득하는 획득부, 상기 영상을 기반으로 프레임에 관한 특징점(Keypoint)을 추출하여 연속된 프레임 간의 상기 특징점이 서로 매칭된 한 쌍의 특징점 기술자(Keypoint Descriptor)를 다수 생성하고, 다수의 상기 특징점 기술자를 분석하여 최종 매칭점을 선택하는 매칭점 선택부 및 상기 최종 매칭점과, 상기 연속된 프레임의 뎁스 맵(Depth map)을 기반으로 거리를 누적하여 계산하는 이동거리 계산부를 포함하고, 상기 뎁스 맵은 상기 캡슐 내시경에 구비된 이미지 센서부터 영상을 획득한 객체까지의 거리를 상기 이미지 센서의 모든 픽셀에 대해 계산한 것이다.
상기 매칭점 선택부는 SIFT(Scale-Invariant Feature Transform) 기법을 기반으로 상기 연속된 프레임 간의 상기 특징점의 위치 및 방향을 판별하여 상기 한 쌍의 특징점 기술자(Descriptor)를 다수 생성할 수 있다.
상기 매칭점 선택부는 SURF(Speeded Up Robust Features) 기법을 기반으로 상기 연속된 프레임 간의 상기 특징점의 위치 및 방향을 판별하여 상기 한 쌍의 특징점 기술자(Descriptor)를 다수 생성할 수 있다.
상기 매칭점 선택부는 RANSAC(Random Sample Consensus) 기법을 기반으로 다수의 상기 한 쌍의 특징점 기술자 중에서 무작위로 2개를 매칭점 후보로 선택할 수 있다.
상기 매칭점 후보는 상기 연속된 프레임 및 상기 뎁스 맵에서의 위치가 동일할 수 있다.
상기 매칭점 선택부는 상기 매칭점 후보 중에서 수평에 근접하는 한 쌍의 매칭점을 최종 매칭점으로 선별할 수 있다.
상기 최종 매칭점을 상기 연속된 뎁스 맵 상에서 모두 누적하여 상기 캡슐 내시경의 이동거리를 계산할 수 있다.
상기 이동거리 계산부는 식도의 처음 구간부터 시작하여 위, 소장을 거쳐 대장의 끝단까지의 거리를 누적하여 계산할 수 있다.
상기 목적을 달성하기 위한 본 발명에 따른 캡슐 내시경의 위치를 파악하는 방법은, 획득부가 캡슐 내시경으로부터 영상을 획득하는 단계, 매칭점 선택부가 상기 영상을 기반으로 프레임에 관한 특징점(Keypoint)을 추출하여 연속된 프레임 간의 상기 특징점이 서로 매칭된 한 쌍의 특징점 기술자(Keypoint Descriptor)를 다수 생성하는 단계, 상기 매칭점 선택부가 다수의 상기 특징점 기술자를 분석하여 최종 매칭점을 선별하는 단계 및 이동거리 계산부가 상기 최종 매칭점과, 상기 연속된 프레임의 뎁스 맵(Depth map)을 기반으로 거리를 누적하여 계산하는 단계를 포함하고, 상기 뎁스 맵은 상기 캡슐 내시경에 구비된 이미지 센서부터 영상을 획득한 객체까지의 거리를 상기 이미지 센서의 모든 픽셀에 대해 계산한 것이다.
본 발명에 따른 캡슐 내시경의 위치를 파악하는 시스템 및 방법은 캡슐 내시경의 위치를 용이하게 파악할 수 있다. 본 발명에서는 캡슐 내시경이 촬영하는 영상에서 연속된 프레임에서 특징점을 검출하고, 서로 매칭되는 매칭점들 중에서 최적의 매칭점 쌍을 최종 매칭점으로 선별하여 연결한다. 이러한 매칭점의 쌍을 모든 프레임에서 연결하여 거리를 누적함으로써 캡슐 내시경이 인체 내부에서 장기를 이동한 거리를 계산하는 것이다. 이에 따라, 캡슐 내시경이 이동한 거리를 타임바에 표시함으로써 사용자는 캡슐 내시경이 이동한 거리를 용이하게 파악할 수 있다.
도1은 본 발명의 실시예에 따른 캡슐 내시경 파악 시스템의 블록도이다.
도2는 본 발명의 실시예에 따른 캡슐 내시경을 파악하는 방법의 순서도이다.
도3은 본 발명의 실시예에 따른 캡슐 내시경 파악 시스템에서 SIFT 기법을 기반으로 특징점 기술자를 생성하는 과정을 설명하기 위한 도면이다.
도4는 본 발명의 실시예에 따른 캡슐 내시경 파악 시스템에서 SURF 기법을 기반으로 특징점 기술자를 생성하는 과정을 설명하기 위한 도면이다.
도5는 본 발명의 실시예에 따른 캡슐 내시경 파악 시스템에서 특징점을 기반으로 매칭점을 찾는 과정을 설명하기 위한 도면이다.
도6은 본 발명의 실시예에 따른 캡슐 내시경 파악 시스템에서 연속된 장기 영상과 일치된 뎁스 맵을 기반으로 캡슐 내시경의 이동거리를 누적하여 계산하는 것을 개략적으로 나타낸 도면이다.
도7은 본 발명의 실시예에 따른 캡슐 내시경 파악 시스템에서 타임바 및 캡슐 내시경의 위치 정보를 표시하는 것을 개략적으로 나타낸 도면이다.
이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.
도1은 본 발명의 실시예에 따른 캡슐 내시경 파악 시스템의 블록도이다.
도1에 도시된 바와 같이, 본 발명의 실시예에 따른 캡슐 내시경 위치 파악 시스템(1)은 획득부(100), 매칭점 선택부(110), 이동거리 계산부(120) 및 타임바 생성부(130)를 포함할 수 있다.
획득부(100)는 캡슐 내시경으로부터 캡슐 내시경이 인체 내부를 촬영한 영상을 수신하는 구성이다. 이러한 캡슐 내시경은 RF 통신과 같은 무선 통신 방법을 통해 획득부(100)로 전달할 수 있다. 본 발명에서 캡슐 내시경은 촬영부가 2개로 구비된 듀얼 카메라가 사용될 수 있다. 듀얼 카메라를 통해 스테레오 비전(Stereo Vision) 기술을 사용함으로써 뎁스 맵(Depth Map)을 적용할 수 있고, 뎁스 맵을 이용하여 캡슐 내시경의 위치를 찾아낼 수 있다. 여기서, 뎁스 맵이란 캡슐 내시경에 구비된 이미지 센서로부터 영상을 획득한 객체까지의 거리를 센서의 모든 픽셀에 대해 계산한 맵을 말한다. 또한, 캡슐 내시경은 식도의 도입 부분에서 대장의 끝단까지 자세가 유지되어 이동하는 것으로 간주한다.
매칭점 선택부(110)는 캡슐 내시경으로부터 획득한 영상을 기반으로 연속된 프레임에 관한 특징점(Keypoint)(2)을 추출 또는 검출하여 연속된 프레임 간의 특징점 기술자(Keypoint Descriptor)(3)를 생성하고, 특징점 기술자(3) 중에서 캡슐 내시경의 이동거리 계산을 위한 매칭점 후보(4) 및 최종 매칭점(5)을 선택하는 구성이다. 이러한 매칭점 선택부(110)는 연속된 프레임에서 특징점 기술자(3)를 매칭하기 위한 특징점(2)을 검출할 때 SIFT(Scale-Invariant Feature Transform) 기법 또는 SURF(Speeded Up Robust Features) 기법을 사용할 수 있다.
먼저 SIFT 기법은 일반적으로 영상 회전, 스케일 변화, 유사성을 가진 변형, 관점 변화, 잡음, 조명 변화에 매우 강인성을 가진 특징 추출 기법이다. SIFT는 크게 4단계를 거쳐 수행되며, 이는 첫 번째 스케일 공간 극값 검출(Scale Space Extrema Detection), 두 번째 특징점 지역화(Keypoint Localization), 세 번째 방향성 배치(Orientation Assignment) 및 네 번째 기술 내용 생성(Description Generation)이다.
첫 번째 단계로, 서로 다른 σ 값을 갖는 가우시안 차이(DoG, Difference of Gaussian) 함수에서 스케일 공간 극값을 사용하여 주요점들의 위치와 스케일을 식별한다. 가우시안 차이 함수는 상수 계수인 k로 분리되는 스케일 공간에서 영상에 대해 컨볼루션 연산을 수행하며, 수식은 다음과 같다.
D(x, y, σ) = (G(x, y, kσ) - G(x, y, σ))*I(x, y)
위의 수식에서 G는 가우시안 함수이며, I는 영상이다. 가우시안 차이를 산출하기 위해 가우시안 영상이 차감되고, 인자 2로 서브샘플링을 수행한다. 그런 다음, 해당 영상에서 가우시안 차이를 산출한다. D(x, y, σ)의 영역 최대값과 최소값을 검출하기 위해 하나의 픽셀에서 3*3 인접 영역과 비교한다.
두 번째 단계에서, 낮은 대비 점들을 제거하여 특징점(2)들의 후보들을 특징점 지역화(Localization)하고 재정렬시킨다. 헤시안 행렬(Hessian Matrix)을 이용하여 주곡률(Principal Curvature)을 계산하고, 곡면상의 공간곡선이 갖는 최대와 최소의 곡률보다 큰 비율을 갖는 특징점(2)들을 제거한다.
세 번째 단계에서, 지역 이미지 기울기를 기반으로 특징점(2)의 방향을 구한다. 방향 설정을 얻기 위해, 특징점(2)이 위치한 주변 영역 내에서 샘플 점들의 기울기(Gradient) 방향으로부터 방향 히스토그램(Orientation Histogram)을 구한다.
마지막 네 번째 단계에서는, 특징점(2)을 중심으로 지역 내에 있는 각 영상 샘플 점에 대해 영상 기울기 크기와 방향을 기반으로 각 특징점(2)들에 대한 지역 영상 기술자(Local Image Descriptor)를 계산한다. 여기에서 언급된 샘플 점(Sample Point)은 기울기의 위치와 방향에 대한 3D 히스토그램을 구성하는 샘플이며, 각각은 4*4 배열 위치 그리드(Grid)와 8 방향 빈(Bin)을 가진다. 따라서 특징점 기술자(3)는 128-차원 벡터 값이 된다.
이와 같은 SIFT 기법은 공지된 기술이기 때문에 자세한 설명은 생략하기로 한다.
매칭점 선택부(110)는 SIFT 기법의 과정을 기반으로 특징점 기술자(3)를 생성할 수 있다. 즉, 그레이 영상으로 먼저 변환하고, 변환된 그레이 영상을 피라미드 영상으로 구성한다. 이후 가우시안 차이를 계산하여 특징점(2)의 위치와 방향을 판별하며, 마지막으로 특징점 기술자(3)를 생성하게 된다.
아울러, SURF 기법은 일반적으로 다중-스케일 공간 정리(Multi-Scale Space Theory)를 기반하며, 특징점 기술자(3)는 성능과 정확성에서 우수한 헤시안 행렬을 기반으로 추출 또는 검출된다. 이 때 행렬을 구하기 이전에 적분 영상(Integral Image)을 추출한다. 적분 영상은 x = (x, y) 위치에서 적분 영상은 원래의 위치(Origin)와 x로 만들어지는 직사각형 영역 내에 존재하는 입력 영상 I 에서의 모든 픽셀들의 합으로 표현되며, 이 수식은 아래와 같다.
Figure PCTKR2020018087-appb-I000001
적분 영상을 계산하기 위해, 직사각형 영역 내의 밀도에 대한 합을 계산하며, 이는 간단하게 3번의 덧셈만으로 구해진다. 영상 I에서 주어진 점 x = (x, y) 에 대해, x 위치에서 σ 스케일을 갖는 헤시안 행렬 H(x, σ)는 수식이 아래와 같다.
Figure PCTKR2020018087-appb-I000002
위의 수식에서, Lxx(x,σ)는 영상 I 의 x 위치에서 가우시안 필터
Figure PCTKR2020018087-appb-I000003
의 2차 파생된 컨볼루션이며, Lxy(x,σ)도 동일한 방식으로 계산한다.
SURF 기법은 동일한 해상도를 갖는 영상에서 피라미드 결과의 상위 수준에 대한 2:1 다운 샘플링(Down Sampling)을 하지 않고 “스택(Stack)”을 생성한다. 적분 영상을 사용하기 때문에, SURF 기법에서는 2차 가우시안 편미분의 9*9박스 필터 근사치를 이용하여 스택을 필터링한다. 예를 들어, 9*9 박스 필터(Box Filter)는 σ = 1.2를 갖는 가우시안의 근사값이며, 블럽 응답 맵(Blob Response Map)을 계산하기 위한 가장 낮은 스케일을 나타낸다.
특징점 기술자(3)의 추출 단계에서는 SURF 기법도 SIFT 기법과 마찬가지로, 유사하게 속성을 기반으로 수행된다. 먼저, 관심 점 주변에 원형 영역으로부터 얻은 정보를 기반으로 재생 가능한 방향을 고정시키는 과정을 수행한다. 그런 다음, 선택한 방법으로 정렬된 정사각형 영역을 구성하고 이로부터 특징점 기술자(3)를 추출한다. 여기서, 회전에 강인하기 위해, x 방향과 y 방향으로 하르-웨이블릿 응답(Harr-Wavelet Response)을 계산한다. 가장 많은 대표적인 방향을 설정하기 위해서는 π/3크기의 방향 윈도를 이동시키면서 범위 내에 있는 모든 응답의 합을 계산한다. 윈도 내 수평 응답과 수직 응답을 합산하며, 합산된 2개의 결과를 통해 지역 방향 벡터(Local Orientation Vector)를 산출한다. 특징점 기술자(3)를 생성하기 위해, 4*4 직사각형 하위 영역을 갖는 방향 지향적 4개의 그리드가 관심 점에 놓인다. 모든 직사각형에 대해, 웨이블릿 계수를 계산하고, 각 직사각형의 2*2 하위 영역이 특징점 기술자(3)의 실제 영역에 대응된다. 이는 그리드의 방향에 상대적으로 계산된 합이 된다.
광도 변화의 양극성에 대한 정보를 얻기 위해, |dx|와 |dy| 계수의 절대값의 합을 계산한다. 따라서 각 하위 영역은 기본적인 광도 구조를 위해 4차원 기술자 벡터 v = Σdx, Σdy, Σ|dx|, Σ|dy|를 가진다. 이는 모든 4*4 하위 영역에 연관되기 때문에 특징점 기술자(3) 벡터는 64차원이 된다.
이와 같은 SURF 기법은 공지된 기술이기 때문에 자세한 설명은 생략하기로 한다.
매칭점 선택부(110)는 SURF 기법의 과정을 기반으로 특징점 기술자(3)를 생성할 수 있다. 즉, 획득한 영상을 그레이 영상으로 먼저 변환하고, 변환된 그레이 영상을 적분 영상으로 계산한다. 이후 박스 필터를 이용한 헤시안 행렬을 연산하고, NMS(Non-Maximum Suppression)을 이용하여 프레임에서 특징점(2)의 위치를 판별하며, 하르-웨이블릿 응답을 이용하여 특징점(2)의 방향을 계산함으로써 특징점 기술자(3)를 생성하게 된다.
또한, 매칭점 선택부(110)가 특징점(2)을 검출하여 특징점 기술자(3)를 생성한 후에는 특징점(2)들이 한 쌍의 특징점 기술자(3)로 서로 연결될 수 있다. 이후 모든 특징점 기술자(3) 쌍에서의 거리 측정을 통해 기초 특징 정합을 수행할 수 있다. 여기서, 거리 측정에는 유클리디안 거리(Euclidean Distance)를 이용하여 측정할 수 있다.
유클리디안 거리는 n차원의 공간에서 두 점간의 거리를 알아내는 수식이다. 이러한 유클리디안 거리는 두 점 P와 Q가 각각 P=(p1, p2, p3, ... ,pn)와 Q=(q1, q2, q3, ... ,qn)의 좌표를 가질 때 두 점 사이의 거리 D를 계산하는 것으로써, 수식은 아래와 같다.
Figure PCTKR2020018087-appb-I000004
이와 같은 유클리디안 거리를 통해 모든 특징점 기술자(3)의 쌍에서의 거리를 측정할 수 있다.
아울러, 매칭점 선택부(110)는 RANSAC(Random Sample Consensus) 기법을 사용하여 다수의 특징점 기술자(3) 쌍에서 무작위로 두 쌍의 정합된 매칭점들을 선택할 수 있다.
RANSAC 기법이란, 무작위로 샘플 데이터를 뽑은 다음에 최대로 컨센서스가 형성된 데이터를 선택하는 것이다. 이러한 RANSAC 기법은 특정 분야에 국한되지 않는 일반적인 방법론으로써, 모델 파라미터의 예측을 방해하는 데이터가 들어 있는 관측 데이터로부터 예측을 방해하는 데이터, 즉 노이즈가 많더라도 정상적인 분포를 나타나게 해줄 수 있다. 다시 말해, RANSAC 기법은 인라이어(inlier)와 아웃라이어(outlier)를 구별하여 아웃라이어가 다수 존재하더라도 데이터의 근사가 가능하도록 하는 것이다. 여기서, 아웃라이어란 데이터의 분포에서 현저하게 벗어나 있는 관측값으로 정의된다.
RANSAC 기법에서 컨센서스가 최대인 모델을 선택하는 것을 설명하도록 한다. 먼저 일단 무작위로 샘플 데이터 몇 개를 뽑아서 이 샘플 데이터들을 만족하는 모델 파라미터를 구한다. 이렇게 구한 모델과 가까이에 있는 데이터들의 개수를 세어서 그 개수가 크다면 이 모델을 기억해 둔다. 이러한 과정을 N번 반복한 후 가장 지지하는 데이터, 즉 추정된 모델과 가까이 있는 데이터의 개수가 많았던 모델을 최종 결과로 반환하는 것이다. 본 발명에서는 최종 결과가 매칭점 후보(4)로 도출될 수 있다.
아울러, RANSAC 기법을 적용시키기 위해서는 크게 2가지의 파라미터를 결정해야 한다. 하나는 샘플링 과정을 반복하는 횟수 N과, 그리고 나머지 하나는 인라이어와 아웃라이어의 경계 T를 어떻게 정할 것인가 하는 것이다.
먼저 횟수에 대한 설명을 이어가기로 한다. RANSAC이 성공하기 위해서는 N번의 시도 중 적어도 한번은 인라이어들에서만 샘플 데이터가 뽑혀야 한다. 이러한 확률은 N을 키우면 키울수록 증가할 것이지만 무한정 RANSAC 기법을 적용할 수는 없기 때문에 보통은 확률적으로 반복 횟수를 결정한다. RANSAC 반복 횟수를 N, 한 번에 뽑는 샘플 개수를 m, 입력 데이터들 중에서 인라이어의 비율을 α라 하면, N번 중 적어도 한번은 인라이어에서만 샘플이 뽑힐 확률 p는 다음과 같다.
p=1-(1-am)N
예를 들어, 어떤 포물선에 근사하는 인라이어의 비율이 80%라고 했을 때, RANSAC 성공확률을 99.9%로 맞추려면 필요한 반복횟수는 다음과 같이 계산된다.
Figure PCTKR2020018087-appb-I000005
예시대로 라면, 수학적 확률이긴 하지만 RANSAC을 10번만 돌려도 99.9% 확률로 해를 찾을 수 있다.
또한, 나머지 하나인 인라이어와 아웃라이어의 경계 T에 관한 설명을 이어가기로 한다. T를 선택하는 일반적인 방법은 인라이어들의 잔차(residual) 분산을 σ2 이라 할 때, T = 2σ 또는 T = 3σ로 설정하는 것이다. 즉, 먼저 RANSAC 기법을 적용하고자 하는 대상에 대해서 인라이어들로만 구성된 실험 데이터들을 획득하고, 인라이어 데이터들에 대해서 최소자승법을 적용하여 가장 잘 근사되는 모델을 구한다. 이렇게 구한 모델과 인라이어들과의 잔차 ri=yi-f(xi)들을 구한 후, 이들의 분산 또는 표준편차를 구해서, 이에 비례하게 T를 결정한다. 인라이어들의 잔차가 정규분포를 따른다고 가정했을 때, T = 2σ로 잡으면 97.7%, T = 3σ로 잡으면 99.9%의 인라이어들을 포함하게 된다. 본 발명에서는 T = 2σ 또는 T = 3σ로 적용할 수 있으나, 실시하기에 따라 T가 상이할 수 있다. 이러한 RANSAC 기법을 본 발명에서는 다수로 생성된 한 쌍의 특징점 기술자(3) 중에서 2개를 선택하기 위해 사용할 수 있다.
RANSAC 기법은 공지된 기술이기 때문에 자세한 설명은 생략하기로 한다.
이와 같은 RANSAC 기법을 통해 매칭점 선택부(110)는 정합된 특징점 기술자(3) 중에서 무작위로 2개의 특징점 기술자(3)를 선택하고 호모그래피 행렬을 계산하여 인라이어와 아웃라이어를 구별할 수 있다. 이러한 과정을 반복적으로 수행하여 특징점 기술자(3)에서 매칭점 후보(4)를 선택할 수 있다.
아울러, 매칭점 선택부(110)는 선택된 매칭점 후보(4) 중에서 하나를 선택하여 최종 매칭점(5)을 선택할 수 있다. 이러한 최종 매칭점(5)은 연속된 프레임에서 남은 두 개의 매칭점 후보(4) 중에서 각각의 특징점(2)이 서로 수평에 가까운 매칭점 후보(4)를 선택하여 최종적으로 캡슐 내시경의 이동거리를 계산할 최종 매칭점(5)을 선택할 수 있다.
이동거리 계산부(120)는 연속된 프레임에서 선택된 최종 매칭점(5)에 대응하는 뎁스 맵을 기반으로 캡슐 내시경의 이동거리를 계산하는 구성이다. 여기서, 연속된 프레임과 뎁스 맵은 서로 위치가 동일하고, 이에 따라 연속된 프레임에서 선택된 최종 매칭점(5)은 뎁스 맵에서도 위치가 동일하게 적용될 수 있다. 결과적으로 뎁스 맵에서 최종 매칭점(5)을 모두 누적하여 계산함으로써 캡슐 내시경의 위치 정보 맵을 구성할 수 있다.
타임바 생성부(130)는 캡슐 내시경의 위치 정보를 기반으로 타임바(140)를 생성하여 사용자 인터페이스 또는 디스플레이에 표시하는 구성이다. 이러한 타임바 생성부(130)는 타임바를 일반적인 장기 구간의 길이를 부합하도록 생성할 수 있다. 또한, 타임바 생성부(130)는 타임바(140)에서 식도, 위, 소장 및 대장을 나타내는 각각의 영역을 서로 상이한 색상으로 표현될 수 있다. 여기서, 사용자 인터페이스 또는 디스플레이는 예를 들어 미로뷰(MiroView) 프로그램을 사용하여 도시할 수 있다.
이하에서는 도2를 참고하여 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 방법에 대해 설명하기로 한다.
도2는 본 발명의 실시예에 따른 캡슐 내시경을 파악하는 방법의 순서도이다.
도2에 도시된 바와 같이, 최초에 획득부(100)가 캡슐 내시경으로부터 영상을 획득한다.<S20>
획득부(100)는 캡슐 내시경으로부터 캡슐 내시경이 인체 내부를 촬영한 영상을 수신할 수 있다. 이러한 캡슐 내시경은 RF 통신과 같은 무선 통신 방법을 통해 획득부(100)로 전달할 수 있다.
매칭점 선택부(110)가 상기 영상을 기반으로 프레임에 관한 특징점(2)을 추출하여 연속된 프레임 간의 상기 특징점(2)이 서로 매칭된 한 쌍의 특징점 기술자(3)를 다수 생성한다.<S21>
매칭점 선택부(110)는 캡슐 내시경으로부터 획득한 영상을 기반으로 연속된 프레임에 관한 특징점(2)을 추출 또는 검출하여 연속된 프레임 간의 특징점 기술자(3)를 생성하고, 특징점 기술자(3) 중에서 캡슐 내시경의 이동거리 계산을 위한 매칭점 후보(4) 및 최종 매칭점(5)을 선택할 수 있다. 이러한 매칭점 선택부(110)는 연속된 프레임에서 특징점 기술자(3)를 매칭하기 위한 특징점(2)을 검출할 때 SIFT(Scale-Invariant Feature Transform) 기법 또는 SURF(Speeded Up Robust Features) 기법을 사용할 수 있다. 이를 도3 및 도4를 통해 설명하기로 한다.
도3은 본 발명의 실시예에 따른 캡슐 내시경 파악 시스템에서 SIFT 기법을 기반으로 특징점 기술자(3)를 생성하는 과정을 설명하기 위한 도면이고, 도4는 본 발명의 실시예에 따른 캡슐 내시경 파악 시스템에서 SURF 기법을 기반으로 특징점 기술자(3)를 생성하는 과정을 설명하기 위한 도면이다.
먼저 SIFT 기법을 사용하여 매칭점 선택부(110)가 연속된 프레임에서 특징점(2)을 추출하고, 특징점 기술자(3)를 생성하는 것을 설명하기로 한다. 도3에 도시된 바와 같이, 매칭점 선택부(110)는 SIFT 기법을 이용하여 캡슐 내시경이 전송한 인체 내부의 영상에 대해 그레이 영상으로 변환할 수 있다. 이후 변환된 그레이 영상에 대해 피라미드 영상을 구성하여 가우시안 차이를 계산할 수 있다. 다음으로, 특징점(2)의 위치를 판별하고 특징점(2)의 방향을 판별할 수 있다. 이와 같은 SIFT 기법을 사용하여 매칭점 선택부(110)는 특징점 기술자(3)를 생성할 수 있다. 특징점 기술자(3)는 연속된 프레임에서 한 쌍의 특징점(2)들이 서로 연결된 것을 칭한다.
또한, 매칭점 선택부(110)는 SURF 기법을 사용하여 연속된 프레임에서 특징점(2)을 추출하고, 특징점 기술자(3)를 생성할 수도 있다. 도4에 도시된 바와 같이, 매칭점 선택부(110)는 SURF 기법을 이용하여 캡슐 내시경이 전송한 인체 내부의 영상에 대해 그레이 영상으로 변환할 수 있다. 이후 변환된 그레이 영상을 적분 영상으로 계산한다. 다음으로, 박스 필터를 이용한 헤시안 행렬을 연산하고, NMS(Non-Maximum Suppression)을 이용하여 연속된 프레임에서 특징점(2)의 위치를 판별하며, 하르 응답을 이용하여 특징점(2)의 방향을 계산함으로써 특징점 기술자(3)를 생성할 수 있다.
이와 같이 매칭점 선택부(110)가 SIFT 기법 또는 SURF 기법을 사용하는 것은 캡슐 내시경 위치 파악 시스템(1)의 사양에 따라 상이할 수 있다. 일반적으로 SURF 기법이 SIFT 기법보다 성능이 우수하여 처리 속도가 빠르기 때문에 시스템의 요구사양이 더 높다. 따라서 캡슐 내시경 위치 파악 시스템(1)은 실시하기에 따라 SIFT 기법이나 SURF 기법을 선택적으로 사용할 수 있다.
또한, 매칭점 선택부(110)는 SIFT 기법 및 SURF 기법을 모두 사용할 수도 있다. 즉, 캡슐 내시경 위치 파악 시스템(1)이 작동할 시 최초에는 매칭점 선택부(110)가 SURF 기법을 사용하여 특징점 기술자(3)를 생성하다가, 캡슐 내시경 위치 파악 시스템(1)에 걸리는 부하가 증가될 시에는 매칭점 선택부(110)가 SURF 기법을 완료하고 SIFT 기법으로 전환하여 특징점 기술자(3)를 생성할 수도 있다. 여기서, 캡슐 내시경 위치 파악 시스템(1)에 걸리는 부하가 증가되는 기준은 메모리 사용량, CPU 사용량, 데이터 버스량 등이 미리 설정된 값을 초과할 시 부하가 증가되는 것으로 감지할 수 있다.
또한, 매칭점 선택부(110)는 제1 매칭점 선택부(미도시) 및 제2 매칭점 선택부(미도시)로 구비되어, 병렬적으로 특징점 기술자(3)를 생성할 수도 있다. 즉, 제1 매칭점 선택부는 SIFT 기법을 사용하여 특징점 기술자(3)를 생성하고, 제2 매칭점 선택부는 SURF 기법을 사용하여 특징점 기술자(3)를 생성할 수도 있다. 이 때 획득부(100)로부터 수신한 인체 내부 영상은 수십 개 또는 수백 개의 연속된 프레임이 하나의 프레임 단위를 형성하여 한번은 제1 매칭점 선택부에 전달되고, 한번은 제2 매칭점 선택부에 전달되는 등 번갈아 가면서 전달될 수 있다.
여기서, 프레임 단위로 인해 연속된 프레임이 끊어진 각 프레임 단위의 첫 프레임과 끝 프레임은 프레임 단위에 포함된 순서정보에 의해 제1 매칭점 선택부 또는 제2 매칭점 선택부가 첫 프레임과 끝 프레임만을 SIFT 기법 또는 SURF 기법을 통해 특징점 기술자(3)를 생성하게 된다. 이에 따라, 제1 매칭점 선택부와 제2 매칭점 선택부가 병렬적으로 특징점 기술자(3)를 생성하여 처리 속도를 증가시킬 수 있다.
이후 매칭점 선택부(110)가 다수의 특징점 기술자(3)를 분석하여 최종 매칭점(5)을 선별한다.<S22> 이를 도5를 통해 설명하기로 한다.
도5는 본 발명의 실시예에 따른 캡슐 내시경 파악 시스템에서 특징점(2)을 기반으로 매칭점을 찾는 과정을 설명하기 위한 도면이다.
도5에 도시된 바와 같이, 매칭점 선택부(110)는 SIFT 기법 또는 SURF 기법을 이용하여 연속된 프레임에서 특징점(2)을 추출하고, 특징점 기술자(3)를 생성할 수 있다. 특징점 기술자(3)는 연속된 프레임에서 동일한 부분의 특징점(2)을 서로 매칭하여 생성되며, 그 수는 다수로 생성될 수 있다. 이후 모든 특징점 기술자(3)의 쌍에 대한 거리 측정을 통해 기초 특징 정합을 수행할 수 있다. 여기서, 거리 측정은 유클리디안 거리를 이용하여 특징점 기술자(3)의 거리를 측정할 수 있다. 다음으로, 매칭점 선택부(110)는 모든 특징점 기술자(3)를 대상으로 분석하는데, 이는 RANSAC 기법을 이용하여 무작위로 두 개의 특징점(2)들을 선택하여 호모그래피 행렬을 계산할 수 있다. 이러한 호모그래피 행렬을 계산하여 인라이어와 아웃라이어를 구별할 수 있고, 이는 설정된 횟수에 따라 반복적으로 수행될 수 있다. 설정된 횟수에 따라 RANSAC 기법을 수행한 후에는 연속된 프레임에서 최적의 특징점 기술자(3)로 두 개를 선택하여 매칭점 후보(4)를 선택할 수 있다.
다음으로, 이동거리 계산부(120)가 최종 매칭점(5)과, 연속된 프레임의 뎁스 맵(Depth map)을 기반으로 거리를 누적하여 계산한다.<S23> 이를 도6을 통해 설명하기로 한다.
도6은 본 발명의 실시예에 따른 캡슐 내시경 파악 시스템에서 연속된 장기 영상과 일치된 연속된 뎁스 맵을 기반으로 캡슐 내시경의 이동거리를 누적하여 계산하는 것을 개략적으로 나타낸 도면이다.
도6에 도시된 바와 같이, 매칭점 선택부(110)는 연속된 프레임에 두 개의 매칭점 후보(4)만 남기고 나머지 특징점 기술자(3)는 제거할 수 있다. 또한, 매칭점 선택부(110)는 연속된 프레임에서 두 개의 매칭점 후보(4) 중 도면상에서 보다 수평에 가까운 매칭점 후보(4), 즉 점선으로 표시된 최종 매칭점(5)을 선택할 수 있다. 이러한 최종 매칭점(5)은 연속된 프레임과 뎁스 맵이 서로 동일한 위치를 기반으로 하기 때문에 뎁스 맵에서도 동일한 위치로 생성될 수 있다.
여기서, 뎁스 맵은 캡슐의 이미지 센서에서부터 촬영된 객체까지의 거리를 센서의 모든 픽셀에 대해서 계산한 맵이다. 캡슐 내시경에 구비된 듀얼 카메라의 자세 교정 파라미터를 추출하고, 듀얼 카메라의 자세 정보를 기반으로 좌우 영상의 매칭되는 행을 정렬하며, 정렬된 행 기준으로 좌우 영상의 픽셀 단위로 매칭되는 점을 찾아 디스패리티 맵(Disparity map)을 생성한다. 이러한 디스패리티 맵으로 뎁스 맵을 계산하여 연속된 영상과 동일하게 매칭시킬 수 있다. 뎁스 맵에 관한 기술은 공지된 내용이므로 자세한 내용은 생략하기로 한다.
이와 같이 연속된 뎁스 맵에 최종 매칭점(5)이 표시된 상태에서 이동거리 계산부(120)는 전체 뎁스 맵에 표시된 최종 매칭점(5)의 길이를 누적하여 캡슐 내시경의 위치 정보 맵을 구성할 수 있다. 예를 들어 도6과 같이, 5개의 연속된 뎁스 맵에 a0와 a1의 최종 매칭점(5)을 연결한 길이, b0와 b1의 최종 매칭점(5)을 연결한 길이, c0와 c1의 최종 매칭점(5)을 연결한 길이, d0와 d1의 최종 매칭점(5)을 연결한 길이가 표시되어 있고, 이동거리 계산부(120)는 이를 누적하여 캡슐 내시경의 이동거리를 계산할 수 있다. 이를 수식으로 표현하면 아래와 같다.
캡슐 내시경 이동거리=(a0-a1)+(b0-a1)+(b0-b1)+(c0-b1)+(c0-c1)+ (d0-c1)+(d0-d1)로 나타낼 수 있다.
이와 같이 캡슐 내시경의 이동거리를 계산함에 따라 타임바 생성부(130)는 타임바(140)를 생성할 수 있다. 이를 도7을 통해 설명하기로 한다.
도7은 본 발명의 실시예에 따른 캡슐 내시경 파악 시스템에서 타임바(140) 및 캡슐 내시경의 위치 정보를 표시하는 것을 개략적으로 나타낸 도면이다.
도7에 도시된 바와 같이, 본 발명에서 타임바 생성부(130)는 전체 길이 및 각 장기 구간의 길이를 표시하여 타임바(140)를 생성하고, 생성된 타임바(140)에 캡슐 내시경의 위치 정보를 표시할 수 있다. 즉, 도면에서는 캡슐 내시경이 소장에 위치하고 있으며, 캡슐 위치는 총 길이가 700cm인 소장 길이에서 x cm 부분에 위치하고 있는 것으로 나타내어 현재 캡슐 내시경이 소장의 어느 부분에 위치하고 있는지 파악할 수 있다. 이러한 캡슐 내시경의 위치는 캡슐의 이동거리를 계산하여 캡슐 내시경의 전체 이동거리를 맵으로 구성하였기 때문에 캡슐 내시경이 향후 다시 투입되었을 시 캡슐 내시경의 현재 위치를 파악할 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.

Claims (9)

  1. 캡슐 내시경의 위치를 파악하는 시스템에 있어서,
    캡슐 내시경으로부터 영상을 획득하는 획득부;
    상기 영상을 기반으로 프레임에 관한 특징점(Keypoint)을 추출하여 연속된 프레임 간의 상기 특징점이 서로 매칭된 한 쌍의 특징점 기술자(Keypoint Descriptor)를 다수 생성하고, 다수의 상기 특징점 기술자를 분석하여 최종 매칭점을 선택하는 매칭점 선택부; 및
    상기 최종 매칭점과, 상기 연속된 프레임의 뎁스 맵(Depth map)을 기반으로 거리를 누적하여 계산하는 이동거리 계산부를 포함하고,
    상기 뎁스 맵은 상기 캡슐 내시경에 구비된 이미지 센서부터 영상을 획득한 객체까지의 거리를 상기 이미지 센서의 모든 픽셀에 대해 계산한 것을 특징으로 하는 캡슐 내시경의 위치를 파악하는 시스템.
  2. 제1항에 있어서,
    상기 매칭점 선택부는 SIFT(Scale-Invariant Feature Transform) 기법을 기반으로 상기 연속된 프레임 간의 상기 특징점의 위치 및 방향을 판별하여 상기 한 쌍의 특징점 기술자(Descriptor)를 다수 생성하는 것을 특징으로 하는 캡슐 내시경의 위치를 파악하는 시스템.
  3. 제1항에 있어서,
    상기 매칭점 선택부는 SURF(Speeded Up Robust Features) 기법을 기반으로 상기 연속된 프레임 간의 상기 특징점의 위치 및 방향을 판별하여 상기 한 쌍의 특징점 기술자(Descriptor)를 다수 생성하는 것을 특징으로 하는 캡슐 내시경의 위치를 파악하는 시스템.
  4. 제2항 또는 제3항에 있어서,
    상기 매칭점 선택부는 RANSAC(Random Sample Consensus) 기법을 기반으로 다수의 상기 한 쌍의 특징점 기술자 중에서 무작위로 2개를 매칭점 후보로 선택하는 것을 특징으로 하는 캡슐 내시경의 위치를 파악하는 시스템.
  5. 제4항에 있어서,
    상기 매칭점 후보는 상기 연속된 프레임 및 상기 뎁스 맵에서의 위치가 동일한 것을 특징으로 하는 캡슐 내시경의 위치를 파악하는 시스템.
  6. 제5항에 있어서,
    상기 매칭점 선택부는 상기 매칭점 후보 중에서 수평에 근접하는 한 쌍의 매칭점을 최종 매칭점으로 선별하는 것을 특징으로 하는 캡슐 내시경의 위치를 파악하는 시스템.
  7. 제6항에 있어서,
    상기 최종 매칭점을 상기 연속된 뎁스 맵 상에서 모두 누적하여 상기 캡슐 내시경의 이동거리를 계산하는 것을 특징으로 하는 캡슐 내시경의 위치를 파악하는 시스템.
  8. 제1항에 있어서,
    상기 이동거리 계산부는 식도의 처음 구간부터 시작하여 위, 소장을 거쳐 대장의 끝단까지의 거리를 누적하여 계산하는 것을 특징으로 하는 캡슐 내시경의 위치를 파악하는 시스템.
  9. 캡슐 내시경의 위치를 파악하는 방법에 있어서,
    획득부가 캡슐 내시경으로부터 영상을 획득하는 단계;
    매칭점 선택부가 상기 영상을 기반으로 프레임에 관한 특징점(Keypoint)을 추출하여 연속된 프레임 간의 상기 특징점이 서로 매칭된 한 쌍의 특징점 기술자(Keypoint Descriptor)를 다수 생성하는 단계;
    상기 매칭점 선택부가 다수의 상기 특징점 기술자를 분석하여 최종 매칭점을 선별하는 단계; 및
    이동거리 계산부가 상기 최종 매칭점과, 상기 연속된 프레임의 뎁스 맵(Depth map)을 기반으로 거리를 누적하여 계산하는 단계를 포함하고,
    상기 뎁스 맵은 상기 캡슐 내시경에 구비된 이미지 센서부터 영상을 획득한 객체까지의 거리를 상기 이미지 센서의 모든 픽셀에 대해 계산한 것을 특징으로 하는 캡슐 내시경의 위치를 파악하는 방법.
PCT/KR2020/018087 2020-01-10 2020-12-10 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법 WO2021141253A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0003796 2020-01-10
KR1020200003796A KR102294739B1 (ko) 2020-01-10 2020-01-10 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2021141253A1 true WO2021141253A1 (ko) 2021-07-15

Family

ID=76788790

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/018087 WO2021141253A1 (ko) 2020-01-10 2020-12-10 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102294739B1 (ko)
WO (1) WO2021141253A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246441A1 (zh) * 2022-06-22 2023-12-28 江苏势通生物科技有限公司 消化道的三维全景识别定位方法、存储介质和计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046530A (ko) * 2017-10-26 2019-05-07 아주대학교산학협력단 캡슐내시경의 위치 추적 방법 및 장치
KR20190055362A (ko) * 2017-11-15 2019-05-23 주식회사 인트로메딕 ToF 센서를 이용한 캡슐 내시경 장치, 상기 장치의 동작 방법 및 시스템
US20190266724A1 (en) * 2014-06-01 2019-08-29 CapsoVision, Inc. Reconstruction of Images from an in vivo Multi-Camera Capsule with Two-Stage Confidence Matching
KR102019228B1 (ko) * 2017-07-21 2019-09-09 주식회사 우영메디칼 캡슐 내시경의 3차원 위치 추적 장치, 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4493386B2 (ja) * 2003-04-25 2010-06-30 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
CN101080198B (zh) 2004-12-17 2010-12-08 奥林巴斯株式会社 位置检测系统、引导系统、位置检测方法、医用装置、和医用磁感应及位置检测系统
US8090178B2 (en) * 2006-04-06 2012-01-03 Siemens Medical Solutions Usa, Inc. System and method for automatic detection of internal structures in medical images
KR102037303B1 (ko) * 2018-10-24 2019-10-28 아주대학교 산학협력단 캡슐 내시경의 위치를 추정하는 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190266724A1 (en) * 2014-06-01 2019-08-29 CapsoVision, Inc. Reconstruction of Images from an in vivo Multi-Camera Capsule with Two-Stage Confidence Matching
KR102019228B1 (ko) * 2017-07-21 2019-09-09 주식회사 우영메디칼 캡슐 내시경의 3차원 위치 추적 장치, 방법 및 시스템
KR20190046530A (ko) * 2017-10-26 2019-05-07 아주대학교산학협력단 캡슐내시경의 위치 추적 방법 및 장치
KR20190055362A (ko) * 2017-11-15 2019-05-23 주식회사 인트로메딕 ToF 센서를 이용한 캡슐 내시경 장치, 상기 장치의 동작 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SPYROU EVAGGELOS, DIMITRIS K. IAKOVIDIS, STAVROS NIAFAS, ANASTASIOS KOULAOUZIDIS: "Comparative assessment of feature extraction methods for visual odometry in wireless capsule endoscopy", COMPUTERS IN BIOLOGY AND MEDICINE, vol. 65, 1 October 2015 (2015-10-01), pages 297 - 307, XP055827610, DOI: 10.1016/j.compbiomed.2015.05.013 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246441A1 (zh) * 2022-06-22 2023-12-28 江苏势通生物科技有限公司 消化道的三维全景识别定位方法、存储介质和计算机设备

Also Published As

Publication number Publication date
KR102294739B1 (ko) 2021-08-30
KR20210090465A (ko) 2021-07-20

Similar Documents

Publication Publication Date Title
WO2019088462A1 (ko) 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법
EP1997074B1 (en) Device, system and method for automatic detection of contractile activity in an image frame
US7319781B2 (en) Method and system for multiple passes diagnostic alignment for in vivo images
KR102237441B1 (ko) 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
CN101420897B (zh) 内窥镜插入方向检测装置以及内窥镜插入方向检测方法
CN107920722A (zh) 针对自胶囊相机所撷取的图像通过对象检测进行重建
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
CN103945755B (zh) 图像处理装置
WO2005039411A1 (en) Real-time abnormality detection for in vivo images
WO2019172728A1 (ko) 영상 처리를 이용한 발 사이즈 및 모양 측정 방법
CN108615045B (zh) 筛选胶囊内镜拍摄的图像的方法、装置及设备
WO2016159726A1 (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
CN103458765B (zh) 图像处理装置
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2021141252A1 (ko) 장기 구분 시스템 및 방법
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
CN111091536A (zh) 医学图像处理方法、装置、设备、介质以及内窥镜
WO2021141253A1 (ko) 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법
US20220000338A1 (en) Location estimation apparatus, location estimation method, and computer readable recording medium
WO2021091092A1 (ko) 소장 정결도를 진단하는 시스템 및 방법
WO2023075303A1 (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
WO2022177069A1 (ko) 라벨링 방법 및 이를 위한 컴퓨팅 장치
WO2022114357A1 (ko) 영상 병변 진단 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912069

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20912069

Country of ref document: EP

Kind code of ref document: A1