WO2013111535A1 - 内視鏡画像診断支援装置および方法並びにプログラム - Google Patents

内視鏡画像診断支援装置および方法並びにプログラム Download PDF

Info

Publication number
WO2013111535A1
WO2013111535A1 PCT/JP2013/000184 JP2013000184W WO2013111535A1 WO 2013111535 A1 WO2013111535 A1 WO 2013111535A1 JP 2013000184 W JP2013000184 W JP 2013000184W WO 2013111535 A1 WO2013111535 A1 WO 2013111535A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
data
endoscopic image
matching
image data
Prior art date
Application number
PCT/JP2013/000184
Other languages
English (en)
French (fr)
Inventor
潤 桝本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP13741090.8A priority Critical patent/EP2807972A4/en
Publication of WO2013111535A1 publication Critical patent/WO2013111535A1/ja
Priority to US14/337,867 priority patent/US10085672B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/28—Details of apparatus provided for in groups G01R33/44 - G01R33/64
    • G01R33/285—Invasive instruments, e.g. catheters or biopsy needles, specially adapted for tracking, guiding or visualization by NMR

Definitions

  • the present invention relates to an endoscope image diagnosis support apparatus, method, and program capable of specifying the actual endoscope tip position on a three-dimensional image of a subject acquired in advance.
  • the endoscopic image represents an image in which the color and texture inside the tubular tissue are clearly expressed by an imaging device such as a CCD (Charge Coupled Device), while the inside of the tubular tissue is represented as a two-dimensional image. Therefore, it is difficult to grasp which position in the tubular tissue represents the image.
  • CCD Charge Coupled Device
  • a route to a target point in the tubular tissue is acquired in advance using 3D image data obtained in advance by tomography using a modality such as a CT (Computed Tomography) apparatus, and the 3D image data is used.
  • a modality such as a CT (Computed Tomography) apparatus
  • Patent Document 1 A technique has been proposed in which a virtual endoscopic image similar to an image actually captured by an endoscope is generated, and a route to a target point is navigated using the virtual endoscopic image (Patent Document) 1, see Patent Document 2).
  • Non-Patent Document 1 proposes using an optical sensor or a magnetic sensor in order to specify the actual distal end position of the endoscope in the tubular tissue.
  • Non-Patent Document 1 in order to specify the position of the endoscope with an optical sensor or magnetic sensor, a marker that can be detected by the sensor is provided in the endoscope, and the camera position is specified by detecting this marker. Many methods have been proposed.
  • Patent Documents 1 to 5 propose a method for sensing the shape of a flexible endoscope inserted into the body.
  • the distal end position of the endoscope is tracked by a magnetic sensor or the like, and it is considered to be the same as the distal end position of the endoscopic endoscope while taking into account the relative positional relationship between the preoperative image and the intraoperative image.
  • the position of the preoperative image is specified, and the virtual endoscopic image at the specified position is displayed.
  • the shape is complicatedly bent in the front-rear and left-right directions of the subject, and the shape is doubled and triple-folded in the front-rear direction of the subject. Even if this technique is used, only the tip position of the endoscope can be specified. Therefore, it is very difficult to accurately specify the actual tip position of the endoscope in a folded portion of the preoperative image.
  • the present invention provides an endoscopic image diagnosis support apparatus, method, and program capable of more accurately specifying the tip position of an endoscope on a three-dimensional image of a subject acquired in advance. It is for the purpose.
  • An endoscopic image diagnosis support apparatus includes a three-dimensional image data acquisition unit that acquires three-dimensional image data of a subject, and a tubular shape in the subject from the three-dimensional image data acquired by the three-dimensional image data acquisition unit.
  • Tubular tissue shape data acquisition means for extracting and acquiring tubular tissue shape data representing the shape of the tissue
  • endoscope path data for acquiring endoscope route data representing the path of the endoscope inserted into the subject
  • An acquisition means and a matching means for performing matching between tubular tissue shape data and endoscope path data are provided.
  • the path of the endoscope in the subject is determined based on the three-dimensional image data, the endoscope path data, and the matching result in the matching unit.
  • Display control means for displaying in the three-dimensional stereoscopic image can be provided.
  • a display control unit that displays the path of the endoscope in the subject in the cross-sectional image of the tubular tissue based on the three-dimensional image data, the endoscope path data, and the matching result in the matching unit.
  • the matching means can perform matching in real time when the path of the endoscope in the subject changes.
  • the matching means can acquire a change amount of the shape and perform matching using the change amount.
  • tubular tissue shape data acquisition unit can acquire tree structure data as tubular tissue shape data
  • the matching means can perform matching using the tree structure data
  • the endoscope path data acquisition means acquires line segment structure data as endoscope path data
  • the matching means performs matching between the curvature maximum points of the line segment structure data and the tree structure data. And can.
  • the matching means can acquire distance information from the insertion port of the endoscope in the subject to the tip of the endoscope inserted into the subject and perform matching using the distance information.
  • the display control means can display the tubular tissue as a surface model.
  • the display control means can display the tubular tissue as a voxel model.
  • the tip position information acquisition means for acquiring the tip position information of the endoscope on the coordinates of the three-dimensional image data, the tip position information acquired by the tip position information acquisition means, Virtual endoscopic image data acquisition means for acquiring virtual endoscopic image data virtually generated on the basis of the three-dimensional image data as a result of photographing at the distal end position of the endoscope;
  • Display control means for displaying a virtual endoscopic image based on the mirror image data and an actual endoscopic image actually taken by the endoscope can be provided.
  • the display control means can display the virtual endoscopic image and the real endoscopic image side by side.
  • the display control means can display a virtual endoscopic image in the display screen of the real endoscopic image.
  • the display control means can display a real endoscope image and a virtual endoscope image in a blended manner.
  • a bronchoscope a large intestine endoscope, a small intestine endoscope or a capsule endoscope can be used.
  • tubular tissue can be the bronchi, large intestine or small intestine.
  • CT image data can be used as the three-dimensional image data.
  • MR image data can be used as the three-dimensional image data.
  • the endoscopic image diagnosis support method of the present invention acquires three-dimensional image data of a subject, extracts and acquires tubular tissue shape data representing the shape of the tubular tissue in the subject from the three-dimensional image data, Endoscope path data representing the path of the endoscope inserted into the specimen is acquired, and matching between the tubular tissue shape data and the endoscope path data is performed.
  • the endoscopic image diagnosis support program of the present invention uses a computer to obtain a subject from three-dimensional image data acquisition means for acquiring three-dimensional image data of the subject and three-dimensional image data acquired by the three-dimensional image data acquisition means.
  • Tubular tissue shape data acquisition means for extracting and acquiring tubular tissue shape data representing the shape of the inner tubular tissue
  • endoscope for acquiring endoscope path data representing the path of the endoscope inserted into the subject It is made to function as a mirror path
  • the endoscopic image diagnosis support apparatus, method, and program of the present invention three-dimensional image data of a subject is acquired, and tubular tissue shape data representing the shape of the tubular tissue in the subject is obtained from the three-dimensional image data.
  • Endoscopic path data that is extracted and acquired and represents the path of the endoscope inserted into the subject is acquired, and the acquired tubular tissue shape data and endoscopic path data are matched.
  • the path in the tubular tissue through which the endoscope has passed can be specified, although only the tip position of the endoscope has been known in the past, the endoscope path data representing this path and the tubular tissue shape
  • the influence of the deformation of soft tissue such as the large intestine during operation can be reduced, and the position on the three-dimensional image corresponding to the actual endoscope tip position can be specified more accurately. That.
  • the endoscope path in the subject is represented by a three-dimensional stereoscopic image of the tubular tissue.
  • the image is displayed in the inside or the tomographic image, the accurate tip position of the endoscope can be grasped visually.
  • the matching speed can be increased as compared with the case where matching is performed for the entire endoscope path data.
  • the distance information from the insertion port of the endoscope in the subject to the tip of the endoscope inserted in the subject is acquired and matching is performed using the distance information, for example, If matching is performed for a predetermined range from the distance information, it is possible to avoid obviously incorrect matching.
  • FIG. 1 is a block diagram showing a schematic configuration of an endoscopic image diagnosis support system using a first embodiment of the present invention.
  • route data The figure for demonstrating an example of the matching method of colon shape data and endoscope path
  • route data The flowchart for demonstrating the effect
  • the figure which shows an example of the front view of the three-dimensional solid image of the whole large intestine The figure which shows an example of the side view of the three-dimensional solid image of the whole large intestine
  • FIG. 1 is a block diagram showing a schematic configuration of an endoscopic image diagnosis support system using the first embodiment.
  • the endoscope image diagnosis support system 1 includes an endoscope image diagnosis support device 10, an endoscope device 20, an endoscope path detection device 30, a monitor 40, and an input unit. 50 and a three-dimensional image data storage server 60.
  • the endoscopic image diagnosis support apparatus 10 is configured by installing an endoscopic image diagnosis support program in a computer.
  • the endoscopic image diagnosis support apparatus 10 includes a central processing unit (CPU), a semiconductor memory, a hard disk in which the above-described endoscopic image diagnosis support program is installed, a storage device such as an SSD (Solid State Drive), and the like.
  • a three-dimensional image data acquisition unit 11 three-dimensional image data acquisition unit
  • a tubular tissue shape data acquisition unit 12 tubular tissue shape data acquisition unit
  • an endoscope as shown in FIG.
  • the three-dimensional image data acquisition unit 11 acquires three-dimensional image data of a subject imaged in advance before surgery or examination using the endoscope apparatus 20.
  • the three-dimensional image data for example, volume data reconstructed from slice data output from a CT apparatus or an MRI (Magnetic Resonance Imaging) apparatus, an MS (Multi Slice) CT apparatus, or a cone beam CT apparatus is output.
  • volume data There is volume data.
  • the 3D image data is stored in advance in the 3D image data storage server 60 together with the identification information of the subject, and the 3D image data acquisition unit 11 corresponds to the identification information of the subject input in the input unit 50.
  • the 3D image data is read from the 3D image data storage server 60.
  • the tubular tissue shape data acquisition unit 12 receives the 3D image data acquired by the 3D image data acquisition unit 11 and represents the shape of the tubular tissue in the subject from the input 3D image data. Data is extracted and acquired. Examples of the tubular tissue include the large intestine, the small intestine, and the bronchus, but are not limited thereto, and other tubular tissues may be used. In this embodiment, the shape data of the large intestine is extracted and acquired.
  • a method of extracting large intestine shape data first, based on three-dimensional image data, a plurality of cross-sectional image data (axial) perpendicular to the body axis (axial) are generated, A process for separating the external region and the internal region from the body surface is performed on the axial discontinuity image data by a known method. For example, binarization processing is performed on the input axial position image data, a contour is extracted by contour extraction processing, and the inside of the extracted contour is extracted as a body (human body) region. Next, a binarization process is performed on the axial discontinuity image data of the in-vivo region using a threshold value, and a colon region candidate in each axial discontinuity image data is extracted.
  • a threshold value for example, ⁇ 600 or less
  • the air region in the body is extracted as a large intestine region candidate.
  • only the portion where the extracted large intestine region candidates in the body are connected is extracted as the large intestine region between the axial position cut image data, thereby obtaining the three-dimensional image data of the large intestine region.
  • the method for acquiring the three-dimensional image data of the large intestine region is not limited to the above method, and other known methods such as Region ⁇ ⁇ Growing method and Level Set method may be used.
  • the tubular tissue shape data acquisition unit 12 thins the three-dimensional image data of the large intestine region acquired as described above to estimate the center line of the large intestine, thereby converting the tree structure data of the large intestine as the large intestine shape data get.
  • thinning processing a known method can be adopted. For example, “Masahiro Yasue, Kensaku Mori, Toyofumi Saito, et al .: Comparison evaluation of thinning method of 3D gray image and its application in medical image .
  • the endoscope path data acquisition unit 13 acquires detection information of the endoscope apparatus 20 in the subject detected by the endoscope path detection apparatus 30, and acquires endoscope path data based on the detection information. To do. Specifically, in the present embodiment, as will be described in detail later, the detection information of the magnetic marker provided in the endoscope apparatus 20 is acquired by the endoscope path detection apparatus 30, but the endoscope path The data acquisition unit 13 acquires line segment structure data obtained by approximating the detection information of the magnetic marker with a spline curve as endoscope path data.
  • the endoscope path data described above is an endoscope shape that represents the shape of the endoscope device 20. It is also data.
  • a so-called capsule endoscope apparatus is used as the endoscope apparatus 20
  • data representing a path through which the capsule endoscope apparatus has passed through the large intestine is acquired as the above-described endoscope path data.
  • the matching unit 14 acquires the colon shape data output from the tubular tissue shape data acquisition unit 12 and the endoscope path data output from the endoscope path data acquisition unit 13, and the acquired colon shape data and endoscope Matching with mirror path data is performed.
  • Matching here refers to the large intestine represented by the three-dimensional image data of the large intestine region acquired in advance before surgery or before examination, and the endoscope apparatus 20 inserted into the subject during surgery or examination. This is a process of aligning with the actual position in the large intestine.
  • the matching candidate points P1, P2, P3,... are set on the endoscope path (line segment structure) with sufficiently fine range intervals of about 5 mm to 1 cm, Matching candidate points P1 ′, P2 ′, P3 ′... Are set at the same range intervals on the large intestine shape (tree structure).
  • the curvature is calculated by using the coordinate values of several matching candidate points before and after the matching candidate point. That is, for example, the curvature of the matching candidate point P4 is calculated using the coordinate values of the matching candidate points P1, P2, P3, P5, P6, and P7 before and after the matching candidate point P4 on the endoscope path. The curvature is calculated for the matching candidate points.
  • the maximum points P max1 , P max2 , P max3 ... Of the matching candidate points as shown in FIG. 3 are calculated using the curvature of each matching candidate point calculated in this way. Then, among the maximum points P max1 , P max2 , P max3 ..., Those that are equal to or greater than a preset threshold value are acquired as matching target points. That is, in the case of FIG. 3, only the maximum points P max1 and P max2 among the maximum points P max1 , P max2 and P max3 are acquired as matching target points.
  • the curvature is calculated in the same manner as described above, and then the maximum point of the matching candidate point is calculated, and the points that are equal to or greater than the threshold among the maximum points are acquired as matching target points. To do.
  • matching is performed by associating the matching target point group of the endoscope path and the matching target point group of the large intestine shape in order from the endoscope insertion positions S and S ′.
  • the maximum point of curvature described above is likely to indicate a point where the endoscope device 20 or the large intestine is bent or a point where other tubular tissue is branched, such as a point where the large intestine is bent. Since it is a portion that hardly moves in the subject, this can be used as a feature amount of the shape of the endoscope device 20 and the large intestine.
  • the length of the endoscope device 20 actually inserted into the subject and the insertion port of the endoscope device 20 in the large intestine shape data may be performed. It is also possible to perform a certain matching in consideration of the relationship with the distance from. Specifically, in consideration of the expansion and contraction of the large intestine, matching may be performed between matching target points existing around 10 cm from the position where the endoscope apparatus 20 is actually inserted.
  • the length in which the endoscope apparatus 20 is actually inserted may be automatically obtained by providing a sensor or the like in the in-vivo insertion portion of the endoscopic apparatus 20, or a scale or the like may be provided in the in-vivo insertion section.
  • the index may be provided, and the value read by the user may be input using the input unit 50.
  • the matching in the matching unit 14 is performed in real time when the path of the insertion unit in the endoscope apparatus 20 in the subject changes. Specifically, it is performed in real time every time the endoscope path increases by a predetermined length set in advance.
  • the matching in the matching unit 14 is not necessarily performed in real time for the entire large intestine shape data and endoscope path data, and when the path of the in-vivo insertion part of the endoscope apparatus 20 in the subject changes, Specifically, when the length of the endoscope path increases, the increase amount may be acquired, and matching may be performed only within the increased range, and matching may not be performed in other ranges. For example, when the distance from the insertion port of the endoscope path is changed from 20 cm to 30 cm, matching is performed only for the range of 20 to 30 cm in the endoscope path, and new matching is performed for the range of 0 to 20 cm. You may make it utilize the matching result until the last time without performing. In this way, matching can be speeded up.
  • the matching method between the endoscope path data and the large intestine shape data is not limited to the method described above, and other known methods can be used.
  • the display control unit 15 receives the three-dimensional image data of the large intestine region acquired by the tubular tissue shape data acquisition unit 12, performs volume rendering or surface rendering on the three-dimensional image data, and performs the three-dimensional image of the entire large intestine.
  • a stereoscopic image is displayed on the monitor 40 by a voxel model or a surface model.
  • the endoscope route data acquired by the endoscope route data acquisition unit 13 is input, and based on the endoscope route data and the matching result in the matching unit 14, the inside of the three-dimensional stereoscopic image of the entire large intestine.
  • the path (shape) image of the endoscope apparatus 20 is displayed on the screen.
  • the display control unit 15 converts the coordinates of the endoscope path data into coordinates on a three-dimensional stereoscopic image based on the matching result in the matching unit 14, and uses the converted coordinates to convert the endoscope A route image of the device 20 is displayed on the monitor 40.
  • the path of the endoscope apparatus 20 is displayed in the three-dimensional stereoscopic image of the entire large intestine.
  • the present invention is not limited to this, and the path of the endoscope apparatus 20 in the cross-sectional image of the large intestine.
  • An image may be displayed.
  • As a cross-sectional image of the large intestine an image of an arbitrary cross section can be adopted, that is, an arbitrary cross section as well as an orthogonal cross section such as an axial cross section, a sagittal cross section, and a coronal cross section can be adopted.
  • all the route images may be projected onto the cross section, or only a portion close to the cross section of the route image is projected onto the cross section. It may be displayed in an easy-to-see manner.
  • the display control unit 15 displays the actual endoscopic image in the large intestine imaged by the endoscope apparatus 20 on the monitor 40.
  • a soft endoscope apparatus such as a bronchoscope, a large intestine endoscope, and a small intestine endoscope, and a capsule endoscope apparatus can be used.
  • a small intestine endoscope what was equipped with the double balloon and the single balloon can be used.
  • a large intestine endoscope apparatus is used.
  • the endoscope device 20 is provided with a configuration corresponding to the configuration of the endoscope path detection device 30.
  • the endoscope path detection device 30 detects the path information of the endoscope apparatus 20 using a magnetic sensor
  • magnetic markers are provided at regular intervals in the insertion part of the endoscope apparatus 20.
  • the endoscope apparatus 20 shall be provided with another structure in order to detect the path
  • the endoscope path detection device 30 detects path information of the endoscope apparatus 20, and specifically includes, for example, the magnetic sensor as described above, and the magnetic field set on the body surface of the subject.
  • the path (shape) information of the endoscope apparatus 20 is detected by detecting a magnetic marker provided in the insertion part of the endoscope apparatus 20 by a sensor.
  • the endoscope path detection device 30 is not limited to the one that detects the endoscope device 20 by the magnetic sensor as described above, and other route information of the endoscope device 20 is detected by an optical sensor. It is good also as what to do.
  • a detection result of an acceleration sensor provided in the capsule endoscope apparatus is received by wireless communication or the like, and based on the reception result, You may make it detect the path
  • the input unit 50 receives a user's input of predetermined information, and is configured by a pointing device such as a keyboard or a mouse.
  • identification information of a subject is input in the input unit 50, and the three-dimensional image data acquisition unit 11 of the endoscopic image diagnosis support apparatus 10 receives three-dimensional image data corresponding to the input identification information of the subject. It is read out and acquired from the 3D image data storage server 60 (S10).
  • the three-dimensional image data acquired by the three-dimensional image data acquisition unit 11 is input to the tubular tissue shape data acquisition unit 12, and the tubular tissue shape data acquisition unit 12 is configured based on the input three-dimensional image data. Is extracted and acquired (S12).
  • the intracorporeal insertion portion of the endoscope apparatus 20 is inserted into the large intestine of the subject, and imaging of the large intestine by the endoscope apparatus 20 is started.
  • information on the path (shape) of the endoscope apparatus 20 is detected by the endoscope path detection apparatus 30, and the detection information is acquired by the endoscope path data acquisition unit 13.
  • the magnetic marker provided in the endoscope apparatus 20 is detected by the magnetic sensor of the endoscope path detection apparatus 30, and the detection information is acquired by the endoscope path data acquisition unit 13.
  • the mirror path data acquisition unit 13 generates and acquires endoscope path data based on the detection information (S14).
  • the large intestine shape data acquired by the tubular tissue shape data acquisition unit 12 and the endoscope path data acquired by the endoscope path data acquisition unit 13 are input to the matching unit 14, and the matching unit 14 Matching is performed using these data (S16).
  • the matching method in the matching unit 14 is as described above.
  • FIG. 5 shows an example of a front view of a three-dimensional stereoscopic image of the entire large intestine
  • FIG. 6 shows an example of a side view of a three-dimensional stereoscopic image of the entire large intestine. The front view shown in FIG. 5 and the side view shown in FIG.
  • the tree structure image represented by the tree structure data described above may be displayed in a superimposed manner on the three-dimensional stereoscopic image of the entire large intestine.
  • FIG. 9 shows an example of a front view of an endoscope path image represented by the endoscope path image data
  • FIG. 10 shows an endoscope path image represented by the endoscope path image data. An example of a side view is shown.
  • FIG. 11 shows an example of a front view in which an endoscope path image is superimposed on a three-dimensional stereoscopic image of the entire large intestine.
  • FIG. 12 shows an endoscope path image in a three-dimensional stereoscopic image of the entire large intestine. An example of the piled side view is shown.
  • the front view shown in FIG. 11 and the side view shown in FIG. 12 may also be displayed side by side, or may be switched and displayed by accepting a user's display switching instruction in the input unit 50.
  • the display control unit 15 displays the endoscope image of the large intestine photographed by the endoscope device 20 together with the above-described three-dimensional stereoscopic image and endoscope path image.
  • the three-dimensional stereoscopic image, the endoscope path image, and the colon image of the large intestine may be displayed side by side, or may be switched and displayed by accepting a user's display switching instruction at the input unit 50. It may be.
  • the endoscopic image diagnosis support system using the first embodiment of the present invention matching between the endoscope path data and the tubular tissue shape data is performed.
  • the position on the three-dimensional image corresponding to the actual distal end position of the endoscope apparatus 20 can be grasped more accurately visually.
  • the actual endoscope apparatus 20 can be located at any position of the triple portion only by the coordinates of the distal end position of the endoscope. It is difficult to grasp whether the tip of the tube is located, but by matching the endoscope path data and the tubular tissue shape data as described above, as shown in FIG. It can be easily grasped that the tip of the endoscope apparatus 20 is located at the portion.
  • the endoscope path image displayed in the three-dimensional stereoscopic image may be switched between display and non-display by receiving a display switching instruction from the user in the input unit 50.
  • FIG. 13 is a block diagram showing a schematic configuration of an endoscopic image diagnosis support system using the second embodiment of the present invention.
  • the endoscopic image diagnosis support system 2 of the second embodiment is different from the endoscopic image diagnosis support system 2 of the first embodiment in that a virtual endoscopic image is displayed. Since the other configuration is the same as that of the endoscope image diagnosis support system 1 of the first embodiment, this difference will be mainly described.
  • An endoscopic image diagnosis support apparatus 70 in the endoscopic image diagnosis support system 2 of the second embodiment further includes a tip position information acquisition unit 16 (with respect to the endoscopic image diagnosis support apparatus 10 of the first embodiment). Tip position information acquisition means) and a virtual endoscope image data acquisition unit 17 (virtual endoscope image data acquisition means).
  • the tip position information acquisition unit 16 acquires, as tip position information, the coordinates of the tip position of the insertion unit of the endoscope apparatus 20 on the coordinates of the three-dimensional stereoscopic image of the large intestine based on the matching result in the matching unit 14. Is.
  • the virtual endoscopic image data acquisition unit 17 receives the three-dimensional image data of the large intestine region acquired by the tubular tissue shape data acquisition unit 12 and the tip position information acquired by the tip position information acquisition unit 16. It is what is done. Then, projection image data by central projection in which the tip position information acquired by the tip position information acquisition unit 16 is used as a viewpoint, and three-dimensional image data on a plurality of lines of sight extending radially from the viewpoint is projected onto a predetermined projection plane. To get.
  • This projection image data is virtual endoscopic image data virtually generated as a result of photographing at the distal end position of the endoscope acquired by the distal end position information acquisition unit 16.
  • a specific method of central projection for example, a known volume rendering method or the like can be used.
  • the angle of view (the range of the line of sight) and the center of the visual field (center of the projection direction) of the virtual endoscopic image data are set in advance by user input or the like.
  • the virtual endoscopic image data acquired as described above is input to the display control unit 15, and the display control unit 15 converts the virtual endoscopic image based on the input virtual endoscopic image data. It is displayed on the monitor 40.
  • the actual endoscope image RI actually captured by the endoscope apparatus 20 and the virtual endoscope image VI may be displayed side by side, or FIG.
  • the virtual endoscopic image VI may be displayed in the display screen of the actually captured real endoscopic image RI.
  • blending display may be performed by superimposing and displaying a virtual endoscopic image that has been subjected to translucent processing on the actual endoscopic image RI.
  • a three-dimensional stereoscopic image and an endoscope path image of the large intestine, and a real endoscopic image RI and a virtual endoscopic image VI of the large intestine are arranged side by side. You may make it display, You may make it switch each display or non-display of each of four images by accepting a user's display switching instruction in the input unit 50.
  • the tip position information of the endoscope on the coordinates of the three-dimensional image data is acquired based on the matching result
  • the tip position Virtual endoscopic image data is acquired based on information and three-dimensional image data, a virtual endoscopic image based on the virtual endoscopic image data, and a real endoscope actually captured by the endoscope Since an image is displayed, a virtual endoscopic image at a position corresponding to the actual distal end position of the endoscope can be displayed, and more accurate navigation can be performed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】予め取得された被検体の３次元画像を用いて内視鏡の先端位置を特定する内視鏡画像診断支援装置において、３次元画像上における内視鏡の先端位置をより正確に特定する。 【解決手段】被検体の３次元画像データを取得する３次元画像データ取得部（１１）と、３次元画像データ取得部（１１）によって取得された３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得部（１２）と、被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得部（１３）と、管状組織形状データと内視鏡経路データとのマッチングを行うマッチング部（１４）とを備える。

Description

内視鏡画像診断支援装置および方法並びにプログラム
　本発明は、予め取得された被検体の３次元画像上における実際の内視鏡の先端位置を特定することができる内視鏡画像診断支援装置および方法並びにプログラムに関するものである。
　近年、患者の大腸、小腸および気管支等の管状組織を内視鏡を用いて観察または処置を行う技術が注目されている。
　しかし、内視鏡画像は、ＣＣＤ（Charge Coupled Device）等の撮像素子により管状組織内部の色や質感が鮮明に表現された画像が得られる一方で、管状組織の内部を２次元の画像に表すものであるため、管状組織内のどの位置を表している画像かを把握することが困難である。
　そこで、ＣＴ（Computed Tomography）装置等のモダリティによる断層撮影で予め得られた３次元画像データを用いて管状組織内の目標とする地点までの経路を予め取得するとともに、上記３次元画像データを用いて実際に内視鏡によって撮影した画像と類似した仮想内視鏡画像を生成し、この仮想内視鏡画像を用いて目標とする地点までの経路をナビゲーションする技術が提案されている（特許文献１、特許文献２参照）。
　そして、上記のような仮想内視鏡画像を表示する際には、実際に管状組織内に挿入された内視鏡の先端位置に対応する３次元画像データ上の位置を特定する必要がある。そこで、たとえば非特許文献１においては、管状組織内における実際の内視鏡の先端位置を特定するために、光学センサや磁気センサを用いることが提案されている。
　また、非特許文献１のように光学センサや磁気センサで内視鏡の位置を特定するために、内視鏡にセンサで検知可能なマーカを設け、このマーカを検出することによってカメラ位置を特定する方法も多く提案されている。
　また、特許文献１から特許文献５においては、体内に挿入された軟性内視鏡がどのような形状になっているかをセンシングする方法が提案されている。
　そして、従来は、たとえば内視鏡の先端位置を磁気センサなどでトラッキングし、術前画像と術中画像との相対位置関係を考慮にいれながら、術中の内視鏡の先端位置と同じと考えられる術前画像の位置を特定し、その特定した位置の仮想内視鏡画像を表示するようにしていた。
特開２００６－１９８０３１号公報 特開２０００－１３５２１５号公報 特開２００６－１４９９７２号公報 特開２００７－００７１８０号公報 特開２００３－２４５２４２号公報 特開２００４－０００５５１号公報 特開２００２－３６９７９０号公報
"斜視内視鏡ナビゲーションのための仮想および実内視鏡像の連動表示システム"、電子情報通信学会技術研究報告．MI，医用画像 103(213)，43-46，2003-07-11
　しかしながら、大腸などの管状組織が術前と術中とで動かないことが前提であれば、上記の方法によって実際の内視鏡の先端位置に対応する位置の仮想内視鏡画像を表示することができるが、大腸のような軟組織は変形を伴うため、しばしば実際の内視鏡の先端位置と仮想内視鏡画像の位置とがずれるという問題が発生していた。
　また、大腸などの管状組織の場合、被検体の前後左右方向に複雑に曲がった形状であり、また被検体の前後方向について２重、３重に折り重なった形状であるため、上記のようなセンシングの技術を用いても内視鏡の先端位置しか特定できないので、術前画像の折り重なった部分などにおいては、実際の内視鏡の先端位置を正確に特定することが非常に困難であった。
　本発明は、上記事情に鑑み、予め取得された被検体の３次元画像上における内視鏡の先端位置をより正確に特定することができる内視鏡画像診断支援装置および方法並びにプログラムを提供することを目的とするものである。
　本発明の内視鏡画像診断支援装置は、被検体の３次元画像データを取得する３次元画像データ取得手段と、３次元画像データ取得手段によって取得された３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得手段と、被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得手段と、管状組織形状データと内視鏡経路データとのマッチングを行うマッチング手段とを備えたことを特徴とする。
　また、上記本発明の内視鏡画像診断支援装置においては、３次元画像データと内視鏡経路データとマッチング手段におけるマッチング結果とに基づいて、被検体内における内視鏡の経路を管状組織の３次元立体画像内に表示する表示制御手段を設けることができる。
　また、３次元画像データと内視鏡経路データとマッチング手段におけるマッチング結果とに基づいて、被検体内における内視鏡の経路を管状組織の断面画像内に表示する表示制御手段を設けることができる。
　また、マッチング手段を、被検体内における内視鏡の経路が変化した場合に、マッチングをリアルタイムに行うものとできる。
　また、マッチング手段を、被検体内における内視鏡の経路が変化した場合に、その形状の変化量を取得し、その変化量を用いてマッチングを行うものとできる。
　また、管状組織形状データ取得部を、管状組織形状データとして木構造データを取得するものとし、マッチング手段を、木構造データを用いてマッチングを行うものとできる。
　また、内視鏡経路データ取得手段を、内視鏡経路データとして線分構造データを取得するものとし、マッチング手段を、線分構造データと木構造データとの曲率極大点同士のマッチングを行うものとできる。
　また、マッチング手段を、被検体における内視鏡の挿入口から被検体内に挿入された内視鏡の先端までの距離情報を取得し、その距離情報を用いてマッチングを行うものとできる。
　また、表示制御手段を、管状組織をサーフェスモデルとして表示するものとできる。
　また、表示制御手段を、管状組織をボクセルモデルとして表示するものとできる。
　また、マッチング手段におけるマッチング結果に基づいて、３次元画像データの座標上での内視鏡の先端位置情報を取得する先端位置情報取得手段と、先端位置情報取得手段によって取得された先端位置情報と３次元画像データとに基づいて、内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データを取得する仮想内視鏡画像データ取得手段と、仮想内視鏡画像データに基づく仮想内視鏡画像と、内視鏡によって実際に撮影された実内視鏡画像とを表示する表示制御手段とを設けることができる。
　また、表示制御手段を、仮想内視鏡画像と実内視鏡画像とを並べて表示するものとできる。
　また、表示制御手段を、実内視鏡画像の表示画面内に仮想内視鏡画像を表示するものとできる。
　また、表示制御手段を、実内視鏡画像と仮想内視鏡画像をブレンディング表示するものとできる。
　また、内視鏡として、気管支鏡、大腸内視鏡、小腸内視鏡またはカプセル内視鏡を用いることができる。
　また、管状組織を気管支、大腸または小腸とすることができる。
　また、３次元画像データとしてＣＴ画像データを用いることができる。
　また、３次元画像データとしてＭＲ画像データを用いることができる。
　本発明の内視鏡画像診断支援方法は、被検体の３次元画像データを取得し、３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得し、被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得し、管状組織形状データと内視鏡経路データとのマッチングを行うことを特徴とする。
　本発明の内視鏡画像診断支援プログラムは、コンピュータを、被検体の３次元画像データを取得する３次元画像データ取得手段と、３次元画像データ取得手段によって取得された３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得手段と、被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得手段と、管状組織形状データと内視鏡経路データとのマッチングを行うマッチング手段として機能させることを特徴とする。
　本発明の内視鏡画像診断支援装置および方法並びにプログラムによれば、被検体の３次元画像データを取得し、その３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得し、かつ被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得し、その取得した管状組織形状データと内視鏡経路データとのマッチングを行うようにしたので、従来は内視鏡の先端位置しか分からなかったものが、内視鏡が通過してきた管状組織内の経路も特定することができ、この経路を表す内視鏡経路データと管状組織形状データとのマッチングを行うことによって、術中における大腸などの軟組織の変形の影響を少なくして、実際の内視鏡の先端位置に対応する３次元画像上の位置をより正確に特定することができる。
　また、上記本発明の内視鏡画像診断支援装置において、３次元画像データと内視鏡経路データとマッチング結果とに基づいて、被検体内における内視鏡の経路を管状組織の３次元立体画像内または断層画像内に表示するようにした場合には、視覚的に内視鏡の正確な先端位置を把握することができる。
　また、被検体内における内視鏡の経路が変化した場合に、その形状の変化量を取得し、その変化量を用いてマッチングを行うようにした場合には、その変化量の範囲でのみマッチングを行うようにできるので、内視鏡経路データ全体についてマッチングを行う場合と比較するとマッチングを高速化することができる。
　また、被検体における内視鏡の挿入口から被検体内に挿入された内視鏡の先端までの距離情報を取得し、その距離情報を用いてマッチングを行うようにした場合には、たとえばその距離情報から所定の範囲についてマッチングを行うようにすれば、明らかに誤ったマッチングを行うことを回避することができる。
　また、マッチング結果に基づいて、３次元画像データの座標上での内視鏡の先端位置情報を取得し、その先端位置情報と３次元画像データとに基づいて、内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データを取得し、その仮想内視鏡画像データに基づく仮想内視鏡画像と、内視鏡によって実際に撮影された実内視鏡画像とを表示するようにした場合には、実際の内視鏡の先端位置に対応する位置の仮想内視鏡画像を表示することができるので、より正確なナビゲーションを行うことができる。
本発明の第１の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図 大腸形状データと内視鏡経路データとのマッチング方法の一例を説明するための図 大腸形状データと内視鏡経路データとのマッチング方法の一例を説明するための図 本発明の第１の実施形態を用いた内視鏡画像診断支援システムの作用を説明するためのフローチャート 大腸全体の３次元立体画像の正面図の一例を示す図 大腸全体の３次元立体画像の側面図の一例を示す図 大腸全体の３次元立体画像の正面図に木構造画像を重ねた画像を示す図 大腸全体の３次元立体画像の側面図に木構造画像を重ねた画像を示す図 内視鏡経路画像データによって表される内視鏡経路画像の正面図の一例を示す図 内視鏡経路画像データによって表される内視鏡経路画像の側面図の一例を示す図 大腸全体の３次元立体画像内に内視鏡経路画像を重ねた正面図の一例を示す図 大腸全体の３次元立体画像内に内視鏡経路画像を重ねた側面図の一例を示す図 本発明の第２の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図 実際に撮影された実内視鏡画像ＲＩと、仮想内視鏡画像ＶＩとを並べて表示する形態の一例を示す図 実際に撮影された実内視鏡画像ＲＩの表示画面内に仮想内視鏡画像ＶＩを表示する形態の一例を示す図
　以下、本発明の内視鏡画像診断支援装置、内視鏡画像診断支援プログラムおよび内視鏡画像診断支援方法の第１の実施形態を用いた内視鏡画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、第１の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図である。
　本内視鏡画像診断支援システム１は、図１に示すように、内視鏡画像診断支援装置１０と、内視鏡装置２０と、内視鏡経路検出装置３０と、モニタ４０と、入力部５０と、３次元画像データ保管サーバ６０とを備えている。
　内視鏡画像診断支援装置１０は、コンピュータに内視鏡画像診断支援プログラムをインストールすることによって構成されたものである。 
　そして、内視鏡画像診断支援装置１０は、中央処理装置（ＣＰＵ）および半導体メモリや上述した内視鏡画像診断支援プログラムがインストールされたハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスなどを備えており、これらのハードウェアによって、図１に示すような３次元画像データ取得部１１（３次元画像データ取得手段）、管状組織形状データ取得部１２（管状組織形状データ取得手段）、内視鏡経路データ取得部１３（内視鏡経路データ取得手段）、マッチング部１４（マッチング手段）および表示制御部１５（表示制御手段）が構成されている。そして、ハードディスクにインストールされた内視鏡画像診断支援プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ動作する。
　３次元画像データ取得部１１は、内視鏡装置２０を用いた手術前または検査前などに予め撮影された被検体の３次元画像データを取得するものである。３次元画像データとしては、たとえばＣＴ装置やＭＲＩ（Magnetic Resonance Imaging）装置などから出力されたスライスデータから再構成されたボリュームデータや、ＭＳ（Multi Slice）ＣＴ装置やコーンビームＣＴ装置から出力されたボリュームデータなどがある。３次元画像データは、３次元画像データ保管サーバ６０に被検体の識別情報とともに予め保管されており、３次元画像データ取得部１１は、入力部５０において入力された被検体の識別情報に対応する３次元画像データを３次元画像データ保管サーバ６０から読み出すものである。
　管状組織形状データ取得部１２は、３次元画像データ取得部１１によって取得された３次元画像データが入力され、その入力された３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得するものである。上記管状組織としては、たとえば大腸、小腸または気管支などがあるが、これに限らずその他の管状組織でもよい。本実施形態においては大腸の形状データを抽出して取得するものとする。
　大腸形状データを抽出する方法としては、具体的には、まず、３次元画像データに基づいて体軸に垂直な断面（軸位断；axial）の軸位断画像データを複数生成し、その各軸位断画像データに対して、公知の手法により、体表を基準に体外と体内領域を分離する処理を行う。たとえば、入力された軸位断画像データに対して二値化処理を施し、輪郭抽出処理により輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。次に、体内領域の軸位断画像データに対して閾値による二値化処理を行い、各軸位断画像データにおける大腸の領域の候補を抽出する。具体的には、大腸の管内には空気が入っているため、空気のＣＴ値に対応する閾値（たとえば、－６００以下）を設定して二値化処理を行い、各軸位断画像データの体内の空気領域を大腸領域候補として抽出する。最後に、各軸位断画像データ間で、抽出された体内の大腸領域候補がつながる部分のみを大腸領域として抽出することによって、大腸領域の３次元画像データを取得する。なお、大腸領域の３次元画像データを取得する方法としては、上記の方法に限らず、その他にもRegion Growing法やLevel Set法など公知な方法を用いるようにしてもよい。
　そして、管状組織形状データ取得部１２は、上記のようにして取得された大腸領域の３次元画像データを細線化させて大腸の中心線を推定することによって大腸の木構造データを大腸形状データとして取得する。なお、細線化処理については、公知な方法を採用することができ、たとえば“安江正宏,森
健策,齋藤豊文,他:3次元濃淡画像の細線化法と医用画像への応用における能力の比較評価.電子情報通信学会論文誌J79‐D‐H(10):1664-1674,1996”や、“齋藤豊文,番正聡志,鳥脇純一郎:ユークリッド距離に基づくスケルトンを用いた3次元細線化手法の改善－ひげの発生を制御できる－手法.電子情報通信学会論文誌(E日刷中),2001”などに記載の方法を用いることができる。
　内視鏡経路データ取得部１３は、内視鏡経路検出装置３０によって検出された被検体内における内視鏡装置２０の検出情報を取得し、この検出情報に基づいて内視鏡経路データを取得するものである。具体的には、本実施形態においては、後で詳述するように内視鏡経路検出装置３０によって内視鏡装置２０に設けられた磁気マーカの検出情報が取得されるが、内視鏡経路データ取得部１３は、その磁気マーカの検出情報をスプライン曲線で近似した線分構造データを内視鏡経路データとして取得するものである。
　なお、本実施形態においては、内視鏡装置２０として大腸を観察するための軟性内視鏡装置を用いるので、上述した内視鏡経路データは内視鏡装置２０の形状を表す内視鏡形状データでもある。なお、内視鏡装置２０としていわゆるカプセル内視鏡装置を用いる場合には、そのカプセル内視鏡装置が大腸内を通過した経路を表すデータが、上述した内視鏡経路データとして取得されるものとする。
　マッチング部１４は、管状組織形状データ取得部１２から出力された大腸形状データと内視鏡経路データ取得部１３から出力された内視鏡経路データを取得し、その取得した大腸形状データと内視鏡経路データとのマッチングを行うものである。ここでいうマッチングとは、手術前または検査前などに予め取得された大腸領域の３次元画像データによって表される大腸と、手術中または検査中において被検体に挿入された内視鏡装置２０の大腸内における実際の位置との位置合わせを行う処理である。
　具体的には、図２に示すように、内視鏡経路（線分構造）上に５ｍｍ～１ｃｍ程度の十分細かい範囲間隔でマッチング候補点Ｐ１，Ｐ２，Ｐ３，・・・を設定するとともに、大腸形状（木構造）上に同様の範囲間隔でマッチング候補点Ｐ１’，Ｐ２’，Ｐ３’・・・を設定する。
　そして、内視鏡経路上の各マッチング候補点について、そのマッチング候補点の前後数点のマッチング候補点の座標値を利用して曲率を算出する。すなわち、たとえば内視鏡経路上のマッチング候補点Ｐ４の前後のマッチング候補点Ｐ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６，Ｐ７の座標値を用いてマッチング候補点Ｐ４の曲率を算出するといったように、各マッチング候補点について曲率を算出する。
　次に、このようにして算出した各マッチング候補点の曲率を用いて、図３に示すようなマッチング候補点の極大点Ｐｍａｘ１，Ｐｍａｘ２，Ｐｍａｘ３・・・を算出する。そして、この極大点Ｐｍａｘ１，Ｐｍａｘ２，Ｐｍａｘ３・・・のうち、予め設定された閾値以上のものをマッチング対象点として取得する。すなわち、図３の場合、極大点Ｐｍａｘ１，Ｐｍａｘ２，Ｐｍａｘ３のうち、極大点Ｐｍａｘ１，Ｐｍａｘ２だけがマッチング対象点として取得される。
　一方、大腸形状上の各マッチング候補点についても、上記と同様にして曲率を算出した後、マッチング候補点の極大点を算出し、その極大点のうちの閾値以上のものをマッチング対象点として取得する。
　そして、内視鏡経路のマッチング対象点群と、大腸形状のマッチング対象点群とを内視鏡挿入位置Ｓ，Ｓ’から順番に対応づけることによってマッチングを行う。上述した曲率の極大点は、内視鏡装置２０や大腸が曲がった点や、その他の管状組織が分岐している点を示している可能性が高く、このような大腸の曲がった点などは被検体内においてほとんど移動しない部分であるため、これを内視鏡装置２０と大腸の形状の特徴量として用いることができる。
　なお、このマッチングにおいて、明らかに誤ったマッチングが行われるのを回避するため、内視鏡装置２０が被検体内に実際に挿入された長さと、大腸形状データにおける内視鏡装置２０の挿入口からの距離との関係も考慮して確からしいマッチングを行うようにしてもよい。具体的には、大腸の伸び縮みを考慮して、内視鏡装置２０が実際に挿入された長さの位置から１０ｃｍ前後に存在するマッチング対象点同士のマッチングを行うようにしてもよい。内視鏡装置２０が実際に挿入された長さについては、内視鏡装置２０の体内挿入部にセンサなどを設けることによって自動的に取得するようにしてもよいし、体内挿入部に目盛などの指標を設け、その目盛を使用者が読み取った値を入力部５０を用いて入力するようにしてもよい。
　また、マッチング部１４におけるマッチングは、被検体内における内視鏡装置２０の体内挿入部の経路が変化した場合にリアルタイムを行われる。具体的には、内視鏡経路が予め設定された所定の長さだけ増加する毎にリアルタイムに行われる。
　また、マッチング部１４におけるマッチングは、必ずしも大腸形状データと内視鏡経路データとの全体についてリアルタイムに行う必要はなく、被検体内における内視鏡装置２０の体内挿入部の経路が変化した場合、具体的には内視鏡経路の長さが増加した場合に、その増加量を取得し、その増加した範囲内でのみマッチングを行い、その他の範囲ではマッチングを行わないようにしてもよい。たとえば内視鏡経路の挿入口からの距離が２０ｃｍから３０ｃｍに変化した場合、内視鏡経路のうちの２０ｃｍ～３０ｃｍの範囲のみについてマッチングを行い、０～２０ｃｍまでの範囲については新たにマッチングを行うことなく前回までのマッチング結果を利用するようにしてもよい。このようにすることによってマッチングを高速化することができる。
　また、内視鏡経路データと大腸形状データとの間のマッチングの方法としては上述した方法に限らず、その他の公知な方法も用いることができる。
　表示制御部１５は、管状組織形状データ取得部１２において取得された大腸領域の３次元画像データが入力され、その３次元画像データに対してボリュームレンダリングやサーフェスレンダリングを施して、大腸全体の３次元立体画像をボクセルモデルまたはサーフェスモデルによってモニタ４０に表示するものである。そして、さらに内視鏡経路データ取得部１３によって取得された内視鏡経路データが入力され、この内視鏡経路データとマッチング部１４におけるマッチング結果とに基づいて、大腸全体の３次元立体画像内に内視鏡装置２０の経路（形状）画像を表示するものである。
　具体的には、表示制御部１５は、マッチング部１４におけるマッチング結果に基づいて、内視鏡経路データの座標を３次元立体画像上の座標に変換し、その変換した座標を用いて内視鏡装置２０の経路画像をモニタ４０に表示する。
　なお、本実施形態においては、大腸全体の３次元立体画像内に内視鏡装置２０の経路を表示するようにしたが、これに限らず、大腸の断面画像内に内視鏡装置２０の経路画像を表示するようにしてもよい。大腸の断面画像としては、任意の断面の画像を採用することができ、すなわちアキシャル断面、サジタル断面、コロナル断面などの直交断面はもちろんのこと、任意のオブリーク断面も採用することができる。また、内視鏡装置２０の経路（形状）画像の表示方法としては、断面に全ての経路画像を射影するようにしてもよいし、経路画像のうちの断面に近い部分のみを断面に射影することによって見易く表示するようにしてもよい。
　また、表示制御部１５は、内視鏡装置２０によって撮影された大腸内の実内視鏡画像をモニタ４０に表示させるものである。
　内視鏡装置２０としては、気管支鏡、大腸内視鏡、小腸内視鏡などの軟性内視鏡装置や、カプセル内視鏡装置を用いることができる。また、小腸内視鏡としては、ダブルバルーンやシングルバルーンを備えたものを用いることができる。なお、本実施形態においては、上述したとおり大腸内視鏡装置を用いるものとする。
　そして、内視鏡装置２０には、内視鏡経路検出装置３０の構成に対応した構成が設けられている。たとえば内視鏡経路検出装置３０が磁気センサを用いて内視鏡装置２０の経路情報を検出するものである場合には、内視鏡装置２０の体内挿入部に一定間隔で磁気マーカが設けられる。なお、この例に限らず、内視鏡装置２０には、内視鏡経路検出装置３０によって内視鏡装置２０の経路情報を検出するためにその他の構成が設けられるものとする。
　内視鏡経路検出装置３０は、内視鏡装置２０の経路情報を検出するものであり、具体的には、たとえば上述したような磁気センサを備え、被検体の体表に設定された上記磁気センサによって内視鏡装置２０の体内挿入部に設けられた磁気マーカを検出することによって内視鏡装置２０の経路（形状）情報を検出するものである。なお、内視鏡経路検出装置３０としては、上述したような磁気センサによって内視鏡装置２０を検出するものに限らず、その他にも光学的なセンサによって内視鏡装置２０の経路情報を検出するものとしてもよい。また、内視鏡装置２０としてカプセル内視鏡装置を用いる場合には、たとえばカプセル内視鏡装置に設けられた加速度センサの検出結果を無線通信などによって受信し、その受信結果に基づいてカプセル内視鏡装置の経路情報を検出するようにしてもよい。
　入力部５０は、使用者の所定の情報の入力を受け付けるものであり、たとえばキーボードやマウスなどのポインティングデバイスによって構成されるものである。
　次に、本発明の第１の実施形態を用いた内視鏡画像診断支援システムの作用について、図４に示すフローチャートを参照しながら説明する。
　まず、入力部５０において被検体の識別情報が入力され、内視鏡画像診断支援装置１０の３次元画像データ取得部１１は、その入力された被検体の識別情報に対応する３次元画像データを３次元画像データ保管サーバ６０から読み出して取得する（Ｓ１０）。
　３次元画像データ取得部１１によって取得された３次元画像データは、管状組織形状データ取得部１２に入力され、管状組織形状データ取得部１２は、入力された３次元画像データに基づいて大腸形状データを抽出して取得する（Ｓ１２）。
　一方、内視鏡装置２０の体内挿入部が被検体の大腸に挿入され、内視鏡装置２０による大腸内の撮影が開始される。そして、このとき内視鏡装置２０の経路（形状）の情報が内視鏡経路検出装置３０によって検出され、その検出情報が内視鏡経路データ取得部１３によって取得される。具体的には、たとえば内視鏡経路検出装置３０の磁気センサによって内視鏡装置２０に設けられた磁気マーカが検出され、その検出情報が内視鏡経路データ取得部１３によって取得され、内視鏡経路データ取得部１３は、上記検出情報に基づいて内視鏡経路データを生成して取得する（Ｓ１４）。
　そして、管状組織形状データ取得部１２によって取得された大腸形状データと、内視鏡経路データ取得部１３によって取得された内視鏡経路データとが、マッチング部１４に入力され、マッチング部１４は、これらのデータを用いてマッチングを行う（Ｓ１６）。マッチング部１４におけるマッチングの方法については上述したとおりである。
　次に、管状組織形状データ取得部１２において取得された大腸領域の３次元画像データが表示制御部１５に入力され、表示制御部１５は、この大腸領域の３次元画像データに対してボリュームレンダリングやサーフェスレンダリングを施して大腸全体の３次元立体画像をモニタ４０に表示させる。図５は、大腸全体の３次元立体画像の正面図の一例を示すものであり、図６は、大腸全体の３次元立体画像の側面図の一例を示すものである。図５に示す正面図と図６に示す側面図とは、並べて表示するようにしてもよいし、入力部５０において使用者による表示切り替え指示を受け付けることによって切り替えて表示するようにしてもよい。また、図７および図８に示すように、大腸全体の３次元立体画像に対して上述した木構造データによって表される木構造画像を重ねて表示するようにしてもよい。
　また、表示制御部１５にはマッチング部１４において取得された内視鏡経路データが入力され、表示制御部１５は、入力された内視鏡経路データに基づいて内視鏡経路画像データを生成する。図９は、内視鏡経路画像データによって表される内視鏡経路画像の正面図の一例を示すものであり、図１０は、内視鏡経路画像データによって表される内視鏡経路画像の側面図の一例を示すものである。
　そして、表示制御部１５は、上記内視鏡経路画像データとマッチング部１４におけるマッチング結果とに基づいて、大腸全体の３次元立体画像内に内視鏡経路画像を重ねて表示する（Ｓ１８）。図１１は、大腸全体の３次元立体画像内に内視鏡経路画像を重ねた正面図の一例を示すものであり、図１２は、大腸全体の３次元立体画像内に内視鏡経路画像を重ねた側面図の一例を示すものである。図１１に示す正面図および図１２に示す側面図についても、並べて表示するようにしてもよいし、入力部５０において使用者の表示切り替え指示を受け付けることによって切り替えて表示するようにしてもよい。
　また、表示制御部１５は、上述した３次元立体画像や内視鏡経路画像とともに、内視鏡装置２０によって撮影された大腸の内視鏡画像も表示する。３次元立体画像および内視鏡経路画像と、大腸の内視鏡画像とについても並べて表示するようにしてもよいし、入力部５０において使用者の表示切り替え指示を受け付けることによって切り替えて表示するようにしてもよい。
　上記本発明の第１の実施形態を用いた内視鏡画像診断支援システムによれば、内視鏡経路データと管状組織形状データとのマッチングを行うようにしたので、術中における大腸などの軟組織の変形の影響を少なくして、実際の内視鏡の先端位置に対応する３次元画像上の位置をより正確に特定することができる。そして、図１１および図１２に示すような画像を表示させることによって、実際の内視鏡装置２０の先端位置に対応する３次元画像上の位置を視覚的により正確に把握することができる。特に、図１１および図１２に示すように大腸が前後方向に３重に折り重なっている場合には、内視鏡の先端位置の座標だけでは３重部分のどの位置に実際の内視鏡装置２０の先端が位置するのか把握しづらいが、上述したように内視鏡経路データと管状組織形状データとのマッチングを行うことによって、図１２に示すように、３重に重なっている部分の真ん中の部分に内視鏡装置２０の先端が位置することを容易に把握することができる。
　また、３次元立体画像内に表示される内視鏡経路画像については、入力部５０において使用者による表示切り替え指示を受け付けることによって表示と非表示とを切り替えるようにしてもよい。
　次に、本発明の第２の実施形態を用いた内視鏡画像診断支援システムについて説明する。図１３は、本発明の第２の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図である。
　第２の実施形態の内視鏡画像診断支援システム２は、第１の実施形態の内視鏡画像診断支援システムとは、仮想内視鏡画像を表示する点で異なるものである。それ以外の構成については第１の実施形態の内視鏡画像診断支援システム１と同様であるのでこの異なる点を中心に説明する。
　第２の実施形態の内視鏡画像診断支援システム２における内視鏡画像診断支援装置７０は、第１の実施形態の内視鏡画像診断支援装置１０に対してさらに先端位置情報取得部１６（先端位置情報取得手段）と仮想内視鏡画像データ取得部１７（仮想内視鏡画像データ取得手段）とを備えたものである。
　先端位置情報取得部１６は、マッチング部１４におけるマッチング結果に基づいて、大腸の３次元立体画像の座標上での内視鏡装置２０の体内挿入部の先端位置の座標を先端位置情報として取得するものである。
　仮想内視鏡画像データ取得部１７は、管状組織形状データ取得部１２において取得された大腸領域の３次元画像データが入力されるとともに、先端位置情報取得部１６によって取得された先端位置情報が入力されるものである。そして、先端位置情報取得部１６によって取得された先端位置情報を視点として、その視点から放射線状に伸ばした複数の視線上の３次元画像データを所定の投影面に投影した中心投影による投影画像データを取得する。この投影画像データは、先端位置情報取得部１６によって取得された内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データとなる。なお、中心投影の具体的な方法としては、たとえば公知のボリュームレンダリング手法等を用いることができる。また、仮想内視鏡画像データの画角（視線の範囲）や視野の中心（投影方向の中心）は、使用者による入力などによって予め設定されているものとする。
　そして、上記のようにして取得された仮想内視鏡画像データは、表示制御部１５に入力され、表示制御部１５は、入力された仮想内視鏡画像データに基づいて仮想内視鏡画像をモニタ４０に表示させる。
　なお、このとき図１４に示すように、内視鏡装置２０によって実際に撮影された実内視鏡画像ＲＩと、仮想内視鏡画像ＶＩとを並べて表示するようにしてもよいし、図１５に示すように、実際に撮影された実内視鏡画像ＲＩの表示画面内に仮想内視鏡画像ＶＩを表示するようにしてもよい。もしくは、実内視鏡画像ＲＩに対して半透明処理を施した仮想内視鏡画像を重ねて表示することによってブレンディング表示するようにしてもよい。
　なお、仮想内視鏡画像ＶＩにおいては、たとえば大腸内の病変部が強調して表示されたり、内視鏡装置２０の体内挿入部が進むべき方向のガイドの表示が行われたりする。
　また、上記第２の実施形態の内視鏡画像診断支援システムにおいて、大腸の３次元立体画像および内視鏡経路画像と、大腸の実内視鏡画像ＲＩおよび仮想内視鏡画像ＶＩとを並べて表示するようにしてもよいし、入力部５０において使用者の表示切り替え指示を受け付けることによって４つの各画像の表示または非表示をそれぞれ切り替えるようにしてもよい。
　上記本発明の第２の実施形態の内視鏡画像診断支援システムによれば、マッチング結果に基づいて、３次元画像データの座標上での内視鏡の先端位置情報を取得し、その先端位置情報と３次元画像データとに基づいて、仮想内視鏡画像データを取得し、その仮想内視鏡画像データに基づく仮想内視鏡画像と、内視鏡によって実際に撮影された実内視鏡画像とを表示するようにしたので、実際の内視鏡の先端位置に対応する位置の仮想内視鏡画像を表示することができ、より正確なナビゲーションを行うことができる。

Claims (21)

  1. 　被検体の３次元画像データを取得する３次元画像データ取得手段と、
    　該３次元画像データ取得手段によって取得された３次元画像データから前記被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得手段と、
    　前記被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得手段と、
    　前記管状組織形状データと前記内視鏡経路データとのマッチングを行うマッチング手段とを備えたことを特徴とする内視鏡画像診断支援装置。
  2. 　前記３次元画像データと前記内視鏡経路データと前記マッチング手段におけるマッチング結果とに基づいて、前記被検体内における内視鏡の経路を前記管状組織の３次元立体画像内に表示する表示制御手段を備えたことを特徴とする請求項１記載の内視鏡画像診断支援装置。
  3. 　前記３次元画像データと前記内視鏡経路データと前記マッチング手段におけるマッチング結果とに基づいて、前記被検体内における内視鏡の経路を前記管状組織の断面画像内に表示する表示制御手段を備えたことを特徴とする請求項１記載の内視鏡画像診断支援装置。
  4. 　前記マッチング手段が、前記被検体内における内視鏡の経路が変化した場合に、前記マッチングをリアルタイムに行うものであることを特徴とする請求項１から３いずれか１項記載の内視鏡画像診断支援装置。
  5. 　前記マッチング手段が、前記被検体内における内視鏡の経路が変化した場合に、該形状の変化量を取得し、該変化量を用いて前記マッチングを行うものであることを特徴とする請求項４記載の内視鏡画像診断支援装置。
  6. 　前記管状組織形状データ取得部が、前記管状組織形状データとして木構造データを取得するものであり、
    　前記マッチング手段が、前記木構造データを用いてマッチングを行うものであることを特徴とする請求項１から５いずれか１項記載の内視鏡画像診断支援装置。
  7. 　前記内視鏡経路データ取得手段が、前記内視鏡経路データとして線分構造データを取得するものであり、
    　前記マッチング手段が、前記線分構造データと前記木構造データとの曲率極大点同士のマッチングを行うものであることを特徴とする請求項６項記載の内視鏡画像診断支援装置。
  8. 　前記マッチング手段が、前記被検体における前記内視鏡の挿入口から前記被検体内に挿入された内視鏡の先端までの距離情報を取得し、該距離情報を用いて前記マッチングを行うものであることを特徴とする請求項１から７いずれか１項記載の内視鏡画像診断支援装置。
  9. 　前記表示制御手段が、前記管状組織をサーフェスモデルとして表示するものであることを特徴とする請求項１から８いずれか１項記載の内視鏡画像診断支援装置。
  10. 　前記表示制御手段が、前記管状組織をボクセルモデルとして表示するものであることを特徴とする請求項１から８いずれか１項記載の内視鏡画像診断支援装置。
  11. 　前記マッチング手段におけるマッチング結果に基づいて、前記３次元画像データの座標上での前記内視鏡の先端位置情報を取得する先端位置情報取得手段と、
    　該先端位置情報取得手段によって取得された先端位置情報と前記３次元画像データとに基づいて、前記内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データを取得する仮想内視鏡画像データ取得手段と、
    　前記仮想内視鏡画像データに基づく仮想内視鏡画像と、前記内視鏡によって実際に撮影された実内視鏡画像とを表示する表示制御手段とを備えたものであることを特徴とする請求項１記載の内視鏡画像診断支援装置。
  12. 　前記マッチング手段におけるマッチング結果に基づいて、前記３次元画像データの座標上での前記内視鏡の先端位置情報を取得する先端位置情報取得手段と、
    　該先端位置情報取得手段によって取得された先端位置情報と前記３次元画像データとに基づいて、前記内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データを取得する仮想内視鏡画像データ取得手段とを備え、
    　前記表示制御手段が、前記仮想内視鏡画像データに基づく仮想内視鏡画像と、前記内視鏡によって実際に撮影された実内視鏡画像とを表示するものであることを特徴とする請求項２または３記載の内視鏡画像診断支援装置。
  13. 　前記表示制御手段が、前記仮想内視鏡画像と前記実内視鏡画像とを並べて表示するものであることを特徴とする請求項１１または１２記載の内視鏡画像診断支援装置。
  14. 　前記表示制御手段が、前記実内視鏡画像の表示画面内に前記仮想内視鏡画像を表示するものであることを特徴とする請求項１１または１２記載の内視鏡画像診断支援装置。
  15. 　前記表示制御手段が、前記実内視鏡画像と前記仮想内視鏡画像をブレンディング表示するものであることを特徴とする請求項１１または１２記載の内視鏡画像診断支援装置。
  16. 　前記内視鏡が、気管支鏡、大腸内視鏡、小腸内視鏡またはカプセル内視鏡であることを特徴とする請求項１から１５いずれか１項記載の内視鏡画像診断支援装置。
  17. 　前記管状組織が、気管支、大腸または小腸であることを特徴とする請求項１から１６記載の内視鏡画像診断支援装置。
  18. 　前記３次元画像データが、ＣＴ画像データであることを特徴とする請求項１から１７いずれか１項記載の内視鏡画像診断支援装置。
  19. 　前記３次元画像データは、ＭＲ画像データであることを特徴とする請求項１から１７いずれか１項記載の内視鏡画像診断支援装置。
  20. 　被検体の３次元画像データを取得し、
    　該３次元画像データから前記被検体内の管状組織の形状を表す管状組織形状データを抽出して取得し、
    　前記被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得し、
    　前記管状組織形状データと前記内視鏡経路データとのマッチングを行うことを特徴とする内視鏡画像診断支援方法。
  21. 　コンピュータを、
    　被検体の３次元画像データを取得する３次元画像データ取得手段と、
    　該３次元画像データ取得手段によって取得された３次元画像データから前記被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得手段と、
    　前記被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得手段と、
    　前記管状組織形状データと前記内視鏡経路データとのマッチングを行うマッチング手段として機能させることを特徴とする内視鏡画像診断支援プログラム。
PCT/JP2013/000184 2012-01-24 2013-01-17 内視鏡画像診断支援装置および方法並びにプログラム WO2013111535A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13741090.8A EP2807972A4 (en) 2012-01-24 2013-01-17 DEVICE, METHOD AND PROGRAM FOR SUPPORTING ENDOSCOPIC IMAGE DIAGNOSIS
US14/337,867 US10085672B2 (en) 2012-01-24 2014-07-22 Diagnostic endoscopic imaging support apparatus and method, and non-transitory computer readable medium on which is recorded diagnostic endoscopic imaging support program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-011865 2012-01-24
JP2012011865A JP5918548B2 (ja) 2012-01-24 2012-01-24 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/337,867 Continuation US10085672B2 (en) 2012-01-24 2014-07-22 Diagnostic endoscopic imaging support apparatus and method, and non-transitory computer readable medium on which is recorded diagnostic endoscopic imaging support program

Publications (1)

Publication Number Publication Date
WO2013111535A1 true WO2013111535A1 (ja) 2013-08-01

Family

ID=48873269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/000184 WO2013111535A1 (ja) 2012-01-24 2013-01-17 内視鏡画像診断支援装置および方法並びにプログラム

Country Status (4)

Country Link
US (1) US10085672B2 (ja)
EP (1) EP2807972A4 (ja)
JP (1) JP5918548B2 (ja)
WO (1) WO2013111535A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170071504A1 (en) * 2015-09-16 2017-03-16 Fujifilm Corporation Endoscope position identifying apparatus, endoscope position identifying method, and recording medium having an endoscope position identifying program recorded therein

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6206869B2 (ja) * 2013-05-28 2017-10-04 国立大学法人名古屋大学 内視鏡観察支援装置
JP2017518147A (ja) 2014-03-28 2017-07-06 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術シーンの定量的三次元撮像
WO2015149046A1 (en) * 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
JP2017517355A (ja) 2014-03-28 2017-06-29 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 定量的３次元イメージング及び手術用インプラントのプリント
CN111184577A (zh) * 2014-03-28 2020-05-22 直观外科手术操作公司 器械在视野中的定量三维可视化
EP3125809B1 (en) 2014-03-28 2020-09-09 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
JP6633383B2 (ja) * 2015-12-17 2020-01-22 株式会社Ａｚｅ 画像診断支援装置及びその制御方法、並びにプログラム及び記憶媒体
JP6671747B2 (ja) * 2015-12-17 2020-03-25 キヤノンメディカルシステムズ株式会社 医用画像処理装置、その制御方法、及びプログラム
DE102016119579B4 (de) * 2016-10-13 2023-08-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Positionsbestimmungsvorrichtung zum Bestimmen einer Position eines Instruments innerhalb einer röhrenförmigen Struktur
JP6820805B2 (ja) 2017-06-30 2021-01-27 富士フイルム株式会社 画像位置合わせ装置、その作動方法およびプログラム
WO2019087969A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 内視鏡システム、報知方法、及びプログラム
BR112020012594A2 (pt) * 2017-12-27 2020-11-24 Ethicon Llc imageamento hiperespectral em um ambiente com deficiência de luz
CN111770716B (zh) * 2018-02-21 2023-12-01 奥林巴斯株式会社 医疗系统和医疗系统的控制方法
EP3758641A4 (en) * 2018-03-01 2021-12-15 Auris Health, Inc. PROCEDURES AND SYSTEMS FOR MAPPING AND NAVIGATION
DE102018108643A1 (de) 2018-04-11 2019-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Positionsbestimmungsvorrichtung zum Bestimmen einer Position eines Gegenstands innerhalb einer tubulären Struktur
CN113164006A (zh) * 2018-12-10 2021-07-23 奥林巴斯株式会社 图像处理装置、图像处理装置的工作方法以及图像处理装置的工作程序
US11266304B2 (en) 2019-06-20 2022-03-08 Cilag Gmbh International Minimizing image sensor input/output in a pulsed hyperspectral imaging system
US11172811B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11986160B2 (en) 2019-06-20 2024-05-21 Cllag GmbH International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system
US11924535B2 (en) 2019-06-20 2024-03-05 Cila GmbH International Controlling integral energy of a laser pulse in a laser mapping imaging system
US11716543B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11700995B2 (en) 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11221414B2 (en) 2019-06-20 2022-01-11 Cilag Gmbh International Laser mapping imaging with fixed pattern noise cancellation
US11102400B2 (en) 2019-06-20 2021-08-24 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
US11141052B2 (en) 2019-06-20 2021-10-12 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11096565B2 (en) 2019-06-20 2021-08-24 Cilag Gmbh International Driving light emissions according to a jitter specification in a hyperspectral, fluorescence, and laser mapping imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11412152B2 (en) 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11457154B2 (en) 2019-06-20 2022-09-27 Cilag Gmbh International Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11516387B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11671691B2 (en) 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US11892403B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11288772B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11012599B2 (en) 2019-06-20 2021-05-18 Ethicon Llc Hyperspectral imaging in a light deficient environment
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11412920B2 (en) 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11172810B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Speckle removal in a pulsed laser mapping imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US12013496B2 (en) 2019-06-20 2024-06-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed laser mapping imaging system
US11294062B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping
US11276148B2 (en) 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11624830B2 (en) 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US11895397B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11187657B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Hyperspectral imaging with fixed pattern noise cancellation
US10979646B2 (en) 2019-06-20 2021-04-13 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11218645B2 (en) 2019-06-20 2022-01-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11432706B2 (en) 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11237270B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11122968B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral imaging
US11622094B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US20200397270A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11187658B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11612309B2 (en) 2019-06-20 2023-03-28 Cilag Gmbh International Hyperspectral videostroboscopy of vocal cords
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US11375886B2 (en) 2019-06-20 2022-07-05 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for laser mapping imaging
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11674848B2 (en) 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11134832B2 (en) 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11265491B2 (en) 2019-06-20 2022-03-01 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11280737B2 (en) 2019-06-20 2022-03-22 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11233960B2 (en) 2019-06-20 2022-01-25 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11589819B2 (en) 2019-06-20 2023-02-28 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a laser mapping imaging system
JP2021141969A (ja) * 2020-03-10 2021-09-24 独立行政法人国立病院機構 内視鏡装置
KR102637484B1 (ko) * 2021-10-26 2024-02-16 주식회사 카이미 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000135215A (ja) 1998-10-30 2000-05-16 Ge Yokogawa Medical Systems Ltd 管路案内方法および装置並びに放射線断層撮影装置
JP2002369790A (ja) 2002-04-04 2002-12-24 Olympus Optical Co Ltd 内視鏡形状検出システム
JP2003245242A (ja) 2002-02-22 2003-09-02 Olympus Optical Co Ltd 内視鏡形状検出装置
JP2004000551A (ja) 1994-08-18 2004-01-08 Olympus Corp 内視鏡形状検出装置
JP2005503882A (ja) * 2001-10-02 2005-02-10 ネオガイド システムズ， インコーポレイテッド 操縦可能なセグメント化内視鏡および挿入法
JP2005304937A (ja) * 2004-04-23 2005-11-04 Olympus Corp 挿入支援システム
JP2006149972A (ja) 2004-12-01 2006-06-15 Olympus Corp 内視鏡挿入形状検出装置
JP2006198031A (ja) 2005-01-18 2006-08-03 Olympus Corp 手術支援システム
JP2007007180A (ja) 2005-06-30 2007-01-18 Olympus Medical Systems Corp 内視鏡挿入形状観測装置
JP2010517632A (ja) * 2007-01-31 2010-05-27 ザ ペン ステイト リサーチ ファンデーション 内視鏡の継続的案内のためのシステム
JP2010172350A (ja) * 2009-01-27 2010-08-12 Sendai City Medical Center 術具挿入支援システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6468203B2 (en) 2000-04-03 2002-10-22 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
US7224827B2 (en) * 2002-09-27 2007-05-29 The Board Of Trustees Of The Leland Stanford Junior University Method for matching and registering medical image data
EP2189107A3 (en) 2003-10-31 2010-09-15 Olympus Corporation Insertion support system
US8069420B2 (en) * 2004-12-29 2011-11-29 Karl Storz Endoscopy-America, Inc. System for controlling the communication of medical imaging data
CN101055620B (zh) * 2006-04-12 2011-04-06 富士通株式会社 形状比较装置和方法
US8219179B2 (en) * 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
CN102378594B (zh) * 2009-04-03 2015-09-02 皇家飞利浦电子股份有限公司 用于将传感器位置与图像位置相关联的系统和方法
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
US20130303887A1 (en) * 2010-08-20 2013-11-14 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation
US20130046137A1 (en) * 2011-08-15 2013-02-21 Intuitive Surgical Operations, Inc. Surgical instrument and method with multiple image capture sensors

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004000551A (ja) 1994-08-18 2004-01-08 Olympus Corp 内視鏡形状検出装置
JP2000135215A (ja) 1998-10-30 2000-05-16 Ge Yokogawa Medical Systems Ltd 管路案内方法および装置並びに放射線断層撮影装置
JP2005503882A (ja) * 2001-10-02 2005-02-10 ネオガイド システムズ， インコーポレイテッド 操縦可能なセグメント化内視鏡および挿入法
JP2003245242A (ja) 2002-02-22 2003-09-02 Olympus Optical Co Ltd 内視鏡形状検出装置
JP2002369790A (ja) 2002-04-04 2002-12-24 Olympus Optical Co Ltd 内視鏡形状検出システム
JP2005304937A (ja) * 2004-04-23 2005-11-04 Olympus Corp 挿入支援システム
JP2006149972A (ja) 2004-12-01 2006-06-15 Olympus Corp 内視鏡挿入形状検出装置
JP2006198031A (ja) 2005-01-18 2006-08-03 Olympus Corp 手術支援システム
JP2007007180A (ja) 2005-06-30 2007-01-18 Olympus Medical Systems Corp 内視鏡挿入形状観測装置
JP2010517632A (ja) * 2007-01-31 2010-05-27 ザ ペン ステイト リサーチ ファンデーション 内視鏡の継続的案内のためのシステム
JP2010172350A (ja) * 2009-01-27 2010-08-12 Sendai City Medical Center 術具挿入支援システム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
M. YASUE ET AL.: "Thinning Algorithms for Three-Dimensional Gray Images and Their Application to Medical Images with Comparative Evaluation of Performance", JOURNAL OF IEICE, 1996, pages 1664 - 1674
See also references of EP2807972A4
T. SAITO ET AL.: "An improvement of Three Dimensional Thinning Method Using a Skeleton Based on the Euclidean Distance Transformation : A Method to Control Spurious Branches", JOURNAL OF IEICE, 2001
T. YAMAGUCHI ET AL.: "Oblique-viewing Endoscopic Navigation System with Simultaneous Display of Virtual and Real Endoscopic Images", TECHNICAL REPORT OF IEICE, MI, MEDICAL IMAGE, vol. 103, no. 213, 2003, pages 43 - 46

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170071504A1 (en) * 2015-09-16 2017-03-16 Fujifilm Corporation Endoscope position identifying apparatus, endoscope position identifying method, and recording medium having an endoscope position identifying program recorded therein
JP2017055954A (ja) * 2015-09-16 2017-03-23 富士フイルム株式会社 内視鏡位置特定装置、方法およびプログラム
US10561338B2 (en) * 2015-09-16 2020-02-18 Fujifilm Corporation Endoscope position identifying apparatus, endoscope position identifying method, and recording medium having an endoscope position identifying program recorded therein

Also Published As

Publication number Publication date
US20140336501A1 (en) 2014-11-13
EP2807972A1 (en) 2014-12-03
EP2807972A4 (en) 2015-11-11
JP5918548B2 (ja) 2016-05-18
JP2013150650A (ja) 2013-08-08
US10085672B2 (en) 2018-10-02

Similar Documents

Publication Publication Date Title
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
US8248414B2 (en) Multi-dimensional navigation of endoscopic video
US7945310B2 (en) Surgical instrument path computation and display for endoluminal surgery
US7824328B2 (en) Method and apparatus for tracking a surgical instrument during surgery
US8248413B2 (en) Visual navigation system for endoscopic surgery
US8894566B2 (en) Endoscope system
JP5369078B2 (ja) 医用画像処理装置および方法、並びにプログラム
US20080071141A1 (en) Method and apparatus for measuring attributes of an anatomical feature during a medical procedure
JP6049202B2 (ja) 画像処理装置、方法、及びプログラム
JP5947707B2 (ja) 仮想内視鏡画像表示装置および方法並びにプログラム
JP2011212301A (ja) 投影画像生成装置および方法、並びにプログラム
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP2007260144A (ja) 医療用画像処理装置及び医療用画像処理方法
JP5785120B2 (ja) 医用画像診断支援装置および方法並びにプログラム
WO2012014438A1 (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
JP5934070B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
US9501709B2 (en) Medical image processing apparatus
JP4981335B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP5554028B2 (ja) 医用画像処理装置、医用画像処理プログラム、及びｘ線ｃｔ装置
CN115245303A (zh) 一种用于内窥镜三维导航的图像融合系统和方法
US9558589B2 (en) Medical image display apparatus, method, and program
JP6026357B2 (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
JP2007236630A (ja) 医療用画像処理装置及び医療用画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13741090

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2013741090

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013741090

Country of ref document: EP