WO2012108085A1 - 医療機器 - Google Patents

医療機器 Download PDF

Info

Publication number
WO2012108085A1
WO2012108085A1 PCT/JP2011/076510 JP2011076510W WO2012108085A1 WO 2012108085 A1 WO2012108085 A1 WO 2012108085A1 JP 2011076510 W JP2011076510 W JP 2011076510W WO 2012108085 A1 WO2012108085 A1 WO 2012108085A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical device
position information
similarity
image
mode
Prior art date
Application number
PCT/JP2011/076510
Other languages
English (en)
French (fr)
Inventor
誠一 伊藤
大西　順一
秋本　俊也
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to JP2012535532A priority Critical patent/JPWO2012108085A1/ja
Publication of WO2012108085A1 publication Critical patent/WO2012108085A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/488—Diagnostic techniques involving pre-scan acquisition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound

Definitions

  • the present invention relates to a medical device including an insertion portion in which a distal end portion is inserted to a desired position through a lumen in a body of a subject.
  • a three-dimensional image of a lumen for example, a bronchus of a lung, is formed from the three-dimensional image data of a subject 7 obtained by a CT apparatus or the like, and a route to a target point along the lumen on the three-dimensional image
  • an insertion navigation system that generates and displays a virtual endoscopic image of a lumen based on three-dimensional image data is disclosed.
  • Japanese Unexamined Patent Application Publication No. 2009-279250 discloses position information based on a CT coordinate system calculated from the viewpoint position of a virtual endoscopic image similar to an endoscopic image, and sensor coordinates detected by a position sensor.
  • a medical device for associating position information based on a system is disclosed.
  • An object of the medical device according to the embodiment of the present invention is to provide a medical device that satisfies both processing speed and processing accuracy.
  • the medical device includes a distal end portion in which an imaging unit that captures an endoscopic image is disposed in a body cavity of a subject and a channel opening of a channel into which the inside is inserted is formed.
  • An insertion means ; a storage means for storing three-dimensional image data based on the first coordinate system of the subject acquired in advance; and a position and direction based on the first coordinate system based on the three-dimensional image data; Virtual endoscopic image generation means for generating a plurality of virtual endoscopic images using the first position information consisting of rotation angles as a line-of-sight parameter, one virtual endoscopic image, and the endoscopic image Similarity calculation means for calculating the similarity, determination means for making a determination based on the similarity, and the first position of the one virtual endoscopic image according to the determination result of the determination means
  • Information imaging means A position setting means for setting position information; and a medical instrument protruding from the channel opening, having position information acquisition means for acquiring second position information consisting of the position, direction and
  • the medical device 1 As shown in FIG. 1, the medical device 1 according to the present embodiment has a distal end portion 31 reaching a desired position in the vicinity of the target site 6 via a bronchus 9 that is a lumen of a subject 7 as a subject.
  • a channel 32 that passes through the inside of the insertion portion 30 is disposed, and an elongated treatment instrument 8 that is a medical instrument inserted into the channel 32 from the treatment instrument insertion port 33 is formed in a channel opening 34 formed in the distal end portion 31. Projecting from (see FIG. 5), the tissue of the target site 6 is punctured.
  • the medical device 1 includes an endoscope 2, a main body unit 3, a display unit 4 that is a display unit, and an input unit 5 that is an input unit.
  • An imaging unit 35 that is an imaging unit and a sensor 21 that is a position information acquisition unit are disposed at the distal end portion 31 of the insertion unit 30 of the endoscope 2. The surgeon operates the position and direction of the distal end portion 31 and the rotation angle with the endoscope operation unit 36.
  • the display unit 4 displays a navigation screen that supports the operator's insertion operation.
  • the input unit 5 is a mouse / keyboard or the like through which an operator inputs instruction information to the medical device 1.
  • the main unit 3 includes a control unit 10, an endoscope image processing unit 11, a mode switching unit 16 serving as a mode switching unit, and a virtual endoscopic image (Virtual Bronchus Scope image: hereinafter referred to as “VBS image”).
  • An expression calculation unit 12 a storage unit 15 that is a storage unit, a navigation screen generation unit 17, a viewpoint position setting unit 19 that is a position setting unit, and a tip position calculation unit 20 are provided.
  • the control unit 10 controls the entire navigation process.
  • the endoscopic image processing unit 11 processes an endoscopic image (hereinafter also referred to as “live image”) captured by the imaging unit 35.
  • the storage unit 15 captures and stores the three-dimensional image data of the region including the bronchus 9 of the subject 7 acquired in advance by a known CT apparatus or the like (not shown).
  • the VBS image generation unit 13 generates a VBS image based on the three-dimensional image data.
  • the coordinate system of the three-dimensional image data is referred to as a first coordinate system (hereinafter referred to as “CT coordinate system”), and the VBS image includes first position information (hereinafter referred to as “CT coordinate system”) including position, direction, and rotation angle in the CT coordinate system.
  • CT coordinate system first coordinate system
  • Viewpoint position information is generated as a line-of-sight parameter.
  • the similarity calculation unit 14 calculates the similarity between the VBS image and the live image.
  • the determination unit 18 performs determination based on the similarity calculated by the similarity calculation unit 14.
  • the viewpoint position setting unit 19 sets the first position information (viewpoint position information) of the VBS image as the position information (position, direction, and rotation angle) of the imaging unit 35 according to the determination result of the determination unit 18.
  • the position calculation unit 20 detects the magnetic field from the plurality of antennas 22 that generate a magnetic field disposed outside the subject 7, so that the distal end portion of the treatment instrument 8 in which the sensor 21 is disposed. Second position information (hereinafter referred to as “tip position information”) is calculated.
  • the tip position calculation unit 20 may detect a magnetic field from a magnetic field generation unit provided at the tip 31 by a magnetic field sensor provided outside.
  • the tip position information acquisition method is not limited to a method using a magnetic field or radio waves.
  • the tip position information may be acquired by an optical method, a motion sensor method combining acceleration / geomagnetic / angular velocity, a strain sensor method, a rotary encoder method, or a method combining the methods.
  • the tip position information calculated by the tip position calculation unit 20 is based on a second coordinate system different from the CT coordinate system (hereinafter referred to as “endoscopic coordinate system”).
  • the coordinate conversion formula calculation unit 12 performs an association process between the CT coordinate system and the endoscope coordinate system, that is, a calculation process of the coordinate conversion formula, using the viewpoint position information and the tip position information according to the determination result of the determination unit 18. Do.
  • the position of the target region 6 is set using three-dimensional image data in the CT coordinate system.
  • the position information of the treatment instrument 8 is based on the endoscope coordinate system. For this reason, a coordinate conversion formula for converting the position information of the treatment instrument 8 into the CT coordinate system is necessary.
  • the mode switching unit 16 switches the navigation mode for supporting the surgeon's treatment from the first mode to the second mode.
  • the medical device 1 In the first mode, the medical device 1 provides support for inserting the distal end portion 31 to the vicinity of the target site 6.
  • the medical device 1 In the second mode, the medical device 1 provides support for puncturing the target site 6 with the treatment tool 8 protruding from the distal end portion 31.
  • the similarity calculation process / determination process between the VBS image and the live image in the first mode in other words, the matching process is performed to indicate the lumen that reaches the target site 6 at the bifurcation of the bronchus 9. Is called.
  • the matching process in the second mode is for calculating a highly accurate coordinate conversion formula.
  • the processing speed is important in the matching process in the first mode, and the processing accuracy is important in the matching process in the second mode.
  • the medical device 1 can satisfy both the processing speed in the first mode and the processing accuracy in the second mode because the mode switching unit 16 switches the mode.
  • the surgeon sets the target region 6 based on the image based on the three-dimensional image data of the bronchi 9 displayed on the display unit 4.
  • VBS image generation unit 13 generates a plurality of VBS images along the insertion path.
  • the VBS image generation unit 13 When generating a VBS image from three-dimensional image data, the VBS image generation unit 13 generates VBS images from a number of different line-of-sight positions by changing six line-of-sight parameters.
  • the line-of-sight parameter is 6-dimensional data including a position and orientation, that is, a position (x, y, z), and a direction and angle ( ⁇ x, ⁇ y, ⁇ z).
  • the VBS image generation unit 13 preferably generates a large number of VBS images, and may further generate a VBS image with a line-of-sight parameter deviating from the insertion path.
  • the generated VBS image is stored in the VBS image generation unit 13, the storage unit 15, the VBS image storage unit (not shown) or the like together with the respective line-of-sight parameters.
  • Step S ⁇ Step S ⁇ b>13> Live Image Acquisition
  • the distal end portion 31 of the insertion portion 30 is inserted into the bronchus 9 of the subject 7. Then, a live image in the bronchus imaged by the imaging unit 35 disposed at the distal end portion 31 is displayed on the display unit 4.
  • Steps S14 and S15 VBS image selection and similarity calculation Since the bronchus 9 has a branch portion J, the operator needs to select a lumen that reaches the target site 6 at each branch portion. In the medical device 1, when the distal end portion 31 reaches the vicinity of the branch portion, the similarity calculation unit 14 calculates the similarity between the one VBS image stored in the storage unit 15 and the live image.
  • the matching process between the live image and the VBS image is performed for each frame of the live image. That is, the matching process is performed based on the similarity between the static endoscope image and the VBS image.
  • the static endoscope image (live image) for which the degree of similarity with the VBS image is calculated is, for example, a still image determined by the operator by pressing the freeze switch.
  • a live image of a branching section suitable for similarity calculation may be automatically selected by an image recognition method or the like.
  • the image similarity is performed by known image processing, and either pixel data level matching or matching at the feature level extracted from the image may be used.
  • Step S16> Determination The determination unit 18 performs determination based on the similarity. That is, the determination unit 18 compares the similarity calculated by the similarity calculation unit 14 with the first threshold value. When the similarity is equal to or greater than the first threshold value, the determination unit 18 determines “OK” and the similarity is the first threshold value. If it is less than the threshold value of 1, it is determined as “NG”.
  • the VBS image generation unit 13 may generate a new VBS image by changing the line-of-sight parameter based on the VBS image having a relatively high degree of similarity. .
  • the viewpoint position setting unit 19 sets the first position information of the virtual endoscopic image as the position information (viewpoint position information) of the imaging unit 35. That is, the position, direction, and rotation angle of the tip 31 in the CT coordinate system are set.
  • the navigation screen 4P1 shown in FIG. 4 is generated.
  • the navigation screen 4P1 includes a live image, a VBS image, a thumbnail image that is a reduced VBS image of the bronchus in the insertion path, for example, four branch portions J1 to J4, and character information indicating the current branch portion. It is displayed.
  • an image whose display frame is displayed thick in the thumbnail image indicates a reduced image of the current VBS image being displayed.
  • the thumbnail images are displayed in a line. However, when the number of branch parts is large, the thumbnail images may be displayed in two or more lines.
  • the tip 31 Since the position in the CT coordinate system is set by the viewpoint position setting unit 19, it is known where the tip 31 is located in the insertion path set in the same CT coordinate system. For this reason, a route mark 37 indicating the insertion path to the target site 6 is superimposed on the VBS image. That is, the hole on which the route mark 37 is displayed is a lumen that reaches the target site 6.
  • the surgeon can reach the target portion 6 without error by inserting the distal end portion 31 into the lumen indicated by the route mark 37 displayed on the navigation screen 4P1.
  • Step S19> Mode Switching As shown in FIG. 5, when the distal end portion 31 is inserted to the vicinity of the target site 6, as a pre-process for performing biopsy of the target site 6 with the treatment tool 8, a coordinate conversion formula calculation is performed. Processing by the unit 12 is performed.
  • the navigation mode from S13 to S18 already described is the first mode that is initially set to support the insertion of the distal end portion 31 to the vicinity of the target portion 6. For this reason, in order to perform support for puncturing the target site 6 with the treatment tool 8 protruding from the distal end portion 31, the mode switching unit 16 switches the navigation mode to the second mode.
  • the mode switching unit 16 detects the protrusion of the treatment instrument 8 from the channel opening 34 and switches the mode. That is, as shown in FIG. 6, the mode switching unit 16 uses the channel opening 34 of the treatment instrument 8 based on the endoscopic image in which the treatment instrument image 8P that is an image of the treatment instrument 8 is included in a predetermined length L or more. Detects protrusions.
  • surgeon may input instruction information to the mode switching unit 16 via the input unit 5.
  • the mode switching unit 16 may switch the navigation mode from the second mode to the first mode. At that time, the navigation in the first mode is resumed with the CT coordinate system information calculated in the second mode as the initial value.
  • the storage of the treatment instrument 8 may be detected by image processing of an endoscopic image, or an operator may input instruction information to the mode switching unit 16 via the input unit 5.
  • FIG. 6 shows an example in which a route line 38 indicating an insertion route is superimposed on the live image. That is, various display methods can be used to show the insertion path on the navigation screen.
  • the processing speed is important, and in the matching process in the second mode, the processing accuracy is important. That is, in the first mode, it is sufficient if the correct direction (lumen) can be determined and the insertion path can be displayed at the bifurcation. In the first mode, it is necessary to perform a matching process at each branch section. On the other hand, in the second mode, the treatment tool 8 cannot be accurately punctured into the target site 6 unless the accuracy of the coordinate conversion formula is high. In the second mode, it is only necessary to perform the matching process at least once.
  • the second threshold value of the similarity that is a reference for the determination unit 18 to perform determination may be set higher than the first threshold value in the first mode. preferable.
  • the first threshold is 60% and the second threshold is 80%.
  • the first threshold value and the second threshold value can be changed / set as appropriate. That is, a high threshold means that the judgment becomes severe.
  • Steps S20 to S24> As in the first mode (S13 to S16) already described, the second position information (tip position information) when the live image is acquired in S21 (S20) is acquired.
  • the matching process is performed with higher accuracy in the second mode than in the first mode.
  • the VBS image generation unit 13 changes the line-of-sight parameter and newly generates a VBS image. That is, the VBS image generation unit 13 generates a VBS image having a higher similarity by gradually changing the line-of-sight parameter of the VBS image having the highest similarity, thereby generating a VBS having a similarity that satisfies the second threshold. An image is obtained.
  • a LIVE image and a VBS image are displayed on the navigation screen 4P2 in addition to the similarity.
  • the display of the similarity may be a digital display using numbers as shown in FIG. 7 or a graphic display using a bar graph or the like as shown in FIG. In the bar graph shown in FIG. 8, the center bar indicates the similarity and the surrounding thresholds indicate the second threshold.
  • the determination result or the like may be displayed on the navigation screen without displaying the similarity. For example, a display mark whose display color changes is used, and yellow is displayed during determination, green is displayed when the determination result is “OK”, and red is displayed when the determination result is “NG”. Further, the various display methods described above may be used in combination or may be switched.
  • buttons 51 and 52 for inputting instruction information via the input unit 5 such as a mouse are displayed.
  • the button mark 51 is a switch for instructing the determination unit 18 to perform “OK” determination
  • the button mark 52 is a switch for instructing to perform “NG” determination.
  • the determination unit 18 makes a determination based on the similarity, but may make an incorrect determination. That is, the determination automatically performed by the determination unit 18 may be different from the determination based on the experience of the operator.
  • the determination unit 18 may automatically perform the determination. Further, the determination may be left to the operator without displaying the similarity only by displaying the LIVE image and the VBS image on the navigation screen. Further, a translucent VBS image may be displayed superimposed on the LIVE image on the navigation screen.
  • the determination unit 18 determines whether the surgeon inputs via the button marks 51 and 52 while viewing the navigation screen 4P4 in which the LIVE image and the VBS image are displayed side by side. A determination may be made.
  • a plurality of VBS images having a predetermined similarity or higher are displayed side by side on the navigation screen 4P5, and a pointer 39 on the screen is selected with the mouse from the VBS images. May be selectable.
  • the input means for inputting the instruction information to the determination unit 18 is not limited to the mouse for selecting the button marks 51 and 52 displayed on the navigation screen 4P3 or the like shown in FIG.
  • the input means may be a switch disposed in the operation unit of the endoscope 2 or a foot switch operated by a surgeon with a foot.
  • Step S25> When the matching process is completed, that is, when the determination result of the determination unit 18 is “OK”, the coordinate conversion equation calculation unit 12 obtains the first position information (viewpoint position information) and the second position information (tip position information). Using this, an association process between the first coordinate system (CT coordinate system) and the second coordinate system (endoscopic coordinate system), that is, a process for calculating a coordinate conversion formula is performed.
  • the tip position information is the position information of the sensor 21 disposed at the tip of the treatment instrument 8.
  • the relative positional relationship between the position of the sensor 21 and the position of the imaging unit 35 is known. Therefore, the coordinate conversion formula calculation unit 12 can calculate a coordinate conversion formula for converting the position information of the distal end portion of the treatment instrument 8 in the endoscope coordinate system into the CT coordinate system.
  • a coordinate conversion formula having a function of further converting the position of the sensor 21 (endoscope position) to the tip position (treatment instrument position) may be calculated.
  • Step S26> Using the coordinate conversion formula obtained in step S25, the position information acquired in the endoscope coordinate system is converted into the CT coordinate system, and a VBS image corresponding to the current position of the treatment instrument is displayed.
  • the correspondence between the position of the target site 6 and the position of the treatment tool 8 in the CT coordinate system becomes clear. For this reason, even if the target site 6 is in a position where it cannot be confirmed by the endoscopic image, the surgeon can perform an appropriate treatment using the treatment tool 8 based on the image of the target site 6 displayed in the VBS image. it can.
  • the medical device 1 can satisfy both the processing speed and the processing accuracy.
  • Each of the medical devices 1A to 1C acquires position information according to a respiratory state and displays a VBS image.
  • each of the medical devices 1A to 1C has a characteristic in each method for acquiring a live image (static endoscope image) that is a comparison target of the VBS image. There is.
  • the medical device 1A uses the first position information obtained when an endoscope image in which the respiration state of the subject 7 is in the same state as the state at the time of acquisition of the three-dimensional image data is used, and the coordinate conversion formula calculation unit 12 performs processing. Then, the medical device 1B uses the first position information when the subject 7 has the heartbeat state the same as the state at the time of acquisition of the three-dimensional image data, and uses the coordinate conversion formula. The calculation unit 12 performs processing.
  • the state of the bronchus 9 changes depending on the respiratory state / heartbeat state of the subject 7. That is, since the lungs swell in the inhaled state, the bronchi 9 also expands. In the exhaust state, the lungs contract, so the bronchi also contract. The bronchi 9 vibrates according to the heartbeat.
  • the medical device 1A of the first modification is in the inhalation state when acquiring the three-dimensional image data by the CT apparatus, the medical device 1A acquires an endoscope image used for the matching process in the inhalation state.
  • the medical device 1B of Modification 2 acquires an endoscopic image used for the matching process when the heartbeat state is the same as the heartbeat state when the three-dimensional image data is acquired by the CT apparatus.
  • the medical device 1A has means for detecting a known respiratory state
  • the medical device 1B has means for detecting a known heartbeat state.
  • the coordinate conversion equation calculation unit is used by using the first position information when the endoscope image of the subject 7 whose respiratory state and heartbeat state are the same as the state at the time of acquisition of the three-dimensional image data is captured. 12 may perform processing.
  • the medical devices 1A and 1B have the same effect as the medical device 1 and can be completed in a short time because the matching process is easy.
  • the imaging unit 35 moves greatly due to a large movement of the subject 7, the endoscopic image may become unclear.
  • the moving speed of the imaging unit 35 can be acquired by the sensor 21 as the changing speed of the tip position information.
  • the medical device 1 ⁇ / b> C has the same effect as the medical device 1, and can perform the matching process using an endoscopic image captured in a more stable state, so that the process can be completed in a short time.
  • the medical device 1D uses the first position information (viewpoint position information) when the coordinate conversion formula calculation unit 12 captures an endoscopic image whose image information amount for calculating the degree of similarity is a predetermined value or more. Process.
  • the information amount of the image can be determined by the data amount when the feature is extracted, for example.
  • the coordinate conversion formula calculation unit 12 performs processing using an endoscopic image whose information amount is a predetermined value or more.
  • the medical device 1D has the same effect as the medical device 1, and can calculate a coordinate conversion formula with higher accuracy.
  • the state of the bronchus 9 changes depending on the respiratory state, the heartbeat state, and the like when the distal end portion 31 is moving, and of course, when it is stationary. For this reason, the acquired endoscopic image changes.
  • the imaging unit 35 acquires a plurality of endoscopic images at predetermined time intervals. Then, the similarity calculation unit 14 calculates the similarity between each endoscopic image and each VBS image that is similar. Then, the coordinate conversion formula calculation unit 12 performs processing using the position information of the image having the maximum similarity.
  • a plurality of endoscopic images and VBS images similar to the respective endoscopic images are displayed on the navigation screen 4P6 with similarities.
  • the upper left images have the highest similarity, and the processing is performed using the position information of these images.
  • an image may be selected by operating the pointer 39 displayed on the navigation screen 4P6 with a mouse or the like.
  • the medical device 1E has the same effect as the medical device 1, and can calculate a coordinate conversion formula with higher accuracy.
  • the medical device 1F of the second embodiment will be described. Since the medical device 1F is similar to the medical device 1, the same components are denoted by the same reference numerals and description thereof is omitted.
  • the distal end portion 31 of the endoscope 2 is also provided with a sensor 23 that is a third position information acquisition unit.
  • the sensor 23 has the same function as the sensor 21. That is, in the medical device 1F, the insertion unit 30 includes, at the distal end portion 31, third position information acquisition means for acquiring third position information including the position, direction, and rotation angle in the second coordinate system.
  • the distal end position calculation unit 20F calculates not only the position information of the distal end portion of the treatment instrument 8 but also the position information of the distal end portion 31 of the endoscope 2 based on the endoscope coordinate system.
  • the coordinate conversion formula calculation unit 12F calculates a coordinate conversion formula based on the position information of the sensor 23 and the viewpoint position information. That is, the coordinate conversion formula calculation unit 12F first calculates a coordinate conversion formula for converting the position information of the sensor 23 in the endoscope coordinate system into the CT coordinate system.
  • the position information of the distal end portion of the treatment instrument 8 is calculated based on the position information of the sensor 23.
  • the medical device 1F is based on the positional relationship between the sensor 23 and the imaging unit 35 whose positional relationship is always fixed. For this reason, the medical device 1F has the effect which the medical device 1 has, and can calculate a coordinate conversion formula with higher accuracy.
  • the same configurations / functions as the modified examples 1A to 1E of the first embodiment described above may be added.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pulmonology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

　医療機器１は、撮像部３５が配設されている先端部３１を有する挿入部３０と、第１の座標系にもとづく３次元画像データを記憶する記憶部１５と、３次元画像データにもとづき第１の座標系による視点位置情報を視線パラメータとするＶＢＳ画像を生成するＶＢＳ画像生成部１３と、一のＶＢＳ画像と内視鏡画像との類似度を算出する類似度算出部１４と、類似度にもとづいた判定を行う判定部１８と、第２の座標系における先端位置情報を取得するためのセンサ２１を有する処置具８と、第１の座標系と第２の座標系との関連付け処理を行う座標変換式算出部１２と、を具備する。

Description

医療機器
　本発明は、被検体の体内の管腔を介して、先端部が所望位置まで挿入される挿入部を具備する医療機器に関する。
　近年、ＣＴ装置等により得られた被検者７の３次元画像データから管腔、例えば肺の気管支の３次元像を形成し、３次元像上で管腔に沿って目的点までの経路を求め、さらに３次元画像データにもとづいて管腔の仮想内視画像を生成し表示する挿入ナビゲーションシステムが開示されている。
　また、日本国特開２００９－２７９２５０号公報には、内視鏡画像と類似する仮想内視鏡画像の視点位置から算出されたＣＴ座標系にもとづく位置情報と、位置センサにより検出されたセンサ座標系にもとづく位置情報と、の関連付けを行う医療機器が開示されている。
　しかし、内視鏡画像と類似する仮想内視鏡画像を高精度に抽出するには時間を要する。一方、短時間で処理を完了してしまうと、誤った結果を出力してしまうおそれがあった。すなわち、公知の医療機器は、処理速度と処理精度とを共に満足することは容易ではないことがあった。
　本発明の実施形態の医療機器は、処理速度と処理精度とを共に満足する医療機器を提供することを目的とする。
　本発明の一態様の医療機器は、被検体の体腔内において内視鏡画像を撮像する撮像手段が配設されていると共に、内部を挿入するチャンネルのチャンネル開口が形成された先端部、を有する挿入手段と、予め取得される前記被検体の第１の座標系にもとづく３次元画像データを、記憶する記憶手段と、前記３次元画像データにもとづき、前記第１の座標系による位置および方向および回転角からなる第１の位置情報を視線パラメータとする、複数の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、一の前記仮想内視鏡画像と、前記内視鏡画像と、の類似度を算出する類似度算出手段と、前記類似度にもとづいた判定を行う判定手段と、前記判定手段の判定結果に応じて、前記一の仮想内視鏡画像の前記第１の位置情報を前記撮像手段の位置情報に設定する位置設定手段と、第２の座標系における位置および方向および回転角からなる第２の位置情報を取得するための位置情報取得手段を有する、前記チャンネル開口から突出する医療器具と、前記判定手段の判定結果に応じて、前記第１の位置情報および前記第２の位置情報を用いて前記第１の座標系と前記第２の座標系との関連付け処理を行う座標変換式算出手段と、を具備する。
第１実施形態の医療機器の使用状態を説明するための説明図である。 第１実施形態の医療機器の構成を説明するための構成図である。 第１実施形態の医療機器の処理の流れを説明するためのフローチャートである。 第１実施形態の医療機器のナビゲーション画面の一例である。 第１実施形態の医療機器の先端部等を説明するための説明図である。 第１実施形態の医療機器のＶＢＳ画像を説明するための説明図である。 第１実施形態の医療機器のナビゲーション画面の一例である。 第１実施形態の医療機器のナビゲーション画面の一例である。 第１実施形態の医療機器のナビゲーション画面の一例である。 第１実施形態の医療機器のナビゲーション画面の一例である。 第１実施形態の変形例５の医療機器の先端部等を説明するための説明図である。 第１実施形態の変形例５の医療機器の先端部等を説明するための説明図である。 第１実施形態の変形例５の医療機器の先端部等を説明するための説明図である。 第１実施形態の変形例５の医療機器のナビゲーション画面の一例である。 第２実施形態の医療機器の先端部等を説明するための説明図である。 第２実施形態の医療機器の構成を説明するための構成図である。
＜第１実施の形態＞
　図１に示すように、本実施形態の医療機器１は、被検体である被検者７の体内の管腔である気管支９を介して、先端部３１が目標部位６の近傍の所望位置まで挿入される挿入手段である挿入部３０を有する気管支内視鏡（以下、「内視鏡」という）２を具備する。
　挿入部３０には内部を挿通するチャンネル３２が配設されており、処置具挿入口３３からチャンネル３２に挿入された医療器具である細長い処置具８が、先端部３１に形成されたチャンネル開口３４（図５参照）から突出して、目標部位６の組織を穿刺する。
　図２に示すように、医療機器１は、内視鏡２と、本体部３と、表示手段である表示部４と、入力手段である入力部５と、を具備する。内視鏡２の挿入部３０の先端部３１には、撮像手段である撮像部３５と、位置情報取得手段であるセンサ２１と、が配設されている。術者は、内視鏡操作部３６により、先端部３１の位置および方向および回転角を操作する。
　表示部４は、術者の挿入操作を支援するナビゲーション画面を表示する。入力部５は、術者が医療機器１に指示情報を入力するマウス／キーボード等である。
　本体部３は、制御部１０と、内視鏡画像処理部１１と、モード切替手段であるモード切替部１６と、仮想内視鏡画像（Ｖｉｒｔｕａｌ　Ｂｒｏｎｃｈｕｓ　Ｓｃｏｐｅ　画像：以下、「ＶＢＳ画像」という）生成手段である仮想内視鏡画像生成部（ＶＢＳ画像生成部）１３と、類似度算出手段である類似度算出部１４と、判定手段である判定部１８と、座標変換式算出手段である座標変換式算出部１２と、記憶手段である記憶部１５と、ナビゲーション画面生成部１７と、位置設定手段である視点位置設定部１９と、先端位置算出部２０と、を具備する。
　なお、上記構成要素は物理的に独立している必要はなく、例えば、ＣＰＵに読み込まれることにより、それぞれの機能を発生するプログラムであってもよい。
　制御部１０は、ナビゲーション処理の全体の制御を行う。内視鏡画像処理部１１は、撮像部３５が撮像した内視鏡画像（以下、「ライブ画像」ともいう）を処理する。記憶部１５は、図示しない公知のＣＴ装置等で、予め取得された被検者７の気管支９を含む領域の３次元画像データを、取り込み記憶する。
　ＶＢＳ画像生成部１３は、３次元画像データにもとづき、ＶＢＳ画像を生成する。なお、３次元画像データの座標系を、第１の座標系（以下「ＣＴ座標系」）といい、ＶＢＳ画像はＣＴ座標系による位置および方向および回転角からなる第１の位置情報（以下「視点位置情報」という）を視線パラメータとして生成される。
　類似度算出部１４は、ＶＢＳ画像とライブ画像との類似度を算出する。判定部１８は、類似度算出部１４が算出した類似度にもとづいた判定を行う。視点位置設定部１９は判定部１８の判定結果に応じて、そのＶＢＳ画像の第１の位置情報（視点位置情報）を、撮像部３５の位置情報（位置および方向および回転角）に設定する
　先端位置算出部２０は、被検者７の外部に配設した、磁界を発生する複数のアンテナ２２からの磁界をセンサ２１が検出することで、センサ２１が配設された処置具８の先端部の位置および方向および回転角からなる第２の位置情報（以下「先端位置情報」という）を算出する。
　なお、先端位置算出部２０は、先端部３１に設けた磁界発生部からの磁界を外部に設けた磁界センサ等で検出してもよい。さらに、先端位置情報の取得方式は、磁界または電波を用いた方式に限られるものではない。例えば、光学的方式、加速度／地磁気／角速度等を組み合わせたモーションセンサ方式、ひずみセンサ方式、もしくはロータリーエンコーダ方式等、または、前記方式を組み合わせた方式により、先端位置情報が取得されてもよい。
　ここで、先端位置算出部２０が算出する先端位置情報は、ＣＴ座標系とは異なる第２の座標系（以下、「内視鏡座標系」という）にもとづく。
　座標変換式算出部１２は、判定部１８の判定結果に応じて、視点位置情報および先端位置情報を用いてＣＴ座標系と内視鏡座標系との関連付け処理、すなわち座標変換式の算出処理を行う。
　すなわち、後述するように、目標部位６の位置はＣＴ座標系の３次元画像データを用いて設定されている。これに対して、処置具８の位置情報は内視鏡座標系にもとづく。このため、処置具８の位置情報をＣＴ座標系に変換する座標変換式が必要である。
　モード切替部１６は、術者の処置を支援するためのナビゲーションモードを、第１のモードから第２のモードに切り替える。第１のモードでは、医療機器１は、先端部３１を目標部位６の近傍まで挿入するための支援を行う。これに対して第２のモードでは、医療機器１は、先端部３１から突出した処置具８を目標部位６に穿刺するための支援を行う。
　すなわち、第１のモードにおけるＶＢＳ画像とライブ画像との類似度算出処理／判定処理、言い換えれば、マッチング処理は、気管支９の分岐部において目標部位６に到達する方の管腔を示すために行われる。これに対して第２のモードにおけるマッチング処理は、精度の高い座標変換式を算出するためである。
　目的が異なるため、第１のモードにおけるマッチング処理では処理速度が重要であり、第２のモードにおけるマッチング処理では処理精度が重要である。
　医療機器１は、モード切替部１６がモードを切り替えるために、第１のモードにおける処理速度と第２のモードにおける処理精度とを共に満足することができる。
　以下、図３のフローチャートを用いて医療機器１の処理の流れを説明する。
＜ステップＳ１０＞　目標部位設定
　挿入操作に先立ち、記憶部１５に公知のＣＴ装置で予め生成された、例えば、記憶媒体または通信回線を介して受信されたＤＩＣＯＭ形式の３次元画像データが、記憶部１５に記憶される。
　術者は、表示部４に表示された気管支９の３次元画像データにもとづく画像をもとに、目標部位６を設定する。
＜ステップＳ１１＞　ルート設定
　挿入始点である例えば被検者７の口腔と、目標部位６とを結ぶルートを算出する処理が行われ、挿入部３０の挿入経路が設定される。複数のルートが算出された場合には、術者が選択処理を行ってもよい。
＜ステップＳ１２＞　ＶＢＳ画像生成
　ＶＢＳ画像生成部１３が、挿入経路に沿った複数のＶＢＳ画像を生成する。ＶＢＳ画像生成部１３は、３次元画像データからＶＢＳ画像を生成するときに、６つの視線パラメータを変化させることで、多数の異なる視線位置からのＶＢＳ画像を生成する。視線パラメータは、位置および姿勢、すなわち、位置（ｘ、ｙ、ｚ）と、方向および角度（θｘ、θｙ、θｚ）と、からなる６次元のデータである。
　なお、ＶＢＳ画像生成部１３は、多くのＶＢＳ画像を生成することが好ましく、さらには挿入経路から外れた視線パラメータのＶＢＳ画像を生成してもよい。
　生成されたＶＢＳ画像は、それぞれの視線パラメータとともに、ＶＢＳ画像生成部１３、記憶部１５またはＶＢＳ画像記憶部（不図示）等に記憶される。
＜ステップＳ１３＞　ライブ画像取得
　挿入部３０の先端部３１が、被検者７の気管支９に挿入される。そして先端部３１に配設された撮像部３５が撮像した気管支内のライブ画像が表示部４に表示される。
＜ステップＳ１４、Ｓ１５＞　ＶＢＳ画像選択、類似度算出
　気管支９は分岐部Ｊを有するために、術者は、それぞれの分岐部において目標部位６に到達する方の管腔を選択する必要がある。医療機器１では、先端部３１が分岐部近傍に到達すると、類似度算出部１４が、記憶部１５に記憶されている一のＶＢＳ画像とライブ画像との類似度を算出する。
　ここで、ライブ画像とＶＢＳ画像とのマッチング処理は、ライブ画像のフレーム単位で行われる。すなわちマッチング処理は静止内視鏡画像とＶＢＳ画像の類似度を基準に行われる。ＶＢＳ画像との類似度が算出される静止内視鏡画像（ライブ画像）は、例えば術者がフリーズスイッチの押下操作により決定した静止画像である。なお、類似度算出に適した分岐部のライブ画像が画像認識法等により、自動的に選択されてもよい。
　画像の類似度は、公知の画像処理により行われ、画素データレベルのマッチング、または、画像から抽出した特徴のレベルにおけるマッチングのいずれを用いてもよい。
＜ステップＳ１６＞判定
　判定部１８は、類似度にもとづいた判定を行う。すなわち、判定部１８は類似度算出部１４が算出した類似度と第１の閾値とを比較して、第１の閾値以上であった場合には、「ＯＫ」と判定し、類似度が第１の閾値未満であった場合には、「ＮＧ」と判定する。
　判定結果が「ＯＫ」の場合には、Ｓ１７からの処理が行われる。これに対して判定結果が「ＮＧ」の場合には、Ｓ１４からの処理が再び行われる。すなわち、記憶部１５に記憶されている複数のＶＢＳ画像の中から別のＶＢＳ画像が選択され、類似度算出処理および判定処理が行われる。
　なお、判定結果が「ＮＧ」の場合には、ＶＢＳ画像生成部１３が、比較的、類似度の高いＶＢＳ画像をもとに視線パラメータを変更して、新たにＶＢＳ画像を生成してもよい。
＜ステップＳ１７＞視点位置設定
　視点位置設定部１９は、仮想内視鏡画像の第１の位置情報を撮像部３５の位置情報（視点位置情報）に設定する。すなわち、先端部３１のＣＴ座標系における位置および方向および回転角が設定される。
＜ステップＳ１８＞ナビゲーション画面生成
　第１のモードでは、図４に示すナビゲーション画面４Ｐ１が生成される。ナビゲーション画面４Ｐ１には、ライブ画像と、ＶＢＳ画像と、挿入経路にある気管支の、例えば４つの分岐部Ｊ１～Ｊ４の縮小ＶＢＳ画像であるサムネイル画像と、現在の分岐部を示す文字情報と、が表示されている。なお、図４において、サムネイル画像の中で、表示枠が太く表示されている画像は、表示されている現在のＶＢＳ画像の縮小画像であることを示している。なお、図４ではサムネイル画像を一列に表示しているが、分岐部数が多い場合には２列以上にわたって表示してもよい。
　先端部３１は、視点位置設定部１９によりＣＴ座標系による位置が設定されたために、同じＣＴ座標系で設定された挿入経路のどこに位置しているかが判明している。このため、ＶＢＳ画像には、目標部位６への挿入経路を示すルートマーク３７が重畳表示されている。すなわち、ルートマーク３７が表示された方の穴が目標部位６に到達する管腔である。
　術者は、ナビゲーション画面４Ｐ１に表示されたルートマーク３７が示す管腔に先端部３１を挿入することにより、誤りなく先端部３１を目標部位６に到達することができる。
＜ステップＳ１９＞モード切替
　図５に示すように、先端部３１が目標部位６の近傍まで挿入されると、処置具８による目標部位６の生検を行うための前処理として、座標変換式算出部１２による処理が行われる。
　既に説明したＳ１３～Ｓ１８までのナビゲーションモードは、先端部３１を目標部位６の近傍まで挿入するための支援を行う、初期設定されている第１のモードであった。このため、先端部３１から突出した処置具８を目標部位６に穿刺するための支援を行うためには、モード切替部１６がナビゲーションモードを第２のモードに切り替える。
　例えば、モード切替部１６は、処置具８のチャンネル開口３４からの突出を検出し、モードを切り替える。すなわち、図６に示すように、モード切替部１６は、処置具８の画像である処置具画像８Ｐが所定長Ｌ以上含まれている内視鏡画像にもとづき、処置具８のチャンネル開口３４からの突出を検出する。
　もちろん、術者が入力部５を介してモード切替部１６に指示情報を入力してもよい。
　また、チャンネル開口３４から突出していた処置具８が、再びチャンネル３２内に収納された場合には、モード切替部１６が、ナビゲーションモードを第２のモードから第１のモードに切り替えてもよい。そのときには、第２のモードで算出したＣＴ座標系の情報を初期値として第１のモードのナビゲーションを再開する。モード切替は処置具８の収納を内視鏡画像の画像処理により検出してもよいし、術者が入力部５を介してモード切替部１６に指示情報を入力してもよい。
　なお、図６においては、ライブ画像に挿入経路を示す経路線３８が重畳表示されている例を示している。すなわちナビゲーション画面に挿入経路を示すためには、各種の表示方法を用いることができる。
　第１のモードにおけるマッチング処理では処理速度が重要であり、第２のモードにおけるマッチング処理では処理精度が重要である。すなわち、第１のモードでは分岐部において正しい方向（管腔）を決定し挿入経路を表示できれば十分である。また、第１のモードでは、それぞれの分岐部においてマッチング処理を行う必要がある。これに対して第２のモードでは、座標変換式の精度が高くなければ、処置具８を正確に目標部位６に穿刺することができない。また、第２のモードでは、最低１回のマッチング処理を行うだけでよい。
　このため、モード切替部１６によるモード切替により、判定部１８が判定を行う基準となる類似度の第２の閾値が、第１のモードのときの第１の閾値よりも高く設定されることが好ましい。
　完全に一致している場合の類似度が１００％の場合、例えば、第１の閾値は６０％であり、第２の閾値は８０％である。第１の閾値および第２の閾値は適宜、変更／設定可能である。すなわち、閾値が高いとは、判定が厳しくなることを意味する。
＜ステップＳ２０～Ｓ２４＞
　既に説明した第１のモード（Ｓ１３～Ｓ１６）と同様であるが、Ｓ２１においてライブ画像が取得されたとき（Ｓ２０）の、第２の位置情報（先端位置情報）が取得される。
　また、第２の閾値は第１の閾値よりも高いために、第２のモードでは、第１のモードよりも、時間をかけて高い精度でマッチング処理が行われる。
　なお、特に第２のモードにおいては、判定結果が「ＮＧ」の場合には、ＶＢＳ画像生成部１３が、視線パラメータを変更して、新たにＶＢＳ画像を生成することが、好ましい。すなわち、最も高い類似度のＶＢＳ画像の視線パラメータを少しずつ変化することにより、より類似度の高いＶＢＳ画像をＶＢＳ画像生成部１３が生成することにより、第２の閾値を満足する類似度のＶＢＳ画像が得られる。
　図７に示すように、ナビゲーション画面４Ｐ２には、類似度に加えて、ＬＩＶＥ画像およびＶＢＳ画像が表示されることが好ましい。類似度の表示は、図７に示すように数字によるデジタル表示でもよいし、図８に示すようにバーグラフ等によるグラフィック表示でもよい。なお、図８に示すバーグラフでは中心のバーが類似度を示し、周りのバーが設定された第２の閾値を示している。
　また、ナビゲーション画面に、類似度の表示は行わないで、判定結果等を表示してもよい。例えば、表示色が変化する表示マークを用い、判定中は黄色表示、判定結果が「ＯＫ」の場合は緑色表示、判定結果が「ＮＧ」の場合は赤色表示とする。さらに、上記の各種表示方法を併用したり、切り替えて使用したりしてもよい。
　ここで、図８に示すナビゲーション画面４Ｐ４には、マウス等の入力部５を介して指示情報を入力するボタンマーク５１、５２が表示されている。ボタンマーク５１は、判定部１８に対して「ＯＫ」の判定を行うように指示するためのスイッチであり、ボタンマーク５２は、「ＮＧ」の判定を行うように指示するためのスイッチである。
　すなわち、判定部１８は類似度にもとづき判定を行うが誤った判定を行うこともありうる。すなわち、判定部１８が自動的に行う判定が、術者の経験にもとづく判定とは異なる場合もありうる。
　このため、自動的に判定を行う判定部に替えて、ＬＩＶＥ画像とＶＢＳ画像とが並べて表示されているナビゲーション画面４Ｐ４を見ながら、ボタンマーク５１、５２を介して入力された指示情報にもとづき、判定を行う半自動の判定部を用いてもよい。
　また、判定部１８が判定結果、すなわち類似度をナビゲーション画面に表示してから所定時間経過しても指示情報が入力されない場合は、判定部が自動的に判定を行ってもよい。さらに、ナビゲーション画面にＬＩＶＥ画像とＶＢＳ画像とを表示するだけで、類似度は表示しないで、判定を術者に任せてもよい。さらに、ナビゲーション画面上のＬＩＶＥ画像に、半透明化したＶＢＳ画像を重畳して表示してもよい。
　さらに、図９に示すように、ＬＩＶＥ画像とＶＢＳ画像とが並べて表示されているナビゲーション画面４Ｐ４を見ながら術者がボタンマーク５１、５２を介して入力する、指示情報にもとづき、判定部１８が判定を行ってもよい。
　また、図１０に示すように、ナビゲーション画面４Ｐ５に、所定の類似度以上の複数のＶＢＳ画像を並べて表示して、その中から画面上のポインタ３９をマウスで選択することにより、一のＶＢＳ画像が選択可能であってもよい。
　判定部１８に指示情報を入力する入力手段としては、図８に示すナビゲーション画面４Ｐ３等に表示されたボタンマーク５１、５２を選択するマウスに限られるものではない。例えば、入力手段としては、図示しないが、内視鏡２の操作部に配設されたスイッチ、または、術者が足で操作するフットスイッチ等であってもよい。
　なお、上記各種のナビゲーション画面は、選択可能であることが好ましい。
＜ステップＳ２５＞
　マッチング処理が完了、すなわち判定部１８の判定結果が「ＯＫ」となったら、座標変換式算出部１２が、第１の位置情報（視点位置情報）および第２の位置情報（先端位置情報）を用いて第１の座標系（ＣＴ座標系）と第２の座標系（内視鏡座標系）との関連付け処理、すなわち座標変換式の算出処理を行う。
　厳密には先端位置情報は、処置具８の先端部に配設されたセンサ２１の位置情報である。そしてセンサ２１の位置と撮像部３５の位置との相対位置関係は既知である。このため座標変換式算出部１２は内視鏡座標系による処置具８の先端部の位置情報を、ＣＴ座標系に変換するための座標変換式を算出できる。なお、座標変換機能に加えて、センサ２１の位置（内視鏡位置）を、さらに先端位置（処置具位置）に変換する機能を有する座標変換式が算出されてもよい。
　図７に示すように、座標変換式算出部１２の処理が完了すると、ナビゲーション画面４Ｐ２に「完了」が表示される。もちろん処理中のナビゲーション画面に「処理中」または「新ＶＢＳ画像生成中」等の処理状況を示す表示があってもよい。
＜ステップＳ２６＞
　ステップＳ２５で求めた座標変換式を用いて、内視鏡座標系で取得された位置情報をＣＴ座標系に変換し、処置具の現在の位置に応じたＶＢＳ画像が表示される。
　座標変換式を用いることにより、ＣＴ座標系による、目標部位６の位置と処置具８の位置との対応関係が明らかとなる。このため、たとえ目標部位６が内視鏡画像により確認できない位置にある場合でも、術者はＶＢＳ画像に表示される目標部位６の画像により、処置具８を用いて適切な処置を行うことができる。
　以上の説明のように、医療機器１は、処理速度と処理精度とを共に満足することができる。
＜第１実施形態の変形例１～３＞
　次に、第１実施形態の変形例１～３の医療機器１Ａ～１Ｃについて説明する。医療機器１Ａ～１Ｃは、医療機器１と類似しているため同じ構成要素には同じ符号を付し説明は省略する。
　医療機器１Ａ～１Ｃは、いずれも呼吸状態に応じて位置情報を取得しＶＢＳ画像を表示するが、ＶＢＳ画像の比較対象であるライブ画像（静止内視鏡画像）の取得方法に、それぞれの特徴がある。
　医療機器１Ａは、被検者７の呼吸状態が、３次元画像データの取得時の状態と同じ状態の内視鏡画像を撮像したときの第１の位置情報を用いて、座標変換式算出部１２が処理を行う。そして、医療機器１Bは、被検者７の心拍状態が、３次元画像データの取得時の状態と同じ状態の内視鏡画像を撮像したときの第１の位置情報を用いて、座標変換式算出部１２が処理を行う。
　気管支９の状態は、被検者７の呼吸状態／心拍状態により変化する。すなわち、吸気状態では肺が膨らむため気管支９も膨張する。排気状態では肺が収縮するため気管支も収縮する。また心拍に応じて気管支９は振動する。
　変形例１の医療機器１Ａは、ＣＴ装置により３次元画像データを取得するときに吸気状態であった場合には、吸気状態のときにマッチング処理に用いる内視鏡画像を取得する。
　一方、変形例２の医療機器１Ｂは、ＣＴ装置により３次元画像データを取得するときの心拍状態と同じ心拍状態のときにマッチング処理に用いる内視鏡画像を取得する。
　このため、医療機器１Ａは公知の呼吸状態を検出するための手段を有し、医療機器１Ｂは公知の心拍状態を検出するための手段を有する。
　なお、被検者７の呼吸状態および心拍状態が、３次元画像データの取得時の状態と同じ状態の内視鏡画像を撮像したときの第１の位置情報を用いて、座標変換式算出部１２が処理を行ってもよい。
　医療機器１Ａおよび１Ｂは、医療機器１と同じ効果を有し、さらにマッチング処理が容易であるために、短時間で処理を完了することができる。
　一方、変形例３の医療機器１Ｃは、座標変換式算出部１２が、第２の位置情報（先端位置情報）の変化速度が所定値以下のときに撮像した内視鏡画像の第１の位置情報（視点位置情報）を用いて処理を行う。
　被検者７の大きな動作等により撮像部３５が大きく移動すると、内視鏡画像が不鮮明になることがある。撮像部３５の移動速度は、先端位置情報の変化速度としてセンサ２１により取得できる。
　医療機器１Ｃは、医療機器１と同じ効果を有し、さらに安定した状態で撮像された内視鏡画像を用いてマッチング処理を行うために、短時間で処理を完了することができる。
＜第１実施形態の変形例４＞
　次に、第１実施形態の変形例４の医療機器１Ｄについて説明する。医療機器１Ｄは、医療機器１と類似しているため同じ構成要素には同じ符号を付し説明は省略する。
　医療機器１Ｄは、座標変換式算出部１２が、類似度を算出するための画像情報量が所定値以上の内視鏡画像を撮像したときの第１の位置情報（視点位置情報）を用いて処理を行う。
　画像の情報量が少ない単純な画像では、マッチング処理を行って、高い類似度が得られたとしても、その信頼性は低い。例えば、分岐部から遠い位置で撮影された画像または管腔壁に接近した状態で撮影された画像では、精度の高い座標変換式を算出することはできない。
　画像の情報量は、例えば特徴を抽出したときのデータ量で判断することができる。医療機器１Ｄでは情報量が所定値以上の内視鏡画像を用いて座標変換式算出部１２が処理を行う。
　このため、医療機器１Ｄは医療機器１と同じ効果を有し、さらに精度の高い座標変換式を算出することができる。
＜第１実施形態の変形例５＞
　次に、第１実施形態の変形例５の医療機器１Ｅについて説明する。医療機器１Ｅは、医療機器１と類似しているため同じ構成要素には同じ符号を付し説明は省略する。
　図１１Ａ～図１１Ｃに示すように、先端部３１が動いているときは、もちろん、静止しているときでも、気管支９の状態は呼吸状態および心拍状態等により変化する。このため、取得される内視鏡画像は変化する。
　医療機器１Ｅは、第２のモードでは、撮像部３５が、所定の時間間隔で複数の内視鏡画像を取得する。そして、類似度算出部１４が、それぞれの内視鏡画像と類似したそれぞれのＶＢＳ画像との類似度を算出する。そして、座標変換式算出部１２が、類似度が最大の画像の位置情報を用いて処理を行う。
　すなわち、例えば、図１２に示すように、ナビゲーション画面４Ｐ６には、複数の内視鏡画像と、それぞれの内視鏡画像と類似したＶＢＳ画像と、が、類似度とともに表示される。図１２においては、左上の画像の類似度が最も高く、それらの画像の位置情報を用いて処理が行われることになる。
　なお、類似度にもとづく自動選択に替えて、ナビゲーション画面４Ｐ６に表示されたポインタ３９をマウス等で操作することにより、画像が選択されてもよい。
　医療機器１Ｅは医療機器１と同じ効果を有し、さらに精度の高い座標変換式を算出することができる。
＜第２実施形態＞
　次に、第２実施形態の医療機器１Ｆについて説明する。医療機器１Ｆは、医療機器１と類似しているため同じ構成要素には同じ符号を付し説明は省略する。
　図１３および図１４に示すように、医療機器１Ｆでは、内視鏡２の先端部３１にも第３の位置情報取得手段であるセンサ２３が配設されている。センサ２３はセンサ２１と同じ機能を有する。すなわち、医療機器１Ｆは、挿入部３０が先端部３１に、第２の座標系における位置および方向および回転角からなる第３の位置情報を取得する第３の位置情報取得手段を有する。そして、先端位置算出部２０Ｆは、処置具８の先端部の位置情報だけでなく、内視鏡２の先端部３１の位置情報も、内視鏡座標系にもとづいて算出する。
　座標変換式算出部１２Ｆは、センサ２３の位置情報と視点位置情報とにもとづいて、座標変換式を算出する。すなわち、座標変換式算出部１２Ｆは、最初に、内視鏡座標系のセンサ２３の位置情報を、ＣＴ座標系に変換する座標変換式を算出する。
　そして、医療機器１Ｆでは、センサ２３の位置情報を基準に、処置具８の先端部の位置情報が算出される。医療機器１Ｆは、位置関係が常に固定されているセンサ２３と撮像部３５との位置関係を基準とする。このため、医療機器１Ｆは医療機器１が有する効果を有し、さらにより精度の高い座標変換式が算出可能である。
　なお、医療機器１Ｆにおいても、既に説明した第１実施形態の変形例１Ａ～１Ｅと同じ構成／機能を付加してもよい。
　すなわち、本発明は、上述した実施形態または変形例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変、または組み合わせ等ができる。
　本出願は、２０１１年２月８日に日本国に出願された特願２０１１－０２５１２０号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (14)

  1. 　被検体の体腔内において内視鏡画像を撮像する撮像手段が配設されていると共に、内部を挿入するチャンネルのチャンネル開口が形成された、先端部を有する挿入手段と、
    　予め取得される前記被検体の第１の座標系にもとづく３次元画像データを、記憶する記憶手段と、
    　前記３次元画像データにもとづき、前記第１の座標系による位置および方向および回転角からなる第１の位置情報を視線パラメータとする、複数の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
    　一の前記仮想内視鏡画像と、前記内視鏡画像と、の類似度を算出する類似度算出手段と、
    　前記類似度にもとづいた判定を行う判定手段と、
    　前記判定手段の判定結果に応じて、前記一の仮想内視鏡画像の前記第１の位置情報を前記撮像手段の位置情報に設定する位置設定手段と、
    　第２の座標系における位置および方向および回転角からなる第２の位置情報を取得するための位置情報取得手段を有する、前記チャンネル開口から突出する医療器具と、
    　前記判定手段の判定結果に応じて、前記第１の位置情報および前記第２の位置情報を用いて前記第１の座標系と前記第２の座標系との関連付け処理を行う座標変換式算出手段と、を具備することを特徴とする医療機器。
  2. 　ナビゲーションモードを、第１のモードから、前記判定手段が判定を行う基準となる前記類似度の閾値が、前記第１のモードのときよりも高く設定される第２のモードに切り替えるモード切替手段を、具備し、
    　前記座標変換式算出手段が、前記第２のモードにおける前記判定結果に応じて、前記関連付け処理を行うことを特徴とする請求項１に記載の医療機器。
  3. 　前記モード切替手段が、前記医療器具の前記チャンネル開口からの突出を検出し、前記ナビゲーションモードを切り替えることを特徴とする請求項２に記載の医療機器。
  4. 　前記モード切替手段が、前記医療器具の画像が所定長以上含まれている前記内視鏡画像にもとづき、前記医療器具の前記チャンネル開口からの突出を検出することを特徴とする請求項３に記載の医療機器。
  5. 　前記第１のモードが、術者が前記先端部を前記体腔内の所定位置に挿入するための支援をする処理速度優先のモードであり、前記第２のモードが、術者が前記医療器具を用いて処置を行うための支援をする処理精度優先のモードであることを特徴とする請求項２に記載の医療機器。
  6. 　前記座標変換式算出手段が、前記被検体の呼吸状態または心拍状態の少なくともいずれかが、前記３次元画像データの取得時の状態と同じ状態の前記内視鏡画像を撮像したときの前記第１の位置情報を用いて処理を行うことを特徴とする請求項２に記載の医療機器。
  7. 　前記座標変換式算出手段が、前記第２の位置情報の変化速度が所定値以下のときに撮像した前記内視鏡画像の前記第１の位置情報を用いて処理を行うことを特徴とする請求項２に記載の医療機器。
  8. 　前記座標変換式算出手段が、前記類似度を算出するための画像情報量が所定値以上の前記内視鏡画像を撮像したときの前記第１の位置情報を用いて処理を行うことを特徴とする請求項２に記載の医療機器。
  9. 　前記第２のモードでは、前記撮像手段が複数の前記内視鏡画像を取得し、前記類似度算出手段が、それぞれの前記内視鏡画像と類似したそれぞれの前記仮想内視鏡画像との前記類似度を算出し、前記座標変換式算出手段が、前記類似度が最大の画像の位置情報を用いて処理を行うことを特徴とする請求項２に記載の医療機器。
  10. 　前記類似度を表示する表示手段を具備することを特徴とする請求項１に記載の医療機器。
  11. 　前記類似度を、グラフィック表示することを特徴とする請求項１０に記載の医療機器。
  12. 　前記表示手段に前記仮想内視鏡画像と前記内視鏡画像とを表示することを特徴とする請求項１０に記載の医療機器。
  13. 　前記判定結果に対して指示情報を入力する入力手段、を具備することを特徴とする請求項１０に記載の医療機器。
  14. 　前記挿入手段が、前記先端部に、前記第２の座標系における位置および方向および回転角からなる第３の位置情報を取得する第３の位置情報取得手段を有することを特徴とする請求項２に記載の医療機器。
PCT/JP2011/076510 2011-02-08 2011-11-17 医療機器 WO2012108085A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012535532A JPWO2012108085A1 (ja) 2011-02-08 2011-11-17 医療機器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011025120 2011-02-08
JP2011-025120 2011-02-08

Publications (1)

Publication Number Publication Date
WO2012108085A1 true WO2012108085A1 (ja) 2012-08-16

Family

ID=46638314

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/076510 WO2012108085A1 (ja) 2011-02-08 2011-11-17 医療機器

Country Status (2)

Country Link
JP (1) JPWO2012108085A1 (ja)
WO (1) WO2012108085A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103169445A (zh) * 2013-04-16 2013-06-26 苏州朗开医疗技术有限公司 一种内窥镜的导航方法及系统
WO2014038322A1 (ja) * 2012-09-07 2014-03-13 オリンパスメディカルシステムズ株式会社 医療装置
JP2018139847A (ja) * 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
CN110167417A (zh) * 2017-01-26 2019-08-23 奥林巴斯株式会社 图像处理装置、动作方法和程序
JP2020010734A (ja) * 2018-07-13 2020-01-23 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP2020010735A (ja) * 2018-07-13 2020-01-23 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP2020014711A (ja) * 2018-07-26 2020-01-30 富士フイルム株式会社 検査支援装置、方法およびプログラム
CN111770716A (zh) * 2018-02-21 2020-10-13 奥林巴斯株式会社 医疗系统和医疗系统的控制方法
CN114041741A (zh) * 2022-01-13 2022-02-15 杭州堃博生物科技有限公司 数据处理部、处理装置、手术系统、设备与介质
CN115590454A (zh) * 2022-12-14 2023-01-13 珠海视新医用科技有限公司（Cn） 内窥镜操控状态自动切换方法及装置、设备、存储介质
WO2023045772A1 (zh) * 2021-09-22 2023-03-30 宁波新跃医疗科技股份有限公司 医疗用输尿管镜系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
JP2004097696A (ja) * 2002-09-12 2004-04-02 Olympus Corp 内視鏡観測装置
JP2004533863A (ja) * 2001-02-13 2004-11-11 メディガイド リミテッド 医療用撮像兼ナビゲーションシステム
JP2009056239A (ja) * 2007-09-03 2009-03-19 Olympus Medical Systems Corp 内視鏡装置
JP2009279249A (ja) * 2008-05-23 2009-12-03 Olympus Medical Systems Corp 医療機器
JP2011000173A (ja) * 2009-06-16 2011-01-06 Toshiba Corp 内視鏡検査支援システム
JP4728456B1 (ja) * 2010-02-22 2011-07-20 オリンパスメディカルシステムズ株式会社 医療機器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004533863A (ja) * 2001-02-13 2004-11-11 メディガイド リミテッド 医療用撮像兼ナビゲーションシステム
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
JP2004097696A (ja) * 2002-09-12 2004-04-02 Olympus Corp 内視鏡観測装置
JP2009056239A (ja) * 2007-09-03 2009-03-19 Olympus Medical Systems Corp 内視鏡装置
JP2009279249A (ja) * 2008-05-23 2009-12-03 Olympus Medical Systems Corp 医療機器
JP2011000173A (ja) * 2009-06-16 2011-01-06 Toshiba Corp 内視鏡検査支援システム
JP4728456B1 (ja) * 2010-02-22 2011-07-20 オリンパスメディカルシステムズ株式会社 医療機器

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014038322A1 (ja) * 2012-09-07 2014-03-13 オリンパスメディカルシステムズ株式会社 医療装置
JP5613353B2 (ja) * 2012-09-07 2014-10-22 オリンパスメディカルシステムズ株式会社 医療装置
CN104321007A (zh) * 2012-09-07 2015-01-28 奥林巴斯医疗株式会社 医疗装置
EP2837326A4 (en) * 2012-09-07 2016-02-24 Olympus Corp MEDICAL APPARATUS
US9345394B2 (en) 2012-09-07 2016-05-24 Olympus Corporation Medical apparatus
CN103169445A (zh) * 2013-04-16 2013-06-26 苏州朗开医疗技术有限公司 一种内窥镜的导航方法及系统
CN110167417A (zh) * 2017-01-26 2019-08-23 奥林巴斯株式会社 图像处理装置、动作方法和程序
JP2018139847A (ja) * 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
CN111770716A (zh) * 2018-02-21 2020-10-13 奥林巴斯株式会社 医疗系统和医疗系统的控制方法
CN111770716B (zh) * 2018-02-21 2023-12-01 奥林巴斯株式会社 医疗系统和医疗系统的控制方法
JP2020010734A (ja) * 2018-07-13 2020-01-23 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP2020010735A (ja) * 2018-07-13 2020-01-23 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP7023195B2 (ja) 2018-07-13 2022-02-21 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP7023196B2 (ja) 2018-07-13 2022-02-21 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP2020014711A (ja) * 2018-07-26 2020-01-30 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP7071240B2 (ja) 2018-07-26 2022-05-18 富士フイルム株式会社 検査支援装置、方法およびプログラム
WO2023045772A1 (zh) * 2021-09-22 2023-03-30 宁波新跃医疗科技股份有限公司 医疗用输尿管镜系统
CN114041741B (zh) * 2022-01-13 2022-04-22 杭州堃博生物科技有限公司 数据处理部、处理装置、手术系统、设备与介质
CN114041741A (zh) * 2022-01-13 2022-02-15 杭州堃博生物科技有限公司 数据处理部、处理装置、手术系统、设备与介质
CN115590454A (zh) * 2022-12-14 2023-01-13 珠海视新医用科技有限公司（Cn） 内窥镜操控状态自动切换方法及装置、设备、存储介质
CN115590454B (zh) * 2022-12-14 2023-03-14 珠海视新医用科技有限公司 内窥镜操控状态自动切换装置及设备、存储介质

Also Published As

Publication number Publication date
JPWO2012108085A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
WO2012108085A1 (ja) 医療機器
US11490782B2 (en) Robotic systems for navigation of luminal networks that compensate for physiological noise
US20230190244A1 (en) Biopsy apparatus and system
CN110831481B (zh) 管状网络的基于路径的导航
EP3108795B1 (en) Endoscope system and endoscope control process
JP4009639B2 (ja) 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム
EP1761160B1 (en) System and method for image-based alignment of an endoscope
KR101598773B1 (ko) 수술용 로봇의 움직임 제어/보상 방법 및 장치
JP5028191B2 (ja) 内視鏡装置
WO2011102012A1 (ja) 医療機器
JP2009279250A (ja) 医療機器
CN104755009A (zh) 内窥镜系统
JP2012223363A (ja) 手術用撮像システム及び手術用ロボット
US20170027416A1 (en) Endoscopic system, image processing device, image processing method, and program
CN103430078B (zh) 用于显示视频内窥镜的视频内窥镜图像数据的方法和系统
JP2012165838A (ja) 内視鏡挿入支援装置
KR20220160649A (ko) 표적 해부학적 특징부 위치결정
JP4022114B2 (ja) 内視鏡装置
JP4728456B1 (ja) 医療機器
JP2019531113A (ja) 軟性点特徴部を使用して呼吸周期を予測し、端部位置合わせを改善する方法
KR20230027240A (ko) 의료 기구를 위한 제어 스킴 교정
CN114126472A (zh) 具有运动对准的可转向内窥镜
JP5613353B2 (ja) 医療装置
EP4333682A1 (en) Endoscope navigation system with updating anatomy model
KR101662837B1 (ko) 수술용 로봇의 움직임 제어/보상 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2012535532

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11858122

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11858122

Country of ref document: EP

Kind code of ref document: A1