WO2005094713A1 - 手術支援装置、方法及びプログラム - Google Patents

手術支援装置、方法及びプログラム Download PDF

Info

Publication number
WO2005094713A1
WO2005094713A1 PCT/JP2005/005855 JP2005005855W WO2005094713A1 WO 2005094713 A1 WO2005094713 A1 WO 2005094713A1 JP 2005005855 W JP2005005855 W JP 2005005855W WO 2005094713 A1 WO2005094713 A1 WO 2005094713A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgical site
dimensional
position information
image
surgery
Prior art date
Application number
PCT/JP2005/005855
Other languages
English (en)
French (fr)
Inventor
Seiji Yamamoto
Susumu Terakawa
Toshihisa Takai
Katsuhiro Sato
Original Assignee
National University Corporation Hamamatsu University School Of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University Corporation Hamamatsu University School Of Medicine filed Critical National University Corporation Hamamatsu University School Of Medicine
Priority to EP05727540A priority Critical patent/EP1738709B1/en
Priority to KR1020067022552A priority patent/KR101193017B1/ko
Priority to DE602005023593T priority patent/DE602005023593D1/de
Priority to US10/599,487 priority patent/US20080051651A1/en
Publication of WO2005094713A1 publication Critical patent/WO2005094713A1/ja
Priority to US13/076,062 priority patent/US8388539B2/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0808—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the brain
    • A61B8/0816—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the brain using echo-encephalography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions

Definitions

  • the present invention relates to a surgery support apparatus, a method, and a program, and in particular, assists in performing surgery by correcting a plurality of high-definition tomographic images of a surgical site taken before surgery and displaying the corrected tomographic images on a display unit.
  • the present invention relates to a surgery support device and a surgery support method, and a surgery support program for causing a computer to function as the surgery support device.
  • Nuclear magnetic resonance computed tomography (MRI: Magnetic Resonance Imaging, NMR—CT: Nuclear Magnetic Resonance—also referred to as omputea romography) is a nuclear magnetic resonance of spin-bearing nuclei in a single static field. This is to obtain a tomographic image of a living body by using the phenomenon, and is not affected by bones exposed to radiation exposure such as X-ray CT imaging, and it is possible to obtain high-definition tomographic images in any direction, etc. It is used in various medical situations such as surgery and examination (hereinafter, a tomographic image obtained by nuclear magnetic resonance computed tomography is referred to as an MRI image).
  • a brain tumor to be removed in a neurosurgery operation is difficult to visually identify the boundary with a normal part. Therefore, in a neurosurgery operation, an MRI image of the head is taken in advance, and an actual MRI image is taken. By repeatedly comparing the surgical field with the MRI image of the head, the surgery is proceeding while judging the boundary between the brain tumor and the normal part.
  • functional areas for example, motor areas, sensory areas, language areas, visual areas, and auditory areas.
  • the distribution of each functional area is also displayed as a map on the MRI image of the head referenced during the surgery in advance to check whether the distribution is distributed in a manner similar to that of the head (lUnctional mapping MR ⁇ ! ⁇ ).
  • Non-Patent Document 1 discloses that, in a neurosurgery operation, an MRI image of a head taken before operation and a space of an operation field are shared by coordinate detection using position detection using infrared light. Optical surgery configured to correlate with the system, detect the position of the current surgical operation, and display the current surgical operation on the MRI image A navigation device is disclosed.
  • Non-Patent Document 2 an ultrasonic tomographic image is taken during an operation using an ultrasonic probe, and the position of the ultrasonic probe is detected by infrared light, so that the image is taken before the operation.
  • the MRI image of the head is correlated with the ultrasonic tomographic image taken during the operation, and, like the optical surgical navigation device described in Non-Patent Document 1, the current surgical operation is added to the MRI image.
  • a navigation device configured to display the navigation device.
  • Patent Document 1 discloses that the position and orientation of a surgical microscope are detected by an optical position measurement method, data of an enlargement ratio and a focal length are processed, and an MRI image of a head taken before an operation, There is disclosed a technique for superimposing and displaying image information such as a cerebral blood vessel image by aligning the image information with a real-time image photographed by an operation microscope during an operation.
  • Patent Document 2 discloses that a high-definition MRI image (preoperative image) taken before surgery is reconstructed into a three-dimensional image, and the three-dimensional image is deformed based on deformation conditions related to predicted deformation. It is stored as deformed data, MRI images are taken during surgery, 2D images of the region of interest in preoperative images are reconstructed into 3D images, and the similarity with the deformed data is calculated to optimize. There has been disclosed a technique for selecting deformed data and superimposing and displaying an image of a subject from a rigid endoscope.
  • Non-patent Document 1 Medtronic SNT, "StealthStation”, [online], [Search March 2, 2004], Internet ⁇ URL:
  • Non-patent Document 2 Medtronic SNT, "SonoNav”, [online], [Search March 2, 2004], Internet ⁇ URL:
  • Patent Document 1 JP-A-2000-333971
  • Patent Document 2 JP 2002-102249 A
  • Non-patent Document 1 In the operation of neurosurgery, the brain is deformed by the operation during the operation. It is difficult to accurately determine the actual state of the brain during surgery (for example, the location and range of a brain tumor) by referring to the MRI image of the head taken earlier. None of the techniques described in Non-patent Document 1, Non-patent Document 2, and Patent Document 1 described above take into account brain deformation due to operation during surgery, and new information is added to MRI images taken before surgery. Since it is a technology that can be added to or displayed in alignment with a real-time image, it helps the surgery, but does not necessarily contribute to improving the accuracy of the procedure.
  • the present invention has been made in view of the above facts, and has a simple configuration capable of presenting an image accurately representing the state of a surgical site during a surgery with a simple configuration.
  • the purpose is to obtain a surgery support program.
  • a first aspect of the present invention is a method for optically measuring a surface of a surgical site during an operation and acquiring first position information representing a three-dimensional position of each part of the surface of the surgical site.
  • Providing surgery supporting system configured to include a stage, a.
  • a second aspect of the present invention provides a first step of generating a three-dimensional model of the surgical site based on a plurality of high-resolution tomographic images of the surgical site taken before the operation; First, the surface of the surgical site is optically measured to obtain first position information representing the three-dimensional position of each part of the surface of the surgical site, and an unexposed portion of the surgical site is subjected to ultrasound during surgery. A second step of obtaining second position information representing a three-dimensional position of each part of the non-exposed portion of the surgical site by measuring the first position information and the first position information obtained in the second step.
  • a surgery assisting method in which a third step of correcting a fine tomographic image and a fourth step of displaying the high-definition tomographic image corrected in the third step on a display means.
  • a third aspect of the present invention is a first aspect, wherein a surface of a surgical site is optically measured during an operation, and first position information representing a three-dimensional position of each location on the surface of the surgical site is obtained.
  • the surface of the surgical site is optically measured during the operation to obtain the first position information representing the three-dimensional position of each part of the surface of the surgical site, and the operation is performed during the operation.
  • the non-exposed part of the surgical site is measured by ultrasound, and the three-dimensional Acquiring second position information representing the position of the surgical site, based on the first position information and the second position information, and generating a tertiary surgical site based on a plurality of high-resolution tomographic images of the surgical site taken before the operation.
  • the original model is used to estimate the displacement and deformation at each point of the surgical site, and a plurality of high-resolution tomographic images are corrected, and the corrected high-resolution tomographic images are displayed on the display means.
  • FIG. 1 is a block diagram showing a schematic configuration of a surgery support device.
  • FIG. 2A is a side view of a surgical microscope to which a three-dimensional shape measuring device and a video force camera are attached.
  • FIG. 2B is a bottom view of the surgical microscope to which the three-dimensional shape measuring device and the video camera are attached.
  • FIG. 3A is a perspective view showing an internal configuration of the three-dimensional shape measuring apparatus.
  • FIG. 3B is a perspective view showing an internal configuration of the three-dimensional shape measuring apparatus.
  • FIG. 4A is an image diagram for explaining MRI image capturing and generation of a three-dimensional brain model from the MRI image.
  • FIG. 4B is an image diagram for explaining MRI image capturing and generation of a three-dimensional brain model from the MRI image.
  • FIG. 4C is an image diagram for explaining MRI image capturing and generation of a three-dimensional brain model from the MRI image.
  • FIG. 5 is a flowchart showing details of an MRI image display process executed by a computer of the surgery support apparatus.
  • FIG. 6A is an image diagram illustrating correction of a three-dimensional brain model based on three-dimensional coordinates of each point on the brain surface and each feature point corresponding to an unexposed part of the brain, and includes a cubic image generated from an MRI image.
  • the original brain model is simply displayed as a two-dimensional diagram for easy viewing.
  • FIG. 6B is an image diagram for explaining the correction of the three-dimensional brain model based on the three-dimensional coordinates of each point on the brain surface and each feature point corresponding to an unexposed part of the brain.
  • the figure shows a 3D brain model in which the positions of the corresponding nodes are corrected based on the 3D coordinates of each feature point corresponding to the unexposed part.
  • FIG. 6C is an image diagram illustrating correction of a three-dimensional brain model based on three-dimensional coordinates of each point on the brain surface and each feature point corresponding to an unexposed part of the brain.
  • the three-dimensional brain model corrected by estimating calculation by the element method is shown.
  • the nodes indicated by the right curly braces are the nodes obtained by estimating the node positions by the finite element method.
  • FIG. 1 shows a surgery support device 10 according to the present embodiment.
  • the operation support device 10 includes a computer 12 which also has a personal computer, a computer (PC), and the like!
  • the computer 12 includes a CPU 12A, a ROM 12B, a RAM 12C, and an input / output port 12D, which are connected to each other via a bus 12E.
  • the input / output port 12D has a keyboard 14 and a mouse 16 for the user to input arbitrary information and give various instructions, a display 18 comprising an LCD or CRT and capable of displaying arbitrary information, a hard disk drive. (HDD) 20 and CD-ROM drive 22 are connected to each other.
  • the display 18 corresponds to the display means according to the present invention!
  • a three-dimensional model generation program for generating a three-dimensional brain model described later and an MRI image display program for performing MRI image display processing described later are installed in advance.
  • the 3D model generation program and the MRI image display program are stored together with the setup program on a CD.
  • Record in the ROM set this CD-ROM in the CD-ROM drive 22 of the computer 12, and instruct the CPU 12A to execute the setup program.
  • the MRI image display program and the MRI image display program are sequentially read out and sequentially written to the HDD 20, and various settings are performed as necessary, whereby the 3D model generation program and the MRI image display program are installed.
  • the input / output port 12D of the computer 12 is provided with an MRI imaging device 24 capable of capturing a high-resolution tomographic image (MRI image) of a living body in an arbitrary direction by nuclear magnetic resonance computed tomography.
  • MRI imaging device 24 capable of capturing a high-resolution tomographic image (MRI image) of a living body in an arbitrary direction by nuclear magnetic resonance computed tomography.
  • a three-dimensional shape measuring device 30 and a video camera 32 attached to an operating microscope 26, and an ultrasonic tomography device 34 capable of taking an ultrasonic tomographic image of a living body are connected to each other.
  • the MRI imaging apparatus 24 according to the present invention is used to This is an imaging device that takes “tomographic images” before surgery, and is installed in an MRI imaging room that is provided separately from the operating room where surgery is performed.
  • MRI image data can be stored in various formats such as CD-R, CD-RW, MO, ZIP, DVD-R, DVD-RW, etc. It may be sent from the MRI imaging device 24 to the computer 12 via any of the recording media.
  • the operating microscope 26 is configured to include a microscope section 38 shown in FIG. 2, and the microscope section 38 is directed downward (downward in FIG. 2A) of the microscope section 38.
  • the objective lens 40 and the eyepiece 42 arranged so as to project obliquely upward from the side surface of the microscope section 38 are attached.
  • the objective lens 40 is a zoom lens (variable focal length lens) which also has a plurality of lens powers.
  • an optical component such as a prism for guiding light incident on the objective lens 40 to the eyepiece lens 42 is disposed between the force objective lens 40 and the eyepiece lens 42 (not shown).
  • the optical image of the subject formed by the objective lens 40 and the eyepiece 42 is visually recognized (stereoscopically viewed) by the surgeon using the eyepiece 42 with both eyes.
  • a focusing mechanism is provided between the objective lens 40 and the eyepiece 42, and the focus and zoom magnification of the optical image of the subject can be adjusted by the operator using a foot switch or a switch mounted near the lens barrel of the microscope unit 38. It can be adjusted by operating.
  • the operating microscope 26 has a base portion fixed to a predetermined position in the operating room, and one end portion of an arm 44 formed by rotatably connecting the ends of a plurality of rods to the base portion.
  • the microscope section 38 is rotatably connected to the other end (tip) of the arm 44 (only one end of the arm 44 is shown in FIG. 2).
  • An operating grip 46 is attached to the side of the microscope section 38, and when the operator grips the grip section 46 and moves the microscope section 38, each connecting portion (joint) of the arm 44 is rotated.
  • the microscope section 38 can be moved to a desired position or pointed in a desired direction, so that the operator can visually recognize a desired range as an optical image.
  • a three-dimensional shape measuring device 30 and a video camera 32 are provided on the bottom surface of the microscope section 38.
  • the measurement Z imaging unit 48 is attached.
  • the measurement Z imaging unit 48 has a box-shaped housing, and the video camera 32 is attached to the housing of the measurement Z imaging unit 48 so as to be able to image the lower side of the microscope unit 38.
  • a rectangular opening is provided on the bottom surface of the housing of the measurement Z imaging unit 48, and this opening is closed by a light-transmitting cover 50. It is mounted at a position corresponding to the cover 50 (opening) inside the housing.
  • the three-dimensional shape measuring apparatus 30 includes a movable base 56 spanned between a pair of rails 54.
  • the movable base 56 is screwed with a ball screw 60 that extends in parallel with the rail 54 and is rotated by a motor 58, and slides along the rail 54 with the rotation of the ball screw 60.
  • a light emitting unit 62 including a laser light source is mounted on the movable base 56, and a mirror 64 mounted on the movable base 56 is provided on the side of the light emitting unit 62 that emits laser light (transmitted laser light).
  • a galvanometer mirror 66 which is attached to the rotating shaft of the motor 72 and whose direction is changed in accordance with the driving of the motor 72 is arranged in order. The transmitted laser light emitted from the light emitting unit 62 is reflected by the mirror 64 and the galvanometer mirror 66, passes through the cover 50, and is emitted outside the housing of the measurement Z imaging unit 48.
  • the transmitted laser light emitted outside the housing of the measurement Z imaging unit 48 is reflected by the irradiated object (for example, the surface of the brain as a surgical site) and passes through the cover 50 as return laser light.
  • the irradiated object for example, the surface of the brain as a surgical site
  • the mirror 67 is mounted on the rotating shaft of the motor 72 in the same direction as the galvanometer mirror 66, and is configured to change its direction with the driving of the motor 72.
  • a mirror 68, a lens 69, and a line sensor 70 in which a large number of photoelectric conversion elements are arranged in a line are arranged in order, and the return laser light incident on the mirror 67 is arranged.
  • An output signal from the line sensor 70 is input to a controller of the three-dimensional shape measuring apparatus 30 via an amplifier or an AZD converter (both are not shown). Further, a position sensor for detecting the position of the movable base 56 and an angle sensor for detecting the direction of the galvanometer mirror 66 (and the mirror 67) are also connected to the controller.
  • the controller receives the light reception data input from the line sensor 70 via the amplifier 'A / D conversion ⁇ . It is determined which of the photoelectric conversion elements of the line sensor 70 has received the laser light based on the data, and the position of the photoelectric conversion element that has received the laser light on the line sensor 70 and the detection of the laser light by the sensor are performed. Based on the position of the movable base 56 and the direction of the galvanometer mirror 66, the three-dimensional coordinates of the laser beam irradiation position on the irradiation target (for details, set based on the position of the housing of the measurement Z imaging unit 48) The detected 3D coordinate system (3D coordinates in the case coordinate system) is detected (computed) by triangulation.
  • Motors 72 and 58 are connected to the controller, respectively, and by driving the motor 72 to change the direction of the galvanometer mirror 66 (and the mirror 67), the laser beam irradiation position on the irradiation target is adjusted. By moving along the direction perpendicular to the axis of the rotation axis of 72 (main scanning), and moving the motor 58 to move the movable base 56, the laser beam irradiation position on the irradiation target is parallel to the rail 54. (Sub-scan).
  • the three-dimensional shape measuring device 30 measures the surface shape of the object to be irradiated (three-dimensional coordinates of each part of the surface of the object to be irradiated) over the entire surface.
  • the three-dimensional shape measuring device 30 measures the surface shape of the irradiated object, and obtains data representing the three-dimensional coordinates of each part of the surface of the irradiated object obtained by the measurement (hereinafter, referred to as the data). This data is referred to as surface measurement data) to the computer 12.
  • the surface measurement data corresponds to the first position information according to the present invention, and the rail 54, the movable base 56, the motor 58, the ball screw 60, the light emitting unit 62, the mirror 64, the galvanometer mirror 66, and the motor 72 are described in claims.
  • the mirror 67, 68, the lens 69, the line sensor 70, and the motor 72 in the scanning device according to the second aspect correspond to the detection means according to the second aspect, respectively.
  • the position and orientation of the video camera 32 are adjusted so that the video camera 32 captures an image of the same range as that measured by the three-dimensional shape measuring device 30.
  • a probe 36 that transmits an ultrasonic wave and receives an ultrasonic wave reflected by an arbitrary object is connected to the ultrasonic tomography apparatus 34.
  • the acoustic tomography apparatus 34 converts the signal input from the probe 36 into an ultrasonic tomographic image when the ultrasonic wave is received by the probe 36 and outputs the signal to the computer 12.
  • a mark 36A made of a material having high light reflectance is attached to the tip and the rear end of the probe 36 in order to detect the position and the orientation of the probe 36. Ultrasonic as described below When the tomographic apparatus 34 is taking an ultrasonic tomographic image, the three-dimensional coordinates of the mark 36A attached to the probe 36 are measured by the three-dimensional shape measuring apparatus 30.
  • an MRI image of the head of a patient is first captured in advance by an MRI imaging device 24 in an MRI imaging room.
  • an incision is made in the patient's head at the time of surgery based on a predetermined skin incision line (line indicating the position where the scalp is incised) on the patient's head.
  • a predetermined skin incision line line indicating the position where the scalp is incised
  • three or more preoperative marks 80 are attached.
  • the preoperative mark 80 corresponds to the first mark described in claim 8, and for example, a white spherical mark having a diameter of about 5 mm can be used.
  • the craniotomy area shown in FIG. 4B means the area where the skull is resected during surgery.
  • an MRI image is captured by the MRI imaging device 24 for each of a plurality of cross sections set at regular intervals (for example, about 1 mm) with respect to the patient's head.
  • a plurality of MRI images (a plurality of high-definition tomographic images of a surgical site) obtained by visualizing each set section with high definition can be obtained.
  • Preoperative marks 80 are also included in some of the multiple MRI images obtained by imaging.
  • the preoperative mark 80 affixed to the patient's head remains unchanged until the operation.
  • the plurality of MRI images photographed by the MRI photographing device 24 correspond to the plurality of high-resolution tomographic images (MRI images according to claim 6) of the present invention.
  • Data of a plurality of MRI images obtained by the above-described imaging are input from the MRI imaging device 24 to the computer 12 and stored in the HDD 20. Then, the computer 12 generates a three-dimensional model of the patient's brain (three-dimensional brain model). Specifically, first, all the MRI images in which at least one of the three preoperative marks 80 is imprinted out of a plurality of MRI images represented by the input data are selected, and the MRI images on the selected MRI images are selected.
  • a three-dimensional coordinate system (hereinafter, referred to as an MRI coordinate system) is set based on the positions of the three preoperative marks 80 (for example, one of the three preoperative marks 80 is set as the origin).
  • an image area corresponding to the brain of the patient is extracted from each of a plurality of MRI images, and the extracted image areas are located on the surface or inside the brain, and the MRI images and surface measurement are performed.
  • Data, ultrasonic cutting Many feature points (including points corresponding to brain features such as cerebral sulcus, gyri, arteries, and veins, and points corresponding to boundaries between brain tumors and normal parts) that are easy to distinguish on layer images After setting, the 3D coordinates of each feature point in the MRI coordinate system are obtained, and the 3D coordinates of each feature point in the MRI coordinate system and the position of each feature point on the MRI image are stored in the HDD 20 or the like. .
  • feature points (nodes) located on the surface of the brain are connected by sides, and a portion surrounded by the sides is regarded as a plane, so that the outer edge of the brain is formed.
  • the feature points (nodes) located inside the brain are connected by edges, and the part surrounded by the edges is regarded as a plane.
  • Divide into three-dimensional elements As a result, as shown in FIG. 4C, a three-dimensional model of the brain representing the patient's brain as a set of a number of three-dimensional elements can be generated from a plurality of MRI images of the patient's head.
  • the computer 12 checks the density of the nodes in the three-dimensional brain model based on the three-dimensional coordinates of each feature point (each node) in the MRI coordinate system. If a (low density) region is present, nodes are added to the region to make the sizes of the three-dimensional elements constituting the three-dimensional brain model uniform. Then, the computer 12 causes the HDD 20 to store the generated data of the three-dimensional brain model.
  • the above-described three-dimensional brain model may be generated by a computer other than the computer 12, and the generated data of the three-dimensional brain model may be transferred to the computer 12.
  • the operation to remove the brain tumor is performed after the above-described MRI image capturing and generation of the three-dimensional brain model are completed.
  • the operator starts the MRI image display program on the computer 12 by the operator.
  • the computer 12 executes the MRI image display processing during the operation.
  • the MRI image display processing will be described with reference to the flowchart of FIG.
  • step 100 it is determined whether or not the patient has completed craniotomy, and step 100 is repeated until the determination is affirmative.
  • the patient's scalp is first incised to expose the skull, and then the portion of the exposed skull corresponding to a predetermined craniotomy range is cut out to expose the brain as a surgical site. Craniotomy surgery is performed.
  • the determination in step 100 is affirmed and the process proceeds to step 102, where the display proceeds to step 102.
  • step 104 it is determined whether the intraoperative mark is completely applied or not, and step 104 is repeated until the determination is affirmed.
  • the operator When the request for the addition of the intraoperative mark is requested, the operator, as shown in Fig. 4B as an example, removes a part of the skull by a craniotomy operation on the skull in the vicinity of the bone window formed by the skull. Then, three or more intraoperative marks 82 are given.
  • the intraoperative mark 82 may be a white spherical mark having a diameter of about 5 mm, for example, like the preoperative mark 80 described above.
  • the surgeon positions the position without disturbing the craniotomy during the craniotomy, and moves the microscope section 38 of the surgical microscope 26 through the craniotomy.
  • the objective lens 40 and the eyepiece 42 of the microscope 26 are moved to a position within the visual field range where an optical image is formed (with the movement of the microscope section 38, the exposed brain, the intraoperative mark 82, and the preoperative mark 80 are moved).
  • the information indicating that the application of the intraoperative mark 82 has been completed is input via the keyboard 14 within the measurement range of the three-dimensional shape measuring device 30 and the imaging range of the video camera 32).
  • step 104 the determination in step 104 is affirmed, and in the next step 106 and subsequent steps, calibration processing for obtaining a coordinate conversion equation for converting the coordinate values in the housing coordinate system into the coordinate values in the MRI coordinate system is performed.
  • step 106 a message indicating that the current state is “measuring” is displayed on the display 18, thereby interrupting the surgical operation.
  • step 108 the three-dimensional shape measuring device 30 is instructed to measure the surface shape, and the video camera 32 is instructed to image the surface of the brain.
  • the three-dimensional shape measuring device 30 emits the transmitted laser light toward the patient's head including the surface of the brain, and receives the return laser light reflected on the patient's head on the line sensor 70. Detecting (calculating) the three-dimensional coordinates of the irradiation position of the laser beam based on the position is repeated by changing the direction of the galvanometer mirror 66 (and mirror 67) and moving the movable base 56, thereby opening the head. It measures the surface shape of the patient's head that has undergone surgery (3D coordinates of each part of the head including the surface of the brain). The video camera 32 captures images of the surface of the brain.
  • step 110 the surface measurement data obtained by the three-dimensional shape measuring device 30 measuring the surface shape of the head of the patient who has undergone the craniotomy operation is fetched from the three-dimensional shape measuring device 30 and the video is acquired.
  • the image data obtained by the camera 32 taking an image is taken in from the video camera 32.
  • step 112 data corresponding to each preoperative mark 80 and each intraoperative mark 82 is extracted from the surface measurement data acquired from the three-dimensional shape measuring device 30 (the preoperative mark 80 and the intraoperative mark 82 Based on the extracted data, the three-dimensional coordinates of the center of each preoperative mark 80 and each intraoperative mark 82 are determined by calculation based on the extracted data.
  • the preoperative mark 80 and the intraoperative mark 82 exist as a circular image portion in the captured image obtained by the video camera 32, data extracted from the surface measurement data The center of the spherical object corresponding to the individual preoperative mark 80 or individual intraoperative mark 82 to be represented, and the circular image corresponding to the individual preoperative mark 80 or individual intraoperative mark 82 existing in the captured image By superimposing the centers of the parts, the surface measurement data and the captured image can be superimposed.
  • the three-dimensional coordinates of each preoperative mark 80 are determined, and the individual surgical operations represented by the three-dimensional coordinates of each preoperative mark 80 calculated in step 112 are calculated.
  • the position of the preoperative mark 80 changes with the craniotomy. It is also possible to check whether or not! /, Na! /, Etc., and if necessary, correct the position of the preoperative mark 80 and derive the 3D coordinates of the preoperative mark 80 and the intraoperative mark 82 again. .
  • the three-dimensional coordinates of the individual preoperative marks 80 and the individual intraoperative marks 82 calculated in step 112 are forces, which are coordinate values in the housing coordinate system. Since the dimensional coordinate values are known, in the next step 114, the positional relationship between the preoperative mark group and the intraoperative mark group represented by the three-dimensional coordinates of the individual preoperative mark 80 and the individual intraoperative mark 82 calculated in step 112 , Based on the coordinate values of each preoperative mark 80 in the MRI coordinate system, convert the three-dimensional coordinate values in the housing coordinate system into three-dimensional coordinate values in the MRI coordinate system based on the position of the intraoperative mark 82. The formula is derived, and the derived coordinate conversion formula is stored in the HDD 20. This completes the calibration process.
  • the position of the preoperative mark 80 is likely to change as the operation proceeds. Since it is provided on the skull near the bone window, the position of the intraoperative mark 82 does not change during the operation.
  • a coordinate conversion formula for converting the three-dimensional coordinate value in the housing coordinate system into the three-dimensional coordinate value in the MRI coordinate system based on the position of the intraoperative mark 82 is derived. By using the above coordinate conversion formula, the three-dimensional coordinate value in the housing coordinate system, which is not affected even if the position of the preoperative mark 80 changes with the progress of the surgery, is calculated using the position of the intraoperative mark 82.
  • MRI coordinate system the MRI coordinate system set based on the position of the original preoperative mark 80
  • 3D brain model and MRI image. It is possible to accurately perform positioning with the first position information (surface measurement data) and the second position information (non-exposed part data: details will be described later).
  • the subsequent three-dimensional shape measurement device 30 In the measurement and the subsequent imaging by the video camera 32, the preoperative mark 80, which is provided at a relatively distant position with respect to the craniotomy area (bone window), is positioned within the measurement range by the three-dimensional shape measuring device 30 and There is no need to put the camera within the imaging range of the video camera 32.
  • the microscope unit 38 the three-dimensional shape measuring device 30 and the video camera 32
  • measurement by the three-dimensional shape measuring device 30 and imaging by the video force camera 32 are performed. Therefore, the accuracy of measurement by the three-dimensional shape measuring device 30 and imaging by the video camera 32 can be improved.
  • the "measurement" message displayed on the display 18 is deleted, the data of the MRI image taken before the operation is read from the HDD 20, and the data is read based on the read data.
  • the operator can accurately determine the position of the brain tumor to be removed immediately after the completion of the craniotomy.
  • a high-definition display dedicated to displaying MRI images may be provided, and the MRI images may be displayed on this high-definition display.
  • Also display 1 In addition to simply displaying the MRI image on 8, the central force of the field of view where the objective lens 40 and the eyepiece 42 of the operating microscope 26 form an optical image Compute which position on the MRI image corresponds Then, for example, a blinking mark or the like is displayed at the calculated position on the MRI image so that the point of interest of the surgeon is clearly indicated on the MRI image.
  • steps 122 to The corrected MRI image may be displayed after the process of step 150, or the uncorrected MRI image may be displayed immediately after the craniotomy operation. May be selectable.
  • step 118 it is determined whether or not a force has arrived at which timing to update the MRI image displayed on the display 18 has arrived. This determination may be made by determining whether or not a certain amount of time has elapsed since the display of the MRI image was started (or since the last time the MRI image was updated). It may be performed by determining whether or not has instructed to update the MRI image. If the determination in step 118 is denied, the process proceeds to step 120, in which a determination is made as to whether the operation has been completed. This determination can be made by determining whether or not information indicating the end of the operation has been input by the operator via the keyboard 14. If this determination is also rejected, the process returns to step 118, and steps 118 and 120 are repeated until any determination is affirmed.
  • the operator starts the surgical operation after the craniotomy operation in the brain tumor extirpation surgery. Includes operations such as pushing the brain with a spatula and incising or resecting parts of the brain.
  • displacement or deformation occurs in each part of the brain, so that the actual state of the brain (the position and shape of each part) is represented by the MRI image represented by the MRI image displayed on the display 18. This makes it difficult for the surgeon to accurately determine the position, range, etc. of the brain tumor to be removed, even if the MRI image displayed on the display 18 is referred to. .
  • step 120 the determination in step 120 is affirmed, and the process proceeds to step 122.
  • step 122 a process of correcting and updating the MRI image displayed on the display 18 is performed.
  • step 122 a message indicating that the current state is “measuring” is displayed on the display 18, thereby interrupting the surgical operation.
  • step 124 the three-dimensional shape measuring device 30 is instructed to measure the surface shape, and the video camera 32 is instructed to image the surface of the brain.
  • the three-dimensional shape measuring apparatus 30 emits the transmitted laser light toward the patient's head including the surface of the brain, and receives the return laser light reflected on the patient's head on the line sensor 70.
  • Detecting (calculating) the three-dimensional coordinates of the irradiation position of the laser beam based on the above is repeated while changing the direction of the galvanometer mirror 66 (and the mirror 67) and moving the movable base 56, thereby performing a craniotomy operation.
  • the video camera 32 images the surface of the brain. The measurement of the surface shape by the three-dimensional shape measuring device 30 and the imaging by the video camera 32 are completed in about 20 seconds.
  • the operator grasps the operating microscope 26 and moves the microscopic section 38 while visually recognizing a portion to be operated by the operating microscope 26. Since the three-dimensional shape measuring device 30 and the video camera 32 are attached to the surgical microscope 26, the surface shape measurement range and the imaging range are measured when the three-dimensional shape measuring device 30 measures the surface shape and when the video camera 32 takes an image.
  • the three-dimensional shape measuring device 30 only measures the surface shape within a certain range in the housing coordinate system and measures the surface shape within the measurement range including the brain surface and the intraoperative mark 82.
  • the video camera 32 can capture an image of the surface of the brain and the imaging range including the intraoperative mark 82 simply by imaging a certain imaging range.
  • step 126 the surface measurement data obtained by the measurement by the three-dimensional shape measuring device 30 is taken in from the three-dimensional shape measuring device 30, and the image data obtained by the video camera 32 taking an image is converted into a video. Import from camera 32.
  • step 1208 the surface measurement data acquired from the three-dimensional shape measurement device 30 corresponds to each of the intraoperative marks 82.
  • the three-dimensional coordinates of the center of each intraoperative mark 82 are obtained by calculation based on the extracted data.
  • step 130 the coordinate conversion formula derived in step 114 is read from the HDD 20, and the three-dimensional coordinates (coordinates in the housing coordinate system) of each point on the brain surface represented by the surface measurement data are read using the read coordinate conversion formula.
  • step 132 a message requesting the operator to take an ultrasonic tomographic image is displayed on the display 18, so that the ultrasonic tomographic apparatus 34 is used to take an ultrasonic tomographic image of the brain and The three-dimensional shape measuring device 30 is instructed to measure the surface shape.
  • the operator grasps the probe 36 and instructs the ultrasonic tomographic imaging apparatus 34 to capture an ultrasonic tomographic image with the tip of the probe 36 facing the brain of the patient.
  • the ultrasonic tomographic apparatus 34 transmits an ultrasonic wave with the tip force of the probe 36, and is reflected by an arbitrary object and received by the probe 36.
  • the electrical signal output from the probe 36 is converted into digital data and stored in a memory or the like in accordance with the condition of the probe 36, while the force of the tip of the probe 36 is repeated while changing the transmission direction of the ultrasonic wave along a certain direction.
  • data representing an ultrasonic tomographic image of the brain for a cross section parallel to the certain direction is generated.
  • the operator repeatedly instructs the ultrasonic tomography apparatus 34 to take an ultrasonic tomographic image while moving the probe 36 at a substantially constant distance in a direction substantially orthogonal to the predetermined direction.
  • a plurality of ultrasonic tomographic images corresponding to a plurality of cross sections separated by a substantially constant distance from the brain of the patient are respectively captured.
  • the acquisition of multiple ultrasonic tomographic images is completed in about three minutes.
  • the measurement of the surface shape is continued by the three-dimensional shape measuring device 30 so that the position of the probe 36 (probe 36 The three-dimensional coordinates of the mark 36A attached to the) and the position of the intraoperative mark 82 are repeatedly measured.
  • step 134 data of a plurality of ultrasonic tomographic images photographed by the ultrasonic tomography apparatus 34 are fetched from the ultrasonic tomography apparatus 34, respectively, and the surface obtained by the measurement by the three-dimensional shape measurement apparatus 30 is obtained. Import measurement data from the three-dimensional shape measuring device 30.
  • step 136 from the surface shape measurement data acquired from the three-dimensional shape measurement device 30, the data corresponding to the individual marks 36A of the probe 36 and the individual intraoperative marks 82 at the time of capturing each ultrasonic tomographic image are corresponded.
  • the three-dimensional coordinates of the center of each mark 36A and the three-dimensional coordinates of the center of each intraoperative mark 82 when each ultrasonic tomographic image is captured are calculated based on the extracted data. Ask for each. Also, based on the three-dimensional coordinates of the center of each mark 36A obtained by the calculation, the three-dimensional coordinates of the tip of the probe 36 (coordinate values in the housing coordinate system) when capturing each ultrasonic tomographic image. And the direction of the probe 36 (direction in the case coordinate system).
  • step 138 the inside of the brain (three-dimensional coordinates cannot be detected by the three-dimensional shape measuring device 30) from each of the ultrasonic tomographic images based on the data of the plurality of ultrasonic tomographic images acquired from the ultrasonic tomographic imaging device 34.
  • Unexposed parts feature points that are located here and are easy to distinguish on the image (points corresponding to characteristic parts of the brain such as cerebral sulcus, arteries, and veins, and the boundary between the brain tumor and normal parts) (Including corresponding points).
  • step 140 first, the three-dimensional coordinates of the tip of the probe 36, the orientation of the probe 36, and each feature point on each ultrasonic tomographic image when each ultrasonic tomographic image calculated in step 136 is captured.
  • the coordinate conversion formula derived in the previous step 114 is read from the HDD 20, and the housing coordinate is calculated using the read coordinate conversion formula.
  • the three-dimensional coordinates of each feature point in the system are converted into three-dimensional coordinates in the MRI coordinate system based on the position of each intraoperative mark 82 represented by the three-dimensional coordinates obtained in step 136, and each feature after coordinate conversion
  • the three-dimensional coordinates of the point and the position of each feature point on the ultrasonic tomographic image are stored in the HDD 20 as non-exposed part data. Thereby, the alignment between the second position information (unexposed part data) and the three-dimensional brain model (and the MRI image) is completed.
  • the surface measurement data and the unexposed part data used for the correction of the MRI image are obtained.
  • the data of the three-dimensional brain model (see also FIG. 6A) is acquired from the HDD 20.
  • the features of the brain for example, sulci, gyri, arteries, veins, etc.
  • the features of the brain for example, sulci, gyri, arteries, veins, etc.
  • the features of the brain for example, sulci, gyri, arteries, veins, etc.
  • the position and the orientation of the video camera 32 are adjusted so that the same range as the measurement range by the three-dimensional shape measuring device 30 is imaged, so that the correspondence between the captured image and the MRI image is obtained. Based on the results, it is determined which point on the MRI image corresponds to each point on the brain surface whose three-dimensional coordinates in the MRI coordinate system are known from the surface measurement data. Then, based on the position on the MRI image of each node (feature point) of the 3D brain model stored in the HDD 20 at the time of generation of the 3D brain model, the surface measurement of the nodes constituting the 3D brain model is performed. By determining the nodes corresponding to each point on the brain surface for which the three-dimensional coordinates in the MRI coordinate system are known from the data, the surface measurement data is associated with the three-dimensional brain model.
  • the surface measurement data such as a change in the color of the surface of the brain can be obtained. Since it is possible to associate the surface measurement data with the three-dimensional brain model using the unclear features, it is possible to improve the accuracy of the association between the surface measurement data and the three-dimensional brain model.
  • step 144 similarly, the feature part of the brain appearing in the ultrasonic tomographic image is collated with the feature part of the brain appearing in the MRI image, so that the ultrasonic tomographic image is obtained. Judgment of which point on the MRI image corresponds to each point corresponding to the inside of the brain, the position of each node (feature point) of the 3D brain model on the MRI image, and the ultrasonic tomographic image Based on the positions of the extracted feature points on the ultrasonic tomographic image, the three-dimensional coordinates in the MRI coordinate system are calculated based on the non-exposed part data of the nodes constituting the three-dimensional brain model. The node corresponding to each known feature point in the brain is determined.
  • the three-dimensional coordinates of the node determined to correspond to any of the points on the brain surface represented by the surface measurement data are converted to the three-dimensional coordinates of the corresponding point (the MRI coordinate system represented by the surface measurement data).
  • the three-dimensional coordinates of the node determined to correspond to one of the feature points in the brain represented by the unexposed part data are converted to the third-order coordinates of the corresponding feature point.
  • the surface measurement data of each of the nodes constituting the three-dimensional brain model is The position of the node corresponding to any of the points on the surface of the brain represented or any of the characteristic points inside the brain represented by the unexposed part data is corrected.
  • FIG. 6B shows an example in which the position is corrected only at the nodal point corresponding to the front surface or the back surface of the brain, and the power is shown at the part between the front surface and the back surface of the brain.
  • Corresponding nodes may also be subject to position correction
  • step 146 of the nodes constituting the three-dimensional brain model, the node whose position is to be corrected in step 144 is determined based on the node whose position has been corrected in step 144 and the corrected position of the node.
  • the position of the other nodes is displaced by applying the finite element method, and the estimation operation is performed.
  • the positions (three-dimensional coordinates) of the nodes other than the nodes whose position is to be corrected in step 144 are corrected.
  • the 3D brain model can be modified to accurately represent the current state of the brain (displacement and deformation of each part).
  • a similar method for example, a method in which the finite element method is simplified for the purpose of high-speed processing, etc. may be applied.
  • next step 148 for example, based on the 3D brain model in which the position of each node is corrected in steps 144 and 146 and the position of each node (feature point) of the 3D brain model on the MRI image, for example, For example, by performing geometric transformation on the MRI image so that the position of each pixel of the MRI image moves in accordance with the movement of the position of each node due to the correction of the three-dimensional brain model, the corrected three-dimensional brain MRI images are corrected according to the displacement and deformation of each part of the brain represented by the model. As a result, an MRI image that represents the current state of the brain with high precision and accuracy can be obtained.
  • the surgeon is able to obtain the target to be removed even when displacement or deformation occurs in various parts of the brain due to various surgical operations after the craniotomy. Position and the like of the brain tumor can be accurately determined.
  • the MRI image The correction and updating of the image are repeated (until the determination in step 120 is affirmed) until the operation is completed (until the determination in step 120 is affirmed).
  • an appropriate anatomical analysis of the surgically operated part and the surrounding brain can be performed at each stage, such as at the start of brain tumor removal, during removal, and at the end of removal.
  • the MRI image to be displayed on the display 18 may be a functional mapping MRI image in which the distribution of each functional field investigated in advance is superimposed and displayed as a map. In this case, the surgeon can proceed with the operation while grasping the positional relationship between the part on which the operation is being performed and each functional area.
  • the surface of the brain is optically measured by the three-dimensional shape measuring apparatus 30 during the surgery (and the video camera 32 is used during the surgery).
  • Surface shape data obtained by imaging the surface of the brain) and unexposed part data obtained by measuring the unexposed part of the brain during surgery with an ultrasonic tomography device 34 The MRI image taken in advance is corrected to an MRI image that accurately represents the current state of the brain and displayed during surgery, so the current state of the brain (displacement due to surgical operation etc.) And the state of the brain after the deformation) can be recognized by the surgeon, and the accuracy of the operation can be improved.
  • the measurement of the surface shape by the three-dimensional shape measuring device 30 and the imaging by the video camera 32 are completed in about 20 seconds, and the ultrasonic tomography device 34 Since the acquisition of multiple ultrasonic tomographic images is completed in about 3 minutes, the time required to interrupt the surgical operation is significantly reduced compared to the case where MRI images are regularly taken during surgery. Therefore, it is possible to prevent the operation from being disturbed by displaying the MRI image representing the current state of the brain during the operation.
  • the surgery support apparatus 10 can be installed in existing surgical equipment for neurosurgery by adding a 3D shape measuring apparatus 30, a video camera 32, a 3D model generation program, and an MRI image. Since it can be realized only by adding the computer 12 on which the display program is installed, it can be realized at a much lower cost as compared with a case where MRI images are regularly taken during the operation.
  • the present invention is not limited to this, and may be applied to brain surgery other than removal of a brain tumor.
  • the present invention is not limited to the operation site of the brain, and can be applied to support for operation on an arbitrary site of the human body.
  • an MRI image has been described as an example of a high-resolution tomographic image according to the present invention.
  • the image is captured by another imaging method (for example, positron emission tomography (PET) or single 'photon' emission 'computed tomography (SPECT).
  • PET positron emission tomography
  • SPECT single 'photon' emission 'computed tomography
  • the other tomographic images are associated with the high-definition tomographic image according to the present invention in advance, and are added to the surface measurement data and the non-exposed part data as described above.
  • the other tomographic image may be corrected and displayed based on the corrected high-definition tomographic image.

Abstract

　手術支援装置及び方法が開示されており、この装置および方法では、手術前に撮影した手術部位の複数の高精細断層画像に基づいて前記手術部位の三次元モデルを生成し、手術中に手術部位の表面を光学的に測定し、前記手術部位の表面の各個所の３次元位置を表す第１の位置情報を取得する。また、手術中に前記手術部位の非露出部分を超音波により測定し、前記手術部位の非露出部分の各個所の３次元位置を表す第２の位置情報を取得する。さらに、前記第１の位置情報及び前記第２の位置情報に基づき、前記生成した三次元モデルを用いて前記手術部位の各個所における変位及び変形を推測する。そして、推測した手術部位の各個所における変位及び変形に応じて、手術前に撮影した前記手術部位の複数の高精細断層画像を補正し、その補正した高精細断層画像を表示させる。                                                                                 

Description

明 細 書
手術支援装置、方法及びプログラム
技術分野
[0001] 本発明は手術支援装置、方法及びプログラムに係り、特に、手術前に撮影した手 術部位の複数の高精細断層画像を補正して表示手段に表示させることで手術の実 施を支援する手術支援装置及び手術支援方法、コンピュータを前記手術支援装置と して機能させるための手術支援プログラムに関する。
背景技術
[0002] 核磁気共鳴コンピュータ断層撮影法（MRI： Magnetic Resonance Imaging, NMR— CT: Nuclear Magnetic Resonance—し omputea romographyとも 、つ)は、静 1 場内に ある生体内のスピンをもつ原子核の核磁気共鳴現象を利用して生体の断層画像を 得るものであり、 X線 CT撮影のような放射線被爆がなぐ骨による影響を受けず、任 意の方向についての高精細な断層画像が得られる等の特長を有しており、手術ゃ検 查等、医療の様々な場面で用いられている（なお、以下では核磁気共鳴コンピュータ 断層撮影法による撮影によって得られた断層画像を MRI画像と称する）。
[0003] 例えば、脳神経外科の手術における摘出対象である脳腫瘍は、目視では正常部と の境界が分り難いため、脳神経外科の手術では、事前に頭部の MRI画像を撮影し ておき、実際の術野を頭部の MRI画像と繰り返し見比べることで、脳腫瘍と正常部と の境界を判断しながら手術が進められている。また、人間の脳には機能的に重要な 場所 (機能野: eloquent area)があるので (例えば運動野'感覚野'言語野'視覚野 · 聴覚野等）、各機能野がどの位置にどのように分布しているかを事前に調べ、手術中 に参照される頭部の MRI画像上に各機能野の分布具合を地図として表示させること も行われて 、る (lUnctional mapping MR丄ごも!ヽつ)。
[0004] 上記に関連して非特許文献 1には、脳神経外科の手術において、赤外光を用いた 位置検出により、手術前に撮影した頭部の MRI画像と術野の空間を共通の座標系 によって対応付けると共に、現在手術操作を加えている箇所の位置を検出し、現在 手術操作を加えて ヽる箇所を MRI画像上で表示するように構成された光学式手術 ナビゲーシヨン装置が開示されている。
[0005] また、非特許文献 2には、超音波プローブによって手術中に超音波断層画像を撮 影すると共に、超音波プローブの位置を赤外光によって検出することで、手術前に撮 影した頭部の MRI画像を手術中に撮影した超音波断層画像と対応付け、非特許文 献 1に記載の光学式手術ナビゲーシヨン装置と同様に、現在手術操作を加えて 、る 箇所を MRI画像上で表示するように構成されたナビゲーシヨン装置が開示されてい る。
[0006] また、特許文献 1には、手術顕微鏡の位置及び向きを光学式の位置計測方式で検 出し、拡大率や焦点距離のデータ処理を行い、手術前に撮影した頭部の MRI画像 や脳血管画像等の画像情報を、手術中に手術顕微鏡で撮影されたリアルタイム画像 と位置合わせして重畳表示する技術が開示されて 、る。
[0007] 更に、特許文献 2には、手術前に撮影した高精細な MRI画像 (術前画像)を 3次元 画像に再構成し、予測される変形に関する変形条件に基づき 3次元画像を変形し変 形データとして記憶しておき、手術中に MRI画像を撮影し、術前画像中の関心領域 の 2次元画像を 3次元画像に再構成し、変形データとの類似性を演算して最適な変 形データを選択し、硬性鏡からの被検体の画像を重畳して表示する技術が開示され ている。
非特許文献 1 : Medtronic SNT、 "StealthStation", [online], [平成 16年 3月 2日検索] 、インターネット < URL :
http://www.stealthstation.com/ physician/ neuro/library/ treon.jsp >
非特許文献 2 : Medtronic SNT、 "SonoNav"、 [online], [平成 16年 3月 2日検索]、イン ターネット < URL :
http://www.stealthstation.com/ physician/ neuro/library/ sononav.jsp
特許文献 1 :特開 2000— 333971号公報
特許文献 2 :特開 2002— 102249号公報
発明の開示
発明が解決しょうとする課題
[0008] し力しながら、脳神経外科の手術では手術中の操作により脳が変形するため、手術 前に撮影した頭部の MRI画像を参照しても、手術中の実際の脳の状態 (例えば脳腫 瘍の位置や範囲等)を精度良く判断することは困難である。前述した非特許文献 1、 非特許文献 2及び特許文献 1に記載の技術は、何れも手術中の操作による脳の変形 を考慮しておらず、手術前に撮影した MRI画像に新たな情報を加えたり、リアルタイ ム画像と位置合わせして表示する技術であるので、手術の一助にはなるものの、手 術の精度向上には必ずしも寄与しない。
[0009] 上記の問題は、例えば特許文献 2に記載の技術のように、手術中に MRI画像の撮 影を定期的に行い、手術中に参照する MRI画像を定期的に更新することで解決で きる。しかし、これを実現するためには手術室に MRI撮影装置を設置する必要があり 、非磁性材料カゝら成る手術機材を使用する必要もある等、極めて高コストで制約も非 常に多ぐまた、 MRI画像の撮影を行っている間は手術操作を中断せざるを得ない、 という新たな問題も生ずる。更に、特許文献 2に記載の技術は、手術中の手術部位の 変形が事前に予測した変形条件と相違していた場合に表示画像の精度が低下する という欠点も有している。
[0010] 本発明は上記事実を考慮して成されたもので、手術中の手術部位の状態を精度良 く表す画像を提示することを簡易な構成で実現できる手術支援装置、手術支援方法 及び手術支援プログラムを得ることが目的である。
課題を解決するための手段
[0011] 本発明の第 1の態様は、手術中に手術部位の表面を光学的に測定し、前記手術部 位の表面の各個所の 3次元位置を表す第 1の位置情報を取得する第 1取得手段と、 手術中に前記手術部位の非露出部分を超音波により測定し、前記手術部位の非露 出部分の各個所の 3次元位置を表す第 2の位置情報を取得する第 2取得手段と、前 記第 1取得手段によって取得された前記第 1の位置情報及び前記第 2取得手段によ つて取得された前記第 2の位置情報に基づき、手術前に撮影した手術部位の複数の 高精細断層画像に基づ 、て生成された三次元モデルを用いて前記手術部位の各 個所における変位及び変形を推測し前記複数の高精細断層画像を補正する補正手 段と、前記補正手段によって補正された高精細断層画像を表示手段に表示させる表 示制御手段と、を含んで構成される手術支援装置を提供する。 [0012] 本発明の第 2の態様は、手術前に撮影した手術部位の複数の高精細断層画像に 基づ!/、て前記手術部位の三次元モデルを生成する第 1のステップ、手術中に手術部 位の表面を光学的に測定し、前記手術部位の表面の各個所の 3次元位置を表す第 1の位置情報を取得すると共に、手術中に前記手術部位の非露出部分を超音波に より測定し、前記手術部位の非露出部分の各個所の 3次元位置を表す第 2の位置情 報を取得する第 2のステップ、前記第 2のステップで取得した前記第 1の位置情報及 び前記第 2の位置情報に基づき、前記第 1のステップで生成した三次元モデルを用 Vヽて前記手術部位の各個所における変位及び変形を推測し、推測した前記手術部 位の各個所における変位及び変形に応じて、手術前に撮影した前記手術部位の複 数の高精細断層画像を補正する第 3のステップ、及び、前記第 3のステップで補正し た高精細断層画像を表示手段に表示させる第 4のステップを手術支援方法を提供す る。
[0013] 本発明の第 3の態様は、手術中に手術部位の表面を光学的に測定させ、前記手術 部位の表面の各個所の 3次元位置を表す第 1の位置情報を取得する第 1取得手段、 手術中に前記手術部位の非露出部分を超音波により測定させ、前記手術部位の非 露出部分の各個所の 3次元位置を表す第 2の位置情報を取得する第 2取得手段、前 記第 1取得手段によって取得された前記第 1の位置情報及び前記第 2取得手段によ つて取得された前記第 2の位置情報に基づき、手術前に撮影した手術部位の複数の 高精細断層画像に基づ 、て生成された三次元モデルを用いて前記手術部位の各 個所における変位及び変形を推測し、推測した前記手術部位の各個所における変 位及び変形に応じて、手術前に撮影した前記手術部位の複数の高精細断層画像を 補正する補正手段、及び、前記補正手段によって補正された高精細断層画像を表 示手段に表示させる表示制御手段として機能させる手術支援プログラムを提供する 発明の効果
[0014] 本発明によれば、手術中に手術部位の表面を光学的に測定して手術部位の表面 の各個所の 3次元位置を表す第 1の位置情報を取得すると共に、手術中に手術部位 の非露出部分を超音波により測定して手術部位の非露出部分の各個所の 3次元位 置を表す第 2の位置情報を取得し、 第 1の位置情報及び第 2の位置情報に基づき、 手術 前に撮影した手術部位の複数の高精細断層画像に基づいて生成された手術部位の三次元 モデルを用いて手術部位の各個所における変位及び変形を推測し複数の高精細断層画像 を補正し、 補正した高精細断層画像を表示手段に表示させるので、 手術中の手術部位の 状態を精度良く表す画像を提示することを簡易な構成で実現できる、 という優れた効果 を奏することができる。
図面の簡単な説明
[図 1 ] 手術支援装置の概略構成を示すブロック図である。
[図 2 A] 3次元形状測定装置及びビデオ力メラが取り付けられた手術顕微鏡の側面図 である。
[図 2 B ] 3次元形状測定装置及びビデオカメラが取り付けられた手術顕微鏡の底面図 である。
[図 3 A] 3次元形状測定装置の内部構成を示す斜視図である。
[図 3 B ] 3次元形状測定装置の内部構成を示す斜視図である。
[図 4 A] MR I画像の撮影及び MR I画像からの 3次元脳モデルの生成を説明するィ メージ図である。
[図 4 B ] MR I画像の撮影及び MR I画像からの 3次元脳モデルの生成を説明するィ メージ図である。
[図 4 C] MR I画像の撮影及び MR I画像からの 3次元脳モデルの生成を説明するィ メ一ジ図である。
[図 5 ]手術支援装置のコンピュータで実行される M R I画像表示処理の内容を示すフ ローチャー卜である。
[図 6 A]脳表面の各点及び脳の非露出部分に相当する各特徴点の 3次元座標に基づく 3次元脳モデルの補正を説明するイメージ図であり、 MR I画像から生成された 3次 元脳モデルを、 見易さのため、 2次元の図として簡略表示している。
[図 6 B ]脳表面の各点及び脳の非露出部分に相当する各特徴点の 3次元座標に基づく 3次元脳モデルの補正を説明するィメージ図であり、脳表面の各点及び脳の非露出部 分に相当する各特徴点の 3次元座標に基づき、対応する節点の位置を修正した 3次元 脳モデルを示している。
[図 6 C] 脳表面の各点及び脳の非露出部分に相当する各特徴点の 3次元座標に基づく 3次元脳モデルの補正を説明するイメージ図であり、 位置未修正の節点の位置を有限 要素法により推定演算することで補正した 3次元脳モデルを示しており、 右中括弧で 示されている節点群は、有限要素法による節点位置の推定演算を行つた節点群である。
差替え用弒（鍾 «26) 発明を実施するための最良の形態
[0016] 以下、図面を参照して本発明の実施形態の一例を詳細に説明する。なお、以下で は本発明を、手術部位としての脳の内部に生じている脳腫瘍を摘出する手術の支援 に適用した場合を例に説明するが、本発明はこれに限定されるものではない。
[0017] 図 1には本実施形態に係る手術支援装置 10が示されている。手術支援装置 10は パーソナル，コンピュータ (PC)等力も成るコンピュータ 12を備えて!/、る。コンピュータ 12は CPU12A、 ROM12B、 RAM12C及び入出力ポート 12Dを備えており、これら はバス 12Eを介して互いに接続されている。また、入出力ポート 12Dには、ユーザが 任意の情報を入力したり各種の指示を与えるためのキーボード 14及びマウス 16、 L CD又は CRTから成り任意の情報を表示可能なディスプレイ 18、ハードディスクドライ ブ（HDD) 20及び CD— ROMドライブ 22が各々接続されている。なお、ディスプレイ 18は本発明に係る表示手段に対応して!/ヽる。
[0018] コンピュータ 12の HDD20には、後述する 3次元脳モデルの生成を行うための 3次 元モデル生成プログラム、及び、後述する MRI画像表示処理を行うための MRI画像 表示プログラムが予めインストールされて 、る。
[0019] 3次元モデル生成プログラム及び MRI画像表示プログラムをコンピュータ 12にイン ストール (移入)するには幾つかの方法がある力 S、例えば 3次元モデル生成プログラム 及び MRI画像表示プログラムをセットアッププログラムと共に CD— ROMに記録して おき、この CD— ROMをコンピュータ 12の CD— ROMドライブ 22にセットし、 CPU1 2Aに対して前記セットアッププログラムの実行を指示すれば、 CD— ROMから 3次 元モデル生成プログラム及び MRI画像表示プログラムが順に読み出されて HDD20 に順に書き込まれ、必要に応じて各種の設定が行われることで、 3次元モデル生成 プログラム及び MRI画像表示プログラムのインストールが行われる。
[0020] また、コンピュータ 12の入出力ポート 12Dには、核磁気共鳴コンピュータ断層撮影 法により任意の方向にっ ヽての生体の高精細な断層画像 (MRI画像)を撮影可能な MRI撮影装置 24、手術顕微鏡 26に取り付けられた 3次元形状測定装置 30及びビ デォカメラ 32、生体の超音波断層画像を撮影可能な超音波断層撮影装置 34が各 々接続されている。 MRI撮影装置 24は、本発明に係る「手術部位の複数の高精細 断層画像」を手術前に撮影する撮影装置であり、手術を行う手術室とは別に設けら れた MRI撮影室に設置されている。なお、コンピュータ 12が後述する MRI画像表示 処理を実行するにあたり、 MRI撮影装置 24からは手術前に MRI撮影装置 24によつ て撮影された MRI画像のデータを取得できて!/、ればよ!/、ので、コンピュータ 12は M RI撮影装置 24と接続されていなくてもよぐ MRI画像のデータは例えば CD— Rや C D—RW、 MO、 ZIP, DVD-R, DVD— RW等の各種記録媒体の何れかを介して MRI撮影装置 24からコンピュータ 12へ送られるようにしてもょ 、。
[0021] 一方、手術顕微鏡 26は図 2に示す顕微鏡部 38を含んで構成されており、この顕微 鏡部 38には、顕微鏡部 38の下方側（図 2 (A)における下方側）へ向けられた対物レ ンズ 40と、顕微鏡部 38の側面カゝら斜め上方へ突出するように配置された接眼レンズ 42が取り付けられている。なお、対物レンズ 40は、詳しくは複数枚のレンズ力も成る ズームレンズ (焦点距離可変レンズ)である。また図示は省略する力 対物レンズ 40と 接眼レンズ 42の間には、対物レンズ 40に入射された光を接眼レンズ 42へ導くプリズ ム等の光学部品が配置されている。これにより、接眼レンズ 42を両眼で覼いた手術 者に、対物レンズ 40及び接眼レンズ 42によって形成された被写体の光学像が視認（ 立体視）される。なお、対物レンズ 40と接眼レンズ 42の間にはフォーカス機構が設け られており、被写体の光学像のフォーカス及びズーム倍率は、手術者がフットスイツ チ又は顕微鏡部 38の鏡筒付近に取付けられたスィッチを操作することで調節可能と されている。
[0022] 手術顕微鏡 26は、手術室内の所定位置に固定されるベース部を備え、このベース 部には、複数本のロッドの端部同士が回動可能に連結されて成るアーム 44の一端 部が回動可能に連結されており、顕微鏡部 38はアーム 44の他端部（先端部）に回動 可能に連結されている（図 2にはアーム 44の一端部のみ図示)。顕微鏡部 38の側面 には操作用の把持部 46が取り付けられており、手術者が把持部 46を把持して顕微 鏡部 38を動かすことにより、アーム 44の各連結部（関節）を回動させて顕微鏡部 38 を所望の位置へ移動させたり所望の方向へ向けることができ、手術者が所望の範囲 を光学像として視認することが可能とされて 、る。
[0023] また、顕微鏡部 38の底面には、 3次元形状測定装置 30とビデオカメラ 32がー体ィ匕 されて成る測定 Z撮像ユニット 48が取付けられて 、る。測定 Z撮像ユニット 48は筐 体が箱型とされ、ビデオカメラ 32は顕微鏡部 38の下方側を撮像可能に測定 Z撮像 ユニット 48の筐体に取付けられている。また、測定 Z撮像ユニット 48の筐体の底面に は矩形状の開口が設けられ、この開口は光透過性のカバー 50によって閉止されて おり、 3次元形状測定装置 30は、測定 Z撮像ユニット 48の筐体内部のカバー 50 (開 口）に対応する位置に取付けられている。
[0024] 図 3に示すように、 3次元形状測定装置 30は、一対のレール 54の間に掛け渡され た可動ベース 56を備えている。可動ベース 56は、レール 54と平行に延設されモータ 58によって回転されるボールネジ 60が螺合しており、ボールネジ 60の回転に伴いレ ール 54に沿って摺動移動される。また、可動ベース 56にはレーザ光源を含んで構 成された発光部 62が取付けられており、発光部 62のレーザ光 (送出レーザ光)射出 側には、可動ベース 56に取付けられたミラー 64、モータ 72の回転軸に取付けられモ ータ 72の駆動に伴って向きが変更されるガルバノメータミラー 66が順に配置されて いる。発光部 62から射出された送出レーザ光は、ミラー 64、ガルバノメータミラー 66 で反射されることで、カバー 50を透過して測定 Z撮像ユニット 48の筐体外へ射出さ れる。
[0025] また、測定 Z撮像ユニット 48の筐体外へ射出された送出レーザ光は、被照射体（ 例えば手術部位としての脳の表面)で反射され、戻りレーザ光として、カバー 50を透 過してミラー 67に入射される。ミラー 67は、ガルバノメータミラー 66と同一の向きでモ ータ 72の回転軸に取付けられ、モータ 72の駆動に伴って向きが変更されるように構 成されている。ミラー 67の戻りレーザ光射出側にはミラー 68、レンズ 69、多数個の光 電変換素子が一列に配列されて成るラインセンサ 70が順に配置されており、ミラー 6 7に入射された戻りレーザ光はミラー 67、 68で反射され、レンズ 69を透過することで 、ラインセンサ 70で受光される。ラインセンサ 70からの出力信号は増幅器や AZD変 を介して 3次元形状測定装置 30のコントローラに入力される (何れも図示省略） 。またコントローラには、可動ベース 56の位置を検出する位置センサと、ガルバノメー タミラー 66 (及びミラー 67)の向きを検出する角度センサも接続されて 、る。
[0026] コントローラは、ラインセンサ 70から増幅器 'A/D変 ^^を経て入力された受光デ ータに基づいて、ラインセンサ 70の何れの光電変換素子でレーザ光が受光されたか を判断し、ラインセンサ 70上でのレーザ光を受光した光電変換素子の位置と、セン サによって検出された可動ベース 56の位置及びガルバノメータミラー 66の向きに基 づいて、被照射体上のレーザ光照射位置の 3次元座標 (詳しくは、測定 Z撮像ュ- ット 48の筐体の位置を基準として設定された 3次元座標系（筐体座標系と称する）に おける 3次元座標）を三角測量法により検出（演算)する。また、コントローラにはモー タ 72、 58が各々接続されており、モータ 72を駆動してガルバノメータミラー 66 (及び ミラー 67)の向きを変化させることで、被照射体上のレーザ光照射位置をモータ 72の 回転軸の軸線と直交する方向に沿って移動させる（主走査）と共に、モータ 58を移動 して可動ベース 56を移動させることで、被照射体上のレーザ光照射位置をレール 54 と平行な方向に沿って移動させる（副走査)。
[0027] これにより、被照射体の表面形状 (被照射体の表面の各個所の 3次元座標）が、そ の全面に亘り、 3次元形状測定装置 30によって測定されることになる。 3次元形状測 定装置 30はコンピュータ 12から指示されると被照射体の表面形状の測定を行い、測 定によって得られた被照射体の表面の各個所の 3次元座標を表すデータ（以下、こ のデータを表面測定データと称する）をコンピュータ 12へ出力する。なお、表面測定 データは本発明に係る第 1の位置情報に対応しており、レール 54、可動ベース 56、 モータ 58、ボールネジ 60、発光部 62、ミラー 64、ガルバノメータミラー 66及びモータ 72は請求項 2に記載の走査装置に、ミラー 67、 68、レンズ 69、ラインセンサ 70及び モータ 72は請求項 2に記載の検出手段に各々対応している。またビデオカメラ 32は 、 3次元形状測定装置 30による測定範囲と同一の範囲を撮像するように、位置及び 向きが調節されている。
[0028] また図 1に示すように、超音波断層撮影装置 34には、超音波を送波すると共に任 意の物体によって反射された超音波を受波するプローブ 36が接続されており、超音 波断層撮影装置 34は、プローブ 36で超音波が受波されることでプローブ 36から入 力される信号を超音波断層画像へ変換し、コンピュータ 12へ出力する。またプロ一 ブ 36には、プローブ 36の位置及び向きを検出するために、光反射率の高い材料か ら成るマーク 36Aが先端部及び後端部に貼付されている。後述するように、超音波 断層撮影装置 34が超音波断層画像の撮影を行っているときには、プローブ 36に貼 付されたマーク 36Aの 3次元座標が 3次元形状測定装置 30によって測定される。
[0029] 次に本実施形態の作用を説明する。本実施形態において、脳腫瘍を摘出する手 術を行うにあたっては、まず MRI撮影室で患者 (手術対象者)の頭部の MRI画像が MRI撮影装置 24によって事前に撮影される。 MRI画像の撮影時には、図 4Bに示す ように、患者の頭部に対して事前に決定された皮膚切開線 (頭皮を切開する位置を 表す線）に基づき、患者の頭部のうち手術時に切開される範囲の周辺に相当する位 置に、 MRI画像に写る材質力も成る術前マーク 80が 3個又はそれ以上の数貼付さ れる。この術前マーク 80は請求項 8に記載の第 1のマークに対応しており、例えば直 径が 5mm程度の大きさの白色で球状のマークを用いることができる。なお、図 4Bに 示す開頭範囲は手術時に頭蓋骨を切除する範囲を意味している。
[0030] そして、例として図 4Aに示すように、患者の頭部に対して一定間隔 (例えば lmm 程度)で設定した複数の断面の各々について、 MRI撮影装置 24によって MRI画像 が撮影される。これにより、設定した各断面を高精細に可視化した複数の MRI画像（ 手術部位の複数の高精細断層画像）が得られる。なお、撮影によって得られた複数 の MRI画像の一部には術前マーク 80も写し込まれている。また、患者の頭部に貼付 された術前マーク 80は、手術時まで貼付位置を変えずに残される。また、 MRI撮影 装置 24によって撮影された複数の MRI画像は本発明に係る複数の高精細断層画 像 (請求項 6に記載の MRI画像）に対応して 、る。
[0031] 上記の撮影によって得られた複数の MRI画像のデータは、 MRI撮影装置 24から コンピュータ 12に入力され、 HDD20に記憶される。そして、コンピュータ 12によって 患者の脳の 3次元モデル（3次元脳モデル)の生成が行われる。具体的には、まず入 力されたデータが表す複数の MRI画像のうち 3個の術前マーク 80の少なくとも 1つが 写し込まれて ヽる MRI画像を全て選択し、選択した MRI画像上での 3個の術前マー ク 80の位置を基準とする（例えば 3個の術前マーク 80の何れか 1つを原点とする） 3 次元座標系（以下、 MRI座標系と称する）を設定する。また、複数の MRI画像力ゝら患 者の脳に相当する画像領域を各々抽出し、複数の MRI画像力 各々抽出した画像 領域に対し、脳の表面又は内部に位置し、 MRI画像や表面測定データ、超音波断 層画像上での判別が容易な特徴点 (脳溝や脳回、動脈、静脈等の脳の特徴部分に 対応している点、脳腫瘍と正常部との境界に相当する点も含む）を多数設定し、 MRI 座標系での各特徴点の 3次元座標を求めると共に、各特徴点の MRI座標系での 3次 元座標と、各特徴点の MRI画像上での位置を HDD20等に記憶する。
[0032] 続いて、設定した多数の特徴点のうち、脳の表面に位置している特徴点 (節点）を 辺で結び、辺で囲まれた部分を平面とみなすことで、脳の外縁を表す立体モデルを 生成すると共に、脳の内部に位置している特徴点 (節点)も辺で結び、辺で囲まれた 部分を平面とみなすことで、脳の外縁を表す立体モデルを多数個の立体要素へ分 割する。これにより、図 4Cにも示すように、患者の頭部の複数の MRI画像から、患者 の脳を多数個の立体要素の集合として表す脳の 3次元モデルを生成することができ る。また、コンピュータ 12は、 MRI座標系での各特徴点（各節点）の 3次元座標に基 づ 、て 3次元脳モデルにおける節点の疎密を調べ、 3次元脳モデル中に節点の間隔 が大き 、 (密度が低 、)領域が存在して 、た場合には、該領域に対して節点を追カロ することで、 3次元脳モデルを構成する各立体要素のサイズを均一化する。そしてコ ンピュータ 12は、生成した 3次元脳モデルのデータを HDD20に記憶させる。
[0033] なお、上記の 3次元脳モデルの生成をコンピュータ 12とは別のコンピュータで行い 、生成された 3次元脳モデルのデータをコンピュータ 12へ転送するようにしてもよい。
[0034] 脳腫瘍を摘出する手術は、上述した MRI画像の撮影及び 3次元脳モデルの生成 が完了した後に行われる力 この手術の開始時に手術者によりコンピュータ 12に対し て MRI画像表示プログラムの起動が指示されることで、手術中にはコンピュータ 12に よって MRI画像表示処理が実行される。以下、この MRI画像表示処理について、図 5のフローチャートを参照して説明する。
[0035] ステップ 100では患者の開頭が完了した力否力判定し、判定が肯定される迄ステツ プ 100を繰り返す。脳腫瘍摘出手術では、まず患者の頭皮を切開して頭蓋骨を露出 させた後に、露出した頭蓋骨のうち事前に決定された開頭範囲に相当する部分を切 除することで、手術部位としての脳を露出させる開頭手術が行われる。開頭手術が完 了し、開頭手術が完了したことを表す情報がキーボード 14を介して手術者によって 入力されると、ステップ 100の判定が肯定されてステップ 102へ移行し、ディスプレイ 18にメッセージを表示させる等により、手術者に対して術中マークの付与を要請する 。そして、次のステップ 104で術中マークの付与が完了した力否力判定し、判定が肯 定される迄ステップ 104を繰り返す。
[0036] 術中マークの付与が要請されると、手術者は、例として図 4Bにも示すように、開頭 手術によって頭蓋骨の一部が切除されることで形成された骨窓の近傍の頭蓋骨上に 、術中マーク 82を 3個又はそれ以上の数付与する。なお、術中マーク 82は、例えば 前述の術前マーク 80と同様に、直径が 5mm程度の大きさの白色で球状のマークを 用いることができる。術中マーク 82の付与が完了すると、手術者は、開頭手術の間は 開頭手術を阻害しな 、位置に配置して 、た手術顕微鏡 26の顕微鏡部 38を、開頭手 術によって露出した脳力 手術顕微鏡 26の対物レンズ 40及び接眼レンズ 42が光学 像を形成する視野範囲内に入る位置へ移動させた後に (この顕微鏡部 38の移動に 伴い、露出した脳や術中マーク 82、術前マーク 80が 3次元形状測定装置 30による 測定範囲内及びビデオカメラ 32による撮像範囲内に入ることになる）、術中マーク 82 の付与が完了したことを表す情報をキーボード 14を介して入力する。
[0037] これによりステップ 104の判定が肯定され、次のステップ 106以降で、筐体座標系 における座標値を MRI座標系における座標値に変換するための座標変換式を求め るキャリブレーション処理が行われる。すなわち、まずステップ 106では現在の状態が 「測定中」であることを表すメッセージをディスプレイ 18に表示させることで、手術操作 を中断させる。またステップ 108では、 3次元形状測定装置 30に対して表面形状の 測定を指示すると共に、ビデオカメラ 32に対して脳の表面の撮像を指示する。これに より、 3次元形状測定装置 30では、脳の表面を含む患者の頭部へ向けて送出レーザ 光を射出し、患者の頭部で反射された戻りレーザ光のラインセンサ 70上での受光位 置に基づいてレーザ光の照射位置の 3次元座標を検出（演算）することを、ガルバノ メータミラー 66 (及びミラー 67)の向きを変化させると共に可動ベース 56を移動させ ながら繰り返すことで、開頭手術を経た患者の頭部の表面形状 (脳の表面を含む頭 部の各個所の 3次元座標）の測定を行う。また、ビデオカメラ 32は脳の表面を各々撮 像する。上記の 3次元形状測定装置 30による表面形状の測定及びビデオカメラ 32 による撮像は 20秒程度の時間で完了する。 [0038] ステップ 110では、 3次元形状測定装置 30が開頭手術を経た患者の頭部の表面 形状の測定を行うことで得られた表面測定データを 3次元形状測定装置 30から取り 込むと共に、ビデオカメラ 32が撮像を行うことで得られた画像データをビデオカメラ 3 2から取り込む。ステップ 112では、 3次元形状測定装置 30から取り込んだ表面測定 データから、個々の術前マーク 80及び個々の術中マーク 82に対応するデータを抽 出し (術前マーク 80及び術中マーク 82は 3次元形状測定装置 30によって球状の物 体として検出される）、抽出したデータに基づいて個々の術前マーク 80及び個々の 術中マーク 82の中心の 3次元座標を演算によって求める。
[0039] なお、術前マーク 80及び術中マーク 82は、ビデオカメラ 32による撮像によって得ら れた撮像画像中では円形の画像部として存在して ヽるので、表面測定データから抽 出したデータが表す個々の術前マーク 80や個々の術中マーク 82に対応する球状の 物体の中心と、撮像画像中に存在している個々の術前マーク 80や個々の術中マー ク 82に対応する円形の画像部の中心を重ね合わせることで、表面測定データと撮像 画像を重ね合わせることができる。また、開頭手術前 (術中マーク 82を付与する前） に個々の術前マーク 80の 3次元座標を求めておき、ステップ 112で演算した個々の 術前マーク 80の 3次元座標が表す個々の術前マーク 80の位置関係（術前マーク 80 の間隔）を開頭手術前に求めた個々の術前マーク 80の位置関係と比較することで、 開頭手術に伴って術前マーク 80の位置が変化して!/、な!/、か否かをチェックし、必要 に応じて術前マーク 80の位置修正'術前マーク 80及び術中マーク 82の 3次元座標 の再導出を行うようにしてもよ 、。
[0040] ステップ 112で演算した個々の術前マーク 80及び個々の術中マーク 82の 3次元座 標は筐体座標系における座標値である力 個々の術前マーク 80の MRI座標系にお ける 3次元座標値は既知であるので、次のステップ 114では、ステップ 112で演算し た個々の術前マーク 80及び個々の術中マーク 82の 3次元座標が表す術前マーク群 と術中マーク群の位置関係、個々の術前マーク 80の MRI座標系における座標値に 基づき、筐体座標系における 3次元座標値を、術中マーク 82の位置を基準として M RI座標系における 3次元座標値に変換する座標変換式を導出し、導出した座標変 換式を HDD20に記憶させる。これによりキャリブレーション処理が完了する。 [0041] 本実施形態では術前マーク 80を患者の頭部の頭皮上に付与しているので、術前 マーク 80の位置は手術の進行に伴って変化する可能性がある力 術中マーク 82は 骨窓の近傍の頭蓋骨上に付与しているので、術中マーク 82の位置が手術中に変化 することはない。そして本実施形態では、上記のように筐体座標系における 3次元座 標値を、術中マーク 82の位置を基準として MRI座標系における 3次元座標値に変換 する座標変換式を導出しているので、上記の座標変換式を用いることで、手術の進 行に伴って術前マーク 80の位置が変化したとしても影響を受けることなぐ筐体座標 系における 3次元座標値を、術中マーク 82の位置を基準として MRI座標系（当初の 術前マーク 80の位置を基準として設定した MRI座標系）における 3次元座標値に精 度良く変換することができ、 3次元脳モデル (及び MRI画像)と第 1の位置情報 (表面 測定データ)及び第 2の位置情報 (非露出部分データ：詳細は後述)との位置合わせ を精度良く行うことができる。
[0042] また、筐体座標系における 3次元座標値を、術中マーク 82の位置を基準として MR I座標系における 3次元座標値に変換できることに伴い、 3次元形状測定装置 30によ る以降の測定及びビデオカメラ 32による以降の撮像において、開頭範囲（骨窓）に 対して比較的離れた位置に付与されて!、る術前マーク 80を、 3次元形状測定装置 3 0による測定範囲内及びビデオカメラ 32による撮像範囲内に入れる必要が無くなる。 これにより、顕微鏡部 38 (3次元形状測定装置 30及びビデオカメラ 32)を手術部位と しての脳により接近させた状態で、 3次元形状測定装置 30による測定及びビデオ力 メラ 32による撮像を行うことができるので、 3次元形状測定装置 30による測定及びビ デォカメラ 32による撮像の精度も向上させることができる。
[0043] 次のステップ 116では、ディスプレイ 18に表示していた「測定中」のメッセージを消 去すると共に、手術前に撮影された MRI画像のデータを HDD20から読み込み、読 み込んだデータに基づ!/ヽて MRI画像 (患者の脳の高精細な断層画像)をディスプレ ィ 18に表示させる。ディスプレイ 18に表示された上記の MRI画像を参照することで、 手術者は、開頭手術完了直後の段階での摘出対象の脳腫瘍の位置等を正確に判 断することができる。なお、 MRI画像の表示専用の高精細なディスプレイを設け、こ の高精細ディスプレイに MRI画像を表示させるようにしてもよい。また、ディスプレイ 1 8に単に MRI画像を表示させるのみならず、手術顕微鏡 26の対物レンズ 40及び接 眼レンズ 42が光学像を形成する視野範囲の中心力 MRI画像上の何れの位置に対 応しているかを演算し、 MRI画像上の演算した位置に、例えば明滅するマーク等を 表示させることで、手術者が注目している個所を MRI画像上に明示させるようにして ちょい。
[0044] なお、上記のように開頭手術完了直後の段階では、手術前に撮影された MRI画像
(未補正の MRI画像)を表示させることに限られるものではなぐ開頭手術により脳に 変位や変形が生じている可能性を考慮し、開頭手術完了直後の段階においても、後 述するステップ 122〜ステップ 150の処理を経て補正した MRI画像を表示させるよう にしてもよいし、開頭手術完了直後の段階において、未補正の MRI画像を表示させ るカゝ補正した MRI画像を表示させるカゝを手術者が選択可能としてもよい。
[0045] 次のステップ 118では、ディスプレイ 18に表示している MRI画像を更新すべきタイ ミングが到来した力否力判定する。この判定は、 MRI画像の表示を開始してから (或 いは MRI画像の更新を前回行ってから）一定時間が経過したカゝ否かを判断すること で行ってもょ ヽし、手術者が MRI画像の更新を指示したか否かを判断することで行つ てもよい。ステップ 118の判定が否定された場合はステップ 120へ移行し、手術が終 了した力否力判定する。この判定は、手術終了を意味する情報がキーボード 14を介 して手術者により入力されたか否かを判断することで行うことができる。この判定も否 定された場合はステップ 118に戻り、何れかの判定が肯定される迄ステップ 118, 12 0を繰り返す。
[0046] 上記のように「測定中」のメッセージに代えて MRI画像がディスプレイ 18に表示され ると、手術者は、脳腫瘍摘出手術における開頭手術以降の手術操作を開始するが、 この手術操作には例えば脳をヘラで押したり、脳の一部を切開又は切除する等の操 作が含まれている。そして、脳に対してこのような操作を加えると脳の各部に変位や 変形が生じるので、実際の脳の状態 (各部の位置や形状)がディスプレイ 18に表示し ている MRI画像が表す脳の状態と相違することになり、ディスプレイ 18に表示されて Vヽる MRI画像を参照しても、手術者が摘出対象の脳腫瘍の位置や範囲等を精度良 く判断することが困難となってくる。このため、 MRI画像表示処理では、 MRI画像の 表示を開始してから（或いは MRI画像の更新を前回行ってから）一定時間が経過す るカゝ、又は、 MRI画像の更新を指示する情報がキーボード 14を介して手術者により 入力されると、ステップ 120の判定が肯定されてステップ 122へ移行し、ステップ 122 以降でディスプレイ 18に表示している MRI画像を補正'更新する処理を行う。
[0047] すなわち、まずステップ 122では現在の状態が「測定中」であることを表すメッセ一 ジをディスプレイ 18に表示させることで、手術操作を中断させる。またステップ 124で は、 3次元形状測定装置 30に対して表面形状の測定を指示すると共に、ビデオカメ ラ 32に対して脳の表面の撮像を指示する。これにより、 3次元形状測定装置 30では 、脳の表面を含む患者の頭部へ向けて送出レーザ光を射出し、患者の頭部で反射 された戻りレーザ光のラインセンサ 70上での受光位置に基づいてレーザ光の照射位 置の 3次元座標を検出（演算）することを、ガルバノメータミラー 66 (及びミラー 67)の 向きを変化させると共に可動ベース 56を移動させながら繰り返すことで、開頭手術を 経た患者の頭部の表面形状 (頭部の各個所の 3次元座標）の測定を行う。また、ビデ ォカメラ 32は脳の表面を各々撮像する。上記の 3次元形状測定装置 30による表面 形状の測定及びビデオカメラ 32による撮像は 20秒程度の時間で完了する。
[0048] なお、脳腫瘍摘出手術等では、手術者が手術顕微鏡 26を把持部 46を把持して顕 微鏡部 38を動かし、手術操作を加える部分を手術顕微鏡 26により視認しながら行わ れるが、 3次元形状測定装置 30及びビデオカメラ 32はこの手術顕微鏡 26に取付け られているので、 3次元形状測定装置 30による表面形状の測定やビデオカメラ 32に よる撮像に際し、表面形状の測定範囲や撮像範囲を改めて調整する必要はなぐ 3 次元形状測定装置 30は単に筐体座標系における一定範囲について表面形状の測 定を行うのみで脳の表面や術中マーク 82を含む測定範囲内における表面形状の測 定を行うことができ、ビデオカメラ 32についても単に一定の撮像範囲を撮像するのみ で脳の表面や術中マーク 82を含む撮像範囲内を撮像することができる。
[0049] ステップ 126では、 3次元形状測定装置 30による測定によって得られた表面測定 データを 3次元形状測定装置 30から取り込むと共に、ビデオカメラ 32が撮像を行うこ とで得られた画像データをビデオカメラ 32から取り込む。ステップ 128では、 3次元形 状測定装置 30から取り込んだ表面測定データから、個々の術中マーク 82に相当す るデータを各々抽出し、抽出したデータに基づいて個々の術中マーク 82の中心の 3 次元座標を演算によって各々求める。ステップ 130では、先のステップ 114で導出し た座標変換式を HDD20から読み出し、読み出した座標変換式を用いて、表面測定 データが表す脳表面の各点の 3次元座標（筐体座標系における座標値)を、ステップ 128で求めた 3次元座標が表す個々の術中マーク 82の位置を基準として MRI座標 系における 3次元座標値へ各々変換し、座標変換後の表面測定データを HDD20 に記憶させる。これにより、第 1の位置情報 (表面測定データ）と 3次元脳モデル (及 び MRI画像）との位置合わせが完了する。
[0050] ステップ 132では、超音波断層画像の撮影を手術者に要請するメッセージをデイス プレイ 18に表示させることで、超音波断層撮影装置 34を用いて脳の超音波断層画 像を撮影させると共に、 3次元形状測定装置 30に対して表面形状の測定を指示する 。これにより、手術者はプローブ 36を把持し、プローブ 36の先端を患者の脳へ向け た状態で、超音波断層撮影装置 34に対して超音波断層画像の撮影を指示する。
[0051] 超音波断層画像の撮影が指示されると、超音波断層撮影装置 34はプローブ 36の 先端力も超音波を送波させ、任意の物体で反射されてプローブ 36で受波された超 音波に応じてプローブ 36から出力される電気信号をデジタルデータに変換してメモリ 等に記憶することを、プローブ 36の先端力もの超音波の送波方向を一定方向に沿つ て変化させながら繰り返した後に、メモリ等に記憶したデータを並べ替えることで、前 記一定方向と平行な断面についての脳の超音波断層画像を表すデータを生成する 。また手術者は、超音波断層撮影装置 34に対して超音波断層画像の撮影を指示す ることを、前記一定方向と略直交する方向へ略一定距離ずつプローブ 36を移動させ ながら繰り返す。
[0052] これにより、患者の脳に対して略一定距離ずつ隔てられた複数の断面に対応する 複数の超音波断層画像が各々撮影される。なお、複数の超音波断層画像の撮影は 3分程度の時間で完了する。また、上記のように各断面に対応する超音波断層画像 の撮影が行われて 、る間、 3次元形状測定装置 30によって表面形状の測定が継続 されることで、プローブ 36の位置（プローブ 36に貼付されているマーク 36Aの 3次元 座標)及び術中マーク 82の位置が繰り返し測定される。 [0053] ステップ 134では、超音波断層撮影装置 34によって撮影された複数の超音波断層 画像のデータを超音波断層撮影装置 34から各々取り込むと共に、 3次元形状測定 装置 30による測定によって得られた表面測定データを 3次元形状測定装置 30から 取り込む。ステップ 136では、 3次元形状測定装置 30より取り込んだ表面形状測定 データから、各超音波断層画像を撮影している時のプローブ 36の個々のマーク 36A に相当するデータ及び個々の術中マーク 82に対応するデータを各々抽出し、抽出 したデータに基づいて、各超音波断層画像を撮影しているときの個々のマーク 36A の中心の 3次元座標及び個々の術中マーク 82の中心の 3次元座標を演算によって 各々求める。また、演算によって求めた個々のマーク 36Aの中心の 3次元座標に基 づいて、各超音波断層画像を撮影している時のプローブ 36の先端の 3次元座標（筐 体座標系における座標値)及びプローブ 36の向き（筐体座標系における向き）を演 算する。
[0054] ステップ 138では、超音波断層撮影装置 34から取り込んだ複数の超音波断層画像 のデータに基づき、各超音波断層画像から脳の内部（3次元形状測定装置 30では 3 次元座標を検出できない非露出部分）〖こ位置しており、かつ画像上での判別が容易 な特徴点 (脳溝や動脈、静脈等の脳の特徴部分に対応している点、脳腫瘍と正常部 との境界に相当する点も含む）を各々抽出する。そしてステップ 140では、まずステツ プ 136で演算した各超音波断層画像を撮影している時のプローブ 36の先端の 3次 元座標及びプローブ 36の向き、各超音波断層画像上での各特徴点の位置に基づき 、筐体座標系ににおける各特徴点の 3次元座標を演算した後に、先のステップ 114 で導出した座標変換式を HDD20から読み出し、読み出した座標変換式を用いて、 筐体座標系における各特徴点の 3次元座標を、ステップ 136で求めた 3次元座標が 表す個々の術中マーク 82の位置を基準として MRI座標系における 3次元座標値へ 各々変換し、座標変換後の各特徴点の 3次元座標及び各特徴点の超音波断層画像 上での位置を非露出部分データとして HDD20に記憶させる。これにより、第 2の位 置情報 (非露出部分データ）と 3次元脳モデル (及び MRI画像)との位置合わせが完 了する。
[0055] 上記処理により、 MRI画像の補正に用いる表面測定データ及び非露出部分デー タの取得が完了すると、次のステップ 142では、 HDD20から 3次元脳モデル（図 6A も参照）のデータを取り込む。次のステップ 144では、まずビデオカメラ 32から取り込 んだ画像データが表す撮像画像上に表れて!/ヽる脳の特徴部分 (例えば脳溝や脳回 、動脈、静脈等)を、 MRI画像に表れている脳の特徴部分と照合することで、撮像画 像と MRI画像との対応付け (撮像画像上に表れて ヽる脳表面の各点が MRI画像上 のどの部分に対応しているかの判断)を行う。また、本実施形態では 3次元形状測定 装置 30による測定範囲と同一の範囲を撮像するように、ビデオカメラ 32の位置及び 向きが調節されて 、るので、撮像画像と MRI画像との対応付けの結果に基づ 、て、 表面測定データによって MRI座標系における 3次元座標が既知となっている脳表面 の各点が MRI画像上のどの部分に対応しているかを判断する。そして、 3次元脳モ デルの生成時に HDD20に記憶した 3次元脳モデルの各節点（特徴点）の MRI画像 上での位置に基づいて、 3次元脳モデルを構成する各節点のうち、表面測定データ によって MRI座標系における 3次元座標が既知となっている脳表面の各点に対応す る節点を判断することで、表面測定データと 3次元脳モデルとの対応付けを行う。
[0056] 上記のように、ビデオカメラ 32によって撮像された画像を表面測定データと 3次元 脳モデルとの対応付けに用いることで、例えば脳の表面の色の変化等のように表面 測定データ上では明瞭でない特徴も利用して表面測定データと 3次元脳モデルとの 対応付けを行うことができるので、表面測定データと三次元脳モデルとの対応付けの 精度を向上させることができる。
[0057] またステップ 144では、同様に、超音波断層画像に表れている脳の特徴部分を MR I画像に表れて ヽる脳の特徴部分と照合することで、超音波断層画像にぉ ヽて脳の 内部に相当する各点が MRI画像上のどの部分に対応しているかを判断し、 3次元脳 モデルの各節点（特徴点）の MRI画像上での位置及び超音波断層画像カゝら抽出さ れた各特徴点の超音波断層画像上での位置に基づ!/、て、 3次元脳モデルを構成す る各節点のうち、非露出部分データによって MRI座標系における 3次元座標が既知 となっている脳の内部の各特徴点に対応する節点を判断する。
[0058] そして、表面測定データが表す脳表面の各点の何れかに対応していると判断した 節点の 3次元座標を、対応する点の 3次元座標（表面測定データが表す MRI座標系 での 3次元座標）に置き換えると共に、非露出部分データが表す脳の内部の各特徴 点の何れか〖こ対応して 、ると判断した節点の 3次元座標を、対応する特徴点の 3次 元座標（非露出部分データデータが表す MRI座標系での 3次元座標）に置き換える ことで、例として図 6Bにも示すように、 3次元脳モデルを構成する各節点のうち、表面 測定データが表す脳表面の各点の何れか又は非露出部分データが表す脳の内部 の各特徴点の何れかに対応している節点の位置を修正する。なお、図 6Bには脳の 表面又は裏面に対応して 、る節点にっ 、てのみ位置を修正して 、る例が示されて!/ヽ る力 脳の表面と裏面の間の部分に対応している節点も位置修正の対象としてもよい
[0059] ステップ 146では、ステップ 144で位置修正対象とした節点及び該節点の修正後 の位置に基づき、 3次元脳モデルを構成する各節点のうち、ステップ 144における位 置修正対象の節点を、ステップ 144における修正後の位置へ移動させる外力が 3次 元脳モデルに加わることで、それ以外の節点の位置がどのように変位するかを、有限 要素法を適用して推定演算し、推定演算の結果に基づき、例として図 6Cにも示すよ うに、ステップ 144で位置修正対象とした節点以外の節点の位置（3次元座標）を修 正する。これにより、現在の脳の状態 (各部の変位や変形)を精度良く表すように、 3 次元脳モデルを修正することができる。なお、有限要素法に代えてそれに類似の方 法 (例えば処理の高速ィ匕等を目的として有限要素法を簡略ィ匕した方法等)を適用す るようにしてちょい。
[0060] 次のステップ 148では、ステップ 144, 146で各節点の位置を修正した 3次元脳モ デルと、 3次元脳モデルの各節点（特徴点）の MRI画像上での位置に基づき、例え ば 3次元脳モデルの修正による各節点の位置の移動に応じて MRI画像の各画素の 位置が移動するように、 MRI画像に対して幾何学変換を行う等により、修正後の 3次 元脳モデルが表す脳の各部の変位や変形に応じて MRI画像を補正する。これにより 、現在の脳の状態を高精細かつ精度よく表す MRI画像を得ることができる。
[0061] これにより、ディスプレイ 18に更新表示された上記の MRI画像を参照することで、 手術者は、開頭手術後の各種の手術操作により脳の各部に変位や変形が生じても、 摘出対象の脳腫瘍の位置等を正確に判断することができる。また、上述した MRI画 像の補正 ·更新表示は、手術が終了する迄の間 (ステップ 120の判定が肯定される 迄の間）、繰り返し (ステップ 118の判定が肯定される毎に)行われるので、手術者は 、随時更新表示される MRI画像を参照することで、脳腫瘍の摘出開始時や、摘出中 、摘出終了時等の各段階において、手術操作を加えた部分と周囲の脳との適切な解 剖学的位置関係を確認しながら手術を行うことができる。また、残存腫瘍 (腫瘍の取り 残し)の有無を確認することもでき、摘出対象の脳腫瘍を完全に摘出することが可能 になる。更に、ディスプレイ 18に表示させる MRI画像は、事前に調査した各機能野 の分布具合が地図として重畳表示された functional mapping MRI画像であってもよ いが、この fonctional mapping MRI画像を表示するようにした場合、手術者は、手術 操作を加えている部位と各機能野の位置関係を把握しながら手術を進めることがで きる。
産業上の利用可能性
[0062] このように、本実施形態に係る手術支援装置 10では、 3次元形状測定装置 30によ つて手術中に脳の表面が光学的に測定される（と共に、ビデオカメラ 32によって手術 中に脳の表面が撮像される)ことで得られた表面形状データと、超音波断層撮影装 置 34によって手術中に脳の非露出部分が超音波によって測定されることで得られた 非露出部分データに基づ!/ヽて、事前に撮影した MRI画像を脳の現在の状態を精度 良く表す MRI画像へ補正して手術中に表示するので、現在の脳の状態（手術操作 等に伴って変位や変形が生じた後の脳の状態)を手術者に認識させることができ、手 術の精度向上を実現することができる。
[0063] また、本実施形態に係る手術支援装置 10では、 3次元形状測定装置 30による表 面形状の測定及びビデオカメラ 32による撮像が 20秒程度の時間で完了し、超音波 断層撮影装置 34による複数の超音波断層画像の撮影が 3分程度の時間で完了する ので、手術中に MRI画像の撮影を定期的に行う場合と比較して手術操作の中断時 間が大幅に短縮される。従って、脳の現在の状態を表す MRI画像を手術中に表示 するために手術が妨げられることも回避することができる。
[0064] また、本実施形態に係る手術支援装置 10は、既存の脳神経外科の手術設備に、 3 次元形状測定装置 30、ビデオカメラ 32、 3次元モデル生成プログラム及び MRI画像 表示プログラムをインストールしたコンピュータ 12を追加するのみで実現できるので、 手術中に MRI画像の撮影を定期的に行う場合と比較して遙かに低コストで実現する ことができる。
[0065] なお、上記ではビデオカメラ 32を 1台のみ設置した構成を説明した力 これに限定 されるものではなぐ互いに異なる方向から撮像する複数台のビデオカメラを設置し、 各ビデオカメラで撮像された画像を用いて表面測定データと三次元脳モデルとの対 応付けを行うことで、表面測定データと三次元脳モデルとの対応付けの精度を更に 向上させるようにしてちょい。
[0066] また、上記では脳腫瘍を摘出する手術の支援に本発明を適用した例を説明したが 、これに限定されるものではなぐ脳腫瘍の摘出以外の脳の手術に適用してもよい。 また、手術部位も脳に限られるものではなぐ本発明は人体の任意の部位に対する 手術の支援に適用可能である。
[0067] また、上記では本発明に係る高精細断層画像として MRI画像を例に説明したが、 手術部位を高精細に表す断層画像であればよぐ例えば X線 CT撮影等、他の公知 の撮影方法で撮影された断層画像を適用してもよい。また、本発明に係る高精細断 層画像以外に、他の撮影方法 (例えばポジトロン ·ェミッション断層撮影法 (PET)や シングル 'フオトン'ェミッション 'コンピュータ断層撮影法 (SPECT)等)で撮影された 他の断層画像も参照しながら手術が行われる場合、他の断層画像を本発明に係る 高精細断層画像と事前に対応付けておき、前述のように表面測定データ及び非露 出部分データに基づいて本発明に係る高精細断層画像を補正した後に、補正後の 高精細断層画像に基づ ヽて前記他の断層画像も補正して表示するようにしてもょ ヽ 符号の説明
[0068] 10手術支援装置
12コンピュータ
18ディスプレイ
22ドライブ
24 MRI撮影装置 手術顕微鏡
3次元形状測定装置 ビデ才力メラ 超音波断層撮影装置 プローブ
術前マーク 術中マーク

Claims

請求の範囲
[1] 手術中に手術部位の表面を光学的に測定し、前記手術部位の表面の各個所の 3 次元位置を表す第 1の位置情報を取得する第 1取得手段と、
手術中に前記手術部位の非露出部分を超音波により測定し、前記手術部位の非 露出部分の各個所の 3次元位置を表す第 2の位置情報を取得する第 2取得手段と、 前記第 1取得手段によって取得された前記第 1の位置情報及び前記第 2取得手段 によって取得された前記第 2の位置情報に基づき、手術前に撮影した手術部位の複 数の高精細断層画像に基づ 、て生成された三次元モデルを用いて前記手術部位 の各個所における変位及び変形を推測し前記複数の高精細断層画像を補正する補 正手段と、
前記補正手段によって補正された高精細断層画像を表示手段に表示させる表示 制御手段と、
を含む手術支援装置。
[2] 前記第 1取得手段は、手術顕微鏡に取り付けられ前記手術部位の表面をレーザ光 で走査する走査装置と、前記手術顕微鏡に取り付けられ前記手術部位の表面で反 射されたレーザ光を受光することで前記手術部位の表面のうちレーザ光が照射され た個所の 3次元位置を検出する検出手段と、を含んで構成され、前記検出手段によ る 3次元位置の検出を、前記手術部位の表面上の各個所をレーザ光で走査しながら 繰り返し行うことで、前記第 1の位置情報を取得することを特徴とする請求項 1記載の 手術支援装置。
[3] 前記第 1取得手段は、手術顕微鏡に取り付けられ前記手術部位の表面を撮像する 撮像手段を更に備え、前記補正手段は、前記撮像手段によって撮像された画像も用 いて前記手術部位の各個所における変位及び変形の推測を行うことを特徴とする請 求項 1記載の手術支援装置。
[4] 前記第 2取得手段は、前記手術部位へ超音波を送波すると共に手術部位の非露 出部分の各個所で反射された超音波を受波するプローブと、該プローブで受波され た超音波を断層画像へ変換する変換手段を含んで構成されており、前記プローブの 3次元位置に基づき、前記変換手段によって得られた超音波断層画像上の各個所 の 3次元位置を求めることで、前記第 2の位置情報を取得することを特徴とする請求 項 1記載の手術支援装置。
[5] 前記第 1取得手段は、手術顕微鏡に取り付けられ前記手術部位の表面をレーザ光 で走査する走査装置と、前記手術顕微鏡に取り付けられ前記手術部位の表面で反 射されたレーザ光を受光することで前記手術部位の表面のうちレーザ光が照射され た個所の 3次元位置を検出する検出手段と、を含んで構成され、前記第 2取得手段 の前記プローブの 3次元位置の検出も行い、
前記第 2取得手段は、前記第 1取得手段によって検出された前記プローブの 3次元 位置に基づいて、前記超音波断層画像上の各個所の 3次元位置を求めることを特徴 とする請求項 4記載の手術支援装置。
[6] 前記高精細断層画像は、核磁気共鳴コンピュータ断層撮影法によって撮影した M RI画像であることを特徴とする請求項 1記載の手術支援装置。
[7] 前記補正手段は、前記第 1取得手段によって取得された前記第 1の位置情報及び 前記第 2取得手段によって取得された前記第 2の位置情報に基づき、前記手術部位 の三次元モデルのうち前記第 1の位置情報又は前記第 2の位置情報によって 3次元 位置が既知の箇所に対応する部分の位置を修正した後に、前記手術部位の三次元 モデルのうち 3次元位置が未知の箇所に対応する部分における変位及び変形を有 限要素法又はそれに類似の方法により推測し、該推測結果に基づき前記手術部位 の三次元モデルを再修正し、再修正後の前記手術部位の三次元モデルに基づ ヽて 前記複数の高精細断層画像の補正を行うことを特徴とする請求項 1記載の手術支援 装置。
[8] 手術前の前記複数の高精細断層画像の撮影時には手術部位の周辺に 3個以上の 第 1のマークが付与されると共に、手術時には手術部位の近傍に 3個以上の第 2のマ ークが付与され、
前記第 1取得手段は、前記第 1のマーク及び第 2のマークの 3次元位置を表すマー ク位置情報も取得し、
前記補正手段は、前記第 1取得手段によって取得されたマーク位置情報及び前記 高精細断層画像上の前記第 1のマークに相当する画像部の位置に基づいて、前記 高精細断層画像と前記第 1の位置情報及び前記第 2の位置情報との位置合わせを 行うことを特徴とする請求項 1記載の手術支援装置。
[9] 前記第 1取得手段による前記第 1の位置情報の取得、前記第 2取得手段による前 記第 2の位置情報の取得、前記補正手段による前記複数の高精細断層画像の補正
、及び、前記表示手段による前記高精細断層画像の表示は、手術中に繰り返し行わ れることを特徴とする請求項 1記載の手術支援装置。
[10] 手術前に撮影した手術部位の複数の高精細断層画像に基づいて前記手術部位の 三次元モデルを生成する第 1のステップ、
手術中に手術部位の表面を光学的に測定し、前記手術部位の表面の各個所の 3 次元位置を表す第 1の位置情報を取得すると共に、手術中に前記手術部位の非露 出部分を超音波により測定し、前記手術部位の非露出部分の各個所の 3次元位置 を表す第 2の位置情報を取得する第 2のステップ、
前記第 2のステップで取得した前記第 1の位置情報及び前記第 2の位置情報に基 づき、前記第 1のステップで生成した三次元モデルを用いて前記手術部位の各個所 における変位及び変形を推測し、推測した前記手術部位の各個所における変位及 び変形に応じて、手術前に撮影した前記手術部位の複数の高精細断層画像を補正 する第 3のステップ、
及び、前記第 3のステップで補正した高精細断層画像を表示手段に表示させる第 4 のステップ
を含む手術支援方法。
[11] 表示手段が接続されたコンピュータを、
手術中に手術部位の表面を光学的に測定させ、前記手術部位の表面の各個所の 3次元位置を表す第 1の位置情報を取得する第 1取得手段、
手術中に前記手術部位の非露出部分を超音波により測定させ、前記手術部位の 非露出部分の各個所の 3次元位置を表す第 2の位置情報を取得する第 2取得手段、 前記第 1取得手段によって取得された前記第 1の位置情報及び前記第 2取得手段 によって取得された前記第 2の位置情報に基づき、手術前に撮影した手術部位の複 数の高精細断層画像に基づ 、て生成された三次元モデルを用いて前記手術部位 の各個所における変位及び変形を推測し、推測した前記手術部位の各個所におけ る変位及び変形に応じて、手術前に撮影した前記手術部位の複数の高精細断層画 像を補正する補正手段、
及び、前記補正手段によって補正された高精細断層画像を表示手段に表示させる 表示制御手段
として機能させる手術支援プログラム。
PCT/JP2005/005855 2004-03-30 2005-03-29 手術支援装置、方法及びプログラム WO2005094713A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP05727540A EP1738709B1 (en) 2004-03-30 2005-03-29 Operation supporting device, method, and program
KR1020067022552A KR101193017B1 (ko) 2004-03-30 2005-03-29 수술 지원 장치, 방법 및 프로그램
DE602005023593T DE602005023593D1 (de) 2004-03-30 2005-03-29 Vorrichtung, verfahren und programm zur unterstützung einer operation
US10/599,487 US20080051651A1 (en) 2004-03-30 2005-03-29 Operation Supporting Device, Method and Program
US13/076,062 US8388539B2 (en) 2004-03-30 2011-03-30 Operation supporting device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004099297A JP4630564B2 (ja) 2004-03-30 2004-03-30 手術支援装置、方法及びプログラム
JP2004-099297 2004-03-30

Publications (1)

Publication Number Publication Date
WO2005094713A1 true WO2005094713A1 (ja) 2005-10-13

Family

ID=35063470

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/005855 WO2005094713A1 (ja) 2004-03-30 2005-03-29 手術支援装置、方法及びプログラム

Country Status (7)

Country Link
US (2) US20080051651A1 (ja)
EP (1) EP1738709B1 (ja)
JP (1) JP4630564B2 (ja)
KR (1) KR101193017B1 (ja)
CN (1) CN1964676A (ja)
DE (1) DE602005023593D1 (ja)
WO (1) WO2005094713A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008018054A3 (en) * 2006-08-08 2008-09-25 Keter Medical Ltd Imaging system
US11020202B2 (en) 2016-07-12 2021-06-01 Sony Corporation Image processing device, image processing method, and surgical navigation system

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4636618B2 (ja) * 2006-09-28 2011-02-23 学校法人早稲田大学 シミュレーション装置及びこれを用いた手術用ロボットの制御システム、並びにシミュレーション装置用のプログラム
JP2010515472A (ja) * 2006-11-27 2010-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 事前収集された医用画像に実時間超音波画像を融合させるシステム及び方法
JP5137033B2 (ja) 2007-01-31 2013-02-06 国立大学法人浜松医科大学 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
JP5561458B2 (ja) 2008-03-18 2014-07-30 国立大学法人浜松医科大学 手術支援システム
FR2936890B1 (fr) * 2008-10-03 2010-12-03 Univ Grenoble 1 Procede de traitement d'image pour estimer une deformation d'un cerveau d'un patient
JP5569711B2 (ja) 2009-03-01 2014-08-13 国立大学法人浜松医科大学 手術支援システム
DE102009025077A1 (de) 2009-06-10 2010-12-16 Karl Storz Gmbh & Co. Kg System zur Orientierungsunterstützung und Darstellung eines Instruments im Inneren eines Untersuchungsobjektes insbesondere im menschlichen Körper
WO2010150147A1 (en) * 2009-06-24 2010-12-29 Koninklijke Philips Electronics N. V. Spatial and shape characterization of an implanted device within an object
GB0913930D0 (en) * 2009-08-07 2009-09-16 Ucl Business Plc Apparatus and method for registering two medical images
KR101239294B1 (ko) * 2011-05-23 2013-03-05 한양대학교 산학협력단 좌표공간 상에서의 영상정합장치 및 영상정합방법
KR101307944B1 (ko) 2011-10-26 2013-09-12 주식회사 고영테크놀러지 수술영상의 정합 방법
JP5879098B2 (ja) * 2011-11-01 2016-03-08 公立大学法人会津大学 体内臓器の動画像生成装置および体内臓器の動画像生成方法
WO2013105209A1 (ja) * 2012-01-10 2013-07-18 株式会社島津製作所 光生体計測装置
EP4140414A1 (en) 2012-03-07 2023-03-01 Ziteo, Inc. Methods and systems for tracking and guiding sensors and instruments
US9342887B2 (en) 2012-04-27 2016-05-17 Koh Young Technology Inc. High accuracy image matching apparatus and high accuracy image matching method using a skin marker and a feature point in a body
WO2013162332A1 (ko) * 2012-04-27 2013-10-31 주식회사 고영테크놀러지 피부마커와 체내 특징점을 이용한 고정확도 영상정합 장치 및 방법
WO2014093376A1 (en) * 2012-12-10 2014-06-19 The Cleveland Clinic Foundation Mage fusion with automated compensation for brain deformation
KR101650620B1 (ko) 2014-06-24 2016-08-24 경북대학교 산학협력단 레이저 수술 유도 장치 및 방법, 이를 수행하기 위한 기록 매체
US10617401B2 (en) 2014-11-14 2020-04-14 Ziteo, Inc. Systems for localization of targets inside a body
US10085815B2 (en) * 2015-07-24 2018-10-02 Albert Davydov Method for performing stereotactic brain surgery using 3D geometric modeling
EP3659540B1 (en) * 2016-03-30 2022-12-14 Sony Group Corporation Control device, control method, and microscope device for operation
FR3073135B1 (fr) * 2017-11-09 2019-11-15 Quantum Surgical Dispositif robotise pour une intervention medicale mini-invasive sur des tissus mous
US10587885B2 (en) * 2018-06-04 2020-03-10 Tencent America LLC Method and apparatus for merge mode with additional middle candidates in video coding
CA3136002A1 (en) 2019-04-09 2020-10-15 Ziteo, Inc. Methods and systems for high performance and versatile molecular imaging
JP7323893B2 (ja) 2020-01-10 2023-08-09 公立大学法人公立はこだて未来大学 標準脳モデル生成システム、標準脳モデル生成方法および標準脳モデル生成プログラム
EP4348582A2 (en) 2021-05-24 2024-04-10 Stryker Corporation Systems and methods for generating three-dimensional measurements using endoscopic video data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000333971A (ja) * 1999-05-31 2000-12-05 Technol Res Assoc Of Medical & Welfare Apparatus 手術支援情報表示装置
JP2001061861A (ja) * 1999-06-28 2001-03-13 Siemens Ag 画像撮影手段を備えたシステムおよび医用ワークステーション
JP2001061860A (ja) * 1999-08-31 2001-03-13 Hitachi Ltd 治療装置
JP2002102249A (ja) * 2000-09-29 2002-04-09 Olympus Optical Co Ltd 手術ナビゲーション装置および手術ナビゲーション方法
JP2002522106A (ja) * 1998-08-03 2002-07-23 カーディアック・パスウェイズ・コーポレーション ダイナミックに変更可能な人体の３次元グラフィックモデル
JP2003109042A (ja) * 2001-09-28 2003-04-11 Univ Tokyo 三次元画像高速演算方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6347240B1 (en) * 1990-10-19 2002-02-12 St. Louis University System and method for use in displaying images of a body part
US5999840A (en) * 1994-09-01 1999-12-07 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US6106464A (en) * 1999-02-22 2000-08-22 Vanderbilt University Apparatus and method for bone surface-based registration of physical space with tomographic images and for guiding an instrument relative to anatomical sites in the image
US6484049B1 (en) * 2000-04-28 2002-11-19 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US7103399B2 (en) * 2003-09-08 2006-09-05 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002522106A (ja) * 1998-08-03 2002-07-23 カーディアック・パスウェイズ・コーポレーション ダイナミックに変更可能な人体の３次元グラフィックモデル
JP2000333971A (ja) * 1999-05-31 2000-12-05 Technol Res Assoc Of Medical & Welfare Apparatus 手術支援情報表示装置
JP2001061861A (ja) * 1999-06-28 2001-03-13 Siemens Ag 画像撮影手段を備えたシステムおよび医用ワークステーション
JP2001061860A (ja) * 1999-08-31 2001-03-13 Hitachi Ltd 治療装置
JP2002102249A (ja) * 2000-09-29 2002-04-09 Olympus Optical Co Ltd 手術ナビゲーション装置および手術ナビゲーション方法
JP2003109042A (ja) * 2001-09-28 2003-04-11 Univ Tokyo 三次元画像高速演算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1738709A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008018054A3 (en) * 2006-08-08 2008-09-25 Keter Medical Ltd Imaging system
US11020202B2 (en) 2016-07-12 2021-06-01 Sony Corporation Image processing device, image processing method, and surgical navigation system
US11707340B2 (en) 2016-07-12 2023-07-25 Sony Corporation Image processing device, image processing method, and surgical navigation system

Also Published As

Publication number Publication date
JP2005278992A (ja) 2005-10-13
CN1964676A (zh) 2007-05-16
US8388539B2 (en) 2013-03-05
US20080051651A1 (en) 2008-02-28
KR101193017B1 (ko) 2013-01-16
US20120010498A1 (en) 2012-01-12
EP1738709A4 (en) 2009-11-11
KR20070004074A (ko) 2007-01-05
JP4630564B2 (ja) 2011-02-09
DE602005023593D1 (de) 2010-10-28
EP1738709A1 (en) 2007-01-03
EP1738709B1 (en) 2010-09-15

Similar Documents

Publication Publication Date Title
WO2005094713A1 (ja) 手術支援装置、方法及びプログラム
US8463360B2 (en) Surgery support device, surgery support method, and computer readable recording medium storing surgery support program
JP6718920B2 (ja) 定位手術用の手術ロボットシステム及び定位手術用ロボットの制御方法
US20220192757A1 (en) Automatic registration method and device for surgical robot
JP2950340B2 (ja) 三次元データ組の登録システムおよび登録方法
CN107405187B (zh) 跟踪颚的运动的装置及方法
JP6453857B2 (ja) 超音波画像の３ｄ取得のためのシステムおよび方法
JP3881705B2 (ja) コンピュータ支援定位手術において異なる座標系を相関させる装置
JP5476036B2 (ja) 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
EP2951779B1 (en) Three-dimensional image segmentation based on a two-dimensional image information
JP6905535B2 (ja) 患者の体内に手術器具を位置調整するための誘導、追跡および案内システム
RU2707369C1 (ru) Способ подготовки и выполнения хирургической операции с использованием дополненной реальности и комплекс оборудования для её осуществления
JP5837261B2 (ja) マルチカメラ装置追跡
JP2022530490A (ja) コンピュータ支援手術のための方法及びシステム
JP6335227B2 (ja) コンピューター断層撮像を制御するための方法及びシステム
JP5569711B2 (ja) 手術支援システム
KR20180116090A (ko) 의료용 네비게이션 시스템 및 그 방법
JP2017176773A (ja) 手術支援システム、手術支援方法、手術支援プログラム
US10049480B2 (en) Image alignment device, method, and program
Clements et al. Validation of model-based deformation correction in image-guided liver surgery via tracked intraoperative ultrasound: preliminary method and results
WO2022107121A1 (en) Systems and methods for generating virtual images
WO2023110134A1 (en) Detection of positional deviations in patient registration
Watson Development of an interactive image-guided neurosurgical system

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10599487

Country of ref document: US

Ref document number: 200580010338.4

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWE Wipo information: entry into national phase

Ref document number: 1020067022552

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2005727540

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005727540

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020067022552

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 10599487

Country of ref document: US