WO2013014868A1 - 切削シミュレーション装置および切削シミュレーションプログラム - Google Patents

切削シミュレーション装置および切削シミュレーションプログラム Download PDF

Info

Publication number
WO2013014868A1
WO2013014868A1 PCT/JP2012/004378 JP2012004378W WO2013014868A1 WO 2013014868 A1 WO2013014868 A1 WO 2013014868A1 JP 2012004378 W JP2012004378 W JP 2012004378W WO 2013014868 A1 WO2013014868 A1 WO 2013014868A1
Authority
WO
WIPO (PCT)
Prior art keywords
cutting
unit
voxel
display
information
Prior art date
Application number
PCT/JP2012/004378
Other languages
English (en)
French (fr)
Inventor
良一 今中
強 高山
知晃 竹村
勁峰 今西
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201280036433.1A priority Critical patent/CN103702613A/zh
Priority to JP2013525561A priority patent/JP6051158B2/ja
Priority to EP12818406.6A priority patent/EP2737854A1/en
Priority to US14/235,246 priority patent/US20140193789A1/en
Publication of WO2013014868A1 publication Critical patent/WO2013014868A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition

Definitions

  • the present invention relates to, for example, a cutting simulation apparatus and a cutting simulation program that are used when a medical worker performs an operation simulation.
  • a cutting simulation apparatus capable of performing an operation simulation.
  • a conventional cutting simulation apparatus includes, for example, an X-ray CT image, a nuclear magnetic resonance image (MRI image), a tomographic image information acquisition unit that acquires tomographic image information such as an image acquired by PET (Positron Emission Tomography), A memory connected to the tomographic image information acquisition unit, a volume rendering calculation unit connected to the memory, a display for displaying the calculation result of the volume rendering calculation unit, and a cutting instruction for a display object displayed on the display And an input unit to perform.
  • Patent Literature 1 discloses a surgical simulation system in which an input unit issues a cutting instruction to a display object three-dimensionally displayed on a display. Further, in Patent Document 2, even if a part (tumor or the like) to be viewed in the three-dimensional display is hidden by another structure (blood vessel or the like), the part to be viewed is displayed by semi-transparently displaying the other structure. An image processing apparatus capable of displaying well is disclosed.
  • the image processing apparatus disclosed in Patent Document 2 can recognize the shape of a specific region such as a tumor from any direction, but does not disclose any display control when this is cut. Therefore, when a cutting target such as an organ is cut by the surgical simulation system of Patent Document 1 on the three-dimensional display displayed by the image processing apparatus of Patent Document 2, it exists inside the organ. Blood vessels, nerves, etc. can be displayed only in a state where they are cut together. For this reason, the doctor who performed cutting simulation cannot share information useful for actual surgery, and may not be able to perform effective surgery simulation.
  • An object of the present invention is a cutting simulation capable of expressing an actual surgical process in detail by visualizing a non-cutting object such as a blood vessel or a nerve existing inside a cutting object such as an organ after cutting.
  • a cutting simulation apparatus includes a tomographic image information acquisition unit, a memory, a volume rendering calculation unit, a display unit, an input unit, and a display control unit.
  • the tomographic image information acquisition unit acquires tomographic image information.
  • the memory is connected to the tomographic image information acquisition unit and stores voxel information of the tomographic image information.
  • the volume rendering operation unit is connected to the memory and samples the voxel information in a direction perpendicular to the line of sight based on the voxel information.
  • the display unit displays the calculation result of the volume rendering calculation unit.
  • the input unit inputs a cutting instruction for the cutting object displayed on the display unit.
  • the display control unit causes the display unit to display a state after cutting of the cutting target object based on the cutting instruction input to the input unit, and the non-cutting target object included in the cutting target object according to the cutting instruction. Even if it is included in the cut portion, it is displayed on the display unit in a state before cutting even after cutting.
  • the tomographic image includes, for example, a two-dimensional image acquired using a medical device such as X-ray CT, MRI, or PET.
  • the relationship between the cutting object and the non-cutting object includes, for example, a relationship between an organ and blood vessels, nerves, and the like existing therein.
  • the cutting is performed in a state where the organ and the tissue such as blood vessels and nerves inside the organ are cut at the same time.
  • the blood vessel that is a non-cutting object that is present in the inside is displayed in the state before cutting. Can do.
  • a cutting simulation device is the cutting simulation device according to the first invention, and the display control unit is configured to display voxel data of a cutting portion when a non-cutting object is included in the cutting portion. Is replaced with the voxel data of the non-cutting object and displayed on the display unit.
  • the display control after the cutting process on the simulation for the non-cutting object included in the cutting part, the voxel data of the cutting part is replaced with the voxel data of the non-cutting object and displayed. Accordingly, the state of the cutting object included in the cutting part is displayed as it is, while the state before cutting is displayed for the non-cutting object included in the cutting part. Therefore, a doctor or the like can perform an actual operation in a state where the positions of non-cutting objects such as blood vessels and nerves included in the cutting portion are accurately recognized.
  • a cutting simulation apparatus is the cutting simulation apparatus according to the first or second invention, wherein the voxel information corresponding to the cutting object and the non-cutting object is a color when being displayed on the display unit. Information is added and set. And a display control part displays a non-cutting target object on a display part by the color different from the color of a cutting target object.
  • a non-cutting object such as a blood vessel
  • the object is displayed in red, and the cutting object such as an organ is displayed using a different color from the red bean color.
  • the doctor who performed simulation can recognize more clearly how the blood vessel etc. which become a non-cutting object exist in the cutting part of the organ used as a cutting object.
  • a cutting simulation apparatus is the cutting simulation apparatus according to any one of the first to third aspects, wherein the object to be cut and the non-cutting object are irradiated with X-rays on the subject.
  • a CT value range indicating the degree of spatial X-ray absorption is set.
  • a display control part displays a desired cutting target object and a non-cutting target object on a display part based on CT value input via the input part.
  • an organ as a cutting object, a blood vessel or a nerve as a non-cutting object, and the like display objects (cutting objects) displayed on the display unit by designating respective preset CT value ranges.
  • Object, non-cutting object display objects (cutting objects) displayed on the display unit by designating respective preset CT value ranges.
  • the CT value is a numerical value of the degree of X-ray absorption in the human body, and is expressed as a relative value (unit: HU) with water as 0.
  • the CT value of the liver is 60 to 70 HU
  • the CT value of the kidney is 30 to 40 HU
  • the CT value of blood is 30 to 50 HU
  • the CT value of bone is 500 to 1000 HU.
  • a cutting simulation apparatus is the cutting simulation apparatus according to any one of the first to fourth inventions, and the cutting object includes an organ or a bone.
  • an organ such as a liver, a kidney, a pancreas, a duodenum, a stomach, a large intestine, and a small intestine, or a bone is used as a target to be cut.
  • the cutting simulation mentioned above can be implemented with respect to the desired organ and bone which require a surgical operation.
  • a cutting simulation device is the cutting simulation device according to any one of the first to fifth inventions, and the non-cutting object includes blood vessels and nerves.
  • the non-cutting object includes blood vessels and nerves.
  • blood vessels or nerves existing inside an organ as a cutting object are used as the non-cutting object to be subjected to the above-described cutting simulation.
  • a cutting simulation program causes a computer to execute a cutting simulation method including an acquisition step, a volume rendering step, a first display step, and a second display step.
  • acquisition step tomographic image information is acquired.
  • volume rendering step the voxel information is sampled in the direction perpendicular to the line of sight based on the voxel information of the tomographic image information.
  • first display step the volume rendering calculation result is displayed.
  • the state after cutting of the cutting object is displayed on the display unit, and the non-cutting existing inside the cutting object
  • the object is displayed on the display unit in a state before cutting even after cutting.
  • a cutting simulation is performed in a state in which the periphery of a specific organ is three-dimensionally displayed using a plurality of X-ray CT images, the specific organ (cutting object) and blood vessels included therein ( When cutting a part that includes both (non-cutting object), only a specific organ that is the cutting object is cut, and non-cutting objects such as blood vessels are displayed in the state before cutting. To control.
  • the tomographic image includes, for example, an X-ray CT image, an MRI image, an image acquired by PET, and the like.
  • the relationship between the cutting object and the non-cutting object includes, for example, a relationship between an organ and blood vessels, nerves, and the like existing therein.
  • a tissue such as a blood vessel or a nerve included in the organ is cut simultaneously with the cutting of the organ.
  • the present invention only the organ that is the object to be cut is cut, and the blood vessels and the like that are non-cutting objects existing in the inside are displayed in the state before cutting. be able to.
  • an actual surgical process can be expressed in detail by visualizing blood vessels, nerves, and the like existing inside the cutting object.
  • the control block diagram of the personal computer of FIG. The block diagram which shows the structure of the voxel label storage part in the memory contained in the control block of FIG.
  • (b) is an operation
  • movement of the personal computer of FIG. (A) is a reference figure showing an example of a display picture after cutting displayed on a general cutting simulation device.
  • B) is a figure which shows an example of the blood vessel which exists in the liver periphery.
  • (C) is a figure which shows an example of the display image after cutting displayed on the personal computer of FIG.
  • the personal computer 1 includes a display (display unit) 2 and various input units (a keyboard 3, a mouse 4, and a tablet 5 (see FIG. 2)). .
  • the display 2 displays a three-dimensional image such as an organ (displaying a kidney in the example of FIG. 1) formed from a plurality of tomographic images such as an X-ray CT image, and also displays a result of a cutting simulation described later. Further, as shown in FIG. 2, the personal computer 1 forms a control block such as a tomographic image information acquisition unit 6 inside.
  • a tomographic image information unit 8 is connected to the tomographic image information acquisition unit 6 via a voxel information extraction unit 7. That is, the tomographic image information unit 8 is supplied with tomographic image information from a device that captures tomographic images such as CT, MRI, and PET, and the tomographic image information is extracted as voxel information by the voxel information extracting unit 7.
  • the memory 9 is provided in the personal computer 1 and includes a voxel information storage unit 10, a voxel label storage unit 11, and a color information storage unit 12. In addition, a volume rendering calculation unit 13 is connected to the memory 9.
  • the voxel information storage unit 10 stores voxel information received from the voxel information extraction unit 7 via the tomographic image information acquisition unit 6.
  • the voxel label storage unit 11 includes a first voxel label storage unit 11a, a second voxel label storage unit 11b, and a third voxel label storage unit 11c. These first to third voxel label storage units 11a to 11c are provided in correspondence with preset CT value ranges described later, that is, organs to be displayed.
  • the first voxel label storage unit 11a corresponds to the CT value range for displaying the liver
  • the second voxel label storage unit 11b corresponds to the CT value range for displaying blood vessels
  • the third The voxel label storage unit 11c corresponds to a range of CT values for displaying bones.
  • the color information storage unit 12 includes a first color information storage unit 12a, a second color information storage unit 12b, and a third color information storage unit 12c.
  • These first to third color information storage units 12a to 12c are set in a predetermined CT value range, which will be described later, that is, to be displayed, similarly to the first to third voxel label storage units 11a to 11c described above. It is provided corresponding to each organ.
  • the first color information storage unit 12a corresponds to the CT value range for displaying the liver
  • the second color information storage unit 12b corresponds to the CT value range for displaying the blood vessel.
  • the color information storage unit 12c corresponds to the range of CT values for displaying bones.
  • red color information is stored in the range of CT values corresponding to the liver
  • red color information is stored in the range of CT values corresponding to blood vessels
  • white color information is stored in the range of CT values corresponding to bones. ing.
  • the CT value set for each organ, blood vessel, and bone to be displayed is a numerical value of the degree of X-ray absorption in the human body, and is expressed as a relative value (unit: HU) with water as 0. Is done.
  • the CT value range in which the liver is displayed is 60 to 70 HU
  • the CT value range in which the kidney is displayed is 30 to 40 HU
  • the CT value range in which blood is displayed is 30 to 50 HU
  • the CT is in which bone is displayed.
  • the range of values is 500-1000 HU.
  • the volume rendering operation unit 13 is based on the voxel information stored in the voxel information storage unit 10, the voxel label stored in the voxel label storage unit 11, and the color information stored in the color information storage unit 12. Thus, a plurality of pieces of slice information that are perpendicular to the line of sight and have a constant interval in the Z direction are acquired. Then, the volume rendering calculation unit 13 displays the calculation result on the display 2 as a three-dimensional image. Further, a depth detection unit 15 is connected to the volume rendering calculation unit 13 via a bus 16.
  • the depth detection unit 15 measures a ray casting scanning distance, which will be described later, and is connected to a depth control unit 17 and a voxel label setting unit 18.
  • the voxel label setting unit 18 is connected to the voxel label storage unit 11 and the cut voxel label calculation display unit 19.
  • a color information storage unit 12 and a window coordinate acquisition unit 20 in the memory 9 are connected to the bus 16, and the keyboard 3, mouse 4, tablet A three-dimensional image or the like is displayed on the display 2 based on the content input from 5 or the like.
  • FIG. 5A and FIG. 5B show a control flow for explaining the operation in the cutting simulation apparatus of the present embodiment.
  • the personal computer 1 of this embodiment as shown in FIG. 5A, first, in S1, as described above, the tomographic image information from the tomographic image information unit 8 is input and supplied to the voxel information extraction unit 7. Is done.
  • the voxel information extraction unit 7 extracts voxel information from the tomographic image information.
  • the extracted voxel information is stored in the voxel information storage unit 10 of the memory 9 via the tomographic image information acquisition unit 6.
  • the voxel information stored in the voxel information storage unit 10 is, for example, information on a point constituted by I (x, y, z, ⁇ ).
  • I is luminance information of the point
  • x, y, and z are coordinate points
  • ⁇ transparency information.
  • the volume rendering calculation unit 13 calculates a plurality of slice information that is perpendicular to the line of sight and has a constant interval based on the voxel information stored in the voxel information storage unit 10, Get information group.
  • the slice information group is at least temporarily stored in the volume rendering operation unit 13.
  • the above slice information perpendicular to the line of sight means a plane orthogonal to the line of sight. For example, when the display 2 is standing along the vertical direction and the face 2 is viewed in parallel with the face surface, the slice information becomes a surface perpendicular to the line of sight.
  • the plurality of slice information obtained in this way has information on points constituted by I (x, y, z, ⁇ ). Therefore, for example, as shown in FIG. 6, the slice information includes a plurality of voxel labels 14 arranged in the Z direction. For example, the aggregate of the voxel labels 14 illustrated in FIG. 6 is stored in the voxel label storage unit 11.
  • S ⁇ b> 4 the rendering image is displayed on the display 2.
  • the CT value range is designated using the mouse 4 or the like, whereby the organ (the liver 22 in the present embodiment) to be cut is selected, which is shown in FIG. Is displayed.
  • 22 indicates a liver
  • 23 indicates a blood vessel
  • C indicates a cutting portion described later. That is, in this embodiment, a simulation for operating the liver 22 is to be performed.
  • the display 2 cuts a part of the liver 22 and a part of the blood vessel 23 included in the cutting part C to a predetermined depth. The state after the operation is displayed.
  • the cutting portion C is shown in FIG.
  • the following control is performed. That is, in S5, using the mouse 4 or the like, a CT value corresponding to an organ or the like that is a cutting target when performing a cutting simulation and a CT value corresponding to a blood vessel 23 or the like that is a non-cutting target are set.
  • the cutting object and the non-cutting object may be set using any one of the keyboard 3, the mouse 4, the tablet 5, and the like.
  • a cutting instruction is given using the mouse 4 or the like.
  • indication you may perform using any of the keyboard 3, the mouse
  • the cursor 4 displayed on the display 2 is reciprocated horizontally or vertically on the liver 22 by moving the mouse 4 horizontally on the desk.
  • the volume rendering calculation unit 13 samples voxel information at a predetermined interval in a direction perpendicular to the line of sight (referred to as ray casting). Then, the volume rendering calculation unit 13 detects the respective ray casting scanning distances (depths) by the depth detection unit 15 at S7 for all the points obtained during the movement of the mouse 4.
  • the change rate of the depth is within a certain range. Specifically, the ray casting scanning distance d measured by the depth detection unit 15 is totaled, and the gradient ⁇ d is calculated. Then, the gradient ⁇ d is compared with the threshold value T to determine whether or not cutting is necessary. For example, when the gradient ⁇ d i at the cutting point p i is equal to or greater than the threshold value T i , the cutting point is determined to be an invalid cutting point and cutting is not performed. On the other hand, when the gradient ⁇ d i at the cutting point p i is within the threshold value T i , it is determined as an effective cutting point, and the cutting is performed as it is in S9.
  • the threshold value T i is determined on the basis of the gradient average of the nearest n cutting points and the multiple coefficient m for each cutting process.
  • the multiple coefficient m and the cutting point n may be set appropriately according to the target image, for example, m is about 5 and n is 10 or the like.
  • a threshold T i which is calculated based on the most recent cutting point of n slope average and multiple coefficients m, the rate of change in a result of comparing the gradient V D, the cutting performed Decide whether or not to do.
  • the method of calculating the change rate is not limited to this, and any calculation formula may be used as long as the change state of the gradient can be confirmed.
  • the threshold T it is preferable to change the threshold T as appropriate according to the characteristics of each organ to be cut. Thereby, the precision of avoiding erroneous cutting can be further increased.
  • a point having a change rate equal to or higher than a predetermined threshold is set as an invalid cutting point, and the depth control unit 17 issues an instruction to the voxel label setting unit 18. Thereby, the update of the voxel label is stopped and the cutting is not performed. Therefore, when the depth detection unit 15 detects a cutting point whose depth position changes suddenly due to an erroneous operation by a user such as a doctor, erroneous cutting can be avoided.
  • cutting means that the voxel label setting unit 18 updates the voxel label and stores it in the voxel label storage unit 11. That is, the voxel label does not change when cutting is not performed. Therefore, even when the mouse 4 is slid on the liver 22, it is possible to avoid the spine and the like existing on the back side from being accidentally cut. In this case, an image in which a part of the liver 22 is cut is displayed according to the number of times the mouse 4 slides in the left-right direction and the up-down direction.
  • the color information setting unit means a conversion unit using a so-called lookup table. That is, in the personal computer 1 of the present embodiment, as described above, the information of the point constituted by I (x, y, z, ⁇ ) is held, and the surface and the inside of the liver 22 are Different color information and color information are set in advance by the color information setting unit 21. As a result, when the liver 22 is operated so as to be cut from the surface, the color of the cut portion C is displayed in a color clearly different from the surrounding color according to the degree of cutting.
  • FIG. 6 shows the updated state of the voxel label and the color information label when the cutting process is performed. Most of the most voxel labels 14 on the surface indicate “1”, that is, the surface state of the liver 22. Yes. In FIG. 6, a “0” portion indicates a cut voxel.
  • the voxel labels respectively corresponding to the liver 22 and the blood vessel 23 are stored in the first voxel label storage units 11a and 11b of the voxel label storage unit 11 in the color information label and the color information storage unit 12. They are stored in the first color information storage units 12a and 12b, respectively. Therefore, when an instruction is input to cut a part of the liver 22 using the mouse 4 or the like, since the liver 22 is a cutting object, in step S10, the voxel label setting unit 18 determines whether the liver 22 is cut. At the same time as updating the voxel label value of C, the color information label of the cut portion C of the liver 22 is updated in S11. As a result, on the display screen of the display 2, as shown in FIG. 7A, the inside of the liver 22 obtained by cutting the cut portion C of the liver 22 is displayed in a slightly different color from the surface of the liver 22.
  • the cutting portion C is shown in FIG.
  • the voxel label of the blood vessel 23 it is displayed in the portion of the cut portion C without being cut as shown in FIG.
  • the voxel information and color information in the cutting portion C and the voxel information and color information of the blood vessel 23 are replaced after the cutting process.
  • the color information is red as shown in FIG.
  • the position and shape of the displayed blood vessel 23 can be recognized more accurately.
  • a user such as a doctor drags the mouse 4 when the mouse button is turned on while viewing the three-dimensional display screen. By operating, the intended partial region of the liver 22 can be easily and continuously cut.
  • the memory 9 can be updated when the personal computer 1 is turned off.
  • a user such as a doctor starts dragging while pressing the mouse button of the mouse 4
  • only the information of the volume rendering calculation unit 13 is updated in the memory 9, thereby visually providing an interactive cutting function to the user. can do.
  • the working volume label is temporarily saved without updating the memory 9.
  • the user releases the mouse button the memory content temporarily stored is reflected in the memory 9.
  • the user can display as if it was cut to a certain depth from the surface of the liver 22 that is a cutting object in one drag operation, and prevents it from being displayed in an excessively cut state. be able to.
  • the voxel label has the same size as the initial voxel information.
  • the voxel label may be generated as a smaller size voxel label.
  • a surgery simulation can be performed only by moving the mouse 4 in a plane. Therefore, an appropriate surgical simulation can be performed also from this point.
  • the present invention is not limited to this.
  • achieve this invention as a cutting simulation program which makes a computer perform the control method shown to Fig.5 (a) and FIG.5 (b).
  • the present invention may be realized as a recording medium storing the cutting simulation program.
  • the color information of the non-cutting object in which color information different from that of the cutting object is set is also displayed in that the blood vessel that is the non-cutting object is displayed in an easy-to-understand manner. It is more preferable to control the replacement.
  • a three-dimensional image may be formed using tomographic image information acquired by a nuclear magnetic resonance image (MRI) that does not use radiation.
  • MRI nuclear magnetic resonance image
  • the present invention is not limited to this.
  • other organs and bones such as the stomach, lungs, kidneys, pancreas, large intestine, small intestine, and duodenum may be set as the cutting target.
  • you may set a nerve or a bone as a non-cutting thing.
  • the type of blood vessel is designated as the non-cutting object, it is also possible to display by color coding so that the artery and vein can be distinguished by appropriately designating the CT value.
  • the cutting amount (volume) input by the mouse 4 may be displayed on the display 2 as the output of the cut voxel label calculation display unit 19 that calculates the volume of the cut voxel.
  • the cutting depth input by the mouse 4 may be displayed on the display 2.
  • the voxel information stored in the voxel information storage unit 10 is converted into a two-dimensional or three-dimensional image for display on the display 2 and displayed by the mouse 4 in the cutting target portion displayed on the display 2. You may provide the color information setting part 21 which changes the color information of the part.
  • the aggregate of the voxel labels 14 is stored in the voxel label storage portion 11. Just keep it. Thereby, the information added with the color information is reflected in the display from various directions cut out from this information. Therefore, the part to be concerned about in the cutting object can be observed three-dimensionally from the entire circumference, and this cutting simulation can also be performed.
  • the volume rendering operation unit 13 may use a convergence characteristic such as a fisheye lens provided in the endoscope as a coordinate conversion table.
  • the output images of the volume rendering operation unit 13 created for each viewpoint are stored in a plurality of memories, and the outputs from the memories are sequentially displayed on a display to generate a stereoscopic image. May be.
  • liquid crystal glasses synchronized with the respective image outputs may be used.
  • the cutting simulation apparatus has an effect that the actual surgical process can be expressed in detail by visualizing blood vessels, nerves, and the like existing inside the cutting object. It is expected to be widely used as a device for performing cutting simulation.

Abstract

　ＰＣ（１）は、断層画像情報取得部（６）とメモリ（９）とボリュームレンダリング演算部（１３）とディスプレイ（２）とマウス（４）とボクセルラベル設定部（１８）とを備えている。断層画像情報取得部（６）は、断層画像情報を取得する。メモリ（９）は、断層画像情報のボクセル情報を格納する。ボリュームレンダリング演算部（１３）は、ボクセル情報に基づいて視線に対して垂直の方向にボクセル情報をサンプリングする。ディスプレイ（２）は、ボリュームレンダリング演算部（１３）の演算結果を表示する。マウス（４）は、ディスプレイ（２）に表示された肝臓（２２）の切削指示を入力する。ボクセルラベル設定部（１８）は、マウス（４）による切削指示により肝臓（２２）の切削後の状態を表示させ、切削部分（Ｃ）に含まれている肝臓（２２）内部の血管（２３）については切削後も切削前の状態で表示させる。

Description

切削シミュレーション装置および切削シミュレーションプログラム
　本発明は、例えば、医療従事者が手術のシミュレーションを行う際に活用する切削シミュレーション装置および切削シミュレーションプログラムに関するものである。
　医療現場において、より適切な手術を行うために、手術のシミュレーションを行うことが可能な切削シミュレーション装置が活用されている。
　従来の切削シミュレーション装置は、例えば、Ｘ線ＣＴ画像や核磁気共鳴画像（ＭＲＩ画像）、ＰＥＴ（陽電子放射断層法）によって取得された画像等の断層画像情報を取得する断層画像情報取得部と、断層画像情報取得部に接続されたメモリと、メモリに接続されたボリュームレンダリング演算部と、ボリュームレンダリング演算部の演算結果を表示するディスプレイと、ディスプレイに表示された表示対象物に対して切削指示を行う入力部と、を備えていた。
　例えば、特許文献１には、入力部によって、ディスプレイに３次元表示された表示対象物に切削指示を行う手術シミュレーションシステムについて開示されている。
　また、特許文献２には、３次元表示において見たい部位（腫瘍等）が他の構造物（血管等）によって隠れてしまう場合でも、他の構造物を半透明表示することで見たい部位を良好に表示することが可能な画像処理装置について開示されている。
特開平５－１２３３２７号公報 特開２００３－９１７３５号公報
　しかしながら、上記従来の構成では、以下に示すような問題点を有している。
　すなわち、上記特許文献２に開示された画像処理装置では、腫瘍等の特定領域の形状をあらゆる方向から認識することができるものの、これを切削した場合の表示制御については何ら開示されていない。
　よって、特許文献２の画像処理装置によって表示された３次元表示に、特許文献１の手術シミュレーションシステムによって臓器等の切削対象物に対して切削を行った場合には、その臓器の内部に存在する血管や神経等も一緒に切削された状態でしか表示することができない。このため、切削シミュレーションを行った医師等は、実際の手術に有益な情報を情報共有することができず、効果的な手術シミュレーションを行うことができないおそれがある。
　本発明の課題は、臓器等の切削対象物の内部に存在する血管や神経等の非切削対象物を切削後も可視化することで、実際の手術プロセスを詳細に表現することが可能な切削シミュレーション装置および切削シミュレーションプログラムを提供することにある。
　第１の発明に係る切削シミュレーション装置は、断層画像情報取得部と、メモリと、ボリュームレンダリング演算部と、表示部と、入力部と、表示制御部と、を備えている。断層画像情報取得部は、断層画像情報を取得する。メモリは、断層画像情報取得部に接続されており、断層画像情報のボクセル情報を格納する。ボリュームレンダリング演算部は、メモリに接続されており、ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングする。表示部は、ボリュームレンダリング演算部の演算結果を表示する。入力部は、表示部に表示された切削対象物に対する切削指示が入力される。表示制御部は、入力部に入力された切削指示に基づいて、切削対象物の切削後の状態を表示部に表示させるとともに、切削対象物の内部に含まれる非切削対象物については切削指示による切削部分に含まれている場合でも切削後も切削前の状態で表示部に表示させる。
　ここでは、例えば、複数のＸ線ＣＴ画像を用いて特定の臓器周辺を３次元表示した状態で切削シミュレーションを実施する際に、特定の臓器（切削対象物）とその内部の血管等（非切削対象物）の両方を含む部分を切削する場合には、切削対象物である特定の臓器のみが切削され、血管等の非切削対象物については切削前の状態のままで表示されるように制御を行う。
　ここで、上記断層画像には、例えば、Ｘ線ＣＴやＭＲＩ、ＰＥＴ等の医用機器を用いて取得された２次元画像が含まれる。また、切削対象物と非切削対象物との関係には、例えば、臓器とその内部に存在する血管や神経等の関係が含まれる。
　これにより、例えば、３次元表示された臓器の一部を切削するシミュレーションを実施する際に、従来は臓器の切削と同時にその臓器の内部にある血管や神経等の組織まで切削された状態で切削後の表示がなされていたところ、本発明によれば、切削対象物である臓器だけが切削され、その内部に存在する非切削対象物である血管等は切削前の状態のままで表示することができる。
　よって、例えば、医師等が外科的な手術を実施する前に、患者の実際の手術部位を含む３次元画像の中で切削部分における血管等の位置を、複数の医師等の間で情報共有することができる。この結果、実際の手術のプロセスを詳細なシミュレーションとして表示することができる。
　第２の発明に係る切削シミュレーション装置は、第１の発明に係る切削シミュレーション装置であって、表示制御部は、切削部分に非切削対象物が含まれている場合には、切削部分のボクセルデータを、非切削対象物のボクセルデータと入れ替えて表示部に表示させる。
　ここでは、シミュレーション上における切削処理後の表示制御について、切削部分に含まれる非切削対象物については切削部分のボクセルデータを非切削対象物のボクセルデータと入れ替えて表示させる。
　これにより、切削部分に含まれる切削対象物についてはそのまま切削処理された状態が表示される一方、切削部分に含まれる非切削対象物については切削前の状態が表示される。よって、医師等は、切削部分に含まれる血管や神経等の非切削対象物の位置を正確に認識した状態で、実際の手術を実施することができる。
　第３の発明に係る切削シミュレーション装置は、第１または第２の発明に係る切削シミュレーション装置であって、切削対象物および非切削対象物に対応するボクセル情報には表示部に表示させる際の色情報が付加されて設定されている。そして、表示制御部は、非切削対象物を、切削対象物の色とは異なる色で表示部に表示させる。
　ここでは、切削部分を切削処理した後でも表示される非切削対象物を、切削処理された状態で表示される切削対象物と区別して認識しやすくするために、例えば、血管等の非切削対象物を赤色、臓器等の切削対象物を小豆色と、異なる色を用いて表示する。
　これにより、シミュレーションを行った医師等は、切削対象物となる臓器の切削部分に、非切削対象物となる血管等がどのように存在しているのかを、より明確に認識することができる。
　第４の発明に係る切削シミュレーション装置は、第１から第３の発明のいずれか１つに係る切削シミュレーション装置であって、切削対象物および非切削対象物には、被写体へのＸ線照射時における空間的なＸ線吸収の程度を示すＣＴ値の範囲が設定されている。そして、表示制御部は、入力部を介して入力されたＣＴ値に基づいて、所望の切削対象物および非切削対象物を表示部に表示させる。
　ここでは、切削対象物としての臓器等、非切削対象物としての血管や神経等は、それぞれ予め設定されたＣＴ値の範囲を指定することで、表示部に表示される表示対象物（切削対象物、非切削対象物）を切り替える。
　ここで、上記ＣＴ値とは、人体におけるＸ線吸収の程度を数値化したものであり、水を０とする相対値（単位：ＨＵ）として表される。例えば、肝臓のＣＴ値は６０～７０ＨＵ、腎臓のＣＴ値は３０～４０ＨＵ、血液のＣＴ値は３０～５０ＨＵ、骨のＣＴ値は５００～１０００ＨＵである。
　これにより、例えば、マウスやキーボード等の入力部によって実際に手術を行う臓器等をＣＴ値の範囲を入力することで、容易に表示部に所望の臓器等を表示させて、上述した切削シミュレーションを実施することができる。
　第５の発明に係る切削シミュレーション装置は、第１から第４の発明のいずれか１つに係る切削シミュレーション装置であって、切削対象物には、臓器または骨が含まれる。
　ここでは、上述した切削シミュレーションを実施する対象となる切削対象物として、肝臓、腎臓、すい臓、十二指腸、胃、大腸、小腸等の臓器、あるいは骨を用いている。
　これにより、外科的な手術が必要な所望の臓器や骨に対して、上述した切削シミュレーションを実施することができる。
　第６の発明に係る切削シミュレーション装置は、第１から第５の発明のいずれか１つに係る切削シミュレーション装置であって、非切削対象物には、血管や神経が含まれる。
　ここでは、上述した切削シミュレーションを実施する対象となる非切削対象物として、例えば、切削対象物としての臓器の内部に存在する血管や神経等を用いている。
　これにより、手術が必要な臓器等の切削部分に含まれる血管等がどのように位置しているのかを明確に認識することができる。
　第７の発明に係る切削シミュレーションプログラムは、取得ステップと、ボリュームレンダリングステップと、第１表示ステップと、第２表示ステップと、を備えた切削シミュレーション方法をコンピュータに実行させる。取得ステップでは、断層画像情報を取得する。ボリュームレンダリングステップでは、断層画像情報のボクセル情報に基づいて視線に対して垂直の方向においてボクセル情報をサンプリングする。第１表示ステップでは、ボリュームレンダリングの演算結果を表示する。第２表示ステップでは、表示された切削対象物に対して入力された切削指示に基づいて、切削対象物の切削後の状態を表示部に表示させるとともに、切削対象物の内部に存在する非切削対象物については切削指示による切削部分に含まれている場合でも切削後も切削前の状態で表示部に表示させる。
　ここでは、例えば、複数のＸ線ＣＴ画像を用いて特定の臓器周辺を３次元表示した状態で切削シミュレーションを実施する際に、特定の臓器（切削対象物）とその内部に含まれる血管等（非切削対象物）の両方を含む部分を切削する場合には、切削対象物である特定の臓器のみが切削され、血管等の非切削対象物については切削前の状態のままで表示されるように制御を行う。
　ここで、上記断層画像には、例えば、Ｘ線ＣＴ画像やＭＲＩ画像、ＰＥＴによって取得された画像等が含まれる。また、切削対象物と非切削対象物との関係には、例えば、臓器とその内部に存在する血管や神経等の関係が含まれる。
　これにより、例えば、３次元表示された臓器の一部を切削するシミュレーションを実施する際に、従来は臓器の切削と同時にその臓器の内部に含まれる血管や神経等の組織まで切削された状態で切削後の表示がなされていたところ、本発明によれば、切削対象物である臓器だけが切削され、その内部に存在する非切削対象物である血管等は切削前の状態のままで表示することができる。
　よって、例えば、医師等が外科的な手術を実施する前に、患者の実際の手術部位を含む３次元画像の中で切削部分における血管等の位置を、複数の医師等の間で情報共有することができる。この結果、実際の手術のプロセスを詳細なシミュレーションとして表示することができる。
（発明の効果）
　本発明に係る切削シミュレーション装置によれば、切削対象物の内部に存在する血管や神経等を可視化することで、実際の手術プロセスを詳細に表現することができる。
本発明の一実施形態に係るパーソナルコンピュータ（切削シミュレーション装置）を示す斜視図。 図１のパーソナルコンピュータの制御ブロック図。 図２の制御ブロックに含まれるメモリ内のボクセルラベル格納部の構成を示すブロック図。 図２の制御ブロックに含まれるメモリ内の色情報格納部の構成を示すブロック図。 （ａ）および（ｂ）は、図１のパーソナルコンピュータの動作フローチャート。 図１のパーソナルコンピュータの動作を説明する概念図。 （ａ）は、一般的な切削シミュレーション装置に表示される切削後の表示画像の一例を示す参考図。（ｂ）は、肝臓周辺に存在する血管の一例を示す図。（ｃ）は、図１のパーソナルコンピュータに表示される切削後の表示画像の一例を示す図。
　本発明の一実施形態に係るパーソナルコンピュータ（切削シミュレーション装置）について、図１～図７（ｃ）を用いて説明すれば以下の通りである。
　本実施形態に係るパーソナルコンピュータ１は、図１に示すように、ディスプレイ（表示部）２と、各種入力部（キーボード３、マウス４、およびタブレット５（図２参照））と、を備えている。
　ディスプレイ２は、Ｘ線ＣＴ画像等の複数の断層画像から形成される臓器（図１の例では腎臓を表示）等の３次元画像を表示するとともに、後述する切削シミュレーションの結果を表示する。
　また、パーソナルコンピュータ１は、図２に示すように、内部に、断層画像情報取得部６等の制御ブロックを形成する。
　断層画像情報取得部６には、ボクセル情報抽出部７を介して、断層画像情報部８が接続されている。つまり、断層画像情報部８では、ＣＴあるいはＭＲＩ、ＰＥＴ等の断層画像を撮影する機器から断層画像情報が供給され、この断層画像情報がボクセル情報抽出部７によってボクセル情報として抽出される。
　メモリ９は、パーソナルコンピュータ１内に設けられており、ボクセル情報格納部１０、ボクセルラベル格納部１１、および色情報格納部１２を有している。また、メモリ９には、ボリュームレンダリング演算部１３が接続されている。
　ボクセル情報格納部１０は、ボクセル情報抽出部７から断層画像情報取得部６を介して受信したボクセル情報を格納している。
　ボクセルラベル格納部１１は、図３に示すように、第１ボクセルラベル格納部１１ａ、第２ボクセルラベル格納部１１ｂ、第３ボクセルラベル格納部１１ｃを有している。これらの第１～第３ボクセルラベル格納部１１ａ～１１ｃは、後述する予め設定されたＣＴ値の範囲、つまり表示対象となる臓器にそれぞれ対応して設けられている。例えば、第１ボクセルラベル格納部１１ａは、肝臓を表示するＣＴ値の範囲に対応しており、第２ボクセルラベル格納部１１ｂは、血管を表示するＣＴ値の範囲に対応しており、第３ボクセルラベル格納部１１ｃは、骨を表示するＣＴ値の範囲に対応している。
　色情報格納部１２は、図４に示すように、第１色情報格納部１２ａ、第２色情報格納部１２ｂ、第３色情報格納部１２ｃを有している。これらの第１～第３色情報格納部１２ａ～１２ｃは、上述した第１～第３ボクセルラベル格納部１１ａ～１１ｃと同様に、後述する予め設定されたＣＴ値の範囲、つまり表示対象となる臓器にそれぞれ対応して設けられている。例えば、第１色情報格納部１２ａは、肝臓を表示するＣＴ値の範囲に対応しており、第２色情報格納部１２ｂは、血管を表示するＣＴ値の範囲に対応しており、第３色情報格納部１２ｃは、骨を表示するＣＴ値の範囲に対応している。このとき、第１～第３色情報格納部１２ａ～１２ｃには、表示対象となる臓器や血管、骨ごとにそれぞれ異なる色情報が設定されている。例えば、肝臓に対応するＣＴ値の範囲には小豆色の色情報、血管に対応するＣＴ値の範囲には赤色の色情報、骨に対応するＣＴ値の範囲には白色の色情報がそれぞれ格納されている。
　なお、表示対象となる臓器や血管、骨ごとに設定されるＣＴ値とは、人体におけるＸ線吸収の程度を数値化したものであり、水を０とする相対値（単位：ＨＵ）として表される。例えば、肝臓が表示されるＣＴ値の範囲は６０～７０ＨＵ、腎臓が表示されるＣＴ値の範囲は３０～４０ＨＵ、血液が表示されるＣＴ値の範囲は３０～５０ＨＵ、骨が表示されるＣＴ値の範囲は５００～１０００ＨＵである。
　ボリュームレンダリング演算部１３は、ボクセル情報格納部１０に格納されているボクセル情報と、ボクセルラベル格納部１１に格納されているボクセルラベルと、色情報格納部１２に格納されている色情報とに基づいて、視線に対して垂直で、かつＺ方向の間隔が一定の複数枚のスライス情報を取得する。そして、ボリュームレンダリング演算部１３は、その演算結果を３次元画像としてディスプレイ２に表示する。また、ボリュームレンダリング演算部１３には、バス１６を介して深さ検出部１５が接続されている。
　深さ検出部１５は、後述するレイキャスティング走査距離を測定するとともに、深さ制御部１７とボクセルラベル設定部１８とが接続されている。
　ボクセルラベル設定部１８は、ボクセルラベル格納部１１と被切削ボクセルラベル算出表示部１９とが接続されている。
　バス１６には、上述したボリュームレンダリング演算部１３および深さ検出部１５に加えて、メモリ９内の色情報格納部１２、ウィンドウ座標取得部２０が接続されており、キーボード３、マウス４、タブレット５等から入力された内容に基づいて、ディスプレイ２に３次元画像等を表示する。
　ウィンドウ座標取得部２０には、深さ検出部１５と色情報設定部２１とが接続されている。色情報設定部２１は、メモリ９内の色情報格納部１２に接続されている。
　図５（ａ）および図５（ｂ）は、本実施形態の切削シミュレーション装置における動作説明を行うための制御フローを示している。
　本実施形態のパーソナルコンピュータ１では、図５（ａ）に示すように、まずＳ１において、上述したように、断層画像情報部８からの断層画像情報が入力され、これがボクセル情報抽出部７に供給される。
　次に、Ｓ２において、ボクセル情報抽出部７において、断層画像情報からボクセル情報が抽出される。抽出されたボクセル情報は、断層画像情報取得部６を介して、メモリ９のボクセル情報格納部１０に格納される。ボクセル情報格納部１０に格納されるボクセル情報は、例えば、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報である。このとき、Ｉは当該点の輝度情報であり、ｘ，ｙ，ｚは座標点を示し、αは透明度情報である。
　次に、Ｓ３において、ボリュームレンダリング演算部１３が、ボクセル情報格納部１０に格納されているボクセル情報に基づいて、視線に対して垂直で、かつ間隔が一定の複数のスライス情報を算出し、スライス情報群を取得する。そして、スライス情報群は、ボリュームレンダリング演算部１３内に少なくとも一時的に格納される。
　なお、上述した視線に対して垂直なスライス情報とは、視線に対して直交する面を意味している。例えば、ディスプレイ２を鉛直方向に沿って立てた状態で、これと顔の面とを平行にした状態で見た場合に、スライス情報が視線に対して垂直な面となる。
　このようにして得られた複数のスライス情報は、上述したように、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報を保有している。よって、スライス情報は、例えば、図６に示すように、ボクセルラベル１４がＺ方向に複数枚配置されている。なお、例えば、図６に示すボクセルラベル１４の集合体は、ボクセルラベル格納部１１に収納されている。
　次に、Ｓ４において、ディスプレイ２には、レンダリング像が表示される。このとき、ディスプレイ２では、マウス４等を用いてＣＴ値の範囲が指定されることで、切削対象物となる臓器（本実施形態では肝臓２２）が選択され、図７（ａ）等に示すように表示される。
　なお、図７（ａ）～図７（ｃ）において、２２は肝臓、２３は血管、Ｃは後述する切削部分を示している。つまり、本実施形態では、肝臓２２を手術するためのシミュレーションを実施しようとしている。
　ここで、一般的な切削シミュレーションを実施すると、図７（ａ）に示すように、ディスプレイ２には、切削部分Ｃに含まれる肝臓２２の一部や血管２３の一部を所定の深さまで切削した後の状態が表示される。
　本実施形態では、このような肝臓２２の手術シミュレーションを実施する際に、ディスプレイ２の画面上において、肝臓２２の一部を切り取る手術を実施する際に、その切削部分Ｃに、図７（ｂ）に示す血管２３がどのように存在しているのかを表示することができるようにするために、以下のように制御が行われる。
　すなわち、Ｓ５において、マウス４等を用いて、切削シミュレーションを実施する際の切削対象物となる臓器等に対応するＣＴ値、非切削対象物となる血管２３等に対応するＣＴ値がそれぞれ設定される。なお、切削対象物および非切削対象物の設定は、キーボード３、マウス４、あるいはタブレット５等の何れを用いて行ってもよい。
　次に、Ｓ６において、マウス４等を用いて切削指示がなされる。なお、切削指示を入力する入力部としては、切削対象物および非切削対象物の設定と同様に、キーボード３、マウス４、あるいはタブレット５等の何れを用いて行ってもよい。
　具体的な切削指示の入力方法としては、マウス４を机の上で水平方向に移動させることで、ディスプレイ２上において表示されるカーソルを、肝臓２２の上において左右あるいは上下に往復させる。
　このとき、マウス４の左右方向、上下方向における動きは、ウィンドウ座標取得部２０において検出される。そして、その情報が、深さ検出部１５を介してボクセルラベル設定部１８、ボクセルラベル格納部１１へと伝達される。これにより、肝臓２２と血管２３のＺ方向の位置を考慮した切削が行われる。
　具体的には、ボリュームレンダリング演算部１３において、ボクセル情報を視線に対して垂直の方向に一定間隔にてサンプリング（レイキャスティングと呼ぶ。）する。そして、ボリュームレンダリング演算部１３は、マウス４の移動中に求められた全ての点について、Ｓ７において、深さ検出部１５によってそれぞれのレイキャスティング走査距離（深さ）を検出する。
　そして、Ｓ８において、その深さの変化率が、一定の範囲内であるか否かを判定する。
　具体的には、深さ検出部１５において測定されたレイキャスティング走査距離ｄを集計し、その勾配∇ｄを算出する。そして、勾配∇ｄと、閾値Ｔとの比較を行い、切削実行の要否を判断する。例えば、切削点ｐiにおける勾配∇ｄiが閾値Ｔi以上であった場合には、無効な切削点と判断して、切削を実施しない。一方、切削点ｐiにおける勾配∇ｄiが閾値Ｔi以内であった場合には、有効な切削点と判断して、Ｓ９において、そのまま切削を実施する。
　閾値Ｔは、切削処理の度に直近の切削点ｎ個の勾配平均と倍数係数ｍとに基づいて閾値Ｔiが決定される。
Figure JPOXMLDOC01-appb-I000001
　なお、倍数係数ｍと切削点ｎとは、例えば、ｍを５程度、ｎを１０等と、これら数値は対象画像に応じて適宜設定すればよい。
　本実施形態では、以上のように、直近の切削点ｎ個の勾配平均と倍数係数ｍに基づいて算出された閾値Ｔiと、勾配∇ｄとを比較した結果を変化率として、切削を実施するか否かを決定する。
　なお、変化率の算出方法は、これに限定されるものではなく、勾配の変化状態が確認できるのであれば、どのような計算式を用いてもよい。
　また、閾値Ｔについても、切削対象となるそれぞれの臓器の特徴に応じて適宜変化させることが好ましい。これにより、誤切削回避の精度をさらに上げることができる。
　ここで、上述した切削処理では、所定の閾値以上の変化率をもつ点を無効な切削点とし、深さ制御部１７がボクセルラベル設定部１８に指示を出す。これにより、ボクセルラベルの更新は中止され、切削は実施されない。よって、医師等の使用者の誤操作によって急激に深さ位置が変化する切削点を深さ検出部１５が検出した場合には、誤切削を回避することができる。
　このとき、切削を実施するとは、ボクセルラベル設定部１８がボクセルラベルを更新し、ボクセルラベル格納部１１に格納することを意味する。つまり、切削を実施しない場合には、ボクセルラベルは変化しない。
　従って、マウス４を肝臓２２上において摺動させた場合でも、その奥側に存在する背骨等が誤って切削されてしまうことを回避することができる。そして、この場合には、マウス４の左右方向、上下方向における摺動回数に応じて、肝臓２２の一部が切削された画像が表示される。
　なお、肝臓２２が切削された状態は、ウィンドウ座標取得部２０の情報が色情報設定部２１を介して色情報格納部１２に伝達されることで、肝臓２２の色が変化することによって認識することができる。ここで、色情報設定部とは、いわゆるルックアップテーブルを用いた変換部を意味する。つまり、本実施形態のパーソナルコンピュータ１では、上述したように、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報を保有しており、肝臓２２の表面と内部とに対して、色情報設定部２１によって予め異なる輝度情報と色情報とが設定されている。これにより、肝臓２２を表面から切削するように操作した場合には、その切削度合いに応じて、切削部分Ｃの色はその周りの色とは明らかに違う色で表示される。
　次に、Ｓ１０およびＳ１１において、切削対象物である肝臓２２の切削部分Ｃに対応する部分のボクセル情報（ボクセルラベルの値）と色情報ラベルとが更新される。
　図６は、切削処理を行う場合のボクセルラベルと色情報ラベルの更新状態を示しており、最も表面のボクセルラベル１４の大部分は“１”の状態、つまり、肝臓２２の表面状態を示している。また、図６において、“０”の部分は、切削されたボクセルを示している。
　本実施形態では、上述したように、肝臓２２および血管２３がそれぞれ対応するボクセルラベルをボクセルラベル格納部１１の第１ボクセルラベル格納部１１ａ，１１ｂ内に、色情報ラベルと色情報格納部１２の第１色情報格納部１２ａ，１２ｂ内に、それぞれ格納している。
　よって、マウス４等を用いて肝臓２２の一部を切削するように指示入力した場合には、肝臓２２は切削対象物であるため、Ｓ１０において、ボクセルラベル設定部１８が、肝臓２２の切削部分Ｃのボクセルラベル値を更新すると同時に、Ｓ１１において、肝臓２２の切削部分Ｃの色情報ラベルを更新する。これにより、ディスプレイ２の表示画面上には、図７（ａ）に示すように、肝臓２２の切削部分Ｃを切り取った肝臓２２の内部が肝臓２２の表面とは若干異なる色で表示される。
　ここで、本実施形態では、上述したＳ５において非切削対象物として指定された血管２３については、肝臓２２の切削部分Ｃに含まれている場合でも、切削部分Ｃに図７（ｂ）に示す血管２３のボクセルラベルを置き換えることで、図７（ｃ）に示すように、切削処理されることなく切削部分Ｃの部分に表示される。
　具体的には、Ｓ１２において、非切削対象物として指定された血管２３については、切削処理後に、切削部分Ｃにおけるボクセル情報および色情報と血管２３のボクセル情報および色情報とを置換する。
　これにより、ディスプレイ２の表示画面上には、切削指示が入力された切削部分Ｃに含まれる肝臓２２の部分だけが切削された状態で表示されるとともに、非切削対象物として指定された血管２３については切削されない状態で表示される。この結果、手術シミュレーションを実施した医師等は、切削対象物である肝臓２２の一部（切削部分Ｃ）を切り取った際に、切削部分Ｃ内に血管２３がどのように位置しているのかを、複数人の間で情報を共有しつつ、同時に認識することができる。
　また、本実施形態では、切削対象物である肝臓２２と非切削対象物である血管２３とに対して互いに異なる色情報が設定しているため、図７（ｃ）に示すように、赤色で表示される血管２３の位置や形状をより正確に認識することができる。
　さらに、本実施形態では、例えば、マウスボタンのＯＮ／ＯＦＦによって切削開始／終了の切り替えを行うことができるため、医師等の使用者は３次元表示画面を見ながらマウスボタンＯＮ時にマウス４をドラッグ操作することで、意図した肝臓２２の一部領域の切削を容易かつ連続的に行うことができる。
　また、本実施形態では、メモリ９の更新を、パーソナルコンピュータ１の電源ＯＦＦ時に行うことができる。医師等の使用者がマウス４のマウスボタンを押下しながらドラッグを開始すると、ボリュームレンダリング演算部１３の情報のみをメモリ９内において更新することで、視覚的に使用者へインタラクティブの切削機能を提供することができる。
　このとき、メモリ９を更新せず、作業中のボリュームラベルを一時的に保存しておく。そして、使用者がマウスボタンを離す際に、一時保存しておいたメモリ内容をメモリ９へ反映させる。これにより、使用者は一度のドラッグ操作において、切削対象物である肝臓２２の表面から一定の深さまで切削されたように表示することができ、過度に切削された状態で表示されることを防ぐことができる。
　また、本実施形態では、ボクセルラベルを初期のボクセル情報と同サイズとしているが、より細かい切削を表現するには、ボクセルラベルをより小さいサイズのボクセルラベルとして生成してもよい。本手法では、ボクセル情報を直接編集せず、ボクセルラベルに時刻情報を持たせることで、Ｕｎｄｏ（元に戻す）やＲｅｄｏ（再入力）などの操作に対応することも可能である。
　また、本実施形態では、マウス４を平面的に動かすだけで手術シミュレーションを行うことができる。よって、この点からも適切な手術シミュレーションを行うことができる。
　［他の実施形態］
　以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
　（Ａ）
　上記実施形態では、切削シミュレーション装置として本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、図５（ａ）および図５（ｂ）に示す制御方法をコンピュータに実行させる切削シミュレーションプログラムとして、本発明を実現してもよい。
　さらに、この切削シミュレーションプログラムを格納した記録媒体として、本発明を実現してもよい。
　（Ｂ）
　上記実施形態では、非切削対象物として指定された血管２３については、切削処理後に、切削部分Ｃにおけるボクセル情報および色情報と血管２３のボクセル情報および色情報とを置換するように制御される例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、切削部分におけるボクセル情報だけを非切削対象物のボクセル情報と置換するように制御してもよい。
　ただし、図７（ｃ）に示すように、非切削対象物である血管を分かり易く表示するという点では、切削対象物とは異なる色情報が設定された非切削対象物の色情報も併せて置換するように制御することがより好ましい。
　（Ｃ）
　上記実施形態では、３次元画像を形成するための断層画像情報として、Ｘ線ＣＴ画像を用いた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、放射線を使用しない核磁気共鳴画像（ＭＲＩ）によって取得された断層画像情報等を用いて３次元画像を形成してもよい。
　（Ｄ）
　上記実施形態では、本発明に係る切削シミュレーションの一例として、切削対象物として肝臓２２、非切削対象物として血管２３、をそれぞれ指定した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、胃や肺、腎臓、すい臓、大腸、小腸、十二指腸等の他の臓器や骨を切削対象物として設定してもよい。あるいは、神経や骨周辺に存在する腫瘍等を切削するシミュレーションを実施する場合には、非切削物として神経、あるいは骨を設定してもよい。
　さらに、非切削対象物として血管の種類まで指定した場合には、ＣＴ値を適切に指定することで、動脈や静脈を見分けられるように色分けして表示することも可能である。
　（Ｅ）
　上記実施形態では、マウス４によって切削指示されたボクセルラベル１４における切削対象物の輝度情報および色情報の両方を変化させた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、表示対象物の輝度情報および色情報のうち、少なくとも一方を変化させるように表示制御してもよい。
　（Ｆ）
　上記実施形態では、切削されたボクセルの体積を算出する被切削ボクセルラベル算出表示部１９の出力として、マウス４によって入力された切削量（体積）をディスプレイ２に表示してもよい。
　あるいは、マウス４によって入力された切削深さを、ディスプレイ２に表示してもよい。
　（Ｇ）
　上記実施形態では、ディスプレイ２の表示画面上に表示される３次元画像を見ながら、切削シミュレーションを実施する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、ボリュームレンダリングの結果を示す３次元画像に、２次元の断層画像をディスプレイに追加して投影し、２次元の断層画像に対して切削動作を実施してもよい。
　この場合でも、切削動作が３次元画像に反映されるように、切削シミュレーションを実施することができる。
　（Ｈ）
　本発明においては、ボクセル情報格納部１０に格納されたボクセル情報を、ディスプレイ２に２次元あるいは３次元画像に変換して表示させると共に、ディスプレイ２に表示された切削対象部におけるマウス４で指示された部分の色情報を変更する色情報設定部２１を設けてもよい。
　つまり、ディスプレイ２上に表示された切削対象部について、例えば、医者として気になる部分に意図的に色を付けておき、その状態でボクセルラベル１４の集合体をボクセルラベル格納部１１に格納させておけばよい。
　これにより、この情報から切り出される多方面からの表示に色情報を付加した情報が反映される。よって、切削対象物における気になる部分を立体的に全周から観察することができ、かつこの切削シミュレーションも行うことができる。
　（Ｉ）
　本発明においては、内視鏡手術をシミュレーションすることも可能である。この場合には、ボリュームレンダリング演算部１３において、内視鏡に設けられた魚眼レンズ等の収束特性を座標変換テーブルとして用いればよい。
　（Ｊ）
　本発明においては、視点を複数持ち、各視点ごとに作成したボリュームレンダリング演算部１３の出力画像を複数個のメモリに蓄積し、メモリからの出力を順次ディスプレイに表示させ、立体視画像を生成してもよい。
　この場合には、それぞれの画像出力に同期した液晶めがね等を使用してもよい。
　本発明の切削シミュレーション装置は、切削対象物の内部に存在する血管や神経等を可視化することで、実際の手術プロセスを詳細に表現することができるという効果を奏することから、外科的な手術の切削シミュレーションを実施する装置として広く活用が期待される。
　１　　　パーソナルコンピュータ（切削シミュレーション装置）
　２　　　ディスプレイ（表示部）
　３　　　キーボード（入力部）
　４　　　マウス（入力部）
　５　　　タブレット（入力部）
　６　　　断層画像情報取得部
　７　　　ボクセル情報抽出部
　８　　　断層画像情報部
　９　　　メモリ
１０　　　ボクセル情報格納部
１１　　　ボクセルラベル格納部
１１ａ～１１ｃ　第１～第３ボクセルラベル格納部
１２　　　色情報格納部
１３　　　ボリュームレンダリング演算部
１４　　　ボクセルラベル
１５　　　深さ検出部
１６　　　バス
１７　　　深さ制御部
１８　　　ボクセルラベル設定部（表示制御部）
１９　　　被切削ボクセルラベル算出表示部
２０　　　ウィンドウ座標取得部
２１　　　色情報設定部
２１ａ～２１ｃ　第１～第３色情報設定部
２２　　　肝臓
２３　　　血管
　Ｃ　　　切削部分

Claims (7)

  1. 　断層画像情報を取得する断層画像情報取得部と、
    　前記断層画像情報取得部に接続されており、前記断層画像情報のボクセル情報を格納するメモリと、
    　前記メモリに接続されており、前記ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングするボリュームレンダリング演算部と、
    　前記ボリュームレンダリング演算部の演算結果を表示する表示部と、
    　前記表示部に表示された切削対象物に対する切削指示が入力される入力部と、
    　前記入力部に入力された切削指示に基づいて、前記切削対象物の切削後の状態を前記表示部に表示させるとともに、前記切削対象物の内部に含まれる非切削対象物については前記切削指示による切削部分に含まれている場合でも切削後も切削前の状態で前記表示部に表示させる表示制御部と、
    を備えている切削シミュレーション装置。
  2. 　前記表示制御部は、前記切削部分に前記非切削対象物が含まれている場合には、前記切削部分のボクセルデータを、前記非切削対象物のボクセルデータと入れ替えて前記表示部に表示させる、
    請求項１に記載の切削シミュレーション装置。
  3. 　前記切削対象物および前記非切削対象物に対応するボクセル情報には前記表示部に表示させる際の色情報が付加されて設定されており、
    　前記表示制御部は、前記非切削対象物を、前記切削対象物の色とは異なる色で前記表示部に表示させる、
    請求項１または２に記載の切削シミュレーション装置。
  4. 　前記切削対象物および前記非切削対象物には、被写体へのＸ線照射時における空間的なＸ線吸収の程度を示すＣＴ値の範囲が設定されており、
    　前記表示制御部は、前記入力部を介して入力された前記ＣＴ値に基づいて、所望の前記切削対象物および前記非切削対象物を前記表示部に表示させる、
    請求項１から３のいずれか１項に記載の切削シミュレーション装置。
  5. 　前記切削対象物には、臓器または骨が含まれる、
    請求項１から４のいずれか１項に記載の切削シミュレーション装置。
  6. 　前記非切削対象物には、血管や神経が含まれる、
    請求項１から５のいずれか１項に記載の切削シミュレーション装置。
  7. 　断層画像情報を取得する取得ステップと、
    　前記断層画像情報のボクセル情報に基づいて視線に対して垂直の方向においてボクセル情報をサンプリングするボリュームレンダリングステップと、
    　前記ボリュームレンダリングの演算結果を表示する第１表示ステップと、
    　前記表示された切削対象物に対して入力された切削指示に基づいて、前記切削対象物の切削後の状態を前記表示部に表示させるとともに、前記切削対象物の内部に含まれる非切削対象物については前記切削指示による切削部分に含まれている場合でも切削後も切削前の状態で前記表示部に表示させる第２表示ステップと、
    を備えた切削シミュレーション方法をコンピュータに実行させる切削シミュレーションプログラム。
PCT/JP2012/004378 2011-07-28 2012-07-05 切削シミュレーション装置および切削シミュレーションプログラム WO2013014868A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201280036433.1A CN103702613A (zh) 2011-07-28 2012-07-05 切割模拟装置以及切割模拟程序
JP2013525561A JP6051158B2 (ja) 2011-07-28 2012-07-05 切削シミュレーション装置および切削シミュレーションプログラム
EP12818406.6A EP2737854A1 (en) 2011-07-28 2012-07-05 Cutting simulation device and cutting simulation program
US14/235,246 US20140193789A1 (en) 2011-07-28 2012-07-05 Cutting simulation device and cutting simulation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-165453 2011-07-28
JP2011165453 2011-07-28

Publications (1)

Publication Number Publication Date
WO2013014868A1 true WO2013014868A1 (ja) 2013-01-31

Family

ID=47600746

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/004378 WO2013014868A1 (ja) 2011-07-28 2012-07-05 切削シミュレーション装置および切削シミュレーションプログラム

Country Status (5)

Country Link
US (1) US20140193789A1 (ja)
EP (1) EP2737854A1 (ja)
JP (1) JP6051158B2 (ja)
CN (1) CN103702613A (ja)
WO (1) WO2013014868A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017179350A1 (ja) * 2016-04-11 2017-10-19 富士フイルム株式会社 画像表示制御装置および方法並びにプログラム
JP2023065490A (ja) * 2019-01-29 2023-05-12 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2024034996A1 (ko) * 2022-08-12 2024-02-15 아주대학교산학협력단 수술 시뮬레이션을 제공하는 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6122495B2 (ja) 2013-06-11 2017-04-26 敦 丹治 骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム
CN114822783A (zh) 2015-10-30 2022-07-29 佳能株式会社 医用图像处理装置及其控制方法
JP6496698B2 (ja) * 2015-10-30 2019-04-03 株式会社Ａｚｅ 医用画像処理装置、その制御方法、及びプログラム
US10810907B2 (en) 2016-12-19 2020-10-20 National Board Of Medical Examiners Medical training and performance assessment instruments, methods, and systems
CN112437642A (zh) * 2018-07-26 2021-03-02 索尼公司 信息处理设备、信息处理方法和程序
CN111179402B (zh) * 2020-01-02 2023-07-14 竞技世界（北京）网络技术有限公司 一种目标对象的渲染方法、装置及系统
CN111489442A (zh) * 2020-03-27 2020-08-04 杭州群核信息技术有限公司 一种精准分割对象的操作系统与方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6437678A (en) * 1987-08-03 1989-02-08 Toshiba Corp Three-dimensional image processor
JPH05123327A (ja) 1991-11-07 1993-05-21 Toshiba Corp 手術シミユレーシヨンシステム
JPH0973556A (ja) * 1995-09-04 1997-03-18 Toshiba Corp 画像処理装置
JP2003010172A (ja) * 2001-07-04 2003-01-14 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2003091735A (ja) 2001-09-19 2003-03-28 Toshiba Medical System Co Ltd 画像処理装置
JP2003339644A (ja) * 2002-05-24 2003-12-02 Hitachi Medical Corp 臓器の切除領域抽出表示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331116B1 (en) * 1996-09-16 2001-12-18 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual segmentation and examination
US6826297B2 (en) * 2001-05-18 2004-11-30 Terarecon, Inc. Displaying three-dimensional medical images
JP3836097B2 (ja) * 2003-09-19 2006-10-18 ザイオソフト株式会社 医用画像生成装置および方法、ならびに、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6437678A (en) * 1987-08-03 1989-02-08 Toshiba Corp Three-dimensional image processor
JPH05123327A (ja) 1991-11-07 1993-05-21 Toshiba Corp 手術シミユレーシヨンシステム
JPH0973556A (ja) * 1995-09-04 1997-03-18 Toshiba Corp 画像処理装置
JP2003010172A (ja) * 2001-07-04 2003-01-14 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2003091735A (ja) 2001-09-19 2003-03-28 Toshiba Medical System Co Ltd 画像処理装置
JP2003339644A (ja) * 2002-05-24 2003-12-02 Hitachi Medical Corp 臓器の切除領域抽出表示装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017179350A1 (ja) * 2016-04-11 2017-10-19 富士フイルム株式会社 画像表示制御装置および方法並びにプログラム
JPWO2017179350A1 (ja) * 2016-04-11 2019-03-07 富士フイルム株式会社 画像表示制御装置および方法並びにプログラム
US10740642B2 (en) 2016-04-11 2020-08-11 Fujifilm Corporation Image display control device, method, and program
JP2023065490A (ja) * 2019-01-29 2023-05-12 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2024034996A1 (ko) * 2022-08-12 2024-02-15 아주대학교산학협력단 수술 시뮬레이션을 제공하는 방법 및 장치

Also Published As

Publication number Publication date
JP6051158B2 (ja) 2016-12-27
CN103702613A (zh) 2014-04-02
EP2737854A1 (en) 2014-06-04
JPWO2013014868A1 (ja) 2015-02-23
US20140193789A1 (en) 2014-07-10

Similar Documents

Publication Publication Date Title
JP6051158B2 (ja) 切削シミュレーション装置および切削シミュレーションプログラム
US11016579B2 (en) Method and apparatus for 3D viewing of images on a head display unit
JP5551957B2 (ja) 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
US11646111B2 (en) Medical image processing apparatus, medical image processing method and medical image processing system
JP2007135843A (ja) 画像処理装置、画像処理プログラム、及び画像処理方法
JP4122463B2 (ja) 医療用可視画像の生成方法
WO2011118208A1 (ja) 切削シミュレーション装置
US20140055448A1 (en) 3D Image Navigation Method
JP2008302090A (ja) 医用画像表示装置及びプログラム
JP6738631B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
KR101464330B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
CN102646266A (zh) 一种处理图像的方法
US10803645B2 (en) Visualization of anatomical cavities
JP7172086B2 (ja) 手術シミュレーション装置及び手術シミュレーションプログラム
US11379976B2 (en) Medical image processing apparatus, medical image processing method, and system for tissue visualization
JP2006055402A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2009022307A (ja) 医用画像表示装置及びそのプログラム
KR101529659B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
KR101513229B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
JP2013154127A (ja) 医用画像処理装置及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12818406

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012818406

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2013525561

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14235246

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE