WO2014017041A1 - 手術支援装置、方法およびプログラム - Google Patents

手術支援装置、方法およびプログラム Download PDF

Info

Publication number
WO2014017041A1
WO2014017041A1 PCT/JP2013/004235 JP2013004235W WO2014017041A1 WO 2014017041 A1 WO2014017041 A1 WO 2014017041A1 JP 2013004235 W JP2013004235 W JP 2013004235W WO 2014017041 A1 WO2014017041 A1 WO 2014017041A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
organ
cut surface
blood vessel
image
Prior art date
Application number
PCT/JP2013/004235
Other languages
English (en)
French (fr)
Inventor
太 櫻木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP13822305.2A priority Critical patent/EP2878278B1/en
Publication of WO2014017041A1 publication Critical patent/WO2014017041A1/ja
Priority to US14/601,439 priority patent/US10524823B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/3205—Excision instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/504—Clinical applications involving diagnosis of blood vessels, e.g. by angiography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition

Definitions

  • the present invention relates to a surgery support apparatus, method, and program for assisting a doctor who performs a resection operation of an organ such as a liver or lung.
  • an appropriate excision region is determined by image diagnosis before the operation.
  • Non-Patent Document 1 hides or excludes a resection region or a region that remains without resection (non-resection region) in a three-dimensional image of the liver that integrates 3D images of the liver parenchyma, tumor site, portal vein, and hepatic vein. Proposal of a technology that makes it possible to confirm in advance the state of the blood vessel branch to be processed on the cut surface during the operation by generating and providing images that are transparently displayed and the blood vessel regions included in those regions are visible Has been.
  • an object of the present invention is to provide a surgery support apparatus, method, and program for providing an image suitable for observation of a running state of a blood vessel in the vicinity of a cut surface.
  • An operation support apparatus includes an image generation unit that generates an image showing an organ in which an excision region is specified in a form in which a blood vessel region in the organ is visible from a three-dimensional image of the organ, and a cutting depth.
  • an image generation unit that generates an image showing an organ in which an excision region is specified in a form in which a blood vessel region in the organ is visible from a three-dimensional image of the organ, and a cutting depth.
  • the designation along the boundary surface from the outer edge to the inside of the boundary surface Cutting plane setting means for setting a section within the range of the cut depth as a cutting plane and the image generation means is configured to place an organ from a three-dimensional image in a region near the cutting plane in a blood vessel region in the organ. It is characterized in that it generates an image showing only a partial blood vessel region that is present.
  • the region near the cut surface may be a region where the width in the direction perpendicular to the cut surface increases from the inner edge to the outer edge of the cut surface.
  • the region near the cut surface has a first width preset in a direction orthogonal to the cut surface at the inner edge of the cut surface, and is preset in a direction orthogonal to the cut surface at the outer edge of the cut surface.
  • the region having the second width may also be used.
  • the vicinity region of the cut surface has a first width preset in a direction orthogonal to the cut surface at the inner edge of the cut surface, and a direction orthogonal to the cut surface from the inner edge to the outer edge of the cut surface. It may be a region where the width of A becomes larger at a preset ratio.
  • the surgical operation support apparatus includes a width input receiving unit that receives an input specifying the first width, and a region near the cut surface is specified in a direction orthogonal to the cut surface at an inner edge of the cut surface.
  • the region having the first width may also be used.
  • the region near the cut surface may be a region that exists only on the resection region side from the cut surface, or a region that exists only on the non-resect region side from the cut surface. May be.
  • the mode in which only the partial blood vessel region is visible is a mode in which a substantial region in the organ existing in the region near the cut surface is not displayed or a mode in which display is performed with lower opacity than the partial blood vessel region.
  • the substantial region means a tissue region that performs the original physiological function of the organ, and refers to a portion other than the blood vessel region and the tumor region.
  • the surgical operation support method of the present invention includes an image generation step of generating an image showing an organ in which an excision region is specified in a form in which a blood vessel region in the organ is visible from a three-dimensional image of the organ, and a cutting depth.
  • Depth input receiving step for receiving a specified input, and the specified cutting depth along the boundary surface from the outer edge to the inner edge of the boundary surface between the resection region and the region other than the resection region in the organ
  • a cutting plane setting step in which a portion within the range of the cutting plane is set as a cutting plane. Only the step of generating an image shown in a visually recognizable manner.
  • the surgical operation support program of the present invention includes a computer, an image generation unit that generates an image showing an organ whose resection area is specified in a form in which a blood vessel region in the organ is visually recognizable from a three-dimensional image of the organ, and cutting Depth input receiving means for receiving an input for specifying a depth, and the specified interface along the boundary surface from the outer edge of the boundary surface to the inner side of the boundary surface between the resection region and the region other than the resection region in the organ
  • a surgical operation support program for causing a section within a range of a cutting depth to function as a cutting plane setting unit having a cutting plane, wherein the image generation unit cuts an organ from a three-dimensional image in a blood vessel region in the organ It is characterized in that an image is generated in such a manner that only a partial blood vessel region existing in a region near the surface is visible.
  • the surgery support apparatus, method, and program of the present invention when generating an image showing an organ in which an excision region is specified in a form in which a blood vessel region in the organ can be visually recognized from a three-dimensional image of the organ, Accepting an input designating the cutting depth, the boundary surface between an ablation region in the organ and a non-ablation region other than the ablation region, and the specified region along the boundary surface from the outer edge to the inside of the boundary surface
  • the region near the cut surface is a region where the width in the direction perpendicular to the cut surface increases from the inner edge to the outer edge of the cut surface, the cutting depth is Even if the size of the blood vessel increases, an image can be provided in which the running state of the blood vessel can be easily observed deep.
  • the region near the cut surface is a region that exists only on the non-resectable region side from the cut surface, it is necessary to pay special attention not to damage the non-resectable region side. It is possible to provide an image suitable for observation of blood vessels.
  • Block diagram showing schematic configuration of surgery support system Diagram for explaining the process of creating a distance map for the boundary surface The figure which shows the example of 1 setting of the vicinity area of a cut surface The figure which shows the other example of a setting of the vicinity area of a cut surface The figure which shows the other example of a setting of the vicinity area of a cut surface The figure which shows the other example of a setting of the vicinity area of a cut surface The figure which shows the other example of a setting of the vicinity area of a cut surface
  • the figure for explaining the visible range of the blood vessel region by setting the cutting depth The figure for explaining the visible range of the blood vessel region by setting the cutting depth
  • a figure showing an example of a simulation image The figure which shows the other example of a simulation image Flow chart for explaining the operation of the surgery support system
  • the organ before or during an operation to remove a part of an organ such as the liver or lung, the organ is gradually and deeply cut along the surface to be cut by an actual operation.
  • the cutting depth cutting amount
  • it is an image simulating the organ cut at the cutting depth, and the blood vessels in the organ
  • An image showing in a manner that only the partial blood vessel region VP existing in the region AR near the cutting plane CP (the portion cut at the cutting depth in the entire surface to be cut) of the region V is provided is provided.
  • FIG. 1 is a diagram showing a schematic configuration of a surgery support system including an embodiment of the surgery support apparatus of the present invention.
  • the surgery support apparatus 1 is obtained by installing an embodiment of the surgery support program of the present invention on a single computer.
  • the computer may be a workstation or personal computer directly operated by a doctor who performs diagnosis, or may be a server computer connected to them via a network.
  • the surgery support program is stored and distributed on a recording medium such as a DVD or CD-ROM, and installed on the computer from the recording medium. Alternatively, it is stored in a storage device of a server computer connected to a network or a network storage in a state where it can be accessed from the outside, and is downloaded and installed on a computer used by a doctor upon request.
  • the surgery support device 1 includes a CPU, a memory, and the like.
  • the surgery support apparatus 1 is connected to a storage 2, a display 3, and input devices 4 such as a mouse and a keyboard.
  • the memory stores a surgery support program and data (processing parameters and the like) referred to by the surgery support program.
  • the operation support program defines an image acquisition process, an organ area extraction process, a blood vessel area extraction process, an ablation area extraction process, an input reception process, a cut surface setting process, and an image generation process as processes to be executed by the CPU. Then, when the CPU executes these processes according to the program, the computer acquires an image acquisition unit 10, an organ region extraction unit 20, a blood vessel region extraction unit 30, an ablation region determination unit 40, and an input reception unit as shown in FIG. 50 (depth input receiving means, width input receiving means), cutting plane setting section 60 (cutting plane setting means), image generation section 70 (image generation section), and display control section 80.
  • the storage 2 includes volume data reconstructed from slice data output from a CT (Computed Tomography) apparatus or an MRI (Magnetic Resonance Imaging) apparatus, an MS (Multi Slice) CT apparatus, or a cone beam CT apparatus as a three-dimensional image.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • MS Multi Slice
  • cone beam CT apparatus as a three-dimensional image.
  • the output volume data and the like are stored.
  • the image acquisition unit 10 acquires a three-dimensional image representing an organ including an affected part to be excised.
  • an X-ray CT image obtained by imaging the liver of the subject is used as a processing target image.
  • the image acquisition unit 10 loads a three-dimensional image that has been previously captured and stored in the storage 2 into the memory.
  • the organ region extraction unit 20 extracts an organ region from the three-dimensional image acquired by the image acquisition unit 10. For each voxel data value constituting the three-dimensional image, a feature amount that represents the contour of the liver is calculated, and the calculated feature amount is evaluated based on an evaluation function acquired in advance by machine learning. It is determined whether or not represents the outline of the liver. By repeating this determination, voxel data representing the outline of the entire liver is extracted.
  • the Adaboost algorithm is used for obtaining the evaluation function.
  • various well-known methods can be used for the extraction of the liver region as long as organs can be extracted. Other machine learning methods and statistical analysis methods such as linear discrimination methods, neural networks, support vector machines, etc. Etc. may be used.
  • the blood vessel region extracting unit 30 extracts the blood vessel region V from the organ region extracted by the organ region extracting unit 20.
  • a linear structure is searched by calculating eigenvalues of a 3 ⁇ 3 Hessian matrix for each local region in the liver region 5.
  • one of the three eigenvalues of the Hessian matrix is a value close to 0, and the other two are relatively large values.
  • the eigenvector corresponding to the eigenvalue whose value is close to 0 indicates the principal axis direction of the linear structure.
  • the blood vessel region extraction unit 30 determines the likelihood of a linear structure based on the eigenvalues of the Hessian matrix for each local region, and determines the central point of the local region where the linear structure is identified. Detect as candidate points.
  • candidate points detected by the search are connected based on a predetermined algorithm. Thereby, a tree structure composed of candidate points and blood vessel branches (edges) connecting the candidate points is constructed.
  • the coordinate information of the detected candidate points and vector information indicating the direction of the blood vessel branch are stored in the memory together with the candidate point and the identifier of the blood vessel branch.
  • the outline of the blood vessel is identified in a cross section perpendicular to the blood vessel path based on the values of the surrounding voxels.
  • the shape is identified using a known segmentation technique represented by Graph-Cuts.
  • the ablation region determination unit 40 extracts an abnormal region from the organ region extracted by the organ region extraction unit 20, specifies a portion of the blood vessel region V related to the extracted abnormal region, and the blood vessel region V of the specified portion. Is determined as the excision region 41, and organ regions other than the determined excision region 41 are determined as the non-excision region 42.
  • an abnormal region extraction method for example, a three-dimensional image of an organ is displayed on the display 3, user input for designating a region is accepted by an input device such as a mouse 4 and the designated region is extracted as an abnormal region.
  • an input device such as a mouse 4
  • the designated region is extracted as an abnormal region.
  • it may be automatically extracted by a known technique.
  • Various known methods can be applied as a method for automatically extracting an abnormal region.
  • the blood vessel region V As a method for specifying the portion of the blood vessel region V related to the abnormal region, for example, the blood vessel region V is displayed on the display 3, and a user input for specifying a position on the blood vessel is received by an input device such as a mouse 4.
  • a region extending from the determined position to the organ side including the abnormal region may be specified as a portion of the blood vessel region V related to the abnormal region, or may be automatically specified by a known technique.
  • the target tissue is the liver
  • use the Voronoi diagram Voronoi diagram
  • the method of identifying the dominant region of each blood vessel as a liver segment Japanese Patent Laid-Open No. 2003-033349, “R. Beichel et al.,“ Liver segment approximation in CT data for surgical resection planning ”, Medical Imaging 2004: Refer to “Image Processing”, “Proceedings” of “the SPIE”, “Vol.” 5370, “pp.” 1435-1446, “2004”, etc.).
  • the input receiving unit 50 receives various settings by the user such as the cutting depth d and the width of the vicinity image of the cutting plane CP (for example, W, W0, W1) via the input device 4 such as a mouse. Specifically, a setting screen for setting the cutting depth and the like is displayed on the display 3, and an input by the user to the setting screen is accepted.
  • the cutting plane setting unit 60 cuts a portion within the range of the cutting depth along the boundary plane B from the outer edge of the boundary plane B to the inside of the boundary plane B between the excision area 41 and the non-excision area 42 in the organ area.
  • the distance to each of all the voxels constituting the boundary surface B is obtained by obtaining the shortest distance along the boundary surface B from the voxel constituting the outer edge of the boundary surface B. Create a distance map to be associated. Specifically, as shown in FIG.
  • Constituting the voxel group P0 is sequentially Voxel P1j ( ⁇ voxel group P1) which is not included in voxel group P0 among other voxels on boundary surface B adjacent to voxel P0i is detected, and distance ⁇ D of detected voxel P1j from voxel P0i is obtained, The obtained distance is stored in association with the voxel P1j.
  • the distance ⁇ D from each of the two or more voxels is obtained, and the shorter distance is determined as the distance voxel P1j. Store it in association with.
  • An undetected voxel P2k ( ⁇ voxel group P2) is detected, a distance ⁇ D from the voxel P1j is obtained, and a distance obtained by adding a distance stored in association with the voxel P1j to the obtained distance is assigned to the voxel P2k. Store it in association.
  • the distance ⁇ D from each of the two or more voxels is obtained, and the shorter distance is determined as the distance voxel P2k.
  • the same processing is performed on the voxel group P2, the voxel group P3,... To create a distance map in which the distances are associated with all the voxels constituting the boundary surface B.
  • a set of voxels associated with a distance equal to or less than the cutting depth d of the user input received by the input receiving unit 50 is obtained. Identify and set as cut plane CP.
  • the image generation unit 70 is an image showing an organ from the three-dimensional image acquired by the image acquisition unit 10, and a partial blood vessel in which the blood vessel region V in the organ exists in the vicinity region AR of the cutting plane CP among the whole.
  • An image (hereinafter, also referred to as “simulation image”) shown in a form in which only the region VP is visible is generated.
  • the image generation unit 70 includes a neighborhood region setting unit 71 that sets the neighborhood region AR of the cut surface CP, and a simulation image generation unit 72 that creates a simulation image from the three-dimensional image based on the information of the set neighborhood region AR. I have.
  • the vicinity region setting unit 71 sets a region having an arbitrary thickness from the cut surface CP to one or both of the cut region 41 side and the non-cut region 42 side as the vicinity region AR of the cut surface CP. For example, a set of voxels AP1 (voxel group AP1) at a position spaced apart by a width W from each voxel constituting the cut surface CP toward the ablation region 41, and a distance W of the same width W toward the non-ablation region 42 The set AP2 (voxel group AP2) of the voxels at the determined position is obtained, and the area including the voxel groups AP1 and AP2 is set as the vicinity area AR of the cut plane CP.
  • the minimum range region including the voxel groups AP1 and AP2 may be obtained, or as shown in FIG.
  • a curved surface having the voxel groups AP1 and AP2 as points on the surface may be obtained using RBF (Radial Basis Function) or spline curved surface approximation, and a region included by the curved surface may be obtained.
  • the neighboring area AR set by the above method has a constant thickness W from the inner edge to the outer edge of the cut surface CP.
  • the neighborhood region setting unit 71 is not limited to this, and may set, for example, a region where the width in the direction perpendicular to the cut surface CP increases from the inner edge to the outer edge of the cut surface CP as the neighborhood region AR. Good.
  • the inner edge of the cut surface CP has a first width W0 preset in a direction orthogonal to the cut surface CP, and is orthogonal to the cut surface CP from the inner edge of the cut surface CP toward the outer edge.
  • An area in which the width of the direction becomes larger at a preset ratio ⁇ may be set as the vicinity area AR, or as shown in FIG. 6, in the direction orthogonal to the cutting plane CP in advance at the inner edge of the cutting plane CP.
  • a region having the set first width W0 and having a second width W1 (> W0) set in advance in the direction orthogonal to the cut surface CP at the outer edge of the cut surface CP is set as the neighborhood region AR. It may be.
  • the neighboring area AR is an area having an arbitrary thickness from the cut surface CP to both the ablation area 41 side and the non-ablation area 42 side.
  • the region having an arbitrary thickness from the cut surface CP only to the cut region 41 side or from the cut surface CP to the non-cut region 42 side may be used.
  • the neighborhood area AR can be obtained by taking the neighborhood area AR having a thickness on both sides obtained by the above-described method and the product area with the ablation area 41 or the non-ablation area 42, for example.
  • FIG. 7 and 8 show the positional relationship between the vicinity region AR and the blood vessel region V under the setting of different cutting depths d1 and d2 (> d1).
  • FIG. 7 shows a case where the blood vessel region V is not included in the vicinity region AR and the blood vessel region V is not visualized.
  • FIG. 8 a part of the blood vessel region V is included in the vicinity region AR.
  • the case where the partial VP is visualized is shown.
  • the range in which the blood vessel region V is visualized changes as the cutting depth changes.
  • the simulation image generation unit 72 is an image showing an organ, for example, as shown in FIGS. 9 and 10, based on the information of the neighborhood region AR set by the neighborhood region setting unit 71, and the blood vessel region V in the organ. Generates a simulation image shown in such a manner that only the partial blood vessel region VP existing in the region AR in the vicinity of the cutting plane CP is visible. For example, first, opacity and R, G, and B color information are given to each voxel constituting a three-dimensional image. At that time, the blood vessel region V in the organ has an opacity of 80 to 100% only in each voxel constituting the partial blood vessel region VP existing in the neighboring region AR of the whole (an opacity higher than the partial substantial region).
  • opacity an opacity lower than that of the partial blood vessel region VP
  • opacity an opacity lower than that of the partial blood vessel region VP
  • 80 to 100% opacity is given to each voxel constituting the tumor region.
  • the simulation image generating unit 72 performs color casting by giving color information different from the voxel on the non-excision region 42 side to the voxel on the excision region 41 side from the boundary surface B.
  • a simulation image shown in such a manner that the ablation region 41 side and the non-ablation region 42 side can be identified may be generated.
  • color information corresponding to the distance from the boundary surface B may be given to each voxel on the cut region 41 side and the non-cut region 42 side.
  • an intersection line BL between the partial blood vessel region VP and the boundary surface B may be drawn on the simulation image.
  • the portal vein and the hepatic vein may be further color-coded so that each can be identified.
  • the display control unit 80 displays the simulation image generated by the image generation unit 70 on the display 3.
  • FIG. 11 is a flowchart for explaining the operation of the surgery support system of the present embodiment.
  • a selection menu is displayed on the display 3, and when it is detected that the surgery support function according to the present embodiment is selected in the selection menu, a list of subject IDs is displayed. It is displayed on the display 3.
  • the image acquisition unit 10 acquires a three-dimensional image related to the selected subject (S1).
  • the three-dimensional image acquired by the image acquisition unit 10 is input to the organ region extraction unit 20, and the organ region extraction unit 20 extracts an organ region from the input three-dimensional image (S2).
  • the organ region extracted by the organ region extraction unit 20 is input to the blood vessel region extraction unit 30, and the blood vessel region extraction unit 30 extracts the blood vessel region V from the organ region (S3).
  • the organ region extracted by the organ region extraction unit 20 is also input to the ablation region determination unit 40, and the ablation region determination unit 40 extracts an abnormal region from the organ region and a blood vessel region related to the extracted abnormal region.
  • the portion of V is specified, the control region of the organ controlled by the specified blood vessel region V is determined as the resection region 41, and the organ region other than the determined resection region 41 is determined as the non-resect region 42 ( S4).
  • a setting screen for setting the cutting depth d is displayed on the display 3, and the cutting depth d is set by the input receiving unit 50 using the input device such as a mouse 4 for the displayed screen.
  • the cutting plane setting unit 60 extends along the boundary surface B from the outer edge of the boundary surface B to the inside of the boundary surface B between the excision region 41 and the non-excision region 42 in the organ region.
  • a portion within the range of the cutting depth d is set as the cutting plane CP (S6).
  • the cutting plane setting unit 60 configures the boundary plane B by obtaining the shortest distance along the boundary plane B from the voxel configuring the outer edge of the boundary plane B for each voxel configuring the boundary plane B.
  • a set of voxels associated with a distance equal to or less than the cutting depth d is specified and set as the cutting plane CP.
  • the image generation unit 70 is an image showing an organ from the three-dimensional image acquired by the image acquisition unit 10, and the blood vessel region V in the organ exists in the vicinity region AR of the cutting plane CP among the whole.
  • a simulation image is generated in such a manner that only the partial blood vessel region VP to be viewed is visible (S7).
  • the image generation unit 70 sets a region having an arbitrary thickness from the cut surface CP to one or both of the cut region 41 side and the non-cut region 42 side as the vicinity region AR of the cut surface CP, and the set vicinity region
  • a volume rendering image showing an organ in which a substantial area in the organ existing in the AR is displayed in a non-displayed or translucent manner is generated.
  • the simulation image indicating the organ generated by the image generation unit 70 is output to the display control unit 80, and the display control unit 80 displays the input simulation image on the display 3 (S8).
  • the presence / absence of an instruction to end the operation support function according to the present embodiment is detected (S9). If no instruction to end is detected, the process returns to step S5. If support to be ended is detected, processing is performed there. finish.
  • the input receiving unit 50 receives an input from a user who changes the cutting depth d
  • the cutting surface setting unit 60 uses the changed cutting depth d.
  • the setting of the cutting plane CP is updated.
  • the image generation unit 70 updates the vicinity area AR of the cutting plane CP, a new simulation image is generated, and the generated image is displayed on the display 3 by the display control unit 80. Will be displayed.
  • an image showing an organ in which the excision region 41 is specified in a form in which the blood vessel region V in the organ is visible can be generated from the three-dimensional image of the organ.
  • an input for designating the cutting depth is received, and the boundary surface B between the excision region 41 in the organ and the non-excision region 42 other than the excision region 41 is inward from the outer edge of the boundary surface B.
  • a portion within the range of the specified cutting depth along the boundary surface B is defined as a cutting surface CP, and the organ is present in the region AR adjacent to the cutting surface CP in the blood vessel region V in the organ from the three-dimensional image.
  • the image showing only the partial blood vessel region VP to be visually recognized is generated, when the observation is performed while paying attention to the running state of the blood vessel in the vicinity of the cut surface CP, the attention is paid to the entire blood vessel region V. Limited to observe Only part is displayed, it is possible to provide an image suitable for observation.
  • the surgery support device 1 includes the organ region extraction unit 20, the blood vessel region extraction unit 30, and the resection region determination unit 40, and the surgery support device 1 performs organ region extraction processing, blood vessel region extraction processing, and resection region extraction.
  • the organ region extraction unit 20 blood vessel
  • the configurations of the region extraction unit 30 and the ablation region determination unit 40 are not necessarily required.
  • the said embodiment demonstrated centering on the process when the target organ is a liver, as an organ in this invention, it applies not only to a liver but to the surgery assistance of other organs, such as a lung. Can do.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Vascular Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】臓器の切除手術を支援するための手術支援装置において、切断面近傍における血管の走行状態の観察に適した画像を提供する。 【解決手段】切除領域が特定されている臓器を該臓器中の血管領域が視認可能な態様で示す画像を、臓器の３次元画像から生成する画像生成手段（７０）と、切断深さを指定する入力を受け付ける深さ入力受付手段（５０）と、臓器における切除領域と該切除領域以外の領域である非切除領域との境界面のうち、その境界面の外縁から内側に境界面に沿った前記指定された切断深さの範囲内の部分を切断面とする切断面設定手段（６０）とを備え、画像生成手段（７０）は、３次元画像から、臓器を該臓器中の血管領域のうち切断面の近傍領域内に存在する部分血管領域のみが視認可能な態様で示す画像を生成するものとする。

Description

手術支援装置、方法およびプログラム
　本発明は、肝臓・肺などの臓器の切除手術を行う医師を支援するための手術支援装置、方法及びプログラムに関するものである。
　近年、肝臓・肺などの臓器において患部を切除する手術を行う際、臓器機能をできるだけ温存させるために、手術前に画像診断によって適切な切除領域を決めておくことが行われている。
　非特許文献１には、肝実質・腫瘍部・門脈・肝静脈の３Ｄ像を統合した肝臓の３次元画像において、切除領域や切除せずに残す領域（非切除領域）を非表示または半透明表示にし、それらの領域に内包される血管領域を視認可能にした画像を生成し提供することによって、術中に切断面上で処理すべき血管枝の状態を予め確認できるようにする技術が提案されている。
三浦 行矣他、"肝切除術シミュレーション-その基礎と臨床応用-"、MEDIX VOL.35、2001年9月、p.9-14
　ところで、実際の手術では、手術視野や臓器の状態、術前のシミュレーションでは想定できなかった様々な要因、術者の技術レベル等に起因して、シミュレーション時に決めておいた切断面とはややずれた位置を切断してしまうことがあるため、切断面近傍における血管の走行状態を事前に確認しておく必要がある。また、手術中に、ずれた位置を切断し予期せぬ血管が出てきた場合に、切断面近傍における血管の走行状態を確認し、その血管がどの血管なのかをすぐに識別したいという要望がある。
　しかし、上記従来の技術では、切除領域や非切除領域に内包される血管領域の全体が一律に表示されるので、その中から注目する部分をすぐに特定し確認することは困難である。
　本発明は、上記事情に鑑み、切断面近傍における血管の走行状態の観察に適した画像を提供する手術支援装置、方法およびプログラムを提供することを目的とするものである。
　本発明の手術支援装置は、切除領域が特定されている臓器を該臓器中の血管領域が視認可能な態様で示す画像を、臓器の３次元画像から生成する画像生成手段と、切断深さを指定する入力を受け付ける深さ入力受付手段と、臓器における切除領域と該切除領域以外の領域である非切除領域との境界面のうち、その境界面の外縁から内側に境界面に沿った前記指定された切断深さの範囲内の部分を切断面とする切断面設定手段とを備え、画像生成手段が、３次元画像から、臓器を該臓器中の血管領域のうち切断面の近傍領域内に存在する部分血管領域のみが視認可能な態様で示す画像を生成するものであることを特徴とする。
　上記本発明の手術支援装置において、切断面の近傍領域は、切断面の内縁から外縁に向かってその切断面に直交する方向の幅が大きくなる領域であってもよい。
　また、切断面の近傍領域は、切断面の内縁においてその切断面に直交する方向に予め設定された第１の幅を有し、切断面の外縁においてその切断面に直交する方向に予め設定された第２の幅を有する領域であってもよい。
　また、切断面の近傍領域は、切断面の内縁においてその切断面に直交する方向に予め設定された第１の幅を有し、切断面の内縁から外縁に向かってその切断面に直交する方向の幅が予め設定された比率で大きくなる領域であってもよい。
　上記本発明の手術支援装置は、前記第１の幅を指定する入力を受け付ける幅入力受付手段を備え、切断面の近傍領域は、切断面の内縁においてその切断面に直交する方向に前記指定された第１の幅を有する領域であってもよい。
　また、上記本発明の手術支援装置において、切断面の近傍領域は、切断面から切除領域側にのみ存在する領域であってもよいし、切断面から非切除領域側にのみ存在する領域であってもよい。
　また、前記部分血管領域のみが視認可能な態様は、切断面の近傍領域内に存在する臓器中の実質領域を非表示にする態様または部分血管領域よりも低い不透明度で表示にする態様であってもよい。ここで、実質領域とは、臓器本来の生理機能を営む組織領域を意味し、血管領域、腫瘍領域以外の部分をいう。
　本発明の手術支援方法は、切除領域が特定されている臓器を該臓器中の血管領域が視認可能な態様で示す画像を、臓器の３次元画像から生成する画像生成ステップと、切断深さを指定する入力を受け付ける深さ入力受付ステップと、臓器における切除領域と該切除領域以外の領域との境界面のうち、その境界面の外縁から内側に境界面に沿った前記指定された切断深さの範囲内の部分を切断面とする切断面設定ステップとを備え、画像生成ステップが、３次元画像から、臓器を該臓器中の血管領域のうち切断面の近傍領域内に存在する部分血管領域のみが視認可能な態様で示す画像を生成するステップであることを特徴とする。
　本発明の手術支援プログラムは、コンピュータを、切除領域が特定されている臓器を該臓器中の血管領域が視認可能な態様で示す画像を、臓器の３次元画像から生成する画像生成手段と、切断深さを指定する入力を受け付ける深さ入力受付手段と、臓器における切除領域と該切除領域以外の領域との境界面のうち、その境界面の外縁から内側に境界面に沿った前記指定された切断深さの範囲内の部分を切断面とする切断面設定手段として機能させるための手術支援プログラムであって、画像生成手段が、３次元画像から、臓器を該臓器中の血管領域のうち切断面の近傍領域内に存在する部分血管領域のみが視認可能な態様で示す画像を生成するものであることを特徴とする。
　本発明の手術支援装置、方法およびプログラムによれば、切除領域が特定されている臓器を該臓器中の血管領域が視認可能な態様で示す画像を、臓器の３次元画像から生成する際に、切断深さを指定する入力を受け付け、臓器における切除領域と該切除領域以外の領域である非切除領域との境界面のうち、その境界面の外縁から内側に境界面に沿った前記指定された切断深さの範囲内の部分を切断面とし、３次元画像から、臓器を該臓器中の血管領域のうち切断面の近傍領域内に存在する部分血管領域のみが視認可能な態様で示す画像を生成するようにしたので、切断面近傍における血管の走行状態を注目して観察するとき、全体の血管領域のうちその注目して観察する限られた部分のみが表示された、観察に適した画像を提供することができる。
　上記本発明の手術支援装置、方法およびプログラムにおいて、切断面の近傍領域が、切断面の内縁から外縁に向かってその切断面に直交する方向の幅が大きくなる領域である場合、切断深さが大きくなっても、血管の走行状態を深いところまで容易に観察することができる画像を提供することができる。
　また、上記本発明の手術支援装置において、切断面の近傍領域が、切断面から非切除領域側にのみ存在する領域である場合には、傷つけないように特に注意する必要がある非切除領域側の血管の観察に適した画像を提供することができる。
手術支援システムの概略構成を示すブロック図 境界面の距離マップを作成する処理を説明するための図 切断面の近傍領域の一設定例を示す図 切断面の近傍領域の他の設定例を示す図 切断面の近傍領域の他の設定例を示す図 切断面の近傍領域の他の設定例を示す図 切断深さの設定による血管領域の可視範囲を説明するための図 切断深さの設定による血管領域の可視範囲を説明するための図 シミュレーション画像の一例を示す図 シミュレーション画像の他の例を示す図 手術支援システムの作用を説明するためのフローチャート
　以下、図面を参照して、本発明の手術支援装置、方法およびプログラムの一実施形態について説明する。本実施の形態では、肝臓・肺などの臓器において一部の領域を切除する手術をする前あるいは手術中に、実際の手術で臓器を切断すべき面に沿って徐々に深く切断していくのと同じような感覚で、切断深さ（切込み量）の設定値を徐々に大きくしながら、その切断深さで切断された状態の臓器を擬似的に示した画像であって、臓器中の血管領域Ｖのうち切断面ＣＰ（切断すべき面全体の中の切断深さで切断されている部分）の近傍領域ＡＲ内に存在する部分血管領域ＶＰのみを視認可能な態様で示した画像を提供することができる手術支援システムについて説明する。
　図１は、本発明の手術支援装置の一実施形態を備えた手術支援システムの概略構成を示す図である。手術支援装置１は、一台のコンピュータに、本発明の手術支援プログラムの一実施形態をインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションやパソコンでもよいし、またはそれらとネットワークを介して接続されるサーバコンピュータでもよい。手術支援プログラムは、ＤＶＤ，ＣＤ－ＲＯＭ等の記録メディアに格納されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
　手術支援装置１は、ＣＰＵ、メモリなどを備えている。また、手術支援装置１には、ストレージ２と、ディスプレイ３と、マウス、キーボード等４の入力装置とが接続されている。メモリには、手術支援プログラムと手術支援プログラムが参照するデータ（処理パラメータ等）が記憶されている。手術支援プログラムは、ＣＰＵに実行させる処理として、画像取得処理、臓器領域抽出処理、血管領域抽出処理、切除領域抽出処理、入力受付処理、切断面設定処理および画像生成処理を規定している。そして、ＣＰＵがプログラムに従いこれらの処理を実行することで、コンピュータは、図１に示すような画像取得部１０、臓器領域抽出部２０、血管領域抽出部３０、切除領域決定部４０、入力受付部５０（深さ入力受付手段、幅入力受付手段）、切断面設定部６０（切断面設定手段）および画像生成部７０（画像生成手段）、表示制御部８０として機能することになる。
　ストレージ２には、３次元画像として、ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置が出力したスライスデータから再構成されたボリュームデータ、ＭＳ（Multi Slice）ＣＴ装置やコーンビームＣＴ装置が出力したボリュームデータ等が記憶されている。
　画像取得部１０は、切除すべき患部を含む臓器を表す３次元画像を取得する。本実施形態においては、被検体の肝臓を撮影したＸ線ＣＴ画像を処理対象画像として用いる。画像取得部１０は、予め撮影されてストレージ２に記憶されている３次元画像をメモリにロードする。
　臓器領域抽出部２０は、画像取得部１０によって取得した３次元画像から臓器領域を抽出する。３次元画像を構成する各ボクセルデータの値について、肝臓の輪郭らしさを表す特徴量を算出し、算出した特徴量を機械学習により予め取得された評価関数に基づいて評価することで、そのボクセルデータが肝臓の輪郭を表すものであるか否かを判断する。この判断を繰り返すことにより、肝臓全体の輪郭を表すボクセルデータが抽出される。本実施形態では、評価関数の取得にアダブーストアルゴリズムを用いている。なお、肝臓領域の抽出には、臓器の抽出が行えるものであれば種々の周知の方法を用いることができ、他のマシンラーニング法や統計解析法、例えば線形判別法やニューラルネットワーク、サポートベクターマシン等を用いて行ってもよい。
　血管領域抽出部３０は、臓器領域抽出部２０によって抽出された臓器領域から血管領域Ｖを抽出する。まず、肝臓領域５内の局所領域ごとに、３×３のヘシアン（Hessian）行列の固有値を算出することにより線状構造の探索を行う。線状構造が含まれる領域では、ヘシアン行列の３つの固有値のうち１つは０に近い値となり、他の２つは相対的に大きな値となる。また、値が０に近い固有値に対応する固有ベクトルは、線状構造の主軸方向を示すものとなる。血管領域抽出部３０は、この関係を利用して、局所領域ごとに、ヘシアン行列の固有値に基づいて線状構造らしさを判定し、線状構造が識別された局所領域については、その中心点を候補点として検出する。
　そして、探索により検出された候補点を、所定のアルゴリズムに基づいて連結する。これにより、候補点および候補点同士を連結する血管枝（エッジ）からなる木構造が構築される。検出された複数の候補点の座標情報や、血管枝の方向を示すベクトル情報は、候補点や血管枝の識別子とともにメモリに記憶される。続いて、検出された候補点ごとに、周辺のボクセルの値に基づき、血管経路に垂直な断面において、血管の輪郭（血管の外壁）を識別する。形状の識別は、Graph-Cutsに代表される公知のセグメンテーション手法を用いて行う。以上の処理により、抽出された血管領域Ｖの特定に必要な情報が生成され、メモリに記憶される。
　切除領域決定部４０は、臓器領域抽出部２０によって抽出された臓器領域から異常領域を抽出し、抽出された異常領域に関連する血管領域Ｖの部分を特定し、特定された部分の血管領域Ｖにより支配される臓器の支配領域を切除領域４１として決定し、決定された切除領域４１以外の臓器領域を非切除領域４２として決定する。
　異常領域の抽出方法としては、たとえば臓器の３次元画像をディスプレイ３に表示させ、マウス等４の入力装置により領域を指定するユーザ入力を受け付け、その指定された領域を異常領域として抽出するようにしてもよいし、周知の技術によって自動的に抽出するようにしてもよい。自動的に異常領域を抽出する方法としては周知の種々の方法を適用することができ、たとえば特開２００３－２２５２３１号公報、特開２００３－２７１９２４号公報、および“久保田等，「ヘリカルCT像を用いた肺がん計算機診断支援システムの評価」，電子情報通信学会，信学技報，pp.41-46，MI2001-41(2001-09)”に示されている肺がんを検出する方法や、“脇田等，「多時相腹部Ｘ線ＣＴ像の時相間濃度特徴計測に基づく肝臓がん検出」，コンピュータ支援画像診断学会論文誌，Vol.10，No.1，Mar 2007”に示されている肝臓がんの検出方法などを用いることができる。
　異常領域に関連する血管領域Ｖの部分を特定する方法としては、たとえば、血管領域Ｖをディスプレイ３に表示させ、マウス等４の入力装置により血管上の位置の指定するユーザ入力を受付け、その指定された位置から異常領域を含む臓器側に延びる領域を異常領域に関連する血管領域Ｖの部分として特定するようにしてもよいし、周知の技術によって自動的に特定するようにしてもよい。
　支配領域の取得方法としては、たとえば対象組織が肝臓である場合、ボロノイ図（Voronoi diagram）を用いて、肝臓領域内の血管以外の領域（肝臓実質等）がどの血管の支配領域に属するかを特定することによって、各血管の支配領域を肝区域として特定する方法（特開２００３－０３３３４９号公報や、“R. Beichel et al., “Liver segment approximation in CT data for surgical resection planning”, Medical Imaging 2004: Image Processing, , Proceedings of the SPIE, Vol. 5370, pp. 1435-1446, 2004”など参照）などを用いて支配領域を取得することができる。
　入力受付部５０は、マウス等４の入力装置を介して切断深さｄ、切断面ＣＰの近傍画像の幅（たとえばＷ，Ｗ０，Ｗ１）などのユーザによる種々の設定を受け付ける。具体的には、ディスプレイ３に切断深さなどを設定させるための設定画面を表示させ、その設定画面に対するユーザによる入力を受け付ける。
　切断面設定部６０は、臓器領域における切除領域４１と非切除領域４２との境界面Ｂのうち、境界面Ｂの外縁から内側に境界面Ｂに沿った切断深さの範囲内の部分を切断面ＣＰとして設定する。まず、境界面Ｂを構成する各々のボクセルについて、境界面Ｂの外縁を構成するボクセルからの境界面Ｂに沿った最短距離を求めることによって、境界面Ｂを構成する全ボクセルのそれぞれに距離が対応づけられてなる距離マップを作成する。具体的には、図２に示すように、境界面Ｂの外縁を構成するボクセル群Ｐ０を抽出し、ボクセル群Ｐ０を構成する各々のボクセルＰ０ｉ（ｉ＝１,２,…）について順次、そのボクセルＰ０ｉに隣接する境界面Ｂ上の他のボクセルのうちボクセル群Ｐ０に含まれていないボクセルＰ１ｊ（∈ボクセル群Ｐ１）を検出し、検出されたボクセルＰ１ｊのボクセルＰ０ｉからの距離ΔＤを求め、求められた距離をそのボクセルＰ１ｊに対応づけて記憶する。この際、ボクセル列Ｐ０の異なる２以上のボクセルにおいて同一のボクセルＰ１ｊが重複して検出された場合には、２以上のボクセルそれぞれからの距離ΔＤを求め、いずれか短い方の距離をそのボクセルＰ１ｊに対応づけて記憶する。
　次いで、ボクセル群Ｐ１を構成する各々のボクセルＰ１ｊ（ｊ＝１,２,…）について順次、そのボクセルＰ１ｊに隣接する境界面Ｂ上の他のボクセルのうちボクセル群Ｐ０およびボクセル群Ｐ１に含まれていないボクセルＰ２ｋ（∈ボクセル群Ｐ２）を検出し、ボクセルＰ１ｊからの距離ΔＤを求め、求められた距離にボクセルＰ１ｊに対応付けて記憶されている距離を加算してなる距離をそのボクセルＰ２ｋに対応づけて記憶する。この際、ボクセル列Ｐ１の異なる２以上のボクセルにおいて同一のボクセルＰ２ｋが重複して検出された場合には、２以上のボクセルそれぞれからの距離ΔＤを求め、いずれか短い方の距離をそのボクセルＰ２ｋに対応づけて記憶する。次いで、ボクセル群Ｐ２、ボクセル群Ｐ３、…について同じような処理を行うことによって、境界面Ｂを構成する全ボクセルのそれぞれに距離が対応づけられてなる距離マップを作成する。
　そして、作成した距離マップを参照して、境界面Ｂを構成する全のボクセルのうち、入力受付部５０により受け付けたユーザ入力の切断深さｄ以下の距離が対応づけられているボクセルの集合を特定し、切断面ＣＰとして設定する。
　画像生成部７０は、画像取得部１０によって取得した３次元画像から、臓器を示す画像であって、臓器中の血管領域Ｖがその全体のうち切断面ＣＰの近傍領域ＡＲ内に存在する部分血管領域ＶＰのみが視認可能な態様で示された画像（以下、「シミュレーション画像」ともいう）を生成する。画像生成部７０は、切断面ＣＰの近傍領域ＡＲを設定する近傍領域設定部７１と、その設定された近傍領域ＡＲの情報に基づいて３次元画像からシミュレーション画像を生成するシミュレーション画像生成部７２を備えている。
　近傍領域設定部７１は、切断面ＣＰから切除領域４１側および非切除領域４２側のいずれか一方または両方に任意の厚みを有する領域を切断面ＣＰの近傍領域ＡＲとして設定する。たとえば、切断面ＣＰを構成する各ボクセルから切除領域４１側に幅Ｗの間隔で離れた位置にあるボクセルの集合ＡＰ１（ボクセル群ＡＰ１）と、非切除領域４２方面に同じ幅Ｗの間隔で離れた位置にあるボクセルの集合ＡＰ２（ボクセル群ＡＰ２）を求め、それらのボクセル群ＡＰ１，ＡＰ２を内包する領域を切断面ＣＰの近傍領域ＡＲとして設定する。ボクセル群ＡＰ１，ＡＰ２を内包する領域としては、図３に示すように、それらのボクセル群ＡＰ１，ＡＰ２を内包する最小範囲の領域を求めるようにしてもよいし、図４に示すように、それらのボクセル群ＡＰ１，ＡＰ２を表面上の点とする曲面をＲＢＦ(Radial Basis Function)やスプライン曲面近似を用いて求め、その曲面により内包される領域を求めるようにしてもよい。
　上記方法により設定された近傍領域ＡＲは、切断面ＣＰの内縁から外縁に亘って一定の厚みＷを有することとなる。しかし、近傍領域設定部７１は、これに限らず、たとえば切断面ＣＰの内縁から外縁に向かって切断面ＣＰに直交する方向の幅が大きくなる領域を近傍領域ＡＲとして設定するものであってもよい。図５に示すように、切断面ＣＰの内縁において切断面ＣＰに直交する方向に予め設定された第１の幅Ｗ０を有し、切断面ＣＰの内縁から外縁に向かって切断面ＣＰに直交する方向の幅が予め設定された比率αで大きくなる領域を近傍領域ＡＲとして設定するようにしてもよいし、図６に示すように、切断面ＣＰの内縁において切断面ＣＰに直交する方向に予め設定された第１の幅をＷ０有し、切断面ＣＰの外縁において切断面ＣＰに直交する方向に予め設定された第２の幅Ｗ１（＞Ｗ０）を有する領域を近傍領域ＡＲとして設定するようにしてもよい。
　また、図３～６では、近傍領域ＡＲが、切断面ＣＰから切除領域４１側と非切除領域４２側の両方に任意の厚みを有する領域である場合を例示しているが、近傍領域ＡＲは、切断面ＣＰから切除領域４１側のみ、または切断面ＣＰから非切除領域４２側のみに任意の厚みを有する領域であってもよい。この場合、近傍領域ＡＲは、たとえば上述した方法により求められた両側に厚みを有する近傍領域ＡＲを切除領域４１または非切除領域４２と積領域を取ることで求めることができる。
　図７と図８では、異なる切断深さｄ１，ｄ２（＞ｄ１）の設定下における近傍領域ＡＲと血管領域Ｖの位置関係を示している。図７では、近傍領域ＡＲ内に血管領域Ｖが含まれず、血管領域Ｖが可視化されていない場合を示しており、図８では、近傍領域ＡＲ内に血管領域Ｖの一部が含まれ、その部分ＶＰが可視化されている場合を示している。このように、切断深さが変化することによって血管領域Ｖの可視化される範囲が変化する。
　シミュレーション画像生成部７２は、近傍領域設定部７１によって設定された近傍領域ＡＲの情報に基づいて、たとえば図９および図１０に示すような、臓器を示す画像であって、臓器中の血管領域Ｖがその全体のうち切断面ＣＰの近傍領域ＡＲ内に存在する部分血管領域ＶＰのみが視認可能な態様で示されたシミュレーション画像を生成する。たとえば、まず、３次元画像を構成する各ボクセルに不透明度およびＲ、Ｇ、Ｂの色情報を与える。そのとき、臓器中の血管領域Ｖには、その全体のうち近傍領域ＡＲ内に存在する部分血管領域ＶＰを構成する各ボクセルにのみ８０～１００％の不透明度（部分実質領域よりも高い不透明度）を与え、近傍領域ＡＲ内の存在する部分実質領域を構成する各ボクセルには０～２０％の不透明度（部分血管領域ＶＰよりも低い不透明度）を与える。また、近傍領域ＡＲ内に腫瘍領域が存在する場合には、腫瘍領域を構成する各ボクセルにも８０～１００％の不透明度（部分実質領域よりも高い不透明度）を与える。そして、視点からレイキャスティングを行うことにより、シミュレーション画像として、臓器を示すボリュームレンダリング画像を生成する。
　また、シミュレーション画像生成部７２は、上記シミュレーション画像を生成する際に、境界面Ｂから切除領域４１側のボクセルに非切除領域４２側のボクセルとは異なる色情報を与えて前記レイキャスティングを行うことにより、図１０に示すような、切除領域４１側と非切除領域４２側が識別可能な態様で示されたシミュレーション画像を生成するようにしてもよい。また、切除領域４１側および非切除領域４２側の各ボクセルには、境界面Ｂからの距離に応じた色情報を与えるようにしてもよい。また、シミュレーション画像には、図９および図１０に示すように、部分血管領域ＶＰと境界面Ｂとの交線ＢＬが描画されるようにしてもよい。さらに、図９に示すように、門脈と、肝静脈をさらに色分けしてそれぞれを識別可能にしてもよい。
　表示制御部８０は、画像生成部７０によって生成されたシミュレーション画像をディスプレイ３に表示させる。
　図１１は、本実施形態の手術支援システムの作用を説明するためのフローチャートである。以下、このフローチャートを参照しながら説明する。まず、本実施形態の手術支援システムにおいては、ディスプレイ３に選択メニューが表示され、その選択メニューにおいて本実施形態による手術支援機能が選択されたことが検出されると、被検体のＩＤの一覧がディスプレイ３に表示される。そして、そのディスプレイ３に表示された被検体のＩＤの一覧の中から手術対象である被検体のＩＤが選択され、手術支援装置１によってユーザによる選択操作が検出されると、手術支援装置１の画像取得部１０によってその選択された被検体に関連する３次元画像が取得される（Ｓ１）。
　次に、画像取得部１０によって取得された３次元画像が臓器領域抽出部２０に入力され、臓器領域抽出部２０は、入力された３次元画像から臓器領域を抽出する（Ｓ２）。次に、臓器領域抽出部２０によって抽出された臓器領域は血管領域抽出部３０に入力され、血管領域抽出部３０は、臓器領域から血管領域Ｖを抽出する（Ｓ３）。一方、臓器領域抽出部２０によって抽出された臓器領域は切除領域決定部４０にも入力され、切除領域決定部４０は、臓器領域から異常領域を抽出し、抽出された異常領域に関連する血管領域Ｖの部分を特定し、特定された部分の血管領域Ｖにより支配される臓器の支配領域を切除領域４１として決定し、決定された切除領域４１以外の臓器領域を非切除領域４２として決定する（Ｓ４）。
　そして、ディスプレイ３に切断深さｄを設定させるための設定画面が表示され、入力受付部５０によって、その表示された画面に対してマウス等４の入力装置を用いて切断深さｄを設定するユーザによる入力を受け付けると（Ｓ５）、切断面設定部６０は、臓器領域における切除領域４１と非切除領域４２との境界面Ｂのうち、境界面Ｂの外縁から内側に境界面Ｂに沿った切断深さｄの範囲内の部分を切断面ＣＰとして設定する（Ｓ６）。ここで、切断面設定部６０は、境界面Ｂを構成する各々のボクセルについて、境界面Ｂの外縁を構成するボクセルからの境界面Ｂに沿った最短距離を求めることによって、境界面Ｂを構成する全ボクセルのそれぞれに距離が対応づけられてなる距離マップを作成し、作成された距離マップを参照して、境界面Ｂを構成する全のボクセルのうち、入力受付部５０により受け付けたユーザ入力の切断深さｄ以下の距離が対応づけられているボクセルの集合を特定し、切断面ＣＰとして設定する。
　次いで、画像生成部７０は、画像取得部１０によって取得された３次元画像から、臓器を示す画像であって、臓器中の血管領域Ｖがその全体のうち切断面ＣＰの近傍領域ＡＲ内に存在する部分血管領域ＶＰのみが視認可能な態様で示されたシミュレーション画像を生成する（Ｓ７）。画像生成部７０は、切断面ＣＰから切除領域４１側および非切除領域４２側のいずれか一方または両方に任意の厚みを有する領域を切断面ＣＰの近傍領域ＡＲとして設定し、設定された近傍領域ＡＲ内に存在する臓器中の実質領域が非表示または半透明に表示された、臓器を示すボリュームレンダリング画像を生成する。そして、画像生成部７０によって生成された臓器を示すシミュレーション画像は表示制御部８０に出力され、表示制御部８０は、入力されたシミュレーション画像をディスプレイ３に表示させる（Ｓ８）。
　次いで、本実施形態による手術支援機能を終了させる指示の有無を検出し（Ｓ９）、終了させる指示が検出されない場合にはステップＳ５に戻り、終了させる支持が検出された場合には、そこで処理を終了する。なお、終了させる指示が検出されず、入力受付部５０によって、切断深さｄを変更するユーザによる入力を受け付けた場合には、切断面設定部６０により、その変更後の切断深さｄを用いて切断面ＣＰの設定が更新される。また、切断面ＣＰの更新に応じて、画像生成部７０により、切断面ＣＰの近傍領域ＡＲが更新され、新たにシミュレーション画像が生成され、その生成された画像が表示制御部８０によりディスプレイ３に表示されることとなる。
　上記の構成により、本実施形態の手術支援システムによれば、切除領域４１が特定されている臓器をその臓器中の血管領域Ｖが視認可能な態様で示す画像を、臓器の３次元画像から生成する際に、切断深さを指定する入力を受け付け、臓器における切除領域４１と該切除領域４１以外の領域である非切除領域４２との境界面Ｂのうち、その境界面Ｂの外縁から内側に境界面Ｂに沿った前記指定された切断深さの範囲内の部分を切断面ＣＰとし、３次元画像から、臓器を該臓器中の血管領域Ｖのうち切断面ＣＰの近傍領域ＡＲ内に存在する部分血管領域ＶＰのみが視認可能な態様で示す画像を生成するようにしているので、切断面ＣＰ近傍における血管の走行状態を注目して観察するとき、全体の血管領域Ｖのうちその注目して観察する限られた部分のみが表示された、観察に適した画像を提供することができる。
　なお、上記実施形態では、手術支援装置１に臓器領域抽出部２０、血管領域抽出部３０および切除領域決定部４０を設け、手術支援装置１において臓器領域抽出処理、血管領域抽出処理および切除領域抽出処理の各処理が行われるようにした場合について説明したが、それらの各処理が他のコンピュータ等において既に実行され、その結果が参照可能な状態にある場合には、臓器領域抽出部２０、血管領域抽出部３０および切除領域決定部４０の構成は必ずしも必要ではない。
　また、上記実施形態は、対象の臓器が肝臓である場合の処理を中心に説明しているが、本発明における臓器としては肝臓に限らず、肺等他の臓器の手術支援にも応用することができる。

Claims (10)

  1. 　切除領域が特定されている臓器を該臓器中の血管領域が視認可能な態様で示す画像を、前記臓器の３次元画像から生成する画像生成手段と、
    　切断深さを指定する入力を受け付ける深さ入力受付手段と、
    　前記臓器における前記切除領域と該切除領域以外の領域である非切除領域との境界面のうち、該境界面の外縁から内側に前記境界面に沿った前記指定された切断深さの範囲内の部分を切断面とする切断面設定手段とを備え、
    　前記画像生成手段が、前記３次元画像から、前記臓器を該臓器中の血管領域のうち前記切断面の近傍領域内に存在する部分血管領域のみが視認可能な態様で示す画像を生成するものであることを特徴とする手術支援装置。
  2. 　前記切断面の近傍領域が、前記切断面の内縁から外縁に向かって該切断面に直交する方向の幅が大きくなる領域であることを特徴とする請求項１記載の手術支援装置。
  3. 　前記切断面の近傍領域が、前記切断面の内縁において該切断面に直交する方向に予め設定された第１の幅を有し、前記切断面の外縁において該切断面に直交する方向に予め設定された第２の幅を有する領域であることを特徴とする請求項２記載の手術支援装置。
  4. 　前記切断面の近傍領域が、前記切断面の内縁において該切断面に直交する方向に予め設定された第１の幅を有し、前記切断面の内縁から外縁に向かって該切断面に直交する方向の幅が予め設定された比率で大きくなる領域であることを特徴とする請求項２記載の手術支援装置。
  5. 　前記第１の幅を指定する入力を受け付ける幅入力受付手段を備え、
    　前記切断面の近傍領域が、前記切断面の内縁において該切断面に直交する方向に前記指定された第１の幅を有する領域であることを特徴とする請求項３または４記載の手術支援装置。
  6. 　前記切断面の近傍領域が、前記切断面から前記切除領域側にのみ存在する領域であることを特徴とする請求項１から５のいずれか１項記載の手術支援装置。
  7. 　前記切断面の近傍領域が、前記切断面から前記非切除領域側にのみ存在する領域であることを特徴とする請求項１から５のいずれか１項記載の手術支援装置。
  8. 　前記部分血管領域のみが視認可能な態様が、前記切断面の近傍領域内に存在する前記臓器中の実質領域を非表示にする態様または前記部分血管領域よりも低い不透明度で表示にする態様であることを特徴とする請求項１から７のいずれか１項記載の手術支援装置。
  9. 　切除領域が特定されている臓器を該臓器中の血管領域が視認可能な態様で示す画像を、前記臓器の３次元画像から生成する画像生成ステップと、
    　切断深さを指定する入力を受け付ける深さ入力受付ステップと、
    　前記臓器における前記切除領域と該切除領域以外の領域との境界面のうち、該境界面の外縁から内側に前記境界面に沿った前記指定された切断深さの範囲内の部分を切断面とする切断面設定ステップとを備え、
    　前記画像生成ステップが、前記３次元画像から、前記臓器を該臓器中の血管領域のうち前記切断面の近傍領域内に存在する部分血管領域のみが視認可能な態様で示す画像を生成するステップであることを特徴とする手術支援方法。
  10. 　コンピュータを、
    　切除領域が特定されている臓器を該臓器中の血管領域が視認可能な態様で示す画像を、前記臓器の３次元画像から生成する画像生成手段と、
    　切断深さを指定する入力を受け付ける深さ入力受付手段と、
    　前記臓器における前記切除領域と該切除領域以外の領域との境界面のうち、該境界面の外縁から内側に前記境界面に沿った前記指定された切断深さの範囲内の部分を切断面とする切断面設定手段として機能させるための手術支援プログラムであって、
    　前記画像生成手段が、前記３次元画像から、前記臓器を該臓器中の血管領域のうち前記切断面の近傍領域内に存在する部分血管領域のみが視認可能な態様で示す画像を生成するものであることを特徴とする手術支援プログラム。
PCT/JP2013/004235 2012-07-24 2013-07-09 手術支援装置、方法およびプログラム WO2014017041A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13822305.2A EP2878278B1 (en) 2012-07-24 2013-07-09 Surgical operation support device, method and program
US14/601,439 US10524823B2 (en) 2012-07-24 2015-01-21 Surgery assistance apparatus, method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012163500A JP6008635B2 (ja) 2012-07-24 2012-07-24 手術支援装置、方法およびプログラム
JP2012-163500 2012-07-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/601,439 Continuation US10524823B2 (en) 2012-07-24 2015-01-21 Surgery assistance apparatus, method and program

Publications (1)

Publication Number Publication Date
WO2014017041A1 true WO2014017041A1 (ja) 2014-01-30

Family

ID=49996869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/004235 WO2014017041A1 (ja) 2012-07-24 2013-07-09 手術支援装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US10524823B2 (ja)
EP (1) EP2878278B1 (ja)
JP (1) JP6008635B2 (ja)
WO (1) WO2014017041A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008035286A2 (en) * 2006-09-22 2008-03-27 Koninklijke Philips Electronics N.V. Advanced computer-aided diagnosis of lung nodules
KR101481796B1 (ko) * 2012-03-02 2015-01-14 포항공과대학교 산학협력단 3차원 가상 간 수술 계획 시스템
JP6122495B2 (ja) 2013-06-11 2017-04-26 敦 丹治 骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム
CN108140265B (zh) 2015-09-26 2022-06-28 波士顿科学医学有限公司 用于解剖外壳编辑的系统和方法
CN108140264B (zh) * 2015-09-26 2022-06-28 波士顿科学医学有限公司 可调深度的解剖外壳编辑
JP6496698B2 (ja) 2015-10-30 2019-04-03 株式会社Ａｚｅ 医用画像処理装置、その制御方法、及びプログラム
WO2017179350A1 (ja) * 2016-04-11 2017-10-19 富士フイルム株式会社 画像表示制御装置および方法並びにプログラム
CN109561870A (zh) * 2016-08-08 2019-04-02 国立大学法人京都大学 切除过程估计装置和切除过程引导系统
JP6747956B2 (ja) * 2016-12-07 2020-08-26 株式会社ＯＰＥｘＰＡＲＫ 情報統合装置
CN106682636B (zh) * 2016-12-31 2020-10-16 上海联影医疗科技有限公司 血管提取方法及其系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08509393A (ja) * 1993-02-16 1996-10-08 ゲオルク クリーギス、ウルリッヒ 外科的処置を策定、制御する方法
JP2003033349A (ja) 2001-07-23 2003-02-04 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2003225231A (ja) 2001-11-20 2003-08-12 General Electric Co <Ge> 肺疾患検出のための方法及びシステム
JP2003271924A (ja) 2002-03-13 2003-09-26 Hitachi Ltd 画像処理システムおよび医療画像処理システム
JP2005278888A (ja) * 2004-03-29 2005-10-13 Olympus Corp 手技支援システム
JP2006346022A (ja) * 2005-06-14 2006-12-28 Ziosoft Inc 画像表示方法及び画像表示プログラム
JP2008167793A (ja) * 2007-01-09 2008-07-24 Ge Medical Systems Global Technology Co Llc 手術支援方法および装置
JP2011010828A (ja) * 2009-07-01 2011-01-20 Toshiba Corp 医用画像表示装置および医用画像表示方法
JP2012034988A (ja) * 2010-08-11 2012-02-23 Fujifilm Corp 画像診断支援装置、方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7660623B2 (en) * 2003-01-30 2010-02-09 Medtronic Navigation, Inc. Six degree of freedom alignment display for medical procedures
US7840044B2 (en) * 2005-11-01 2010-11-23 Edda Technology Inc. Method and system for liver lobe segmentation and pre-operative surgical planning
WO2010132606A1 (en) * 2009-05-12 2010-11-18 Edda Technology, Inc. System, method, apparatus, and computer program for interactive pre-operative assessment
JP5559642B2 (ja) * 2010-08-30 2014-07-23 富士フイルム株式会社 手術支援装置、手術支援方法および手術支援プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08509393A (ja) * 1993-02-16 1996-10-08 ゲオルク クリーギス、ウルリッヒ 外科的処置を策定、制御する方法
JP2003033349A (ja) 2001-07-23 2003-02-04 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2003225231A (ja) 2001-11-20 2003-08-12 General Electric Co <Ge> 肺疾患検出のための方法及びシステム
JP2003271924A (ja) 2002-03-13 2003-09-26 Hitachi Ltd 画像処理システムおよび医療画像処理システム
JP2005278888A (ja) * 2004-03-29 2005-10-13 Olympus Corp 手技支援システム
JP2006346022A (ja) * 2005-06-14 2006-12-28 Ziosoft Inc 画像表示方法及び画像表示プログラム
JP2008167793A (ja) * 2007-01-09 2008-07-24 Ge Medical Systems Global Technology Co Llc 手術支援方法および装置
JP2011010828A (ja) * 2009-07-01 2011-01-20 Toshiba Corp 医用画像表示装置および医用画像表示方法
JP2012034988A (ja) * 2010-08-11 2012-02-23 Fujifilm Corp 画像診断支援装置、方法及びプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
K. KUBOTA ET AL.: "Evaluation of Computer-Aided Diagnosis System for Lung Cancer based on Helical CT Images", INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, TECHNICAL REPORT OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, MI2001-41, 2001, pages 41 - 46
K. MIURA ET AL.: "Hepatectomy Simulation - Its Fundamentals and Clinical Application", MEDIX, vol. 35, 2001, pages 9 - 14
R. BEICHEL ET AL.: "Liver Segment Approximation in CT Data for Surgical Resection Planning", MEDICAL IMAGING 2004: IMAGE PROCESSING, PROCEEDINGS OF THE SPIE, vol. 5370, 2004, pages 1435 - 1446, XP002431358, DOI: doi:10.1117/12.535514
Y. WAKIDA ET AL.: "Liver Cancer Detection based on a Temporal Density Feature from Abdominal Dynamic X-Ray CT Images", PROCEEDINGS OF JAPAN SOCIETY OF COMPUTER-AIDED DIAGNOSIS OF MEDICAL IMAGES, vol. 10, no. 1, 2007, pages 1 - 10

Also Published As

Publication number Publication date
EP2878278B1 (en) 2018-04-18
EP2878278A1 (en) 2015-06-03
US20150133764A1 (en) 2015-05-14
JP6008635B2 (ja) 2016-10-19
JP2014018619A (ja) 2014-02-03
US10524823B2 (en) 2020-01-07
EP2878278A4 (en) 2016-04-20

Similar Documents

Publication Publication Date Title
JP6008635B2 (ja) 手術支援装置、方法およびプログラム
US11864835B2 (en) Puncture support device for determining safe linear puncture routes by puncture region classification and superimposing of images
JP5797124B2 (ja) 手術支援装置、手術支援方法および手術支援プログラム
JP4545169B2 (ja) 画像表示方法、装置およびプログラム
JP5559642B2 (ja) 手術支援装置、手術支援方法および手術支援プログラム
JP5263995B2 (ja) ネットワーク構築装置および方法ならびにプログラム
US20120249546A1 (en) Methods and systems for visualization and analysis of sublobar regions of the lung
JP5395823B2 (ja) 手術支援装置、手術支援方法および手術支援プログラム
JP5572470B2 (ja) 診断支援装置および方法並びにプログラム
US9198603B2 (en) Device, method and program for searching for the shortest path in a tubular structure
WO2012020547A1 (ja) 画像診断支援装置、方法及びプログラム
JP2010528750A (ja) 管状構造の検査
EP3515310B1 (en) Volume presentation for planning a location of an injection point
US20070055455A1 (en) Methods for interactive liver disease diagnosis
EP2495700A1 (en) Image-based diagnosis assistance apparatus, its operation method and program
Herghelegiu et al. Biopsy planner–visual analysis for needle pathway planning in deep seated brain tumor biopsy
JP2010000144A (ja) 医用画像処理装置
KR101540402B1 (ko) 의료용 바늘의 삽입 경로의 생성 방법
EP3855392A1 (en) System and method for linking a segmentation graph to volumetric data
JP2023051235A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101303128B1 (ko) 등질성 지도 생성 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13822305

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013822305

Country of ref document: EP