WO2014016895A1 - 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置 - Google Patents

形状データ生成プログラム、形状データ生成方法及び形状データ生成装置 Download PDF

Info

Publication number
WO2014016895A1
WO2014016895A1 PCT/JP2012/068636 JP2012068636W WO2014016895A1 WO 2014016895 A1 WO2014016895 A1 WO 2014016895A1 JP 2012068636 W JP2012068636 W JP 2012068636W WO 2014016895 A1 WO2014016895 A1 WO 2014016895A1
Authority
WO
WIPO (PCT)
Prior art keywords
vertex
shape
target
target shape
deformation
Prior art date
Application number
PCT/JP2012/068636
Other languages
English (en)
French (fr)
Inventor
耕平 畠中
久田 俊明
清了 杉浦
巧 鷲尾
岡田 純一
Original Assignee
富士通株式会社
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社, 国立大学法人東京大学 filed Critical 富士通株式会社
Priority to JP2014526632A priority Critical patent/JP5850381B2/ja
Priority to EP12881634.5A priority patent/EP2876609B1/en
Priority to PCT/JP2012/068636 priority patent/WO2014016895A1/ja
Publication of WO2014016895A1 publication Critical patent/WO2014016895A1/ja
Priority to US14/602,829 priority patent/US9836891B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Definitions

  • the present invention relates to a shape data generation program, a shape data generation method, and a shape data generation device.
  • simulators such as surgery simulators and organ simulators are used for decision of treatment policy, diagnosis, postoperative prediction, development of medicines and medical devices, and the like.
  • 3D shape data of an organ is used, but it is often not easy to generate 3D shape data of an organ. This is because the organ is present inside the living body and cannot be visually observed or directly measured, and the shape of the organ is inherently complicated.
  • a technique for obtaining a target shape by deforming a standard shape of an organ there is a technique for obtaining a target shape by deforming a standard shape of an organ.
  • the following methods are known as methods for generating target three-dimensional shape data.
  • a doctor or the like observes a tomographic image such as a CT (Computed Tomography) image or an MRI (Magnetic Resonance Imaging) image, determines the boundary of each part of the organ, and draws a boundary line. Then, the three-dimensional shape data of the organ is obtained by laminating images with boundary lines.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • MRI or the like may not obtain a sufficient number of tomographic images because the imaging time per image is long (that is, the slice interval becomes large). In such a case, it is not possible to obtain highly accurate three-dimensional shape data such as a shape that does not exist in an actual organ.
  • deformation methods that use landmarks as parameters.
  • a source landmark is disposed at a portion to be deformed
  • a target landmark is disposed at a position after deformation, and deformation is executed.
  • Such a method has a problem that an unnatural shape is generated unless the source landmark and the target landmark are appropriately set.
  • JP 2007-98028 A Japanese Patent Application Laid-Open No. 2007-164592 JP 2002-329216 A JP 2004-265337 A
  • an object of the present invention is to provide a technique for generating highly accurate three-dimensional shape data when a sufficient number of tomographic images cannot be obtained.
  • the shape data generation method includes a generation process for generating target shape data that is a deformation target shape from a tomographic image of an object, and an object that is a standard shape of the object and is a shape to be deformed.
  • a first vertex having an intersection with a portion whose normal to the vertex corresponds to the boundary between the object and the non-object portion in the tomographic image of the target shape is specified, and the first vertex A setting process for setting the internal dividing point between the intersection and the intersection point to the second vertex, and a deformation process for deforming the target shape so that the first vertex overlaps the second vertex and setting the deformed shape to the target shape
  • a process of executing the setting process and the deformation process a predetermined number of times.
  • FIG. 1 is a functional block diagram of the shape data generation apparatus according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of a segment image.
  • FIG. 3 is a processing flow of processing for generating three-dimensional data of a target shape.
  • FIG. 4 is a diagram illustrating an example of a bounding box including a target shape.
  • FIG. 5 is a diagram showing a processing flow of mapping processing.
  • FIG. 6 is a diagram for explaining the result of the mapping process.
  • FIG. 7 is a diagram illustrating a process flow of the boundary setting process.
  • FIG. 8 is a diagram for explaining the result of the boundary setting process.
  • FIG. 9 is a diagram illustrating a processing flow of the complementing process.
  • FIG. 10 is a diagram for explaining the complementing process.
  • FIG. 10 is a diagram for explaining the complementing process.
  • FIG. 11 is a diagram illustrating a processing flow of complement processing.
  • FIG. 12 is a diagram for explaining the result of the complementing process.
  • FIG. 13 is a diagram illustrating a processing flow of processing for generating three-dimensional data.
  • FIG. 14 is a diagram illustrating a processing flow of the primary deformation processing.
  • FIG. 15 is a diagram for explaining TPS Warp.
  • FIG. 16 is a diagram illustrating an example in which the primary deformation process is applied to the left ventricle.
  • FIG. 17 is a diagram illustrating an example in which the primary deformation process is applied to the right ventricle.
  • FIG. 18 is a diagram for explaining a problem when target landmarks are arranged in a target shape.
  • FIG. 19 is a diagram for explaining the outline of the secondary deformation process.
  • FIG. 19 is a diagram for explaining the outline of the secondary deformation process.
  • FIG. 20 is a diagram illustrating a processing flow of the secondary deformation processing.
  • FIG. 21 is a diagram showing a processing flow of landmark setting processing.
  • FIG. 22 is a diagram illustrating a processing flow of boundary point search processing.
  • FIG. 23 is a diagram for explaining the relationship between the position of the vertex v and the luminance value.
  • FIG. 24 is a diagram for explaining the relationship between the position of the vertex v and the luminance value.
  • FIG. 25 is a diagram illustrating an example of a case where the search point penetrates the shape before deformation.
  • FIG. 26 is a diagram illustrating an example of a case where the search point penetrates the shape before deformation.
  • FIG. 27 is a diagram for explaining a boundary point search method.
  • FIG. 21 is a diagram showing a processing flow of landmark setting processing.
  • FIG. 22 is a diagram illustrating a processing flow of boundary point search processing.
  • FIG. 23 is a diagram for explaining the relationship between the position of the vertex v
  • FIG. 28 is a diagram showing a shape after the secondary deformation and a target shape.
  • FIG. 29 is a diagram showing the three-dimensional data of the target shape obtained when the processing of the present embodiment is not executed.
  • FIG. 30 is a diagram showing final three-dimensional data obtained when the processing of the present embodiment is not executed.
  • FIG. 31 is a diagram showing final three-dimensional data obtained when the processing of the present embodiment is executed.
  • FIG. 32 is a diagram in which the shape after the secondary deformation process and the target shape are displayed in an overlapping manner.
  • FIG. 33 is a diagram showing final three-dimensional data obtained when the method of the present embodiment is not used and final three-dimensional data obtained when the method is used.
  • FIG. 34 is a functional block diagram of a computer.
  • FIG. 1 shows a functional block diagram of the shape data generation apparatus 1 according to the present embodiment.
  • the shape data generation apparatus 1 includes a standard shape data storage unit 101, a primary deformation processing unit 102, an image data storage unit 103, a primary deformation data storage unit 104, and first landmark data.
  • a landmark processing unit 106 including a storage unit 105, a setting unit 108 and a boundary point search unit 109, a secondary deformation processing unit 107, a second landmark data storage unit 110, and a secondary deformation data storage unit 111
  • the display unit 112 includes a generation unit 113 including a definition unit 1130, a mapping unit 1131, a boundary setting unit 1132, and a complementing unit 1133, a target shape data storage unit 114, and a post-transformation data storage unit 115.
  • the generation unit 113 generates the three-dimensional shape data of the target shape from the segment image data stored in the image data storage unit 103 and stores it in the target shape data storage unit 114.
  • the definition unit 1130 executes processing for defining a bounding box that includes the target shape.
  • the mapping unit 1131 executes association between voxels in the bounding box that includes the segment image and voxels in the bounding box that includes the target shape.
  • the boundary setting unit 1132 executes a process of setting a predetermined luminance value (“2” in the present embodiment) for the boundary between the heart and the non-heart part.
  • the complementing unit 1133 executes processing for setting a luminance value for voxels in which no luminance value is set among voxels in the bounding box including the target shape.
  • the primary deformation processing unit 102 performs a primary deformation process, which will be described later, using data stored in the standard shape data storage unit 101 and data stored in the target shape data storage unit 114, and the processing result is 1
  • the next deformation data storage unit 104 and the first landmark data storage unit 105 are stored.
  • the primary transformation processing unit 102 instructs the display unit 112 to display a screen for designating a landmark.
  • the setting unit 108 and the boundary point search unit 109 in the landmark processing unit 106 are data stored in the target shape data storage unit 114, data stored in the primary deformation data storage unit 104, and post-deformation data storage unit 115.
  • the secondary deformation processing unit 107 includes data stored in the target shape data storage unit 114, data stored in the primary deformation data storage unit 104, data stored in the post-deformation data storage unit 115, and second data. Processing is performed using the data stored in the landmark data storage unit 110, and the processing result is stored in the post-deformation data storage unit 115 or the secondary modified data storage unit 111. In addition, the secondary deformation processing unit 107 instructs the display unit 112 to display data stored in the secondary deformation data storage unit 111. The display unit 112 displays data on a display device or the like in accordance with instructions from the primary deformation processing unit 102 and the secondary deformation processing unit 107.
  • the standard shape data storage unit 101 stores data of a standard shape of the heart (hereinafter referred to as a standard shape). Specifically, STL (Standard Triangulated Language) data including shape vertex information and vertex connection information is stored.
  • STL Standard Triangulated Language
  • the data format is not limited to the STL data format.
  • FIG. 2 shows an example of segment image data stored in the image data storage unit 103.
  • FIG. 2 shows four pieces of segment image data.
  • the segment image data is obtained by performing a process of filling the inside of the boundary with a predetermined luminance value (hereinafter referred to as a label value) on a CT image or the like of a specific patient's heart. Three-dimensional coordinates are set for each point in the segment image data.
  • segment image data is used to obtain three-dimensional shape data of a target shape that is a shape that is a target of deformation.
  • the shape data generation device 1 executes a process of deforming the standard shape so as to approach the target shape.
  • a process for generating three-dimensional shape data of a target shape from segment image data will be described with reference to FIGS.
  • the definition unit 1130 in the generation unit 113 reads the segment image data stored in the image data storage unit 103. Then, the defining unit 1130 defines a bounding box that includes the target shape (FIG. 3: step S1).
  • a voxel is an element of a lattice image corresponding to a pixel which is an element of a rectangular image of 2D image data in 3D image data. Therefore, in order to make the voxel in the bounding box including the target shape a cube, the following is performed.
  • Lower limit coordinate of bounding box including target shape Lower limit coordinate of bounding box including segment image
  • Upper limit coordinate of bounding box including target shape Upper limit of bounding box including segment image
  • Number of grid points in the x-axis direction of the bounding box including the target shape 1 + (x coordinate of the upper bound of the bounding box ⁇ x coordinate of the lower limit of the bounding box) / x of the bounding box including the segment image Voxel size in the axial direction or y-axis direction (Note that the number of lattice points in the y-axis direction and the z-axis direction can also be obtained in the same manner.) However, if the setting is made in this way, the position of the upper limit may be shifted.
  • Upper limit x coordinate of the bounding box including the target shape Lower limit x coordinate of the bounding box including the segment image + Voxel size in the x axis direction or y axis direction of the bounding box including the segment image ⁇ (x Number of grid points in the axial direction-1) (Note that the y-coordinate and the z-coordinate can also be obtained in the same manner.)
  • T is determined.
  • x min is the minimum value of the x coordinate
  • x max is the maximum value of the x coordinate.
  • y min is the minimum value of the y coordinate
  • y max is the maximum value of the y coordinate.
  • z min is the minimum value of the z coordinate
  • z max is the maximum value of the z coordinate.
  • a bounding box as shown in FIG. 4 is defined by the process of step S1.
  • the bounding box range is determined by the lower limit coordinates and the upper limit coordinates.
  • Each of the voxels in the bounding box has a length in the x-axis direction v ′ x , a length in the y-axis direction v ′ y , and a length in the z-axis direction v ′ z .
  • the number of lattice points in each axial direction is the number of voxels in the axial direction + 1.
  • the defined bounding box data is stored in the target shape data storage unit 114. It is assumed that the luminance value of each voxel in the bounding box is set to 0 as an initial value.
  • mapping unit 1131 executes a mapping process (step S3).
  • the mapping process will be described with reference to FIGS.
  • n x is the number of voxels in the x-axis direction in the encompassing bounding box segment image
  • n y is the number of voxels in the y-axis direction
  • n z is the number of voxels in the z-axis direction.
  • I (x, y, z) is a luminance value of u (x, y, z) in the bounding box that includes the segment image.
  • the number of points is n z +1.
  • the voxel size is v x in the x-axis direction, v y in the y- axis direction, and v z in the z-axis direction.
  • u′ ⁇ I 3 .
  • M and M ′ are determined as follows.
  • the luminance value at the position u ′ stored in the target shape data storage unit 114 is updated from 0 to 1 by the processing in step S21.
  • mapping unit 1131 determines whether the x ⁇ n x (step S23). When x ⁇ n x is not satisfied (step S23: No route), the mapping unit 1131 increments the x coordinate in u (x, y, z) by 1 (step S25), and the process returns to step S17.
  • step S23 If it is x ⁇ n x (step S23: Yes route), the mapping unit 1131 determines whether the y ⁇ n y (step S27). If not, y ⁇ n y (step S27: No route), the mapping unit 1131, u (x, y, z) is incremented by 1 y coordinates in (step S29), the process returns to step S15.
  • step S27 Yes route
  • the mapping unit 1131 determines whether the z ⁇ n z (step S31). When z ⁇ nz is not satisfied (step S31: No route), the mapping unit 1131 increments the z coordinate in u (x, y, z) by 1 (step S33), and returns to the process of step S13. On the other hand, if z ⁇ nz (step S31: Yes route), the process returns to the original process.
  • the luminance value of the inside of the heart and the boundary between the heart and the non-heart portion in the target shape becomes 1, and the luminance value of the non-heart portion becomes 0.
  • the upper part of FIG. 6 is the three-dimensional shape data of the target shape at this stage, and the lower part of FIG. 6 is a view of a part of the generated three-dimensional shape data observed from the z-axis direction. At this stage, in the z-axis direction, luminance values are given only to portions where segment image data exists.
  • the boundary setting unit 1132 executes boundary setting processing (step S5).
  • the boundary setting process will be described with reference to FIGS.
  • the boundary setting unit 1132 calculates
  • step S47 No route
  • u ′ is not the boundary between the heart and the non-heart part, and the process proceeds to step S53.
  • step S49: No route since u ′ is not a boundary between the heart and the non-heart part, the process proceeds to step S53.
  • Boundary setting unit 1132 determines whether the x ⁇ n x (step S53). When x ⁇ n x is not satisfied (step S53: No route), the boundary setting unit 1132 increments the x coordinate in u ′ (x, y, z) by 1 (step S55), and the process returns to step S47.
  • step S53 Yes route
  • step S57 the boundary setting unit 1132 determines whether the y ⁇ n y (step S57). If not, y ⁇ n y (step S57: No route), the boundary setting unit 1132, u '(x, y, z) is incremented by 1 y coordinates in (step S59), the process returns to step S45.
  • step S57 If it is y ⁇ n y (step S57: Yes route), the boundary setting unit 1132 determines whether the z ⁇ n z (step S61). If z ⁇ nz is not satisfied (step S61: No route), the boundary setting unit 1132 increments the z coordinate in u (x, y, z) by 1 (step S63), and the process returns to step S43. On the other hand, if z ⁇ nz (step S61: Yes route), the process returns to the original process.
  • the luminance value inside the heart in the target shape becomes 1, the luminance value at the boundary between the heart and the non-heart portion becomes 2, and the luminance value becomes 0 in the non-heart portion.
  • the upper part of FIG. 8 is the three-dimensional shape data of the target shape at this stage, and the lower part of FIG. 8 is a view of a part of the generated three-dimensional shape data observed from the z-axis direction.
  • the boundary portion is shown in the upper part of FIG. At this stage, in the z-axis direction, luminance values are given only to portions where segment image data exists.
  • the complement unit 1133 executes a complement process (step S ⁇ b> 7).
  • the supplementing process will be described with reference to FIGS.
  • List_i [j] is the z coordinate of the jth segment image data. Therefore, List_i ′ [j] is the z coordinate in the bounding box that includes the target shape corresponding to the z coordinate of the j-th segment image data.
  • the segment image data whose z coordinate is List_i [j + 1] is associated with the target shape data whose z coordinate is List_i ′ [j + 1].
  • the segment image data whose z coordinate is List_i [j] is associated with the target shape data whose z coordinate is List_i ′ [j].
  • step S75 Yes route
  • n List_i ′ [j + 1] ⁇ List_i ′ [j] (step S81).
  • n is the number of z coordinates for which no luminance value is set between the z coordinate List_i ′ [j + 1] and the z coordinate List_i ′ [j]. The process proceeds to step S83 in FIG.
  • step S85 No route
  • I ′ (x, y, List_i ′ [j] + k) 0 is set (step S89). ). In the process of step S89, the luminance value at the position u ′ stored in the target shape data storage unit 114 is kept at zero.
  • the z coordinate List_i ′ [j] + k is closer to the z coordinate List_i ′ [j] than the z coordinate List_i ′ [j + 1]), and therefore I ′ (x, y, List_i ′ [ j]) and the same luminance value are set.
  • I ′ x, y, List_i ′ [ j]
  • z A is closer to the z coordinate List_i ′ [j] than the z coordinate List_i ′ [j + 1].
  • (X, y, List_i ′ [j] + k) I ′ (x, y, List_i ′ [j]).
  • step S91 Yes route
  • step S101 the luminance value at the position u ′ stored in the target shape data storage unit 114 is kept at zero.
  • step S107 the complementing unit 1133 determines whether j> n_List-1 is satisfied.
  • step S107 No route
  • step S107: Yes route the processing returns to the original processing.
  • step S7 when the complementing process (step S7) ends, the process ends.
  • the boundary between the heart and the non-heart part can be identified in the target shape (that is, if the luminance value 2 is set), the boundary of the target shape and the boundary of the standard shape overlap. So that it can be deformed. Thereby, highly accurate three-dimensional shape data can be generated.
  • three-dimensional shape data as shown in FIG. 12 is generated.
  • the shape of the voxel is a cube.
  • the primary deformation processing unit 102 executes primary deformation processing (FIG. 13: step S111).
  • the primary deformation process will be described with reference to FIGS.
  • rough alignment between the standard shape and the target shape is performed.
  • the primary deformation processing unit 102 reads standard shape data from the standard shape data storage unit 101 and also reads target shape data from the target shape data storage unit 114. Then, the primary deformation processing unit 102 instructs the display unit 112 to display a landmark setting screen including standard shape data and target shape data. The display unit 112 displays a landmark setting screen on the display device in response to an instruction from the primary deformation processing unit 102 (FIG. 14: step S112).
  • a source landmark is set at a predetermined portion in the standard shape.
  • a target landmark is set in a portion corresponding to the position where the source landmark is arranged in the target shape.
  • the predetermined part is a characteristic part in the heart, for example, four annulus parts, apex part, bottom part of right ventricular fluid surface, myocardial boundary (for example, boundary between right ventricle and left ventricle), four The end face of the pulmonary vein, the superior vena cava and the inferior vena cava.
  • the primary deformation processing unit 102 receives the setting of the source landmark and the target landmark, and stores the data of the source landmark and the target landmark (for example, three-dimensional coordinates) in the first landmark data storage unit 105 (Ste S113).
  • the primary deformation processing unit 102 executes processing for deforming the standard shape by a method such as TPS Warp (Thin Plate Spline Warp) described later according to the landmark data stored in the first landmark data storage unit 105. (Step S114). Then, the primary deformation processing unit 102 stores the data of the shape after the primary deformation as the processing result in the primary deformation data storage unit 104. Then, the process returns to the original process.
  • TPS Warp Thin Plate Spline Warp
  • TPS Warp will be described. As shown in FIG. 15, in TPSWarp, when a source landmark and a target landmark corresponding to the source landmark are given, the source landmark is deformed so as to overlap the target landmark.
  • TSPSarp For details of TSPSarp, see, for example, “Fred L. Bookstein” Principal Warps: Thin-Plate Splines and the Decomposition of Deformation ”, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINEELLINTELLIGENCE. VOL. 11 NO. 585, PP. , “JUNE 1989”.
  • the format of the data stored in the primary deformation data storage unit 104 is the same as the format of the data stored in the standard shape data storage unit 101.
  • the source landmark moved by the primary deformation process (that is, the point overlapping the target landmark in the primary deformation process) is handled as a fixed point in the secondary deformation process. That is, the source landmark moved by the primary deformation process is not moved and the position is not shifted in the secondary deformation process.
  • FIG. 16 shows an example in which the primary deformation process described above is applied to the left ventricle.
  • the upper left figure is a standard shape with a source landmark (circle), and the upper right figure is a target shape with a target landmark (circle).
  • the shape after primary deformation which is the result of executing TPS Warp using the standard shape and the target shape, is a diagram on the lower left side.
  • the figure on the lower right is a view of the target shape observed from different viewpoints.
  • FIG. 17 shows an example in which the primary deformation process described above is applied to the right ventricle.
  • the upper left figure is a standard shape with a source landmark (circle), and the upper right figure is a target shape with a target landmark (circle).
  • a shape after primary deformation which is a result of executing TPS Warp using the standard shape and the target shape, is indicated by a mesh line 60 in the lower diagram.
  • the target shape and the shape after the primary deformation indicated by the mesh lines are overlapped to facilitate comparison.
  • the secondary deformation processing unit 107 executes the secondary deformation processing (step S115).
  • the secondary deformation process will be described with reference to FIGS.
  • the outline of the secondary deformation process will be described.
  • TPS Warp it is considered effective to set the target landmark on the normal line of the source landmark, considering that the heart is generally rounded.
  • the source landmark is arranged in the shape after the primary deformation
  • the target landmark is arranged at the intersection of the normal of the source landmark and the target shape, and the deformation processing by TPS Warp is performed.
  • the lower part of FIG. 18 when a situation occurs where the normal lines intersect, an unnatural shape different from the target shape may occur in the generated shape.
  • the line segment connecting the source landmarks arranged in the shape after the primary deformation and the above intersection is internally divided.
  • a target landmark is arranged, and a deformation process is performed by TPS Warp. Further, by repeatedly performing such deformation processing, the target shape is gradually approached. As a result, an unnatural shape is not easily generated in the generated shape, and the direction of the normal line is easily directed to a portion that should be originally targeted.
  • m is a variable for counting the number of processed vertices.
  • the landmark setting process will be described with reference to FIGS.
  • the setting unit 108 in the landmark processing unit 106 specifies one vertex v at random from the data stored in the post-deformation data storage unit 115 or the data stored in the primary deformation data storage unit 104 ( FIG. 21: Step S141).
  • step S141 when data is stored in the post-deformation data storage unit 115 (that is, when the deformation process is executed at least once in the secondary deformation process), the vertex is transferred from the post-deformation data storage unit 115.
  • one vertex v is specified from the data stored in the primary deformation data storage unit 104.
  • the setting unit 108 uses the data of the source landmark (that is, the fixed point) moved by the primary deformation process and the data of the source landmark stored in the second landmark data storage unit 110, and uses the vertex v and each source.
  • the Euclidean distance from the landmark is calculated.
  • the second landmark data storage unit 110 may not store source landmark and target landmark data. In such a case, only the data of the source landmark moved by the primary deformation process is used.
  • the setting unit 108 determines whether the smallest one of the calculated Euclidean distances between the vertex v and each source landmark is equal to or less than the threshold value D (step S143).
  • Step S143 is a process performed to arrange the vertices v evenly in the shape before the secondary deformation process. In step S143, it is determined whether the following expression is satisfied.
  • d (v, v i ) represents the Euclidean distance between the point v and the point v i .
  • v i is a fixed point (that is, a source landmark moved by the primary deformation process) or a source landmark (a vertex whose data is stored in the second landmark data storage unit 110).
  • step S143: Yes route If it is determined that the minimum Euclidean distance between the vertex v and each source landmark is equal to or less than the threshold value D (step S143: Yes route), the process returns to the original process. On the other hand, when it is determined that the minimum Euclidean distance between the vertex v and each source landmark is larger than the threshold D (step S143: No route), the setting unit 108 searches the boundary point search unit 109 for a boundary point search. Instructs execution of processing. Then, the boundary point search unit 109 executes boundary point search processing (step S145). The boundary point search process will be described with reference to FIGS.
  • n (v) is a unit normal vector with respect to the surface H at the vertex v ( ⁇ H).
  • the unit normal vector is a normal vector having a length of 1.
  • H ( ⁇ V) is a shape plane specified by data stored in the primary deformation data storage unit 104 or data stored in the post-deformation data storage unit 115
  • V ( ⁇ R 3 ) is a target. It is a voxel space specified by the three-dimensional shape data of the shape. R 3 represents a real space.
  • the boundary point search unit 109 determines whether the vertex v is on the boundary (step S163). In step S163, it is determined whether or not the following expression is satisfied.
  • mapping f V ⁇ R from the voxel space V to the real number space R is defined as follows.
  • the elements of the three-dimensional shape data of the target shape included in the voxel space V are associated with the real number space R.
  • I is the luminance value of the voxel including the point p ( ⁇ V).
  • step S163 Yes route
  • the process proceeds to step S150 in FIG.
  • the setting unit 108 sets the vertex v as a target landmark (step S150).
  • the setting unit 108 sets the vertex v as a source landmark (step S151).
  • the setting unit 108 adds a set of the set source landmark and target landmark data to the second landmark data storage unit 110.
  • step S163 determines whether the vertex v exists inside the target shape.
  • step S165 it is determined whether or not the following expression is satisfied.
  • step S165 will be described with reference to FIGS.
  • the luminance value f (v) of the voxel space corresponding to the vertex v is 1, the vertex v exists inside the target shape. Therefore, the boundary point is searched in the direction from the inside to the outside of the target shape by setting the coefficient k to be incremented by 1 in the process of step S177 described later.
  • the luminance value f (v) of the voxel space corresponding to the vertex v becomes 0, the vertex v exists outside the target shape. Therefore, the boundary point is searched in the direction from the outside to the inside of the target shape by setting the coefficient k to be decremented by 1 in the process of step S191 described later.
  • step S171 determines whether a search point exists in the voxel space specified by the three-dimensional shape data of the target shape. In step S171, it is determined whether the following expression is satisfied.
  • step S171 No route
  • the process returns to the original process. This is because the search point has reached the outside of the voxel space, so that it can be determined that the normal with respect to the vertex v and the target shape do not have an intersection.
  • step S171 when it is determined that a search point exists in the voxel space specified by the three-dimensional shape data of the target shape (step S171: Yes route), the boundary point search unit 109 causes the search point to penetrate the pre-deformation shape. (Step S173). In step S173, it is determined whether the following expression is satisfied.
  • mapping g V ⁇ R 3 is defined as follows. This mapping g, the elements of the segment image data included in the voxel space V is associated with the real space R 3.
  • step S173 will be described with reference to FIGS. If the search point penetrates the pre-deformation shape before reaching the boundary point, there is a possibility that the search for the boundary point has not been performed properly.
  • the case where the search point penetrates the pre-deformation shape before reaching the boundary point may be, for example, the case shown in FIG. 25 or the case shown in FIG. That is, there may be a case where no boundary point exists in the search direction depending on the degree of deformation of the shape before deformation with respect to the target shape. In any case, there is a possibility that the boundary point cannot be detected or the boundary point is detected at an inappropriate position.
  • step S173 the inner product of the normal vector for the vertex v and the normal vector for the search point is calculated, and the inner product is smaller than 0 (that is, the angle formed by the normal vector is larger than 90 degrees). In addition, it is determined that the search point has penetrated the shape before deformation.
  • step S ⁇ b> 173: Yes route when it is determined that the search point has penetrated the pre-deformation shape (step S ⁇ b> 173: Yes route), an appropriate boundary point cannot be detected, so the process returns to the original process.
  • step S173: No route when it is determined that the search point does not penetrate the shape before deformation (step S173: No route), the boundary point search unit 109 determines whether the luminance value of the voxel space corresponding to the search point is 2. (Step S175).
  • step S175 when the luminance value is 2 (step S175: Yes route), the boundary point search unit 109 sets the search point as the boundary point (step S179).
  • search point data for example, the value of k
  • a storage device such as a main memory.
  • step S165 No route
  • step S165 No route
  • step S165 No route
  • step S165 the process performed when it is determined in step S165 that the vertex v exists outside the target shape. Since the processing in this case is only different in the search direction from the processing described above, the contents of the basic processing are as described above. That is, the process of step S181 is the same as the process of step S167, the process of step S183 is the same as the process of step S169, the process of step S185 is the same as the process of step S171, and the process of step S187 is step It is the same as the process of S173, and the process of step S189 is the same as the process of step S175. Therefore, a detailed description of the processes in steps S181 to S189 is omitted.
  • the setting unit 108 determines whether the boundary point search unit 109 has detected a boundary point (step S147). If it is determined that no boundary point has been detected (step S147: No route), the process returns to the original process in order to process the next vertex.
  • the setting unit 108 sets the internal dividing point of the line segment connecting the vertex v and the boundary point v + kn (v) as the target landmark. (Step S149). Specifically, the target landmark is set at the following points.
  • the setting unit 108 sets the vertex v as a source landmark (step S151).
  • the setting unit 108 adds a pair of the set source landmark and target landmark data to the second landmark data storage unit 110. Then, the process returns to the original process.
  • the secondary deformation processing unit 107 determines whether m ⁇ N for the variable m (step S129).
  • N is the total number of vertices in the shape after the primary deformation (or the shape obtained by deforming the shape after the primary deformation). If it is determined that m ⁇ N (step S129: Yes route), the process returns to step S125 to process the next vertex.
  • the secondary transformation processing unit 107 determines the source landmark and target land stored in the second landmark data storage unit 110.
  • deformation processing by TPS Warp is executed, and the deformed shape data is stored in the post-deformation data storage unit 115 (step S131).
  • the result of the previous deformation process is stored in the post-deformation data storage unit 115, the data is overwritten.
  • the source landmark moved in the primary deformation process is handled as a fixed point and is not moved. Then, the secondary deformation processing unit 107 erases the data of the source landmark and the target landmark stored in the second landmark data storage unit 110.
  • the secondary deformation processing unit 107 determines whether t ⁇ T for the variable t (step S133). If it is determined that t ⁇ T (step S133: Yes route), the process returns to the process of step S123 in order to perform further deformation processing.
  • step S133 No route
  • the shape data after the secondary deformation process is stored in the secondary deformation data storage unit 111. Store and return to the original process.
  • the shape after the primary deformation approaches the target shape, and highly accurate three-dimensional shape data can be obtained.
  • the processing time can be relatively short.
  • the display unit 112 displays the data stored in the secondary deformation data storage unit 111 on a display device or the like (step S117). Then, the process ends.
  • FIG. 28 shows an example of data displayed on the display device or the like.
  • a target shape and a shape after secondary deformation indicated by a mesh line are displayed.
  • the figure on the left is a diagram showing the entire deformed part, and the figure on the right is an enlarged view of a part of the deformed part.
  • three-dimensional shape data of a target shape as shown in FIG. 29 is generated.
  • voxels are elongated in the z-axis direction.
  • the generated three-dimensional shape data has a shape as shown in FIG. That is, irregularities that do not exist in the actual heart occur.
  • FIG. 32 is a diagram in which the shape after the secondary deformation process shown in FIG. 31 and the target shape shown in FIG. 12 are displayed in an overlapping manner.
  • the voxel to which the luminance value 2 is assigned that is, the voxel corresponding to the boundary in the segment image data
  • FIG. 33 is obtained when three-dimensional shape data obtained when the method of the present embodiment is not used (that is, when the processes of steps S1 to S7 are not performed) and when the method of the present embodiment is used. It is the figure which showed 3D shape data side by side.
  • the slice interval increases from left to right (that is, the number of segment images decreases).
  • unevenness that does not actually exist in the heart is generated as the slice interval increases.
  • the method of the present embodiment is used, even if the slice interval is increased, the smooth shape without unevenness remains.
  • the present technology has been described above, but the present technology is not limited to this.
  • the functional block diagram of the shape data generation apparatus 1 described above does not necessarily correspond to an actual program module configuration.
  • the processing order can be changed if the processing result does not change. Further, it may be executed in parallel.
  • the target landmark is set by displaying segment image data on the landmark setting screen.
  • a target landmark may be set by displaying a tomographic image such as a CT image.
  • processing as described above is not only applicable to the heart, but can also be applied to other objects.
  • the shape data generation device 1 described above is a computer device, and displays a memory 2501, a CPU (Central Processing Unit) 2503, a hard disk drive (HDD: Hard Disk Drive) 2505 as shown in FIG.
  • a display control unit 2507 connected to the device 2509, a drive device 2513 for the removable disk 2511, an input device 2515, and a communication control unit 2517 for connecting to a network are connected by a bus 2519.
  • An operating system (OS: Operating System) and an application program for performing the processing in this embodiment are stored in the HDD 2505, and are read from the HDD 2505 to the memory 2501 when executed by the CPU 2503.
  • OS Operating System
  • the CPU 2503 controls the display control unit 2507, the communication control unit 2517, and the drive device 2513 according to the processing content of the application program, and performs a predetermined operation. Further, data in the middle of processing is mainly stored in the memory 2501, but may be stored in the HDD 2505.
  • an application program for performing the above-described processing is stored in a computer-readable removable disk 2511 and distributed, and installed in the HDD 2505 from the drive device 2513. In some cases, the HDD 2505 may be installed via a network such as the Internet and the communication control unit 2517.
  • Such a computer apparatus realizes various functions as described above by organically cooperating hardware such as the CPU 2503 and the memory 2501 described above and programs such as the OS and application programs. .
  • the shape data generation method includes (A) a generation process for generating target shape data that is a shape of a deformation target from a tomographic image of an object, and (B) a standard shape of the object and Of the vertices of the target shape, which is a shape to be deformed, a first vertex having an intersection with a portion whose normal to the vertex corresponds to the boundary between the object and the non-object portion in the tomographic image of the target shape Specifying and setting the interior dividing point between the first vertex and the intersection as the second vertex, and (C) transforming the target shape so that the first vertex overlaps the second vertex, and deforming A deformation process for setting a later shape as a target shape, and (D) a process for executing the setting process and the deformation process a predetermined number of times.
  • the target shape can be deformed to fit the boundary in the tomographic image, and the other parts are close to the standard shape of the object. Further, since the deformation is gradually performed, an unnatural shape is hardly generated in the deformed shape. As a result, even when a sufficient number of tomographic images cannot be obtained, highly accurate shape data can be obtained.
  • a predetermined luminance value may be given to a portion of the target shape that corresponds to a boundary between an object and a non-object portion in the tomographic image. In this way, the boundary between the object and the non-object part in the tomographic image can be determined.
  • the voxel luminance value in the voxel space including the tomographic image is mapped to the voxel luminance value in the voxel space including the target shape, and (a3) the target shape is included.
  • the voxel for which the luminance value is set may be assigned to the voxel for which the luminance value is set closest to the voxel. In this way, since an appropriate luminance value can be assigned to a voxel for which no luminance value is set, the target shape becomes an appropriate shape.
  • the second vertex described above may be a point specified by a vector obtained by multiplying the unit normal vector for the first vertex by a value obtained by dividing the number of times of deformation by the deformation process by a predetermined number of times. Good. In this way, the target shape can be gradually deformed so as not to have an unnatural shape, for example, an overlap occurs.
  • the target vertex is moved by the first distance in the direction of the normal line of the target vertex, and the destination point is included in the voxel space including the tomographic image.
  • the normal vector for the target vertex and the destination point are determined. Based on the inner product with the normal vector of (2), it is determined whether or not the destination point has penetrated the target shape. (B3) If it is determined that the destination point does not penetrate the target shape, It is determined whether the luminance value is a predetermined luminance value.
  • the first vertex may be specified such that the distance from the other first vertex is equal to or greater than the second distance. In this way, since the part to be deformed is not biased, the deformed shape becomes smooth, and more accurate shape data can be generated.
  • the shape data generation method may further include (E) a process of outputting the deformed shape data obtained by executing the setting process and the deformation process a predetermined number of times. In this way, the user can determine whether or not the deformed shape is appropriate.
  • the deformation may be performed by (c1) TPSARP (Thin Plate Splines Warp). If TPS Warp is used, deformation can be performed so that the first vertex and the second vertex overlap each other.
  • TPSARP Thin Plate Splines Warp
  • a program for causing a computer to perform the processing according to the above method can be created.
  • the program can be a computer-readable storage medium such as a flexible disk, a CD-ROM, a magneto-optical disk, a semiconductor memory, or a hard disk. It is stored in a storage device.
  • the intermediate processing result is temporarily stored in a storage device such as a main memory.

Abstract

 本形状データ生成方法は、物体の断層画像から、変形目標の形状である目標形状のデータを生成する生成処理と、物体の標準的な形状であり且つ変形対象となる形状である対象形状の頂点のうち、当該頂点についての法線が目標形状のうち断層画像において物体と物体ではない部分との境界に該当する部分と交点を有する第1の頂点を特定すると共に、第1の頂点と交点との内分点を第2の頂点に設定する設定処理と、第1の頂点を第2の頂点に重ねるように対象形状を変形し、変形後の形状を対象形状に設定する変形処理と設定処理及び変形処理を所定回数実行する処理とを含む。

Description

形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
 本発明は、形状データ生成プログラム、形状データ生成方法及び形状データ生成装置に関する。
 医療分野においては、手術シミュレータや臓器シミュレータ等のシミュレータが、治療方針の決定、診断、術後予測、医薬品や医療機器の開発等に利用されている。このようなシミュレータによるシミュレーションにおいては、臓器の三次元形状データを使用するが、臓器の三次元形状データを生成するのは容易ではないことが多い。臓器は生体内部に存在しているため目視や直接計測を行うことができない上に、臓器の形状は元来複雑であるためである。
 従来、臓器の標準的な形状を変形することにより目標となる形状を得る技術がある。ここで、目標となる三次元形状データを生成する方法としては、以下のような方法が知られている。具体的には、医師等がCT(Computed Tomography)画像やMRI(Magnetic Resonance Imaging)画像等の断層画像を観察し、臓器の各部分の境界を定めて境界線を引いていく。そして、境界線が引かれた画像を積層することにより、臓器の三次元形状のデータを得る方法である。
 しかし、MRI等は、1枚当たりの撮像時間が長いため、十分な数の断層画像を得ることができない(すなわち、スライス間隔が大きくなる)ことがある。このような場合、実際の臓器には存在しないような形状が生じる等、精度が高い三次元形状データを得ることができない。
 また、モデルフィッティング手法を用いて、所定の評価関数を最適化するように標準モデルを変形させ、対象物のモデルを生成する技術が存在する。しかし、この方法は、対象物を抽出するために利用する三次元画像の解像度が低いと、精度が高い三次元形状データを得ることができない。
 また、メッシュのネットワークによって表面が形成される変形可能なモデルを利用する方法が存在する。この方法においては、ネットワーク点の位置を新たに計算する段階を繰り返すことにより、二次元画像から得られる三次元構造のセグメンテーションを得る。
 また、パラメータとしてランドマークを利用する変形方法が存在する。この変形方法においては、変形したい部分にソースランドマークを配置し、変形後の位置にターゲットランドマークを配置し、変形を実行する。このような方法は、ソースランドマーク及びターゲットランドマークを適切に設定しなければ、不自然な形状が生じてしまうという問題がある。
 さらに、上記のような従来技術を使用しても、十分な数の断層画像を得ることができない場合には三次元データの精度が低くなるという問題には対処できない。
特開2007-98028号公報 特開2007-164592号公報 特開2002-329216号公報 特開2004-265337号公報
"Principal Warps: Thin-Plate Splines Warp and the Decomposition of Deformations" IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTERLLIGENCE Ferd L, Bookstein VOL 11, NO.6 JUNE 1989 "Laplacian surface editing"SGP '04 Proceedings of the 2004 Eurographics/ACM SIGGRAPH symposium on Geometry processing, O. Sorkine Tel Aviv University D. Cohen-Or Tel Aviv University Y. Lipman Tel Aviv University M. Alexa Darmstadt University of Technology C. Roessl Max-Planck Institut fuer Informatik, Saarbruecken H.-P. Seidel Max-Planck Institut fuer Informatik, Saarbruecken
 従って、1つの側面では、本発明の目的は、十分な数の断層画像を得られない場合において高精度の三次元形状データを生成するための技術を提供することである。
 本発明に係る形状データ生成方法は、物体の断層画像から、変形目標の形状である目標形状のデータを生成する生成処理と、物体の標準的な形状であり且つ変形対象となる形状である対象形状の頂点のうち、当該頂点についての法線が目標形状のうち断層画像において物体と物体ではない部分との境界に該当する部分と交点を有する第1の頂点を特定すると共に、第1の頂点と交点との内分点を第2の頂点に設定する設定処理と、第1の頂点を第2の頂点に重ねるように対象形状を変形し、変形後の形状を対象形状に設定する変形処理と設定処理及び変形処理を所定回数実行する処理とを含む。
 十分な数の断層画像を得られない場合において高精度の三次元形状データを生成できるようになる。
図1は、本実施の形態に係る形状データ生成装置の機能ブロック図である。 図2は、セグメント画像の一例を示す図である。 図3は、目標形状の三次元データを生成する処理の処理フローである。 図4は、目標形状を包含するバウンディングボックスの一例を示す図である。 図5は、マッピング処理の処理フローを示す図である。 図6は、マッピング処理の結果について説明するための図である。 図7は、境界設定処理の処理フローを示す図である。 図8は、境界設定処理の結果について説明するための図である。 図9は、補完処理の処理フローを示す図である。 図10は、補完処理について説明するための図である。 図11は、補完処理の処理フローを示す図である。 図12は、補完処理の結果について説明するための図である。 図13は、三次元データを生成する処理の処理フローを示す図である。 図14は、1次変形処理の処理フローを示す図である。 図15は、TPSWarpについて説明するための図である。 図16は、1次変形処理を左心室に適用した例を示す図である。 図17は、1次変形処理を右心室に適用した例を示す図である。 図18は、目標形状にターゲットランドマークを配置した場合における問題を説明するための図である。 図19は、2次変形処理の概要を説明するための図である。 図20は、2次変形処理の処理フローを示す図である。 図21は、ランドマーク設定処理の処理フローを示す図である。 図22は、境界点探索処理の処理フローを示す図である。 図23は、頂点vの位置と輝度値との関係について説明するための図である。 図24は、頂点vの位置と輝度値との関係について説明するための図である。 図25は、探索点が変形前形状を貫通するケースの一例を示す図である。 図26は、探索点が変形前形状を貫通するケースの一例を示す図である。 図27は、境界点の探索方法を説明するための図である。 図28は、2次変形後形状及び目標形状を示す図である。 図29は、本実施の形態の処理を実行しない場合に得られる目標形状の三次元データを示す図である。 図30は、本実施の形態の処理を実行しない場合に得られる最終的な三次元データを示す図である。 図31は、本実施の形態の処理を実行した場合に得られる最終的な三次元データを示す図である。 図32は、二次変形処理後の形状と目標形状とを重ねて表示した図である。 図33は、本実施の形態の方法を使用しない場合に得られる最終的な三次元データと使用した場合に得られる最終的な三次元データとを示す図である。 図34は、コンピュータの機能ブロック図である。
 本実施の形態に係る形状データ生成装置1の機能ブロック図を図1に示す。図1の例では、形状データ生成装置1は、標準形状データ格納部101と、1次変形処理部102と、画像データ格納部103と、1次変形データ格納部104と、第1ランドマークデータ格納部105と、設定部108及び境界点探索部109を含むランドマーク処理部106と、2次変形処理部107と、第2ランドマークデータ格納部110と、2次変形データ格納部111と、表示部112と、定義部1130、マッピング部1131、境界設定部1132及び補完部1133を含む生成部113と、目標形状データ格納部114と、変形後データ格納部115とを含む。
 生成部113は、画像データ格納部103に格納されているセグメント画像データから、目標形状の三次元形状データを生成し、目標形状データ格納部114に格納する。具体的には、定義部1130は、目標形状を包含するバウンディングボックスを定義する処理を実行する。マッピング部1131は、セグメント画像を包含するバウンディングボックスにおけるボクセルと目標形状を包含するバウンディングボックスにおけるボクセルとの対応付けを実行する。境界設定部1132は、心臓と心臓でない部分との境界に対して所定の輝度値(本実施の形態においては「2」)を設定する処理を実行する。補完部1133は、目標形状を包含するバウンディングボックスにおけるボクセルのうち輝度値が設定されていないボクセルに対して輝度値を設定する処理を実行する。
 1次変形処理部102は、標準形状データ格納部101に格納されているデータ及び目標形状データ格納部114に格納されているデータを用いて、後述する1次変形処理を行い、処理結果を1次変形データ格納部104及び第1ランドマークデータ格納部105に格納する。また、1次変形処理部102は、表示部112にランドマークを指定させるための画面の表示を指示する。ランドマーク処理部106における設定部108及び境界点探索部109は、目標形状データ格納部114に格納されているデータ、1次変形データ格納部104に格納されているデータ、変形後データ格納部115に格納されているデータ、第1ランドマークデータ格納部105に格納されているデータ及び第2ランドマークデータ格納部110に格納されているデータを用いて、後述するランドマーク設定処理及び境界点探索処理を実行し、処理結果を第2ランドマークデータ格納部110に格納する。2次変形処理部107は、目標形状データ格納部114に格納されているデータ、1次変形データ格納部104に格納されているデータ、変形後データ格納部115に格納されているデータ及び第2ランドマークデータ格納部110に格納されているデータを用いて処理を行い、処理結果を変形後データ格納部115又は2次変形データ格納部111に格納する。また、2次変形処理部107は、2次変形データ格納部111に格納されているデータの表示を表示部112に指示する。表示部112は、1次変形処理部102及び2次変形処理部107からの指示に応じて表示装置等にデータを表示する。
 標準形状データ格納部101には、心臓の標準的な形状(以下、標準形状と呼ぶ)のデータが格納されている。具体的には、形状の頂点の情報及び頂点の接続情報を含むSTL(Standard Triangulated Language)データが格納されている。但し、データのフォーマットはSTLデータのフォーマットに限られるわけではない。
 図2に、画像データ格納部103に格納されているセグメント画像データの一例を示す。図2には、4枚のセグメント画像データが示されている。セグメント画像データは、特定の患者の心臓のCT画像等に対して、境界の内部を所定の輝度値(以下、ラベル値と呼ぶ)で塗りつぶす処理を施すことにより得られる。セグメント画像データにおける各点には、三次元の座標が設定されている。本実施の形態においては、セグメント画像データを利用して、変形の目標となる形状である目標形状の三次元形状データを得るようにしている。
 次に、図3乃至図33を用いて、図1に示した形状データ生成装置1の動作について説明する。形状データ生成装置1は、標準形状を、目標形状に近付くように変形する処理を実行する。はじめに、図3乃至図12を用いて、セグメント画像データから目標形状の三次元形状データを生成する処理について説明する。
 生成部113における定義部1130は、画像データ格納部103に格納されているセグメント画像データを読み出す。そして、定義部1130は、目標形状を包含するバウンディングボックスを定義する(図3:ステップS1)。
 セグメント画像のスライス間隔が大きい場合、目標形状を包含するバウンディングボックスにおけるボクセルはz軸方向に長くなってしまう。ボクセルとは3次元画像データにおいて、2次元画像データの矩形画像の要素であるピクセル(pixel)に対応する格子画像の要素である。そこで、目標形状を包含するバウンディングボックスにおけるボクセルを立方体にするため、以下のようにする。
(1)目標形状を包含するバウンディングボックスの下限の座標=セグメント画像を包含するバウンディングボックスの下限の座標
(2)目標形状を包含するバウンディングボックスの上限の座標=セグメント画像を包含するバウンディングボックスの上限の座標
(3)目標形状を包含するバウンディングボックスのx軸方向における格子点の数=1+(バウンディングボックスの上限のx座標-バウンディングボックスの下限のx座標)/セグメント画像を包含するバウンディングボックスのx軸方向又はy軸方向のボクセルサイズ(なお、y軸方向及びz軸方向の格子点の数も同様に求めることができる。)
 但し、このように設定すると、上限の位置がずれることがあるため、以下のように上限を設定し直す。
(4)目標形状を包含するバウンディングボックスの上限のx座標=セグメント画像を包含するバウンディングボックスの下限のx座標+セグメント画像を包含するバウンディングボックスのx軸方向又はy軸方向のボクセルサイズ×(x軸方向における格子点の数-1)(なお、y座標及びz座標も同様に求めることができる。)
 ここで、セグメント画像を包含するバウンディングボックスは、下限を示す列ベクトルBmin=(xmin,ymin,zmin及び上限を示す列ベクトルBmax=(xmax,ymax,zmaxにより定まるとする。xminはx座標の最小値であり、xmaxはx座標の最大値である。yminはy座標の最小値であり、ymaxはy座標の最大値である。zminはz座標の最小値であり、zmaxはz座標の最大値である。
 ステップS1の処理により、図4に示すようなバウンディングボックスが定義される。バウンディングボックスの範囲は、下限の座標及び上限の座標によって定まる。バウンディングボックスにおけるボクセルの各々は、x軸方向の長さがv’、y軸方向の長さがv’、z軸方向の長さがv’である。但し、v’=v’=v’である。各軸方向における格子点の数は、その軸方向におけるボクセルの数+1である。なお、定義されたバウンディングボックスのデータは目標形状データ格納部114に格納される。なお、バウンディングボックスにおける各ボクセルの輝度値は、初期値として0が設定されているとする。
 図3の説明に戻り、マッピング部1131は、マッピング処理を実行する(ステップS3)。マッピング処理については、図5及び図6を用いて説明する。
 マッピング部1131は、セグメント画像における位置u(x,y,z)のz座標をz=0と設定する(図5:S11)。ここで、u∈[0,n]×[0,n]×[0,n]⊂Iとする。nはセグメント画像を包含するバウンディングボックスにおけるx軸方向のボクセル数であり、nはy軸方向のボクセル数であり、nはz軸方向のボクセル数である。I(x,y,z)は、セグメント画像を包含するバウンディングボックスにおけるu(x,y,z)の輝度値とする。
 また、以下では、セグメント画像を包含するバウンディングボックスにおけるx軸方向のボクセル数をnとし、y軸方向のボクセル数をnとし、z軸方向のボクセル数をnとするとz方向の格子点の数はn+1となる。ボクセルのサイズは、x軸方向がv、y軸方向がv、z軸方向がvとする。
 図5の説明に戻り、マッピング部1131は、uのy座標をy=0と設定する(ステップS13)。
 マッピング部1131は、uのx座標をx=0と設定する(ステップS15)。
 マッピング部1131は、I(u)==ラベル値であるか判断する(ステップS17)。すなわち、uが境界の内部(すなわち、心臓の内部)にあたる部分のボクセルであるか判断する。I(u)==ラベル値ではない場合(ステップS17:Noルート)、ステップS23の処理に移行する。I(u)==ラベル値である場合(ステップS17:Yesルート)、マッピング部1131は、目標形状を包含するバウンディングボックスにおける位置u’をu’=M’-1・(M・u)と設定する(ステップS19)。また、マッピング部1131は、位置u’における輝度値I’(u’)をI’(u’)=1と設定する(ステップS21)。ここで、u’∈Iである。また、M及びM’を以下のように定める。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 なお、ステップS21の処理によって、目標形状データ格納部114に格納されている位置u’の輝度値が0から1に更新される。
 マッピング部1131は、x≧nであるか判断する(ステップS23)。x≧nではない場合(ステップS23:Noルート)、マッピング部1131は、u(x,y,z)におけるx座標を1インクリメントし(ステップS25)、ステップS17の処理に戻る。
 x≧nである場合(ステップS23:Yesルート)、マッピング部1131は、y≧nであるか判断する(ステップS27)。y≧nではない場合(ステップS27:Noルート)、マッピング部1131は、u(x,y,z)におけるy座標を1インクリメントし(ステップS29)、ステップS15の処理に戻る。
 y≧nである場合(ステップS27:Yesルート)、マッピング部1131は、z≧nであるか判断する(ステップS31)。z≧nではない場合(ステップS31:Noルート)、マッピング部1131は、u(x,y,z)におけるz座標を1インクリメントし(ステップS33)、ステップS13の処理に戻る。一方、z≧nである場合(ステップS31:Yesルート)、元の処理に戻る。
 以上のような処理を実行すると、目標形状において心臓内部及び心臓と心臓ではない部分との境界の輝度値が1になり、心臓ではない部分の輝度値が0になる。図6の上段は、この段階における目標形状の三次元形状データであり、図6の下段は、生成された三次元形状データの一部をz軸方向から観察した図である。この段階においては、z軸方向には、セグメント画像データが存在する部分にしか輝度値が付与されていない。
 図3の説明に戻り、境界設定部1132は、境界設定処理を実行する(ステップS5)。境界設定処理については、図7及び図8を用いて説明する。
 まず、境界設定部1132は、目標形状上の位置u’における輝度値I’(x,y,z)のz座標をz=0と設定する(図7:S41)。
 境界設定部1132は、I’のy座標をy=0と設定する(ステップS43)。
 境界設定部1132は、I’のx座標をx=0と設定する(ステップS45)。
 境界設定部1132は、|I’(x,y,z)-I’(x-1,y,z)|+|I’(x,y,z)-I’(x+1,y,z)|+|I’(x,y,z)-I’(x,y-1,z)|+|I’(x,y,z)-I’(x1,y+1,z)|>0を満たすか判断する(ステップS47)。ステップS47においては、u’(x,y,z)における輝度値とその周りの点における輝度値との差があるか否かを判断している。
 |I’(x,y,z)-I’(x-1,y,z)|+|I’(x,y,z)-I’(x+1,y,z)|+|I’(x,y,z)-I’(x,y-1,z)|+|I’(x,y,z)-I’(x1,y+1,z)|>0を満たさない場合(ステップS47:Noルート)、u’は心臓と心臓ではない部分との境界ではないため、ステップS53の処理に移行する。
 |I’(x,y,z)-I’(x-1,y,z)|+|I’(x,y,z)-I’(x+1,y,z)|+|I’(x,y,z)-I’(x,y-1,z)|+|I’(x,y,z)-I’(x1,y+1,z)|>0を満たす場合(ステップS47:Yesルート)、境界設定部1132は、I’(x,y,z)==1であるか判断する(ステップS49)。
 I’(x,y,z)==1ではない場合(ステップS49:Noルート)、u’は心臓と心臓ではない部分との境界ではないので、ステップS53の処理に移行する。一方、I’(x,y,z)==1である場合(ステップS49:Yesルート)、u’は心臓と心臓ではない部分との境界であるので、境界設定部1132は、I’(x,y,z)=2と設定する(ステップS51)。ステップS51の処理によって、目標形状データ格納部114に格納されている位置u’の輝度値が1から2に更新される。
 境界設定部1132は、x≧nであるか判断する(ステップS53)。x≧nではない場合(ステップS53:Noルート)、境界設定部1132は、u’(x,y,z)におけるx座標を1インクリメントし(ステップS55)、ステップS47の処理に戻る。
 x≧nである場合(ステップS53:Yesルート)、境界設定部1132は、y≧nであるか判断する(ステップS57)。y≧nではない場合(ステップS57:Noルート)、境界設定部1132は、u’(x,y,z)におけるy座標を1インクリメントし(ステップS59)、ステップS45の処理に戻る。
 y≧nである場合(ステップS57:Yesルート)、境界設定部1132は、z≧nであるか判断する(ステップS61)。z≧nではない場合(ステップS61:Noルート)、境界設定部1132は、u(x,y,z)におけるz座標を1インクリメントし(ステップS63)、ステップS43の処理に戻る。一方、z≧nである場合(ステップS61:Yesルート)、元の処理に戻る。
 以上のような処理を実行すると、目標形状において心臓内部の輝度値が1になり、心臓と心臓ではない部分との境界の輝度値が2になり、心臓ではない部分は輝度値が0になる。図8の上段は、この段階における目標形状の三次元形状データであり、図8の下段は、生成された三次元形状データの一部をz軸方向から観察した図である。なお、境界部分をわかりやすくするため、図8の上段には境界部分しか示していない。また、この段階においては、z軸方向には、セグメント画像データが存在する部分にしか輝度値が付与されていない。
 図3の説明に戻り、補完部1133は、補完処理を実行する(ステップS7)。補完処理については、図9乃至図12を用いて説明する。
 まず、補完部1133は、セグメント画像の枚数を計数するための変数jをj=1と設定する(図9:ステップS71)。
 補完部1133は、List_i’[j]=List_i[j](v/v’)と設定する(ステップS73)。ここで、List_i[j]はj番目のセグメント画像データのz座標である。よって、List_i’[j]は、j番目のセグメント画像データのz座標に対応する、目標形状を包含するバウンディングボックスにおけるz座標である。図10の上段及び中段に示すように、z座標がList_i[j+1]であるセグメント画像データは、z座標がList_i’[j+1]である目標形状データに対応付けられる。また、z座標がList_i[j]であるセグメント画像データは、z座標がList_i’[j]である目標形状のデータに対応付けられる。
 補完部1133は、j≧n_Listであるか判断する(ステップS75)。n_Listは、実際にユーザによって作成されたセグメント画像の枚数である。j≧n_Listではない場合(ステップS75:Noルート)、次のセグメント画像データについて処理するため、補完部1133は、j=j+1と設定し(ステップS77)、ステップS73の処理に戻る。
 一方、j≧n_Listである場合(ステップS75:Yesルート)、補完部1133は、セグメント画像を計数するための変数jをj=1と設定する(ステップS79)。
 補完部1133は、n=List_i’[j+1]-List_i’[j]と設定する(ステップS81)。nは、z座標List_i’[j+1]とz座標List_i’[j]との間において、輝度値が設定されていないz座標の数である。処理は端子Aを介して図11のステップS83に移行する。
 図11の説明に移行し、補完部1133は、z座標の数を計数するための変数kをk=1と設定する(ステップS83)。
 補完部1133は、I’(x,y,List_i’[j])>0であるか判断する(ステップS85)。I’(x,y,List_i’[j])>0である場合(ステップS85:Yesルート)、補完部1133は、I’(x,y,List_i’[j]+k)=1と設定する(ステップS87)。ステップS87の処理によって、目標形状データ格納部114に格納されている位置u’の輝度値が0から1に更新される。一方、I’(x,y,List_i’[j])>0ではない場合(ステップS85:Noルート)、I’(x,y,List_i’[j]+k)=0と設定する(ステップS89)。ステップS89の処理においては、目標形状データ格納部114に格納されている位置u’の輝度値を0のままとする。
 補完部1133は、k>(n/2)であるか判断する(ステップS91)。k>(n/2)ではない場合(ステップS91:Noルート)、補完部1133は、k=k+1と設定し(ステップS93)、ステップS85の処理に戻る。
 ステップS83乃至S93の処理においては、z座標List_i’[j]+kが、z座標List_i’[j+1])よりもz座標List_i’[j]に近いため、I’(x,y,List_i’[j])と同じ輝度値を設定している。例えば図10の下段に示すように、List_i’[j]+k=zである場合には、zはz座標List_i’[j+1]よりもz座標List_i’[j]に近いため、I’(x,y,List_i’[j]+k)=I’(x,y,List_i’[j])とする。但し、たとえI’(x,y,List_i’[j])=2であったとしても、I’(x,y,List_i’[j]+k)=2ではなくI’(x,y,List_i’[j]+k)=1と設定する。ユーザによって設定された境界に対してのみ輝度値2を付与するためである。
 図11の説明に戻り、k>(n/2)である場合(ステップS91:Yesルート)、補完部1133は、z座標の数を計数するための変数kをk=(n/2)+1と設定する(ステップS95)。
 補完部1133は、I’(x,y,List_i’[j+1])>0であるか判断する(ステップS97)。I’(x,y,List_i’[j+1])>0である場合(ステップS97:Yesルート)、補完部1133は、I’(x,y,List_i’[j]+k)=1と設定する(ステップS99)。ステップS99の処理によって、目標形状データ格納部114に格納されている位置u’の輝度値が0から1に更新される。一方、I’(x,y,List_i’[j])>0ではない場合(ステップS97:Noルート)、I’(x,y,List_i’[j]+k)=0と設定する(ステップS101)。ステップS101の処理においては、目標形状データ格納部114に格納されている位置u’の輝度値を0のままとする。
 補完部1133は、k>nであるか判断する(ステップS103)。k>nではない場合(ステップS103:Noルート)、補完部1133は、k=k+1と設定し(ステップS105)、ステップS97の処理に戻る。
 ステップS95乃至S103の処理においては、z座標List_i’[j]+kが、z座標List_i’[j]よりもz座標List_i’[j+1]に近いため、I’(x,y,List_i’[j+1])と同じ輝度値を設定している。例えば図10の下段に示すように、List_i’[j]+k=zである場合には、zはz座標List_i’[j]よりもz座標List_i’[j+1]に近いため、I’(x,y,List_i’[j]+k)=I’(x,y,List_i’[j+1])とする。但し、たとえI’(x,y,List_i’[j+1])=2であったとしても、I’(x,y,List_i’[j]+k)=2ではなくI’(x,y,List_i’[j]+k)=1と設定する。ユーザによって設定された境界に対してのみ輝度値2を付与するためである。
 図11の説明に戻り、k>nである場合(ステップS103:Yesルート)、補完部1133は、j>n_List-1であるか判断する(ステップS107)。j>n_List-1ではない場合(ステップS107:Noルート)、輝度値が未設定の格子点が存在するので、補完部1133は、j=j+1と設定する(ステップS109)。処理は端子Bを介して図9のステップS81に戻る。一方、j>n_List-1である場合(ステップS107:Yesルート)、元の処理に戻る。
 図3の説明に戻り、補完処理(ステップS7)が終了すると、処理を終了する。
 以上のように、目標形状において心臓と心臓でない部分との境界を識別できるようにしておけば(すなわち、輝度値2を設定しておけば)、目標形状の境界と標準形状の境界とが重なるように変形することができるようになる。これにより、精度が高い三次元形状データを生成できるようになる。なお、ここまでの処理によって、例えば図12に示すような三次元形状データが生成される。この三次元形状データにおいては、ボクセルの形状が立方体になっている。
 次に、図13乃至図33を用いて、標準形状が目標形状に近付くように変形をする処理について説明する。
 まず、1次変形処理部102は、1次変形処理を実行する(図13:ステップS111)。1次変形処理については、図14乃至図17を用いて説明する。なお、1次変形処理においては、標準形状と目標形状との大まかな位置合わせが行われる。
 まず、1次変形処理部102は、標準形状データ格納部101から標準形状のデータを読み出すと共に、目標形状データ格納部114から目標形状のデータを読み出す。そして、1次変形処理部102は、標準形状のデータ及び目標形状データを含むランドマーク設定画面の表示を表示部112に指示する。表示部112は、1次変形処理部102からの指示に応じ、ランドマーク設定画面を表示装置に表示する(図14:ステップS112)。
 ユーザは、表示装置に表示されたランドマーク設定画面を見て、標準形状と目標形状との大まかな位置合わせを行う。具体的には、(1)標準形状における所定の部分にソースランドマークを設定する。(2)目標形状における、ソースランドマークを配置した位置に対応する部分にターゲットランドマークを設定する。なお、所定の部分とは、心臓における特徴的な部分であり、例えば4つの弁輪部、心尖部、右心室流体面の底部、心筋境界(例えば右心室と左心室との境界)、4本の肺静脈の端面、上大静脈及び下大静脈である。
 そして、1次変形処理部102は、ソースランドマーク及びターゲットランドマークの設定を受け付け、ソースランドマーク及びターゲットランドマークのデータ(例えば三次元座標)を第1ランドマークデータ格納部105に格納する(ステップS113)。
 そして、1次変形処理部102は、第1ランドマークデータ格納部105に格納されているランドマークのデータに従い、後述するTPSWarp(Thin Plate Spline Warp)等の手法により標準形状を変形する処理を実行する(ステップS114)。そして、1次変形処理部102は、処理結果である一次変形後形状のデータを1次変形データ格納部104に格納する。そして元の処理に戻る。
 ここで、TPSWarpについて説明する。図15に示すように、TPSWarpにおいては、ソースランドマーク及び当該ソースランドマークに対応するターゲットランドマークが与えられると、ソースランドマークがターゲットランドマークに重なるように変形を行う。なお、TPSWarpの詳細については、例えば「Fred L. Bookstein "Principal Warps: Thin-Plate Splines and the Decomposition of Deformation",IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE. VOL. 11 NO. 6, PP. 567-585, JUNE 1989」を参照のこと。
 なお、一次変形データ格納部104に格納されているデータのフォーマットは、標準形状データ格納部101に格納されているデータのフォーマットと同様である。また、一次変形処理によって移動したソースランドマーク(すなわち、1次変形処理におけるターゲットランドマークと重なる点)は、2次変形処理においては固定点として取り扱われる。すなわち、一次変形処理によって移動したソースランドマークは、2次変形処理においては移動させず、位置をずらさないようにする。
 図16に、上で述べた1次変形処理を左心室に適用した例を示す。上段左の図はソースランドマーク(丸印)が付された標準形状であり、上段右の図はターゲットランドマーク(丸印)が付された目標形状である。この標準形状及び目標形状を用いてTPSWarpを実行した結果である1次変形後形状が、下段左側の図である。下段右側の図は、目標形状を異なる視点から観察した図である。
 また、図17に、上で述べた1次変形処理を右心室に適用した例を示す。上段左の図はソースランドマーク(丸印)が付された標準形状であり、上段右の図はターゲットランドマーク(丸印)が付された目標形状である。この標準形状及び目標形状を用いてTPSWarpを実行した結果である1次変形後形状を、下段の図における網線60で示している。下段の図においては、目標形状と網線で示された1次変形後形状とを重ねて示し、比較を行いやすいようにしている。
 以上のように、ユーザから受け付けたランドマークの設定に従い大まかな位置合わせを予め行うことにより、後に行う詳細な変形をより効果的に行うことができるようになる。
 図13の説明に戻り、2次変形処理部107は、2次変形処理を実行する(ステップS115)。2次変形処理については、図18乃至図27を用いて説明する。
 まず、2次変形処理の概要について説明する。TPSWarpによる変形処理を行う場合、一般的に心臓が丸みを帯びた形状であることを考慮すれば、ソースランドマークの法線上にターゲットランドマークを設定することが有効であると考えられる。例えば図18の上段に示すように、ソースランドマークを1次変形後形状に配置し、ソースランドマークの法線と目標形状との交点にターゲットランドマークを配置し、TPSWarpによる変形処理を行うことが考えられる。しかしながら、図18の下段に示すように、法線が交差するような状況が発生すると、生成された形状には、目標形状とは異なる不自然な形状が生じてしまうことがある。
 そこで、本実施の形態における2次変形処理においては、図19に示すように、1次変形後の形状に配置されたソースランドマークと上記の交点とを結ぶ線分を内分する点に、ターゲットランドマークを配置し、TPSWarpによる変形処理を行う。さらに、このような変形処理を繰り返し行うことにより、徐々に目標形状に近付けていく。これにより、生成された形状に不自然な形状が生じにくくなり、また法線の方向が本来目標とすべき部分に向きやすくなる。
 図20乃至図27を用いて、2次変形処理の詳細を説明する。まず、2次変形処理部107は、変形回数をカウントするための変数tの初期値をt=0と設定する(図20:ステップS121)。次に、2次変形処理部107は、変数tをt=t+1と増分することにより変形回数をカウントするとともに、また変数mの初期値をm=0と設定する(ステップS123)。mは、処理した頂点数をカウントするための変数である。
 そして、2次変形処理部107は、変数mをm=m+1と増分し(ステップS125)、ランドマーク処理部106にランドマーク設定処理の実行を指示する。すると、ランドマーク処理部106は、ランドマーク設定処理を実行する(ステップS127)。ランドマーク設定処理については、図21乃至図27を用いて説明する。
 まず、ランドマーク処理部106における設定部108は、変形後データ格納部115に格納されているデータ又は1次変形データ格納部104に格納されているデータから頂点vをランダムに1つ特定する(図21:ステップS141)。ステップS141においては、変形後データ格納部115にデータが格納されている場合(すなわち、2次変形処理において変形処理が少なくとも1度実行されている場合)には、変形後データ格納部115から頂点vを1つ特定する。変形後データ格納部115にデータが格納されていない場合には、1次変形データ格納部104に格納されているデータから頂点vを1つ特定する。
 設定部108は、1次変形処理によって移動したソースランドマーク(すなわち固定点)のデータ及び第2ランドマークデータ格納部110に格納されているソースランドマークのデータを用いて、頂点vと各ソースランドマークとのユークリッド距離をそれぞれ算出する。なお、第2ランドマークデータ格納部110にソースランドマーク及びターゲットランドマークのデータが格納されていない場合もある。このような場合には、1次変形処理によって移動したソースランドマークのデータのみを用いる。そして、設定部108は、算出された頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが閾値D以下であるか判断する(ステップS143)。ステップS143は、頂点vを2次変形処理前の形状に均等に配置するために行われる処理である。ステップS143においては、以下の式を満たすか否かを判断する。
Figure JPOXMLDOC01-appb-M000003
 ここで、d(v、vi)は、点vと点viとの間のユークリッド距離を表す。viは、固定点(すなわち1次変形処理によって移動したソースランドマーク)又はソースランドマーク(第2ランドマークデータ格納部110にデータが格納されている頂点)である。
 頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが閾値D以下であると判断された場合(ステップS143:Yesルート)、元の処理に戻る。一方、頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが閾値Dより大きいと判断された場合(ステップS143:Noルート)、設定部108は、境界点探索部109に境界点探索処理の実行を指示する。すると、境界点探索部109は、境界点探索処理を実行する(ステップS145)。境界点探索処理については、図22乃至図27を用いて説明する。
 まず、境界点探索部109は、単位法線ベクトルn(v)を算出する(図22:ステップS161)。ここで、n(v)は、頂点v(∈H)での面Hに対する単位法線ベクトルである。単位法線ベクトルとは、長さが1の法線ベクトルをいう。なお、H(⊂V)は一次変形データ格納部104に格納されているデータ又は変形後データ格納部115に格納されているデータにより特定される形状面であり、V(⊂R3)は目標形状の三次元形状データにより特定されるボクセル空間である。また、R3は、実数空間を表す。
 境界点探索部109は、頂点vが境界上に有るか判断する(ステップS163)。ステップS163においては、以下の式を満たすか否かを判断する。
Figure JPOXMLDOC01-appb-M000004
 ここで、ボクセル空間Vから実数空間Rへの写像f:V→Rは以下のように定義される。この写像fにより、ボクセル空間Vに含まれる目標形状の三次元形状データの要素が実数空間Rに対応付けられる。
Figure JPOXMLDOC01-appb-M000005
 ここで、Iは点p(∈V)を含むボクセルの輝度値である。
 頂点vが境界上に有る場合(ステップS163:Yesルート)、処理は端子Cを介して図21のステップS150に移行する。そして、設定部108は、頂点vをターゲットランドマークに設定する(ステップS150)。また、設定部108は、頂点vをソースランドマークに設定する(ステップS151)。さらに、設定部108は、設定されたソースランドマークとターゲットランドマークのデータとのペアを第2ランドマークデータ格納部110に追加する。
 このようにすれば、頂点vが境界部分に有る場合には、頂点vは移動しなくなる。これによって、心臓と心臓でない部分との境界を高精度で再現できるようになる。
 一方、頂点vが境界上に無い場合(ステップS163:Noルート)、頂点vが目標形状の内側に存在するか判断する(ステップS165)。ステップS165においては、以下の式を満たすか否かを判断する。
Figure JPOXMLDOC01-appb-M000006
 図23及び図24を用いて、ステップS165の処理について説明する。図23に示すように、頂点vに対応するボクセル空間の輝度値f(v)が1である場合には、頂点vが目標形状の内側に存在する。そこで、後述するステップS177の処理において係数kを1ずつインクリメントするように設定することで、目標形状の内から外へ向かう方向に境界点を探索する。一方、図24に示すように、頂点vに対応するボクセル空間の輝度値f(v)が0になる場合には、頂点vが目標形状の外側に存在する。そこで、後述するステップS191の処理において係数kを1ずつデクリメントするように設定することで、目標形状の外から内へ向かう方向に境界点を探索する。
 図22の説明に戻り、頂点vが目標形状の内側に存在すると判断された場合(ステップS165:Yesルート)、境界点探索部109は、係数kをk=0と設定する(ステップS167)。また、境界点探索部109は、境界点であるかどうかを判定する点(以下、探索点と呼ぶ)を以下のように設定する(ステップS169)。
Figure JPOXMLDOC01-appb-M000007
 そして、境界点探索部109は、目標形状の三次元形状データにより特定されるボクセル空間内に探索点が存在するか判断する(ステップS171)。ステップS171においては、以下の式を満たすか判断する。
Figure JPOXMLDOC01-appb-M000008
 目標形状の三次元形状データにより特定されるボクセル空間内に探索点が存在しないと判断された場合(ステップS171:Noルート)、元の処理に戻る。探索点がボクセル空間外に達したため、頂点vについての法線と目標形状とが交点を有さないと判断できるためである。
 一方、目標形状の三次元形状データにより特定されるボクセル空間内に探索点が存在すると判断された場合(ステップS171:Yesルート)、境界点探索部109は、探索点が変形前形状を貫通したか判断する(ステップS173)。ステップS173においては、以下の式を満たすか判断する。
Figure JPOXMLDOC01-appb-M000009
 ここで、写像g:V→R3は以下のように定義される。この写像gにより、ボクセル空間Vに含まれるセグメント画像データの要素が実数空間R3に対応付けられる。
Figure JPOXMLDOC01-appb-M000010
 ここで、写像gの制限g|はn(v)になることに注意。
 図25及び図26を用いて、ステップS173の処理について説明する。探索点が境界点に達する前に変形前形状を貫通するような場合には、境界点の探索を適切に行えていない可能性がある。探索点が境界点に達する前に変形前形状を貫通するような場合とは、例えば、図25に示したような場合と、図26に示したような場合とが考えられる。すなわち、目標形状に対する変形前形状の変形の度合いにより探索方向に境界点が存在しない場合が考えられる。いずれのケースにおいても、境界点を検出できないか、又は適切でない位置に境界点を検出してしまう可能性がある。そこで、ステップS173においては、頂点vについての法線ベクトルと探索点についての法線ベクトルとの内積を算出し、内積が0より小さい(すなわち、法線ベクトルのなす角が90度より大きい)場合に、探索点が変形前形状を貫通したと判断している。
 図22の説明に戻り、探索点が変形前形状を貫通したと判断された場合(ステップS173:Yesルート)、適切な境界点を検出できないので、元の処理に戻る。一方、探索点が変形前形状を貫通していないと判断された場合(ステップS173:Noルート)、境界点探索部109は、探索点に対応するボクセル空間の輝度値が2であるか判断する(ステップS175)。
 探索点の輝度値が2ではない場合(ステップS175:Noルート)、境界点探索部109は、係数kをk=k+1とインクリメントし(ステップS177)、ステップS169の処理に戻る。
 このようにすると、図27に示すように、頂点vから法線方向へ1ボクセル分ずつ探索点を移動させつつ、探索点が境界の部分に該当するか否かを判定することができる。
 一方、輝度値が2である場合(ステップS175:Yesルート)、境界点探索部109は、探索点を境界点に設定する(ステップS179)。ステップS179においては、探索点のデータ(例えばkの値)をメインメモリ等の記憶装置に格納しておく。そして元の処理に戻る。
 これに対し、ステップS165において、頂点vが目標形状の外側に存在すると判断された場合(ステップS165:Noルート)に行われる処理について説明する。この場合の処理は、上で述べた処理とは探索方向が異なるだけであるから、基本的な処理の内容は上で述べたとおりである。すなわち、ステップS181の処理はステップS167の処理と同様であり、ステップS183の処理はステップS169の処理と同様であり、ステップS185の処理はステップS171の処理と同様であり、ステップS187の処理はステップS173の処理と同様であり、ステップS189の処理はステップS175の処理と同様である。従って、ステップS181乃至S189の処理の詳細な説明は省略する。
 そして、ステップS191において、境界点探索部109は、係数kをk=k-1とデクリメントし(ステップS191)、ステップS183の処理に戻る。これにより、探索点が、目標形状の外側から内側へ向かう法線方向に1ボクセル分移動される。また、ステップS193の処理は、ステップS179の処理と同様である。
 以上のような処理を実行することにより、頂点vについての法線と目標形状との交点のうち、輝度値が2である交点を境界点として検出することができるようになる。
 図21の説明に戻り、設定部108は、境界点探索部109により境界点が検出されたか判断する(ステップS147)。境界点が検出されていないと判断された場合(ステップS147:Noルート)、次の頂点について処理するため、元の処理に戻る。
 一方、境界点が検出されたと判断された場合(ステップS147:Yesルート)、設定部108は、頂点vと境界点v+kn(v)とを結ぶ線分の内分点をターゲットランドマークに設定する(ステップS149)。具体的には、ターゲットランドマークは以下のような点に設定される。
Figure JPOXMLDOC01-appb-M000011
 そして、設定部108は、頂点vをソースランドマークに設定する(ステップS151)。なお、設定部108は、設定されたソースランドマークとターゲットランドマークのデータとのペアを第2ランドマークデータ格納部110に追加する。そして元の処理に戻る。
 以上のような処理を実行することにより、変形前の形状における頂点と目標形状における境界点とを結ぶ線分の内分点を、ターゲットランドマークに設定することができるようになる。そして、セグメント画像データにおいて境界であった部分のみをターゲットランドマークに設定するので、セグメント画像データにおける境界を再現することができ且つその他の部分は標準形状に近い典型的な形状にすることができる。結果として、精度が高い三次元形状データになる。
 図20の説明に戻り、2次変形処理部107は、変数mについてm<Nであるか判断する(ステップS129)。ここで、Nは一次変形後形状(又は一次変形後形状を変形した形状)における頂点の総数である。m<Nであると判断された場合(ステップS129:Yesルート)、次の頂点について処理するため、ステップS125の処理に戻る。
 一方、変数mについてm<Nではないと判断された場合(ステップ129:Noルート)、2次変形処理部107は、第2ランドマークデータ格納部110に格納されているソースランドマーク及びターゲットランドマークのデータに従い、TPSWarpによる変形処理を実行し、変形後の形状のデータを変形後データ格納部115に格納する(ステップS131)。なお、前回の変形処理の結果が変形後データ格納部115に格納されている場合には、そのデータに上書きをする。
 また、上で述べたように、ステップS131における変形処理では、1次変形処理において移動させたソースランドマークは固定点として取り扱うため、移動させない。そして、2次変形処理部107は、第2ランドマークデータ格納部110に格納されているソースランドマーク及びターゲットランドマークのデータを消去する。
 2次変形処理部107は、変数tについてt<Tであるか判断する(ステップS133)。t<Tであると判断された場合(ステップS133:Yesルート)、さらに変形処理を行うため、ステップS123の処理に戻る。なお、Tは総変形回数であり、予め管理者等により設定される(例えばT=500)。
 一方、変数tについてt<Tであると判断されなかった場合(ステップS133:Noルート)、T回の変形が終了したため、2次変形処理後の形状のデータを2次変形データ格納部111に格納し、元の処理に戻る。
 以上のような処理を実行することにより、1次変形後の形状が目標形状に近付き、精度の高い3次元形状データを得ることができるようになる。また、このような変形方法であれば、処理時間が比較的短くて済むようになる。
 図13の説明に戻り、2次変形処理が実行されると、表示部112は、2次変形データ格納部111に格納されているデータを表示装置等に表示する(ステップS117)。そして処理を終了する。
 図28に、表示装置等に表示されるデータの一例を示す。図28の例では、目標形状と、網線で示された2次変形後形状とが表示されている。左側の図は、変形部分の全体を示す図であり、右側の図は、変形部分の一部を拡大した図である。
 なお、セグメント画像の枚数が少なく、スライス間隔が大きい場合に、本実施の形態の処理を実行しないと、図29に示すような目標形状の三次元形状データが生成される。この三次元形状データは、ボクセルがz軸方向に細長い形状になっている。このような目標形状の三次元形状データを用いて変形処理を実行すると、生成される三次元形状データは図30に示すような形状となる。すなわち、実際の心臓には存在しない凹凸が生じる。
 これに対して、セグメント画像の枚数が少なく、スライス間隔が大きい場合であっても、本実施の形態の処理を実行すれば、図31に示すように、凹凸が無い滑らかな形状の三次元形状データを得ることができる。
 図32は、図31に示した二次変形処理後の形状と、図12に示した目標形状とを重ねて表示した図である。目標形状におけるボクセルのうち、輝度値2が割り当てられているボクセル(すなわち、セグメント画像データにおいて境界に該当する部分のボクセル)は、二次変形処理後の形状の境界と重なるようになっている。
 図33は、本実施の形態の方法を使用しない場合(すなわち、ステップS1乃至S7の処理を実行しない場合)に得られる三次元形状データと、本実施の形態の方法を使用した場合に得られる三次元形状データとを並べて示した図である。図33においては、左から右に向かってスライス間隔が大きく(すなわち、セグメント画像の枚数が少なく)なっている。本実施の形態の方法を使用しない場合には、スライス間隔が大きくなるほど、実際に心臓には存在しない凹凸が生じている。一方、本実施の形態の方法を使用した場合には、スライス間隔が大きくなっても、凹凸が無い滑らかな形状のままである。
 以上本技術の一実施の形態を説明したが、本技術はこれに限定されるものではない。例えば、上で説明した形状データ生成装置1の機能ブロック図は必ずしも実際のプログラムモジュール構成に対応するものではない。
 また、上で説明した処理フローは、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。
 なお、上で述べた例では、ランドマーク設定画面においてセグメント画像データを表示してターゲットランドマークの設定を行わせるようにしている。しかし、例えばCT画像等の断層画像を表示してターゲットランドマークの設定を行わせるようにしてもよい。
 また、上で述べたような処理は心臓だけに適用可能なわけではなく、他の物体に適用することも可能である。
 なお、上で述べた形状データ生成装置1は、コンピュータ装置であって、図34に示すように、メモリ2501とCPU(Central Processing Unit)2503とハードディスク・ドライブ(HDD:Hard Disk Drive)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
 以上述べた本実施の形態をまとめると以下のようになる。
 本実施の形態に係る形状データ生成方法は、(A)物体の断層画像から、変形目標の形状である目標形状のデータを生成する生成処理と、(B)物体の標準的な形状であり且つ変形対象となる形状である対象形状の頂点のうち、当該頂点についての法線が目標形状のうち断層画像において物体と物体ではない部分との境界に該当する部分と交点を有する第1の頂点を特定すると共に、第1の頂点と交点との内分点を第2の頂点に設定する設定処理と、(C)第1の頂点を第2の頂点に重ねるように対象形状を変形し、変形後の形状を対象形状に設定する変形処理と(D)設定処理及び変形処理を所定回数実行する処理とを含む。
 このようにすれば、断層画像における境界に合うように対象形状を変形できると共に、その他の部分については物体の標準的な形状に近くなる。また、徐々に変形を行っているので変形後の形状に不自然な形状が生じにくい。結果として、十分な数の断層画像を得られない場合であっても高精度の形状データを得ることができるようになる。
 また、上で述べた生成処理において、(a1)目標形状のうち断層画像において物体と物体ではない部分との境界に該当する部分に対して所定の輝度値を付与するようにしてもよい。このようにすれば、断層画像において物体と物体ではない部分との境界を判別できるようになる。
 また、上で述べた生成処理において、(a2)断層画像を包含するボクセル空間におけるボクセルの輝度値を、目標形状を包含するボクセル空間におけるボクセルの輝度値にマッピングし、(a3)目標形状を包含するボクセル空間におけるボクセルのうち輝度値が設定されていないボクセルに対して、当該ボクセルに最も近く且つ輝度値が設定されているボクセルの輝度値を割り当てるようにしてもよい。このようにすれば、輝度値が設定されていないボクセルに対して妥当な輝度値を割り当てられるので、目標形状は妥当な形状になる。
 また、上で述べた第2の頂点は、第1の頂点についての単位法線ベクトルに、変形処理によって変形した回数を所定回数で除した値を乗じたベクトルによって特定される点であってもよい。このようにすれば、例えば重なりが生じる等、不自然な形状にならないように対象形状を徐々に変形することができるようになる。
 また、上で述べた設定処理において、(b1)着目した頂点を当該着目した頂点についての法線の方向へ第1の距離移動させ、移動先の点が断層画像を包含するボクセル空間に含まれるか否かを判断する判断処理を実行し、(b2)移動先の点が断層画像を包含するボクセル空間に含まれると判断された場合、着目した頂点についての法線ベクトルと移動先の点についての法線ベクトルとの内積に基づき、移動先の点が対象形状を貫通したか判断し、(b3)移動先の点が対象形状を貫通していないと判断された場合、移動先の点における輝度値が、所定の輝度値であるか判断し、(b4)所定の輝度値であると判断された場合、着目した頂点が第1の頂点であると判定し、(b5)移動先の点が断層画像を包含するボクセル空間に含まれないと判断された場合又は移動先の点が対象形状を貫通したと判断された場合、着目した頂点が第1の頂点ではないと判定し、(b6)移動先の点における輝度値が所定の輝度値ではないと判断された場合、判断処理以降の処理を移動先の点について再度実行するようにしてもよい。このようにすれば、対象形状から第1の頂点を特定できるようになる。
 また、上で述べた設定処理において、(b7)第1の頂点は、他の第1の頂点との距離が第2の距離以上になるように特定されるようにしてもよい。このようにすれば、変形を行う部分が偏ることがないので、変形後の形状が滑らかになり、より高精度の形状データを生成することができるようになる。
 また、本形状データ生成方法が、(E)設定処理及び変形処理を所定回数実行することにより得られる変形後の形状のデータを出力する処理をさらに含むようにしてもよい。このようにすれば、変形後の形状が妥当であるか否かをユーザが判断できるようになる。
 また、上で述べた変形処理において、(c1)TPSWarp(Thin Plate Splines Warp)によって変形を行うようにしてもよい。TPSWarpを利用すれば、第1の頂点と第2の頂点とが重なるように変形を行うことができる。
 なお、上記方法による処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、CD-ROM、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

Claims (10)

  1.  コンピュータに、
     物体の断層画像から、変形目標の形状である目標形状のデータを生成させ、
     前記物体の標準的な形状であり且つ変形対象となる形状である対象形状の頂点のうち、当該頂点についての法線が前記目標形状のうち前記断層画像において前記物体と前記物体ではない部分との境界に該当する部分と交点を有する第1の頂点を特定させると共に、前記第1の頂点と前記交点との内分点を第2の頂点に設定させ、
     前記第1の頂点を前記第2の頂点に重ねるように前記対象形状を変形させ、変形後の形状を前記対象形状に設定させ、
     前記第1の頂点の特定、前記第2の頂点の設定及び前記対象形状の変形を所定回数実行させる
     ことを特徴とする形状データ生成プログラム。
  2.  前記目標形状のデータを生成する処理において、
     前記目標形状のうち前記断層画像において前記物体と前記物体ではない部分との境界に該当する部分に対して所定の輝度値を付与させる
     ことを特徴とする請求項1記載の形状データ生成プログラム。
  3.  前記目標形状のデータを生成する処理において、
     前記断層画像を包含するボクセル空間におけるボクセルの輝度値を、前記目標形状を包含するボクセル空間におけるボクセルの輝度値にマッピングさせ、
     前記目標形状を包含するボクセル空間におけるボクセルのうち輝度値が設定されていないボクセルに対して、当該ボクセルに最も近く且つ輝度値が設定されているボクセルの輝度値を割り当てさせる
     ことを特徴とする請求項1又は2記載の形状データ生成プログラム。
  4.  前記第2の頂点は、前記第1の頂点についての単位法線ベクトルに、前記対象形状を変形した回数を前記所定回数で除した値を乗じたベクトルによって特定される点である
     ことを特徴とする請求項1乃至3のいずれか1つ記載の形状データ生成プログラム。
  5.  前記第1の頂点を特定する処理において、
     着目した頂点を当該着目した頂点についての法線の方向へ第1の距離移動させ、移動先の点が前記断層画像を包含するボクセル空間に含まれるか否かを判断する判断処理を実行させ、
     前記移動先の点が前記断層画像を包含するボクセル空間に含まれると判断された場合、前記着目した頂点についての法線ベクトルと前記移動先の点についての法線ベクトルとの内積に基づき、前記移動先の点が前記対象形状を貫通したか判断させ、
     前記移動先の点が前記対象形状を貫通していないと判断された場合、前記移動先の点における輝度値が、前記所定の輝度値であるか判断させ、
     前記所定の輝度値であると判断された場合、前記着目した頂点が前記第1の頂点であると判定させ、
     前記移動先の点が前記断層画像を包含するボクセル空間に含まれないと判断された場合又は前記移動先の点が前記対象形状を貫通したと判断された場合、前記着目した頂点が前記第1の頂点ではないと判定させ、
     前記移動先の点における輝度値が前記所定の輝度値ではないと判断された場合、前記判断処理以降の処理を前記移動先の点について再度実行させる
     ことを特徴とする請求項2記載の形状データ生成プログラム。
  6.  前記第1の頂点を特定する処理において、
     前記第1の頂点が、他の前記第1の頂点との距離が第2の距離以上になるように特定させる
     ことを特徴とする請求項1乃至5のいずれか1つ記載の形状データ生成プログラム。
  7.  前記第1の頂点を特定する処理、前記第2の頂点を設定する処理及び前記対象形状を変形する処理を所定回数実行することにより得られる変形後の形状のデータを出力させる
     処理をさらに実行させることを特徴とする請求項1乃至6のいずれか1つ記載の形状データ生成プログラム。
  8.  前記対象形状を変形する処理において、TPSWarp(Thin Plate Splines Warp)によって変形を行う
     ことを特徴とする請求項1乃至7のいずれか1つ記載の形状データ生成プログラム。
  9.  コンピュータが、
     物体の断層画像から、変形目標の形状である目標形状のデータを生成し、
     前記物体の標準的な形状であり且つ変形対象となる形状である対象形状の頂点のうち、当該頂点についての法線が前記目標形状のうち前記断層画像において前記物体と前記物体ではない部分との境界に該当する部分と交点を有する第1の頂点を特定すると共に、前記第1の頂点と前記交点との内分点を第2の頂点に設定し、
     前記第1の頂点を前記第2の頂点に重ねるように前記対象形状を変形し、変形後の形状を前記対象形状に設定し、
     前記第1の頂点の特定、前記第2の頂点の設定及び前記対象形状の変形を所定回数実行する
     処理を実行する形状データ生成方法。
  10.  物体の断層画像から、変形目標の形状である目標形状のデータを生成する生成部と、
     前記物体の標準的な形状であり且つ変形対象となる形状である対象形状の頂点のうち、当該頂点についての法線が前記目標形状のうち前記断層画像において前記物体と前記物体ではない部分との境界に該当する部分と交点を有する第1の頂点を特定すると共に、前記第1の頂点と前記交点との内分点を第2の頂点に設定する設定部と、
     前記第1の頂点を前記第2の頂点に重ねるように前記対象形状を変形し、変形後の形状を前記対象形状に設定する変形部と、
     を有し、
     前記設定部による処理及び前記変形部による処理が所定回数実行される
     ことを特徴とする形状データ生成装置。
PCT/JP2012/068636 2012-07-23 2012-07-23 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置 WO2014016895A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014526632A JP5850381B2 (ja) 2012-07-23 2012-07-23 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
EP12881634.5A EP2876609B1 (en) 2012-07-23 2012-07-23 Shape data generating program, shape data generating method, and shape data generating device
PCT/JP2012/068636 WO2014016895A1 (ja) 2012-07-23 2012-07-23 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
US14/602,829 US9836891B2 (en) 2012-07-23 2015-01-22 Shape data generation method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/068636 WO2014016895A1 (ja) 2012-07-23 2012-07-23 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/602,829 Continuation US9836891B2 (en) 2012-07-23 2015-01-22 Shape data generation method and apparatus

Publications (1)

Publication Number Publication Date
WO2014016895A1 true WO2014016895A1 (ja) 2014-01-30

Family

ID=49996732

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/068636 WO2014016895A1 (ja) 2012-07-23 2012-07-23 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置

Country Status (4)

Country Link
US (1) US9836891B2 (ja)
EP (1) EP2876609B1 (ja)
JP (1) JP5850381B2 (ja)
WO (1) WO2014016895A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891787B2 (en) 2018-05-23 2021-01-12 Fujitsu Limited Apparatus and method for creating biological model
JP2022527513A (ja) * 2019-03-29 2022-06-02 ハウメディカ・オステオニクス・コーポレーション 統計的形状モデリング(ssm)を使用した解剖学的対象の発病前特性化

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6747116B2 (ja) * 2016-07-08 2020-08-26 富士通株式会社 ボクセル化処理プログラム、ボクセル化処理方法および情報処理装置
EP3467782A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing Method and device for generating points of a 3d scene
EP3543911A1 (en) * 2018-03-22 2019-09-25 Koninklijke Philips N.V. Anomaly detection using magnetic resonance fingerprinting
EP3866107A1 (en) * 2020-02-14 2021-08-18 Koninklijke Philips N.V. Model-based image segmentation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002329216A (ja) 2001-03-09 2002-11-15 Koninkl Philips Electronics Nv 対象物に含まれる三次元画像をセグメント化する方法
JP2004265337A (ja) 2003-03-04 2004-09-24 National Institute Of Advanced Industrial & Technology ランドマーク抽出装置およびランドマーク抽出方法
JP2007098028A (ja) 2005-10-07 2007-04-19 Konica Minolta Medical & Graphic Inc モデリング装置、モデリング方法、領域抽出装置、およびプログラム
JP2007164592A (ja) 2005-12-15 2007-06-28 Konica Minolta Medical & Graphic Inc モデリング装置、領域抽出装置およびプログラム
JP2007159927A (ja) * 2005-12-15 2007-06-28 Konica Minolta Medical & Graphic Inc モデリング装置、モデリング方法、領域抽出装置、領域抽出方法及びプログラム
JP2011224143A (ja) * 2010-04-20 2011-11-10 Hitachi Aloka Medical Ltd 超音波データ処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104775A (en) * 1998-10-29 2000-08-15 Picker International, Inc. 3D image reconstruction for helical partial cone beam scanners using wedge beam transform
US6988660B2 (en) * 1999-06-07 2006-01-24 Metrologic Instruments, Inc. Planar laser illumination and imaging (PLIIM) based camera system for producing high-resolution 3-D images of moving 3-D objects
EP1371013B1 (en) 2001-03-09 2017-04-12 Koninklijke Philips N.V. Image segmentation
US8477154B2 (en) * 2006-03-20 2013-07-02 Siemens Energy, Inc. Method and system for interactive virtual inspection of modeled objects

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002329216A (ja) 2001-03-09 2002-11-15 Koninkl Philips Electronics Nv 対象物に含まれる三次元画像をセグメント化する方法
JP2004265337A (ja) 2003-03-04 2004-09-24 National Institute Of Advanced Industrial & Technology ランドマーク抽出装置およびランドマーク抽出方法
JP2007098028A (ja) 2005-10-07 2007-04-19 Konica Minolta Medical & Graphic Inc モデリング装置、モデリング方法、領域抽出装置、およびプログラム
JP2007164592A (ja) 2005-12-15 2007-06-28 Konica Minolta Medical & Graphic Inc モデリング装置、領域抽出装置およびプログラム
JP2007159927A (ja) * 2005-12-15 2007-06-28 Konica Minolta Medical & Graphic Inc モデリング装置、モデリング方法、領域抽出装置、領域抽出方法及びプログラム
JP2011224143A (ja) * 2010-04-20 2011-11-10 Hitachi Aloka Medical Ltd 超音波データ処理装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FRED L. BOOKSTEIN: "Principal Warps: Thin-Plate Splines and the Decomposition of Deformations", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 11, no. 6, June 1989 (1989-06-01)
FRED L. BOOKSTEIN: "Principal Warps: Thin-Plate Splines and the Decomposition of Deformations", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 11, no. 6, June 1989 (1989-06-01), pages 567 - 585
O. SORKINE; D. COHEN-OR; Y LIPMAN; M. ALEXA; C. ROESSL; SAARBRUECKEN, H.; P. SEIDEL: "Laplacian surface editing", SGP '04 PROCEEDINGS OF THE 2004 EUROGRAPHICS/ACM SIGGRAPH SYMPOSIUM ON GEOMETRY PROCESSING, 2004

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891787B2 (en) 2018-05-23 2021-01-12 Fujitsu Limited Apparatus and method for creating biological model
JP2022527513A (ja) * 2019-03-29 2022-06-02 ハウメディカ・オステオニクス・コーポレーション 統計的形状モデリング(ssm)を使用した解剖学的対象の発病前特性化
JP7309903B2 (ja) 2019-03-29 2023-07-18 ホウメディカ・オステオニクス・コーポレイション 統計的形状モデリング(ssm)を使用した解剖学的対象の発病前特性化

Also Published As

Publication number Publication date
JPWO2014016895A1 (ja) 2016-07-07
EP2876609B1 (en) 2017-12-13
EP2876609A4 (en) 2016-01-20
EP2876609A1 (en) 2015-05-27
US20150130804A1 (en) 2015-05-14
US9836891B2 (en) 2017-12-05
JP5850381B2 (ja) 2016-02-03

Similar Documents

Publication Publication Date Title
JP5850381B2 (ja) 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
EP3025303B1 (en) Multi-modal segmentation of image data
US10275909B2 (en) Systems and methods for an integrated system for visualizing, simulating, modifying and 3D printing 3D objects
JP7038377B2 (ja) 生体モデル生成装置、生体モデル生成方法、および生体モデル生成プログラム
JP2018106712A (ja) 二次曲面の高速レンダリング及びその輪郭の印付け
US20140218397A1 (en) Method and apparatus for providing virtual device planning
US10297089B2 (en) Visualizing volumetric image of anatomical structure
Kretschmer et al. ADR-anatomy-driven reformation
JP5721225B2 (ja) 形状データ生成方法、プログラム及び装置
CN107851337B (zh) 交互式网格编辑
CN108805876B (zh) 使用生物力学模型的磁共振和超声图像的可形变配准的方法和系统
Nyström et al. Visualization and haptics for interactive medical image analysis: Image segmentation in cranio-maxillofacial surgery planning
JP5850380B2 (ja) 形状データ生成方法及び装置
JP7373484B2 (ja) ボリュメトリック画像データのボリュームレンダリング
JP2007144056A (ja) モデリング装置、領域抽出装置、モデリング方法及びプログラム
Bornik et al. Interactive editing of segmented volumetric datasets in a hybrid 2D/3D virtual environment
JP6620172B2 (ja) 画像データをハンドリングするためのシステム及び方法
Kirmizibayrak Interactive volume visualization and editing methods for surgical applications
Schüle et al. Differentiable Rendering for Endoscopic Scene Reconstruction
Nystrom et al. Segmentation and visualization of 3D medical images through haptic rendering
CN114270408A (zh) 用于控制显示器的方法、计算机程序和混合现实显示设备
Wischgoll et al. A quantitative analysis tool for cardiovascular systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12881634

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014526632

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012881634

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE