WO2019155724A1 - 位置合わせ装置、方法およびプログラム - Google Patents

位置合わせ装置、方法およびプログラム Download PDF

Info

Publication number
WO2019155724A1
WO2019155724A1 PCT/JP2018/042897 JP2018042897W WO2019155724A1 WO 2019155724 A1 WO2019155724 A1 WO 2019155724A1 JP 2018042897 W JP2018042897 W JP 2018042897W WO 2019155724 A1 WO2019155724 A1 WO 2019155724A1
Authority
WO
WIPO (PCT)
Prior art keywords
tubular
model
alignment
region
stent
Prior art date
Application number
PCT/JP2018/042897
Other languages
English (en)
French (fr)
Inventor
太 櫻木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019570306A priority Critical patent/JP6968209B2/ja
Publication of WO2019155724A1 publication Critical patent/WO2019155724A1/ja
Priority to US16/937,603 priority patent/US20200357127A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present disclosure relates to an alignment apparatus, method, and program for aligning structures included in a plurality of medical images having different imaging timings.
  • an operation in which a stent is placed in an artery is performed.
  • the stent is placed at a position planned in advance, but the stent may move and deform as time passes. Due to the movement and deformation of the stent from such a pre-planned position, blood flow to the aortic aneurysm blocked by the stent may resume. Further, when the stent is placed, the branch of the blood vessel is not blocked, but there is a possibility that the branch of the blood vessel is blocked by the movement and deformation of the stent.
  • the stent since the stent has a mesh structure, it is conceivable to use a model that imitates the mesh points of the stent mesh and use the lattice points in the model as corresponding points.
  • the shape and size of the mesh varies with the manufacturer of the stent. For this reason, when using a model of a stent, it is necessary to prepare a plurality of types of models. Further, depending on the state in which the stent is indwelled, the shape and size of the mesh differs from the model due to the deformation of the stent. Therefore, it is necessary to adjust parameters for correcting the difference.
  • the present disclosure has been made in view of the above circumstances, and enables easy and accurate alignment of a tubular structure such as a stent placed in a blood vessel, which is included in medical images having different imaging timings. With the goal.
  • the alignment apparatus includes a first structure representing a tubular structure to be aligned from each of a first medical image and a second medical image having different imaging times for a subject including the tubular structure.
  • a tubular region acquisition unit for acquiring the tubular region and the second tubular region;
  • a model setting unit for setting a first tubular model and a second tubular model representing the surface shape of the tubular structure for each of the first tubular region and the second tubular region;
  • a corresponding point setting unit for setting a plurality of corresponding points corresponding to each other for each of the first tubular model and the second tubular model;
  • a first alignment unit configured to align the first tubular model and the second tubular model based on the corresponding points to obtain a first alignment result;
  • the “tubular model representing the surface shape of a tubular structure” is composed only of a surface that defines the shape of the tubular structure and does not include irregularities included in the tubular structure and holes penetrating the wall surface of the tubular structure. Model.
  • the mesh space is a hole that passes through the wall surface of the tubular structure.
  • the tubular model is set by interpolating the outermost contour in the tubular structure, the innermost contour, or the space between any contours between the outermost contour and the innermost contour with a surface. Is done.
  • the first alignment unit may acquire the first alignment result by non-rigid alignment.
  • the first alignment result may be the other movement amount and deformation amount with respect to one of the first tubular model and the second tubular model.
  • the second alignment result is acquired by aligning the first tubular region and the second tubular region based on the first alignment result.
  • An alignment unit may be further provided.
  • the second alignment unit may acquire the second alignment result by non-rigid alignment.
  • the second alignment result may be the other movement amount and deformation amount with respect to either one of the first tubular region and the second tubular region.
  • the corresponding point setting unit may set a plurality of corresponding points at equal intervals for each of the first tubular model and the second tubular model. Good.
  • the first and second medical images include a blood vessel in which a stent is placed,
  • the tubular structure may be a stent.
  • the alignment method includes a first structure representing a tubular structure to be aligned from each of a first medical image and a second medical image having different imaging times for a subject including the tubular structure. Obtaining a tubular region and a second tubular region; For each of the first tubular region and the second tubular region, a first tubular model and a second tubular model representing the surface shape of the tubular structure are respectively set. A plurality of corresponding points corresponding to each other are set for each of the first tubular model and the second tubular model, Based on the corresponding points, the first tubular model and the second tubular model are aligned to obtain a first alignment result.
  • the alignment method according to the present disclosure may be provided as a program for causing a computer to execute the alignment method.
  • Another alignment apparatus includes a memory for storing instructions for causing a computer to execute, A processor configured to execute stored instructions, the processor comprising: The first tubular region and the second tubular region representing the tubular structure to be aligned from each of the first medical image and the second medical image having different imaging times for the subject including the tubular structure. Get For each of the first tubular region and the second tubular region, a first tubular model and a second tubular model representing the surface shape of the tubular structure are respectively set. A plurality of corresponding points corresponding to each other are set for each of the first tubular model and the second tubular model, Based on the corresponding points, the first tubular model and the second tubular model are aligned to obtain a first alignment result.
  • a second tubular region are acquired, and a first tubular model and a second tubular model representing the surface shape of the tubular structure are set for each of the first tubular region and the second tubular region.
  • the A plurality of corresponding points corresponding to each other are set for each of the first tubular model and the second tubular model, and the first tubular model and the second tubular model are positioned based on the corresponding points.
  • the first alignment result is acquired. For this reason, corresponding points can be set for the first tubular model and the second tubular model without bothering the operator. Further, the first alignment result can be obtained with high accuracy based on the set corresponding points.
  • Hardware configuration diagram showing an outline of a diagnosis support system to which an alignment apparatus according to an embodiment of the present disclosure is applied
  • Diagram for explaining setting of corresponding points Diagram for explaining setting of corresponding points
  • the figure for demonstrating the 1st alignment The figure for demonstrating acquisition of the 2nd alignment result The figure for demonstrating acquisition of the 2nd alignment result
  • FIG. 1 is a hardware configuration diagram illustrating an overview of a diagnosis support system to which an alignment apparatus according to an embodiment of the present disclosure is applied.
  • the alignment device 1, the three-dimensional image capturing device 2, and the image storage server 3 according to the present embodiment are connected in a communicable state via a network 4.
  • the diagnosis support system two three-dimensional images with different imaging timings are acquired for a blood vessel such as an aorta in which the stent is placed, and a process of detecting a stent shift between the two three-dimensional images is performed.
  • the three-dimensional image capturing apparatus 2 is an apparatus that generates a three-dimensional image representing a part by imaging a part to be diagnosed by a subject.
  • the three-dimensional image capturing apparatus 2 includes a CT apparatus, an MRI (Magnetic Resonance Imaging). Devices, PET (Positron Emission Tomography) devices, and the like.
  • the three-dimensional image generated by the three-dimensional image photographing device 2 is transmitted to the image storage server 3 and stored.
  • the diagnosis target region of the subject is the aorta.
  • the chest including The three-dimensional image capturing apparatus 2 is a CT apparatus, and a three-dimensional image composed of tomographic images of a plurality of axial sections about the chest of the subject is generated.
  • a three-dimensional image corresponds to a medical image.
  • the image storage server 3 is a computer that stores and manages various data, and includes a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with other devices via a wired or wireless network 4 to transmit and receive image data and the like.
  • the image data of the three-dimensional image generated by the three-dimensional image capturing device 2 is acquired via a network, stored in a recording medium such as a large-capacity external storage device, and managed.
  • the image data storage format and communication between devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • DICOM Digital Imaging and Communication in Medicine
  • the alignment apparatus 1 is obtained by installing the alignment program of the present disclosure on one computer.
  • the computer may be a workstation or personal computer directly operated by a doctor who performs diagnosis, or may be a server computer connected to them via a network.
  • the alignment program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or CD-ROM (Compact Disc Read Only Memory), and is installed in the computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or CD-ROM (Compact Disc Read Only Memory)
  • it is stored in a storage device of a server computer connected to a network or a network storage in a state where it can be accessed from the outside, and is downloaded and installed on a computer used by a doctor upon request.
  • FIG. 2 is a diagram showing a schematic configuration of an alignment apparatus realized by installing an alignment program in a computer.
  • the alignment apparatus 1 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard workstation configuration.
  • a display 14 such as a liquid crystal display and an input unit 15 such as a keyboard and a mouse are connected to the alignment apparatus 1.
  • the storage 13 is a storage device such as a hard disk or SSD (Solid State Drive).
  • the storage 13 stores various information including a three-dimensional image of the subject acquired from the image storage server 3 via the network 4 and information necessary for processing.
  • the memory 12 stores an alignment program.
  • the alignment program is executed by the CPU 11 as an image acquisition process for acquiring a first three-dimensional image and a second three-dimensional image with different imaging timings, and with different imaging timings for a subject including a tubular structure.
  • corresponding point setting processing for setting a plurality of corresponding points corresponding to each of the second tubular model, and the first tubular model based on the corresponding points.
  • a first alignment process for aligning the second tubular model with the second tubular model to obtain a first alignment result, and a first stent region and a second stent based on the first alignment result A second alignment process for aligning the region and obtaining a second alignment result is defined.
  • the computer acquires the image acquisition unit 21, the tubular region acquisition unit 22, the model setting unit 23, the corresponding point setting unit 24, the first alignment unit 25, and the second. It functions as the positioning unit 26.
  • the CPU 11 executes the function of each unit according to the alignment program.
  • an FPGA other than the CPU 11 is used.
  • a programmable logic device (PLM) which is a processor whose circuit configuration can be changed after manufacturing (Field ⁇ ⁇ Programmable Gate Array) or the like, can be used.
  • the processing of each unit may be executed by a dedicated electric circuit or the like that is a processor having a circuit configuration designed exclusively for executing specific processing such as ASIC (Application Specific Specific Integrated Circuit).
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). It may be configured. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form of using a processor that realizes the functions of the entire system including a plurality of processing units with a single IC (integrated circuit) chip. is there.
  • the various processing units are configured by using one or more of the various processors as a hardware structure.
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • the image acquisition unit 21 acquires from the image storage server 3 the first three-dimensional image G1 and the second three-dimensional image G2 that have different imaging times for the same subject.
  • the 3D images G1 and G2 may be acquired from the storage 13.
  • the tubular region acquisition unit 22 acquires a first stent region and a second stent region representing a stent to be aligned from each of the first and second three-dimensional images G1, G2.
  • the stent corresponds to the tubular structure
  • the first stent region corresponds to the first tubular region
  • the second stent region corresponds to the second tubular region.
  • FIG. 3 is a diagram for explaining acquisition of a stent region.
  • the acquisition of the stent region is performed by the same processing in the first and second three-dimensional images G1 and G2, only the acquisition of the first stent region from the first three-dimensional image G1 will be described here. To do.
  • the first three-dimensional image G1 includes a blood vessel 32 in which a stent 31 is placed. Since the stent 31 is made of metal, in the first three-dimensional image G1, which is a CT image, the region of the stent 31 has a higher CT value than that of the human tissue. For this reason, the tubular region acquisition unit 22 performs a binarization process for extracting a region having a CT value higher than a predetermined threshold value from the first three-dimensional image G1, thereby performing the first three-dimensional operation. The first stent region As1 is acquired from the image G1. Further, the tubular region acquisition unit 22 acquires the second stent region As2 from the second three-dimensional image G2.
  • the model setting unit 23 sets a first tubular model and a second tubular model representing the surface shape of the stent 31 for each of the first stent region As1 and the second stent region As2.
  • the setting of the tubular model is performed by the same process in the first and second stent regions As1 and As2, only the setting of the first tubular model for the first stent region As1 will be described here.
  • FIG. 4 is a view for explaining the setting of the tubular model
  • FIG. 5 is a view showing a cross section orthogonal to the center line of the first stent region As1.
  • the model setting unit 23 sets a plurality of cross sections 41 orthogonal to the center line 40 at predetermined equal intervals along the center line 40 for the first stent region As1. Since the stent 31 has a cylindrical shape of a mesh made of metal, in the cross section orthogonal to the center line 40 of the stent region As1, the metal cross section 42 constituting the mesh is arranged in line with the cross sectional shape of the blood vessel. It becomes.
  • the model setting unit 23 sets a point farthest from the center line 40 of the first stent region As1 with respect to the metal cross section 42 included in each cross section 41, and nonlinearly interpolates the set point to form a closed curve 43.
  • Set. This closed curve 43 represents the outer shape of the cross section 41.
  • the model setting unit 23 further sets a first tubular model M1 by forming a surface by nonlinearly interpolating the closed curve 43 in each cross section 41 in the longitudinal direction of the first stent region As1. Examples of the nonlinear interpolation method include a method using a function such as a B-spline and a thin plate spline (Thin Plate Spline).
  • the model setting unit 23 sets the second tubular model M2 for the second stent region As2 in the same manner as the first tubular model M1.
  • the setting of the closed curve 43 is not limited to the method based on the point farthest from the center line 40 of the first stent region As1 with respect to the metal cross section 42.
  • the closed curve 43 may be set based on the point closest to the center line 40 of the first stent region As1 with respect to the metal cross section 42. Further, for example, a predetermined point between a point farthest from the center line 40 of the first stent region As1 in the metal cross section 42 and a point closest to the center line 40, such as the center point of the metal cross section 42, is determined.
  • the closed curve 43 may be set based on the position.
  • the corresponding point setting unit 24 sets a plurality of corresponding points corresponding to each of the first tubular model M1 and the second tubular model M2. Specifically, a plurality of corresponding points are set at equal intervals for each of the first tubular model M1 and the second tubular model M2. Note that the setting of the corresponding points is performed by the same processing in the first tubular model M1 and the second tubular model M2, and therefore only setting of the corresponding points for the first tubular model M1 will be described here.
  • the corresponding point setting unit 24 equally divides the center line 40 of the first tubular model M1 in the longitudinal direction. Note that the number to be equally divided is 8 in the present embodiment, but it may be less than 8 or more than 8. Then, the corresponding point setting unit 24 sets the cross sections D1 to D7 orthogonal to the equally divided points on the center line 40. The corresponding point setting unit 24 sets surfaces D0 and D8 at both ends of the first tubular model M1 in addition to the points obtained by equally dividing the center line 40.
  • the corresponding point setting unit 24 sets, as corresponding points, intersections between line segments that equally divide the angle around the center line 40 and the contours of the respective surfaces D0 to D8 in the set surfaces D0 to D8.
  • eight intersections between a line segment that divides the angle around the center line 40 into eight and the contours of the surfaces D0 to D8 are set as corresponding points P10 to P17.
  • an angle formed by a line segment connecting the corresponding point and the center line 40 is 45 degrees.
  • the corresponding point P10 is used as a reference point.
  • the reference point P10 is set at a position facing the most back side of the human body in the first tubular model M1.
  • eight corresponding points P10 to P17 are set on each surface D0 to D8 in the first tubular model M1. Therefore, a total of 72 corresponding points are set.
  • the corresponding points are indicated by x.
  • the corresponding point setting unit 24 sets corresponding points for the second tubular model M2 in the same manner as described above.
  • the corresponding points set in the first tubular model M1 are referred to as corresponding points P1
  • the corresponding points set in the second tubular model M2 are referred to as corresponding points P2.
  • the first alignment unit 25 aligns the first tubular model M1 and the second tubular model M2 on the basis of the corresponding points P1 and P2, and acquires the first alignment result.
  • non-rigid body alignment is performed between corresponding points P1 and P2 of the first tubular model M1 and the second tubular model M2, and the corresponding points P1 set in the first tubular model M1 are set.
  • a deformation vector Vm1 for matching with each corresponding point P2 set in the second tubular model M2 is acquired as the first alignment result.
  • the deformation vector Vm1 represents the movement amount and deformation amount of the second tubular model M2 with respect to the first tubular model M1.
  • the alignment for obtaining the first alignment result is referred to as the first alignment.
  • FIG. 9 is a diagram for explaining the first alignment.
  • the first tubular model M1 is indicated by a broken line
  • the second tubular model M2 is indicated by a solid line
  • the deformation vector Vm1 is indicated by a solid line arrow.
  • the deformation vector Vm1 acquired between the corresponding points P1 and P2 of the surface D0 and the surface D8 in the first tubular model M1 and the second tubular model M2 is shown.
  • FIG. 9 from the corresponding point P1 on the surface D0 of the first tubular model M1 (only shown with x in FIG. 9) to the corresponding point P2 on the surface D0 of the second tubular model M2 (only shown with x in FIG. 9).
  • Vm1-8-4 and Vm1-8-5 are calculated.
  • 72 deformation vectors Vm1 are calculated for 72 corresponding points P1 and P2 set for each of the first tubular model M1 and the second tubular model M2.
  • a deformation vector map can be generated by mapping the deformation vector Vm1 to the 72 corresponding points P1 and P2.
  • a method by nonlinearly converting the corresponding point P1 to the corresponding point P2 using a function such as a B spline and a thin plate spline can be used, but is not limited thereto. It is not a thing.
  • the second alignment unit 26 aligns the first stent region As1 and the second stent region As2 based on the first alignment result, and acquires the second alignment result.
  • 10 and 11 are diagrams for explaining acquisition of the second alignment result.
  • the deformation vector Vm1 at each corresponding point is calculated as the first alignment result.
  • the deformation vector Vm1 is referred to as a first deformation vector Vm1.
  • the second alignment unit 26 sets a point Ps1 corresponding to the corresponding point P1 of the first tubular model M1 in the first stent region As1.
  • the second alignment unit 26 moves the point Ps1 set in the first stent region As1 based on the first deformation vector Vm1, and calculates the moved point Ps1t. If the first stent region As1 is deformed based on the first deformation vector Vm1, the deformed first stent region Asm1 can be obtained as shown in FIG.
  • the second alignment unit 26 performs non-rigid alignment so that the deformed first stent region Asm1 coincides with the second stent region As2, and in the deformed first stent region Asm1
  • a deformation vector for making each pixel position (voxel position) coincide with a corresponding pixel position in the second stent region As2 is calculated as a second deformation vector Vm2.
  • functions such as a B-spline and a thin plate spline (Thin PlatelineSpline) are used to correspond to each pixel position in the first stent region Asm1 after deformation and in the second stent region As2.
  • Thin PlatelineSpline Thin PlatelineSpline
  • Each pixel position in the first stent region Asm1 after deformation is converted into a corresponding pixel position in the second stent region As2 in a non-linear manner so that an evaluation value such as a mutual information amount with the pixel position becomes optimal.
  • the present invention is not limited to this.
  • FIG. 11 is a diagram for explaining acquisition of the second alignment result.
  • the deformed first stent region Asm1 is indicated by a broken line
  • the second stent region As2 is indicated by a solid line
  • the second deformation vector Vm2 is indicated by a solid arrow.
  • the second deformation vector Vm2 is acquired for all pixel positions in the first stent region Asm1 and the second stent region As2 after deformation, but the description is simplified in FIG. Therefore, only the second deformation vector Vm2 is shown for some pixel positions in the first stent region Asm1 and the second stent region As2 after deformation.
  • FIG. 12 is a flowchart showing processing performed in the present embodiment.
  • the image acquisition unit 21 acquires the three-dimensional images G1 and G2 (step ST1), and the tubular region acquisition unit 22 first and second stent regions As1 and As2 from the three-dimensional images G1 and G2, respectively. Is acquired (step ST2).
  • the model setting unit 23 sets the first tubular model M1 and the second tubular model M1 representing the surface shape of the stent 31 for each of the first stent region As1 and the second stent region As2. (Step ST3).
  • the corresponding point setting unit 24 sets a plurality of corresponding points P1 and P2 corresponding to each of the first tubular model M1 and the second tubular model M2 (step ST4).
  • the first alignment unit 25 aligns the first tubular model M1 and the second tubular model M2 based on the corresponding points P1 and P2, and acquires the first alignment result (step).
  • the second alignment unit 26 aligns the first stent region As1 and the second stent region As2 based on the first alignment result, and acquires the second alignment result ( Step ST6), the process is terminated.
  • the stent 31 to be aligned is selected from each of the first three-dimensional image G1 and the second three-dimensional image G2 having different imaging times for the subject including the stent 31.
  • the first stent region As1 and the second stent region As2 to be represented are obtained, and the first tubular model M1 representing the surface shape of the stent 31 is obtained for each of the first stent region As1 and the second stent region As2.
  • a second tubular model M2 are set.
  • a plurality of corresponding points P1 and P2 corresponding to each other are set for each of the first tubular model M1 and the second tubular model M2, and the first tubular model M1 is set based on the corresponding points P1 and P2.
  • the second tubular model M2 are aligned to obtain the first alignment result. For this reason, corresponding points can be set in the first tubular model M1 and the second tubular model M2 without bothering the operator. Further, the first alignment result can be obtained with high accuracy based on the set corresponding points P1 and P2.
  • the tubular structure is the stent 31
  • first tubular region and the second tubular region are aligned based on the first alignment result to obtain the second alignment result, whereby the first calculation can be performed with a smaller amount of computation.
  • the stent region As1 and the second stent region As2 can be aligned.
  • the movement amount and the deformation amount of the second tubular model M2 with respect to the first tubular model M1 are calculated as the first deformation vector Vm1, but this It is not limited to.
  • the movement amount and deformation amount of the first tubular model M1 relative to the second tubular model M2 may be calculated as the first deformation vector Vm1.
  • the movement amount and the deformation amount of the second stent region As2 relative to the deformed first stent region Asm1 are calculated as the second deformation vector Vm2.
  • the present invention is not limited to this.
  • the movement amount and the deformation amount of the first stent region Asm1 after the deformation with respect to the second stent region As2 may be calculated as the second deformation vector Vm2.
  • the alignment result between the 1st three-dimensional image G1 and the 2nd three-dimensional image G2 about the stent 31 indwelled in the aorta is acquired, it is necessary to indwell the stent. If it is a certain blood vessel, it is not limited to the aorta.
  • this embodiment can also be applied when aligning a stent placed in a coronary artery or a cerebral artery.
  • a CT image is used as a medical image.
  • the present invention is not limited to this, and an MRI image, a PET image, or the like may be used as a medical image.
  • the corresponding points P1 and P2 are set at equal intervals for the first tubular model M1 and the second tubular model M2.
  • the present invention is not limited to this. If the positions correspond between the first tubular model M1 and the second tubular model M2, the corresponding points P1 and P2 may be set at random intervals.
  • the use of the first tubular model and the second tubular model eliminates the need to prepare a plurality of models according to the type of stent. Moreover, it is not necessary to use parameters for correcting the shape and size of the mesh based on the deformation of the stent. Therefore, alignment of the first tubular model and the second tubular model can be performed easily and accurately.
  • first tubular region and the second tubular region are aligned based on the first alignment result to obtain the second alignment result, whereby the first calculation can be performed with a smaller amount of computation.
  • the tubular region and the second tubular region can be aligned.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

管状領域取得部２２が、３次元画像Ｇ１，Ｇ２のそれぞれから第１のステント領域Ａｓ１および第２のステント領域Ａｓ２を取得する。モデル設定部２３が、第１のステント領域Ａｓ１および第２のステント領域Ａｓ２のそれぞれに対して、ステント３１の面形状を表す第１の管状モデルＭ１および第２の管状モデルＭ１をそれぞれ設定する。対応点設定部２４が、第１の管状モデルＭ１および第２の管状モデルＭ２のそれぞれに対して、互いに対応する複数の対応点を設定する。第１の位置合わせ部２５が、対応点に基づいて、第１の管状モデルＭ１と第２の管状モデルＭ２とを位置合わせして第１の位置合わせ結果を取得する。

Description

位置合わせ装置、方法およびプログラム
　本開示は、撮影時期が異なる複数の医用画像に含まれる構造物の位置合わせを行う位置合わせ装置、方法およびプログラムに関するものである。
　現在、動脈瘤等に対する治療として、動脈にステントを留置する手術が行われている。このような手術においては、事前に計画した位置にステントが留置されるが、時間の経過に伴い、ステントの移動および変形が生じる場合がある。このような事前に計画した位置からのステントの移動および変形により、ステントにより塞がれていた大動脈瘤への血流が再開してしまう可能性がある。また、ステントを留置する際には、血管の分岐を塞がないようにしているが、ステントの移動および変形により、血管の分岐を塞いでしまう可能性もある。
　したがって、ステントの移動量および変形量を定量化することにより、上述した可能性があるか否かを事前に把握しておくことが重要である。このため、撮影時期が異なる複数のＣＴ（Computed Radiography）画像等の医用画像からステントの領域を抽出し、抽出したステント同士の位置合わせを行う手法が提案されている（特開２０１６－１０４１２１号公報参照）。また、ステントが留置された血管領域の断面を積層して円筒モデルを生成し、円筒モデルに基づいてステントと血管との接触領域を検出する手法も提案されている（特開２０１４－１０８３１３号公報参照）。また、変形量を定量化するためには、複数の画像間におけるステント同士を非剛体位置合わせすることも考えられる。
　しかしながら、ステント間の変形量が大きい場合、非剛体位置合わせによりステント同士を位置合わせすることが困難となる。このような場合、複数の医用画像のそれぞれから抽出されたステント領域に対して、位置合わせを行うための対応点を設定して位置合わせの精度を向上することが考えられる。対応点を用いて位置合わせを精度よく行うためには、より多くの対応点を設定することが好ましい。しかしながら、手動で複数の対応点を設定する作業は非常に煩雑である。また、操作者の主観により対応点が設定されるため、設定される対応点の位置的な偏りが発生する可能性がある。このような対応点の偏りが生じると、位置合わせを精度よく行うことができなくなる。
　また、ステントは網目状の構造を有するため、ステントの網目の格子点を模したモデルを使用し、モデルにおける格子点を対応点として用いることが考えられる。しかしながら、網目の形状および大きさはステントのメーカにより異なる。このため、ステントのモデルを使用する場合、複数種類のモデルを用意する必要がある。また、ステントが留置されている状態によってはステントの変形により、網目の形状および大きさがモデルと異なるものとなるため、その相違を修正するためのパラメータの調整が必要となる。また、複数種類のステントを血管内に留置した場合においては、ステント同士が重なる領域が生じる。このように複数種類のステントが重なる領域においては、網目状のモデルを適用しても対応点を精度よく設定できない可能性がある。
　本開示は上記事情に鑑みなされたものであり、撮影時期が異なる医用画像に含まれる、血管に留置されたステント等の管状構造物の位置合わせを簡易かつ精度よく行うことができるようにすることを目的とする。
　本開示による位置合わせ装置は、管状構造物を含む被検体についての撮影時期が異なる第１の医用画像および第２の医用画像のそれぞれから、位置合わせの対象となる管状構造物を表す第１の管状領域および第２の管状領域を取得する管状領域取得部と、
　第１の管状領域および第２の管状領域のそれぞれに対して、管状構造物の面形状を表す第１の管状モデルおよび第２の管状モデルをそれぞれ設定するモデル設定部と、
　第１の管状モデルおよび第２の管状モデルのそれぞれに対して、互いに対応する複数の対応点を設定する対応点設定部と、
　対応点に基づいて、第１の管状モデルと第２の管状モデルとを位置合わせして第１の位置合わせ結果を取得する第１の位置合わせ部とを備える。
　「管状構造物の面形状を表す管状モデル」とは、管状構造物に含まれる凹凸、および管状構造物の壁面を貫通する穴を含まない、管状構造物の形状を規定する面のみから構成されるモデルを意味する。とくに、管状構造物がステントのような網目状の構造を有する場合には、網目の空間は管状構造物の壁面を通過する穴である。このため、管状モデルは、管状構造物における最も外側の輪郭、最も内側の輪郭、または最も外側の輪郭と最も内側の輪郭との間における任意の輪郭の間の空間を面により補間することにより設定される。
　なお、本開示による位置合わせ装置においては、第１の位置合わせ部は、非剛体位置合わせにより第１の位置合わせ結果を取得するものであってもよい。
　また、本開示による位置合わせ装置においては、第１の位置合わせ結果は、第１の管状モデルおよび第２の管状モデルのいずれか一方に対する他方の移動量および変形量であってもよい。
　また、本開示による位置合わせ装置においては、第１の位置合わせ結果に基づいて、第１の管状領域と第２の管状領域とを位置合わせして第２の位置合わせ結果を取得する第２の位置合わせ部をさらに備えるものであってもよい。
　また、本開示による位置合わせ装置においては、第２の位置合わせ部は、非剛体位置合わせにより第２の位置合わせ結果を取得するものであってもよい。
　また、本開示による位置合わせ装置においては、第２の位置合わせ結果は、第１の管状領域および第２の管状領域のいずれか一方に対する他方の移動量および変形量であってもよい。
　また、本開示による位置合わせ装置においては、対応点設定部は、第１の管状モデルおよび第２の管状モデルのそれぞれに対して、複数の対応点を均等な間隔で設定するものであってもよい。
　また、本開示による位置合わせ装置においては、第１および第２の医用画像がステントが留置された血管を含み、
　管状構造物がステントであってもよい。
　本開示による位置合わせ方法は、管状構造物を含む被検体についての撮影時期が異なる第１の医用画像および第２の医用画像のそれぞれから、位置合わせの対象となる管状構造物を表す第１の管状領域および第２の管状領域を取得し、
　第１の管状領域および第２の管状領域のそれぞれに対して、管状構造物の面形状を表す第１の管状モデルおよび第２の管状モデルをそれぞれ設定し、
　第１の管状モデルおよび第２の管状モデルのそれぞれに対して、互いに対応する複数の対応点を設定し、
　対応点に基づいて、第１の管状モデルと第２の管状モデルとを位置合わせして第１の位置合わせ結果を取得する。
　なお、本開示による位置合わせ方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示による他の位置合わせ装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　管状構造物を含む被検体についての撮影時期が異なる第１の医用画像および第２の医用画像のそれぞれから、位置合わせの対象となる管状構造物を表す第１の管状領域および第２の管状領域を取得し、
　第１の管状領域および第２の管状領域のそれぞれに対して、管状構造物の面形状を表す第１の管状モデルおよび第２の管状モデルをそれぞれ設定し、
　第１の管状モデルおよび第２の管状モデルのそれぞれに対して、互いに対応する複数の対応点を設定し、
　対応点に基づいて、第１の管状モデルと第２の管状モデルとを位置合わせして第１の位置合わせ結果を取得する処理を実行する。
　本開示によれば、管状構造物を含む被検体についての撮影時期が異なる第１の医用画像および第２の医用画像のそれぞれから、位置合わせの対象となる管状構造物を表す第１の管状領域および第２の管状領域が取得され、第１の管状領域および第２の管状領域のそれぞれに対して、管状構造物の面形状を表す第１の管状モデルおよび第２の管状モデルがそれぞれ設定される。そして、第１の管状モデルおよび第２の管状モデルのそれぞれに対して、互いに対応する複数の対応点が設定され、対応点に基づいて、第１の管状モデルと第２の管状モデルとが位置合わせされて、第１の位置合わせ結果が取得される。このため、操作者の手を煩わすことなく、第１の管状モデルおよび第２の管状モデルに対応点を設定することができる。また、設定された対応点に基づくことにより、精度よく第１の位置合わせ結果を取得することができる。
本開示の実施形態による位置合わせ装置を適用した、診断支援システムの概要を示すハードウェア構成図 位置合わせ装置の概略構成を示す図 ステント領域の取得を説明するための図 管状モデルの設定を説明するための図 第１のステント領域の中心線に直交する断面を示す図 対応点の設定を説明するための図 対応点の設定を説明するための図 第１の管状モデルの各断面における対応点の設定を説明するための図 第１の位置合わせを説明するための図 第２の位置合わせ結果の取得を説明するための図 第２の位置合わせ結果の取得を説明するための図 本実施形態において行われる処理を示すフローチャート
　以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による位置合わせ装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による位置合わせ装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。そして、診断支援システムにおいては、ステントを留置した大動脈等の血管についての、撮影時期が異なる２つの３次元画像を取得し、２つの３次元画像間におけるステントのずれを検出する処理を行う。
　３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ（Magnetic Resonance Imaging）装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、大動脈に留置されたステントの経時による移動および変形を検出して２つの３次元画像間におけるステントの位置合わせを行うものであるため、被検体の診断対象部位を大動脈を含む胸部とする。また、３次元画像撮影装置２はＣＴ装置であり、被検体の胸部についての複数のアキシャル断面の断層画像からなる３次元画像が生成されるものとする。なお、３次元画像が医用画像に対応する。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）等のプロトコルに基づいている。また、本実施形態においては、同一被検体についての撮影時期が異なる複数の３次元画像が、画像保管サーバ３に保存されている。
　位置合わせ装置１は、１台のコンピュータに、本開示の位置合わせプログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。位置合わせプログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
　図２は、コンピュータに位置合わせプログラムをインストールすることにより実現される位置合わせ装置の概略構成を示す図である。図２に示すように、位置合わせ装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、位置合わせ装置１には、液晶ディスプレイ等のディスプレイ１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
　ストレージ１３は、ハードディスクまたはＳＳＤ（Solid State Drive）等のストレージデバイスからなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の３次元画像および処理に必要な情報を含む各種情報が記憶されている。
　また、メモリ１２には、位置合わせプログラムが記憶されている。位置合わせプログラムは、ＣＰＵ１１に実行させる処理として、撮影時期が異なる第１の３次元画像および第２の３次元画像を取得する画像取得処理、管状構造物を含む被検体についての撮影時期が異なる第１の３次元画像および第２の３次元画像のそれぞれから、位置合わせの対象となるステント（管状構造物）を表す第１のステント領域（管状領域）および第２のステント領域を取得する管状領域取得処理、第１のステント領域および第２のステント領域のそれぞれに対して、ステントの面形状を表す第１の管状モデルおよび第２の管状モデルをそれぞれ設定するモデル設定処理、第１の管状モデルおよび第２の管状モデルのそれぞれに対して、互いに対応する複数の対応点を設定する対応点設定処理、対応点に基づいて、第１の管状モデルと第２の管状モデルとを位置合わせして第１の位置合わせ結果を取得する第１の位置合わせ処理、並びに第１の位置合わせ結果に基づいて、第１のステント領域と第２のステント領域とを位置合わせして第２の位置合わせ結果を取得する第２の位置合わせ処理を規定する。
　そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、管状領域取得部２２、モデル設定部２３、対応点設定部２４、第１の位置合わせ部２５および第２の位置合わせ部２６として機能する。なお、本実施形態においては、ＣＰＵ１１が位置合わせプログラムによって、各部の機能を実行するようにしたが、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサとしては、ＣＰＵ１１の他、ＦＰＧＡ (Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）を用いることができる。また、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等により、各部の処理を実行するようにしてもよい。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、またはＣＰＵとＦＰＧＡの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　画像取得部２１は、同一被検体についての撮影時期が異なる第１の３次元画像Ｇ１および第２の３次元画像Ｇ２を画像保管サーバ３から取得する。なお、第１および第２の３次元画像Ｇ１，Ｇ２が既にストレージ１３に記憶されている場合には、ストレージ１３から３次元画像Ｇ１，Ｇ２を取得するようにしてもよい。以降の説明において、第１の３次元画像Ｇ１が第２の３次元画像Ｇ２よりも撮影時期が前であるものとする。
　管状領域取得部２２は、第１および第２の３次元画像Ｇ１，Ｇ２のそれぞれから、位置合わせの対象となるステントを表す第１のステント領域および第２のステント領域を取得する。なお、ステントが管状構造物に対応し、第１のステント領域が第１の管状領域に対応し、第２のステント領域が第２の管状領域に対応する。図３はステント領域の取得を説明するための図である。また、ステント領域の取得は、第１および第２の３次元画像Ｇ１，Ｇ２において同一の処理により行われるため、ここでは第１の３次元画像Ｇ１からの第１のステント領域の取得についてのみ説明する。
　図３に示すように、第１の３次元画像Ｇ１にはステント３１が留置された血管３２が含まれている。ステント３１は金属からなるため、ＣＴ画像である第１の３次元画像Ｇ１においては、ステント３１の領域は人体の組織と比較して高いＣＴ値を有する。このため、管状領域取得部２２は、あらかじめ定められたしきい値よりも高いＣＴ値を有する領域を第１の３次元画像Ｇ１から抽出する二値化処理を行うことにより、第１の３次元画像Ｇ１から第１のステント領域Ａｓ１を取得する。また、管状領域取得部２２は、第２の３次元画像Ｇ２から第２のステント領域Ａｓ２を取得する。
　モデル設定部２３は、第１のステント領域Ａｓ１および第２のステント領域Ａｓ２のそれぞれに対して、ステント３１の面形状を表す第１の管状モデルおよび第２の管状モデルを設定する。ここで、管状モデルの設定は、第１および第２のステント領域Ａｓ１，Ａｓ２において同一の処理により行われるため、ここでは第１のステント領域Ａｓ１に対する第１の管状モデルの設定についてのみ説明する。
　図４は管状モデルの設定を説明するための図、図５は第１のステント領域Ａｓ１の中心線に直交する断面を示す図である。モデル設定部２３は、第１のステント領域Ａｓ１に対して、中心線４０に沿ったあらかじめ定められた均等な間隔で、中心線４０に直交する複数の断面４１を設定する。ステント３１は金属からなる網目の筒形状をなしているため、ステント領域Ａｓ１の中心線４０に直交する断面においては、網目を構成する金属の断面４２が血管の断面形状に合わせて並んで配置されてなる。モデル設定部２３は、各断面４１に含まれる金属の断面４２に対して、第１のステント領域Ａｓ１の中心線４０から最も離れた点を設定し、設定した点を非線形に補間して閉曲線４３を設定する。なお、この閉曲線４３は断面４１の外形を表すものとなる。モデル設定部２３は、さらに、各断面４１における閉曲線４３を、第１のステント領域Ａｓ１の長手方向に非線形に補間して面を形成することにより、第１の管状モデルＭ１を設定する。なお、非線形補間の手法としては、例えばＢスプラインおよびシンプレートスプライン(Thin Plate Spline)等の関数を用いた手法が挙げられる。また、モデル設定部２３は、第１の管状モデルＭ１と同様にして、第２のステント領域Ａｓ２に対して第２の管状モデルＭ２を設定する。
　なお、閉曲線４３の設定は、金属の断面４２に対して、第１のステント領域Ａｓ１の中心線４０から最も離れた点に基づく手法に限定されるものではない。例えば、金属の断面４２に対して，第１のステント領域Ａｓ１の中心線４０に最も近い点に基づいて閉曲線４３を設定してもよい。また、例えば金属の断面４２の中心点のように、金属の断面４２における第１のステント領域Ａｓ１の中心線４０から最も離れた点と、中心線４０に最も近い点との間におけるあらかじめ定められた位置に基づいて閉曲線４３を設定してもよい。
　対応点設定部２４は、第１の管状モデルＭ１および第２の管状モデルＭ２のそれぞれに対して、互いに対応する複数の対応点を設定する。具体的には、第１の管状モデルＭ１および第２の管状モデルＭ２のそれぞれに対して、複数の対応点を均等な間隔で設定する。なお、対応点の設定は、第１の管状モデルＭ１および第２の管状モデルＭ２において同一の処理により行われるため、ここでは第１の管状モデルＭ１に対する対応点の設定についてのみ説明する。
　図６および図７は対応点の設定を説明するための図である。対応点設定部２４は、第１の管状モデルＭ１の中心線４０を長手方向に等分する。なお、等分する数としては、本実施形態においては８とするが、８未満であっても８より多くてもよい。そして、対応点設定部２４は、中心線４０における等分した点に直交する断面Ｄ１～Ｄ７を設定する。対応点設定部２４は、中心線４０を等分した点に加えて、第１の管状モデルＭ１の両端にも面Ｄ０およびＤ８を設定する。
　さらに、対応点設定部２４は、設定した各面Ｄ０～Ｄ８において、中心線４０の周りの角度を等分する線分と、各面Ｄ０～Ｄ８の輪郭との交点を対応点に設定する。本実施形態においては、中心線４０の周りの角度を８等分する線分と各面Ｄ０～Ｄ８の輪郭との８つの交点を対応点Ｐ１０～Ｐ１７に設定する。この場合、隣接する対応点（例えば対応点Ｐ１０と対応点Ｐ１１）において、対応点と中心線４０とを結ぶ線分がなす角度は４５度となる。なお、８つの対応点Ｐ１０～Ｐ１７のうち対応点Ｐ１０を基準点とする。基準点Ｐ１０は第１の管状モデルＭ１において、人体の最も背側を向く位置に設定する。これにより、図８に示すように、第１の管状モデルＭ１における各面Ｄ０～Ｄ８において８つの対応点Ｐ１０～Ｐ１７が設定される。したがって、合計７２個の対応点が設定される。なお、図８においては対応点を×により示している。対応点設定部２４は、上記と同様にして第２の管状モデルＭ２に対しても対応点を設定する。なお、以降の説明において、第１の管状モデルＭ１に設定された対応点を対応点Ｐ１、第２の管状モデルＭ２に設定された対応点を対応点Ｐ２と称するものとする。
　第１の位置合わせ部２５は、対応点Ｐ１，Ｐ２に基づいて、第１の管状モデルＭ１と第２の管状モデルＭ２とを位置合わせして第１の位置合わせ結果を取得する。本実施形態においては、第１の管状モデルＭ１および第２の管状モデルＭ２の各対応点Ｐ１，Ｐ２間において非剛体位置合わせを行って、第１の管状モデルＭ１に設定した各対応点Ｐ１を、第２の管状モデルＭ２に設定した各対応点Ｐ２に一致させるための変形ベクトルＶｍ１を第１の位置合わせ結果として取得する。変形ベクトルＶｍ１は、第１の管状モデルＭ１に対する第２の管状モデルＭ２の移動量および変形量を表すものとなる。以下、第１の位置合わせ結果を取得するための位置合わせを第１の位置合わせと称する。
　図９は第１の位置合わせを説明するための図である。なお、図９においては、第１の管状モデルＭ１を破線で、第２の管状モデルＭ２を実線で、変形ベクトルＶｍ１を実線の矢印で示している。また、説明を簡単なものとするために、第１の管状モデルＭ１および第２の管状モデルＭ２における面Ｄ０および面Ｄ８の対応点Ｐ１，Ｐ２間において取得される変形ベクトルＶｍ１のみを示す。図９においては、第１の管状モデルＭ１の面Ｄ０における対応点Ｐ１（図９において×のみ示す）から第２の管状モデルＭ２の面Ｄ０における対応点Ｐ２（図９において×のみ示す）に向けて、図９に示す状態において視認される対応点間の５つの変形ベクトルＶｍ１－０－１，Ｖｍ１－０－２，Ｖｍ１－０－３，Ｖｍ１－０－４，Ｖｍ１－０－５が算出される。また、第１の管状モデルＭ１の面Ｄ８における対応点Ｐ１（図９において面Ｄ０における対応点Ｐ１と同様に×で示す）から第２の管状モデルＭ２の面Ｄ８における対応点Ｐ２（図９において面Ｄ０における対応点Ｐ２と同様に×で示す）に向けて、図９に示す状態において視認される対応点間の５つの変形ベクトルＶｍ１－８－１，Ｖｍ１－８－２，Ｖｍ１－８－３，Ｖｍ１－８－４，Ｖｍ１－８－５が算出される。なお、実際には、第１の管状モデルＭ１および第２の管状モデルＭ２のそれぞれについて設定した７２個の対応点Ｐ１，Ｐ２に対して７２個の変形ベクトルＶｍ１が算出される。また、７２個の対応点Ｐ１，Ｐ２に対して変形ベクトルＶｍ１をマッピングすることにより、変形ベクトルマップを生成することができる。
　なお、非剛体位置合わせとしては、例えばＢスプラインおよびシンプレートスプライン等の関数を用いて、対応点Ｐ１を対応点Ｐ２に非線形に変換することによる手法を用いることができるが、これに限定されるものではない。
　第２の位置合わせ部２６は、第１の位置合わせ結果に基づいて、第１のステント領域Ａｓ１と第２のステント領域Ａｓ２とを位置合わせして第２の位置合わせ結果を取得する。図１０および図１１は第２の位置合わせ結果の取得を説明するための図である。本実施形態においては、第１の位置合わせ結果として、各対応点における変形ベクトルＶｍ１が算出されている。以下、変形ベクトルＶｍ１を第１の変形ベクトルＶｍ１と称する。第２の位置合わせ部２６は、図１０に示すように、第１のステント領域Ａｓ１における第１の管状モデルＭ１の対応点Ｐ１に対応する点Ｐｓ１を設定する。そして、第２の位置合わせ部２６は、第１の変形ベクトルＶｍ１に基づいて、第１のステント領域Ａｓ１に設定した点Ｐｓ１を移動して、移動後の点Ｐｓ１ｔを算出する。なお、第１の変形ベクトルＶｍ１に基づいて第１のステント領域Ａｓ１を変形すると、図１０に示すように変形後の第１のステント領域Ａｓｍ１を取得することができる。
　続いて、第２の位置合わせ部２６は、変形後の第１のステント領域Ａｓｍ１を第２のステント領域Ａｓ２に一致させるように非剛体位置合わせを行い、変形後の第１のステント領域Ａｓｍ１における各画素位置（ボクセル位置）を、第２のステント領域Ａｓ２における対応する画素位置に一致させるための変形ベクトルを第２の変形ベクトルＶｍ２として算出する。
　非剛体位置合わせとしては、例えばＢスプラインおよびシンプレートスプライン(Thin Plate Spline)等の関数を用いて、変形後の第１のステント領域Ａｓｍ１における各画素位置と、第２のステント領域Ａｓ２における対応する画素位置との相互情報量等の評価値が最適になるように、変形後の第１のステント領域Ａｓｍ１における各画素位置を、第２のステント領域Ａｓ２における対応する画素位置に非線形に変換することによる手法を用いることができるが、これに限定されるものではない。
　図１１は第２の位置合わせ結果の取得を説明するための図である。なお、図２においては、変形後の第１のステント領域Ａｓｍ１を破線で、第２のステント領域Ａｓ２を実線で、第２の変形ベクトルＶｍ２を実線の矢印で示している。また、実際には変形後の第１のステント領域Ａｓｍ１および第２のステント領域Ａｓ２における全画素位置について、第２の変形ベクトルＶｍ２が取得されるが、図１においては説明を簡単なものとするために、変形後の第１のステント領域Ａｓｍ１および第２のステント領域Ａｓ２における一部の画素位置についての第２の変形ベクトルＶｍ２のみを示している。
　次いで、本実施形態において行われる処理について説明する。図１２は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が３次元画像Ｇ１，Ｇ２を取得し（ステップＳＴ１）、管状領域取得部２２が、３次元画像Ｇ１，Ｇ２のそれぞれから第１のステント領域Ａｓ１および第２のステント領域Ａｓ２を取得する（ステップＳＴ２）。次いで、モデル設定部２３が、第１のステント領域Ａｓ１および第２のステント領域Ａｓ２のそれぞれに対して、ステント３１の面形状を表す第１の管状モデルＭ１および第２の管状モデルＭ１をそれぞれ設定する（ステップＳＴ３）。
　次いで、対応点設定部２４が、第１の管状モデルＭ１および第２の管状モデルＭ２のそれぞれに対して、互いに対応する複数の対応点Ｐ１，Ｐ２を設定する（ステップＳＴ４）。そして、第１の位置合わせ部２５が、対応点Ｐ１，Ｐ２に基づいて、第１の管状モデルＭ１と第２の管状モデルＭ２とを位置合わせして第１の位置合わせ結果を取得する（ステップＳＴ５）。さらに、第２の位置合わせ部２６が、第１の位置合わせ結果に基づいて、第１のステント領域Ａｓ１と第２のステント領域Ａｓ２とを位置合わせして第２の位置合わせ結果を取得し（ステップＳＴ６）、処理を終了する。
　このように、本実施形態においては、ステント３１を含む被検体についての撮影時期が異なる第１の３次元画像Ｇ１および第２の３次元画像Ｇ２のそれぞれから、位置合わせの対象となるステント３１を表す第１のステント領域Ａｓ１および第２のステント領域Ａｓ２を取得し、第１のステント領域Ａｓ１および第２のステント領域Ａｓ２のそれぞれに対して、ステント３１の面形状を表す第１の管状モデルＭ１および第２の管状モデルＭ２をそれぞれ設定する。そして、第１の管状モデルＭ１および第２の管状モデルＭ２のそれぞれに対して、互いに対応する複数の対応点Ｐ１，Ｐ２を設定し、対応点Ｐ１，Ｐ２に基づいて、第１の管状モデルＭ１と第２の管状モデルＭ２とを位置合わせして、第１の位置合わせ結果を取得するようにした。このため、操作者の手を煩わすことなく、第１の管状モデルＭ１および第２の管状モデルＭ２に対応点を設定することができる。また、設定された対応点Ｐ１，Ｐ２に基づくことにより、精度よく第１の位置合わせ結果を取得することができる。
　とくに、本実施形態においては、管状構造物がステント３１であるため、第１の管状モデルＭ１および第２の管状モデルＭ２を用いることにより、ステント３１の種類に応じた複数のモデルを用意する必要が無くなる。また、ステント３１の変形に基づく網目の形状および大きさを修正するためのパラメータを用いる必要も無くなる。したがって、第１の管状モデルＭ１および第２の管状モデルＭ２の位置合わせを、簡易かつ精度よく行うことができる。
　また、第１の位置合わせ結果に基づいて、第１の管状領域と第２の管状領域とを位置合わせして第２の位置合わせ結果を取得することにより、より少ない演算量にて第１のステント領域Ａｓ１と第２のステント領域Ａｓ２とを位置合わせすることができる。
　なお、上記実施形態においては、第１の位置合わせ結果として、第１の管状モデルＭ１に対する第２の管状モデルＭ２の移動量および変形量を第１の変形ベクトルＶｍ１として算出しているが、これに限定されるものではない。第１の位置合わせ結果として、第２の管状モデルＭ２に対する第１の管状モデルＭ１の移動量および変形量を第１の変形ベクトルＶｍ１として算出してもよい。
　また、上記実施形態においては、第２の位置合わせ結果として、変形後の第１のステント領域Ａｓｍ１に対する第２のステント領域Ａｓ２の移動量および変形量を第２の変形ベクトルＶｍ２として算出しているが、これに限定されるものではない。第２の位置合わせ結果として、第２のステント領域Ａｓ２に対する変形後の第１のステント領域Ａｓｍ１の移動量および変形量を第２の変形ベクトルＶｍ２として算出してもよい。
　また、上記実施形態においては、大動脈に留置されたステント３１についての第１の３次元画像Ｇ１および第２の３次元画像Ｇ２間の位置合わせ結果を取得しているが、ステントを留置する必要がある血管であれば、大動脈に限定されるものではない。例えば冠動脈または脳動脈等に留置されたステントの位置合わせを行う際にも、本実施形態を適用できる。
　また、上記実施形態においては、医用画像としてＣＴ画像を用いているが、これに限定されるものではなく、ＭＲＩ画像およびＰＥＴ画像等を医用画像として用いてもよい。
　また、上記実施形態においては、第１の管状モデルＭ１および第２の管状モデルＭ２に対して、対応点Ｐ１，Ｐ２を均等な間隔で設定しているが、これに限定されるものではない。第１の管状モデルＭ１および第２の管状モデルＭ２の間において位置が対応していれば、対応点Ｐ１，Ｐ２をランダムな間隔で設定してもよい。
　以下、本実施形態の作用効果について説明する。
　管状構造物がステントである場合、第１の管状モデルおよび第２の管状モデルを用いることにより、ステントの種類に応じた複数のモデルを用意する必要が無くなる。また、ステントの変形に基づく網目の形状および大きさを修正するためのパラメータを用いる必要も無くなる。したがって、第１の管状モデルおよび第２の管状モデルの位置合わせを簡易かつ精度よく行うことができる。
　また、第１の位置合わせ結果に基づいて、第１の管状領域と第２の管状領域とを位置合わせして第２の位置合わせ結果を取得することにより、より少ない演算量にて第１の管状領域と第２の管状領域とを位置合わせすることができる。
　　　１　　位置合わせ装置
　　　２　　３次元画像撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力部
　　　２１　　画像取得部
　　　２２　　管状領域取得部
　　　２３　　モデル設定部
　　　２４　　対応点設定部
　　　２５　　第１の位置合わせ部
　　　２６　　第２の位置合わせ部
　　　３１　　ステント
　　　３２　　血管
　　　４０　　ステント領域の中心線
　　　４１　　ステント領域の中心線に直交する断面
　　　４２　　網目を構成する金属の断面
　　　４３　　閉曲線
　　　Ａｓ１　　第１のステント領域
　　　Ａｓｍ１　　変形後の第１のステント領域
　　　Ａｓ２　　第２のステント領域
　　　Ｄ０，Ｄ８　　管状モデルの端面
　　　Ｄ１～Ｄ７　　管状モデルの断面
　　　Ｍ１　　第１の管状モデル
　　　Ｍ２　　第２の管状モデル
　　　Ｐ１，Ｐ２，Ｐ１０～Ｐ１８　　対応点
　　　Ｐｓ１　　点
　　　Ｖｍ１　　第１の変形ベクトル
　　　Ｖｍ２　　第２の変形ベクトル

Claims (10)

  1. 　管状構造物を含む被検体についての撮影時期が異なる第１の医用画像および第２の医用画像のそれぞれから、位置合わせの対象となる管状構造物を表す第１の管状領域および第２の管状領域を取得する管状領域取得部と、
    　前記第１の管状領域および前記第２の管状領域のそれぞれに対して、前記管状構造物の面形状を表す第１の管状モデルおよび第２の管状モデルをそれぞれ設定するモデル設定部と、
    　前記第１の管状モデルおよび前記第２の管状モデルのそれぞれに対して、互いに対応する複数の対応点を設定する対応点設定部と、
    　前記対応点に基づいて、前記第１の管状モデルと前記第２の管状モデルとを位置合わせして第１の位置合わせ結果を取得する第１の位置合わせ部とを備えた位置合わせ装置。
  2. 　前記第１の位置合わせ部は、非剛体位置合わせにより前記第１の位置合わせ結果を取得する請求項１に記載の位置合わせ装置。
  3. 　前記第１の位置合わせ結果は、前記第１の管状モデルおよび前記第２の管状モデルのいずれか一方に対する他方の移動量および変形量である請求項１または２に記載の位置合わせ装置。
  4. 　前記第１の位置合わせ結果に基づいて、前記第１の管状領域と前記第２の管状領域とを位置合わせして第２の位置合わせ結果を取得する第２の位置合わせ部をさらに備えた請求項１から３のいずれか１項に記載の位置合わせ装置。
  5. 　前記第２の位置合わせ部は、非剛体位置合わせにより前記第２の位置合わせ結果を取得する請求項４に記載の位置合わせ装置。
  6. 　前記第２の位置合わせ結果は、前記第１の管状領域および前記第２の管状領域のいずれか一方に対する他方の移動量および変形量である請求項４または５に記載の位置合わせ装置。
  7. 　前記対応点設定部は、前記第１の管状モデルおよび前記第２の管状モデルのそれぞれに対して、前記複数の対応点を均等な間隔で設定する請求項１から６のいずれか１項に記載の位置合わせ装置。
  8. 　前記第１および前記第２の医用画像がステントが留置された血管を含み、
    　前記管状構造物が前記ステントである請求項１から７のいずれか１項に記載の位置合わせ装置。
  9. 　管状構造物を含む被検体についての撮影時期が異なる第１の医用画像および第２の医用画像のそれぞれから、位置合わせの対象となる管状構造物を表す第１の管状領域および第２の管状領域を取得し、
    　前記第１の管状領域および前記第２の管状領域のそれぞれに対して、前記管状構造物の面形状を表す第１の管状モデルおよび第２の管状モデルをそれぞれ設定し、
    　前記第１の管状モデルおよび前記第２の管状モデルのそれぞれに対して、互いに対応する複数の対応点を設定し、
    　前記対応点に基づいて、前記第１の管状モデルと前記第２の管状モデルとを位置合わせして第１の位置合わせ結果を取得する位置合わせ方法。
  10. 　管状構造物を含む被検体についての撮影時期が異なる第１の医用画像および第２の医用画像のそれぞれから、位置合わせの対象となる管状構造物を表す第１の管状領域および第２の管状領域を取得する手順と、
    　前記第１の管状領域および前記第２の管状領域のそれぞれに対して、前記管状構造物の面形状を表す第１の管状モデルおよび第２の管状モデルをそれぞれ設定する手順と、
    　前記第１の管状モデルおよび前記第２の管状モデルのそれぞれに対して、互いに対応する複数の対応点を設定する手順と、
    　前記対応点に基づいて、前記第１の管状モデルと前記第２の管状モデルとを位置合わせして第１の位置合わせ結果を取得する手順とをコンピュータに実行させる位置合わせプログラム。
PCT/JP2018/042897 2018-02-09 2018-11-20 位置合わせ装置、方法およびプログラム WO2019155724A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019570306A JP6968209B2 (ja) 2018-02-09 2018-11-20 位置合わせ装置、方法およびプログラム
US16/937,603 US20200357127A1 (en) 2018-02-09 2020-07-24 Registration apparatus, registration method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018022470 2018-02-09
JP2018-022470 2018-10-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/937,603 Continuation US20200357127A1 (en) 2018-02-09 2020-07-24 Registration apparatus, registration method, and program

Publications (1)

Publication Number Publication Date
WO2019155724A1 true WO2019155724A1 (ja) 2019-08-15

Family

ID=67548386

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/042897 WO2019155724A1 (ja) 2018-02-09 2018-11-20 位置合わせ装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20200357127A1 (ja)
JP (1) JP6968209B2 (ja)
WO (1) WO2019155724A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011050590A (ja) * 2009-09-02 2011-03-17 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム
JP2013009956A (ja) * 2011-06-01 2013-01-17 Toshiba Corp 医用画像表示装置及び医用画像診断装置
JP2013524923A (ja) * 2010-04-21 2013-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 物体の物理的特性を決定するための方法、システム、コンピュータ読取可能媒体及びプログラム要素
WO2014196069A1 (ja) * 2013-06-06 2014-12-11 株式会社日立製作所 画像処理装置および画像処理方法
JP2016104121A (ja) * 2014-11-25 2016-06-09 株式会社東芝 医用画像処理装置および医用画像処理方法
JP2017217460A (ja) * 2016-06-06 2017-12-14 東芝メディカルシステムズ株式会社 医用情報処理装置、ｘ線ｃｔ装置及び医用情報処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011050590A (ja) * 2009-09-02 2011-03-17 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム
JP2013524923A (ja) * 2010-04-21 2013-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 物体の物理的特性を決定するための方法、システム、コンピュータ読取可能媒体及びプログラム要素
JP2013009956A (ja) * 2011-06-01 2013-01-17 Toshiba Corp 医用画像表示装置及び医用画像診断装置
WO2014196069A1 (ja) * 2013-06-06 2014-12-11 株式会社日立製作所 画像処理装置および画像処理方法
JP2016104121A (ja) * 2014-11-25 2016-06-09 株式会社東芝 医用画像処理装置および医用画像処理方法
JP2017217460A (ja) * 2016-06-06 2017-12-14 東芝メディカルシステムズ株式会社 医用情報処理装置、ｘ線ｃｔ装置及び医用情報処理プログラム

Also Published As

Publication number Publication date
JPWO2019155724A1 (ja) 2021-02-12
US20200357127A1 (en) 2020-11-12
JP6968209B2 (ja) 2021-11-17

Similar Documents

Publication Publication Date Title
JP2021106887A (ja) 医用画像表示装置、方法およびプログラム
JP2020025786A (ja) 画像処理装置、方法及びプログラム
US11393099B2 (en) Image segmentation and prediction of segmentation
JP6762305B2 (ja) 解剖学的構造の有限要素モデリング
JP6785976B2 (ja) 脳画像正規化装置、方法およびプログラム
US11464571B2 (en) Virtual stent placement apparatus, virtual stent placement method, and virtual stent placement program
JP6876200B2 (ja) 動的術中セグメンテーションデータに対する静的術前計画データの位置合わせ
WO2019155724A1 (ja) 位置合わせ装置、方法およびプログラム
JP7277652B2 (ja) 修正指示領域表示装置、方法およびプログラム
JP6877569B2 (ja) ずれ検出装置、方法およびプログラム
WO2022163513A1 (ja) 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置
US20210256741A1 (en) Region correction apparatus, region correction method, and region correction program
US20200170713A1 (en) Virtual stent placement apparatus, virtual stent placement method, and virtual stent placement program
Morais et al. Dense motion field estimation from myocardial boundary displacements
JP7309703B2 (ja) 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム
JP6739658B2 (ja) 医用画像処理装置、方法およびプログラム
JP6739411B2 (ja) 磁場歪み算出装置、方法およびプログラム
CN113412502A (zh) 患者特定皮质表面密铺为偶极子贴片
JP6548615B2 (ja) 磁場歪み算出装置、方法およびプログラム
JP2020054581A (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
JP7195458B2 (ja) 流体解析装置、方法およびプログラム
US20230206477A1 (en) Image processing method, image processing device, program, and trained model
JP7115891B2 (ja) 画像診断支援装置、方法およびプログラム
JP7342267B2 (ja) 領域修正装置、方法およびプログラム
JP6807981B2 (ja) 画像位置合わせ装置および方法並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18904901

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019570306

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18904901

Country of ref document: EP

Kind code of ref document: A1