WO2024024495A1 - 臓器変形推定装置、治療装置、治療支援装置、臓器変形推定方法、及びプログラム - Google Patents

臓器変形推定装置、治療装置、治療支援装置、臓器変形推定方法、及びプログラム Download PDF

Info

Publication number
WO2024024495A1
WO2024024495A1 PCT/JP2023/025588 JP2023025588W WO2024024495A1 WO 2024024495 A1 WO2024024495 A1 WO 2024024495A1 JP 2023025588 W JP2023025588 W JP 2023025588W WO 2024024495 A1 WO2024024495 A1 WO 2024024495A1
Authority
WO
WIPO (PCT)
Prior art keywords
organ
image
dimensional
treatment
photographed
Prior art date
Application number
PCT/JP2023/025588
Other languages
English (en)
French (fr)
Inventor
嘉宏 黒田
裕貴 原
倫之 角谷
玲 梅澤
啓一 神宮
Original Assignee
国立大学法人筑波大学
国立大学法人東北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人筑波大学, 国立大学法人東北大学 filed Critical 国立大学法人筑波大学
Publication of WO2024024495A1 publication Critical patent/WO2024024495A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs

Definitions

  • the present invention relates to an organ deformation estimation device, a treatment device, a treatment support device, an organ deformation estimation method, and a program.
  • Radiation therapy is currently widely used in cancer treatment because it can be performed without inserting a scalpel into the body.
  • the treatment results in radiotherapy depend on the intensity of radiation.
  • Some types of organs cannot be exposed to high doses of radiation.
  • the pancreas is an organ that is mostly located behind the stomach and is present in a wide range from the duodenum to the spleen.
  • the opening of the pancreatic duct is located in the duodenum, the pancreas and duodenum have a particularly close relationship. Therefore, high doses of radiation cannot be applied to the pancreas due to the risk of erroneous irradiation to other organs, making radiation treatment for pancreatic cancer more difficult than for cancers of other organs.
  • Patent Document 1 a technique for estimating the displacement of an organ using machine learning is known (Patent Document 1 or Non-Patent Document 1).
  • Technology that estimates organ displacement using machine learning expresses a variety of movements by simultaneously learning data from many patients.
  • the present invention has been made in view of the above points, and provides an organ deformation estimation device, a treatment device, a treatment support device, an organ deformation estimation method, and a program that can estimate the displacement of an organ from a small number of captured images in the process of treatment. I will provide a.
  • the present invention has been made to solve the above-mentioned problems, and one aspect of the present invention is to generate a three-dimensional image of an organ that has been photographed in advance before the treatment is performed; a three-dimensional model acquisition unit that acquires a three-dimensional model showing the shape of the organ at a time before the treatment; and a photographed image that acquires a photographed image that is a two-dimensional image of the inside of the organ during the treatment process.
  • an acquisition unit a partial image extraction unit that extracts from the three-dimensional image a partial image that is a two-dimensional image of a portion of the portion included in the three-dimensional image that corresponds to the internal position photographed in the photographed image; , a positioning unit that performs positioning of pixels forming the photographed image and pixels forming the partial image so that pixels indicating the same internal part are associated with each other; a target position calculation unit that calculates a target position of displacement of a portion of the portions constituting the three-dimensional model that corresponds to the interior;
  • An organ deformation estimating device comprising: a displacement estimating unit that estimates deformation of the organ during the treatment process by deforming the three-dimensional model based on a three-dimensional simulation so as to displace the position of the part to the target position. It is.
  • the organ in the organ deformation estimation device described above, includes the organ to be treated and another organ adjacent to the target organ.
  • the organ deformation estimation device described above further includes a three-dimensional image acquisition unit that acquires the three-dimensional image.
  • the displacement estimating section performs the three-dimensional simulation based on a mesh-free method.
  • the organ deformation estimating device described above further includes a slice selection unit that selects a photographed slice to be photographed as the photographed image from inside the organ.
  • the slice selection unit selects one or more slices from among the slices as candidates for the photographed slice for each of one or more slice directions and one or more positions in the slice direction.
  • the estimated deformation of the organ when a two-dimensional image obtained for the candidate cross section from the correct data, which is a three-dimensional image that is a three-dimensional image that is randomly deformed to the three-dimensional image, is used instead of the photographed image.
  • the imaging tomogram is selected based on the error of the estimation result with respect to the correct data.
  • one aspect of the present invention is a treatment device including the above-described organ deformation estimation device.
  • one aspect of the present invention is a treatment support device including the above-described organ deformation estimation device.
  • one aspect of the present invention provides a three-dimensional model that is generated based on a three-dimensional image of the organ that has been photographed in advance at a time before the treatment is performed, and that shows the shape of the organ at the time before the treatment is performed.
  • a three-dimensional model acquisition step of acquiring a three-dimensional model a photographed image acquiring step of acquiring a photographed image that is a two-dimensional image of the inside of the organ in the course of the treatment, and a photographed image acquiring step of acquiring a photographed image that is a two-dimensional image of the inside of the organ in the course of the treatment; a partial image extraction step of extracting a partial image, which is a two-dimensional image of a portion corresponding to a position of the interior photographed in the photographed image, from the three-dimensional image; and a partial image extraction step of extracting from the three-dimensional image a partial image that is a two-dimensional image of a portion corresponding to the position of the interior photographed in the photographed image; a positioning step of positioning pixels constituting the captured image and pixels constituting the partial image; and a positioning step of aligning pixels constituting the photographed image and pixels constituting the partial image, and matching the inside of the part constituting the three-dimensional model based on the result of the positioning.
  • the computer generates the three-dimensional image based on a three-dimensional image of the organ taken in advance at a time before the treatment is performed, and shows the shape of the organ at the time before the treatment is performed.
  • a 3D model acquisition step of acquiring a 3D model a photographed image acquisition step of acquiring a photographed image that is a 2D image of the inside of the organ during the treatment process; and a portion included in the 3D image.
  • a partial image extraction step of extracting a partial image, which is a two-dimensional image of a portion corresponding to a position of the interior photographed in the photographed image, from the three-dimensional image; and a partial image extraction step in which pixels indicating the same portion of the interior correspond to each other.
  • the program is a program for executing a displacement estimating step of estimating deformation of the organ in the course of the treatment by deforming the three-dimensional model based on a three-dimensional simulation.
  • the displacement of an organ can be estimated from a small number of captured images during the treatment process.
  • FIG. 3 is a diagram showing an overview of organ deformation estimation processing according to the first embodiment of the present invention.
  • FIG. 2 is a diagram for explaining an overview of the Material Point Method according to the first embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a functional configuration of an organ deformation estimation system according to a first embodiment of the present invention. It is a figure showing an example of the flow of organ deformation estimation processing concerning a 1st embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of an overall algorithm for three-dimensional simulation according to the first embodiment of the present invention.
  • FIG. 3 is a diagram showing parameters according to an example of the first embodiment of the present invention.
  • FIG. 3 is a diagram showing a three-dimensional model before being driven according to an example of the first embodiment of the present invention.
  • FIG. 3 is a diagram showing a three-dimensional model after being driven according to an example of the first embodiment of the present invention. It is a figure which shows one example with high precision among the results of applying the organ deformation estimation process based on the Example of the 1st Embodiment of this invention. It is a figure showing one example of low accuracy among the results of applying the organ deformation estimation process according to the example of the first embodiment of the present invention.
  • FIG. 7 is a box plot showing the distribution of errors resulting from the organ deformation estimation process according to the example of the first embodiment of the present invention.
  • FIG. 7 is a diagram showing an example of the flow of a fault selection process when the number of faults is finite and all the faults can be searched according to the second embodiment of the present invention.
  • FIG. 7 is a diagram for explaining an example of a fault selection process when the faults are finite and cannot be fully searched, or when the faults are not finite, according to the second embodiment of the present invention.
  • FIG. 7 is a diagram showing errors and fault numbers for each of five examples of correct data according to an example of the second embodiment of the present invention.
  • estimating the displacement of each part constituting an organ as a three-dimensional shape is referred to as estimating the deformation of the organ shape or estimating the deformation of the organ.
  • a cross section of an organ is called an organ cross section.
  • the process of estimating the deformation of the shape of an organ is referred to as an organ deformation estimation process.
  • an example in which the organ deformation estimation process is applied to radiation therapy will be described, but the organ deformation estimation process may be applied to treatments other than radiation therapy.
  • FIG. 1 is a diagram showing an overview of organ deformation estimation processing according to the present embodiment.
  • a three-dimensional image A1 of the organ is photographed in advance before radiation therapy is performed.
  • a three-dimensional model B1 of an organ is generated from the three-dimensional image A1.
  • the three-dimensional model B1 is driven by three-dimensional simulation.
  • the photographed image C1 is used when driving the three-dimensional model B1 by three-dimensional simulation.
  • the photographed image C1 is a two-dimensional image obtained by photographing a cross section of an organ during radiotherapy.
  • the two-dimensional image corresponding to the tomographic image taken in the photographed image C1 of the three-dimensional image A1 is aligned with the photographed image C1.
  • the displacement of the position of each section of the tomogram from the position before treatment due to the deformation of the organ during treatment is calculated.
  • a portion of the three-dimensional model B1 corresponding to the tomographic image taken in the photographed image C1 is displaced by a three-dimensional simulation by a displacement calculated by alignment.
  • the portion of the three-dimensional model B1 other than the portion corresponding to the fault is displaced following the displacement of the portion corresponding to the fault.
  • the overall displacement of the three-dimensional shape of the organ is estimated from the photographed image C1 in which the tomography of the organ is taken.
  • the pancreas is treated as an example of an organ whose deformation is to be estimated.
  • the pancreas is adjacent to surrounding organs, and it is generally difficult to estimate the deformation of the organ while taking into account spontaneous movement and contact with surrounding organs.
  • the deformation of the shape of the pancreas is estimated with high accuracy by taking into consideration the fact that the pancreas is adjacent to surrounding organs.
  • the pancreas and surrounding organs are each modeled as a three-dimensional model, and a three-dimensional simulation is performed.
  • the deformation of the shape of the organ is estimated by performing a three-dimensional simulation that takes into account the contact between the pancreas and surrounding organs, using the position information of the pancreas and surrounding organs obtained from tomographic images. .
  • MPM Material Point Method
  • FIG. 2 is a diagram for explaining an overview of the MPM according to this embodiment.
  • MPM uses particles to track the position, mass, velocity, deformation gradient, etc. of an object. In other words, particles carry physical information about objects.
  • MPM uses grid points to update particle information based on conservation laws and constitutive laws. The constitutive law depends on the object in question.
  • the law of conservation is common to all objects, and the law of conservation of mass, the law of conservation of momentum, and the law of conservation of angular momentum are used.
  • the law of conservation of mass and the law of conservation of momentum are expressed by the following equations (1) and (2), respectively.
  • MPM can be said to be a calculation method that combines Eulerian and Lagrangian viewpoints. Furthermore, since the object is discretized using particles, MPM has the advantage of the particle method.
  • FIG. 2(A) shows the position of the particles before deformation.
  • FIG. 2(B) shows a state in which physical information carried by particles is transmitted to lattice points.
  • FIG. 2C shows a state in which the positions of lattice points are updated based on the conservation law and the constitutive law, and the positions of particles are updated based on physical information transmitted from the lattice points to the particles.
  • FIG. 2(D) shows the position of the particles after deformation.
  • FIG. 3 is a diagram showing an example of the functional configuration of the organ deformation estimation system 1 according to the present embodiment.
  • the organ deformation estimation system 1 includes an organ deformation estimation device 2, a three-dimensional image supply section 3, and a captured image supply section 40.
  • the photographed image supply unit 40 is included in the radiation therapy apparatus 4.
  • the organ deformation estimation device 2 performs organ deformation estimation processing.
  • the organ deformation estimation device 2 is, for example, a computer such as a personal computer (PC), a workstation, or a server.
  • the organ deformation estimating device 2 is, for example, a computer separate from the radiation therapy device 4, but it may also be built into the console of the radiation therapy device 4 and provided integrally with the radiation therapy device 4.
  • the three-dimensional image supply unit 3 supplies the three-dimensional image A1 to the organ deformation estimation device 2.
  • the three-dimensional image supply unit 3 is a medical imaging device.
  • the three-dimensional image supply unit 3 is, for example, a nuclear magnetic resonance imaging (MRI) device.
  • MRI nuclear magnetic resonance imaging
  • the radiation therapy apparatus 4 is an apparatus (MR-Linac) that performs radiation therapy while capturing MR (Magnetic Resonance) images in real time. Therefore, the radiation therapy device 4 includes a function as a medical imaging device. Note that in this embodiment, the three-dimensional image supply section 3 is separate from the radiation therapy apparatus 4, but the three-dimensional image supply section 3 may be included in the radiation therapy apparatus 4.
  • the three-dimensional image supply unit 3 may be a computed tomography (CT) device.
  • CT computed tomography
  • the radiation therapy device 4 may be a device that performs radiation therapy while capturing CT images in real time.
  • the radiation therapy device 4 may be a device (Linac) that performs radiation therapy while photographing the organ to be treated using X-rays in real time.
  • the organ deformation estimation device 2 includes a control section 20 and a storage section 21.
  • the control unit 20 includes, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field-programmable Gate Array), or a RAM (Random Access Me). mory), etc., to perform various calculations and send and receive information. conduct.
  • Each functional unit included in the control unit 20 is realized by a CPU (Central Processing Unit) reading a program from a ROM (Read Only Memory) and executing processing.
  • the ROM is included in the storage section 21.
  • the control unit 20 includes a three-dimensional image acquisition unit 200, a three-dimensional model generation unit 201, a three-dimensional model acquisition unit 202, a partial image extraction unit 203, a captured image acquisition unit 204, a positioning unit 205, and a target image acquisition unit 200. It includes a position calculation section 206, a displacement estimation section 207, and an output section 208.
  • the three-dimensional image acquisition unit 200 acquires the three-dimensional image A1 from the three-dimensional image supply unit 3.
  • the three-dimensional image A1 is a three-dimensional image of an organ that has been photographed in advance before the organ is irradiated with radiation during radiotherapy.
  • the organ consists of the pancreas, which is the target organ of radiation therapy, and other organs adjacent to the pancreas (peripheral organs).
  • the three-dimensional image acquisition unit 200 causes the storage unit 21 to store the acquired three-dimensional image A1. Note that other organs (peripheral organs) adjacent to the organ targeted for radiation therapy may or may not be in contact with the organ targeted for radiation therapy.
  • the three-dimensional model generation unit 201 generates a three-dimensional model B1 based on the three-dimensional image A1.
  • the three-dimensional model B1 is a three-dimensional model that shows the shape of the organ before radiation therapy is performed.
  • the three-dimensional model generation unit 201 causes the storage unit 21 to store the generated three-dimensional model B1.
  • the three-dimensional model acquisition unit 202 acquires the three-dimensional model B1 generated by the three-dimensional model generation unit 201.
  • the three-dimensional model acquisition unit 202 supplies the acquired three-dimensional model B1 to the displacement estimation unit 207.
  • the three-dimensional model B1 may be generated by a computer separate from the organ deformation estimation device 2.
  • the three-dimensional model generation unit 201 may be omitted from the configuration of the organ deformation estimation device 2, and the three-dimensional model acquisition unit 202 acquires the three-dimensional model B1 from the computer.
  • the partial image extraction unit 203 extracts the partial image D1 from the three-dimensional image A1.
  • the partial image D1 is a two-dimensional image of a portion included in the three-dimensional image A1 that corresponds to the internal position of the organ photographed in the photographed image C1.
  • the inside of an organ is a cross section of the organ.
  • the position of the cross section of the organ is determined in advance.
  • Information indicating the position of the fault is stored in advance in the storage unit 21 as fault position information E1.
  • the cross section of an organ is, for example, a cross section in a direction passing through the center of gravity of the organ (pancreas) to be treated with radiation.
  • the cross-section in the direction passing through the center of gravity can be arbitrary, but for example, it can be a cross-section in any one of the three axes when three-dimensional orthogonal coordinates are set, a patient's axial cross-section, a coronal cross-section, or a sagittal cross-section. be.
  • the cross-section of the organ may be determined so that the area of the cross-section of the organ (pancreas) targeted for radiation treatment is maximized.
  • the direction passing through the center of gravity may be a direction including a position where the organ to be treated with radiation (pancreas) and a peripheral organ are in contact with each other.
  • the direction passing through the center of gravity may be the direction in which the distance between the parts (particles) that are closest to each other in the part that constitutes the organ to be treated with radiation therapy (pancreas) and the part that constitutes the surrounding organs may be the shortest. .
  • the position of the organ cross section may be determined so that the cross section includes (labels of) more types (number) of organs. Further, the positions of the tomographic sections of the organs may be determined so that the tomographic sections include the organs as evenly as possible in area.
  • the photographed image acquisition unit 204 acquires the photographed image C1.
  • the photographed image C1 is a two-dimensional image of the inside (cross section) of an organ taken during the course of radiotherapy.
  • the captured image C1 is a tomographic image in which a tomographic section of an organ is captured.
  • the alignment unit 205 aligns the pixels that make up the photographed image C1 and the pixels that make up the partial image D1 so that pixels indicating the same part inside the organ (cross section) are associated with each other.
  • the target position calculating unit 206 calculates the target position of the displacement of the part corresponding to the inside (cross section) of the organ among the parts forming the three-dimensional model B1 based on the result of the positioning performed by the positioning unit 205. do.
  • the displacement estimation unit 207 estimates the deformation of an organ during the course of radiation therapy based on three-dimensional simulation.
  • the displacement estimating unit 207 uses the three-dimensional simulation to displace the position of the part corresponding to the interior (fault) of the parts constituting the three-dimensional model B1 to the target position calculated by the target position calculating unit 206.
  • the displacement estimation unit 207 performs three-dimensional simulation based on the mesh-free method.
  • An example of the mesh-free method is MPM.
  • the output unit 208 outputs the result of the estimation of the deformation of the organ by the displacement estimation unit 207 to the radiation therapy apparatus 4 as the estimation result F1.
  • the estimation result F1 includes, for example, one or more of a deformed tomographic image, a deformed three-dimensional model, and a deformed three-dimensional label.
  • the three-dimensional label indicates the target location within the organ that emits the radiation.
  • the three-dimensional model includes, for example, pixel value information of the three-dimensional image A1, information on the three-dimensional label, and the like. Therefore, when a three-dimensional model is output, this corresponds to outputting the deformed tomographic image and three-dimensional label information as well.
  • the radiotherapy apparatus 4 changes the three-dimensional label planned in advance in real time during the course of radiotherapy based on the estimation result F1.
  • the storage unit 21 stores various information.
  • the information stored in the storage unit 21 includes a three-dimensional image A1, a three-dimensional model B1, and tomographic position information E1.
  • the storage unit 21 is configured using a storage device such as a magnetic hard disk device or a semiconductor storage device.
  • the organ deformation estimating device 2 and the three-dimensional image supply unit 3 may be connected to each other via a cable to communicate, or may communicate via a wireless network such as a LAN (Local Area Network).
  • a wireless network such as a LAN (Local Area Network).
  • the three-dimensional image A1 captured by the three-dimensional image supply unit 3 may be stored in an external storage device and then supplied to the organ deformation estimation device 2 via the external storage device. In that case, the three-dimensional image A1 may be transferred from the external storage device to the organ deformation estimation device 2 by the user.
  • the organ deformation estimating device 2 and the radiation therapy device 4 may be connected to each other via a cable to communicate, or may communicate via a wireless network such as a LAN.
  • FIG. 4 is a diagram illustrating an example of the flow of organ deformation estimation processing according to the present embodiment.
  • the organ deformation estimation process consists of pre-treatment processing, calibration, and in-treatment processing.
  • Step S10 The organ deformation estimation system 1 executes treatment pre-processing.
  • Pretreatment treatment is performed at a time before radiation therapy is performed.
  • the treatment preprocessing is processing for creating a three-dimensional model B1 from the three-dimensional image A1.
  • the period before radiation therapy is performed for example, is one day before radiation therapy is performed.
  • the state of the organ is required to remain unchanged as much as possible between the period before radiation therapy and during the radiation therapy process. Therefore, it is preferable that the pretreatment treatment be performed immediately before radiation therapy.
  • the pre-treatment treatment may be performed, for example, after the start of the radiotherapy, as long as it is before the organ is irradiated with radiation in the radiotherapy. In that case, the three-dimensional image A1 is photographed in advance after the radiation therapy is started and before the calibration is performed.
  • each process from step S110 to step S140 is executed.
  • Step S110 The three-dimensional image supply unit 3 photographs the three-dimensional image A1.
  • the three-dimensional image supply unit 3 photographs a three-dimensional image A1 of an organ using, for example, MRI.
  • Step S120 The three-dimensional image acquisition unit 200 acquires the three-dimensional image A1 from the three-dimensional image supply unit 3.
  • Step S130 The three-dimensional model generation unit 201 extracts the outline of the organ from the three-dimensional image A1 based on one or more processes of segmentation and contouring.
  • the outlines of the pancreas and the stomach as a peripheral organ are extracted.
  • the contours include an external contour and an internal contour of the organ.
  • Step S140 The three-dimensional model generation unit 201 generates a three-dimensional model B1 based on the extracted outline of the organ.
  • the three-dimensional model B1 is a three-dimensional model of the pancreas and stomach.
  • the three-dimensional model B1 is, for example, a three-dimensional model in which each part of the organ is replaced with particles and the shape of the organ is discretized.
  • the three-dimensional model B1 includes multiple organs, which of the multiple organs a particle is included in in the three-dimensional model B1 depends on the particle. They can be identified by being given labels indicating their organs. In an example of the present embodiment, it is possible to identify which organ of the pancreas or the stomach the particles included in the three-dimensional model B1 belong to.
  • the three-dimensional model generation unit 201 causes the storage unit 21 to store the generated three-dimensional model B1.
  • Step S20 The organ deformation estimation system 1 performs calibration. Calibration is performed at the beginning of radiation treatment.
  • the initial stage of radiation therapy is, for example, immediately after the radiation therapy is started.
  • the three-dimensional image A1 and the photographed image C1 taken during the treatment process are taken by different devices (in this embodiment, the three-dimensional image supply unit 3 and the radiation therapy device 4). Furthermore, the three-dimensional image A1 and the photographed image C1 taken in the course of treatment may be photographed in different positions of organs. Therefore, in order to perform a three-dimensional simulation of an organ, it is necessary to associate the photographed image C1 taken during the treatment process with the three-dimensional model B1 with respect to the position of each part of the organ.
  • a portion corresponding to the tomogram photographed in the photographed image C10 is selected from among the portions constituting the three-dimensional model B1.
  • each process from step S210 to step S240 is executed.
  • Step S210 The radiotherapy apparatus 4 captures a captured image C10 at the beginning of radiotherapy.
  • the radiation therapy apparatus 4 uses, for example, MRI to image a tomographic image of an organ as a captured image C10.
  • Step S220 The photographed image acquisition unit 204 acquires the photographed image C10 from the radiation therapy apparatus 4.
  • Step S230 The partial image extraction unit 203 extracts a partial image D1, which is a two-dimensional image of a portion corresponding to the position of the tomogram photographed in the captured image C10, from the three-dimensional image A1, out of the portion included in the three-dimensional image A1.
  • the partial image extraction unit 203 reads the three-dimensional image A1 and the tomographic position information E1 from the storage unit 21.
  • the partial image extraction unit 203 extracts a photographed image C10 from among the portions included in the three-dimensional image A1 based on the read three-dimensional image A1, the tomographic position information E1, and the photographed image C10 acquired by the photographed image acquisition unit 204. Select the part corresponding to the internal position of the organ photographed.
  • a portion included in the three-dimensional image A1 is selected as a two-dimensional image included in the three-dimensional image A1.
  • the process of selecting the part may include, for example, a process of determining a direction in the three-dimensional image A1 that corresponds to the direction of the normal to the plane of the tomogram photographed in the photographed image C10.
  • Step S240 The partial image extraction unit 203 selects a portion corresponding to the tomogram photographed in the photographed image C10 from among the portions constituting the three-dimensional model B1.
  • Step S30 The organ deformation estimation system 1 executes an in-treatment process.
  • the in-treatment process a three-dimensional simulation of the three-dimensional model B1 is executed.
  • In-treatment processing is repeatedly performed during the course of radiation therapy.
  • the in-treatment process is executed in real time every time the radiotherapy apparatus 4 captures a tomographic image C1 of an organ. Note that the in-treatment process does not have to be performed for each of all the captured images C1.
  • the processing during treatment may be executed, for example, once every time the captured image C1 is captured N times (N is a natural number of 2 or more).
  • the in-treatment process may be performed at least once during the course of treatment.
  • Each process from step S310 to step S350 is executed as the process during treatment.
  • Step S310 The radiotherapy apparatus 4 captures a captured image C11 in the course of radiotherapy.
  • the radiation therapy apparatus 4 uses, for example, MRI to photograph a tomographic image of an organ as a photographed image C11.
  • Step S320 The photographed image acquisition unit 204 acquires the photographed image C11 from the radiation therapy apparatus 4.
  • Step S330 The alignment unit 205 aligns the captured image C11 and the partial image D1.
  • the alignment unit 205 aligns the pixels that make up the photographed image C11 and the pixels that make up the partial image D1 so that pixels indicating the same part of the cross section of the organ are associated with each other.
  • Partial image D1 is a two-dimensional image selected in step S230 of calibration.
  • the degree of freedom of deformation differs depending on what kind of function is assumed for the deformation function T (T with a hat in Equation (5)), and there is rigid deformation that only allows translation and rotation, or non-rigid deformation.
  • non-rigid deformations there are many models such as those assuming affine transformation and those assuming B-spline transformation.
  • the transformation function T (T with a hat in Equation (5)) is an affine transformation, but it may be a rigid transformation, a B-spline transformation, or another transformation.
  • a predetermined three-dimensional medical image alignment library may be used for alignment.
  • elastix is used as an example of the three-dimensional medical image alignment library.
  • elastix is a toolbox that supports multiple medical images and allows alignment of two-dimensional images using various types of deformation and evaluation indexes, regardless of whether they are rigid or non-rigid.
  • MI Magnetic Information
  • affine transformation matrix A and translation vector t are used as input to the three-dimensional simulation.
  • x is the position vector of the pixel
  • c is the position vector of the center of the image.
  • Step S340 The target position calculating unit 206 calculates the target position of the displacement of the part corresponding to the cross section of the organ among the parts forming the three-dimensional model B1 based on the result of the positioning by the positioning unit 205. do.
  • the target position calculation unit 206 calculates the target position of particles existing in a portion of the three-dimensional model B1 that corresponds to the cross section photographed in the photographed image C11.
  • the target position calculation unit 206 uses the above-described affine transformation matrix A and translation vector t to calculate the target position, for example.
  • Step S350 The displacement estimating unit 207 estimates the deformation of the pancreas during the course of radiotherapy based on the three-dimensional simulation using MPM.
  • contact between organs can be handled without changing the MPM algorithm from the case where there is no contact between organs.
  • the pancreas and stomach are modeled as linear elastic bodies, and one particle is assigned to each pixel.
  • N particles may be assigned to M pixels (M and N are natural numbers).
  • the three-dimensional model B1 is driven by applying a force expressed by equation (8) to each particle until the difference between the current position and the target position becomes less than a threshold value.
  • xtar is the target position
  • xcur is the position vector of the current position
  • Kp is the coefficient for the proportional term
  • Ki is the coefficient for the integral term
  • Kd is the coefficient for the differential term. Note that the entire algorithm of the three-dimensional simulation is shown in FIG.
  • the displacement estimation unit 207 In the three-dimensional simulation performed by the displacement estimation unit 207, contact between the organ targeted for radiation therapy (pancreas) and the surrounding organ (stomach) was taken into consideration. Therefore, in the organ deformation estimation process, it is possible to express, as deformation of the organ targeted for radiation therapy, deformation that does not have periodicity due to the positional relationship with surrounding organs and the movement of the surrounding organs.
  • Step S360 The output unit 208 outputs the estimation result F1 to the radiation therapy apparatus 4.
  • the three-dimensional label included in the estimation result F1 indicates a pixel corresponding to a region to be irradiated with radiation among the pixels of the three-dimensional image A1 in which an organ is photographed.
  • the three-dimensional label may be specified using particles that constitute the three-dimensional model B1.
  • the three-dimensional labels may include not only labels for the organ targeted for radiation therapy but also labels for surrounding organs.
  • a plurality of captured images C11 may be used for one three-dimensional simulation.
  • the plurality of photographed images C11 may be, for example, a plurality of tomographic images in which the normal direction of the tomographic line is the same and the positions of the tomographic lines are different from each other with respect to the direction, or a plurality of tomographic images in which the normal direction of the tomographic line is different from each other. This includes multiple tomographic images of tomographic images.
  • the position of the tomographic plane may be determined based on the captured image C10 captured in step S210. In that case, the position of the tomographic image taken in the photographed image C10 is determined, and information indicating the determined position of the tomographic area is set as the tomographic position information E1.
  • the tomographic position information E1 may be calculated after the treatment pre-processing and before the calibration. The case where the tomographic position information E1 is calculated will be described later in the second embodiment.
  • the captured image C1 is an MR image
  • the photographed image C1 may be a CT image.
  • the MR image has higher contrast than the CT image, it is preferable to use the MR image as the captured image C1.
  • the MPM algorithm described above is just an example, and may be used with various modifications. Further, in this embodiment, an example in which a three-dimensional simulation is performed based on MPM has been described, but the present invention is not limited to this. Three-dimensional simulation may be performed based on a mesh-free method other than MPM. Moreover, three-dimensional simulation may be performed based on a method other than the mesh-free method.
  • the three-dimensional model B1 is a three-dimensional model in which each part of the organ is replaced with particles and is discretized, but the three-dimensional model B1 is modified according to the method used for the three-dimensional simulation. Ru.
  • the organ consists of the organ targeted for radiation therapy and other organs adjacent to the targeted organ, and a three-dimensional simulation is performed in which contact between the organs is taken into account.
  • the organs may consist only of organs targeted for radiation therapy.
  • the organ may be only the pancreas.
  • the target organ for radiation therapy may be an organ other than the pancreas, such as the duodenum, spleen, and brain.
  • step S230 described above in order to select a portion corresponding to the internal position of the organ photographed from the three-dimensional image A1 to the photographed image C10, an may be used. In that case, from the three-dimensional image A1, the two-dimensional image that most matches the X-ray image is selected as the partial image D1.
  • the organ deformation estimation device 2 is an organ deformation estimation device in radiation therapy, and includes a three-dimensional image acquisition section 200, a three-dimensional model acquisition section 202, and a partial image extraction section 203. , a captured image acquisition section 204 , a position alignment section 205 , a target position calculation section 206 , and a displacement estimation section 207 .
  • the three-dimensional image acquisition unit 200 acquires a three-dimensional image A1 of an organ (in this embodiment, the pancreas) that is photographed in advance before the organ is irradiated with radiation during radiation therapy.
  • the three-dimensional model acquisition unit 202 acquires a three-dimensional model B1 that is generated based on the three-dimensional image A1 and represents the shape of an organ (in this embodiment, the pancreas) at a time before radiation therapy is performed.
  • the photographed image acquisition unit 204 acquires a photographed image C1 that is a two-dimensional image of the inside (in this embodiment, a tomographic image) of an organ (in this embodiment, the pancreas) during the course of radiotherapy.
  • the partial image extraction unit 203 extracts a partial image D1, which is a two-dimensional image of a portion corresponding to the position of the interior (in this embodiment, a tomographic section) photographed in the captured image C1, out of the portion included in the three-dimensional image A1.
  • the alignment unit 205 aligns the pixels that make up the photographed image C1 and the pixels that make up the partial image D1 so that pixels indicating the same internal portion (in this embodiment, a tomographic section) are associated with each other. .
  • the target position calculation unit 206 calculates a displacement target for a portion corresponding to the interior (in this embodiment, a tomographic section) of the portion constituting the three-dimensional model B1 based on the result of alignment by the alignment unit 205. Calculate the position.
  • the displacement estimating unit 207 calculates the three-dimensional model B1 so as to displace the position of the portion corresponding to the interior (in this embodiment, the fault) to the target position calculated by the target position calculating unit 206.
  • the organ deformation estimating device 2 can determine the position of the portion corresponding to the inside of the organ (in the present embodiment, a cross section) among the portions constituting the three-dimensional model B1 during the course of radiotherapy.
  • a three-dimensional simulation (MPM in this embodiment) is performed to displace the inside of an organ (in this embodiment, pancreas) (in this embodiment, a cross section) to a target position calculated using the captured image C1.
  • the organ deformation estimating device 2 can estimate the displacement of an organ from a small number of captured images in the course of radiotherapy.
  • the small number of images refers to the number of images that can be taken during the course of radiotherapy, and is one to several (such as about two to three).
  • radiation therapy is an example of treatment.
  • the period before an organ is irradiated with radiation in radiation therapy is an example of the period before treatment is performed.
  • the three-dimensional image acquisition unit 200 may be omitted from the configuration of the organ deformation estimation device 2.
  • MR-Linac which performs radiation therapy while capturing MR images of tomographic images of organs in real time
  • MR-Linac which performs radiation therapy while capturing MR images of tomographic images of organs in real time
  • the organ deformation estimation device 2 when only a few tomographic images can be taken, the displacement of the organ during the radiation treatment process is estimated and the three-dimensional label for emitting radiation is changed in real time. It is especially suitable for use.
  • a first example which is an example of the first embodiment, will be described.
  • one tomographic image in which a tomographic image of the center of the volume where an organ is present is used as the photographed image C1 used for positioning the two-dimensional images.
  • the Multi-Atlas Labeling Beyond the Cranial Vault segmentation challenge dataset was used for the images of the organs.
  • MATLAB registered trademark
  • FIG. 6 shows the parameters used in this example.
  • FIGS. 7 and 8 show how the three-dimensional model B1 is driven by the three-dimensional simulation.
  • FIGS. 7 and 8 each show a three-dimensional orthogonal coordinate system (XYZ coordinate system).
  • XYZ coordinate system In the three-dimensional orthogonal coordinate system, the Z-axis direction is perpendicular to the fault, and the X-axis and Y-axis directions are parallel to the plane of the fault.
  • Figure 7 shows the three-dimensional model before being driven.
  • the three-dimensional model B21 is a three-dimensional model of the pancreas before being driven.
  • the three-dimensional model B31 is a three-dimensional model of the stomach before being driven.
  • FIG. 8 shows the three-dimensional model B12 after being driven.
  • the three-dimensional model B22 is a three-dimensional model of the pancreas after being driven.
  • the three-dimensional model B32 is a three-dimensional model of the stomach after being driven.
  • the target position T1 indicates a target position for displacing the portion of the three-dimensional model B11 that corresponds to the fault.
  • the portion corresponding to the fault is displaced to the target position T1 by the three-dimensional simulation using MPM, the portions of the three-dimensional model B11 other than the portion corresponding to the fault are also displaced following the same.
  • the Ground Truth was created by applying a random in-plane force to each particle constituting the three-dimensional model B1 to deform it.
  • the error ⁇ used in this example is expressed by equation (10).
  • n is the total number of particles in the physical model
  • xgt,i is the position vector of the i-th particle in GT
  • xest,i is the position vector of the i-th particle estimated by the organ deformation estimation process.
  • organ deformation estimation processing was applied to data of 20 cases. Results for one example of high accuracy and one example of low accuracy among the 20 examples of data are shown in FIGS. 9 and 10, respectively.
  • data only for estimation processing is data indicating positions that are not included in GT among the positions estimated by organ deformation estimation processing.
  • GT-only data is data indicating a position that was not estimated by the organ deformation estimation process among the GT data.
  • Estimation processing and GT data is data indicating positions included in GT among the positions estimated by organ deformation estimation processing.
  • the displacement can be estimated with high accuracy, although some errors can be seen in the surface portion.
  • the error that exists in the surface portion is thought to be due to the boundary condition being defined only by contact with other organs. It is thought that errors can be reduced by increasing the number of surrounding organs considered or by changing the contact algorithm to one with higher accuracy.
  • FIG. 10 it can be seen that errors occur particularly at both ends of the organ.
  • a tomographic image at the center of the region where the pancreas is present was used. It is considered that the axial direction of the fault to be used and which fault to select in each axial direction are important.
  • FIG. 11 shows the errors resulting from the organ deformation estimation process for the data of 20 cases.
  • FIG. 11 is a boxplot showing the distribution of errors in the 20 cases.
  • the pancreas position error due to the organ deformation estimation process was 12.7 ⁇ 6.93 (pixels).
  • the position error of the pancreas was 21.3 ⁇ 9.30 (pixels) when contact with surrounding organs was not considered.
  • the positional error of the pancreas resulting from alignment of the three-dimensional images was 1.97 ⁇ 0.981 (pixels). In terms of average values, it was not possible to achieve accuracy that was close to the result obtained by aligning three-dimensional images. However, looking at FIG.
  • organ deformation estimation processing can achieve accuracy close to the result obtained by aligning three-dimensional images. A method for selecting an appropriate fault will be described later.
  • FIG. 12 is a diagram showing an example of the functional configuration of the organ deformation estimation system 1a according to the present embodiment.
  • the organ deformation estimation system 1a includes an organ deformation estimation device 2a, a three-dimensional image supply section 3, and a photographed image supply section 40.
  • the organ deformation estimation device 2 includes a control section 20a and a storage section 21a.
  • the control unit 20a includes a three-dimensional image acquisition unit 200, a three-dimensional model generation unit 201, a three-dimensional model acquisition unit 202, a partial image extraction unit 203, a captured image acquisition unit 204, a position alignment unit 205, and a target image acquisition unit 200. It includes a position calculation section 206, a displacement estimation section 207, an output section 208, and a fault selection section 209a. Comparing the control section 20a (FIG. 12) according to the present embodiment and the control section 20 (FIG. 3) according to the first embodiment, the fault selection section 209a is different.
  • the cross section selection unit 209a selects a photographed cross section to be photographed as the photographed image C1 from among the internal parts (cross sections) of the organ.
  • the photographed tomographic image is a cross-sectional image of the inside (cross-sectional area) of an organ that is photographed as the photographed image C1.
  • the imaging tomographic plane is selected by specifying the direction of the tomographic plane and the position with respect to the direction.
  • the slice selection unit 209a causes the storage unit 21a to store information indicating the selected imaging slice as slice position information E1a.
  • fault selection process The process in which the fault selection unit 209a selects a fault is referred to as a fault selection process.
  • the slice selection unit 209a executes slice selection processing after the treatment pre-processing and before calibration.
  • the fault selection process will be explained with reference to FIGS. 13 and 14.
  • the slice selection process is different in each case.
  • FIG. 13 is a diagram illustrating an example of the flow of the tomographic selection process according to the present embodiment when the number of tomographic candidates is finite and all can be searched.
  • Step S410 The tomographic selection unit 209a randomly transforms the three-dimensional image A1 to generate correct data.
  • the correct data is a three-dimensional image generated by randomly applying deformation pixel by pixel to each part of the organ photographed in the three-dimensional image A1. Random deformation is performed by adding a predetermined number of patterns using random numbers.
  • the fault selection unit 209a generates correct data for each random deformation of a predetermined number of patterns.
  • the predetermined number is, for example, five.
  • FIG. 13 only two correct answer data are shown for simplicity, and other correct answer data are omitted.
  • Step S420 The slice selection unit 209a measures errors resulting from the organ deformation estimation process being executed for all combinations of slice directions and slice numbers.
  • the fault number is a number assigned to each fault at one or more positions in a certain fault direction.
  • the cross-section selection unit 209a extracts a two-dimensional image from the correct data for a cross-section specified by a certain cross-section direction and a certain cross-section number.
  • the control unit 20a executes the organ deformation estimation process using the extracted two-dimensional image instead of the captured image C1.
  • the tomographic selection unit 209a measures the error of the estimation result of the organ deformation by the organ deformation estimation process with respect to the correct data.
  • parameter tuning methods include, for example, random search or Bayesian optimization.
  • Step S430 The fault selection unit 209a selects the top few faults (for example, the top 5 faults) with the smallest measured error.
  • Step S440 The slice selection unit 209a selects the slice with the minimum error as the optimal solution (imaging slice) for the slice group selected in step S430.
  • the fault selection unit 209a takes a weighted average based on the ranking and selects the fault with the minimum error.
  • the fault selection section 209a causes the storage section 21a to store the fault number of the photographed fault as the fault position information E1.
  • FIG. 14 is a diagram illustrating an example of a tomographic selection process according to the present embodiment when the number of imaged tomographic candidates is finite and cannot be searched completely, or when the number of imaged tomographic candidates is not finite.
  • Cases in which the number of candidates for photographed tomography is limited and exhaustive search is impossible include, for example, cases where the number of candidates for photographed tomography is enormous.
  • the number of candidates for photographed tomography is not finite, for example, even if the position of a candidate for photographed tomography is not included in the three-dimensional image A1, a tomogram may be virtually defined using image interpolation or the like. This includes cases in which images are taken as candidates for tomography. Therefore, candidates for photographed tomographic images may include not only tomograms corresponding to positions included in the three-dimensional image A1 photographed in advance, but also tomograms corresponding to positions not included in the three-dimensional image A1. .
  • the estimation result is a result obtained by the same process as step S420 described above.
  • the two-dimensional image used instead of the photographed image C1 to execute the organ deformation estimation process is, for example, a two-dimensional image generated from the three-dimensional image A1 using image interpolation. It is. If the number of imaged tomographic candidates is finite and cannot be searched completely, or if the number of imaged tomographic candidates is not finite, the tomographic selection unit 209a searches for an optimal cross section based on an optimization method.
  • the optimization method is, for example, stochastic gradient descent.
  • the organ deformation estimating device 2a includes the slice selection section 209a.
  • the tomographic selection unit 209a selects a correct answer, which is a three-dimensional image obtained by randomly deforming the three-dimensional image A1, from among the tomography candidates for the tomographic image for each of one or more tomographic directions and one or more positions in the tomographic direction.
  • a photographed tomographic image is selected based on the error with respect to the correct data of the estimation result of the deformation of the organ that is estimated when a two-dimensional image obtained for the candidate cross-section from the data is used instead of the photographed image C1.
  • the organ deformation estimating device 2a according to the present embodiment can select a cross section with which the error in the estimation result of organ deformation is small, so that the error in the estimation result can be reduced.
  • the method for selecting an appropriate slice is not limited to the slice selection process described in this embodiment.
  • the method for selecting an appropriate fault is to create a regression model that uses the fault position as an explanatory variable and the evaluation index, the alignment error, or the value and rank related to the Dice coefficient, as the objective variable, and obtain the optimal fault position.
  • a method may be used.
  • the errors and fault numbers for the top five faults in descending order of error are shown in FIG. 15. Note that the fault numbers range from 79 to 113, and the median value of the fault numbers is 96.
  • types the following four types of combinations of organs (referred to as "types") were used.
  • the first type of combination is a case where the pancreas, stomach, and duodenum are all discretized (referred to as "all").
  • the two types of combination are cases where the pancreas and stomach are discretized (referred to as "w/o duo").
  • the third type of combination is a case where the pancreas and duodenum are discretized (referred to as "w/o stom").
  • panc only the pancreas is discretized
  • each column of "pancreas”, “stomach”, and “duodenum” indicates the proportion of the area of each organ on the cross section. There are many blank spaces in the duodenum, which means that the duodenum exists in a narrower area than the pancreas and stomach, so although it is discretized as the three-dimensional model B1, it does not exist on the cross section.
  • FIGS. 16 to 20 graphs of the error transition when the fault number is changed are shown in FIGS. 16 to 20.
  • Graphs showing the relationship between the error transition and the number of particles when the fault number is changed are shown in FIGS. 21 to 25. From the results of this example, it was confirmed that the more organs used in the three-dimensional simulation, the higher the accuracy of estimating the deformation of the organ.
  • the organ deformation estimating devices 2 and 2a may be used for treatments other than radiotherapy or for supporting treatments. Treatments other than radiotherapy include, for example, heavy ion radiotherapy or surgery as surgical treatment.
  • the treatment support includes, for example, image-guided surgery support, robot-assisted surgery, and the like. Further, the organ deformation estimating devices 2 and 2a may be used for various treatments as a treatment device or a treatment system including the organ deformation estimating devices 2 and 2a.
  • the organ deformation estimation devices 2 and 2a may be used to support various treatments as a treatment support device or a treatment support system including the organ deformation estimation devices 2 and 2a.
  • An example of a treatment system is a radiation treatment system including an organ deformation estimation device 2, an imaging device, and a radiation irradiation device.
  • the organ deformation estimation devices 2 and 2a in the embodiments described above for example, the three-dimensional image acquisition section 200, the three-dimensional model generation section 201, the three-dimensional model acquisition section 202, the partial image extraction section 203, and the photographed image acquisition section
  • the unit 204, the alignment unit 205, the target position calculation unit 206, the displacement estimation unit 207, the output unit 208, and the tomographic selection unit 209a may be realized by a computer.
  • a program for realizing this control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed.
  • the "computer system” herein refers to a computer system built into the organ deformation estimation devices 2 and 2a, and includes hardware such as an OS and peripheral devices.
  • the term “computer-readable recording medium” refers to portable media such as flexible disks, magneto-optical disks, ROMs, and CD-ROMs, and storage devices such as hard disks built into computer systems.
  • a “computer-readable recording medium” refers to a medium that dynamically stores a program for a short period of time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line.
  • the above-mentioned program may be one for realizing a part of the above-mentioned functions, or may be one that can realize the above-mentioned functions in combination with a program already recorded in the computer system.
  • part or all of the organ deformation estimation devices 2 and 2a in the embodiments described above may be realized as an integrated circuit such as an LSI (Large Scale Integration). Each functional block of the organ deformation estimating devices 2 and 2a may be made into a processor individually, or some or all of them may be integrated into a processor.
  • the method of circuit integration is not limited to LSI, but may be implemented using a dedicated circuit or a general-purpose processor. Further, if an integrated circuit technology that replaces LSI emerges due to advances in semiconductor technology, an integrated circuit based on this technology may be used.

Abstract

臓器変形推定装置は、治療が行われる前の時期に予め撮影された臓器の３次元画像に基づいて生成され、臓器の形状を示す３次元モデルを取得する３次元モデル取得部と、治療の過程において臓器の内部が撮影された撮影画像を取得する撮影画像取得部と、部分画像を３次元画像から抽出する部分画像抽出部と、撮影画像と部分画像との位置合わせを行う位置合わせ部と、位置合わせの結果に基づいて目標位置を算出する目標位置算出部と、３次元モデルを構成する部分のうち内部に対応する部分の位置を目標位置まで変位させるように３次元シミュレーションに基づいて３次元モデルを変形させることによって、治療の過程における臓器の変形を推定する変位推定部とを備える。

Description

臓器変形推定装置、治療装置、治療支援装置、臓器変形推定方法、及びプログラム
　本発明は、臓器変形推定装置、治療装置、治療支援装置、臓器変形推定方法、及びプログラムに関する。
　本願は、２０２２年７月２７日に、日本に出願された特願２０２２－１１９５１４号に基づき優先権を主張し、その内容をここに援用する。
　放射線治療は、体にメスを入れることなく治療を行えるという点で、現在癌治療に広く用いられている。一方で、放射線治療における治療成績は放射線の強さに依存する。臓器の種類によっては、高線量の放射線を当てることができないものがある。例えば、膵臓は、その大部分は胃の後方に位置し、かつ十二指腸から脾臓までの範囲で広く存在している臓器である。また、膵管の開口部は十二指腸に存在するため、膵臓と十二指腸は特に密接した関係にある。そのため、膵臓においては、他臓器への誤照射のリスクから、高線量の放射線を当てることができず、他の臓器の癌に比べ膵臓癌の放射線治療は困難となっている。
　近年、リアルタイムにＭＲ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ）画像を撮影しながら放射線治療を行う装置（ＭＲ－Ｌｉｎａｃ）が実用化され、膵臓に対して、高い照射線量による治療が期待されている。しかし、リアルタイムに撮影できる断面は数個程度であり、事前に計画したラベルを、周辺臓器との接触、及び自発的な変形を考慮に入れながら臓器の動きに合わせて変更することは困難である。そのため、一部の画像から、モデル全体の変位を推定することが求められる。
　ＭＲ画像誘導放射線治療の研究は盛んに行われている。例えば、機械学習によって臓器の変位を推定する技術が知られている（特許文献１、または非特許文献１）。機械学習によって臓器の変位を推定する技術では、多数の患者のデータを同時に学習することによって、多様な動きを表現する。
国際公開第２０２０／０５４５０３号
「Ｍｅｄｉｃａｌ　Ｉｍａｇｅ　Ｃｏｍｐｕｔｉｎｇ　ａｎｄ　Ｃｏｍｐｕｔｅｒ　Ａｓｓｉｓｔｅｄ　Ｉｎｔｅｒｖｅｎｔｉｏｎ　－　ＭＩＣＣＡＩ　２０２１，Ｌｅｃｔｕｒｅ　Ｎｏｔｅｓ　ｉｎ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ」、２０２１年９月２１日、１２９０４巻、ｐ．２３８－２４８
　しかしながら、複数の周辺臓器により影響を受けた膵臓の変形は非周期的であり、かつ患者ごとに多様である。そのため、機械学習により特徴を抽出することが困難であるとともに、学習の際には膨大な量のデータセットが必要になると考えられる。
　治療の過程において少ない枚数の撮影画像から臓器の変位を推定できることが求められている。
　本発明は上記の点に鑑みてなされたものであり、治療の過程において少ない枚数の撮影画像から臓器の変位を推定できる臓器変形推定装置、治療装置、治療支援装置、臓器変形推定方法、及びプログラムを提供する。
　本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、治療が行われる前の時期に予め撮影された臓器の３次元画像に基づいて生成され、前記治療が行われる前の時期における前記臓器の形状を示す３次元モデルを取得する３次元モデル取得部と、前記治療の過程において前記臓器の内部が撮影された２次元画像である撮影画像を取得する撮影画像取得部と、前記３次元画像に含まれる部分のうち前記撮影画像に撮影された前記内部の位置に対応する部分の２次元画像である部分画像を前記３次元画像から抽出する部分画像抽出部と、前記内部の同一部分を示す画素が互いに対応づけられるように、前記撮影画像を構成する画素と前記部分画像を構成する画素との位置合わせを行う位置合わせ部と、前記位置合わせの結果に基づいて前記３次元モデルを構成する部分のうち前記内部に対応する部分について、当該部分の変位の目標位置を算出する目標位置算出部と、前記３次元モデルを構成する部分のうち前記内部に対応する部分の位置を前記目標位置まで変位させるように３次元シミュレーションに基づいて前記３次元モデルを変形させることによって、前記治療の過程における前記臓器の変形を推定する変位推定部とを備える臓器変形推定装置である。
　また、本発明の一態様は、上記の臓器変形推定装置において、前記臓器は、前記治療の対象の臓器と、当該対象の臓器に隣接する他の臓器とからなる。
　また、本発明の一態様は、上記の臓器変形推定装置において、前記３次元画像を取得する３次元画像取得部をさらに備える。
　また、本発明の一態様は、上記の臓器変形推定装置において、前記変位推定部は、メッシュフリー法に基づいて前記３次元シミュレーションを行う。
　また、本発明の一態様は、上記の臓器変形推定装置において、前記臓器の内部のうち前記撮影画像として撮影する撮影断層を選択する断層選択部をさらに備える。
　また、本発明の一態様は、上記の臓器変形推定装置において、前記断層選択部は、１以上の断層方向、当該断層方向の１以上の位置それぞれについての前記撮影断層の候補の断層のなかから、前記３次元画像にランダムに変形を加えた３次元画像である正解データから当該候補の断層について取得される２次元画像を前記撮影画像の代わりに用いた場合に推定された前記臓器の変形の推定結果の前記正解データに対する誤差に基づいて前記撮影断層を選択する。
　また、本発明の一態様は、上記の臓器変形推定装置を備える治療装置である。
　また、本発明の一態様は、上記の臓器変形推定装置を備える治療支援装置である。
　また、本発明の一態様は、治療が行われる前の時期に予め撮影された臓器の３次元画像に基づいて生成され、前記治療が行われる前の時期における前記臓器の形状を示す３次元モデルを取得する３次元モデル取得ステップと、前記治療の過程において前記臓器の内部が撮影された２次元画像である撮影画像を取得する撮影画像取得ステップと、前記３次元画像に含まれる部分のうち前記撮影画像に撮影された前記内部の位置に対応する部分の２次元画像である部分画像を前記３次元画像から抽出する部分画像抽出ステップと、前記内部の同一部分を示す画素が互いに対応づけられるように、前記撮影画像を構成する画素と前記部分画像を構成する画素との位置合わせを行う位置合わせステップと、前記位置合わせの結果に基づいて前記３次元モデルを構成する部分のうち前記内部に対応する部分について、当該部分の変位の目標位置を算出する目標位置算出ステップと、前記３次元モデルを構成する部分のうち前記内部に対応する部分の位置を前記目標位置まで変位させるように３次元シミュレーションに基づいて前記３次元モデルを変形させることによって、前記治療の過程における前記臓器の変形を推定する変位推定ステップとを有する臓器変形推定方法である。
　また、本発明の一態様は、コンピュータに、治療が行われる前の時期に予め撮影された臓器の３次元画像に基づいて生成され、前記治療が行われる前の時期における前記臓器の形状を示す３次元モデルを取得する３次元モデル取得ステップと、前記治療の過程において前記臓器の内部が撮影された２次元画像である撮影画像を取得する撮影画像取得ステップと、前記３次元画像に含まれる部分のうち前記撮影画像に撮影された前記内部の位置に対応する部分の２次元画像である部分画像を前記３次元画像から抽出する部分画像抽出ステップと、前記内部の同一部分を示す画素が互いに対応づけられるように、前記撮影画像を構成する画素と前記部分画像を構成する画素との位置合わせを行う位置合わせステップと、前記位置合わせの結果に基づいて前記３次元モデルを構成する部分のうち前記内部に対応する部分について、当該部分の変位の目標位置を算出する目標位置算出ステップと、前記３次元モデルを構成する部分のうち前記内部に対応する部分の位置を前記目標位置まで変位させるように３次元シミュレーションに基づいて前記３次元モデルを変形させることによって、前記治療の過程における前記臓器の変形を推定する変位推定ステップとを実行させるためのプログラムである。
　本発明によれば、治療の過程において少ない枚数の撮影画像から臓器の変位を推定できる。
本発明の第１の実施形態に係る臓器変形推定処理の概要を示す図である。 本発明の第１の実施形態に係るＭａｔｅｒｉａｌ　Ｐｏｉｎｔ　Ｍｅｔｈｏｄの概要を説明するための図である。 本発明の第１の実施形態に係る臓器変形推定システムの機能構成の一例を示す図である。 本発明の第１の実施形態に係る臓器変形推定処理の流れの一例を示す図である。 本発明の第１の実施形態に係る３次元シミュレーションの全体のアルゴリズムの一例を示す図である。 本発明の第１の実施形態の実施例に係るパラメータを示す図である。 本発明の第１の実施形態の実施例に係る駆動される前の３次元モデルを示す図である。 本発明の第１の実施形態の実施例に係る駆動された後の３次元モデルを示す図である。 本発明の第１の実施形態の実施例に係る臓器変形推定処理を適用した結果のうち精度の高い１例を示す図である。 本発明の第１の実施形態の実施例に係る臓器変形推定処理を適用した結果のうち精度の低い１例を示す図である。 本発明の第１の実施形態の実施例に係る臓器変形推定処理による結果の誤差の分布を表す箱ひげ図である。 本発明の第２の実施形態に係る臓器変形推定システムの機能構成の一例を示す図である。 本発明の第２の実施形態に係る断層が有限でかつ全探索可能な場合の断層選択処理の流れの一例を示す図である。 本発明の第２の実施形態に係る断層が有限かつ全探索不可能な場合、または断層が有限でない場合の断層選択処理の一例を説明するための図である。 本発明の第２の実施形態の実施例に係る５例の正解データそれぞれについて誤差、及び断層番号を示す図である。 本発明の第２の実施形態の実施例に係る断層番号を変化させた場合の誤差の推移のグラフを示す図である。 本発明の第２の実施形態の実施例に係る断層番号を変化させた場合の誤差の推移のグラフを示す図である。 本発明の第２の実施形態の実施例に係る断層番号を変化させた場合の誤差の推移のグラフを示す図である。 本発明の第２の実施形態の実施例に係る断層番号を変化させた場合の誤差の推移のグラフを示す図である。 本発明の第２の実施形態の実施例に係る断層番号を変化させた場合の誤差の推移のグラフを示す図である。 本発明の第２の実施形態の実施例に係る断層番号を変化させた場合の誤差の推移と粒子数との関係を示すグラフを示す図である。 本発明の第２の実施形態の実施例に係る断層番号を変化させた場合の誤差の推移と粒子数との関係を示すグラフを示す図である。 本発明の第２の実施形態の実施例に係る断層番号を変化させた場合の誤差の推移と粒子数との関係を示すグラフを示す図である。 本発明の第２の実施形態の実施例に係る断層番号を変化させた場合の誤差の推移と粒子数との関係を示すグラフを示す図である。 本発明の第２の実施形態の実施例に係る断層番号を変化させた場合の誤差の推移と粒子数との関係を示すグラフを示す図である。
（第１の実施形態）
　以下、図面を参照しながら本発明の実施形態について詳しく説明する。以下の説明において、３次元形状としての臓器を構成する各部分の変位を推定することを、臓器の形状の変形を推定する、または臓器の変形を推定するなどという。また、臓器の断面を臓器の断層という。本実施形態において臓器の形状の変形を推定する処理を、臓器変形推定処理という。また、各実施形態では、臓器変形推定処理が放射線治療に適用される場合の一例について説明するが、臓器変形推定処理は放射線治療以外の治療に適用されてもよい。
［臓器変形推定処理の概要］
　図１は、本実施形態に係る臓器変形推定処理の概要を示す図である。臓器変形推定処理では、臓器の３次元画像Ａ１を放射線治療が行われる前に予め撮影しておく。３次元画像Ａ１からは臓器の３次元モデルＢ１が生成される。臓器変形推定処理では、３次元モデルＢ１を３次元シミュレーションによって駆動させる。３次元モデルＢ１を３次元シミュレーションによって駆動させる際に撮影画像Ｃ１が用いられる。撮影画像Ｃ１は、放射線治療中に臓器の断層が撮影された２次元画像である。３次元画像Ａ１のうち撮影画像Ｃ１に撮影された断層に対応する２次元画像と、撮影画像Ｃ１との位置合わせを行う。位置合わせによって、治療中の臓器の変形に伴う断層の各部分の位置の治療前の位置からの変位が算出される。臓器変形推定処理では、３次元モデルＢ１の撮影画像Ｃ１に撮影された断層に対応する部分を、位置合わせによって算出された変位だけ３次元シミュレーションによって変位させる。３次元モデルＢ１の断層に対応する部分以外の部分は、断層に対応する部分の変位に追従して変位する。これによって、臓器の断層が撮影された撮影画像Ｃ１から臓器の３次元の形状の全体の変位が推定される。
　本実施形態では、変形を推定する対象の臓器の一例として、膵臓を扱う。膵臓は周辺臓器と隣接しており、自発的な動きとともに、周辺臓器との接触を考慮しながら臓器の変形を推定することは一般には難しい。臓器変形推定処理では、膵臓が周辺臓器と隣接しているという点を考慮することによって膵臓の形状の変形を高い精度において推定する。臓器変形推定処理では、膵臓、及び周辺臓器をそれぞれ３次元モデルとしてモデル化し３次元シミュレーションを行う。臓器変形推定処理では、断層画像から得られる膵臓及び周辺臓器それぞれの位置情報を用いて、膵臓、及び周辺臓器同士の接触を考慮した３次元シミュレーションを行うことにより、臓器の形状の変形を推定する。
　臓器変形推定処理では、膵臓、及び周辺臓器同士の接触を考慮した３次元シミュレーションを行うために、Ｍａｔｅｒｉａｌ　Ｐｏｉｎｔ　Ｍｅｔｈｏｄ（ＭＰＭ）を用いる。ＭＰＭは、メッシュフリー法の一つであり、対象の各部分を粒子に置き換えて離散化する一方、計算は粒子とは別に用意した格子を用いて行う手法である。ＭＰＭは、全ての粒子の情報を格子点に伝達した上で物理量を計算するため、異なる物体同士の接触をアルゴリズムの自然な流れで扱うことができるという利点を持つ。
　図２は、本実施形態に係るＭＰＭの概要を説明するための図である。ＭＰＭでは、物体の位置、質量、速度、及び変形勾配等を追うために粒子を使用する。つまり、粒子は物体の物理情報を担っている。一方、ＭＰＭでは、保存則、及び構成則に基づいて粒子の情報を更新していくために格子点を使用する。構成則は対象とする物体に依存する。一方、保存則は物体に共通であり、質量保存則、運動量保存則、及び角運動量保存則を用いる。質量保存則、及び運動量保存則はそれぞれ以下の式（１）、及び式（２）によって表される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　ここでρは密度、ｔは時間、ｖは速度、σは応力、ｇは重力加速度をそれぞれ示す。角運動量保存則は応力テンソルが対称であることから保証される。これらの保存則は、粒子が担っている物理情報を格子点に伝達し格子上で解かれる。そのためＭＰＭは、オイラー的な観点とラグランジュ的な観点を併せ持った計算手法であると言える。また、対象を粒子で離散化しているため、ＭＰＭは、粒子法の利点を持つ。
　図２（Ａ）は、変形前の粒子の位置を示す。図２（Ｂ）は、粒子が担っている物理情報が格子点に伝達された状態を示す。図２（Ｃ）は、保存則、及び構成則に基づいて格子点の位置が更新され、当該格子点から粒子に伝達された物理情報に基づいて粒子の位置が更新された状態を示す。図２（Ｄ）は、変形後の粒子の位置を示す。
［臓器変形推定システム１の機能構成］
　図３は、本実施形態に係る臓器変形推定システム１の機能構成の一例を示す図である。臓器変形推定システム１は、臓器変形推定装置２と、３次元画像供給部３と、撮影画像供給部４０とを備える。撮影画像供給部４０は、放射線治療装置４に備えられる。
　臓器変形推定装置２は、臓器変形推定処理を行う。臓器変形推定装置２は、一例として、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ：ＰＣ）、ワークステーション、またはサーバなどのコンピュータである。臓器変形推定装置２は、一例として、放射線治療装置４とは別体のコンピュータであるが、放射線治療装置４のコンソールなどに内蔵されて放射線治療装置４と一体に備えられてもよい。
　３次元画像供給部３は、臓器変形推定装置２に３次元画像Ａ１を供給する。３次元画像供給部３は、医療用撮影装置である。３次元画像供給部３は、例えば、核磁気共鳴画像（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ：ＭＲＩ）装置である。
　放射線治療装置４は、リアルタイムにＭＲ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ）画像を撮影しながら放射線治療を行う装置（ＭＲ－Ｌｉｎａｃ）である。したがって、放射線治療装置４は、医療用撮影装置としての機能を含む。
　なお、本実施形態では、３次元画像供給部３は放射線治療装置４とは別体であるが、３次元画像供給部３は放射線治療装置４に含まれてもよい。
　なお、３次元画像供給部３は、コンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ：ＣＴ）装置であってもよい。また、放射線治療装置４は、リアルタイムにＣＴ画像を撮影しながら放射線治療を行う装置であってもよい。また、放射線治療装置４は、リアルタイムにＸ線によって治療対象の臓器を撮影しながら放射線治療を行う装置（Ｌｉｎａｃ）であってもよい。
　臓器変形推定装置２は、制御部２０と、記憶部２１とを備える。
　制御部２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを備えており、種々の演算や情報の授受を行う。制御部２０が備える各機能部は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）がＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）からプログラムを読み込んで処理を実行することにより実現される。当該ＲＯＭは、記憶部２１に含まれる。
　制御部２０は、３次元画像取得部２００と、３次元モデル生成部２０１と、３次元モデル取得部２０２と、部分画像抽出部２０３と、撮影画像取得部２０４と、位置合わせ部２０５と、目標位置算出部２０６と、変位推定部２０７と、出力部２０８とを備える。
　３次元画像取得部２００は、３次元画像Ａ１を３次元画像供給部３から取得する。３次元画像Ａ１は、放射線治療において臓器に放射線が照射されるより前の時期に予め撮影された臓器の３次元画像である。本実施形態では、臓器は、放射線治療の対象の臓器である膵臓と、及び膵臓に隣接する他の臓器（周辺臓器）とからなる。３次元画像取得部２００は、取得した３次元画像Ａ１を記憶部２１に記憶させる。なお、放射線治療の対象の臓器に隣接する他の臓器（周辺臓器）は、放射線治療の対象の臓器に接触していても、接触していなくてもよい。
　３次元モデル生成部２０１は、３次元画像Ａ１に基づいて３次元モデルＢ１を生成する。３次元モデルＢ１は、放射線治療が行われる前の時期における臓器の形状を示す３次元モデルである。３次元モデル生成部２０１は、生成した３次元モデルＢ１を記憶部２１に記憶させる。
　３次元モデル取得部２０２は、３次元モデル生成部２０１によって生成された３次元モデルＢ１を取得する。３次元モデル取得部２０２は、取得した３次元モデルＢ１を変位推定部２０７に供給する。
　なお、３次元モデルＢ１は、臓器変形推定装置２とは別体のコンピュータによって生成されてもよい。その場合、３次元モデル生成部２０１は臓器変形推定装置２の構成から省略されてよく、３次元モデル取得部２０２は、当該コンピュータから３次元モデルＢ１を取得する。
　部分画像抽出部２０３は、部分画像Ｄ１を３次元画像Ａ１から抽出する。部分画像Ｄ１は、３次元画像Ａ１に含まれる部分のうち撮影画像Ｃ１に撮影された臓器の内部の位置に対応する部分の２次元画像である。本実施形態において、臓器の内部とは、臓器の断層である。
　本実施形態では、臓器の断層の位置は予め決められている。断層の位置を示す情報は断層位置情報Ｅ１として記憶部２１に予め記憶されている。臓器の断層は、例えば、放射線治療対象の臓器（膵臓）の重心位置を通る方向の断面である。重心位置を通る方向の断面は、任意であるが、例えば、３次元直交座標を設定した場合の３軸のうちいずれかの方向の断面、患者の体軸断面、もしくは冠状断面または矢状断面である。臓器の断層は、放射線治療対象の臓器（膵臓）の断層の面積が最大となるように決められてもよい。また、重心位置を通る方向は、放射線治療対象の臓器（膵臓）と周辺臓器とが接触している位置を含む方向であってもよい。また、重心位置を通る方向は、放射線治療対象の臓器（膵臓）を構成する部分と周辺臓器を構成する部分について互いに最も近い部分（粒子）の間の距離が最も短くなる方向であってもよい。
　また、臓器の断層の位置は、断層がより多くの種類（数）の臓器（のラベル）を含むように決められてもよい。また、臓器の断層の位置は、断層が各臓器を面積についてなるべく均等に含むように決められてもよい。
　撮影画像取得部２０４は、撮影画像Ｃ１を取得する。撮影画像Ｃ１は、放射線治療の過程において臓器の内部（断層）が撮影された２次元画像である。本実施形態では、撮影画像Ｃ１は、臓器の断層が撮影された断層画像である。
　位置合わせ部２０５は、臓器の内部（断層）の同一部分を示す画素が互いに対応づけられるように、撮影画像Ｃ１を構成する画素と部分画像Ｄ１を構成する画素との位置合わせを行う。
　目標位置算出部２０６は、位置合わせ部２０５による位置合わせの結果に基づいて３次元モデルＢ１を構成する部分のうち臓器の内部（断層）に対応する部分について、当該部分の変位の目標位置を算出する。
　変位推定部２０７は、３次元シミュレーションに基づいて放射線治療の過程における臓器の変形を推定する。ここで変位推定部２０７は、３次元モデルＢ１を構成する部分のうち内部（断層）に対応する部分の位置を目標位置算出部２０６によって算出された目標位置まで変位させるように３次元シミュレーションに基づいて３次元モデルＢ１を変形させることによって、放射線治療の過程における臓器の変形を推定する。変位推定部２０７は、メッシュフリー法に基づいて３次元シミュレーションを行う。メッシュフリー法は、一例として、ＭＰＭである。
　出力部２０８は、変位推定部２０７が臓器の変形を推定した結果を推定結果Ｆ１として放射線治療装置４に出力する。推定結果Ｆ１には、例えば、変形後の断層画像、変形後の３次元モデル、及び変形後の３次元ラベルのうち１以上が含まれる。３次元ラベルは、放射線を放射する臓器内の目標位置を示す。なお、３次元モデルは、例えば３次元画像Ａ１の画素値情報、及び３次元ラベルの情報などを含んでいる。そのため３次元モデルを出力する場合は、変形後の断層画像及び３次元ラベルの情報も合わせて出力していることに相当する。放射線治療装置４は、事前に計画した３次元ラベルを推定結果Ｆ１に基づいて放射線治療の過程においてリアルタイムに変更する。
　記憶部２１は、各種の情報を記憶する。記憶部２１が記憶する情報には、３次元画像Ａ１、３次元モデルＢ１、及び断層位置情報Ｅ１が含まれる。記憶部２１は、磁気ハードディスク装置、または半導体記憶装置等の記憶装置を用いて構成される。
　臓器変形推定装置２と、３次元画像供給部３とは、ケーブルで接続されて通信を行ってもよいし、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などの無線ネットワークによって通信を行ってもよい。なお、３次元画像供給部３によって撮影された３次元画像Ａ１は、外部記憶装置に記憶された後、当該外部記憶装置を介して臓器変形推定装置２に供給されてもよい。その場合、ユーザによって外部記憶装置から臓器変形推定装置２に３次元画像Ａ１が転送されてもよい。
　臓器変形推定装置２と、放射線治療装置４とは、ケーブルで接続されて通信を行ってもよいし、ＬＡＮなどの無線ネットワークによって通信を行ってもよい。
［臓器変形推定処理］
　図４は、本実施形態に係る臓器変形推定処理の流れの一例を示す図である。臓器変形推定処理は、治療前処理、キャリブレーション、及び治療中処理から構成される。
　ステップＳ１０：臓器変形推定システム１は、治療前処理を実行する。治療前処理は、放射線治療が行われる前の時期に実行される。治療前処理は、３次元画像Ａ１から３次元モデルＢ１を作成するための処理である。放射線治療が行われる前の時期とは、例えば、放射線治療が行われる１日前である。放射線治療が行われる前の時期と、放射線治療の過程とにおいて臓器の状態はなるべく変化していないことが求められる。そのため、治療前処理は、放射線治療のなるべく直前に行われることが好ましい。また、治療前処理は、放射線治療において臓器に放射線が照射されるより前の時期であれば、例えば、放射線治療が開始された後に行われてもよい。その場合、３次元画像Ａ１は、放射線治療が開始された後の時期であって、キャリブレーションが行われるよりも前の時期に予め撮影される。
　治療前処理として、ステップＳ１１０からステップＳ１４０までの各処理が実行される。
　ステップＳ１１０：３次元画像供給部３は、３次元画像Ａ１を撮影する。３次元画像供給部３は、例えば、ＭＲＩによって、臓器の３次元画像Ａ１を撮影する。
　ステップＳ１２０：３次元画像取得部２００は、３次元画像Ａ１を３次元画像供給部３から取得する。
　ステップＳ１３０：３次元モデル生成部２０１は、３次元画像Ａ１からセグメンテーション及びコンツーリングの１以上の処理に基づいて臓器の輪郭が抽出される。本実施形態では、膵臓、及び周辺臓器としての胃それぞれの輪郭が抽出される。輪郭には、臓器の外部の輪郭と、内部の輪郭とが含まれる。
　ステップＳ１４０：３次元モデル生成部２０１は、抽出した臓器の輪郭に基づいて３次元モデルＢ１を生成する。本実施形態では、３次元モデルＢ１は、膵臓、及び胃の３次元モデルである。３次元モデルＢ１は、一例として、臓器の各部分が粒子に置き換えられて臓器の形状が離散化された３次元モデルである。なお、３次元モデルＢ１に複数の臓器が含まれる場合、当該３次元モデルＢ１において当該３次元モデルＢ１に含まれる粒子が、複数の臓器のうちいずれの臓器の部分であるかは、当該粒子に臓器を示すラベルなどが付与されて識別可能である。本実施形態の一例では、３次元モデルＢ１に含まれる粒子が、膵臓、及び胃のうちいずれの臓器の部分であるかは識別可能である。３次元モデル生成部２０１は、生成した３次元モデルＢ１を記憶部２１に記憶させる。
　ステップＳ２０：臓器変形推定システム１は、キャリブレーションを実行する。キャリブレーションは、放射線治療の初期に実行される。放射線治療の初期とは、例えば、放射線治療が開始された直後である。
　３次元画像Ａ１と、治療の過程において撮影される撮影画像Ｃ１とでは、異なる装置（本実施形態において、３次元画像供給部３、及び放射線治療装置４）によって撮影されている。また、３次元画像Ａ１と、治療の過程において撮影される撮影画像Ｃ１とでは、臓器は異なる体勢において撮影される場合がある。そのため、臓器の３次元シミュレーションを行うためには、治療の過程において撮影される撮影画像Ｃ１と、３次元モデルＢ１とを臓器の各部分の位置について対応づける必要がある。キャリブレーションでは、３次元モデルＢ１を構成する部分のうち撮影画像Ｃ１０に撮影された断層に対応する部分を選択する。
　キャリブレーションとして、ステップＳ２１０からステップＳ２４０までの各処理が実行される。
　ステップＳ２１０：放射線治療装置４は、放射線治療の初期において撮影画像Ｃ１０を撮影する。放射線治療装置４は、例えば、ＭＲＩによって、臓器の断層を撮影画像Ｃ１０として撮影する。
　ステップＳ２２０：撮影画像取得部２０４は、放射線治療装置４から撮影画像Ｃ１０を取得する。
　ステップＳ２３０：部分画像抽出部２０３は、３次元画像Ａ１に含まれる部分のうち撮影画像Ｃ１０に撮影された断層の位置に対応する部分の２次元画像である部分画像Ｄ１を３次元画像Ａ１から抽出する。ここで部分画像抽出部２０３は、記憶部２１から３次元画像Ａ１、及び断層位置情報Ｅ１を読み出す。部分画像抽出部２０３は、読み出した３次元画像Ａ１、及び断層位置情報Ｅ１と、撮影画像取得部２０４によって取得された撮影画像Ｃ１０に基づいて、３次元画像Ａ１に含まれる部分のうち撮影画像Ｃ１０に撮影された臓器の内部の位置に対応する部分を選択する。３次元画像Ａ１に含まれる部分は、３次元画像Ａ１に含まれる２次元画像として選択される。なお、当該部分を選択する処理には、例えば、３次元画像Ａ１において撮影画像Ｃ１０に撮影された断層の面の法線の方向に対応する方向を判定する処理が含まれてよい。
　ステップＳ２４０：部分画像抽出部２０３は、３次元モデルＢ１を構成する部分のうち撮影画像Ｃ１０に撮影された断層に対応する部分を選択する。
　ステップＳ３０：臓器変形推定システム１は、治療中処理を実行する。治療中処理では、３次元モデルＢ１の３次元シミュレーションが実行される。治療中処理は、放射線治療の過程において繰り返し実行される。本実施形態では、治療中処理は、放射線治療装置４によって臓器の断層の撮影画像Ｃ１が撮影される度にリアルタイムに実行される。なお、治療中処理は、撮影された全ての撮影画像Ｃ１それぞれについて実行されなくてもよい。治療中処理は、臓器変形推定装置２の処理負荷を軽減するために、例えば、撮影画像Ｃ１がＮ（Ｎは、２以上の自然数）回撮影される毎に１回実行されてもよい。また、治療中処理は、治療の過程で少なくとも１回実行されてもよい。
　治療中処理として、ステップＳ３１０からステップＳ３５０までの各処理が実行される。
　ステップＳ３１０：放射線治療装置４は、放射線治療の過程において撮影画像Ｃ１１を撮影する。放射線治療装置４は、例えば、ＭＲＩによって、臓器の断層を撮影画像Ｃ１１として撮影する。
　ステップＳ３２０：撮影画像取得部２０４は、放射線治療装置４から撮影画像Ｃ１１を取得する。
　ステップＳ３３０：位置合わせ部２０５は、撮影画像Ｃ１１と、部分画像Ｄ１との位置合わせを行う。ここで位置合わせ部２０５は、臓器の断層の同一部分を示す画素が互いに対応づけられるように、撮影画像Ｃ１１を構成する画素と部分画像Ｄ１を構成する画素との位置合わせを行う。部分画像Ｄ１は、キャリブレーションのステップＳ２３０において選択された２次元画像である。
　位置合わせでは、ｄ次元のある画像ＩＦ（ｘ）（ｘは、ｄ次元実数空間の元とする）と、別の画像ＩＭ（ｘ）（ｘは、ｄ次元実数空間の元とする）とについて、式（３）が満たされるように変位ｕ（ｘ）を求める。
Figure JPOXMLDOC01-appb-M000003
　すなわち位置合わせは、式（４）を満たす変形関数Ｔを求める問題に帰着される。
Figure JPOXMLDOC01-appb-M000004
　しかし、実際には２つの画像同士が完全に一致することはほとんどないため、式（５）及び式（６）で表されるような最適な変形関数Ｔ（式（５）においてハットつきのＴ）を求める。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　つまり、位置合わせは、変形関数Ｔ（式（５）においてハットつきのＴ）に関する最小化問題として定式化される。なお、式（５）及び式（６）において、Ｃは類似度関数、Ｐはペナルティ関数、γはペナルティに対する重みである。
　変形関数Ｔ（式（５）においてハットつきのＴ）にどのような関数を仮定するかにより変形の自由度が異なり、並進、及び回転のみを許した剛体変形、または非剛体変形が存在する。非剛体変形の中には、アフィン変換を想定したもの、またはＢスプライン変換を想定したものなど多数のモデルが存在する。本実施形態では、一例として、変形関数Ｔ（式（５）においてハットつきのＴ）がアフィン変換であると仮定したが、剛体変換やＢスプライン変換、またはその他の変換であってもよい。
　位置合わせには、所定の３次元医用画像位置合わせライブラリが用いられてよい。本実施形態では、３次元医用画像位置合わせライブラリとして、一例として、ｅｌａｓｔｉｘを用いた。ｅｌａｓｔｉｘは、複数の医用画像に対応しており、剛体非剛体を問わず様々な種類の変形や評価指標を用いて２次元画像同士の位置合わせを行うことができるツールボックスである。評価指標にＭＩ（Ｍｕｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ）を用いた。ｅｌａｓｔｉｘを使用することにより、式（７）に示すアフィン変換行列Ａ、及び並進ベクトルｔを得ることができる。
Figure JPOXMLDOC01-appb-M000007
　これらアフィン変換行列Ａ、及び並進ベクトルｔが、３次元シミュレーションへの入力として用いられる。ここで、ｘは画素の位置ベクトル、ｃは画像中心の位置ベクトルである。
　ステップＳ３４０：目標位置算出部２０６は、位置合わせ部２０５による位置合わせの結果に基づいて３次元モデルＢ１を構成する部分のうち臓器の断層に対応する部分について、当該部分の変位の目標位置を算出する。目標位置算出部２０６は、３次元モデルＢ１において、撮影画像Ｃ１１に撮影された断層に対応する部分に存在する粒子の目標位置を算出する。目標位置算出部２０６は、一例として目標位置を算出するために上述したアフィン変換行列Ａ、及び並進ベクトルｔを用いる。
　ステップＳ３５０：変位推定部２０７は、ＭＰＭによる３次元シミュレーションに基づいて放射線治療の過程における膵臓の変形を推定する。ＭＰＭによる３次元シミュレーションでは、臓器同士の接触を、ＭＰＭのアルゴリズムを臓器同士の接触がない場合から変更することなく扱うことができる。
　本実施形態では、膵臓、及び胃を線形弾性体としてモデル化し、１画素につき１粒子を割り当てた。なお、Ｍ画素に対してＮ粒子が割り当てられてもよい（Ｍ、及びＮは自然数）。各粒子に対して、現在位置と目標位置の差が閾値を下回るまで式（８）で表される力を加えることで３次元モデルＢ１を駆動させる。
Figure JPOXMLDOC01-appb-M000008
　ここでｘｄｉｆｆは、式（９）によって示される。
Figure JPOXMLDOC01-appb-M000009
　ここで、ｘｔａｒは目標位置、ｘｃｕｒは現在位置の位置ベクトルであり、Ｋｐは比例項に対する係数、Ｋｉは積分項に対する係数、Ｋｄは微分項に対する係数である。なお、３次元シミュレーションの全体のアルゴリズムを図５に示す。
　変位推定部２０７による３次元シミュレーションでは、放射線治療の対象の臓器（膵臓）と、周辺臓器（胃）との接触を考慮した。そのため、臓器変形推定処理では、放射線治療の対象の臓器の変形として、周辺臓器との位置関係、及び周辺臓器の動きによる周期性を持たない変形を表現することを可能にする。
　ステップＳ３６０：出力部２０８は、推定結果Ｆ１を放射線治療装置４に出力する。推定結果Ｆ１に含まれる３次元ラベルは、臓器が撮影された３次元画像Ａ１の画素のうち放射線を照射する部位に対応する画素を示す。なお、３次元ラベルは、３次元モデルＢ１を構成する粒子を用いて指定されてもよい。また、３次元ラベルには、放射線治療の対象の臓器のラベルだけでなく、周辺臓器のラベルが含まれてもよい。
　なお、本実施形態では、１回の３次元シミュレーションに１枚の撮影画像Ｃ１１が用いられる場合の一例について説明したが、これに限られない。１回の３次元シミュレーションに複数枚の撮影画像Ｃ１１が用いられてもよい。その場合、複数枚の撮影画像Ｃ１１は、例えば、断層の法線の方向が同じで、当該方向について位置が互いに異なる断層が撮影された複数の断層画像、または断層の法線の方向が互いに異なる断層が撮影された複数の断層画像などである。
　なお、本実施形態では、断層の位置は、断層位置情報Ｅ１によって予め指定されている場合の一例について説明したが、これに限られない。断層の位置は、ステップＳ２１０において撮影された撮影画像Ｃ１０に基づいて決定されてもよい。その場合、撮影画像Ｃ１０に撮影されていた断層の位置が判定されて、判定された断層の位置を示す情報が断層位置情報Ｅ１とされる。
　また、断層位置情報Ｅ１は、治療前処理の後であってキャリブレーションの前の時期に算出されてもよい。断層位置情報Ｅ１が算出される場合については、第２の実施形態において後述する。
　なお、本実施形態では、撮影画像Ｃ１がＭＲ画像である場合の一例について説明したが、これに限られない。撮影画像Ｃ１は、ＣＴ画像であってもよい。ただし、ＭＲ画像の方がＣＴ画像よりもコントラストが高いため、撮影画像Ｃ１としてはＭＲ画像が用いられることが好ましい。
　なお、上述したＭＰＭのアルゴリズムは一例であって、種々の変形が加えられて用いられてもよい。また、本実施形態では、ＭＰＭに基づいて３次元シミュレーションが行われる場合の一例について説明したが、これに限られない。ＭＰＭ以外のメッシュフリー法に基づいて３次元シミュレーションが行われてもよい。また、メッシュフリー法以外の手法に基づいて３次元シミュレーションが行われてもよい。本実施形態では、３次元モデルＢ１は、臓器の各部分が粒子に置き換えられて離散化された３次元モデルであるが、３次元モデルＢ１は、３次元シミュレーションに用いられる手法に応じて変更される。
　なお、本実施形態では、臓器が、放射線治療の対象の臓器と、当該対象の臓器に隣接する他の臓器とからなり、これに応じて臓器同士の接触が考慮された３次元シミュレーションが行われる場合の一例について説明したが、これに限られない。臓器は、放射線治療の対象の臓器のみからなっていてもよい。例えば、臓器は、膵臓のみであってもよい。
　なお、本実施形態では、放射線治療の対象の臓器が膵臓である場合の一例について説明したが、これに限られない。放射線治療の対象の臓器は、十二指腸、脾臓、及び脳など膵臓以外の臓器であってもよい。
　なお、上述したステップＳ２３０において、３次元画像Ａ１から撮影画像Ｃ１０に撮影された臓器の内部の位置に対応する部分を選択するために、Ｘ線によって臓器の内部（断層）撮影されたＸ線画像が用いられてもよい。その場合、３次元画像Ａ１から、当該Ｘ線画像と最も一致する２次元画像が部分画像Ｄ１として選択される。
　以上に説明したように、本実施形態に係る臓器変形推定装置２は、放射線治療における臓器変形推定装置であり、３次元画像取得部２００と、３次元モデル取得部２０２と、部分画像抽出部２０３と、撮影画像取得部２０４と、位置合わせ部２０５と、目標位置算出部２０６と、変位推定部２０７とを備える。
　３次元画像取得部２００は、放射線治療において臓器に放射線が照射されるより前の時期に予め撮影された臓器（本実施形態において、膵臓）の３次元画像Ａ１を取得する。
　３次元モデル取得部２０２は、３次元画像Ａ１に基づいて生成され、放射線治療が行われる前の時期における臓器（本実施形態において、膵臓）の形状を示す３次元モデルＢ１を取得する。
　撮影画像取得部２０４は、放射線治療の過程において臓器（本実施形態において、膵臓）の内部（本実施形態において、断層）が撮影された２次元画像である撮影画像Ｃ１を取得する。
　部分画像抽出部２０３は、３次元画像Ａ１に含まれる部分のうち撮影画像Ｃ１に撮影された内部（本実施形態において、断層）の位置に対応する部分の２次元画像である部分画像Ｄ１を３次元画像Ａ１から抽出する。
　位置合わせ部２０５は、内部（本実施形態において、断層）の同一部分を示す画素が互いに対応づけられるように、撮影画像Ｃ１を構成する画素と部分画像Ｄ１を構成する画素との位置合わせを行う。
　目標位置算出部２０６は、位置合わせ部２０５による位置合わせの結果に基づいて３次元モデルＢ１を構成する部分のうち内部（本実施形態において、断層）に対応する部分について、当該部分の変位の目標位置を算出する。
　変位推定部２０７は、３次元モデルＢ１を構成する部分のうち内部（本実施形態において、断層）に対応する部分の位置を目標位置算出部２０６によって算出された目標位置まで変位させるように３次元シミュレーション（本実施形態において、ＭＰＭ）に基づいて３次元モデルＢ１を変形させることによって、放射線治療の過程における臓器（本実施形態において、膵臓）の変形を推定する。
　この構成により、本実施形態に係る臓器変形推定装置２では、３次元モデルＢ１を構成する部分のうち臓器の内部（本実施形態において、断層）に対応する部分の位置を、放射線治療の過程において臓器（本実施形態において、膵臓）の内部（本実施形態において、断層）が撮影された撮影画像Ｃ１を用いて算出された目標位置まで変位させるように３次元シミュレーション（本実施形態において、ＭＰＭ）に基づいて３次元モデルＢ１を変形させることによって、放射線治療の過程における臓器（本実施形態において、膵臓）の変形を推定できる。そのため、本実施形態に係る臓器変形推定装置２では、放射線治療の過程において少ない枚数の撮影画像から臓器の変位を推定できる。少ない枚数とは、放射線治療の過程において撮影画像の撮影が可能な枚数であり、１枚から数枚（２枚から３枚程度など）である。
　なお、放射線治療とは、治療の一例である。放射線治療において臓器に放射線が照射されるより前の時期とは、治療が行われる前の時期の一例である。また、臓器変形推定装置２の構成から３次元画像取得部２００は省略されてもよい。
　従来、ＭＲ－Ｌｉｎａｃとして知られるリアルタイムに臓器の断層のＭＲ画像を撮影しながら放射線治療を行う装置では、治療中にリアルタイムでは数枚程度の断層しか撮影できない。本実施形態に係る臓器変形推定装置２では、数枚程度の断層画像しか撮影できない場合に、放射線治療の過程における臓器の変位を推定し、放射線を放射するための３次元ラベルをリアルタイムに変更することに好適に用いられる。
（第１の実施例）
　第１の実施形態に係る実施例である第１の実施例について説明する。本実施例では、２次元画像同士の位置合わせに使用する撮影画像Ｃ１として、臓器が存在するボリューム中央の断層が撮影された１枚の断層画像を用いた。なお、臓器の画像には、Ｍｕｌｔｉ－Ａｔｌａｓ　Ｌａｂｅｌｉｎｇ　Ｂｅｙｏｎｄ　ｔｈｅ　Ｃｒａｎｉａｌ　Ｖａｕｌｔｓｅｇｍｅｎｔａｔｉｏｎ　ｃｈａｌｌｅｎｇｅ　ｄａｔａｓｅｔを使用した。３次元シミュレーションを実行するためのデータ処理にはＭＡＴＬＡＢ（登録商標）を使用した。本実施例に使用したパラメータを図６に示す。
　また、３次元シミュレーションによって３次元モデルＢ１が駆動される様子を図７、及び図８に示す。なお、図７、及び図８にはそれぞれ、３次元直交座標系（ＸＹＺ座標系）を示す。３次元直交座標系において、Ｚ軸方向は、断層に垂直な方向とし、Ｘ軸方向及びＹ軸方向はそれぞれ、断層の面に平行な方向とする。
　図７は、駆動される前の３次元モデルを示す。３次元モデルＢ２１は、駆動される前の膵臓の３次元モデルである。３次元モデルＢ３１は、駆動される前の胃の３次元モデルである。図８は、駆動された後の３次元モデルＢ１２を示す。３次元モデルＢ２２は、駆動された後の膵臓の３次元モデルである。３次元モデルＢ３２は、駆動された後の胃の３次元モデルである。
　目標位置Ｔ１は、３次元モデルＢ１１の断層に対応する部分を変位させるための目標位置を示す。ＭＰＭを用いた３次元シミュレーションによって、断層に対応する部分を目標位置Ｔ１まで変位させると、３次元モデルＢ１１の断層に対応する部分以外の部分も追従して変位している。
　本実施例では、３次元モデルＢ１を構成する各粒子にランダムな面内方向の力を加えて変形させることによってＧｒｏｕｎｄ　Ｔｒｕｔｈ（ＧＴ）を作成した。なお、本実施例で用いた誤差εは式（１０）によって表される。
Figure JPOXMLDOC01-appb-M000010
　ここでｎは物理モデルにおける総粒子数であり、ｘｇｔ，ｉはｉ番目の粒子のＧＴにおける位置ベクトル、ｘｅｓｔ，ｉはｉ番目の粒子の位置が臓器変形推定処理によって推定された位置ベクトルである。
　臓器変形推定処理による誤差とｅｌａｓｔｉｘによる３次元画像同士の位置合わせによる結果とを比較することによって、断層画像１枚のみの使用で、３次元変位推定における精度を検証した。また、臓器変形推定処理を用いて、周辺臓器である胃を離散化しない場合の３次元シミュレーションを行い、周辺臓器の考慮による精度向上の有無について検証した。
　本実施例では、２０例のデータに対して臓器変形推定処理を適用した。２０例のデータのうち精度の高い例１例と精度の低い例１例についての結果を図９及び図１０にそれぞれ示す。図９及び図１０において、「推定処理のみのデータ」とは、臓器変形推定処理によって推定された位置のうちＧＴに含まれていない位置を示すデータである。「ＧＴのみのデータ」とは、ＧＴのデータのうち臓器変形推定処理によって推定されなかった位置を示すデータである。「推定処理及びＧＴのデータ」とは、臓器変形推定処理によって推定された位置のうちＧＴに含まれている位置を示すデータである。
　図９を見ると、表面部分に若干の誤差が見受けられるものの精度高く変位を推定できていることが分かる。表面部分に存在する誤差は、他臓器との接触のみしか境界条件を定義していないからであると考えられる。考慮する周辺臓器の数を増やすこと、または接触のアルゴリズムをより高精度なものに変えることなどによって、誤差の低減を図ることができると考えられる。図１０を見ると、臓器の両端の部分で特に誤差が出てしまっていることが分かる。本実施例では、実験条件を統一するために膵臓存在領域中央の断層画像を使用した。使用する断層の軸方向、及び各軸方向においてどの断層を選択するかが重要であると考えられる。
　２０例のデータについての臓器変形推定処理による結果の誤差を図１１に示す。図１１は、当該２０例の誤差の分布を表す箱ひげ図である。臓器変形推定処理による膵臓の位置誤差は１２．７±６．９３（ピクセル）であった。臓器変形推定処理において、周辺臓器との接触を考慮しなかった場合の膵臓の位置誤差は２１．３±９．３０（ピクセル）であった。３次元画像同士の位置合わせによる結果の膵臓の位置誤差は１．９７±０．９８１（ピクセル）であった。平均値で見ると３次元画像同士の位置合わせによる結果に迫るほどの精度を達成することができなかった。しかし図１１を見ると臓器変形推定処理による結果の４割程度の例において３次元画像同士の位置合わせによる結果に近い精度を実現することができていることが見て取れる。適切な断層を選択することができれば臓器変形推定処理によって３次元画像同士の位置合わせによる結果に近い精度を実現できる。適切な断層を選択する方法については後述する。
　周辺臓器との接触を考慮しない場合に比べて接触を考慮した場合の方が平均及び標準偏差で良い結果が見て取れ、両者の中央値の間に有意水準０．００１で統計的有意差が得られた。そのため、周辺臓器との接触を考慮することで精度が向上することが示唆された。
（第２の実施形態）
　以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
　上記第１の実施形態では、撮影される断層の位置、及び方向が予め決められている場合について説明をした。本実施形態では、撮影される断層の位置、及び方向が選択される場合について説明をする。
　本実施形態に係る臓器変形推定システムを臓器変形推定システム１ａという。
　なお、上述した第１の実施形態と同一の構成については同一の符号を付して、同一の構成及び動作についてはその説明を省略する場合がある。
［臓器変形推定システム１ａの機能構成］
　図１２は、本実施形態に係る臓器変形推定システム１ａの機能構成の一例を示す図である。臓器変形推定システム１ａは、臓器変形推定装置２ａと、３次元画像供給部３と、撮影画像供給部４０とを備える。
　臓器変形推定装置２は、制御部２０ａと、記憶部２１ａとを備える。
　制御部２０ａは、３次元画像取得部２００と、３次元モデル生成部２０１と、３次元モデル取得部２０２と、部分画像抽出部２０３と、撮影画像取得部２０４と、位置合わせ部２０５と、目標位置算出部２０６と、変位推定部２０７と、出力部２０８と、断層選択部２０９ａとを備える。本実施形態に係る制御部２０ａ（図１２）と第１の実施形態に係る制御部２０（図３）とを比較すると、断層選択部２０９ａが異なる。ここで、他の構成要素（３次元画像取得部２００、３次元モデル生成部２０１、３次元モデル取得部２０２、部分画像抽出部２０３、撮影画像取得部２０４、位置合わせ部２０５、目標位置算出部２０６、変位推定部２０７、及び出力部２０８）が持つ機能は第１の実施形態と同じである。
　断層選択部２０９ａは、臓器の内部（断層）のうち撮影画像Ｃ１として撮影する撮影断層を選択する。撮影断層は、臓器の内部（断層）のうち撮影画像Ｃ１として撮影する断層である。撮影断層は、断層の方向と、当該方向についての位置とが指定されることによって選択される。断層選択部２０９ａは、選択した撮影断層を示す情報を断層位置情報Ｅ１ａとして記憶部２１ａに記憶させる。
［断層選択処理］
　断層選択部２０９ａが断層を選択する処理を断層選択処理という。断層選択部２０９ａは、治療前処理の後であってキャリブレーションの前の時期に断層選択処理を実行する。
　ここで図１３及び図１４を参照し、断層選択処理について説明する。取得可能な断層画像には、撮影断層の候補の数が有限でかつ全探索可能な場合と、撮影断層の候補の数が有限かつ全探索不可能な場合、または撮影断層の候補の数が有限でない場合とがある。断層選択処理は、それぞれの場合において異なる。
　図１３は、本実施形態に係る撮影断層の候補の数が有限でかつ全探索可能な場合の断層選択処理の流れの一例を示す図である。
　ステップＳ４１０：断層選択部２０９ａは、３次元画像Ａ１にランダムに変形を加え正解データを生成する。正解データは、３次元画像Ａ１に撮影されている臓器の各部分に画素単位でランダムに変形が加えられて生成される３次元画像である。ランダムな変形は、乱数を用いて所定数のパターンだけ加えられる。断層選択部２０９ａは、所定数のパターンのランダムな変形それぞれについて、正解データを生成する。所定数は、例えば５つである。なお、図１３では、簡単のために２つの正解データのみが示され、他の正解データについては省略されている。
　ステップＳ４２０：断層選択部２０９ａは、断層方向、及び断層番号の全ての組み合わせについて臓器変形推定処理が実行された結果の誤差を計測する。断層番号は、ある断層方向についての１以上の位置の断層それぞれに割り振られた番号である。
　断層選択部２０９ａは、ある断層方向、及びある断層番号によって指定される断層について正解データから２次元画像を抽出する。制御部２０ａは、抽出した２次元画像を撮影画像Ｃ１の代わりに用いて臓器変形推定処理を実行する。断層選択部２０９ａは、当該臓器変形推定処理による臓器の変形の推定結果の正解データに対する誤差を計測する。
　例えば、断層方向が２通り、断層の数が３０である場合、断層方向、及び断層番号の全ての組み合わせは９００通りとなる。なお、組み合わせが膨大な場合は全ての組み合わせについて臓器変形推定処理を実行するのではなく、他のパラメータチューニング方法を用いて、組み合わせの数を減らしてもよい。他のパラメータチューニング方法とは、例えば、ランダムサーチ、またはベイズ最適化などである。
　ステップＳ４３０：断層選択部２０９ａは、計測した誤差が小さい上位数断層（例えば上位５断層）を選択する。
　以上のステップＳ４２０、及びステップＳ４３０の各処理が、正解データ毎に実行される。
　ステップＳ４４０：断層選択部２０９ａは、ステップＳ４３０で選択された断層群に関して、誤差が最小となる断層を最適解（撮影断層）として選択する。断層選択部２０９ａは、例えば、順位で重み付け平均をとり誤差が最小となる断層を選択する。断層選択部２０９ａは、例えば、撮影断層の断層番号を断層位置情報Ｅ１として記憶部２１ａに記憶させる。
　図１４は、本実施形態に係る撮影断層の候補の数が有限かつ全探索不可能な場合、または撮影断層の候補の数が有限でない場合の断層選択処理の一例を説明するための図である。撮影断層の候補の数が有限かつ全探索不可能な場合には、例えば、撮影断層の候補の数が膨大な場合が含まれる。また、撮影断層の候補の数が有限でない場合には、例えば、撮影断層の候補の位置が３次元画像Ａ１に含まれていない位置についても、画像補間などを用いて仮想的に断層を定義して撮影断層の候補とする場合が含まれる。したがって、撮影断層の候補には、予め撮影された３次元画像Ａ１に含まれる位置に対応する断層だけでなく、当該３次元画像Ａ１には含まれない位置に対応する断層が含まれる場合がある。
　図１４では、「断層方向１」と「断層方向２」との２通りの断層方向について、推定結果の正解データに対する誤差が示されている。推定結果は、上述したステップＳ４２０と同様の処理によって得られた結果である。なお、図１４に示す誤差のうち、臓器変形推定処理を実行するために撮影画像Ｃ１の代わりに用いる２次元画像は、例えば、３次元画像Ａ１から画像補間などを用いて生成された２次元画像である。撮影断層の候補の数が有限かつ全探索不可能な場合、または撮影断層の候補の数が有限でない場合、断層選択部２０９ａは、最適化手法に基づいて最適な断面を探索する。最適化手法は、例えば、確率的勾配降下法などである。
　以上に説明したように、本実施形態に係る臓器変形推定装置２ａは、断層選択部２０９ａを備える。断層選択部２０９ａは、１以上の断層方向、当該断層方向の１以上の位置それぞれについての撮影断層の候補の断層のなかから、３次元画像Ａ１にランダムに変形を加えた３次元画像である正解データから当該候補の断層について取得される２次元画像を撮影画像Ｃ１の代わりに用いた場合に推定された臓器の変形の推定結果の正解データに対する誤差に基づいて撮影断層を選択する。
　この構成により、本実施形態に係る臓器変形推定装置２ａでは、臓器の変形の推定結果の誤差が小さくなる断層を選択できるため、推定結果の誤差を小さくできる。
　なお、適切な断層を選択する方法は、本実施形態において説明した断層選択処理に限られない。適切な断層を選択する方法としては、断層位置を説明変数とし、評価指標である位置合わせ誤差、またはＤｉｃｅ係数に関する値及び順位を目的変数とする回帰モデルを作成し、最適な断層位置を取得する方法が用いられてもよい。上記の回帰モデルを実際に作成したところ、決定係数が０．９０３～０．９５１と高精度の回帰モデルを作成することができた。なお、実行時間は１．５７±０．２１３ｍｓであり、治療中にリアルタイムでの断層選択が可能であることも確認できた。
（第２の実施例）
　第２の実施形態に係る実施例である第２の実施例について説明する。本実施例では、１枚の３次元画像に対して乱数によりランダムな変形を加えて生成した５例を正解データとして、全ての断層について３次元シミュレーションを行った。３次元シミュレーションの際には膵臓、胃、及び十二指腸の３つを離散化し、推定の誤差が小さくなる組み合わせについても検討した。
　５例の正解データそれぞれについて、誤差が小さい順に上位５つの断層についての誤差、及び断層番号を図１５に示す。なお、断層番号は７９から１１３であり、断層番号の中央値は９６である。本実施例では、臓器の組合せについて下記の４種類の組合せ（「ｔｙｐｅ」と呼ぶ）で行った。１種類目の組合せは、膵臓、胃、十二指腸を全て離散化した場合（「ａｌｌ」と呼ぶ）である。２種類の組合せは、膵臓、胃を離散化した場合（「ｗ／ｏ　ｄｕｏ」と呼ぶ）である。３種類目の組合せは、膵臓、十二指腸を離散化した場合（「ｗ／ｏ　ｓｔｏｍ」と呼ぶ）である。４種類目の組合せは、膵臓のみを離散化した場合（「ｐａｎｃ」と呼ぶ）である。
　図１５において、「ｐａｎｃｒｅａｓ」、「ｓｔｏｍａｃｈ」、及び「ｄｕｏｄｅｎｕｍ」の各列は、各臓器の面積の断層上に占める割合を示している。十二指腸の部分に空欄が多数存在するが、これは十二指腸が膵臓及び胃よりも存在範囲が狭いため、３次元モデルＢ１として離散化されているが断層上には存在しないことを表す。
　各例について、断層番号を変化させた場合の誤差の推移のグラフを図１６から図２０に示す。断層番号を変化させた場合の誤差の推移と粒子数との関係を示すグラフを図２１から図２５に示す。本実施例の結果より、３次元シミュレーションに使用する臓器が多い方が、臓器の変形の推定の精度が高くなることが確かめられた。
　なお、上述した実施形態では、臓器変形推定装置２、２ａが放射線治療において用いられる場合の一例について説明したが、これに限られない。臓器変形推定装置２、２ａは、放射線治療以外の治療、または治療の支援に用いられてもよい。放射線治療以外の治療とは、例えば、重粒子線治療、または外科治療としての手術などである。また、治療の支援とは、例えば、画像誘導手術支援、ロボット支援手術などである。
　また、臓器変形推定装置２、２ａは、臓器変形推定装置２、２ａを備える治療装置、または治療システムとして各種の治療に用いられてもよい。また、臓器変形推定装置２、２ａは、臓器変形推定装置２、２ａを備える治療支援装置、または治療支援システムとして各種の治療の支援に用いられてもよい。治療システムの一例は、臓器変形推定装置２と、撮影装置と、放射線照射装置とを備える放射線治療システムである。
　なお、上述した実施形態における臓器変形推定装置２、２ａの一部、例えば、３次元画像取得部２００、３次元モデル生成部２０１、３次元モデル取得部２０２、部分画像抽出部２０３、撮影画像取得部２０４、位置合わせ部２０５、目標位置算出部２０６、変位推定部２０７、出力部２０８、及び断層選択部２０９ａをコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、臓器変形推定装置２、２ａに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　また、上述した実施形態における臓器変形推定装置２、２ａの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。臓器変形推定装置２、２ａの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
２、２ａ…臓器変形推定装置、２００…３次元画像取得部、２０２…３次元モデル取得部、２０３…部分画像抽出部、２０３…部分画像抽出部、２０４…撮影画像取得部、２０５…位置合わせ部、２０６…目標位置算出部、２０７…変位推定部、Ａ１…３次元画像、Ｂ１、Ｂ１１、Ｂ１２、Ｂ２１、Ｂ２２、Ｂ３１、Ｂ３２…３次元モデル、Ｃ１、Ｃ１０、Ｃ１１…撮影画像、Ｄ１…部分画像

Claims (10)

  1. 　治療が行われる前の時期に予め撮影された臓器の３次元画像に基づいて生成され、前記治療が行われる前の時期における前記臓器の形状を示す３次元モデルを取得する３次元モデル取得部と、
    　前記治療の過程において前記臓器の内部が撮影された２次元画像である撮影画像を取得する撮影画像取得部と、
    　前記３次元画像に含まれる部分のうち前記撮影画像に撮影された前記内部の位置に対応する部分の２次元画像である部分画像を前記３次元画像から抽出する部分画像抽出部と、
    　前記内部の同一部分を示す画素が互いに対応づけられるように、前記撮影画像を構成する画素と前記部分画像を構成する画素との位置合わせを行う位置合わせ部と、
    　前記位置合わせの結果に基づいて前記３次元モデルを構成する部分のうち前記内部に対応する部分について、当該部分の変位の目標位置を算出する目標位置算出部と、
    　前記３次元モデルを構成する部分のうち前記内部に対応する部分の位置を前記目標位置まで変位させるように３次元シミュレーションに基づいて前記３次元モデルを変形させることによって、前記治療の過程における前記臓器の変形を推定する変位推定部と
    　を備える臓器変形推定装置。
  2. 　前記臓器は、前記治療の対象の臓器と、当該対象の臓器に隣接する他の臓器とからなる
    　請求項１に記載の臓器変形推定装置。
  3. 　前記３次元画像を取得する３次元画像取得部をさらに備える
    　請求項１に記載の臓器変形推定装置。
  4. 　前記変位推定部は、メッシュフリー法に基づいて前記３次元シミュレーションを行う
    　請求項１に記載の臓器変形推定装置。
  5. 　前記臓器の内部のうち前記撮影画像として撮影する撮影断層を選択する断層選択部をさらに備える
    　請求項１に記載の臓器変形推定装置。
  6. 　前記断層選択部は、１以上の断層方向、当該断層方向の１以上の位置それぞれについての前記撮影断層の候補の断層のなかから、前記３次元画像にランダムに変形を加えた３次元画像である正解データから当該候補の断層について取得される２次元画像を前記撮影画像の代わりに用いた場合に推定された前記臓器の変形の推定結果の前記正解データに対する誤差に基づいて前記撮影断層を選択する
    　請求項５に記載の臓器変形推定装置。
  7. 　請求項１に記載の臓器変形推定装置を備える治療装置。
  8. 　請求項１に記載の臓器変形推定装置を備える治療支援装置。
  9. 　治療が行われる前の時期に予め撮影された臓器の３次元画像に基づいて生成され、前記治療が行われる前の時期における前記臓器の形状を示す３次元モデルを取得する３次元モデル取得ステップと、
    　前記治療の過程において前記臓器の内部が撮影された２次元画像である撮影画像を取得する撮影画像取得ステップと、
    　前記３次元画像に含まれる部分のうち前記撮影画像に撮影された前記内部の位置に対応する部分の２次元画像である部分画像を前記３次元画像から抽出する部分画像抽出ステップと、
    　前記内部の同一部分を示す画素が互いに対応づけられるように、前記撮影画像を構成する画素と前記部分画像を構成する画素との位置合わせを行う位置合わせステップと、
    　前記位置合わせの結果に基づいて前記３次元モデルを構成する部分のうち前記内部に対応する部分について、当該部分の変位の目標位置を算出する目標位置算出ステップと、
    　前記３次元モデルを構成する部分のうち前記内部に対応する部分の位置を前記目標位置まで変位させるように３次元シミュレーションに基づいて前記３次元モデルを変形させることによって、前記治療の過程における前記臓器の変形を推定する変位推定ステップと
    　を有する臓器変形推定方法。
  10. 　コンピュータに、
    　治療が行われる前の時期に予め撮影された臓器の３次元画像に基づいて生成され、前記治療が行われる前の時期における前記臓器の形状を示す３次元モデルを取得する３次元モデル取得ステップと、
    　前記治療の過程において前記臓器の内部が撮影された２次元画像である撮影画像を取得する撮影画像取得ステップと、
    　前記３次元画像に含まれる部分のうち前記撮影画像に撮影された前記内部の位置に対応する部分の２次元画像である部分画像を前記３次元画像から抽出する部分画像抽出ステップと、
    　前記内部の同一部分を示す画素が互いに対応づけられるように、前記撮影画像を構成する画素と前記部分画像を構成する画素との位置合わせを行う位置合わせステップと、
    　前記位置合わせの結果に基づいて前記３次元モデルを構成する部分のうち前記内部に対応する部分について、当該部分の変位の目標位置を算出する目標位置算出ステップと、
    　前記３次元モデルを構成する部分のうち前記内部に対応する部分の位置を前記目標位置まで変位させるように３次元シミュレーションに基づいて前記３次元モデルを変形させることによって、前記治療の過程における前記臓器の変形を推定する変位推定ステップと
    　を実行させるためのプログラム。
PCT/JP2023/025588 2022-07-27 2023-07-11 臓器変形推定装置、治療装置、治療支援装置、臓器変形推定方法、及びプログラム WO2024024495A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022119514 2022-07-27
JP2022-119514 2022-07-27

Publications (1)

Publication Number Publication Date
WO2024024495A1 true WO2024024495A1 (ja) 2024-02-01

Family

ID=89706280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025588 WO2024024495A1 (ja) 2022-07-27 2023-07-11 臓器変形推定装置、治療装置、治療支援装置、臓器変形推定方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024024495A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007159933A (ja) * 2005-12-15 2007-06-28 Hitachi Medical Corp 画像表示方法、プログラム、及び装置
JP2009000369A (ja) * 2007-06-22 2009-01-08 Mitsubishi Electric Corp 放射線治療装置及び治療部位の位置決め方法
US20160012592A1 (en) * 2013-03-15 2016-01-14 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for real-time 2d/3d deformable registration using metric learning
JP2019528971A (ja) * 2016-09-29 2019-10-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 隠蔽形状再構成および堅牢な点マッチングを介したｃｂｃｔからｍｒへの位置合わせ
JP2021142146A (ja) * 2020-03-12 2021-09-24 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用装置、治療システム、医用画像処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007159933A (ja) * 2005-12-15 2007-06-28 Hitachi Medical Corp 画像表示方法、プログラム、及び装置
JP2009000369A (ja) * 2007-06-22 2009-01-08 Mitsubishi Electric Corp 放射線治療装置及び治療部位の位置決め方法
US20160012592A1 (en) * 2013-03-15 2016-01-14 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for real-time 2d/3d deformable registration using metric learning
JP2019528971A (ja) * 2016-09-29 2019-10-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 隠蔽形状再構成および堅牢な点マッチングを介したｃｂｃｔからｍｒへの位置合わせ
JP2021142146A (ja) * 2020-03-12 2021-09-24 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用装置、治療システム、医用画像処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HARA YUKI, KADOYA NORIYUKI, MITSUME NAOTO, IENAGA NAOTO, UMEZAWA REI, JINGU KEIICHI, KURODA YOSHIHIRO: "2D Tomographic Image-Driven Multi-Organ Contact Simulation for Estimating Pancreatic Displacement in Radiotherapy", THE 41ST JAMIT ANNUAL MEETING 2022, 1 July 2022 (2022-07-01), pages 86 - 87, XP093133005, Retrieved from the Internet <URL:jamit.jp/index/jamit2022_proceedings.pdf> *

Similar Documents

Publication Publication Date Title
Pfeiffer et al. Learning soft tissue behavior of organs for surgical navigation with convolutional neural networks
EP3121789B1 (en) Method and system for convolutional neural network regression based 2d/3d image registration
US11263772B2 (en) Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
CN109074639B (zh) 医学成像系统中的图像配准系统和方法
Suwelack et al. Physics‐based shape matching for intraoperative image guidance
JP4821940B2 (ja) 画像照合装置及びこれを用いた患者位置決め装置
US8953856B2 (en) Method and system for registering a medical image
JP6695954B2 (ja) 形状の予測
EP3444781B1 (en) Image processing apparatus and image processing method
Yu et al. Fully automatic reconstruction of personalized 3D volumes of the proximal femur from 2D X-ray images
CN109102490A (zh) 自动图像注册质量评估
JP5832938B2 (ja) 画像処理装置、方法及びプログラム
JP7349158B2 (ja) 機械学習装置、推定装置、プログラム及び学習済みモデル
Xie et al. Feature‐based rectal contour propagation from planning CT to cone beam CT
US9498645B2 (en) Dose deformation error calculation method and system
EP2742483B1 (en) Image processing method
Shao et al. Automatic liver tumor localization using deep learning‐based liver boundary motion estimation and biomechanical modeling (DL‐Bio)
US20210133356A1 (en) Anonymization of Medical Image Data
WO2024024495A1 (ja) 臓器変形推定装置、治療装置、治療支援装置、臓器変形推定方法、及びプログラム
KR102442093B1 (ko) 수술용 내비게이션 시스템에서의 표면 정합 개선 방법
Oulbacha et al. MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms
US20230097224A1 (en) Ai-based atlas mapping slice localizer for deep learning autosegmentation
US11837352B2 (en) Body representations
Zhou et al. Learning stochastic object models from medical imaging measurements by use of advanced ambientgans
Coevoet et al. Introducing interactive inverse FEM simulation and its application for adaptive radiotherapy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23846226

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)