WO2019198394A1 - 医用画像処理装置、医用画像処理方法、およびプログラム - Google Patents

医用画像処理装置、医用画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2019198394A1
WO2019198394A1 PCT/JP2019/009394 JP2019009394W WO2019198394A1 WO 2019198394 A1 WO2019198394 A1 WO 2019198394A1 JP 2019009394 W JP2019009394 W JP 2019009394W WO 2019198394 A1 WO2019198394 A1 WO 2019198394A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
likelihood
unit
images
patient
Prior art date
Application number
PCT/JP2019/009394
Other languages
English (en)
French (fr)
Inventor
隆介 平井
昭行 谷沢
森　慎一郎
慶子 岡屋
Original Assignee
東芝エネルギーシステムズ株式会社
国立研究開発法人量子科学技術研究開発機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東芝エネルギーシステムズ株式会社, 国立研究開発法人量子科学技術研究開発機構 filed Critical 東芝エネルギーシステムズ株式会社
Priority to RU2020132773A priority Critical patent/RU2762146C1/ru
Priority to CN201980024585.1A priority patent/CN111954494B/zh
Priority to US17/045,911 priority patent/US11830184B2/en
Priority to KR1020207028777A priority patent/KR102469141B1/ko
Priority to EP19784846.8A priority patent/EP3777686B1/en
Publication of WO2019198394A1 publication Critical patent/WO2019198394A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/42—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4266—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a plurality of detector units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1064—Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
    • A61N5/1065—Beam adjustment
    • A61N5/1067—Beam adjustment in real time, i.e. during treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1051—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an active marker
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1061—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1061—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source
    • A61N2005/1062—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source using virtual X-ray images, e.g. digitally reconstructed radiographs [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • Embodiments described herein relate generally to a medical image processing apparatus, a medical image processing method, and a program. This application claims priority based on Japanese Patent Application No. 2018-075024 filed in Japan on April 9, 2018, the contents of which are incorporated herein by reference.
  • a radiation treatment method in which radiation is applied to a patient's tumor for treatment. Radiation needs to be delivered precisely to the tumor location. This is because if a normal tissue in a patient's body is irradiated with radiation, the normal tissue may be affected. Therefore, computer tomography (CT) imaging is performed in advance to three-dimensionally grasp the position of the tumor in the patient's body, and the irradiation direction and irradiation intensity are planned so as to reduce irradiation to normal tissue. Is done.
  • CT computer tomography
  • In radiation therapy in order to emit radiation according to the treatment plan, it is necessary to align the position of the patient relative to the apparatus (hereinafter simply referred to as the patient position) between the treatment plan and the treatment time.
  • a fluoroscopic image is virtually created from a fluoroscopic image of the patient body laid on the bed immediately before treatment and a 3D CT image taken at the time of treatment planning.
  • Image matching with a reconstructed digitally reconstructed X-ray image (Digitally Reconstructed Radiograph: DRR) is performed to determine a position shift of the patient between the images, and alignment is performed to move the bed based on the shift.
  • the shift of the patient position is obtained by searching for the position of the CT image in which the DRR most similar to the fluoroscopic image is reconstructed.
  • the result of the automatic search is confirmed by a user (such as a doctor) comparing the fluoroscopic image and the DRR image to confirm that the positional deviation of the patient is sufficiently small. Then, as soon as confirmation is obtained by the user, irradiation of radiation is performed.
  • the location of the tumor being irradiated must be identified.
  • identifying continuously taking fluoroscopic video of the patient during irradiation and tracking the tumor in the fluoroscopic image sequentially, or if the tumor is not clearly visible in the fluoroscopic image, track the marker placed in the patient's body By doing so, there is a method of indirectly specifying the position of the tumor.
  • the irradiation method there are tracking irradiation for tracking and irradiating a tumor position, and ambush irradiation for irradiating when a tumor comes to the position at the time of treatment planning. These irradiation methods are called respiratory synchronized irradiation methods because the patient's breathing and irradiation are synchronized.
  • a method for tracking a tumor appearing in a fluoroscopic image there is a method of acquiring a tumor image pattern in advance, searching for a position of a similar image pattern in a fluoroscopic image taken at the time of treatment, and specifying the position of the tumor. is there.
  • an image including a tumor and an image not including a tumor are prepared, and a classifier for identifying them is generated by a neural network, and the position of the tumor is tracked by the classifier.
  • a large number of local images are cut out from a fluoroscopic image by, for example, a raster scan technique, and each of them is classified by a discriminator as to whether it is a tumor or a tumor. It may be difficult to apply to position tracking.
  • the problem to be solved by the present invention is to provide a medical image processing apparatus, a medical image processing method, and a program capable of estimating a target position of a patient from a fluoroscopic image of the patient at high speed and with high accuracy in radiotherapy. That is.
  • the medical image processing apparatus includes a first position acquisition unit, a first conversion unit, a first likelihood image generation unit, and a learning unit.
  • the first position acquisition unit acquires, as the first position, the target position of the patient in each of a plurality of first images that are perspective images at a plurality of time points when the patient is photographed.
  • the first conversion unit converts each of the first positions in the plurality of first images into a second position in which movement is expanded in a second direction that intersects a first direction in which the temporal movement of the first position is large. Convert.
  • the learning unit uses a part or all of each of the plurality of first images and the first likelihood image as teacher data, and if a part or all of the fluoroscopic image is given, corresponds to the second position.
  • a model for deriving a second likelihood image representing the likelihood distribution indicating the probability is output.
  • a medical image processing apparatus capable of automatically tracking a tumor in a patient body from a fluoroscopic image of a patient being treated in radiotherapy.
  • FIG. 1 is a configuration diagram of a treatment system 1 including a medical image processing apparatus 100 according to a first embodiment.
  • the block diagram of the moving body tracking device 120 of 1st Embodiment. 1 is a block diagram of a medical image processing apparatus 100 according to a first embodiment.
  • FIG. which shows an example of the locus
  • the flowchart which shows an example of the flow of a process of the learning apparatus 110.
  • the flowchart which shows an example of the flow of a process of the moving body tracking device 120 The block diagram of the moving body tracking device 120A of 2nd Embodiment.
  • FIG. 1 is a configuration diagram of a treatment system 1 including a medical image processing apparatus 100.
  • the treatment system 1 includes, for example, a treatment device 10 and a medical image processing device 100.
  • the treatment apparatus 10 includes, for example, a bed 11, radiation sources 12-1 and 12-2, detectors 13-1 and 13-2, and a treatment apparatus side control unit 20.
  • the hyphen in the reference numeral and the following number indicate which radiation source and detector pair is a radiation for fluoroscopy or a fluoroscopic image. The description will be made with the hyphen in the reference numeral and the subsequent number omitted as appropriate.
  • a patient P to be treated is fixed on the bed 11.
  • the radiation source 12-1 irradiates the patient P with radiation r-1.
  • the radiation source 12-2 irradiates the patient P with the radiation r-2 from an angle different from that of the radiation source 12-1.
  • the radiations r-1 and r-2 are examples of electromagnetic waves, for example, X-rays.
  • Radiation r-1 is detected by detector 13-1, and radiation r-2 is detected by detector 13-2.
  • the detectors 13-1 and 13-2 are, for example, a flat panel detector (FPD), an image intensifier, a color image intensifier, or the like.
  • the detector 13-1 detects the energy of the radiation r-1 and digitally converts it, and outputs it as a fluoroscopic image TI-1 to the medical image processing apparatus 100.
  • the detector 13-2 detects the energy of the radiation r-2, digitally converts it, and outputs it as a fluoroscopic image TI-2 to the medical image processing apparatus 100.
  • the treatment apparatus 10 may include three or more sets of radiation sources and detectors.
  • the irradiation gate 14 irradiates the patient P with the treatment beam B in the treatment stage.
  • the therapeutic beam B includes, for example, heavy particle beams, X-rays, ⁇ -rays, electron beams, proton beams, neutron beams, and the like.
  • the treatment apparatus 10 may include a plurality of irradiation gates.
  • the fluoroscopic image TI may be acquired several days before the irradiation of the treatment beam B by the irradiation gate 14 or may be acquired immediately before the irradiation of the treatment beam B.
  • a user (such as a doctor) of the treatment apparatus 10 makes a treatment plan using, for example, a fluoroscopic image acquired about several days before the treatment beam B is irradiated.
  • the treatment plan is to plan the energy of the radiation irradiated to the patient P, the irradiation direction, the shape of the irradiation range, and the like.
  • the treatment plan includes a plan for distributing the dose of the treatment beam B each time.
  • the medical image processing apparatus 100 accepts designation of the irradiation target position (target position) of the treatment beam B by the doctor.
  • the medical image processing apparatus 100 may derive the position of the marker placed in the vicinity of the target in the body of the patient P simultaneously with the derivation of various information regarding the target.
  • the marker placed in the body of the patient P is made of metal, for example, and has high visibility in the fluoroscopic image TI. Therefore, if it is difficult to track the target, the marker is tracked.
  • the medical image processing apparatus 100 specifies the position and volume of the tumor, for example, when specifying the boundary between the tumor and the normal region.
  • the volume of this tumor is the gross tumor volume (Gross TumorCVolume: GTV), clinical target volume (Clinical Target Volume: CTV), internal target volume (Internal Target Volume: ITV), planned target volume (Planning Target Volume: PTV).
  • GTV is a volume of a target that can be confirmed with the naked eye from an image.
  • GTV is a volume that needs to be irradiated with a treatment beam B having a sufficient dose.
  • CTV is the volume that contains GTV and the potential target to be treated.
  • the ITV is a volume obtained by adding a predetermined margin to the CTV in consideration of the movement of the CTV due to the predicted movement of the physiological patient P or the like.
  • the PTV is a volume obtained by adding a margin to the ITV in consideration of an error in the alignment of the patient P performed when performing the treatment. The relationship of the following formula (1) is established in these volumes.
  • the medical image processing apparatus 100 determines an irradiation field of the treatment beam by adding a margin considering an error that may occur during actual treatment set in the treatment plan.
  • the error that may occur during actual treatment is, for example, a patient position shift in patient positioning.
  • FIG. 2 is a block diagram illustrating a configuration of the learning device 110 according to the first embodiment.
  • the learning device 110 illustrated in FIG. 2 includes, for example, a first image acquisition unit 111, a first position acquisition unit 112, a first conversion unit 113, a first likelihood image generation unit 114, a learning unit 115, and parameters. And a storage unit 116. These components (excluding the parameter storage unit 116) are realized by, for example, a hardware processor such as a CPU executing a program (software).
  • circuit units such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), GPU (Graphics Processing Unit); (including circuitry), or may be realized by cooperation of software and hardware.
  • the program may be stored in advance in a storage device such as an HDD (Hard Disk Drive) or flash memory, or may be stored in a removable storage medium such as a DVD or CD-ROM, and the storage medium is stored in the drive device. It may be installed in the storage device by being attached.
  • the first image acquisition unit 111 first reproduces the imaging device provided in the treatment device 10 constituting the treatment system 1. More specifically, as shown in FIG. 1, in the treatment apparatus 10 constituting the treatment system 1, the positions of the radiation source 12 and the radiation detector 13 are fixed. That is, in the treatment apparatus 10, the direction in which the imaging apparatus configured by the set of the radiation source 12 and the radiation detector 13 captures an image is fixed. For this reason, when predetermined three-dimensional coordinates are defined in the three-dimensional space where the radiation source 12 and the radiation detector 13 are installed, the positions of the radiation source 12 and the radiation detector 13 are expressed by three-axis coordinate values. Can be represented. In the following description, the information on the coordinate values of the three axes will be referred to as geometry information of an imaging apparatus configured by a set of the radiation source 12 and the radiation detector 13.
  • the first image acquisition unit 111 acquires the first image before the patient P is irradiated with the treatment beam B.
  • the first image is, for example, a DRR image created (reproduced) based on a fluoroscopic image such as a three-dimensional CT image taken at the time of treatment planning.
  • the first image acquisition unit 111 creates a DRR image from the fluoroscopic image acquired at the time of treatment planning according to the geometry information of the imaging device that captures the fluoroscopic image TI at the time of treatment.
  • the first image acquisition unit 111 outputs the acquired first image to the learning unit 115.
  • the first image acquired by the first image acquisition unit 111 may be, for example, an X-ray fluoroscopic image or the like taken at the time of learning such as the past treatment for the patient P or before.
  • the first image acquisition unit 111 includes, for example, a mask image acquisition unit 111a and a local region setting unit 111b.
  • the mask image acquisition unit 111a generates a mask image that covers the area of the fluoroscopic image TI when a subject other than a tumor that is the main subject (for example, a treatment instrument or a treatment device) is reflected.
  • the mask image acquisition unit 111a outputs a mask image covering a subject other than the tumor to the local region setting unit 111b.
  • the local region setting unit 111b has a small region where a subject other than a tumor is reflected, that is, a region where a portion where a tumor is reflected is relatively large from the mask image output by the mask image acquisition unit 111a ( For example, a window area WA (TP), which will be described later, is set and output to the first position acquisition unit 112 and the learning unit 115.
  • the local region setting unit 111b sets a region (for example, a window region WA (k) described later) that is expected to have a high learning effect from the mask image, and outputs the region to the learning unit 115.
  • the local region setting unit 111b is a doctor.
  • the local area setting unit 111b relates to the window area WA (k) in the learning unit 115 described later.
  • a first image and a mask image that are expected to have a high learning effect may be set and output, for example, an image that is expected to have a high learning effect is an image having a large difference in luminance value.
  • the first position acquisition unit 112 acquires information on the target position in the first image output by the first image acquisition unit 111.
  • the target position information is a position where an affected part of the patient P, that is, a tumor to be irradiated with the treatment beam B exists.
  • the target position information is information of a position (for example, a position reflecting the geometry information on the center of gravity of the tumor that can be confirmed on the DRR) specified by the user (for example, a doctor) of the medical image processing apparatus 100 at the time of treatment planning. is there.
  • the first position acquisition unit 112 outputs information about the first image and the target position to the first conversion unit 113.
  • the position specified at the time of treatment planning by a user (for example, a doctor) of the medical image processing apparatus 100 is an example of “target position” or “first position”.
  • the first conversion unit 113 derives the conversion parameter CP and the inverse conversion parameter RCP by performing a predetermined conversion process on the first image based on the target position information output by the first position acquisition unit 112.
  • the first conversion unit 113 associates the target position corresponding to the pixel position of the first image derived based on the conversion parameter CP with the pixel position of the first likelihood image, and the first likelihood image generation unit 114. Output to.
  • the first conversion unit 113 outputs the inverse conversion parameter RCP to the parameter storage unit 116.
  • the predetermined conversion process performed on the first image, the conversion parameter CP, and the inverse conversion parameter RCP will be described later.
  • the first likelihood image generation unit 114 generates a first likelihood image based on the target position output by the first conversion unit 113 and outputs the first likelihood image to the learning unit 115.
  • the first likelihood image is, for example, an image expressing the likelihood of the target position in the first image (probability that it is a position where a tumor is present) by brightness or the like.
  • the learning unit 115 includes a part or all of the first image output from the first image acquisition unit 111 (more specifically, the image of the window region) and the first likelihood image generation unit 114 that outputs the first image. Based on the likelihood image, a likelihood calculation parameter LP representing a model obtained by regression learning the relationship between a part or all of the first image and the first likelihood image is derived. The learning unit 115 outputs the likelihood calculation parameter LP to the parameter storage unit 116. Part or all of the first image corresponding to the respiratory phase and the first likelihood image are examples of “teacher data”.
  • the learning unit 115 includes, for example, a partial image generation unit 115a.
  • the partial image generation unit 115a generates a partial image that is a partial region of the first likelihood image.
  • FIG. 3 is a block diagram illustrating a configuration of the moving object tracking device 120 according to the first embodiment.
  • the moving body tracking device 120 illustrated in FIG. 3 includes, for example, a second image acquisition unit 121, a second likelihood image generation unit 122, a first estimation unit 123, and a second conversion unit 124. Some or all of these components may be realized by hardware such as an LSI, as in the learning device 110, or may be realized by cooperation of software and hardware.
  • the program may be stored in the storage device in advance, or may be stored in a removable storage medium, and may be installed in the storage device by attaching the storage medium to the drive device.
  • the second image acquisition unit 121 acquires a second image, which is a fluoroscopic image TI taken at an interval of a predetermined time immediately before or during irradiation of the treatment beam B to the patient P.
  • the second image acquisition unit 121 outputs the second image to the second likelihood image generation unit 122.
  • the second image acquisition unit 121 obtains the target position as a projection matrix. For this reason, in the second image acquisition unit 121, a projection matrix corresponding to each photographing apparatus is obtained in advance from the geometry information. That is, the second image acquisition unit 121 obtains a projection matrix for each photographing apparatus. Then, the second image acquisition unit 121 uses the triangulation principle from the target positions photographed in the two first images, and the coordinate value of the three-dimensional coordinates representing the target position in the predetermined three-dimensional space. Calculate Thereby, the second image acquisition unit 121 calculates at which position in the fluoroscopic image TI of the patient P the target position in the predetermined three-dimensional space is imaged.
  • the second likelihood image generation unit 122 generates a second likelihood image based on the second image output by the second image acquisition unit 121. For example, the second likelihood image generation unit 122 generates a second likelihood image corresponding to the second image based on the likelihood calculation parameter LP output from the parameter storage unit 116. The second likelihood image generation unit 122 outputs the generated second likelihood image to the first estimation unit 123.
  • the first estimation unit 123 estimates a target position on the second image based on the second likelihood image and the second image output from the second likelihood image generation unit 122.
  • the first estimation unit 123 outputs the estimated target position to the second conversion unit 124.
  • the second conversion unit 124 derives the target position (that is, the position where the treatment beam B is irradiated) based on the estimated target position output by the first estimation unit 123. For example, the second conversion unit 124 derives the target position by converting the estimated target position output by the first estimation unit 123 using the inverse conversion parameter RCP output by the parameter storage unit 116. To do.
  • the conversion process performed by the second conversion unit 124 is a process of performing conversion in the opposite direction to the conversion process performed by the first conversion unit 113.
  • FIG. 4 is a block diagram illustrating a configuration of the medical image processing apparatus 100 according to the first embodiment.
  • the medical image processing apparatus 100 illustrated in FIG. 4 includes, for example, a learning apparatus 110 and a moving body tracking apparatus 120.
  • FIG. 5 is a diagram illustrating an example of an image analysis performed by the first image acquisition unit 111 on the fluoroscopic image TI.
  • the fluoroscopic image TI of FIG. 5 shows that the target position TP to which the treatment beam B is irradiated exists in the thoracoabdominal region.
  • the first image acquisition unit 111 sets a plurality of window areas WA shown in FIG. 5 for a plurality of perspective images TI.
  • the window area WA is set to include, for example, an image at a position where a characteristic portion of the fluoroscopic image TI is extracted.
  • the characteristic part of the fluoroscopic image TI is a part that clearly appears, such as a tumor, a marker, or a diaphragm.
  • a window region including the target position TP in the image region and indicated by a solid line associated with the first likelihood image corresponds to the window region WA (TP) and the first likelihood image.
  • a window area indicated by a broken line that is not attached may be referred to as a window area WA (k) (k is an integer). In the example of FIG. 5, k is an integer from 1 to 5.
  • the position occupied by the window area WA in the first image is fixed.
  • the local area setting unit 111b sets the window area WA (TP) so as to include all of the trajectories of the corrected target positions TP-1 to TP-6.
  • the local area setting unit 111b sets a local area having a large luminance difference between the first images corresponding to TP-1 to TP-6 as the window area WA (k).
  • the local region setting unit 111b may set a local region having a long optical flow trajectory as the window region WA (k).
  • the local area setting unit 111b may set a local area including many feature points obtained by corner detection of an image as the window area WA (k).
  • the local area setting unit 111b may preferentially set the window area WA (k) including the position because the target image pattern shown in the fluoroscopic image TI is clear.
  • the target position shown in the fluoroscopic image TI may be unclear.
  • the local region setting unit 111b sets a portion that is clearly reflected, such as the boundary of the diaphragm, as the window region WA (k).
  • FIG. 6 is a diagram showing an example of the movement characteristics of the target position TP in the window area WA (TP) at a plurality of points in time.
  • the hyphen in the reference numeral and the number following the hyphen indicate the target position (which respiration phase). The description may be made by omitting the hyphen in the reference numeral and the subsequent number.
  • the target position TP moves according to the breathing of the patient P.
  • the target position TP moves in the order of the target positions TP-1 to TP-6 according to the respiration of the patient P. Therefore, the target position TP tends to move greatly in the head-to-tail direction of the patient P where the diaphragm moves significantly.
  • the target position TP moves little in the left-right direction orthogonal to the head-to-tail direction shown in FIG. That is, when the head-tail direction is photographed in accordance with the vertical direction of the fluoroscopic image TI, when the target position TP is projected onto the fluoroscopic image TI, the movement of the target position TP in the horizontal direction of the transparent image becomes small. That is, since the change in the horizontal direction of the first likelihood image generated based on the target position TP is only a slight difference, learning by the learning unit 115 may be difficult. Therefore, the first conversion unit 113 derives a conversion parameter CP that improves the learning efficiency of the learning unit 115.
  • A is a 2 ⁇ 2 matrix.
  • b is an offset.
  • each pixel position of the first image corresponds to a pixel position on the first likelihood image.
  • the 1st conversion part 113 matches each pixel of a 1st likelihood image with the pixel of the partial area
  • the fractional pixels of the first image may correspond to the integer-precision pixel positions of the first likelihood image. That is, when the diagonal components of A are all diagonal matrices and b is a zero vector, the pixel at the pixel position (x / 2, y / 2) of the first image is set to the first likelihood. Corresponding to (x, y) of the degree image.
  • the above problem is caused by a slight change in the position of the target position TP on the first likelihood image because the association is performed using the same scale when A is a unit matrix. Therefore, A is adjusted so that the pixel position with decimal precision of the first image is associated with the pixel position with integer precision of the first likelihood image. Thereby, the effect of learning by the learning unit 115 is enhanced by applying a change in the horizontal direction of the first likelihood image. For example, if the movement locus on the first image at the first position is an elliptical orbit, the matrix A is adjusted so that the locus is a perfect circle on the first likelihood image. Such a matrix A is an example of a “transformation matrix determined based on temporal movement of the first position”.
  • the inverse transformation parameter RCP is an inverse transformation parameter of the linear transformation. Specifically, the inverse matrix of the matrix A and the offset b.
  • the thus corrected target position on the first image by linear transformation is referred to as a corrected target position TP #.
  • the corrected target position TP # is an example of a “second position”.
  • the head-to-tail direction of the patient P shown in FIG. 6 is an example of a “first direction”, and the left-right direction is an example of a “second direction” that intersects the first direction.
  • FIG. 7 is an example of a first likelihood image generated by the first likelihood image generation unit 114.
  • the portion with high luminance (white portion) shown in FIG. 7 is a portion indicating that the likelihood that the target position exists is high.
  • the first likelihood image of FIG. 7 it is estimated that the target position exists in the upper right portion of the image.
  • the first likelihood image generation unit 114 generates a first likelihood image based on the second position output by the first conversion unit 113.
  • the first likelihood image generation unit 114 derives the likelihood image L (u, v) by the following formula (2).
  • ⁇ in Equation (2) is an arbitrary parameter set by the user. For example, ⁇ is set to a larger value as the resolution per pixel is higher.
  • the image size of the first likelihood image generated by the first likelihood image generation unit 114 can be arbitrarily set. However, as described above, if the trajectory of the target position is set within the first likelihood image, Good. Therefore, the image size of the first likelihood image can be made smaller than that of the first image.
  • the learning unit 115 uses, for example, an image cut out from one or a plurality of window areas WA (k) on the first image and the first likelihood image as learning data, and an image of the window area WA (k) is obtained.
  • a model for deriving the first likelihood image is generated.
  • the learning unit 115 may calculate a mathematical expression indicating a relationship between a vector x obtained by connecting images cut out from one or a plurality of window areas WA (k) on the first image and a vector y of the first likelihood image.
  • the function f is obtained.
  • the learning unit 115 derives the function f with x as a vector in which the pixel values of the first image are arranged and y as a vector in which the pixel values of the first likelihood image are arranged.
  • the learning unit 115 may derive the function f using a deep neural network, or may derive the function f using other machine learning methods such as a neural network, a convolutional neural network, and a decision tree. For example, when the function f of a plurality of patterns is derived using a predetermined number of the plurality of patterns, the learning unit 115 may learn all of the functions f of the plurality of patterns.
  • FIG. 8 is a flowchart showing an example of the processing flow of the learning device 110.
  • the first image acquisition unit 111 acquires first images at a plurality of times (step S100).
  • the first position acquisition unit 112 acquires a first position corresponding to the acquired first images at a plurality of times (step S102).
  • the first conversion unit 113 derives a conversion parameter CP and an inverse conversion parameter RCP based on the acquired trajectory of the first position at a plurality of times, and stores them in the parameter storage unit 116 (step S104).
  • the first conversion unit 113 derives a second position obtained by converting the first position based on the conversion parameter CP (step S106).
  • the 1st likelihood image generation part 114 produces a 1st likelihood image on the basis of a 2nd position (step S108).
  • the learning unit 115 learns the relationship between them using the second image and the first likelihood image (step S110).
  • the learning unit 115 stores the likelihood calculation parameter LP in the parameter storage unit 116 (step S112). This is the end of the processing in this flowchart.
  • the second likelihood image generation unit 122 uses the above mathematical formula (3) based on the second image output from the second image acquisition unit 121 and the likelihood calculation parameter LP acquired from the parameter storage unit 116. A second likelihood image corresponding to the second image is generated.
  • the second likelihood image generation unit 122 uses the partial image of the second image located at the same position as that in the window area WA (k) set by the local area setting unit 111b as an input of the above mathematical formula (3).
  • the association between the pixel positions of the second likelihood image and the second image output here is the same as the association between the first likelihood image and the first image.
  • the first estimation unit 123 estimates the pixel position having the maximum likelihood in the second likelihood image output from the second likelihood image generation unit 122 as the second position.
  • the first estimation unit 123 uses the likelihood indicated by the second likelihood image output from the second likelihood image generation unit 122 as a weight, derives the pixel position from the weighted average of each pixel position, and uses it as the second position. Also good.
  • the 1st estimation part 123 may perform weighted average which makes a weight small, so that the shift
  • the first estimation unit 123 acquires the second position in the second image acquired from the next time on the basis of the target position. Predict. A plurality of predicted position candidates may be prepared, and a weighted average position using the likelihood of the second likelihood image corresponding to these positions as a weight may be set as the second position. There are methods such as a particle filter as a candidate for the predicted position.
  • the first estimation unit 123 estimates the likelihood from the second likelihood image at the position obtained by projecting the predicted position onto each image (the perspective images TI-1 and TI-2). And the product may be used as the likelihood of the estimated target position.
  • the predicted position is a two-dimensional coordinate
  • the likelihood for the target position on the two images where the epipolar constraint is satisfied may be derived.
  • the second conversion unit 124 may output a position corrected using the model of the locus of the second position created in the treatment planning stage with respect to the converted target position.
  • the second conversion unit 124 may replace the output value using Equation (5) below using the derived model.
  • the second image acquired by the second image acquisition unit 121 is, for example, two images (perspective images TI-1 and TI-2) taken simultaneously from different directions in the treatment apparatus 10 illustrated in FIG. . That is, the second image acquisition unit 121 can acquire the second position corresponding to each image. Therefore, the second image acquisition unit 121 may obtain the second position in the three-dimensional space where the epipolar constraint is satisfied from each of the perspective images TI-1 and TI-2.
  • Epipolar constraint is a geometric constraint based on the fact that the relative positional relationship between two imaging devices is known. The center point of the same subject captured on one image is on the epipolar line on another image. It refers to the constraint of being bound by. However, since the second position corresponding to each image does not always follow the epipolar constraint, the second image acquisition unit 121 derives the second position in the three-dimensional space by the least square method.
  • FIG. 9 is a flowchart showing an example of the processing flow of the moving object tracking device 120. The flowchart shown in FIG. 9 is performed after the processing of the flowchart shown in FIG.
  • the second image acquisition unit 121 acquires a second image (step S200).
  • the second likelihood image generation unit 122 generates a second likelihood image (step S202).
  • the first estimation unit 123 derives a second position based on the second likelihood image (step S204).
  • the second conversion unit 124 converts the second position with the inverse conversion parameter to derive the target position (step S206). This is the end of the processing in this flowchart.
  • the target position derived at the time of treatment planning is learned, and the transformation parameter CP and the inverse transformation parameter RCP used for deriving the target position in the fluoroscopic image TI, and fluoroscopy
  • the learning device 110 for deriving the likelihood calculation parameter LP used for deriving the likelihood in the image the fluoroscopic image TI acquired at the time of treatment beam B irradiation and the various parameters derived by the learning device 110, it is acquired at the time of treatment beam B irradiation.
  • the position of the target can be tracked at high speed and with high accuracy in the radiotherapy from the fluoroscopic image TI of the patient P being irradiated. it can.
  • FIG. 10 is a block diagram showing the configuration of the moving object tracking device 120A.
  • the moving object tracking device 120A in FIG. 10 includes a reliability deriving unit 125, a second estimating unit 126, a determining unit 127, and a storage unit 128, as compared with the moving object tracking device 120 in the first embodiment shown in FIG. Is different. Therefore, the following description focuses on the reliability deriving unit 125, the second estimating unit 126, the determining unit 127, and the storage unit 128.
  • the reliability deriving unit 125 derives the reliability based on the second likelihood image output from the second likelihood image generating unit 122.
  • the reliability is the degree to which the reliability of the second likelihood image generated by the second likelihood image generation unit 122 is evaluated.
  • the reliability deriving unit 125 outputs the derived reliability to the determination unit 127.
  • the second estimation unit 126 estimates the target position from the second image output from the second image acquisition unit 121 and outputs the estimation result to the determination unit 127.
  • the second estimation unit 126 uses, for example, a fluoroscopic image TI acquired at the time of treatment planning or an image region including the target position of the second image acquired before treatment beam B irradiation as a template image for the second image. Template matching that performs matching processing.
  • the second estimating unit 126 regards the height of the degree of matching (or the degree of correlation) with the template image as the likelihood, and uses the two-dimensional coordinates or the three-dimensional coordinates of the target position similarly to the first estimating unit 123. To derive.
  • the degree of match here is obtained by, for example, normalized cross-correlation.
  • the second estimation unit 126 stores a template image used when performing template matching in the storage unit 128.
  • the determination unit 127 determines which of the target position output from the second conversion unit 124 and the estimated target position output from the second estimation unit 126 is the target position of the treatment beam B. For example, the determining unit 127 determines based on the reliability output from the reliability deriving unit 125. For example, when the reliability is equal to or higher than a preset threshold, the determination unit 127 determines to employ the target position output from the second conversion unit 124. The determination unit 127 determines to employ the estimated target position output from the second estimation unit 126 when the reliability is less than a preset threshold value.
  • the determination unit 127 is an example of a “third estimation unit”.
  • the target position determined to be adopted by the determination unit 127 is an example of a “third position”.
  • the reliability deriving unit 125 calculates the reliability using the function f derived by the learning unit 115. If the second image is a fluoroscopic image TI similar to the first image when the function f is derived, the reliability deriving unit 125 derives that the reliability is high. The reliability deriving unit 125 derives that the reliability is low when the second image is a fluoroscopic image TI having a different pattern from the first image when the function f is derived. Such a case may occur due to a difference in the breathing depth of the patient P between the first image capturing and the second image capturing.
  • FIG. 11 is an example of a second likelihood image generated by the moving object tracking device 120A of the second embodiment.
  • the reliability deriving unit 125 derives a likelihood image having a large luminance difference (brightness / darkness difference) between a region with the highest luminance and a region with the lowest luminance as shown in FIG. 11 as having high reliability.
  • the reliability deriving unit 125 determines the reliability when the outline of the region with the highest luminance is relatively clear, or when the shape of the region having the luminance of a certain value or more is round. Derived as high.
  • FIG. 11 is an example of a second likelihood image generated by the moving object tracking device 120A of the second embodiment.
  • the reliability deriving unit 125 derives a likelihood image having a large luminance difference (brightness / darkness difference) between a region with the highest luminance and a region with the lowest luminance as shown in FIG. 11 as having high reliability.
  • the reliability deriving unit 125 determines the reliability when the outline of the region with the
  • the reliability deriving unit 125 derives a likelihood image having a relatively small luminance difference (brightness / darkness difference) between a region with the highest luminance and a region with the lowest luminance as shown in FIG. As shown in FIG. 12, the reliability deriving unit 125 has a low reliability when the contour of the region with the highest luminance is ambiguous or when the shape of the region with the luminance of a certain value or more is not round. To derive.
  • the first likelihood image generation unit 114 artificially creates a highly reliable likelihood image patch as shown in FIG. Therefore, the learning image obtained by the likelihood calculating unit 118 is also likely to be an image similar to that in FIG. 11, but a likelihood image with low reliability as illustrated in FIG. 12 may be output. Therefore, the reliability deriving unit 125 derives, for example, the correlation value between the second likelihood image output from the second likelihood image generating unit 122 and the artificially created likelihood image patch as the reliability. .
  • the reliability deriving unit 125 for example, in the second likelihood image output from the second likelihood image generating unit 122, the artificial likelihood generated by the same method as the first likelihood image generating unit 114 shown in FIG.
  • the image patch is scanned to calculate the correlation value at each position, and the maximum value or the average value of the calculated correlation values is derived as the reliability.
  • the reliability deriving unit 125 converts the position in the second likelihood image output from the second likelihood image generation unit 122 with respect to the range in which the artificial image patch is scanned by the second conversion unit 124. You may limit to the position which carried out, and you may limit to the periphery containing the position.
  • the determination unit 127 displays a warning message to the user on an output device such as a display of the treatment system 1.
  • the determination unit 127 may output a command for stopping the irradiation to the treatment system 1 or the radiation source 12 if the treatment beam B is being irradiated.
  • the determination unit 127 acquires the target position output from the second conversion unit 124, the reliability output from the reliability deriving unit 125, and the target position estimated from the second estimation unit 126, and uses them.
  • the determined target position is output.
  • the determination unit 127 determines the position of the target according to the following formula (6) or formula (7).
  • ⁇ and ⁇ 1 are the reliability
  • Z 1 is the position 1 derived by the second conversion unit 124
  • Z 2 is the position 2 derived by the second estimation unit 126
  • ⁇ 2 is the correlation with the scanned artificial image patch. Represents a value.
  • FIG. 14 is a flowchart showing an example of the processing flow of the moving object tracking device 120A of the medical image processing device 100A. A description of steps S200 to S206 common to the processing flow shown in FIG. 9 is omitted.
  • the reliability deriving unit 125 derives the reliability based on the second likelihood image after the process of step S202 (step S208).
  • the 2nd estimation part 126 estimates a 2nd position based on a 2nd image after the process of step S200 (step S210).
  • the determination unit 127 determines a target position from the processing results of step S206, step S208, and step S210 (step S212). This is the end of the processing in this flowchart.
  • the medical image processing apparatus 100A according to the second embodiment has the same effects as the medical image processing apparatus 100 according to the first embodiment, and does not appear in the first image in the learning apparatus 110. Even if the second likelihood image generated by the second likelihood image generation unit 122 of the moving body tracking device 120A does not produce a desired result when the pattern of the fluoroscopic image appears at the time of capturing the second image, Realizing robustness (robust stability) such as deriving the reliability of the second likelihood image output by the two-likelihood image generation unit 122 and determining or canceling the target position based on the reliability. Can do.
  • a moving body tracking device 120B according to a third embodiment will be described.
  • FIG. 15 is a block diagram showing the configuration of the moving object tracking device 120B of the third embodiment.
  • the difference between the moving object tracking device 120A of the second embodiment and the moving object tracking device 120B of the third embodiment will be mainly described.
  • the second estimation unit 126 of the moving body tracking device 120B determines the target position in the second image based on the second image output from the second image acquisition unit 121 and the reliability output from the reliability deriving unit 125. At the same time, the second estimation unit 126 updates the estimation parameter necessary for estimating the target position, and outputs the estimation result to the determination unit 127. In general, since there is a change with time in the body of the patient P, it is desirable that the template image used in the second estimation unit 126 is updated to an image reflecting the latest state. Therefore, the moving object tracking device 120B causes the storage unit 128 to store the partial image associated with the high reliability derived by the reliability deriving unit 125 as a template image.
  • FIG. 16 is a flowchart showing an example of the processing flow of the moving object tracking device 120B of the medical image processing device 100B. A description of steps common to the processing flows shown in FIGS. 9 and 14 is omitted.
  • step S214 the second estimation unit 126 derives and stores an estimation parameter. This is the end of the processing in this flowchart.
  • the medical image processing apparatus 100B according to the third embodiment has the same effects as the medical image processing apparatus 100A according to the second embodiment, and updates the template image with high reliability, thereby enabling the patient to The target position can be determined reflecting the latest state of the affected area of P.
  • the target position derived at the time of treatment planning is learned, and the transformation parameter CP and the inverse transformation parameter RCP used when deriving the target position in the fluoroscopic image TI, and the likelihood derivation in the fluoroscopic image are derived.
  • the likelihood in the fluoroscopic image TI acquired during treatment beam B irradiation using the learning device 110 for deriving the likelihood calculation parameter LP to be used, the fluoroscopic image TI acquired during treatment beam B irradiation and the various parameters derived from the learning device 110 By having the moving body tracking device 120 for deriving the target position using, the position of the target can be tracked at high speed and with high accuracy from the fluoroscopic image TI of the patient P being irradiated in radiotherapy.
  • a medical image processing apparatus capable of facilitating confirmation of a patient position in a patient alignment operation performed before starting radiotherapy is provided. can do.
  • Treatment apparatus 100,100A, 100B Medical image processing apparatus 110 Learning apparatus 111 1st image acquisition part 111a Mask image acquisition part 111b Local area

Abstract

実施形態の医用画像処理装置は、第１位置取得部と、第１変換部と、第１尤度画像生成部と、学習部とを持つ。第１位置取得部は、複数の第１画像のそれぞれにおけるターゲット位置を、第１位置として取得する。第１変換部は、第１位置のそれぞれを、第１位置の時間的な動きが大きい第１方向に交差する第２方向に動きを拡大した第２位置に変換する。第１尤度画像生成部は、第２位置を基準として、第２位置の尤度の分布を表す第１尤度画像を生成する。学習部は、複数の第１画像と第１尤度画像とを教師データとし、透視画像の一部または全部が与えられると第２位置に該当することの確からしさを示す尤度の分布を表す第２尤度画像を導出するモデルを出力する。

Description

医用画像処理装置、医用画像処理方法、およびプログラム
　本発明の実施形態は、医用画像処理装置、医用画像処理方法、およびプログラムに関する。
　本願は、２０１８年４月９日に、日本に出願された特願２０１８－０７５０２４号に基づき優先権を主張し、その内容をここに援用する。
　従来、放射線を患者の腫瘍に対して照射して治療する放射線治療方法が開示されている。放射線は、腫瘍の位置に正確に照射される必要がある。患者の体内の正常な組織に放射線を照射してしまうと、その正常な組織にまで影響を与える場合があるからである。そのため、予めコンピュータ断層撮影（Computed Tomography：ＣＴ）撮影を行って患者の体内の腫瘍の位置を３次元的に把握して、正常組織への照射を少なくするように照射する方向や照射強度が計画される。放射線治療においては、その治療計画に従って放射線を照射するために、治療計画時と治療時とで装置に対する相対的な患者の位置（以下、単に患者の位置）を合わせることが必要になる。
　患者体内の腫瘍や骨などの位置を治療計画時と合わせるために、治療直前に寝台に寝かせた状態の患者体内の透視画像と、治療計画時に撮影した３次元ＣＴ画像から仮想的に透視画像を再構成したデジタル再構成Ｘ線画像（Digitally Reconstructed Radiograph：ＤＲＲ）との画像照合をして画像間の患者の位置のずれを求め、ずれに基づいて寝台を移動させる位置合わせが行われる。患者位置のずれは、透視画像と最も類似するＤＲＲが再構成されるＣＴ画像の位置を探索することで求められる。この探索をコンピュータで自動化する方法は複数提案されている。しかし、最終的には、自動で探索した結果を利用者（医師など）が透視画像とＤＲＲ画像とを見比べることによって、患者の位置のずれが十分に小さいことが確認される。そして、利用者による確認が取れ次第、放射線の照射が行われる。
　患者体内の腫瘍が、肺や肝臓などの呼吸や心拍の動きによって移動してしまう器官にある場合、照射中の腫瘍の位置を特定しなければならない。特定する方法として、照射中の患者の透視動画を連続撮影し、逐次透視画像内の腫瘍を追跡する方法や、腫瘍が透視画像で鮮明に写らない場合は、患者体内に留置されたマーカーを追跡することで、間接的に腫瘍の位置を特定する方法などがある。照射の手法には、腫瘍の位置に対して追尾して照射する追尾照射や、腫瘍が治療計画時の位置に来たときに照射する待ち伏せ照射がある。これらの照射方法は、患者の呼吸と照射が同期することから、呼吸同期照射方法と呼ばれている。
　透視画像に写る腫瘍を追跡する方法として、予め腫瘍の画像パターンを取得しておき、治療時に撮影される透視画像内で類似する画像パターンの位置を探索して、腫瘍の位置を特定する方法がある。その方法では、腫瘍を含む画像と含まない画像を用意し、ニューラルネットワークによってそれらを識別する識別器が生成され、この識別器によって腫瘍の位置が追跡される。しかしながら、係る手法では、透視画像から例えばラスタスキャンの手法によって多数の局所画像を切り出し、それぞれを識別器によって腫瘍か腫瘍でないかを分類するため処理時間が長くなり、リアルタイム性が要求される腫瘍の位置の追跡に適用することが困難である場合があった。
米国特許第６８１９７９０号明細書
　本発明が解決しようとする課題は、放射線治療において、患者の透視画像から患者のターゲット位置を、高速・高精度に推定することができる医用画像処理装置、医用画像処理方法、およびプログラムを提供することである。
　本実施形態の一態様の医用画像処理装置は、第１位置取得部と、第１変換部と、第１尤度画像生成部と、学習部とを持つ。第１位置取得部は、患者を撮影した複数時点の透視画像である複数の第１画像のそれぞれにおける前記患者のターゲット位置を、第１位置として取得する。第１変換部は、前記複数の第１画像における前記第１位置のそれぞれを、前記第１位置の時間的な動きが大きい第１方向に交差する第２方向に動きを拡大した第２位置に変換する。第１尤度画像生成部は、前記第２位置を基準として、前記第２位置に該当することの確からしさを示す尤度の分布を表す第１尤度画像を生成する。学習部は、前記複数の第１画像のそれぞれの一部または全部と前記第１尤度画像とを教師データとし、透視画像の一部または全部が与えられると前記第２位置に該当することの確からしさを示す尤度の分布を表す第２尤度画像を導出するモデルを出力する。
　上記態様によれば、放射線治療において治療中の患者の透視画像から、患者体内の腫瘍を自動追跡することができる医用画像処理装置、医用画像処理方法、およびプログラムを提供することができる。
第１の実施形態の医用画像処理装置１００を含む治療システム１の構成図。 第１の実施形態の学習装置１１０のブロック図。 第１の実施形態の動体追跡装置１２０のブロック図。 第１の実施形態の医用画像処理装置１００のブロック図。 第１変換部１１３によって透視画像ＴＩを処理する様子の一例を示す図。 ターゲット位置ＴＰの軌跡の一例を示す図。 医用画像処理装置１００が生成する第１尤度画像の一例を示す図。 学習装置１１０の処理の流れの一例を示すフローチャート。 動体追跡装置１２０の処理の流れの一例を示すフローチャート。 第２の実施形態の動体追跡装置１２０Ａのブロック図。 動体追跡装置１２０Ａが生成する第２尤度画像の一例を示す図。 動体追跡装置１２０Ａが生成する第２尤度画像の他の一例を示す図。 医用画像処理装置１００Ａが生成する人工画像パッチの一例を示す図。 動体追跡装置１２０Ａの処理の流れの一例を示すフローチャート。 第３の実施形態の動体追跡装置１２０Ｂのブロック図。 動体追跡装置１２０Ｂの処理の流れの一例を示すフローチャート。
　以下、実施形態の医用画像処理装置、医用画像処理方法、およびプログラムを、図面を参照して説明する。
　（第１の実施形態）
　図１は、医用画像処理装置１００を含む治療システム１の構成図である。治療システム１は、例えば、治療装置１０と、医用画像処理装置１００とを備える。
　治療装置１０は、例えば、寝台１１と、放射線源１２－１、１２－２と、検出器１３－１、１３－２と、治療装置側制御部２０とを備える。以下、符号におけるハイフンおよびこれに続く数字は、いずれの放射線源および検出器の組による透視用の放射線、或いは透視画像であるかを示すものとする。適宜、符号におけるハイフンおよびこれに続く数字を省略して説明を行う。
　寝台１１には、治療を受ける患者Ｐが固定される。放射線源１２－１は、患者Ｐに対して放射線ｒ－１を照射する。放射線源１２－２は、放射線源１２－１とは異なる角度から、患者Ｐに対して放射線ｒ－２を照射する。放射線ｒ－１およびｒ－２は、電磁波の一例であり、例えばＸ線である。
　放射線ｒ－１は検出器１３－１によって検出され、放射線ｒ－２は検出器１３－２によって検出される。検出器１３－１および１３－２は、例えばフラット・パネル・ディテクタ（ＦＰＤ；Flat Panel Detector）、イメージインテンシファイア、カラーイメージインテンシファイアなどである。検出器１３－１は、放射線ｒ－１のエネルギーを検出してデジタル変換し、透視画像ＴＩ－１として医用画像処理装置１００に出力する。検出器１３－２は、放射線ｒ－２のエネルギーを検出してデジタル変換し、透視画像ＴＩ－２として医用画像処理装置１００に出力する。図１では、２組の放射線源および検出器を示したが、治療装置１０は、３組以上の放射線源および検出器を備えてもよい。
　照射門１４は、治療段階において、患者Ｐに対して治療ビームＢを照射する。治療ビームＢには、例えば、重粒子線、Ｘ線、γ線、電子線、陽子線、中性子線などが含まれる。図１では、１つの照射門１４のみ示したが、治療装置１０は複数の照射門を備えてもよい。
　透視画像ＴＩは、照射門１４による治療ビームＢの照射を行う数日程度前に取得されてもよいし、治療ビームＢの照射を行う直前に取得されてもよい。治療装置１０の利用者（医者等）は、例えば、治療ビームＢの照射を行う数日程度前に取得される透視画像を用いて、治療計画を立てる。治療計画とは、患者Ｐに照射する放射線のエネルギー、照射方向、照射範囲の形状などを計画することである。治療計画には、治療ビームＢの照射を複数回行う場合、各回の治療ビームＢの線量の配分の計画が含まれる。治療計画において医用画像処理装置１００は、医師による治療ビームＢの照射対象位置（ターゲット位置）の指定を受け付ける。
　医用画像処理装置１００は、ターゲットに関する各種情報の導出と同時に、患者Ｐの体内のターゲット付近に留置されたマーカーの位置を導出してもよい。患者Ｐの体内に留置するマーカーは、例えば、金属製であり、透視画像ＴＩにおいては視認性が高い。そのため、ターゲットの追跡が困難である場合には、マーカーを追跡する。
　医用画像処理装置１００は、例えば、腫瘍と正常領域との境界を指定する場合、腫瘍の位置および体積を指定する。この腫瘍の体積は、肉眼的腫瘍体積（Gross Tumor Volume：ＧＴＶ）、臨床的標的体積（Clinical Target Volume：ＣＴＶ）、内的標的体積（Internal Target Volume：ＩＴＶ）、計画標的体積（Planning Target Volume：ＰＴＶ）などと呼ばれている。ＧＴＶは、画像から肉眼で確認することができるターゲットの体積であり、放射線治療においては、十分な線量の治療ビームＢを照射する必要がある体積である。ＣＴＶは、ＧＴＶと治療すべき潜在性のターゲットとを含む体積である。ＩＴＶは、予測される生理的な患者Ｐの動きなどによってＣＴＶが移動することを考慮し、ＣＴＶに予め定めた余裕（マージン）を付加した体積である。ＰＴＶは、治療を行う際に行う患者Ｐの位置合わせにおける誤差を考慮して、ＩＴＶにマージンを付加した体積である。これらの体積には、下式（１）の関係が成り立っている。
Figure JPOXMLDOC01-appb-M000001
　医用画像処理装置１００は、治療計画において設定された実際の治療時に生じる可能性のある誤差を考慮した余裕（マージン）を加えて、治療ビームの照射野を決定する。実際の治療時に生じる可能性のある誤差とは、例えば、患者位置決めにおける患者位置のずれなどである。
　図２は、第１の実施形態の学習装置１１０の構成を示すブロック図である。図２に示す学習装置１１０は、例えば、第１画像取得部１１１と、第１位置取得部１１２と、第１変換部１１３と、第１尤度画像生成部１１４と、学習部１１５と、パラメータ記憶部１１６とを備える。これらの構成要素（パラメータ記憶部１１６を除く）は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。
　第１画像取得部１１１は、まず、治療システム１を構成する治療装置１０に備えた撮影装置を再現する。より具体的には、図１に示したように、治療システム１を構成する治療装置１０では、放射線源１２と放射線検出器１３との位置が固定されている。つまり、治療装置１０では、放射線源１２と放射線検出器１３との組によって構成される撮影装置が撮影する方向が固定されている。このため、放射線源１２と放射線検出器１３とが設置された３次元空間内において所定の３次元座標を定義したとき、放射線源１２と放射線検出器１３との位置を、３軸の座標値で表すことができる。以下の説明においては、３軸の座標値の情報を、放射線源１２と放射線検出器１３との組によって構成される撮影装置のジオメトリ情報と称する。
　第１画像取得部１１１は、患者Ｐに対して治療ビームＢを照射する前に、第１画像を取得する。第１画像とは、例えば、治療計画時に撮影された３次元ＣＴ画像等の透視画像に基づいて作成（再現）したＤＲＲ画像である。具体的には、第１画像取得部１１１は、治療計画時に取得した透視画像から、治療時の透視画像ＴＩを撮影する撮影装置のジオメトリ情報に従ってＤＲＲ画像を作成する。第１画像取得部１１１は、取得した第１画像を学習部１１５に出力する。第１画像取得部１１１が取得する第１画像は、例えば、患者Ｐに対する過去の治療時など、学習時やそれよりも前に撮影されたＸ線透視画像等であってもよい。
　第１画像取得部１１１は、例えば、マスク画像取得部１１１ａと、局所領域設定部１１１ｂとを備える。マスク画像取得部１１１ａは、透視画像ＴＩに主被写体である腫瘍以外（例えば、治療器具や治療装置）の被写体が写り込んでいる場合にその領域を覆い隠すマスク画像を生成する。マスク画像取得部１１１ａは、局所領域設定部１１１ｂに腫瘍以外の被写体を覆い隠したマスク画像を出力する。
　局所領域設定部１１１ｂは、マスク画像取得部１１１ａにより出力されたマスク画像の中から、腫瘍以外の被写体が写り込んでいる部分が小さい領域、すなわち、腫瘍が写り込む部分が相対的に大きい領域（例えば後述する窓領域ＷＡ（ＴＰ））を設定し、第１位置取得部１１２および学習部１１５に出力する。局所領域設定部１１１ｂは、マスク画像の中から、学習効果が高いと見込まれる領域（例えば後述する窓領域ＷＡ（ｋ）を設定し、学習部１１５に出力する。局所領域設定部１１１ｂは、医師によって領域の指定を受け付けてもよいし、下記のように自動的に設定してもよい。後者の場合、局所領域設定部１１１ｂは、窓領域ＷＡ（ｋ）に関しては、後述する学習部１１５における学習効果が高いと見込まれる第１画像およびマスク画像を設定して出力してもよい。学習効果が高いと見込まれる画像とは、例えば、輝度値の差分が大きい画像である。
　第１位置取得部１１２は、第１画像取得部１１１により出力された第１画像におけるターゲット位置の情報を取得する。ターゲット位置の情報とは、患者Ｐの患部、すなわち治療ビームＢを照射する対象の腫瘍等が存在する位置である。ターゲット位置の情報は、医用画像処理装置１００の使用者（例えば医師）によって治療計画時等に特定された位置（例えば、ＤＲＲ上で確認できる腫瘍の重心にジオメトリ情報を反映した位置）の情報である。第１位置取得部１１２は、第１画像およびターゲット位置の情報を第１変換部１１３に出力する。医用画像処理装置１００の使用者（例えば医師）によって治療計画時等に特定された位置は「ターゲット位置」あるいは「第１位置」の一例である。
　第１変換部１１３は、第１位置取得部１１２により出力されたターゲット位置の情報に基づいて、第１画像に所定の変換処理を行うことで変換パラメータＣＰおよび逆変換パラメータＲＣＰを導出する。第１変換部１１３は、変換パラメータＣＰに基づいて導出した第１画像の画素位置に該当するターゲット位置を、第1尤度画像の画素位置へ対応づけして、第１尤度画像生成部１１４に出力する。第１変換部１１３は、逆変換パラメータＲＣＰをパラメータ記憶部１１６に出力する。第１画像に行う所定の変換処理と、変換パラメータＣＰおよび逆変換パラメータＲＣＰについては、後述する。
　第１尤度画像生成部１１４は、第１変換部１１３により出力されたターゲット位置を基準として第１尤度画像を生成し、学習部１１５に出力する。第１尤度画像とは、例えば、第１画像内のターゲット位置の尤度（腫瘍が存在する位置であるという確からしさ）を輝度等で表現した画像のことである。
　学習部１１５は、第１画像取得部１１１により出力された第１画像の一部または全部（より具体的には窓領域の画像）と、第１尤度画像生成部１１４により出力された第１尤度画像とに基づいて、第１画像の一部または全部と第１尤度画像との関係を回帰学習したモデルを表す尤度計算パラメータＬＰを導出する。学習部１１５は、尤度計算パラメータＬＰを、パラメータ記憶部１１６に出力する。呼吸位相が対応している第１画像の一部または全部と第１尤度画像とは、「教師データ」の一例である。
　学習部１１５は、例えば、部分画像生成部１１５ａを備える。部分画像生成部１１５ａは、第１尤度画像の一部の領域である部分画像を生成する。
　図３は、第１の実施形態の動体追跡装置１２０の構成を示すブロック図である。図３に示す動体追跡装置１２０は、例えば、第２画像取得部１２１と、第２尤度画像生成部１２２と、第１推定部１２３と、第２変換部１２４とを備える。これらの構成要素のうち一部または全部は、学習装置１１０と同様に、ＬＳＩ等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶装置に格納されていてもよいし、着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。
　第２画像取得部１２１は、患者Ｐに対して治療ビームＢを照射する直前や照射中に所定時間の間隔で撮影された透視画像ＴＩである、第２画像を取得する。第２画像取得部１２１は、第２画像を第２尤度画像生成部１２２に出力する。
　第２画像取得部１２１は、ターゲット位置を、射影行列として求める。このため、第２画像取得部１２１では、それぞれの撮影装置に対応する射影行列をジオメトリ情報から予め求めておく。つまり、第２画像取得部１２１は、それぞれの撮影装置ごとに射影行列を求めておく。そして、第２画像取得部１２１は、２つの第１画像に撮影されたターゲット位置から、三角測量の原理を利用して、所定の３次元空間内にあるターゲット位置を表す３次元座標の座標値を計算する。これにより、第２画像取得部１２１は、所定の３次元空間内にあるターゲット位置が、患者Ｐの透視画像ＴＩ内のいずれの位置に撮影されているのかを計算する。
　第２尤度画像生成部１２２は、第２画像取得部１２１により出力された第２画像に基づいて、第２尤度画像を生成する。第２尤度画像生成部１２２は、例えば、パラメータ記憶部１１６により出力された尤度計算パラメータＬＰに基づいて、第２画像に対応する第２尤度画像を生成する。第２尤度画像生成部１２２は、生成した第２尤度画像を、第１推定部１２３に出力する。
　第１推定部１２３は、第２尤度画像生成部１２２により出力された第２尤度画像および第２画像に基づいて、第２画像上のターゲット位置を推定する。第１推定部１２３は、推定したターゲット位置を第２変換部１２４に出力する。
　第２変換部１２４は、第１推定部１２３により出力された、推定したターゲット位置に基づいて、ターゲットの位置（すなわち、治療ビームＢを照射する位置）を導出する。第２変換部１２４は、例えば、パラメータ記憶部１１６により出力された逆変換パラメータＲＣＰを用いて、第１推定部１２３により出力された、推定したターゲット位置を変換することで、ターゲットの位置を導出する。第２変換部１２４の行う変換処理は、第１変換部１１３による変換処理と逆方向の変換を行う処理である。
　図４は、第１の実施形態の医用画像処理装置１００の構成を示すブロック図である。図４に示す医用画像処理装置１００は、例えば、学習装置１１０と、動体追跡装置１２０とを備える。
　以下、図５～図７を用いて、第１変換部１１３による第１画像の所定の変換処理と、変換パラメータＣＰおよび逆変換パラメータＲＣＰの導出方法、およびこれらの利用方法について説明する。
　図５は、第１画像取得部１１１が透視画像ＴＩに対して行う画像解析の様子の一例を示す図である。図５の透視画像ＴＩは、治療ビームＢを照射するターゲット位置ＴＰが胸腹部に存在することを示す。
　第１画像取得部１１１は、複数時点の透視画像ＴＩに対して図５に示す複数の窓領域ＷＡを設定する。窓領域ＷＡは、例えば、透視画像ＴＩの特徴的な部分を抽出した位置の画像を含むよう設定される。透視画像ＴＩの特徴的な部分とは、例えば、腫瘍、マーカー、横隔膜など明瞭に映る部分である。以下の説明では、画像領域にターゲット位置ＴＰを含む窓領域であって、第１尤度画像と対応付けられる実線で示した窓領域を、窓領域ＷＡ（ＴＰ）、第１尤度画像と対応付けられない破線で示した窓領域を窓領域ＷＡ（ｋ）（ｋは整数）と称する場合がある。図５の例においては、ｋは１から５までの整数である。窓領域ＷＡが第１画像に占める位置は、固定的である。
　局所領域設定部１１１ｂは、修正ターゲット位置ＴＰ－１～ＴＰ－６の軌跡の全てを含むよう窓領域ＷＡ（ＴＰ）を設定する。局所領域設定部１１１ｂは、自動的に窓領域ＷＡを設定する場合、ＴＰ－１～ＴＰ－６に対応する第１画像のそれぞれの輝度差が大きい局所領域を窓領域ＷＡ（ｋ）と設定する。または、局所領域設定部１１１ｂは、オプティカルフローの軌跡が長い局所領域を窓領域ＷＡ（ｋ）とするように設定してもよい。または、局所領域設定部１１１ｂは、画像のコーナー検出などで得られる特徴点を多く含む局所領域を窓領域ＷＡ（ｋ）としてもよい。局所領域設定部１１１ｂは、例えば、患部が肺に位置する場合、透視画像ＴＩに写るターゲットの画像パターンが鮮明なため、その位置を含む窓領域ＷＡ（ｋ）を優先的に設定してもよい。患部が肝臓等の大きな臓器の内部にある場合、透視画像ＴＩに写るターゲット位置が不鮮明である可能性がある。その場合、局所領域設定部１１１ｂは、横隔膜の境界など、鮮明に映る部分を窓領域ＷＡ（ｋ）とする。
　図６は、複数時点の窓領域ＷＡ（ＴＰ）内のターゲット位置ＴＰの動きの特性の一例を示す図である。以下、符号におけるハイフンおよびこれに続く数字は、いずれのターゲット位置であるか（いずれの呼吸位相であるか）を示すものとする。符号におけるハイフンおよびこれに続く数字を省略して説明を行う場合がある。ターゲット位置ＴＰは、例えば、患者Ｐの呼吸に応じて移動する。ターゲット位置ＴＰは、例えば、図６に示すように、患者Ｐの呼吸に応じてターゲット位置ＴＰ－１～ＴＰ－６の順で移動する。したがって、ターゲット位置ＴＰは、横隔膜が顕著に動く患者Ｐの頭尾方向には大きく移動する傾向がある。一方、ターゲット位置ＴＰは、図６に示す頭尾方向と直交する左右方向（前後および左右を軸とする平面上の任意の方向）への移動は小さい。つまり、頭尾方向を透視画像ＴＩの垂直方向に合わせて撮影している場合、ターゲット位置ＴＰを透視画像ＴＩに射影すると透過画像水平方向のターゲット位置ＴＰの動きが小さくなる。すなわち、ターゲット位置ＴＰに基づいて生成される第１尤度画像の水平方向の変化がわずかな差でしかないため、学習部１１５による学習が困難になることがある。そこで、第１変換部１１３は、学習部１１５による学習効率を高める変換パラメータＣＰを導出する。
　以下、変換パラメータＣＰについて説明する。変換パラメータＣＰとは、第１画像のターゲット位置から第１尤度画像上でのターゲット位置を対応づけるために、次の線形変換ｙ＝Ａｘ＋ｂを定めるパラメータＡおよびｂである。ここで、ｘ＝（ｕｔ,ｖｔ）およびｙ＝（ｕｔ´，ｖｔ´）は、それぞれ第１画像および第１尤度画像の画像座標を示す。Ａは２ｘ２の行列である。ｂはオフセットである。例えば、Ａが単位行列の場合、第１画像の各画素位置が、第１尤度画像上の画素位置に対応する。または、第１画像の画像サイズが第１尤度画像よりも大きい場合には、第１変換部１１３は、第１画像内の部分領域の画素に第１尤度画像の各画素を対応づける。
　別の例として、第１画像の小数画素が、第１尤度画像の整数精度の画素位置と対応してもよい。つまり、Ａの対角成分がすべて１／２の対角行列であり、かつｂが零ベクトルの場合は、第１画像の画素位置（ｘ／２，ｙ／２）の画素を、第１尤度画像の（ｘ，ｙ）に対応づける。
　上記問題は、Ａが単位行列の場合の同一スケールによって対応づけを行っているため、第１尤度画像上でのターゲット位置ＴＰの位置の変化がわずかになってしまうことが原因である。そこで、第１画像の小数精度の画素位置を第１尤度画像の整数精度の画素位置と対応づけるようにＡを調整する。これにより、第１尤度画像の水平方向の変化をつけることで、学習部１１５による学習の効果を高める。行列Ａは、例えば、第１位置の第１画像上での動きの軌跡が楕円軌道の場合、第１尤度画像上ではその軌跡が正円形になるように調整する。このような行列Ａは、「第１位置の時間的な動きに基づいて定まる変換行列」の１例である。逆変換パラメータＲＣＰは、上記線形変換の逆変換パラメータである。具体的には行列Ａの逆行列およびオフセットｂのことである。
　このように線形変換によって、第1画像上のターゲット位置を修正したものを、修正ターゲット位置ＴＰ＃と呼ぶ。修正ターゲット位置ＴＰ＃は、「第２位置」の一例である。図６に示す患者Ｐの頭尾方向は「第１方向」、左右方向は第１方向と交差する「第２方向」の一例である。
　以下、第１尤度画像生成部１１４が第１尤度画像を生成する処理について説明する。図７は、第１尤度画像生成部１１４が生成する第１尤度画像の一例である。図７の示す輝度の高い部分（白い部分）が、ターゲット位置が存在する尤度が高いことを示す部分である。図７の第１尤度画像は、画像の右上部分の領域にターゲット位置が存在すると推測される。第１尤度画像生成部１１４は、例えば、第１変換部１１３により出力された第２位置に基づいて、第１尤度画像を生成する。第１尤度画像生成部１１４は、第２位置を示す座標が（ｕｔ´，ｖｔ´）である場合、尤度画像Ｌ（ｕ，ｖ）を下記の数式（２）によって導出する。
Figure JPOXMLDOC01-appb-M000002
　数式（２）のσは、利用者によって設定される任意のパラメータである。σは、例えば、１画素あたりの解像度が高いほど、より大きい値を設定する。第１尤度画像生成部１１４が生成する第１尤度画像の画像サイズは、任意に設定可能であるが、上述のようにターゲット位置の軌跡が第１尤度画像内に収まるよう設定すればよい。そのため、第1画像に比べて、第1尤度画像の画像サイズは小さくできる。
　以下、学習部１１５が尤度計算パラメータＬＰを導出する処理について説明する。学習部１１５は、例えば、第１画像上の１つないしは複数の窓領域ＷＡ（ｋ）から切り出された画像と第１尤度画像とを学習データとし、窓領域ＷＡ（ｋ）の画像が入力されると第１尤度画像を導出するようなモデルを生成する。
　学習部１１５は、例えば、第1画像上の１つないしは複数の窓領域ＷＡ（ｋ）から切り出された画像を連結したベクトルｘと第１尤度画像のベクトルｙとの関係を示す数式が、下記の数式（３）である場合、関数ｆを求める。学習部１１５は、第１画像の画素値を並べたベクトルをｘとし、第１尤度画像の画素値を並べたベクトルをｙとして関数ｆを導出する。
Figure JPOXMLDOC01-appb-M000003
　学習部１１５は、第１尤度画像生成部１１４により出力された第１尤度画像のベクトルｙを用いて、誤差Δ＝ｙ－ｆ（ｘ）が小さくなる関数ｆを導出する。学習部１１５は、ディープニューラルネットワークを用いて関数ｆを導出してもよいし、ニューラルネットワーク、畳み込みニューラルネットワーク、決定木等の他の機械学習手法を用いて関数ｆを導出してもよい。学習部１１５は、例えば、複数パターンの所定の数を用いて複数パターンの関数ｆを導出した場合、複数パターンの関数ｆのすべてを学習してもよい。
　図８は、学習装置１１０の処理の流れの一例を示すフローチャートである。まず、第１画像取得部１１１は、複数時刻の第１画像を取得する（ステップＳ１００）。次に、第１位置取得部１１２は、取得した複数時刻の第１画像に対応する第１位置を取得する（ステップＳ１０２）。次に、第１変換部１１３は、取得した複数時刻の第１位置の軌跡に基づいて、変換パラメータＣＰおよび逆変換パラメータＲＣＰを導出して、パラメータ記憶部１１６に記憶させる（ステップＳ１０４）。次に、第１変換部１１３は、第１位置を変換パラメータＣＰに基づいて変換した第２位置を導出する（ステップＳ１０６）。次に、第１尤度画像生成部１１４は、第２位置を基準として第１尤度画像を作成する（ステップＳ１０８）。次に、学習部１１５は、第２画像および第１尤度画像を用いて、それらの間の関係を学習する（ステップＳ１１０）。次に、学習部１１５は、パラメータ記憶部１１６に尤度計算パラメータＬＰを記憶させる（ステップＳ１１２）。以上、本フローチャートの処理を終了する。
　次に、動体追跡装置１２０の第２尤度画像生成部１２２が第２画像に対応する第２尤度画像を生成する処理について説明する。第２尤度画像生成部１２２は、第２画像取得部１２１により出力された第２画像と、パラメータ記憶部１１６から取得した尤度計算パラメータＬＰに基づいて、上述の数式（３）を用いて第２画像に対応する第２尤度画像を生成する。第２尤度画像生成部１２２は、局所領域設定部１１１ｂで設定された窓領域ＷＡ（ｋ）内と同位置にある第２画像の部分画像を上述の数式（３）の入力とする。ここで出力される第２尤度画像と第２画像との画素位置の対応付けは、第１尤度画像と第１画像の対応付けと同じである。
　以下、第１推定部１２３による第２画像内の第２位置の推定方法について説明する。第１推定部１２３は、例えば、第２尤度画像生成部１２２により出力された第２尤度画像で尤度が最大となる画素位置を第２位置と推定する。第１推定部１２３は、第２尤度画像生成部１２２により出力された第２尤度画像の示す尤度を重みとして用いる、各画素位置の重み付け平均から画素位置を導出して第２位置としてもよい。その場合、第１推定部１２３は、治療計画時や、過去の治療において得られた腫瘍位置やその軌跡とのずれが大きいほど、重みを小さくするような重み付け平均を行ってもよい。第１推定部１２３は、第２画像取得部１２１が最初に取得した第２画像からターゲット位置が取得できた場合には、そのターゲット位置に基づいて、次回以降取得する第２画像における第２位置を予測する。予測位置の候補を複数用意し、それらの位置に対応する第２尤度画像の尤度を重みとした重み付け平均した位置を第２位置としてもよい。予測位置の候補は、パーティクルフィルタなどの手法がある。
　第１推定部１２３は、推定したターゲット位置が３次元座標である場合、予測した位置をそれぞれの画像（透視画像ＴＩ－１およびＴＩ－２）に射影した位置の第２尤度画像から尤度を取得し、その積を当該推定したターゲット位置の尤度としてもよい。予測した位置が２次元座標である場合、エピポーラ拘束が成り立つ２つの画像上でのターゲット位置に対する尤度を導出してもよい。
　以下、第２変換部１２４が、逆変換パラメータＲＣＰを用いてターゲット位置を変換する処理について説明する。第２変換部１２４は、第１推定部１２３により出力された推定した第２尤度画像上のターゲット位置ｙ＝（ｕ´，ｖ´）とパラメータ記憶部１１６から取得した逆変換パラメータＲＣＰ（Ａ－１，ｂ）とによって、下記の式（４）で示す第２画像上のターゲット位置ｘへ変換する。
Figure JPOXMLDOC01-appb-M000004
　つまり、第２変換部１２４は、ｘ＝Ａ－１ｙ－ｂを計算する。第２変換部１２４は、変換後のターゲット位置に対して、治療計画段階で作成した第２位置の軌跡のモデルを利用して補正した位置を出力してもよい。第２変換部１２４は、第１位置取得部１１２から取得した腫瘍の第１画像上での位置である（ｕｔ,ｖｔ）に基づいて、ｕｔおよびｖｔの関係ｕｔ＝ｒ（ｖｔ）（ｒは、例えば関数）をモデル化する。モデルは、例えば、ｕｔ＝ａｖｔ＋ｂ（ａ、ｂは任意の値）のような数式で示すことができる線形回帰モデルである。
第２変換部１２４は、導出したモデルを用いて、下記に示す数式（５）のように出力値を置換してもよい。
Figure JPOXMLDOC01-appb-M000005
　第２画像取得部１２１が取得する第２画像は、例えば、図１で示した治療装置１０において、別方向から同時に撮影された２枚の画像（透視画像ＴＩ－１およびＴＩ－２）である。すなわち、第２画像取得部１２１は、それぞれの画像に対応する第２位置を取得することができる。そこで、第２画像取得部１２１は、透視画像ＴＩ－１およびＴＩ－２のそれぞれから、エピポーラ拘束が成り立つような３次元空間での第２位置を求めてもよい。エピポーラ拘束とは、二つの撮影装置の相対位置関係が既知であることに基づいた幾何制約のことであり、一の画像上に撮像された同一被写体の中心点が、別の画像上ではエピポーラ線上に拘束されるという制約のことを指す。ただし、それぞれの画像に対応する第２位置がエピポーラ拘束に従うとは限らないため、第２画像取得部１２１は、最小二乗法で３次元空間での第２位置を導出する。
　図９は、動体追跡装置１２０の処理の流れの一例を示すフローチャートである。図９に示すフローチャートは、例えば、図８に示すフローチャートの処理の後に行われる。
　まず、第２画像取得部１２１は、第２画像を取得する（ステップＳ２００）。次に、第２尤度画像生成部１２２は、第２尤度画像を生成する（ステップＳ２０２）。次に、第１推定部１２３は、第２尤度画像に基づいて第２位置を導出する（ステップＳ２０４）。次に、第２変換部１２４は、第２位置を逆変換パラメータによって変換し、ターゲットの位置を導出する（ステップＳ２０６）。以上、本フローチャートの処理を終了する。
　上述したように、第１の実施形態の医用画像処理装置１００では、治療計画時に導出したターゲット位置を学習し、透視画像ＴＩにおけるターゲット位置の導出時に用いる変換パラメータＣＰと逆変換パラメータＲＣＰ、および透視画像における尤度導出に用いる尤度計算パラメータＬＰを導出する学習装置１１０と、治療ビームＢ照射時に取得する透視画像ＴＩと学習装置１１０の導出した各種パラメータを用いて、治療ビームＢ照射時に取得する透視画像ＴＩにおける尤度を用いてターゲット位置の導出を行う動体追跡装置１２０とによって、放射線治療において、照射中の患者Ｐの透視画像ＴＩからターゲットの位置を、高速・高精度に追跡することができる。
　（第２の実施形態）
　以下、第２の実施形態について説明する。第２の実施形態の医用画像処理装置１００Ａについて説明する。以下の説明において、第１の実施形態で説明した内容と同様の機能を有する部分については、同様の名称および符号を付するものとし、その機能に関する具体的な説明は省略する。
　図１０は、動体追跡装置１２０Ａの構成を示すブロック図である。図１０の動体追跡装置１２０Ａは、図３で示した第１実施形態の動体追跡装置１２０と比較して、信頼度導出部１２５、第２推定部１２６、決定部１２７および記憶部１２８を備える点が異なる。したがって、以下では信頼度導出部１２５、第２推定部１２６、決定部１２７および記憶部１２８を中心に説明する。
　信頼度導出部１２５は、第２尤度画像生成部１２２により出力された第２尤度画像に基づいて、信頼度を導出する。信頼度とは、第２尤度画像生成部１２２より生成される第２尤度画像の信頼性を評価する度合のことである。信頼度導出部１２５は、導出した信頼度を、決定部１２７に出力する。
　第２推定部１２６は、第２画像取得部１２１より出力された第２画像から、ターゲット位置を推定し、推定結果を決定部１２７に出力する。第２推定部１２６は、例えば、治療計画時等に取得した透視画像ＴＩや、治療ビームＢ照射前に取得した第２画像のターゲット位置を含む画像領域をテンプレート画像として、第２画像に対してマッチング処理を行う、テンプレートマッチングである。第２推定部１２６は、例えば、テンプレート画像との合致度合（または相関度合）の高さを尤度とみなして、第１推定部１２３と同様にターゲット位置の２次元座標、または３次元座標を導出する。ここでの合致度合はたとえば正規化相互相関によって求める。第２推定部１２６は、記憶部１２８にテンプレートマッチングを行う際に用いるテンプレート画像を記憶させる。
　決定部１２７は、第２変換部１２４より出力されたターゲット位置と、第２推定部１２６より出力された推定されたターゲット位置のどちらを治療ビームＢのターゲット位置とするかを決定する。決定部１２７は、例えば、信頼度導出部１２５より出力された信頼度に基づいて決定する。決定部１２７は、例えば、信頼度があらかじめ設定された閾値以上である場合には、第２変換部１２４より出力されたターゲット位置を採用すると決定する。決定部１２７は、信頼度があらかじめ設定された閾値未満である場合には、第２推定部１２６より出力された推定されたターゲット位置を採用すると決定する。決定部１２７は、「第３推定部」の一例である。決定部１２７が採用すると決定したターゲット位置は「第３位置」の一例である。
　以下、信頼度導出部１２５による信頼度の導出処理について説明する。信頼度導出部１２５は、例えば、学習部１１５が導出した関数ｆを用いて信頼度を算出する。信頼度導出部１２５は、第２画像が関数ｆを導出した際の第１画像と類似する透視画像ＴＩである場合には、信頼度が高いと導出する。信頼度導出部１２５は、第２画像が関数ｆを導出した際の第１画像とは異なるパターンの透視画像ＴＩである場合には、信頼性が低いと導出する。このようなケースは、第１画像撮影時と第２画像撮影時の患者Ｐの呼吸の深さの違い等で生じる場合がある。
　図１１および図１２を用いて、信頼度導出部１２５によって導出された信頼度が高い場合と導出された信頼度の低い場合の尤度画像の違いについて説明する。図１１は、第２の実施形態の動体追跡装置１２０Ａが生成した第２尤度画像の一例である。信頼度導出部１２５は、図１１に示すような輝度が最も高い領域と輝度が最も低い領域の輝度の差（明暗の差）の大きい尤度画像は、信頼度が高いと導出する。信頼度導出部１２５は、図１１に示すように、輝度が最も高い領域の輪郭が比較的はっきりとしている場合や、輝度が一定値以上の領域が構成する形状が丸状である場合に信頼度が高いと導出する。図１２は、第２の実施形態の動体追跡装置１２０Ａが生成した第２尤度画像の他の一例である。信頼度導出部１２５は、図１２に示すような輝度が最も高い領域と輝度が最も低い領域の輝度の差（明暗の差）が比較的小さい尤度画像は、信頼度が低いと導出する。信頼度導出部１２５は、図１２に示すように、輝度が最も高い領域の輪郭が曖昧である場合や、輝度が一定値以上の領域が構成する形状が丸状でない場合に信頼度が低いと導出する。
　第１尤度画像生成部１１４は、数式（２）を用いて、図１３に示したような信頼度の高い尤度画像パッチを人工的に作成する。したがって、尤度算出部１１８で得られる学習画像も図１１に近い画像になる可能性が高いが、図１２のような信頼度が低い尤度画像が出力される可能性もある。そこで、信頼度導出部１２５は、例えば、第２尤度画像生成部１２２で出力された第２尤度画像と、人工的に作成した尤度画像パッチとの相関値を、信頼度として導出する。
　信頼度導出部１２５は、例えば、第２尤度画像生成部１２２で出力された第２尤度画像内に、図１３に示した第１尤度画像生成部１１４と同様の方法で生成した人工画像パッチを走査して、それぞれの位置の相関値を算出し、算出した相関値の最大値、または平均値を信頼度として導出する。信頼度導出部１２５は、人工画像パッチを走査する範囲を、第２尤度画像生成部１２２で出力された第２尤度画像内の尤度が最大となる位置を第２変換部１２４で変換した位置に限定してもよいし、その位置を含む周辺に限定してもよい。
　決定部１２７は、例えば、信頼度が所定の値と比較して低い場合、治療システム１のディスプレイ等の出力装置にユーザーに警告メッセージを表示させる。または、決定部１２７は、治療ビームＢを照射中であれば、治療システム１または放射線源１２に対して照射を停止するための命令を出力してもよい。決定部１２７は、第２変換部１２４より出力されたターゲット位置と、信頼度導出部１２５より出力された信頼度と、第２推定部１２６から推定されたターゲット位置を取得し、それらを用いて決定したターゲット位置を出力する。決定部１２７は、例えば、下記の数式（６）または数式（７）に従ってターゲットの位置を決定する。ここで、αおよびα１は信頼度、Ｚ１は第２変換部１２４が導出した位置１、Ｚ２は第２推定部１２６が導出した位置２、α２は走査した人工画像パッチとの相関値を表す。
Figure JPOXMLDOC01-appb-M000006
　図１４は、医用画像処理装置１００Ａの動体追跡装置１２０Ａの処理の流れの一例を示すフローチャートである。図９で示した処理フローと共通するステップＳ２００からステップＳ２０６についての説明は省略する。
　信頼度導出部１２５は、ステップＳ２０２の処理の後、第２尤度画像に基づいて信頼度を導出する（ステップＳ２０８）。第２推定部１２６は、ステップＳ２００の処理の後、第２画像に基づいて第２位置を推定する（ステップＳ２１０）。決定部１２７は、ステップＳ２０６、ステップＳ２０８およびステップＳ２１０の処理結果から、ターゲット位置を決定する（ステップＳ２１２）。以上、本フローチャートの処理を終了する。
　上述したように、第２の実施形態の医用画像処理装置１００Ａは、第１の実施形態の医用画像処理装置１００と同様の効果を奏する他、学習装置１１０にての第１画像には現れない透視画像のパターンが、第２画像の撮影時に現れた場合、動体追跡装置１２０Ａの第２尤度画像生成部１２２の生成した第２尤度画像が所望の結果にならない場合であっても、第２尤度画像生成部１２２により出力される第２尤度画像の信頼度を導出し、その信頼度に基づいてターゲット位置を決定する、または中止するといった、ロバストネス（ロバスト安定性）を実現することができる。
　（第３の実施形態）
　以下、第３の実施形態について説明する。第３の実施形態の動体追跡装置１２０Ｂについて説明する。
　図１５は、第３の実施形態の動体追跡装置１２０Ｂの構成を示したブロック図である。以下では第２の実施形態の動体追跡装置１２０Ａと、第３の実施形態の動体追跡装置１２０Ｂの差異を中心に説明する。
　動体追跡装置１２０Ｂの第２推定部１２６は、第２画像取得部１２１より出力された第２画像と、信頼度導出部１２５より出力された信頼度に基づいて、第２画像内のターゲット位置を推定するとともに、第２推定部１２６においてターゲット位置を推定するために必要な推定パラメータを更新し、推定結果を決定部１２７に出力する。一般に、患者Ｐの体内は経時的な変化があるため、第２推定部１２６において使用するテンプレート画像は、最新の状態が反映された画像に更新されることが望ましい。そこで、動体追跡装置１２０Ｂは、信頼度導出部１２５が導出した信頼度が高い場合に対応付けられた部分画像を、テンプレート画像として記憶部１２８に記憶させる。
　図１６は、医用画像処理装置１００Ｂの動体追跡装置１２０Ｂの処理の流れの一例を示すフローチャートである。図９、および図１４で示した処理フローと共通するステップについての説明は省略する。
　ステップＳ２１２の処理の後、第２推定部１２６は、推定パラメータを導出して記憶する（ステップＳ２１４）。以上、本フローチャートの処理を終了する。
　上述したように、第３の実施形態の医用画像処理装置１００Ｂは、第２の実施形態の医用画像処理装置１００Ａと同様の効果を奏する他、信頼度の高いテンプレート画像に更新することで、患者Ｐの患部の最新の状態を反映してターゲット位置を決定することができる。
　以上説明した少なくともひとつの実施形態によれば、治療計画時に導出したターゲット位置を学習し、透視画像ＴＩにおけるターゲット位置の導出時に用いる変換パラメータＣＰと逆変換パラメータＲＣＰ、および透視画像における尤度導出に用いる尤度計算パラメータＬＰを導出する学習装置１１０と、治療ビームＢ照射時に取得する透視画像ＴＩと学習装置１１０の導出した各種パラメータを用いて、治療ビームＢ照射時に取得する透視画像ＴＩにおける尤度を用いてターゲット位置の導出を行う動体追跡装置１２０を持つことによって、放射線治療において、照射中の患者Ｐの透視画像ＴＩからターゲットの位置を、高速かつ高精度に追跡することができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、添付の請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　上記各実施形態によれば、放射線治療を開始する前に行う患者の位置合わせの作業において患者の位置の確認を容易にすることができる医用画像処理装置、治療システム、および医用画像処理プログラムを提供することができる。
１　治療システム
１０　治療装置
１００，１００Ａ，１００Ｂ　医用画像処理装置
１１０　学習装置
１１１　第１画像取得部
１１１ａ　マスク画像取得部
１１１ｂ　局所領域設定部
１１２　第１位置取得部
１１３　第１変換部
１１４　第１尤度画像生成部
１１５　学習部
１１６　パラメータ記憶部
１２０，１２０Ａ，１２０Ｂ　動体追跡装置
１２１　第２画像取得部
１２２　第２尤度画像生成部
１２３　第１推定部
１２４　第２変換部
１２５　信頼度導出部
１２６　第２推定部
１２７　決定部
１２８　記憶部

Claims (11)

  1. 　患者を撮影した複数時点の透視画像である複数の第１画像のそれぞれにおけるターゲット位置を、第１位置として取得する第１位置取得部と、
    　前記複数の第１画像における前記第１位置のそれぞれを、前記第１位置の時間的な動きが大きい第１方向に交差する第２方向に動きを拡大した第２位置に変換する第１変換部と、
    　前記第２位置を基準として、前記第２位置に該当することの確からしさを示す尤度の分布を表す第１尤度画像を生成する第１尤度画像生成部と、
    　前記複数の第１画像のそれぞれの一部または全部と前記第１尤度画像とを教師データとし、透視画像の一部または全部が与えられると前記第２位置に該当することの確からしさを示す尤度の分布を表す第２尤度画像を導出するモデルを出力する学習部と、
    　を備える医用画像処理装置。
  2. 　前記第１画像とは異なる時刻に撮影された前記透視画像である、第２画像を取得する第２画像取得部と、
    　前記第２画像の一部または全部を前記モデルに入力することで、前記第２尤度画像を生成する第２尤度画像生成部と、
    　前記第２尤度画像に基づいて前記第２画像における第２位置を推定する、第１推定部と、
    　前記第１推定部によって推定された前記第２位置を、前記第１変換部が行う変換の逆方向に変換して前記第２画像における前記患者のターゲット位置として出力する第２変換部と、
    　をさらに備える、請求項１に記載の医用画像処理装置。
  3. 　前記第２尤度画像における尤度の分布に基づいて、前記第２位置の信頼度を導出する信頼度導出部をさらに備える、
    　請求項２に記載の医用画像処理装置。
  4. 　前記信頼度に基づいて、前記第２画像における前記第１位置または前記第２位置または第２位置を逆変換した位置と対応付けられた部分画像を抽出して記憶部に記憶させ、前記第２画像の一部と前記部分画像との合致度合いに基づいて前記第２画像における前記患者のターゲット位置を推定する第２推定部をさらに備える、
    　請求項３に記載の医用画像処理装置。
  5. 　前記第２変換部により出力された前記患者のターゲット位置と、前記第２推定部によって推定された前記患者のターゲット位置と、前記信頼度および前記合致度合いに基づいて、第３位置を推定する、第３推定部をさらに備える、
    　請求項４に記載の医用画像処理装置。
  6. 　前記第１変換部は、前記第１位置の時間的な動きに基づいて定まる変換行列を用いて、前記第１位置を前記第２位置に変換する、
    　請求項１に記載の医用画像処理装置。
  7. 　前記第１画像の画素値に基づいて、１つ以上の前記第１画像の局所領域を設定する、局所領域設定部をさらに備え、
    　前記局所領域のうち少なくとも一つには、前記第１尤度画像が対応付けられ、
    　前記学習部は、前記第１尤度画像が対応付けられない前記局所領域の画像と、前記第１尤度画像が対応付けられた前記局所領域の画像とを教師データとして、前記第２尤度画像を回帰学習する、
    　請求項２に記載の医用画像処理装置。
  8. 　前記局所領域設定部は、呼吸位相が異なる複数の第１画像における前記第１位置の軌跡を包含するように、前記第１尤度画像が対応付けられる前記局所領域を設定し、
    　前記第１画像の輝度に基づいて、前記局所領域を設定する、
    　請求項７に記載の医用画像処理装置。
  9. 　前記第１画像内の前記透視画像の主被写体でない被写体が写り込む領域を示す、マスク画像を取得するマスク画像取得部、
    をさらに備え、
    　前記局所領域設定部は、
    　前記マスク画像が示す、前記被写体が写り込む領域が小さい局所領域を選択する、
    　請求項７に記載の医用画像処理装置。
  10. 　コンピュータが、
    　患者を撮影した複数時点の透視画像である複数の第１画像のそれぞれから第１位置を取得し、
    　前記複数の第１画像から取得された複数の前記第１位置の分布を、前記第１位置の動きが大きい第１方向に交差する第２方向に拡大することで、前記複数の第１位置を複数の第２位置に変換し、
    　前記複数の第２位置に基づいて、第１尤度画像を生成し、
    　前記透視画像から前記第１尤度画像を回帰学習したモデルであって、前記透視画像が与えられると前記第１位置の尤度画像を導出するモデルを出力する、
    　医用画像処理方法。
  11. 　コンピュータに、
    　患者を撮影した複数時点の透視画像である複数の第１画像のそれぞれから第１位置を取得させ、
    　前記複数の第１画像から取得された複数の前記第１位置の分布を、前記第１位置の動きが大きい第１方向に交差する第２方向に拡大させることで、前記複数の第１位置を複数の第２位置に変換させ、
    　前記複数の第２位置に基づいて、第１尤度画像を生成させ、
    　前記透視画像から前記第１尤度画像を回帰学習したモデルであって、前記透視画像が与えられると前記第１位置の尤度画像を導出するモデルを出力させる、
    　プログラム。
PCT/JP2019/009394 2018-04-09 2019-03-08 医用画像処理装置、医用画像処理方法、およびプログラム WO2019198394A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
RU2020132773A RU2762146C1 (ru) 2018-04-09 2019-03-08 Устройство для обработки медицинских изображений, способ обработки медицинских изображений и носитель данных
CN201980024585.1A CN111954494B (zh) 2018-04-09 2019-03-08 医用图像处理装置、医用图像处理方法及记录介质
US17/045,911 US11830184B2 (en) 2018-04-09 2019-03-08 Medical image processing device, medical image processing method, and storage medium
KR1020207028777A KR102469141B1 (ko) 2018-04-09 2019-03-08 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 프로그램
EP19784846.8A EP3777686B1 (en) 2018-04-09 2019-03-08 Medical image processing device, medical image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-075024 2018-04-09
JP2018075024A JP7093075B2 (ja) 2018-04-09 2018-04-09 医用画像処理装置、医用画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2019198394A1 true WO2019198394A1 (ja) 2019-10-17

Family

ID=68162919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009394 WO2019198394A1 (ja) 2018-04-09 2019-03-08 医用画像処理装置、医用画像処理方法、およびプログラム

Country Status (8)

Country Link
US (1) US11830184B2 (ja)
EP (1) EP3777686B1 (ja)
JP (1) JP7093075B2 (ja)
KR (1) KR102469141B1 (ja)
CN (1) CN111954494B (ja)
RU (1) RU2762146C1 (ja)
TW (1) TWI708214B (ja)
WO (1) WO2019198394A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7252847B2 (ja) * 2019-07-08 2023-04-05 株式会社日立製作所 動体追跡装置および放射線治療システム、ならびに動体追跡装置の作動方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819790B2 (en) 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
JP2011500263A (ja) * 2007-10-26 2011-01-06 アキュレイ インコーポレイテッド 内部目標物の自動相関モデリング
US20170032538A1 (en) * 2015-07-28 2017-02-02 Kineticor, Inc. Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
JP2017042247A (ja) * 2015-08-25 2017-03-02 富士フイルム株式会社 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
JP2018029852A (ja) * 2016-08-25 2018-03-01 株式会社東芝 医用画像処理装置、治療システム、および医用画像処理プログラム
JP2018075024A (ja) 2011-12-08 2018-05-17 ファイヴ３ ゲノミクス，エルエルシー Ｍｄｍ２を含む二重微小染色体およびその方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4169688B2 (ja) * 2003-12-02 2008-10-22 オリンパス株式会社 ヒューマンインタフェース装置
US20070140551A1 (en) * 2005-12-16 2007-06-21 Chao He Banknote validation
US8379794B2 (en) * 2008-09-05 2013-02-19 The Board Of Trustees Of The Leland Stanford Junior University Method to estimate position, motion and trajectory of a target with a single x-ray imager
CN103153192B (zh) * 2010-10-14 2015-09-23 株式会社日立医疗器械 X射线ct装置以及图像再构成方法
EP2444934A1 (en) * 2010-10-19 2012-04-25 Koninklijke Philips Electronics N.V. Medical imaging system, computer-implemented method, and computer program product for identifying a treated region in a medical image
JP5837508B2 (ja) * 2010-12-09 2015-12-24 パナソニック株式会社 姿勢状態推定装置および姿勢状態推定方法
US9710730B2 (en) * 2011-02-11 2017-07-18 Microsoft Technology Licensing, Llc Image registration
JP5763965B2 (ja) * 2011-05-11 2015-08-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20150142457A1 (en) * 2013-11-20 2015-05-21 Toshiba Medical Systems Corporation Apparatus for, and method of, data validation
JP6735583B2 (ja) * 2016-03-17 2020-08-05 キヤノン株式会社 ズーム制御装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体
EP3236418B1 (en) * 2016-04-13 2020-10-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6699482B2 (ja) * 2016-09-21 2020-05-27 株式会社島津製作所 逐次近似画像再構成方法、逐次近似画像再構成プログラムおよび断層撮影装置
JP6310118B2 (ja) * 2017-04-24 2018-04-11 株式会社東芝 画像処理装置、治療システム及び画像処理方法
JP6349448B1 (ja) * 2017-08-23 2018-06-27 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
JP7078955B2 (ja) * 2018-07-26 2022-06-01 東芝エネルギーシステムズ株式会社 治療システム、キャリブレーション方法、およびプログラム
US10937173B2 (en) * 2018-11-15 2021-03-02 Qualcomm Incorporated Predicting subject body poses and subject movement intent using probabilistic generative models
US10922584B2 (en) * 2019-01-30 2021-02-16 Walmart Apollo, Llc Systems, methods, and techniques for training neural networks and utilizing the neural networks to detect non-compliant content
JP7311109B2 (ja) * 2019-05-14 2023-07-19 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム
JP7252847B2 (ja) * 2019-07-08 2023-04-05 株式会社日立製作所 動体追跡装置および放射線治療システム、ならびに動体追跡装置の作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819790B2 (en) 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
JP2011500263A (ja) * 2007-10-26 2011-01-06 アキュレイ インコーポレイテッド 内部目標物の自動相関モデリング
JP2018075024A (ja) 2011-12-08 2018-05-17 ファイヴ３ ゲノミクス，エルエルシー Ｍｄｍ２を含む二重微小染色体およびその方法
US20170032538A1 (en) * 2015-07-28 2017-02-02 Kineticor, Inc. Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
JP2017042247A (ja) * 2015-08-25 2017-03-02 富士フイルム株式会社 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
JP2018029852A (ja) * 2016-08-25 2018-03-01 株式会社東芝 医用画像処理装置、治療システム、および医用画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3777686A4

Also Published As

Publication number Publication date
EP3777686A4 (en) 2022-01-05
TW201944352A (zh) 2019-11-16
US20210035293A1 (en) 2021-02-04
JP7093075B2 (ja) 2022-06-29
TWI708214B (zh) 2020-10-21
KR102469141B1 (ko) 2022-11-22
CN111954494B (zh) 2023-12-01
KR20200129142A (ko) 2020-11-17
CN111954494A (zh) 2020-11-17
US11830184B2 (en) 2023-11-28
EP3777686B1 (en) 2022-11-09
JP2019180799A (ja) 2019-10-24
EP3777686A1 (en) 2021-02-17
RU2762146C1 (ru) 2021-12-16

Similar Documents

Publication Publication Date Title
US8597211B2 (en) Determination of indicator body parts and pre-indicator trajectories
US10143431B2 (en) Medical image processing apparatus and method, and radiotherapeutic apparatus
JP5491174B2 (ja) 画像誘導型放射線治療のための画像の変形可能なレジストレーション
KR20190074977A (ko) 의용 장치, 및 의용 장치의 제어 방법
JP6964309B2 (ja) 放射線治療用追跡装置
US11295449B2 (en) Three-dimensional tracking of a target in a body
US20160136458A1 (en) Apparatus, method, and program for processing medical image, and radiotherapy apparatus
CN111918697B (zh) 医用图像处理装置、治疗系统以及存储介质
JP6547282B2 (ja) 医用画像生成装置、方法、及びプログラム
US10733792B2 (en) Method and apparatus for user guidance for the choice of a two-dimensional angiographic projection
JP6996711B2 (ja) 医用画像処理装置、治療システム、および医用画像処理プログラム
US20220054862A1 (en) Medical image processing device, storage medium, medical device, and treatment system
WO2019198394A1 (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
JP6249972B2 (ja) 粒子線治療システム
JP7444387B2 (ja) 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム
JP2017225487A (ja) 放射線治療支援システム、画像生成方法および画像生成プログラム
TWI645836B (zh) 粒子線治療裝置及數位重組放射線攝影影像作成方法
JP2021153952A (ja) 精度検証装置、放射線治療システム、精度検証方法及びコンピュータプログラム
US20230347180A1 (en) Medical image processing device, medical image processing method, medical image processing program, and radiation therapy device
US20230149741A1 (en) Medical image processing device, treatment system, medical image processing method, and storage medium
JP2024048137A (ja) 照射位置確認支援装置、照射位置確認支援方法、および照射位置確認支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19784846

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20207028777

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019784846

Country of ref document: EP

Effective date: 20201109