WO2019003474A1 - 放射線治療用追跡装置、位置検出装置および動体追跡方法 - Google Patents

放射線治療用追跡装置、位置検出装置および動体追跡方法 Download PDF

Info

Publication number
WO2019003474A1
WO2019003474A1 PCT/JP2017/046856 JP2017046856W WO2019003474A1 WO 2019003474 A1 WO2019003474 A1 WO 2019003474A1 JP 2017046856 W JP2017046856 W JP 2017046856W WO 2019003474 A1 WO2019003474 A1 WO 2019003474A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
specific
drr
projection
Prior art date
Application number
PCT/JP2017/046856
Other languages
English (en)
French (fr)
Inventor
▲高▼橋　渉
翔太 押川
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to US16/627,148 priority Critical patent/US11224763B2/en
Priority to JP2019526128A priority patent/JP7099459B2/ja
Publication of WO2019003474A1 publication Critical patent/WO2019003474A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1064—Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
    • A61N5/1065—Beam adjustment
    • A61N5/1067—Beam adjustment in real time, i.e. during treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1061—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source

Definitions

  • the present invention relates to a radiotherapy tracking apparatus, a position detection apparatus, and a moving body tracking method for detecting the position of a specific site from an image including the specific site of a subject or tracking the movement of the specific site.
  • a treatment beam such as X-ray or proton beam
  • an affected area such as a tumor
  • the subject may move the body, but also the affected area may move.
  • tumors near the lungs move significantly upon respiration. Therefore, a marker marker type radiation having a configuration in which a gold marker having a spherical shape is placed in the vicinity of a tumor, the position of the marker is detected by an X-ray fluoroscope, and the irradiation timing of the treatment beam is controlled.
  • An irradiation device has been proposed (see Patent Document 1).
  • a radiation irradiation apparatus using a first X-ray fluoroscopic mechanism comprising a first X-ray tube and a first X-ray detector, and a second X-ray fluoroscopic mechanism comprising a second X-ray tube and a second X-ray detector A marker placed in the body is photographed, and three-dimensional positional information is obtained using a two-dimensional fluoroscopic image by the first fluoroscopic mechanism and a two-dimensional fluoroscopic image by the second fluoroscopic mechanism. Then, X-ray fluoroscopy is performed continuously, and three-dimensional position information of the markers is calculated in real time, thereby detecting the markers of the part involved with the movement with high accuracy.
  • a point-like marker is tracked
  • a specific portion itself having a predetermined size is tracked.
  • the position of any one point in the specific site such as the center of the specific site, is calculated, and the area of the specific site is not considered directly.
  • the area to be irradiated with the treatment beam is registered as an area having a certain size, and it is desired to consider the area also for a specific region.
  • a specific site such as a tumor changes its shape while moving along with breathing or the like even during treatment.
  • divided irradiation is often performed in which the treatment beam is divided and irradiated in multiple times, but when irradiation is repeated, the shape may change due to, for example, the reduction of a tumor.
  • high-precision radiotherapy can not be performed unless the region of the tumor is recognized in real time according to the change in the tumor shape.
  • the present invention has been made to solve the above problems, and a classifier is learned in advance using a DRR image and a teacher label image, and identification is performed using this classifier and a fluoroscopic image. Accordingly, it is an object of the present invention to provide a radiotherapy tracking device, a position detection device, and a moving object tracking method capable of detecting or tracking the position of a specific site in real time.
  • the first invention collects a fluoroscopic image including a specific region of a subject, detects the position of the specific region, and moves the specific region to irradiate a treatment beam to the specific region.
  • a tracking apparatus for radiotherapy which is a radiotherapy tracking apparatus, and which is a geometrical perspective of an X-ray tube and an X-ray detector for the subject with respect to CT image data of a region including the specific site created at the time of treatment planning.
  • a DRR image creation unit that creates a DRR image that includes the specific region by performing virtual perspective projection simulating a condition, a DRR image created by the DRR image creation unit, and a teacher label that indicates an area of the specific region
  • a classifier learning unit that learns a classifier for recognizing a region of the specific site by performing machine learning using an image and the identification for an X-ray fluoroscopic image including the specific site In the learning unit By performing identification using learning identification device, characterized in that it and a specific part region detecting section that detects a region of the specific site.
  • the X-ray tube and the X-ray detector for the subject with respect to the region of the specific region registered on CT image data of the region including the specific region at the time of treatment planning The specific region projection unit for creating a projection region image representing the region of the specific region by performing virtual perspective projection simulating the geometric perspective condition of The discriminator is trained using the projection area image representing the area of the specific part created by the unit as the teacher label image.
  • the DRR image creating unit changes a parameter including at least one of a projection coordinate and an angle of the geometric perspective condition, or includes at least one of rotation, deformation, and scaling of an image.
  • Image processing is performed to generate the DRR image
  • the specific region projection unit changes a parameter including at least one of projection coordinates and an angle of the geometric perspective condition, or rotates, deforms, and enlarges the image.
  • Image processing including at least one of reduction is performed to create a projection area image representing the area of the specific part
  • the DRR image creation unit and the specific part projection unit are the projection coordinates of the geometric perspective condition and Change parameters with at least one of the angles under the same conditions, or an image that contains at least one of image rotation, deformation and scaling Subjected to a management under the same conditions.
  • the DRR image creation unit performs at least one of contrast change, noise addition, and edge enhancement on the created DRR image.
  • the classifier learning unit learns a classifier that is a neural network configured of a convolution layer using the DRR image as an input layer and a label image representing an area of the specific part as an output image.
  • the classifier learning unit increases the weight of the specific part label based on the area of the specific part label and the background label in the teacher label image. After the calculation is performed, the weight of the specific part label is sequentially decreased according to the progress of learning.
  • the classifier learning unit weights the loss function for the image obtained by trimming the periphery of the specific part to the loss function for the entire image. to add.
  • An eighth invention further includes an image processing unit that performs image processing on the DRR image and the X-ray fluoroscopic image
  • the classifier learning unit includes the DRR image and the DRR image that is image processed by the image processing unit.
  • the specific region detection unit includes the X-ray fluoroscopic image including the specific region and the specific region processed by the image processing unit under the same condition as the DRR image. Discrimination is performed using the discriminator learned by the discriminator learning unit with the fluoroscopic image.
  • a ninth invention is a position detection device for detecting the position of the specific site based on an X-ray fluoroscopic image including the specific site of a subject, wherein CT image data of a region including the specific site is detected, A DRR image creation unit for creating a DRR image including the specific region by performing virtual projection simulating a geometric perspective condition of the X-ray tube and the X-ray detector on the subject; and the DRR image Discriminator learning that learns a discriminator for recognizing the area of the specific part by performing machine learning using the DRR image generated by the generation unit and the teacher label image indicating the area of the specific part And a specific region detection unit for detecting the region of the specific region by performing discrimination using an identifier learned by the identifier learning unit on an X-ray image including the specific region; To provide And butterflies.
  • a tenth invention relates to the X-ray tube for the subject and the X-ray detector for the region of the specific region registered on CT image data of the region including the specific region at the time of treatment planning.
  • the specific region projection unit for creating a projection region image representing the region of the specific region by performing virtual perspective projection simulating the geometric perspective condition of The discriminator is trained using the projection area image representing the area of the specific part created by the unit as the teacher label image.
  • the DRR image creation unit changes a parameter including at least one of a projection coordinate and an angle of the geometric perspective condition, or includes at least one of image rotation, deformation, and scaling.
  • Image processing is performed to generate the DRR image
  • the specific region projection unit changes a parameter including at least one of projection coordinates and an angle of the geometric perspective condition, or rotates, deforms, and enlarges the image.
  • Image processing including at least one of reduction is performed to create a projection area image representing the area of the specific part
  • the DRR image creation unit and the specific part projection unit are the projection coordinates of the geometric perspective condition and A parameter including at least one of the angles is changed under the same condition, or an image including at least one of rotation, deformation and scaling of the image Perform processing under the same conditions.
  • the DRR image creation unit performs at least one of contrast change, noise addition, and edge enhancement on the created DRR image.
  • the classifier learning unit learns a classifier that is a neural network composed of a convolution layer with the DRR image as an input layer and a label image representing the area of the specific part as an output image.
  • the classifier learning unit increases the weight of the specific part label based on the area of the specific part label and the background label in the teacher label image when calculating the loss function when performing machine learning. After the calculation is performed, the weight of the specific part label is sequentially decreased according to the progress of learning.
  • the classifier learning unit weights the loss function for the image obtained by trimming the periphery of the specific part to the loss function for the entire image at the time of calculating the loss function when performing machine learning. to add.
  • a sixteenth invention further comprises an image processing unit that performs image processing on the DRR image and the X-ray fluoroscopic image
  • the classifier learning unit includes the DRR image and the DRR image that has been image processed by the image processing unit.
  • the specific region detection unit includes the X-ray fluoroscopic image including the specific region and the specific region processed by the image processing unit under the same condition as the DRR image. Discrimination is performed using the discriminator learned by the discriminator learning unit with the fluoroscopic image.
  • a seventeenth invention collects a fluoroscopic image including a specific region of a subject, detects the position of the specific region, and moves the specific region to irradiate a treatment beam to the specific region.
  • a moving object tracking method for tracking in which CT image data of a region including the specific region created at the time of treatment planning, geometrical perspective conditions of an X-ray tube and an X-ray detector for the subject DRR image creation step of creating a DRR image including the specific region by performing simulated virtual perspective projection, and the specific region registered on CT image data of a region including the specific region at the time of treatment planning
  • virtual perspective projection simulating the geometric perspective condition of the X-ray tube and the X-ray detector with respect to the subject with respect to the area, a projection area image representing the area of the specific region is obtained.
  • the position of the specific site is recognized by executing machine learning using the site projection process, the DRR image created in the DRR image creation process, and the projection area image created in the specific site projection process X-ray fluoroscopy including the specific region obtained by detecting the X-ray emitted from the X-ray tube and having passed through the subject by the X-ray detector; And a specific region detection step of detecting the region of the specific region by performing discrimination on the image using the classifier learned in the classifier learning step.
  • the position of the specific site is determined in real time by learning the classifier in advance and performing discrimination using the classifier and the fluoroscopic image. It is possible to detect or track a specific site. At this time, since it is not necessary to create a template in advance as in the prior art, it is not necessary to create a plurality of templates, and there is no pain to the patient. In addition, it is possible to improve the throughput for treatment.
  • a projection area representing the area of the specific site created by performing virtual perspective projection on the area of the specific site registered on the CT image data of the area including the specific site
  • the label image can be created accurately and easily.
  • the parameter including the projection coordinates and angle of the geometric perspective condition is changed, or the image processing including rotation, deformation, and scaling of the image is performed. Even when moved or deformed without reproducibility, it becomes possible to accurately detect the position of a specific site. And, since a large amount of DRR images can be created, it is possible to learn custom-made classifiers corresponding to each patient, and furthermore, use DRR images created from low frame rate CT image data. In either case or even when the background is reflected on the specific site, it is possible to accurately detect the position of the specific site.
  • the classifier is a neural network composed of a convolutional layer having a DRR image as an input layer and a label image representing the area of the specific part as an output image, so that redundancy is achieved. Calculation becomes unnecessary and processing in real time becomes possible.
  • the specific region label and the background label can be treated equally when calculating the loss function in machine learning, and the specific region can be detected more reliably. Then, in the first half of learning, the classifier is trained so that the specific part can be detected reliably, and in the second half of learning, learning is performed so as to eliminate the erroneous determination of the background part. It becomes possible to perform learning of a discriminator compatible with the suppression of.
  • the seventh and fifteenth inventions it is possible to perform learning by increasing the weight in the vicinity of the boundary between the specific region label and the background label which are difficult to distinguish, whereby the specific region label and the background label It becomes possible to suppress the erroneous determination near the boundary and detect the specific part more reliably.
  • the DRR image and the teacher label image are used to learn the classifier in advance, and the classification is performed using the classifier and the fluoroscopic image. It is possible to detect the position of a specific site in real time.
  • FIG. 6 is a perspective view showing a tracking apparatus for radiation therapy according to the present invention together with a radiation irradiation apparatus 90. It is a block diagram which shows the main control systems of the tracking apparatus for radiotherapy concerning this invention. It is a schematic diagram for demonstrating the process of detecting the position of the area
  • FIG. 6 is an explanatory view schematically showing a state in which a DRR image is created by virtual fluorography in which the geometrical fluoroscopic conditions of the X-ray tube 11 and the flat panel detector 21 are simulated.
  • FIG. 1 is a perspective view showing a radiotherapy tracking apparatus according to the present invention, together with a radiation irradiation apparatus 90.
  • a radiotherapy apparatus is configured by the radiotherapy tracking apparatus and the radiotherapy apparatus 90.
  • the radiation irradiation apparatus 90 applies radiation to a subject on the examination table 29, also called a couch, and is installed so as to be able to swing relative to a base 91 installed on the floor surface of the treatment room And a head 93 for emitting a treatment beam disposed in the gantry 92.
  • the radiation irradiator 90 when the gantry 92 swings with respect to the base 91, the irradiation direction of the treatment beam emitted from the head 93 can be changed. For this reason, it becomes possible to irradiate a treatment beam from various directions to an affected part such as a tumor in a subject.
  • the radiotherapy tracking apparatus used together with the radiation irradiator 90 is an X-ray radioscopy apparatus which performs radioscopy for performing moving object tracking for specifying the position of the affected part of the subject. That is, at the time of radiotherapy using the above-mentioned radiation irradiation apparatus 90, it is necessary to accurately irradiate the radiation to the affected area moving with the movement of the subject. Therefore, a site having a specific shape such as a tumor in a subject is registered in advance as a specific site, and the specific site is continuously X-rayed to calculate three-dimensional position information of the specific site. It is configured to perform so-called moving object tracking that detects a specific part with high accuracy. Thus, instead of placing a marker in the vicinity of the affected area in a conventional subject, a method of moving object tracking using an image of a specific site such as a tumor in the subject as a marker is called markerless tracking. .
  • the radiotherapy tracking apparatus includes a first X-ray tube 11a, a second X-ray tube 11b, a third X-ray tube 11c, a fourth X-ray tube 11d, a first flat panel detector 21a, a second flat panel detector 21b, and a third flat.
  • a panel detector 21c and a fourth flat panel detector 21d are provided.
  • the X-rays emitted from the first X-ray tube 11a pass through the subject on the examination table 29, and are then detected by the first flat panel detector 21a.
  • the first X-ray tube 11a and the first flat panel detector 21a constitute a first X-ray imaging system.
  • the X-rays emitted from the second X-ray tube 11b pass through the subject on the examination table 29, and are then detected by the second flat panel detector 21b.
  • the second X-ray tube 11 b and the second flat panel detector 21 b constitute a second X-ray imaging system.
  • the X-rays emitted from the third X-ray tube 11c pass through the subject on the examination table 29, and are then detected by the third flat panel detector 21c.
  • the third X-ray tube 11c and the third flat panel detector 21c constitute a third X-ray imaging system.
  • the X-rays emitted from the fourth X-ray tube 11d pass through the subject on the examination table 29, and are then detected by the fourth flat panel detector 21d.
  • the fourth X-ray tube 11d and the fourth flat panel detector 21d constitute a fourth X-ray imaging system.
  • the first X-ray imaging system, the second X-ray imaging system, the second X-ray imaging system, the second X-ray imaging system, and the second X-ray imaging system perform X-ray fluoroscopy for performing moving object tracking or X-ray imaging for imaging a specific region of a subject.
  • Two X-ray imaging systems of the 3 X-ray imaging system and the fourth X-ray imaging system are selected and used.
  • FIG. 2 is a block diagram showing the main control system of the radiotherapy tracking apparatus according to the present invention.
  • This radiotherapy tracking apparatus includes a CPU as a processor that executes logical operations, a ROM that stores an operation program necessary to control the apparatus, a RAM that temporarily stores data etc. at the time of control, etc.
  • Control unit 30 for controlling the The control unit 30 includes the first X-ray tube 11a, the second X-ray tube 11b, the third X-ray tube 11c and the fourth X-ray tube 11d, the first flat panel detector 21a, the second flat panel detector 21b, and the third flat. It is connected to the panel detector 21c and the fourth flat panel detector 21d.
  • control unit 30 performs geometrical perspective conditions of the X-ray tube 11 and the flat panel detector 21 with respect to the subject with respect to CT image data of a region including a specific region created at the time of treatment planning.
  • DRR image creation unit 31 that creates a DRR image that includes a specific region by performing virtual perspective projection that simulates a region of the specific region registered on CT image data of a region that includes the specific region at the time of treatment planning Specific region for creating a projection region image representing the region of the specific region by performing virtual perspective projection simulating the geometric perspective conditions of the X-ray tube 11 and the flat panel detector 21 with respect to the subject
  • a discriminator learning unit 33 for learning a discriminator for recognizing a region of a fixed site, and a specific site obtained by detecting an X-ray emitted from the X-ray tube 11 and having passed through the subject by the flat panel detector
  • control unit 30 is connected to the above-described radiation irradiating apparatus 90 and the treatment planning apparatus 99.
  • the control unit 30 and the treatment planning device 99 may be connected via a radiology information system (RIS) which is in-hospital communication of a subject management system in a hospital.
  • RIS radiology information system
  • the treatment planning device 99 is for creating a treatment plan prior to the radiation treatment.
  • three of the regions including specific regions in a plurality of successive breathing phases of the subject obtained by performing a plurality of three-dimensional CT imagings of the subject in succession by a CT imaging device. It stores four-dimensional CT image data consisting of two-dimensional CT image data groups. Then, based on the four-dimensional CT image data and other data of the subject, a treatment plan of the subject is created.
  • CT image data of a region including a specific region is stored after being given information on the region of the specific region.
  • the information on the area of the specific part is given by, for example, an operator.
  • Information on the region of the specific site may be automatically provided by another method.
  • FIG. 3 is a schematic diagram for explaining the process of detecting the position of the area of the specific region by using the machine learning with the radiotherapy tracking device according to the present invention.
  • the classifier is first learned.
  • a DRR image created during treatment planning is used as an input layer, and a 2-channel label image representing a region of a specific region identified during treatment planning is used as an output layer as a classifier.
  • the area of the specific site is detected.
  • the X-ray fluoroscopic image is used as an input layer, and discrimination is performed using a previously learned classifier to show the position of the region of the specific region as an output layer. Create a label image.
  • FIG. 4 is a flowchart showing a moving object tracking operation using the radiotherapy tracking device according to the present invention.
  • the following operation is performed using two X-ray imaging systems among the first X-ray imaging system, the second X-ray imaging system, the third X-ray imaging system, and the fourth X-ray imaging system described above. In the following, only one of them will be described. The following operations are performed similarly for the two X-ray imaging systems.
  • X-rays are generated from the four-dimensional CT image data generated at the time of treatment plan storage by the DRR image generation unit 31 shown in FIG.
  • a plurality of DRR images including specific regions are created (step S1).
  • four-dimensional CT data created at the time of treatment planning refers to a three-dimensional CT image of a region including a specific region continuously photographed over time in a plurality of consecutive breathing phases at the time of treatment planning storage. It is a data group.
  • FIG. 5 is an explanatory view schematically showing a state in which a DRR image is created by virtual fluorography in which the geometrical fluoroscopic conditions of the X-ray tube 11 and the flat panel detector 21 are simulated.
  • reference numeral 300 denotes CT image data.
  • the CT image data 300 is acquired from the treatment planning device 99, and is three-dimensional voxel data which is a set of a plurality of two-dimensional CT image data.
  • the CT image data 300 has, for example, a structure in which about 200 sheets of two-dimensional images of 512 ⁇ 512 pixels are stacked in a direction crossing the subject (direction along the line segment L1 or L2 shown in FIG. 5). .
  • the DRR image creation unit 31 creates a DRR image
  • perspective projection is virtually performed on the CT image data 300.
  • three-dimensional CT image data 300 is arranged on the computer.
  • the geometry which is the geometrical arrangement of the X-ray imaging system, is reproduced on the computer.
  • the X-ray tube 11 and the flat panel detector 21 shown in FIG. 1 are disposed on both sides of the CT image data 300.
  • the CT image data 300 and the arrangement of the X-ray tube 11 and the flat panel detector 21 correspond to the subject, the X-ray tube 11 and the flat panel detector 21 when the radiotherapy tracking apparatus shown in FIG. It has the same geometry as the arrangement of.
  • the term “geometry” means the geometrical arrangement of the X-ray tube 11 and the flat panel detector 21 with the object to be imaged.
  • a parameter for creating a DRR image including at least one of projection coordinates and an angle to the CT image data 300 is changed to create a DRR image.
  • image processing is performed which includes at least one of slight translation, rotation, deformation and scaling.
  • a specific site of the subject such as a tumor moves non-reproducibly with respect to the CT image data 300 in the body of the subject, or In order to be able to track a specific site more reliably even when
  • the frame rate of the CT image data 300 which is the basis of the DRR image is smaller than the frame rate of the X-ray fluoroscopic image
  • the parameters for DRR image creation by changing the parameters for DRR image creation, specific regions between frames in the DRR image Can be simulated, and the region of the specific site can be detected more accurately.
  • the X-ray fluoroscopic image is a transmission image
  • a background having a higher contrast than that of a specific part such as a bone or a diaphragm is superimposed on the area of the specific part.
  • the parameters are changed as described above, the overlapping manner of the background to the specific site changes in various ways, so by learning it, the overlapping of the background is ignored and the specific site can be made more sure. It becomes possible to identify.
  • contrast change is performed on the created DRR image.
  • the purpose of performing this contrast change, noise addition, and edge enhancement is to absorb the difference in image quality between the DRR image and the X-ray image, and to enable tracking of a specific site more reliably.
  • Change in parameters for DRR image creation such as projection coordinates and angles, or contrast change, noise addition, and edge enhancement, as described above, are modes in which changes are made randomly or at equal intervals within a predetermined range. Will be implemented in Thus, a large amount of DRR images can be created from CT image data 300 of one patient. For this reason, it is possible to learn a custom-made discriminator corresponding to each patient using a large amount of DRR images created in this way. In addition, it is also possible to learn a classifier using DRR images of a large number of patients.
  • a projection area image representing the area of the specific part is created (step S2).
  • the projection area image representing the area of the specific part is used as a teacher label image at the time of machine learning.
  • virtual perspective projection is performed on the region of the specific site as in the case shown in FIG.
  • the projection area image is created by changing parameters for creating the projection area image such as projection coordinates and angles with respect to the area of the specific part. That is, slight translation, rotation, deformation, and scaling are performed.
  • the parameters including the projection coordinates and the angle of the geometric perspective condition are changed under the same condition as at the time of creation of the DRR image described above, or the image is rotated, deformed, scaled. Perform image processing including the same under the same conditions.
  • FIG. 6 is a schematic view showing the DRR image 100 and label images 101 and 102 which are images of projection regions representing the regions of specific regions.
  • the projection area image representing the area of the specific part is the two (two-channel) label images 101 and 102.
  • the label image 101 is a background label image representing an area other than the specific part.
  • the label image 102 is a specific part label image representing the area of the specific part.
  • Step S3 machine learning is performed with the DRR image 100 as the input layer and the two-channel label images 101 and 102 as the output layer to learn a classifier for recognizing the region of the specific part.
  • FCN Full Convolutional Networks
  • the convolutional neural network used in FCN has, for example, a configuration as shown in FIG. That is, when learning the classifier, the input layer is a DRR image, and the output layer is the two-channel label images 101 and 102 shown in FIG. In the label image, channel 1 is a background label image, and channel 2 is a specific site label image. That is, each pixel value of each channel of the label images 101 and 102 is a value corresponding to the probability that each pixel of the input image belongs to each class.
  • the middle layer is composed of only the convolutional layer which is a discriminator, and the parameters are determined by learning.
  • the label image 101 and 102 for two channels are created in the above-described embodiment, the label image may be one channel because the images are only classified into the background and the specific part. Also, conversely, in the case where the background and the specific part are classified for each respiratory phase, n channels more than two channels may be used. For example, when the present invention is used to identify an artificial joint or an organ prohibited to be irradiated with a treatment beam, classification into n classes may be performed to create an n-channel label image.
  • the above operations can be performed in advance prior to radiation treatment. For this reason, it is not necessary to create a template immediately before radiation treatment as in the case of using conventional template matching. Therefore, it is possible to improve the radiation treatment throughput without temporally constraining the subject.
  • the discriminator learning unit 33 first uses the loss function based on the area ratio of the specific region label to the background label in the teacher label image (area ratio of the hatched area in the label image 102 and the label image 101 in FIG. 6).
  • the classifier is trained by increasing the weight of the specific part label at the time of calculation. Then, the weight of the specific part label is gradually reduced according to the degree of progress of learning of the classifier.
  • the degree of progress of learning of the classifier at this time is determined based on, for example, the number of repetitions of learning.
  • FIG. 7 is a graph showing the relationship between the weight of a specific part label and the number of repetitions.
  • the vertical axis shows the weight for a specific site (tumor)
  • the horizontal axis shows the epoch which is the number of repetitions.
  • an epoch is a unit for learning one training data set repeatedly several times.
  • the weight of the specific part is set to, for example, 10000 based on the area ratio of the specific part label and the background label. Then, as the learning is repeated, the weight is reduced and finally converged to one or more (for example, about 20).
  • a weight may be reduced as the learning proceeds.
  • the classifier learning unit 33 weights the loss function for the image obtained by trimming the periphery of the specific part and adds the loss function to the entire image loss function. It is preferable to adopt the configuration.
  • FIG. 8 is an explanatory view schematically showing the range of weighting.
  • the classifier learning unit 33 weights the loss function with respect to the area E2 of the image obtained by trimming the periphery of the specific part with respect to the loss function of the area E1 showing the entire image at the time of calculation of the loss function when performing machine learning. Add up.
  • step S4 X-ray fluoroscopy is started on the subject.
  • a specific region is detected by performing identification using the previously learned identifier (convoluted layer) (step S5). That is, with respect to a fluoroscopic image obtained at a predetermined frame rate by X-ray fluoroscopy, a discriminator previously learned is used to output a 2-channel label image as an output layer. That is, a region having a high probability of being a specific region is recognized for each frame of the fluoroscopic image.
  • FIG. 9 is a schematic view showing an X-ray fluoroscopic image 200 and label images 201, 202 and the like representing an area of a specific part.
  • the two-channel label images of the image 201 of the background label and the image 202 of the specific part label are obtained by performing the identification using the identifier learned earlier on the X-ray fluoroscopic image 200. It is created.
  • the two-channel label image is created for each frame of the fluoroscopic image 200.
  • the region 204 of the specific part is determined, and an image 203 in which the display representing the region 204 of the specific part and the fluoroscopic image are superimposed is created.
  • a predetermined threshold may be provided for the probability of the label image, and the area where the probability exceeds this threshold may be set as the area 204 of the specific part.
  • smoothing of boundaries or deletion / integration of minute regions may be appropriately performed using morphological operation or the like.
  • the irradiation of the treatment beam may be stopped as an error.
  • the region 204 of the specific region does not have to correspond to the entire CTV, and only a part of the CTV region, such as near the center of the CTV, is specified. It may be At this time, for example, the area 204 of the specific region may be determined by matching the center of gravity in the label image with the center of gravity of the CTV created in the treatment plan using the CTV created in the treatment plan. .
  • the entire label image can be obtained by one forward propagation calculation for the entire input image or the entire search region, so that it is possible to recognize the shape of the specific part in real time.
  • the treatment beam is irradiated by the radiation irradiating apparatus 90 (step S6). That is, only when the position of the region 204 of the specific region reaches a specific position in a specific phase in the respiratory phase of the subject, the treatment beam is irradiated to perform radiotherapy.
  • FIG. 10 is a block diagram showing a main control system of the tracking apparatus for radiotherapy according to the second embodiment of the present invention.
  • FIG. 11 is a schematic view showing the DRR image 100, images 100b and 100c obtained by image processing the DRR image 100, and label images 101 and 102, which are images of projection areas representing areas of specific regions.
  • FIG. 12 is a schematic view showing an X-ray fluoroscopic image 200, images 200b and 200c obtained by image processing the same, and label images 201 and 202 and the like representing an area of a specific part.
  • the controller 30 controls the DRR image 100 shown in FIG. 6 such as an image 100 b subjected to edge enhancement and an image 100 c subjected to frequency division.
  • the image processing unit 36 is provided to create images 200 b and 200 c obtained by image processing the image 200.
  • machine learning is performed with the DRR image 100 as the input layer and the two-channel label images 101 and 102 as the output layer.
  • the DRR image 100 and the images 100b and 100c obtained by image processing the DRR image 100 are used as input layers, and the two-channel label images 101 and 102 are used as output layers.
  • the image 201 of the background label and the specific region label are identified by performing identification using the identifier learned earlier on the X-ray fluoroscopic image 200.
  • a two-channel label image of the image 202 is created.
  • the second embodiment as shown in FIG.
  • identification is performed using the X-ray fluoroscopic image 200 and the images 200b and 200c obtained by image processing of the X-ray fluoroscopic image 200 using the classifier previously learned. By doing this, a two-channel label image of the image 201 of the background label and the image 202 of the specific part label is created. Then, the image processing unit 36 performs image processing under the same condition, that is, the same image processing, on the DRR image and the X-ray fluoroscopic image.
  • machine learning is performed using not only the DRR image 100 but also an image obtained by image processing the DRR image 100, so that a more accurate classifier can be created.
  • discrimination is performed using not only the X-ray fluoroscopic image 200 but also an image obtained by image processing the X-ray fluoroscopic image 200, thereby more accurately detecting the region of a specific region. Is possible.
  • a DRR image created at the time of treatment planning is used as an input layer, and two channels representing a region of a specific region specified at the treatment planning
  • the label image As an output layer and learning the convolutional layer to be used as a classifier by machine learning, and then using the X-ray fluoroscopic image as an input layer and performing discrimination using the previously learned classifier,
  • the X-ray fluoroscopic image By recognizing the position of the area of the specific site as the output layer, it becomes possible to detect the position of the specific site in real time or to track the specific site.
  • the X-ray fluoroscopic image may be input to the discriminator after blurring it with a Gaussian filter or the like.
  • DRR images are created from low resolution CT images, so they have lower resolution compared to fluoroscopic images. For this reason, it is possible to more surely identify a specific part by blurring the X-ray fluoroscopic image and making the X-ray fluoroscopic image have the same resolution as the DRR image at the time of learning while reducing noise.
  • the DRR image and the X-ray fluoroscopic image input to the classifier may be input after performing contrast normalization in advance. Also, a local contrast normalization layer or a local response normalization layer may be added to the intermediate layer.
  • the classifier is learned using the projection area image representing the area of the specific part created by the specific part projection unit 32 as a teacher label image, but it may be an image representing the area of the specific part For example, other teacher label images may be used.
  • the radiotherapy tracking apparatus for tracking the movement of a specific site for irradiating a treatment beam to the specific site has been described, but a fluoroscopic image including the specific site of the subject
  • the present invention can be similarly applied to a position detection device that detects the position of a specific site based on the above.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Radiation-Therapy Devices (AREA)

Abstract

制御部３０は、特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成部３１と、特定部位の領域を表す投影領域画像を作成する特定部位投影部３２と、ＤＲＲ画像と教師ラベル画像としての投影領域画像とを使用して機械学習を実行することにより特定部位の領域を認識するための識別器を学習する識別器学習部３３と、特定部位を含むＸ線透視画像に対して、識別器学習部３３で学習された識別器を使用して識別を行うことにより特定部位の領域を検出する特定部位領域検出部３４と、特定部位領域検出部３４により検出した特定部位の領域が治療ビームの照射領域に含まれたときに、放射線照射装置９０に対して治療ビームの照射信号を送信する照射信号発生部３５と、を備える。

Description

放射線治療用追跡装置、位置検出装置および動体追跡方法
　この発明は、被検者の特定部位を含む画像から特定部位の位置を検出し、あるいは、特定部位の動きを追跡する放射線治療用追跡装置、位置検出装置および動体追跡方法に関する。
　腫瘍などの患部に対してＸ線や陽子線等の放射線を治療ビームとして照射する放射線治療においては、放射線を患部に正確に照射する必要がある。しかしながら、被検者が体を動かしてしまう場合があるばかりではなく、患部自体に動きが生ずる場合がある。例えば、肺の近くの腫瘍は呼吸に基づき大きく移動する。このため、腫瘍の近傍に球形状を有する金製のマーカを留置し、このマーカの位置をＸ線透視装置により検出して、治療ビームの照射のタイミングを制御する構成を有するマーカトラッキング方式の放射線照射装置が提案されている（特許文献１参照）。
　このような放射線照射装置においては、第１Ｘ線管と第１Ｘ線検出器から成る第１Ｘ線透視機構と、第２Ｘ線管と第２Ｘ線検出器から成る第２Ｘ線透視機構とを使用して体内に留置されたマーカを撮影し、第１Ｘ線透視機構による二次元の透視画像と第２Ｘ線透視機構による二次元の透視画像を利用して三次元の位置情報を得る。そして、連続してＸ線透視を行い、リアルタイムでマーカの三次元の位置情報を演算することで、移動を伴う部位のマーカを高精度で検出する。そして、検出されたマーカの位置情報に基づいて治療ビームの照射タイミングを制御することで、腫瘍の動きに応じた高精度の放射線照射を実行することが可能となる。このマーカの位置情報を得るときには、テンプレートを利用したテンプレートマッチングが実行される。
　ところで、上述したようにマーカを利用して腫瘍の動きを検出するためには、被検者の体内に、予めマーカを留置する必要がある。一方、近年、患者の腫瘍の領域などの特定部位をマーカのかわりに使用することで、マーカの留置を省略するマーカレストラッキングと呼称される方法も提案されている。
特許第３０５３３８９号公報
　被検者の特定部位を球状のマーカのかわりに使用するマーカレストラッキングにおいては、被検者の呼吸位相により特定部位の認識される形状が異なることから、特定部位を単一の呼吸位相から撮影した画像を利用してテンプレートを作成しても、これだけでは正確なテンプレートマッチングは実行し得ない。このため、被検者の呼吸位相により特定部位の認識される形状が異なることに対応するため、放射線治療の直前に異なる呼吸位相で撮影された特定部位を含む画像をテンプレート画像として複数記憶するとともに、一定時間毎に撮影される画像に対して、予め記憶された複数のテンプレート画像を利用してテンプレートマッチングを行う必要がある。
　このように複数のテンプレートを使用するときには、オペレータが放射線治療の直前に被検者をＸ線透視し、Ｘ線画像を見ながら呼吸位相毎の腫瘍の位置を指定してテンプレートを作成する必要がある。このため、複数のテンプレートを作成するために時間がかかり、患者にとって苦痛であるばかりではなく、治療のためのスループットの低下をもたらすという問題が生ずる。
　上述したマーカトラッキング方式を採用した場合においては、点状のマーカを追跡するのに対して、マーカレストラッキングを採用した場合においては、所定の大きさを持った特定部位そのものを追跡する。しかし、従来の追跡方法では、例えば、特定部位の中心等の、特定部位におけるいずれか一点の位置を算出する構成となっており、特定部位の領域を直接的に考慮したものではなかった。これに対して、治療ビームを照射する領域は、一定の大きさを持った領域として登録されており、特定部位についても、その領域を考慮することが望まれている。
　一方、特定部位の追跡に、テンプレートマッチングにかえて機械学習等の他の追跡方法を使用することも提案されている。このような場合においては、ＣＮＮ（畳み込みニューラルネットワーク）におけるスライディングウインドウを使用することが考えられる。しかしながら、ＣＮＮのスライディングウインドウは、実装が容易である一方で、非常に冗長な計算を行う必要があることから、計算に時間がかかりリアルタイム処理が困難であるという問題がある。
　これに対して、腫瘍等の特定部位は、治療中においても、呼吸等に伴って移動しながら形状を変化させることになる。また、放射線治療を行うときには、治療ビームを複数回に分けて照射する分割照射が行われることが多いが、照射を繰り返すと腫瘍が縮小するなどして形状が変化する場合がある。このような場合においては、腫瘍形状の変化に応じてリアルタイムで腫瘍の領域を認識しなければ、高精度の放射線治療が実行し得ない。
　この発明は上記課題を解決するためになされたものであり、予めＤＲＲ画像と教師ラベル画像を利用して識別器を学習し、この識別器とＸ線透視画像とを利用して識別を実行することにより、リアルタイムで特定部位の位置を検出し、あるいは、追跡することが可能な放射線治療用追跡装置、位置検出装置および動体追跡方法を提供することを目的とする。
　第１の発明は、被検者の特定部位を含むＸ線透視画像を収集して前記特定部位の位置を検出し、前記特定部位に対して治療ビームを照射するために前記特定部位の動きを追跡する放射線治療用追跡装置であって、治療計画時に作成された前記特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線管とＸ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成部と、前記ＤＲＲ画像作成部で作成されたＤＲＲ画像と前記特定部位の領域を示す教師ラベル画像とを使用して機械学習を実行することにより、前記特定部位の領域を認識するための識別器を学習する識別器学習部と、前記特定部位を含むＸ線透視画像に対して、前記識別器学習部で学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出部と、を備えることを特徴とする。
　第２の発明は、治療計画時において前記特定部位を含む領域のＣＴ画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記Ｘ線管と前記Ｘ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影部をさらに備え、前記識別器学習部は、前記特定部位投影部により作成された前記特定部位の領域を表す投影領域画像を前記教師ラベル画像として識別器を学習する。
　第３の発明は、前記ＤＲＲ画像作成部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記ＤＲＲ画像を作成するとともに、前記特定部位投影部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記特定部位の領域を表す投影領域画像を作成し、前記ＤＲＲ画像作成部と前記特定部位投影部とは、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を同一条件で施す。
　第４の発明は、前記ＤＲＲ画像作成部は、作成後のＤＲＲ画像に対して、コントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する。
　第５の発明は、前記識別器学習部は、前記ＤＲＲ画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習する。
　第６の発明は、前記識別器学習部は、機械学習を実行するときの損失関数の計算時に、前記教師ラベル画像における特定部位ラベルと背景ラベルとの面積に基づいて特定部位ラベルの重みを大きくして計算を行った後、学習の進捗に応じて特定部位ラベルの重みを順次小さくして計算を行う。
　第７の発明は前記識別器学習部は、機械学習を実行するときの損失関数の計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する。
　第８の発明は、前記ＤＲＲ画像と前記Ｘ線透視画像とを画像処理する画像処理部をさらに備え、前記識別器学習部は、前記ＤＲＲ画像と前記画像処理部で画像処理されたＤＲＲ画像とを使用して機械学習を実行するとともに、前記特定部位領域検出部は、前記特定部位を含むＸ線透視画像と前記画像処理部で前記ＤＲＲ画像と同一条件により画像処理された前記特定部位を含むＸ線透視画像とに対して前記識別記学習部で学習された識別器を使用して識別を行う。
　第９の発明は、被検者の特定部位を含むＸ線透視画像に基づいて前記特定部位の位置を検出する位置検出装置であって、前記特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線管とＸ線検出器との幾何学的透視条件を模擬した仮想的投影を行うことにより、前記特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成部と、前記ＤＲＲ画像作成部で作成されたＤＲＲ画像と前記特定部位の領域を示す教師ラベル画像とを使用して機械学習を実行することにより、前記特定部位の領域を認識するための識別器を学習する識別器学習部と、前記特定部位を含むＸ線画像に対して、前記識別器学習部で学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出部と、を備えることを特徴とする。
　第１０の発明は、治療計画時において前記特定部位を含む領域のＣＴ画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記Ｘ線管と前記Ｘ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影部をさらに備え、前記識別器学習部は、前記特定部位投影部により作成された前記特定部位の領域を表す投影領域画像を前記教師ラベル画像として識別器を学習する。
　第１１の発明は、前記ＤＲＲ画像作成部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記ＤＲＲ画像を作成するとともに、前記特定部位投影部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記特定部位の領域を表す投影領域画像を作成し、前記ＤＲＲ画像作成部と前記特定部位投影部とは、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を同一条件で施す。
　第１２の発明は、前記ＤＲＲ画像作成部は、作成後のＤＲＲ画像に対して、コントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する。
　第１３の発明は、前記識別器学習部は、前記ＤＲＲ画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習する。
　第１４の発明は、前記識別器学習部は、機械学習を実行するときの損失関数計算時に、前記教師ラベル画像における特定部位ラベルと背景ラベルとの面積に基づいて特定部位ラベルの重みを大きくして計算を行った後、学習の進捗に応じて特定部位ラベルの重みを順次小さくして計算を行う。
　第１５の発明は、前記識別器学習部は、機械学習を実行するときの損失関数計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する。
　第１６の発明は、前記ＤＲＲ画像と前記Ｘ線透視画像とを画像処理する画像処理部をさらに備え、前記識別器学習部は、前記ＤＲＲ画像と前記画像処理部で画像処理されたＤＲＲ画像とを使用して機械学習を実行するとともに、前記特定部位領域検出部は、前記特定部位を含むＸ線透視画像と前記画像処理部で前記ＤＲＲ画像と同一条件により画像処理された前記特定部位を含むＸ線透視画像とに対して前記識別記学習部で学習された識別器を使用して識別を行う。
　第１７の発明は、被検者の特定部位を含むＸ線透視画像を収集して前記特定部位の位置を検出し、前記特定部位に対して治療ビームを照射するために前記特定部位の動きを追跡する動体追跡方法であって、治療計画時に作成された前記特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線管とＸ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成工程と、治療計画時において前記特定部位を含む領域のＣＴ画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記Ｘ線管と前記Ｘ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影工程と、前記ＤＲＲ画像作成工程において作成されたＤＲＲ画像と、前記特定部位投影工程において作成された投影領域画像とを使用して機械学習を実行することにより、前記特定部位の位置を認識するための識別器を学習する識別器学習工程と、前記Ｘ線管から照射され前記被検者を通過したＸ線を前記Ｘ線検出器により検出して得た前記特定部位を含むＸ線透視画像に対して、前記識別器学習工程において学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出工程と、を含むことを特徴とする。
　第１および第１７の発明によれば、放射線治療に先だって、予め識別器を学習し、この識別器とＸ線透視画像とを利用して識別を実行することにより、リアルタイムで特定部位の位置を検出し、あるいは、特定部位の追跡することが可能となる。このとき、従来のようにテンプレートを予め作成する必要がないことから、複数のテンプレートを作成する必要がなく患者に苦痛を与えることはない。また、治療のためのスループットを向上させることが可能となる。
　第２および第１０の発明によれば、特定部位を含む領域のＣＴ画像データ上に登録された特定部位の領域に対して仮想的透視投影を行うことにより作成した特定部位の領域を表す投影領域画像を教師ラベル画像として識別器を学習することから、ラベル画像を正確かつ容易に作成することができる。
　第３および第１１の発明によれば、幾何学的透視条件の投影座標および角度を含むパラメータを変化させ、あるいは、画像の回転、変形、拡大縮小を含む画像処理を施すことから、特定部位が再現性なく移動または変形した場合においても、特定部位の位置を正確に検出することが可能となる。そして、大量のＤＲＲ画像を作成することができることから、各患者に対応したオーダーメイドの識別器を学習することができ、さらには、低フレームレートのＣＴ画像データから作成されたＤＲＲ画像を使用する場合においても、また、特定部位に対して背景が映り込んだ場合においても、特定部位の位置を正確に検出することが可能となる。
　第４および第１２の発明によれば、作成後のＤＲＲ画像に対して、コントラスト変化、ノイズ付加、エッジ強調を実行することから、ＤＲＲ画像とＸ線画像に画質の差異が生じた場合においても、特定部位の位置を正確に検出することが可能となる。
　第５および第１３の発明によれば、ＤＲＲ画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習することから、冗長な計算が不要と成り、リアルタイムでの処理が可能となる。
　第６および第１４の発明によれば、機械学習における損失関数の計算時に特定部位ラベルと背景ラベルとを同等に扱うことができ、特定部位をより確実に検出することが可能となる。そして、学習の前半においては特定部位を確実に検出できるように識別器を学習し、学習の後半においては背景部分の誤判定をなくすように学習することから、特定部位の検出信頼性と誤検出の抑制を両立した識別器の学習を行うことが可能となる。
　第７および第１５の発明によれば、識別が困難な特定部位ラベルと背景ラベルとの境界付近の重みを大きくして学習を実行することができ、これにより、特定部位ラベルと背景ラベルとの境界付近誤判定を抑制して、特定部位をより確実に検出することが可能となる。
　第８および第１６の発明によれば、より正確な識別器を作成することができ、また、特定部位の領域をより正確に検出することが可能となる。
　第９の発明によれば、放射線治療に先だって、予めＤＲＲ画像と教師ラベル画像を利用して識別器を学習し、この識別器とＸ線透視画像とを利用して識別を実行することにより、リアルタイムで特定部位の位置を検出することが可能となる。
この発明に係る放射線治療用追跡装置を、放射線照射装置９０とともに示す斜視図である。 この発明に係る放射線治療用追跡装置の主要な制御系を示すブロック図である。 この発明に係る放射線治療用追跡装置により機械学習を利用して特定部位の領域の位置を検出する工程を説明するための模式図である。 この発明に係る放射線治療用追跡装置を使用した動体追跡動作を示すフローチャートである。 Ｘ線管１１とフラットパネルディテクタ２１との幾何学的透視条件を模擬した仮想的透視撮影によりＤＲＲ画像を作成する状態を模式的に示す説明図である。 ＤＲＲ画像１００と、特定部位の領域を表す投影領域の画像であるラベル画像１０１、１０２とを示す模式図である。 特定部位ラベルの重みと繰り返し回数との関係を示すグラフである。 重みづけの範囲を模式的に示す説明図である。 Ｘ線透視画像２００と、特定部位の領域を表すラベル画像２０１、２０２等とを示す模式図である。 この発明の第２実施形態に係る放射線治療用追跡装置の主要な制御系を示すブロック図である。 ＤＲＲ画像１００およびそれを画像処理した画像１００ｂ、１００ｃと、特定部位の領域を表す投影領域の画像であるラベル画像１０１、１０２とを示す模式図である。 Ｘ線透視画像２００およびそれを画像処理した画像２００ｂ、２００ｃと、特定部位の領域を表すラベル画像２０１、２０２等とを示す模式図である。
　以下、この発明の実施の形態を図面に基づいて説明する。図１は、この発明に係る放射線治療用追跡装置を、放射線照射装置９０とともに示す斜視図である。これらの放射線治療用追跡装置と放射線照射装置９０とにより、放射線治療装置が構成される。
　放射線照射装置９０は、カウチとも呼称される検診台２９上の被検者に対して放射線照射を行うものであり、治療室の床面に設置された基台９１に対して揺動可能に設置されたガントリー９２と、このガントリー９２に配設された治療ビームを出射するヘッド９３とを備える。この放射線照射装置９０によれば、ガントリー９２が基台９１に対して揺動することにより、ヘッド９３から照射される治療ビームの照射方向を変更することができる。このため、被検者における腫瘍等の患部に対して様々な方向から治療ビームを照射することが可能となる。
　この放射線照射装置９０とともに使用される放射線治療用追跡装置は、被検者の患部の位置を特定する動体追跡を行うためのＸ線透視を実行するＸ線透視装置である。すなわち、上述した放射線照射装置９０を使用した放射線治療時においては、放射線を被検者の体動に伴って移動する患部に正確に照射する必要がある。このため、被検者における腫瘍等の特定の形状を有する部位を特定部位として予め登録し、この特定部位を連続的にＸ線透視して、特定部位の三次元の位置情報を演算することで、特定部位を高精度で検出する、所謂、動体追跡を行う構成となっている。このように、従来の被検者における患部付近にマーカを留置する代わりに、被検者における腫瘍等の特定部位の画像をマーカとして使用する動体追跡の手法は、マーカレストラッキングと呼称されている。
　この放射線治療用追跡装置は、第１Ｘ線管１１ａ、第２Ｘ線管１１ｂ、第３Ｘ線管１１ｃ、第４Ｘ線管１１ｄと、第１フラットパネルディテクタ２１ａ、第２フラットパネルディテクタ２１ｂ、第３フラットパネルディテクタ２１ｃ、第４フラットパネルディテクタ２１ｄとを備える。第１Ｘ線管１１ａから照射されたＸ線は、検診台２９上の被検者を透過した後、第１フラットパネルディテクタ２１ａにより検出される。第１Ｘ線管１１ａと第１フラットパネルディテクタ２１ａとは、第１Ｘ線撮影系を構成する。第２Ｘ線管１１ｂから照射されたＸ線は、検診台２９上の被検者を透過した後、第２フラットパネルディテクタ２１ｂにより検出される。第２Ｘ線管１１ｂと第２フラットパネルディテクタ２１ｂとは、第２Ｘ線撮影系を構成する。第３Ｘ線管１１ｃから照射されたＸ線は、検診台２９上の被検者を透過した後、第３フラットパネルディテクタ２１ｃにより検出される。第３Ｘ線管１１ｃと第３フラットパネルディテクタ２１ｃとは、第３Ｘ線撮影系を構成する。第４Ｘ線管１１ｄから照射されたＸ線は、検診台２９上の被検者を透過した後、第４フラットパネルディテクタ２１ｄにより検出される。第４Ｘ線管１１ｄと第４フラットパネルディテクタ２１ｄとは、第４Ｘ線撮影系を構成する。
　なお、動体追跡を行うためのＸ線透視を実行するとき、あるいは、被検者の特定部位の撮影のためのＸ線撮影を実行するときには、第１Ｘ線撮影系、第２Ｘ線撮影系、第３Ｘ線撮影系、第４Ｘ線撮影系のうちの２つのＸ線撮影系が選択されて使用される。
　図２は、この発明に係る放射線治療用追跡装置の主要な制御系を示すブロック図である。
　この放射線治療用追跡装置は、論理演算を実行するプロセッサーとしてのＣＰＵ、装置の制御に必要な動作プログラムが格納されたＲＯＭ、制御時にデータ等が一時的にストアされるＲＡＭ等を備え、装置全体を制御する制御部３０を備える。この制御部３０は、上述した第１Ｘ線管１１ａ、第２Ｘ線管１１ｂ、第３Ｘ線管１１ｃおよび第４Ｘ線管１１ｄと、第１フラットパネルディテクタ２１ａ、第２フラットパネルディテクタ２１ｂ、第３フラットパネルディテクタ２１ｃおよび第４フラットパネルディテクタ２１ｄとに接続されている。
　この制御部３０は、後述するように、治療計画時に作成された特定部位を含む領域のＣＴ画像データに対して、被検者に対するＸ線管１１とフラットパネルディテクタ２１との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成部３１と、治療計画時において特定部位を含む領域のＣＴ画像データ上に登録された特定部位の領域に対して、被検者に対するＸ線管１１とフラットパネルディテクタ２１との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、特定部位の領域を表す投影領域画像を作成する特定部位投影部３２と、ＤＲＲ画像作成部３１で作成されたＤＲＲ画像と教師ラベル画像としての投影領域画像とを使用して機械学習を実行することにより、特定部位の領域を認識するための識別器を学習する識別器学習部３３と、Ｘ線管１１から照射され被検者を通過したＸ線をフラットパネルディテクタ２１により検出して得た特定部位を含むＸ線透視画像に対して、識別器学習部３３で学習された識別器を使用して識別を行うことにより、特定部位の領域を検出する特定部位領域検出部３４と、特定部位領域検出部３４により検出した特定部位の領域が治療ビームの照射領域に含まれたときに、放射線照射装置９０に対して治療ビームの照射信号を送信する照射信号発生部３５と、を備える。
　また、この制御部３０は、上述した放射線照射装置９０と、治療計画装置９９とに接続されている。なお、制御部３０と治療計画装置９９とは、病院内の被検者管理システムの院内通信である放射線科情報システム（ＲＩＳ）を介して接続されてもよい。ここで、治療計画装置９９は、放射線治療を行うに先だって、治療計画を作成するためのものである。この治療計画装置９９においては、ＣＴ撮影装置により被検者の３次元ＣＴ撮影を連続して複数回行うことにより得た、被検者の連続する複数の呼吸位相における特定部位を含む領域の３次元のＣＴ画像データ群からなる４次元ＣＴ画像データを記憶している。そして、この４次元ＣＴ画像データと被検者のその他のデータとに基づいて、被検者の治療計画が作成される。
　この治療計画の作成時には、特定部位を含む領域のＣＴ画像データに対して、特定部位の領域の情報が付与された上で記憶される。この特定部位の領域の情報は、例えば、オペレータにより付与される。この特定部位の領域の情報を、その他の方法により自動的に付与するようにしてもよい。
　次に、以上のような構成を有する放射線治療用追跡装置を使用することにより、被検者の体動に伴って移動する特定部位の位置を検出し、その動きを追跡する動体追跡を実行する動作について説明する。
　最初に、特定部位の位置を検出するための基本的な考え方について説明する。図３は、この発明に係る放射線治療用追跡装置により機械学習を利用して特定部位の領域の位置を検出する工程を説明するための模式図である。
　機械学習を利用して特定部位の領域の位置を検出するためには、最初に、識別器を学習する。この識別器学習工程においては、治療計画時に作成されたＤＲＲ画像を入力層とし、治療計画時に特定された特定部位の領域を表す２チャンネルのラベル画像を出力層として、機械学習により、識別器として使用する畳み込み層を学習する。次に、特定部位の領域を検出する。この特定部位領域検出工程においては、Ｘ線透視画像を入力層とし、先に学習された識別器を利用して識別を行うことにより、出力層としての特定部位の領域の位置を示す２チャンネルのラベル画像を作成する。
　次に、このような工程による特定部位の位置の検出を含む動体追跡動作について詳細に説明する。図４は、この発明に係る放射線治療用追跡装置を使用した動体追跡動作を示すフローチャートである。なお、以下の動作は、上述した第１Ｘ線撮影系、第２Ｘ線撮影系、第３Ｘ線撮影系、第４Ｘ線撮影系のうちの２つのＸ線撮影系を使用して実行されるが、以下においては、それらのうちの一方についてのみ説明を行う。以下の動作は、２つのＸ線撮影系に対して同様に実行される。
　動体追跡動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図２に示すＤＲＲ画像作成部３１により、治療計画記憶時に作成された４次元ＣＴ画像データに対して、Ｘ線管１１とフラットパネルディテクタ２１との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、特定部位を含む複数のＤＲＲ画像を作成する（ステップＳ１）。ここで、治療計画時に作成される４次元ＣＴデータとは、治療計画記憶時において、連続する複数の呼吸位相において、経時的に連続して撮影される特定部位を含む領域の３次元のＣＴ画像データ群である。
　図５は、Ｘ線管１１とフラットパネルディテクタ２１との幾何学的透視条件を模擬した仮想的透視撮影によりＤＲＲ画像を作成する状態を模式的に示す説明図である。
　図５において、符号３００はＣＴ画像データを示している。このＣＴ画像データ３００は、治療計画装置９９から取得されたものであり、複数の２次元のＣＴ画像データの集合である３次元のボクセルデータである。このＣＴ画像データ３００は、例えば、５１２×５１２ピクセルの２次元画像が被検者を横断する方向（図５に示す線分Ｌ１またはＬ２に沿った方向）に２００枚程度積層された構造を有する。
　ＤＲＲ画像作成部３１によりＤＲＲ画像を作成する時には、ＣＴ画像データ３００に対して仮想的に透視投影を行う。このときには、コンピュータ上に三次元のＣＴ画像データ３００を配置する。そして、コンピュータ上にＸ線撮影系の幾何学的配置であるジオメトリを再現する。この実施形態においては、ＣＴ画像データ３００を挟んで、両側に、図１に示すＸ線管１１とフラットパネルディテクタ２１を配置する。これらのＣＴ画像データ３００と、Ｘ線管１１およびフラットパネルディテクタ２１の配置は、図１に示す放射線治療用追跡装置で透視を実行するときの被検者とＸ線管１１およびフラットパネルディテクタ２１との配置と同じジオメトリとなっている。ここで、ジオメトリとは、撮影対象とＸ線管１１およびフラットパネルディテクタ２１の幾何学的配置関係を意味する。
　この状態で、Ｘ線管１１と、ＣＴ画像データ３００の各画素を介してフラットパネルディテクタ２１の各画素とを結ぶ多数の線分Ｌを設定する。なお、図５においては、説明の便宜上、２本の線分Ｌ１、Ｌ２を図示している。そして、この線分Ｌ上に、各々、複数の計算点を設定する。そして、各計算点のＣＴ値を演算する。このＣＴ値の演算時には、計算点の周囲のＣＴデータボクセルにおけるＣＴ値を利用した補間が実行される。しかる後、線分Ｌ上の各計算点のＣＴ値を累積する。この累積値が、線減弱係数の線積分に変換されて、Ｘ線の減弱を算出することにより、ＤＲＲ画像が作成される。
　このＤＲＲ画像の作成時には、ＣＴ画像データ３００に対して投影座標及び角度の少なくとも一方を含むＤＲＲ画像作成のためのパラメータを変化させてＤＲＲ画像を作成する。あるいは、わずかな平行移動、回転、変形及び拡大縮小の少なくとも１つを含む画像処理を実行する。この平行移動、回転、変形、拡大縮小を実行するのは、腫瘍等の被検者の特定部位が被検者の体内でＣＴ画像データ３００に対して再現性のない移動をし、または、変形が生じたときにも特定部位をより確実に追跡できるようにするためである。
　ここで、ＤＲＲ画像のもとになるＣＴ画像データ３００のフレームレートはＸ線透視画像のフレームレートより小さいが、ＤＲＲ画像作成のためのパラメータを変化させることにより、ＤＲＲ画像におけるフレーム間の特定部位を模擬することが可能となり、特定部位の領域をより正確に検出することが可能となる。また、Ｘ線透視画像は透過像であるため、特定部位の領域に骨部や横隔膜などの特定部位より高コントラストな背景が重畳して写り込むことになる。これに対して、上述したようにパラメータを変化させると、特定部位に対する背景の重なり方が様々に変化するので、それを学習することで、背景の重なりを無視して、特定部位をより確実に識別することが可能となる。
　また、作成されたＤＲＲ画像にコントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する。このコントラスト変化、ノイズ付加、エッジ強調を実行するのは、ＤＲＲ画像とＸ線画像の画質の違いを吸収し、特定部位をより確実に追跡できるようにするためである。
　上述した、投影座標や角度などのＤＲＲ画像作成のためのパラメータの変化、または、コントラスト変化、ノイズ付加、エッジ強調は、所定の範囲内でランダムに、あるいは、等間隔で様々に変化を与える態様で実施される。これにより、患者一人のＣＴ画像データ３００から、多量のＤＲＲ画像を作成することができる。このため、このようにして作成された多量のＤＲＲ画像を使用して、各患者に対応したオーダーメイドの識別器を学習することが可能となる。なお、多数の患者のＤＲＲ画像を利用して識別器の学習を行うことも可能である。
　次に、治療計画時において特定部位を含む領域のＣＴ画像データ上に登録された特定部位の領域に対して、被検者に対するＸ線管１１とフラットパネルディテクタ２１との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、特定部位の領域を表す投影領域画像を作成する（ステップＳ２）。この特定部位の領域を表す投影領域画像は、機械学習時に教師ラベル画像として使用される。
　このときにも、特定部位の領域に対して、図５に示す場合と同様に、仮想的な透視投影を実行する。この特定部位の領域を表す投影領域画像の作成時にも、特定部位の領域に対して投影座標や角度などの投影領域画像作成のためのパラメータを変化させて投影領域画像を作成する。すなわち、わずかな平行移動、回転、変形、拡大縮小を実行する。そして、この投影領域画像の作成時においては、上述したＤＲＲ画像の作成時と幾何学的透視条件の投影座標および角度を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形、拡大縮小を含む画像処理を同一条件で施す。これにより、上述したように、腫瘍等の被検者の特定部位が被検者の体内でＣＴ画像データ３００に対して再現性のない移動し、または、変形が生じたときにも特定部位をより確実に追跡することができる。
　図６は、ＤＲＲ画像１００と、特定部位の領域を表す投影領域の画像であるラベル画像１０１、１０２とを示す模式図である。
　特定部位の領域を表す投影領域画像は、２枚（２チャンネル）のラベル画像１０１、１０２となる。ここで、ラベル画像１０１は、特定部位以外の領域を表す背景ラベル画像である。また、ラベル画像１０２は、特定部位の領域を表す特定部位ラベル画像である。
　以上の工程が終了すれば、ＤＲＲ画像１００を入力層とし、２チャンネルのラベル画像１０１、１０２を出力層として機械学習を実行することにより、特定部位の領域を認識するための識別器を学習する（ステップＳ３）。
　画素ごとにその画素が属するクラスに分類する（ラベル付けする）手法をセマンティック・セグメンテーションという。高精度かつ高速なセマンティック・セグメンテーションの手法として、ＦＣＮ（Ｆｕｌｌｙ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋｓ）が知られている。ＦＣＮで用いる畳み込みニューラルネットワークは、例えば図３のような構成となる。すなわち、識別器を学習する場合においては、入力層はＤＲＲ画像で、出力層は図６に示す２チャンネルのラベル画像１０１、１０２である。ラベル画像はチャンネル１が背景ラベル画像であり、チヤンネル２が特定部位ラベル画像である。すなわち、ラベル画像１０１、１０２の各チヤンネルの各画素値は入力画像の各画素が各クラスに属する確率に相当する値となる。中間層は識別器となる畳み込み層のみで構成され、学習によりパラメータが決定される。
　なお、上述した実施形態においては、２チャンネルのラベル画像１０１、１０２を作成しているが、画像を背景と特定部位とに分類するだけであることから、ラベル画像を１チャンネルとしてもよい。また、逆に、呼吸位相毎に背景と特定部位とを分類する場合においては、２チャンネルより多いｎチャンネルとしてもよい。例えば、この発明を人工関節や治療ビームの照射禁止臓器の識別等に使用するときには、ｎクラスに分類を行い、ｎチャンネルのラベル画像を作成すればよい。
　以上の作業は、放射線治療に先だって、予め実行しておくことが可能となる。このため、従来のテンプレートマッチングを利用する場合のように、放射線治療の直前にテンプレートを作成する必要はない。従って、被検者を時間的に拘束することなく、また、放射線治療のスループットを向上させることが可能となる。
　なお、上述した機械学習を実行する場合において、ＤＲＲ画像１００のうちの特定部位が占める割合は小さいことから、教師ラベル画像としてのラベル画像１０１、１０２においては、画像領域のほとんどが背景ラベルとなる。このため、識別器を学習するときの損失関数は、背景ラベルの一致度を主要な要因として決まってしまうことになる。その結果、特定部位ラベルが無視されて、画像全体を背景ラベルとして識別するような学習がなされてしまうことがあり、このような場合には特定部位を検出できないことがあった。
　このため、機械学習における損失関数の計算時に特定部位ラベルの重みを大きくして学習することにより、特定部位ラベルも識別可能とすることが考えられる。しかしながらこのような構成を採用した場合には、背景ラベルが損失関数に寄与する割合が減少することから、背景ラベルの識別の学習が不十分となり、学習が進んでも背景部分を特定部位として誤判定してしまう場合がある。
　このような問題に対応するためには、特定部位ラベルの重みづけを学習の進捗度に合わせて順次小さくする構成を採用することが好ましい。すなわち、識別器学習部３３は、最初は、教師ラベル画像における特定部位ラベルと背景ラベルの面積比（図６におけるラベル画像１０２とラベル画像１０１におけるハッチング領域の面積比）に基づいて、損失関数を計算するときの特定部位ラベルの重みを大きくして識別器を学習する。そして、識別器の学習の進捗度に応じて特定部位ラベルの重みを徐々に小さくしていく。このときの識別器の学習の進捗度は、例えば、学習の繰り返し回数に基づいて判断する。
　図７は、特定部位ラベルの重みと繰り返し回数との関係を示すグラフである。このグラフにおいて、縦軸は特定部位（腫瘍）に対する重みを示し、横軸は繰り返し回数であるエポックを示す。ここで、エポックとは、一つの訓練データセットを何回か繰り返して学習させる単位である。
　このグラフに示すように、特定部位の重みを、特定部位ラベルと背景ラベルの面積比に基づいて、例えば、１００００に設定する。そして、学習を繰り返すに従って重みを小さくし、最終的には１以上（例えば、２０程度）に収束させる。
　このような構成を採用することにより、機械学習における損失関数の計算時に、教師ラベル画像の特定部位ラベルと背景ラベルとを同等に扱うことができ、特定部位をより確実に検出することが可能となる。そして、学習の前半においては特定部位を確実に検出できるように識別器を学習し、学習の後半においては背景部分の誤判定をなくすように学習することから、特定部位の検出信頼性と誤検出の抑制を両立した識別器の学習を行うことが可能となる。
　なお、繰り返し回数のかわりに、損失関数の値が小さくなることにより学習が進んだと判断し、学習が進むに従って重みを小さくする構成を採用してもよい。
　また、上述した機械学習を実行する場合において、特定部位ラベルと背景ラベルとの境界領域においては、特定部位であるか背景であるかの判定が困難であることから、機械学習後の識別結果が誤判定となることがある。このため、識別器学習部３３は、機械学習を実行するときの損失関数の計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する構成を採用することが好ましい。
　図８は、重みづけの範囲を模式的に示す説明図である。
　識別器学習部３３は、機械学習を実行するときの損失関数の計算時に、画像全体を示すエリアＥ１の損失関数に対して、特定部位周辺をトリミングした画像のエリアＥ２に対する損失関数を重みづけした上で加算する。
　このような構成を採用することにより、識別が困難な特定部位ラベルと背景ラベルとの境界付近の重みを大きくして学習を実行することができ、これにより、特定部位ラベルと背景ラベルとの境界付近誤判定を抑制して、特定部位をより確実に検出することが可能となる。
　以上の工程により識別器が学習されれば、次に、被検者に対してＸ線透視を開始する（ステップＳ４）。
　そして、先に学習した識別器（畳み込み層）を利用して識別を行うことにより、特定部位領域を検出する（ステップＳ５）。すなわち、Ｘ線透視により所定のフレームレートで得られる透視画像に対して、先に学習した識別器を使用し、出力層として２チャンネルのラベル画像を出力する。すなわち、Ｘ線透視画像の各フレーム毎に、特定部位である確率の大きい領域を認識する。
　図９は、Ｘ線透視画像２００と、特定部位の領域を表すラベル画像２０１、２０２等とを示す模式図である。
　この図に示すように、Ｘ線透視画像２００に対して先に学習した識別器を利用して識別を行うことにより、背景ラベルの画像２０１と特定部位ラベルの画像２０２の２チャンネルのラベル画像が作成される。この２チャンネルのラベル画像は、Ｘ線透視画像２００の各フレーム毎に作成される。そして、特定部位の領域２０４が決定され、特定部位の領域２０４を表す表示と透視画像とを重ね合わせた画像２０３が作成される。
　なお、特定部位の領域２０４を決定するときには、ラベル画像の確率に所定の閾値を設け、確率がこの閾値を越えた領域を特定部位の領域２０４とすればよい。このときには、モルフォロジー演算などを利用して、適宜、境界の平滑化や微小領域の削除・統合を行ってもよい。また、ＣＴＶ（臨床標的体積）から予想される腫瘍形状と違いが大きい場合は、エラーとして治療ビームの照射を停止してもよい。なお、特定部位の領域２０４については、ＣＴＶ全域に対応する必要はなく、ＣＴＶの中心付近などＣＴＶ領域の一部のみを特定し、例えば、そこを重心とした一定の領域を特定部位の領域２０４としてもよい。このときには、例えば、治療計画時に作成されたＣＴＶを利用し、ラベル画像における重心と治療計画時に作成されたＣＴＶの重心とを一致させることにより、特定部位の領域２０４を決定するようにしてもよい。
　ＣＮＮにおけるスライディングウインドウでは、検出窓をスライドする度にＣＮＮの順伝幡計算が必要であり、スライドした検出窓同士が重なっている領域では冗長な畳み込み演算が行われるため、リアルタイム処理が困難である。これに対し、ＦＣＮでは、入力画像全体または探索領域全体に対して一度の順伝播計算でラベル画像全体が得られるため、リアルタイムで特定部位の形状を認識することが可能となる。
　Ｘ線透視を実行しているときに、そのＸ線透視画像における特定部位の領域が検出できれば、放射線照射装置９０により治療ビームを照射する（ステップＳ６）。すなわち、特定部位の領域２０４の位置が被検者の呼吸位相における特定の位相において特定の位置となったときにのみ、治療ビームを照射して、放射線治療を行う。
　次に、この発明の第２実施形態について説明する。図１０は、この発明の第２実施形態に係る放射線治療用追跡装置の主要な制御系を示すブロック図である。図１１は、ＤＲＲ画像１００およびそれを画像処理した画像１００ｂ、１００ｃと、特定部位の領域を表す投影領域の画像であるラベル画像１０１、１０２とを示す模式図である。図１２は、Ｘ線透視画像２００およびそれを画像処理した画像２００ｂ、２００ｃと、特定部位の領域を表すラベル画像２０１、２０２等とを示す模式図である。
　この第２実施形態に係る放射線治療用追跡装置は、制御部３０が、図６に示すＤＲＲ画像１００に対して、エッジ強調を行った画像１００ｂと周波数分割を行った画像１００ｃのように、ＤＲＲ画像１００を画像処理した画像１００ｂ、１００ｃを作成するとともに、図９に示すＸ線透視画像２００に対して、エッジ強調を行った画像２００ｂと周波数分割を行った画像２００ｃのように、Ｘ線透視画像２００を画像処理した画像２００ｂ、２００ｃを作成する画像処理部３６を備える。
　上述した実施形態においては、図６に示すように、ＤＲＲ画像１００を入力層とし、２チャンネルのラベル画像１０１、１０２を出力層として機械学習を実行している。これに対して、この第２実施形態においては、図１１に示すように、ＤＲＲ画像１００およびそれを画像処理した画像１００ｂ、１００ｃを入力層とし、２チャンネルのラベル画像１０１、１０２を出力層として機械学習を実行する。また、上述した実施形態においては、図９に示すように、Ｘ線透視画像２００に対して先に学習した識別器を利用して識別を行うことにより、背景ラベルの画像２０１と特定部位ラベルの画像２０２の２チャンネルのラベル画像を作成している。これに対して、この第２実施形態においては、図１２に示すように、Ｘ線透視画像２００およびそれを画像処理した画像２００ｂ、２００ｃに対して先に学習した識別器を利用して識別を行うことにより、背景ラベルの画像２０１と特定部位ラベルの画像２０２の２チャンネルのラベル画像を作成する。そして、前記画像処理部３６は、ＤＲＲ画像とＸ線透視画像とに対して同一条件の画像処理、すなわち、同じ画像処理を実行する。
　このような構成を採用した場合においては、ＤＲＲ画像１００だけではなく、ＤＲＲ画像１００を画像処理した画像をも使用して機械学習を実行することから、より正確な識別器を作成することができる。そして、この識別器を使用して、Ｘ線透視画像２００だけではなく、Ｘ線透視画像２００を画像処理した画像を利用して識別を行うことから、特定部位の領域をより正確に検出することが可能となる。
　以上のように、この発明に係る放射線治療用追跡装置および動体追跡方法によれば、治療計画時に作成されたＤＲＲ画像を入力層とし、治療計画時に特定された特定部位の領域を表す２チャンネルのラベル画像を出力層として、機械学習により識別器として使用する畳み込み層を学習し、次に、Ｘ線透視画像を入力層とし、先に学習された識別器を利用して識別を行うことにより、出力層としての特定部位の領域の位置認識することから、リアルタイムで特定部位の位置を検出し、あるいは、特定部位の追跡することが可能となる。
　なお、上述した実施形態において、Ｘ線透視画像をガウスフィルタなどでぼかした後に識別器に入力してもよい。一般的に、ＤＲＲ画像は低解像度のＣＴ画像から作成されているため、Ｘ線透視画像と比べると低解像度である。このため、Ｘ線透視画像をぼかして、Ｘ線透視画像を、ノイズを低減しつつ学習時のＤＲＲ画像と同等の解像度とすることにより、より確実に特定部位を識別することが可能となる。
　また、上述した実施形態において、識別器に入力するＤＲＲ画像およびＸ線透視画像はあらかじめコントラスト正規化を行ったうえで入力してもよい。また、中間層に局所コントラスト正規化層または局所応答正規化層を加えてもよい。
　なお、上述した実施形態においては、特定部位投影部３２により作成された特定部位の領域を表す投影領域画像を教師ラベル画像として識別器を学習しているが、特定部位の領域を表す画像であれば、その他の教師ラベル画像を使用してもよい。
　また、上述した実施形態においては、特定部位に対して治療ビームを照射するために特定部位の動きを追跡する放射線治療用追跡装置について説明したが、被検者の特定部位を含むＸ線透視画像に基づいて特定部位の位置を検出する位置検出装置についても同様にこの発明を適用することができる。
　１１ａ　　　第１Ｘ線管
　１１ｂ　　　第２Ｘ線管
　１１ｃ　　　第３Ｘ線管
　１１ｄ　　　第４Ｘ線管
　２１ａ　　　第１フラットパネルディテクタ
　２１ｂ　　　第２フラットパネルディテクタ
　２１ｃ　　　第３フラットパネルディテクタ
　２１ｄ　　　第４フラットパネルディテクタ
　３０　　　　制御部
　３１　　　　ＤＲＲ画像作成部
　３２　　　　特定部位投影部
　３３　　　　識別器学習部
　３４　　　　特定部位領域検出部
　３５　　　　照射信号発生部
　９０　　　　放射線照射装置
　９９　　　　治療計画装置
 
 

Claims (17)

  1. 　被検者の特定部位を含むＸ線透視画像を収集して前記特定部位の位置を検出し、前記特定部位に対して治療ビームを照射するために前記特定部位の動きを追跡する放射線治療用追跡装置であって、
    　治療計画時に作成された前記特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線管とＸ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成部と、
    　前記ＤＲＲ画像作成部で作成されたＤＲＲ画像と前記特定部位の領域を示す教師ラベル画像とを使用して機械学習を実行することにより、前記特定部位の領域を認識するための識別器を学習する識別器学習部と、
    　前記特定部位を含むＸ線透視画像に対して、前記識別器学習部で学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出部と、
    　を備えることを特徴とする放射線治療用追跡装置。
  2. 　請求項１に記載の放射線治療用追跡装置において、
    　治療計画時において前記特定部位を含む領域のＣＴ画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記Ｘ線管と前記Ｘ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影部をさらに備え、
    　前記識別器学習部は、前記特定部位投影部により作成された前記特定部位の領域を表す投影領域画像を前記教師ラベル画像として識別器を学習する放射線治療用追跡装置。
  3. 　請求項２に記載の放射線治療用追跡装置において、
    　前記ＤＲＲ画像作成部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記ＤＲＲ画像を作成するとともに、
    　前記特定部位投影部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記特定部位の領域を表す投影領域画像を作成し、
    　前記ＤＲＲ画像作成部と前記特定部位投影部とは、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を同一条件で施す放射線治療用追跡装置。
  4. 　請求項２に記載の放射線治療用追跡装置において、
    　前記ＤＲＲ画像作成部は、作成後のＤＲＲ画像に対して、コントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する放射線治療用追跡装置。
  5. 　請求項２に記載の放射線治療用追跡装置において、
    　前記識別器学習部は、前記ＤＲＲ画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習する放射線治療用追跡装置。
  6. 　請求項２に記載の放射線治療用追跡装置において、
    　前記識別器学習部は、機械学習を実行するときの損失関数の計算時に、前記教師ラベル画像における特定部位ラベルと背景ラベルとの面積に基づいて特定部位ラベルの重みを大きくして計算を行った後、学習の進捗に応じて特定部位ラベルの重みを順次小さくして計算を行う放射線治療用追跡装置。
  7. 　請求項２に記載の放射線治療用追跡装置において、
    　前記識別器学習部は、機械学習を実行するときの損失関数の計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する放射線治療用動体追跡装置。
  8. 　請求項２に記載の放射線治療用追跡装置において、
    　前記ＤＲＲ画像と前記Ｘ線透視画像とを画像処理する画像処理部をさらに備え、
    　前記識別器学習部は、前記ＤＲＲ画像と前記画像処理部で画像処理されたＤＲＲ画像とを使用して機械学習を実行するとともに、
    　前記特定部位領域検出部は、前記特定部位を含むＸ線透視画像と前記画像処理部で前記ＤＲＲ画像と同一条件により画像処理された前記特定部位を含むＸ線透視画像とに対して前記識別記学習部で学習された識別器を使用して識別を行う放射線治療用追跡装置。
  9. 　被検者の特定部位を含むＸ線透視画像に基づいて前記特定部位の位置を検出する位置検出装置であって、
    　前記特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線管とＸ線検出器との幾何学的透視条件を模擬した仮想的投影を行うことにより、前記特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成部と、
    　前記ＤＲＲ画像作成部で作成されたＤＲＲ画像と前記特定部位の領域を示す教師ラベル画像とを使用して機械学習を実行することにより、前記特定部位の領域を認識するための識別器を学習する識別器学習部と、
    　前記特定部位を含むＸ線画像に対して、前記識別器学習部で学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出部と、
    　を備えることを特徴とする位置検出装置。
  10. 　請求項９に記載の位置検出装置において、
    　治療計画時において前記特定部位を含む領域のＣＴ画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記Ｘ線管と前記Ｘ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影部をさらに備え、
    　前記識別器学習部は、前記特定部位投影部により作成された前記特定部位の領域を表す投影領域画像を前記教師ラベル画像として識別器を学習する位置検出装置。
  11. 　請求項１０に記載の位置検出装置において、
    　前記ＤＲＲ画像作成部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記ＤＲＲ画像を作成するとともに、
    　前記特定部位投影部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記特定部位の領域を表す投影領域画像を作成し、
    　前記ＤＲＲ画像作成部と前記特定部位投影部とは、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を同一条件で施す位置検出装置。
  12. 　請求項１０に記載の位置検出装置において、
    　前記ＤＲＲ画像作成部は、作成後のＤＲＲ画像に対して、コントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する位置検出装置。
  13. 　請求項１０に記載の位置検出装置において、
    　前記識別器学習部は、前記ＤＲＲ画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習する位置検出装置。
  14. 　請求項１０に記載の位置検出装置において、
    　前記識別器学習部は、機械学習を実行するときの損失関数計算時に、前記教師ラベル画像における特定部位ラベルと背景ラベルとの面積に基づいて特定部位ラベルの重みを大きくして計算を行った後、学習の進捗に応じて特定部位ラベルの重みを順次小さくして計算を行う位置検出装置。
  15. 　請求項１０に記載の位置検出装置において、
    　前記識別器学習部は、機械学習を実行するときの損失関数計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する位置検出装置。
  16. 　請求項１０に記載の位置検出装置において、
    　前記ＤＲＲ画像と前記Ｘ線透視画像とを画像処理する画像処理部をさらに備え、
    　前記識別器学習部は、前記ＤＲＲ画像と前記画像処理部で画像処理されたＤＲＲ画像とを使用して機械学習を実行するとともに、
    　前記特定部位領域検出部は、前記特定部位を含むＸ線透視画像と前記画像処理部で前記ＤＲＲ画像と同一条件により画像処理された前記特定部位を含むＸ線透視画像とに対して前記識別記学習部で学習された識別器を使用して識別を行う位置検出装置。
  17. 　被検者の特定部位を含むＸ線透視画像を収集して前記特定部位の位置を検出し、前記特定部位に対して治療ビームを照射するために前記特定部位の動きを追跡する動体追跡方法であって、
    　治療計画時に作成された前記特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線管とＸ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成工程と、
    　治療計画時において前記特定部位を含む領域のＣＴ画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記Ｘ線管と前記Ｘ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影工程と、
    　前記ＤＲＲ画像作成工程において作成されたＤＲＲ画像と、前記特定部位投影工程において作成された投影領域画像とを使用して機械学習を実行することにより、前記特定部位の位置を認識するための識別器を学習する識別器学習工程と、
    　前記Ｘ線管から照射され前記被検者を通過したＸ線を前記Ｘ線検出器により検出して得た前記特定部位を含むＸ線透視画像に対して、前記識別器学習工程において学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出工程と、
    　を含むことを特徴とする動体追跡方法。
     
     
PCT/JP2017/046856 2017-06-30 2017-12-27 放射線治療用追跡装置、位置検出装置および動体追跡方法 WO2019003474A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/627,148 US11224763B2 (en) 2017-06-30 2017-12-27 Tracking device for radiation treatment, position detection device, and method for tracking moving body
JP2019526128A JP7099459B2 (ja) 2017-06-30 2017-12-27 放射線治療用追跡装置、位置検出装置および動体追跡方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2017/024214 2017-06-30
PCT/JP2017/024214 WO2019003434A1 (ja) 2017-06-30 2017-06-30 放射線治療用追跡装置、位置検出装置および動体追跡方法

Publications (1)

Publication Number Publication Date
WO2019003474A1 true WO2019003474A1 (ja) 2019-01-03

Family

ID=64740519

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2017/024214 WO2019003434A1 (ja) 2017-06-30 2017-06-30 放射線治療用追跡装置、位置検出装置および動体追跡方法
PCT/JP2017/046856 WO2019003474A1 (ja) 2017-06-30 2017-12-27 放射線治療用追跡装置、位置検出装置および動体追跡方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024214 WO2019003434A1 (ja) 2017-06-30 2017-06-30 放射線治療用追跡装置、位置検出装置および動体追跡方法

Country Status (3)

Country Link
US (1) US11224763B2 (ja)
JP (1) JP7099459B2 (ja)
WO (2) WO2019003434A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021037164A (ja) * 2019-09-04 2021-03-11 株式会社島津製作所 画像解析方法、画像処理装置、骨密度測定装置および学習モデルの作成方法
JP2021041090A (ja) * 2019-09-13 2021-03-18 株式会社島津製作所 医用画像処理装置、ｘ線画像処理システム、および、学習モデルの生成方法
JP2021058480A (ja) * 2019-10-08 2021-04-15 国立大学法人 筑波大学 標的外形推定装置および治療装置
CN113066099A (zh) * 2019-12-13 2021-07-02 视云融聚（广州）科技有限公司 一种基于球形坐标系的摄像机标签轨迹跟随方法
JP2021197149A (ja) * 2020-06-12 2021-12-27 ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド 画像強調モデルのトレーニング方法、装置及び記憶媒体

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10823685B2 (en) * 2018-01-16 2020-11-03 Creative Electron, Inc. Method and system to automatically inspect parts using x-rays
JP6945474B2 (ja) * 2018-02-28 2021-10-06 富士フイルム株式会社 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
JP7287828B2 (ja) * 2019-04-26 2023-06-06 株式会社日立製作所 患者位置決めシステム、方法およびプログラム
US11067786B2 (en) * 2019-06-07 2021-07-20 Leica Microsystems Inc. Artifact regulation methods in deep model training for image transformation
JP7252847B2 (ja) * 2019-07-08 2023-04-05 株式会社日立製作所 動体追跡装置および放射線治療システム、ならびに動体追跡装置の作動方法
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
JP2021041089A (ja) * 2019-09-13 2021-03-18 株式会社島津製作所 医用画像処理装置、ｘ線画像処理システム、および、学習モデルの生成方法
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US20220001207A1 (en) * 2020-07-02 2022-01-06 Mim Software Inc. Focal therapy pre-planning and predictive fusion
US11690581B2 (en) * 2020-09-07 2023-07-04 C-Rad Positioning Ab Tumor position determination
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007279967A (ja) * 2006-04-05 2007-10-25 Fuji Heavy Ind Ltd 画像処理装置
JP2011014051A (ja) * 2009-07-03 2011-01-20 Nikon Corp 生成装置、生成方法、および生成プログラム
JP2014212820A (ja) * 2013-04-23 2014-11-17 株式会社日立製作所 放射線治療システム
WO2015127970A1 (en) * 2014-02-26 2015-09-03 Brainlab Ag Tracking soft tissue in medical images
JP2016116659A (ja) * 2014-12-19 2016-06-30 株式会社東芝 医用画像処理装置、治療システム、医用画像処理方法、および医用画像処理プログラム
JP2016152992A (ja) * 2016-04-22 2016-08-25 国立研究開発法人量子科学技術研究開発機構 放射線治療における患者自動位置決め装置及び方法並びに患者自動位置決め用プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046326B2 (ja) 1990-06-15 2000-05-29 株式会社東芝 画像処理装置及び画像処理方法
US6058322A (en) 1997-07-25 2000-05-02 Arch Development Corporation Methods for improving the accuracy in differential diagnosis on radiologic examinations
US5943435A (en) * 1997-10-07 1999-08-24 Eastman Kodak Company Body part recognition in radiographic images
JP3053389B1 (ja) 1998-12-03 2000-06-19 三菱電機株式会社 動体追跡照射装置
JP2010246883A (ja) * 2009-03-27 2010-11-04 Mitsubishi Electric Corp 患者位置決めシステム
US9155470B2 (en) * 2012-01-24 2015-10-13 Siemens Aktiengesellschaft Method and system for model based fusion on pre-operative computed tomography and intra-operative fluoroscopy using transesophageal echocardiography
US20150223773A1 (en) * 2014-02-11 2015-08-13 Siemens Medical Solutions Usa, Inc. Method and Apparatus for Image Fusion Based Planning of C-Arm Angulation for Structural Heart Disease
JP6384657B2 (ja) 2014-06-30 2018-09-05 三菱自動車工業株式会社 燃料噴射制御装置
JP2016099668A (ja) 2014-11-18 2016-05-30 キヤノン株式会社 学習方法、学習装置、画像認識方法、画像認識装置及びプログラム
EP3721941A3 (en) * 2014-12-11 2020-12-09 Elekta, Inc. Motion management in mri-guided linac

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007279967A (ja) * 2006-04-05 2007-10-25 Fuji Heavy Ind Ltd 画像処理装置
JP2011014051A (ja) * 2009-07-03 2011-01-20 Nikon Corp 生成装置、生成方法、および生成プログラム
JP2014212820A (ja) * 2013-04-23 2014-11-17 株式会社日立製作所 放射線治療システム
WO2015127970A1 (en) * 2014-02-26 2015-09-03 Brainlab Ag Tracking soft tissue in medical images
JP2016116659A (ja) * 2014-12-19 2016-06-30 株式会社東芝 医用画像処理装置、治療システム、医用画像処理方法、および医用画像処理プログラム
JP2016152992A (ja) * 2016-04-22 2016-08-25 国立研究開発法人量子科学技術研究開発機構 放射線治療における患者自動位置決め装置及び方法並びに患者自動位置決め用プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YU, L. ET AL.: "Integrating Online and Offline Three-Dimensional Deep Learning for Automated Polyp Detection in Colonoscopy Videos", IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATIC, vol. 21, no. 1, January 2017 (2017-01-01), pages 65 - 75, XP011640074 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021037164A (ja) * 2019-09-04 2021-03-11 株式会社島津製作所 画像解析方法、画像処理装置、骨密度測定装置および学習モデルの作成方法
JP7226199B2 (ja) 2019-09-04 2023-02-21 株式会社島津製作所 画像解析方法、画像処理装置および骨密度測定装置
JP2021041090A (ja) * 2019-09-13 2021-03-18 株式会社島津製作所 医用画像処理装置、ｘ線画像処理システム、および、学習モデルの生成方法
JP7226207B2 (ja) 2019-09-13 2023-02-21 株式会社島津製作所 医用画像処理装置、ｘ線画像処理システム、および、学習モデルの生成方法
JP2021058480A (ja) * 2019-10-08 2021-04-15 国立大学法人 筑波大学 標的外形推定装置および治療装置
JP7292721B2 (ja) 2019-10-08 2023-06-19 国立大学法人 筑波大学 標的外形推定装置および治療装置
CN113066099A (zh) * 2019-12-13 2021-07-02 视云融聚（广州）科技有限公司 一种基于球形坐标系的摄像机标签轨迹跟随方法
CN113066099B (zh) * 2019-12-13 2023-12-19 视云融聚（广州）科技有限公司 一种基于球形坐标系的摄像机标签轨迹跟随方法
JP2021197149A (ja) * 2020-06-12 2021-12-27 ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド 画像強調モデルのトレーニング方法、装置及び記憶媒体
JP7100729B2 (ja) 2020-06-12 2022-07-13 ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド 画像強調モデルのトレーニング方法、装置及び記憶媒体
US11475243B2 (en) 2020-06-12 2022-10-18 Beijing Xiaomi Pinecone Electronics Co., Ltd. Training method and device for an image enhancement model, and storage medium

Also Published As

Publication number Publication date
JP7099459B2 (ja) 2022-07-12
JPWO2019003474A1 (ja) 2020-04-30
US11224763B2 (en) 2022-01-18
WO2019003434A1 (ja) 2019-01-03
US20200155870A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
JP7099459B2 (ja) 放射線治療用追跡装置、位置検出装置および動体追跡方法
JP7125700B2 (ja) Ｘ線透視装置およびｘ線透視方法
JP6181459B2 (ja) 放射線治療システム
JP6964309B2 (ja) 放射線治療用追跡装置
JP6785485B2 (ja) Ｘ線透視装置
US20170231586A1 (en) Medical image processing apparatus and method, and radiotherapeutic apparatus
EP3766541B1 (en) Medical image processing device, treatment system, and medical image processing program
JP7092190B2 (ja) 画像解析方法、セグメンテーション方法、骨密度測定方法、学習モデル作成方法および画像作成装置
JP2012254243A (ja) 画像照合装置、患者位置決め装置及び画像照合方法
JP5010740B2 (ja) 放射線治療装置制御方法および放射線治療装置制御装置
US20220054862A1 (en) Medical image processing device, storage medium, medical device, and treatment system
JP2018153277A (ja) Ｘ線透視装置
JP7334590B2 (ja) Ｘ線透視方法およびｘ線透視装置
JP7444387B2 (ja) 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム
JP7093075B2 (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
JP2021041090A (ja) 医用画像処理装置、ｘ線画像処理システム、および、学習モデルの生成方法
WO2022022723A1 (zh) 一种医学操作的相关参数的确定方法以及系统
JP6792840B2 (ja) Ｘ線透視装置及びｘ線透視方法
WO2022190846A1 (ja) 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、および放射線治療装置
JP7279336B2 (ja) Ｘ線撮影装置
JP2019170884A (ja) Ｘ線透視装置
JP2018079011A (ja) Ｘ線透視方法およびｘ線透視装置
JP2019170794A (ja) Ｘ線透視装置およびｘ線透視方法
JP2019162366A (ja) Ｘ線撮影装置
JP2020000511A (ja) Ｘ線透視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17915681

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019526128

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17915681

Country of ref document: EP

Kind code of ref document: A1