WO2021182103A1 - 学習済モデル生成プログラム、画像生成プログラム、学習済モデル生成装置、画像生成装置、学習済モデル生成方法及び画像生成方法 - Google Patents

学習済モデル生成プログラム、画像生成プログラム、学習済モデル生成装置、画像生成装置、学習済モデル生成方法及び画像生成方法 Download PDF

Info

Publication number
WO2021182103A1
WO2021182103A1 PCT/JP2021/006833 JP2021006833W WO2021182103A1 WO 2021182103 A1 WO2021182103 A1 WO 2021182103A1 JP 2021006833 W JP2021006833 W JP 2021006833W WO 2021182103 A1 WO2021182103 A1 WO 2021182103A1
Authority
WO
WIPO (PCT)
Prior art keywords
trained model
input image
machine learning
reconstruction method
image
Prior art date
Application number
PCT/JP2021/006833
Other languages
English (en)
French (fr)
Inventor
博幸 工藤
和希 森
Original Assignee
国立大学法人筑波大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人筑波大学 filed Critical 国立大学法人筑波大学
Priority to US17/909,998 priority Critical patent/US12367620B2/en
Priority to CN202180019695.6A priority patent/CN115243618A/zh
Priority to EP21767498.5A priority patent/EP4119059A4/en
Priority to JP2022505900A priority patent/JP7527675B2/ja
Publication of WO2021182103A1 publication Critical patent/WO2021182103A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/436—Limited angle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Definitions

  • the present invention relates to a trained model generation program, an image generation program, a trained model generation device, an image generation device, a trained model generation method, and an image generation method.
  • sparse view CT Computer Tomography
  • X-ray CT equipment is used to perform low-dose CT.
  • Reconstruction methods that use compressed sensing are used as the main reconstruction method that produces high quality reconstructed images when these scans are performed.
  • This reconstruction method generates a reconstructed image using a model in which the density change of the reconstructed image is piecewise uniform.
  • a reconstruction method called total variation is frequently used in medical X-ray CT apparatus.
  • This medical imaging device includes an image reconstruction unit that reconstructs an image by performing repeated optimization calculations of compressed sensing, and a basis selection unit that selects a basis conversion used for optimization for each iteration.
  • the basis selection unit selects the basis according to a predetermined order of the basis. Alternatively, the basis selection unit selects the basis using a weighting coefficient set in advance for the basis.
  • the present invention has been made in view of the above circumstances, and is a trained model generation program and an image generation program capable of alleviating image quality deterioration appearing in a reconstructed image generated by a reconstruction method using compression sensing.
  • a trained model generator, an image generator, a trained model generator, and an image generator are used to generate images.
  • One aspect of the present invention is a reconstruction method different from the first input image data showing the first input image generated by the first reconstruction method using compression sensing and the first reconstruction method on a computer.
  • the second input image data indicating the second input image generated by the second reconstruction method which is an analytical reconstruction method, is input to the machine learning device to execute machine learning, and the machine learning device is used to train the model.
  • a trained model generation program that realizes a training execution function for generating a trained model and a trained model acquisition function for acquiring trained model data indicating the trained model.
  • One aspect of the present invention is the trained model generation program described above, wherein the smoothing parameter of the first reconstruction method that minimizes the mean square error represented by the following equation (1), the trained The machine learning device may generate the trained model by searching for the weights used in the convolutional neural network used as a model and the bias used in the convolutional neural network.
  • w Vector in which the weights used in the convolutional neural network are arranged in a row
  • b Vector in which the bias used in the convolutional neural network is arranged in a row
  • ⁇ Smoothing parameter of the first reconstruction method
  • x i Each of the output images vector y by arranging values indicative of the concentration being represented by pixels in a row i: each of the first input image: the second vector z i by arranging in a line a value indicative of the concentration that is represented by each pixel of the input image A vector in which the values indicating the density represented by the pixels are arranged in a row.
  • One aspect of the present invention is the trained model generation program described above, wherein the learning execution function is generated by the first reconstruction method using the compression sensing in which the first smoothing parameter is set.
  • the first input image data indicating the first input image may be input to at least the machine learning device to execute machine learning, and the machine learning device may generate the trained model.
  • One aspect of the present invention is the above-mentioned trained model generation program, in which the learning execution function is generated by a third reconstruction method different from the first reconstruction method in addition to the first input image data.
  • the output image data indicating the output image may be input to the machine learning device to execute machine learning, and the trained model may be generated.
  • One aspect of the present invention is an image generation in which input image data indicating an input image is input to the trained model generated by any one of the trained model generation programs described above in a computer to generate a reconstructed image.
  • An image generation program that realizes the function.
  • One aspect of the present invention is the first input image data showing the first input image generated by the first reconstruction method using compression sensing and the reconstruction method different from the first reconstruction method, which is analytical.
  • the second input image data indicating the second input image generated by the second reconstruction method, which is a reconstruction method is input to the machine learning device to execute machine learning, and the machine learning device is made to generate a trained model.
  • One aspect of the present invention is an image generation device including an image generation unit that inputs input image data indicating an input image to the trained model generated by the trained model generation device described above to generate a reconstructed image. ..
  • One aspect of the present invention is the first input image data showing the first input image generated by the first reconstruction method using compression sensing and the reconstruction method different from the first reconstruction method, which is analytical.
  • the second input image data indicating the second input image generated by the second reconstruction method, which is a reconstruction method is input to the machine learning device to execute machine learning, and the machine learning device is made to generate a trained model.
  • It is a trained model generation method including a trained execution step and a trained model acquisition step for acquiring trained model data indicating the trained model.
  • One aspect of the present invention is an image generation method including an image generation step of inputting input image data indicating an input image into the trained model generated by the trained model generation method described above to generate a reconstructed image. ..
  • FIG. 1 is a diagram showing an example of an image generation system according to an embodiment.
  • the image generation system 1 includes an X-ray CT device 10, a storage device 20, a trained model generation device 30, an image generation device 40, and a machine learning device 50.
  • the X-ray CT device 10, the storage device 20, the trained model generation device 30, the image generation device 40, and the machine learning device 50 are all connected to the network NW.
  • the network NW is, for example, the Internet, an intranet, a WAN (Wide Area Network), and a LAN (Local Area Network).
  • FIG. 2 is a diagram showing an example of an X-ray CT apparatus according to an embodiment.
  • the X-ray CT apparatus 10 includes a top plate 111, a top plate drive unit 112, an X-ray tube 121, an X-ray high voltage unit 122, an X-ray detector 123, and a scan execution unit. It includes 124 and a CT image generation unit 130.
  • the top plate 111 is a plate-shaped member on which a subject is placed.
  • the top plate driving unit 112 moves the top plate 111 with respect to the X-ray tube 121 and the X-ray detector 123.
  • the X-ray tube 121 generates X-rays that irradiate the subject.
  • the X-ray high voltage unit 122 applies a high voltage to the X-ray tube 121.
  • the X-ray detector 123 includes a detection element that detects X-rays emitted by the X-ray tube 121.
  • the scan execution unit 124 scans the subject by controlling the top plate drive unit 112, the X-ray tube 121, the X-ray high voltage unit 122, and the X-ray detector 123, and acquires a plurality of projection data.
  • the X-ray tube 121 and the X-ray detector 123 orbit around the subject in a state of facing each other when scanning the subject is performed. Further, the position of the X-ray tube 121 when each of the plurality of projection data is acquired is called a view.
  • the CT image generation unit 130 generates a CT image by reconstructing a plurality of projection data generated by scanning the subject, and stores the CT image data indicating the CT image in the storage device 20.
  • the X-ray CT apparatus 10 not only performs normal CT imaging, but also performs sparse view CT imaging that scans the subject by reducing the number of projection directions, and scans the subject in a state where the current flowing through the X-ray tube is suppressed. Low-dose CT imaging is also feasible.
  • the trained model generation device 30 and the image generation device 40 shown in FIG. 1 are both computers including, for example, a storage medium and a hardware processor.
  • the storage medium is, for example, a hard disk drive (HDD: Hard Disk Drive), a solid state drive (SSD: Solid State Drive), a flash memory (Flash Memory), or a ROM (Read Only Memory).
  • the storage medium included in the trained model generation device 30 stores the trained model generation program 300 shown in FIG.
  • the storage medium included in the image generation device 40 stores the image generation program 400 shown in FIG.
  • the hardware processor is, for example, a CPU (Central Processing Unit).
  • the hardware processor included in the trained model generation device 30 reads and executes the trained model generation program 300 to realize the learning execution function 310 and the trained model acquisition function 320 shown in FIG. Further, the hardware processor included in the image generation device 40 stores the image generation function 410 shown in FIG. 1 by reading and executing the image generation program 400.
  • the trained model generation program 300 and the image generation program 400 execute the first process, the second process, or the third process described below.
  • the learning execution function 310 inputs a set of the first input image data and the output image data to the machine learning device 50 to execute machine learning, and causes the machine learning device 50 to generate a trained model.
  • the first input image data is data showing the first input image generated by the first reconstruction method using compressed sensing.
  • the output image data corresponds to the first input image, has less deterioration in image quality than the first input image, and is data indicating an output image which is a correct answer of machine learning executed by the machine learning device 50.
  • the output image is generated by a third reconstruction method different from the first reconstruction method.
  • the conditions for generating the output image are the conditions of the normal dose and the number of projection directions.
  • the plurality of first input images and the plurality of output images may all be associated with each other on a one-to-one basis, all may be associated with each other on a many-to-one basis, or some of them may be associated with each other. Only may be associated one-to-one, only some may be associated many-to-one, or may not be associated. Further, the number of first input images and the number of output images may or may not match.
  • the compressed sensing used in the first reconstruction method is, for example, a total variation.
  • the process of generating the first input image using the total variation can obtain the value represented by the following equation (2) including the vector p, the matrix A, the vector z, and the smoothing parameter ⁇ of the first reconstruction method. This is a process of searching for a vector z to be made as small as possible.
  • the vector p is a vector in which values indicating the intensity of X-rays represented by each pixel of the projection data acquired in each view are arranged in a row.
  • the matrix A is a matrix representing the length through which X-rays pass through each minute region included in the region where each element is scanned.
  • the vector z is a vector in which values indicating the densities represented by each pixel of the first input image are arranged in a row.
  • the smoothing parameter ⁇ of the first reconstruction method is a parameter indicating the intensity for smoothing the first input image.
  • TV is the total variation norm of the vector z.
  • the first input image is a CT image generated by first reconstructing the projection data generated by the X-ray CT apparatus 10 performing normal CT imaging, sparse view CT imaging, or low-dose CT imaging. ..
  • the first input image is a CT image generated by first reconstructing the projection data generated by another X-ray CT apparatus.
  • the machine learning device 50 generates, for example, a trained model using a convolutional neural network (CNN).
  • FIG. 3 is a diagram showing an example of machine learning executed by the machine learning device according to the embodiment. As shown in FIG. 3, the machine learning unit 50 performs a machine learning receives an input vector x i about vectors z i and the output image data for the first input image data. The process of executing this machine learning and generating the trained model is the number of samples N, vector w, vector b, and the first set of the first input image used for machine learning and the output image corresponding to the first input image.
  • N the number of samples N, vector w, vector b, and the first set of the first input image used for machine learning and the output image corresponding to the first input image.
  • Vector w, vector b which minimizes the mean square error (MSE: Mean Square Error) expressed by the following equation (3) including the smoothing parameters ⁇ , vector x i, and vector z i of the reconstruction method.
  • MSE Mean Square Error
  • the vector w is a vector in which the weights used in the above-mentioned convolutional neural network are arranged in a row.
  • the vector b is a vector in which the biases used in the above-mentioned convolutional neural network are arranged in a row.
  • the vector x i is a vector in which values indicating the density represented by each pixel of the output image are arranged in a row.
  • Vector z i is a vector obtained by arranging a value indicative of the concentration being represented by each pixel of the first input image in a line.
  • the smoothing parameter ⁇ of the first reconstruction method is the same as that described above.
  • "CNN" included in the equation (3) represents a convolutional neural network.
  • the trained model acquisition function 320 acquires trained model data indicating the trained model. Then, the trained model acquisition function 320 stores the trained model data in the storage device 20.
  • the image generation function 410 inputs input image data to the trained model indicated by the trained model data stored in the storage device 20 to generate a reconstructed image.
  • the input image data is data indicating an input image.
  • the input image is an image generated by the same compressed sensing as the first input image used for the above-mentioned learning.
  • the process of generating the reconstructed image by the image generation function 410 is represented by the following equation (4) including the vector x, the vector w, the vector b, the vector z, and the smoothing parameter ⁇ of the first reconstruction method.
  • the vector w, the vector b, the vector z, and the smoothing parameter ⁇ of the first reconstruction method are all the same as those described above.
  • "CNN" included in the equation (4) represents a convolutional neural network.
  • the vector w, the vector b, and the smoothing parameter ⁇ of the first reconstruction method are automatically determined in the process of learning to generate the trained model.
  • the learning execution function 310 inputs a set of the first input image data, the second input image data, and the output image data to the machine learning device 50 to execute machine learning, and causes the machine learning device 50 to generate a trained model.
  • the first input image data and the output image data are the same as in the case of the first process described above.
  • the plurality of first input images, the plurality of second input images, and the plurality of output images may all be associated with each other on a one-to-one basis, or all may be associated with each other on a many-to-one basis. It may be possible that only a part of the image is associated with one-to-one, only a part of the image may be associated with each other in a many-to-one manner, or the image may not be associated with each other. Further, the number of the first input images, the number of the second input images, and the number of the output images may or may not match each other.
  • the plurality of first input images and the plurality of second input images may all be associated with each other on a one-to-one basis, or all may be associated with each other on a many-to-one basis. However, only a part may be associated one-to-one, only a part may be associated many-to-one, or may not be associated. Further, the number of the first input images and the number of the second input images may or may not match each other. Furthermore, these also apply to the relationship between the first input image and the output image and the relationship between the second input image and the output image.
  • the second input image data is data indicating the second input image generated by the second reconstruction method, which is an analytical reconstruction method.
  • the second reconstruction method is, for example, a filter-corrected back-projection method (FBP).
  • the second input image is a CT image generated by the X-ray CT apparatus 10 performing normal CT imaging, sparse view CT imaging, or low-dose CT imaging and secondly reconstructing the projection data generated. ..
  • the second input image is a CT image generated by secondly reconstructing the projection data generated by another X-ray CT apparatus.
  • the machine learning device 50 generates, for example, a trained model that uses a convolutional neural network.
  • FIG. 4 is a diagram showing an example of machine learning executed by the machine learning device according to the embodiment. As shown in FIG. 4, the machine learning device 50 receives the inputs of the vector z i related to the first input image data, the vector y i related to the second input image data, and the vector x i related to the output image data, and executes machine learning. ..
  • the process of executing this machine learning and generating the trained model is the number of samples N of the set of the first input image, the second input image, and the output image, the vector w, the vector b, and the smoothing parameter of the first reconstruction method.
  • the vector w, the vector b, and the smoothing parameter ⁇ of the first reconstruction method that minimize the mean square error represented by the following equation (5) including ⁇ , the vector x i , the vector y i, and the vector z i are set. It is a process to search.
  • the vector y i is a vector in which values indicating the densities represented by each pixel of the second input image are arranged in a row.
  • the vector w, the vector b, the smoothing parameter of the first reconstruction method beta, the vector x i and the vector z i is the same as in the first process.
  • the trained model acquisition function 320 acquires trained model data indicating the trained model. Then, the trained model acquisition function 320 stores the trained model data in the storage device 20.
  • the image generation function 410 inputs input image data to the trained model indicated by the trained model data stored in the storage device 20 to generate a reconstructed image.
  • the input image data is data indicating an input image.
  • the input image is, for example, an image generated by the same compressed sensing as the first input image described above or the same analytical reconstruction method as the second input image described above.
  • the process of generating the reconstructed image by the image generation function 410 is represented by the following equation (6) including the vector x, the vector w, the vector b, the vector y, the vector z, and the smoothing parameter ⁇ of the first reconstruction method.
  • NS The vector y is a vector in which values indicating the densities represented by each pixel of the second input image are arranged in a row.
  • the vector x, the vector w, the vector b, the vector z, and the smoothing parameter ⁇ of the first reconstruction method are the same as in the case of the first processing.
  • "CNN" included in the equation (6) represents a convolutional neural network.
  • the learning execution function 310 inputs a set of at least two types of first input image data and output image data generated by the first reconstruction method in which different smoothing parameters are set to the machine learning device 50 for machine learning. Is executed, and the machine learning device 50 is made to generate a trained model.
  • the first type of first input image data is the first input image data indicating the first input image generated by the first reconstruction method using compressed sensing in which the first smoothing parameter is set.
  • the second type of first input image data shows the first input image generated by the first reconstruction method using compression sensing with the second smoothing parameter set to a different value from the first smoothing parameter. This is the first input image data.
  • the third type of first input image data to M ( A set including the first input image data of the type (M: three or more natural numbers) may be input to the machine learning device 50 to execute machine learning, and the machine learning device 50 may generate a trained model.
  • the learning execution function 310 inputs a set including three or more types of first input image data to the machine learning device 50 to execute machine learning, and causes the machine learning device 50 to generate a trained model. ..
  • the first input image data of the Mth kind shows the first input image generated by the first reconstruction method using compression sensing in which the Mth smoothing parameter whose value is different from that of other smoothing parameters is set. This is the first input image data.
  • the learning execution function 310 inputs a set of a plurality of first input images and output images generated by the first reconstruction method using compression sensing having different smoothing parameters to the machine learning device 50 for machine learning. Is executed, and the machine learning device 50 is made to generate a trained model.
  • the first input image group including the plurality of types of the first input images and the plurality of output images may all be associated with each other on a one-to-one basis, or all may be associated with each other on a many-to-one basis. It may be associated, only a part may be associated one-to-one, only a part may be associated many-to-one, or it may not be associated. .. Further, the number of the first input image group and the number of output images may or may not match.
  • the machine learning device 50 generates, for example, a trained model that uses a convolutional neural network.
  • FIG. 5 is a diagram showing an example of machine learning executed by the machine learning device according to the embodiment. As shown in FIG. 5, the machine learning unit 50, the vector z i (1) for a plurality of first input image data, respectively, the vector z i (2), ..., and vector for the output image data vector z i (M) It accepts the input of xi and executes machine learning.
  • the process of executing this machine learning and generating the trained model is the number of samples N of the set of the first input image and the corresponding output image used for training, the vector w, the vector b, the vector x i , and the vector z i ( Vector w and vector that minimizes the mean square error represented by the following equation (7) including 1), vector z i (2), ... And vector z i (M) (M: natural number of 2 or more).
  • This is a process for searching for b.
  • the vector z i (1), the vector z i (2), ..., And the vector z i (M) are all vectors in which values indicating the densities represented by each pixel of the first input image are arranged in a row. ..
  • the vector w, the vector b, and the vector x i are the same as in the case of the first processing.
  • the trained model acquisition function 320 acquires trained model data indicating the trained model. Then, the trained model acquisition function 320 stores the trained model data in the storage device 20.
  • the image generation function 410 inputs input image data to the trained model indicated by the trained model data stored in the storage device 20 to generate a reconstructed image.
  • the input image data M'(M': two or more natural number) vector z i (1) that indicates the number of the input image, vector z i (2), a ... and the vector z i (M').
  • the input image is an image generated by the same method as the above-mentioned plurality of types of first input images, that is, compressed sensing in which different smoothing parameters are set. Note that M'may be equal to or different from M described above.
  • the process of generating the reconstructed image by the image generation function 410 includes the following equation (8) including the vector x, the vector w, the vector b, the vector z (1), the vector z (2), ..., And the vector z (M).
  • the vector z (1), the vector z (2), ..., And the vector z (M) are all vectors in which values indicating the densities represented by each pixel of the first input image are arranged in a row.
  • the vector x, the vector w, and the vector b are the same as in the case of the first processing.
  • "CNN" included in the equation (8) represents a convolutional neural network.
  • FIG. 6 is a flowchart showing an example of processing executed by the trained model generation program according to the embodiment.
  • step S10 the learning execution function 310 inputs at least the first input image data to the machine learning device 50 to execute machine learning, and causes the machine learning device 50 to generate a trained model.
  • step S20 the trained model acquisition function 320 acquires trained model data indicating the trained model generated in step S10.
  • the trained model generation program 300 and the image generation program 400 according to the embodiment have been described above.
  • the trained model generation program 300 inputs the first input image data indicating the first input image generated by the first reconstruction method using compression sensing to the machine learning device 50 to execute machine learning, and machine learning is performed. Let the device 50 generate a trained model. Then, the trained model generation program 300 acquires the trained model data indicating the trained model.
  • the trained model generation program 300 can generate a reconstructed image in which stepped artifacts appearing in the first input image due to compressed sensing, disappearance of smooth density change, disappearance of texture, etc. are alleviated. A finished model can be generated. Further, even if the suitable value of the smoothing parameter ⁇ of the first reconstruction method is unknown, the trained model generation program 300 simply inputs the first input image data to the machine learning device 50 to obtain the effect. Can be played.
  • the second input image generated by the second reconstruction method which is a reconstruction method different from the first reconstruction method and is an analytical reconstruction method.
  • the second input image data indicating the above is input to the machine learning device 50 to execute machine learning, and the machine learning device 50 is made to generate a trained model.
  • the analytical reconstruction method has an advantage that a reconstruction image that reproduces a smooth density change with relatively high accuracy can be generated.
  • the trained model generation program 300 generates a trained model that can compensate for the stepped artifacts appearing in the first input image due to compressed sensing, the disappearance of smooth density change, the disappearance of texture, and the like. be able to. Further, the trained model generation program 300 transfers the first input image data and the second input image data to the machine learning device 50 even when the suitable value of the smoothing parameter ⁇ of the first reconstruction method is unknown. The effect can be achieved just by inputting.
  • the trained model generation program 300 is used in the smoothing parameter ⁇ of the first reconstruction method that minimizes the mean square error represented by the above equation (5), and the convolutional neural network used as the trained model.
  • the machine learning device 50 is made to generate a trained model by searching for the weight w and the bias b used in the convolutional neural network.
  • the trained model generation program 300 searches for a suitable value of the smoothing parameter ⁇ of the first reconstruction method in the learning process and generates a trained model. It is possible to save the labor of the person who intends to generate the smoothing parameter ⁇ of the first reconstruction method by trial and error. Further, this effect is particularly effective because it is often difficult to empirically determine a suitable value of the smoothing parameter ⁇ of the first reconstruction method.
  • the trained model generation program 300 inputs at least two types of first input image data generated by the first reconstruction method in which different smoothing parameters are set to the machine learning device 50 to execute machine learning. Let the machine learning device 50 generate a trained model.
  • the trained model generation program 300 incorporates the features of a plurality of reconstructed images having different smoothing intensities, so that the stepped artifacts appearing in the first input image due to compressed sensing and the smooth density change It is possible to generate a trained model that can generate a reconstructed image in which the disappearance of the texture and the disappearance of the texture are alleviated. Further, the trained model generation program 300 inputs at least two types of first input image data to the machine learning device 50 even when a suitable value of the smoothing parameter ⁇ of the first reconstruction method is unknown. The effect can be achieved only by itself.
  • the trained model generation program 300 inputs the output image data indicating the output image generated under the conditions of the normal dose and the number of projection directions to the machine learning device 50 in addition to the first input image data to execute machine learning. , Let the machine learning device 50 generate a trained model.
  • the trained model generation program 300 can cause the machine learning device 50 to execute supervised learning, and cause the machine learning device 50 to generate a trained model with higher accuracy.
  • the image generation program 400 inputs input image data indicating an input image into the trained model generated by the trained model generation program 300 to generate a reconstructed image.
  • the image generation program 400 can alleviate the deterioration in image quality that appears in the reconstructed image generated by the reconstructed method using compressed sensing.
  • FIG. 7 is a diagram showing an example of a reconstructed image generated by reconstructing the projection data acquired by the scan in which the normal dose and the number of projection data directions are set. The closer the reconstructed image is to the reconstructed image P7 shown in FIG. 7, the less the image quality deterioration due to compressed sensing is.
  • FIG. 8 is a diagram showing an example of a reconstructed image generated by reconstructing the projection data acquired by the sparse view CT by the reconstruction method using the total variation.
  • the reconstructed image P8 shown in FIG. 8 is generated from projection data in 64 directions acquired by sparse view CT imaging. Further, as shown in the lower left of FIG. 8, the reconstructed image P8 has a mean square error of 82.19 and an image evaluation index (SSIM: Structural similarity) of 0.89.
  • SSIM Structural similarity
  • the mean square error is the function g (i, j) representing the reconstructed image P7 of the normal dose and the number of projection directions, the function f (i, j) representing the target reconstructed image, and these two. It is calculated by the following equation (9) including the total number of pixels L of each of the reconstructed images.
  • the index i and the index j are indexes indicating the positions of the pixels of each of these two reconstructed images.
  • the image evaluation index is calculated by the following formula (10), and the closer the reconstructed image is to the reconstructed image P7, the larger the value.
  • equation (10) are as follows: “Z. Wang, A. C. Bovik, H. R. Sheikh and E. P. Simoncelli,” Image quality assessment: From error visibility to structural similarity, "IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600-612, Apr. 2004. ”.
  • the reconstructed image P8 shown in FIG. 8 depicts a structure having a relatively low contrast such as a blood vessel in white as much as the reconstructed image P7 shown in FIG. However, since the reconstructed image P8 is smoothed by the total variation, the smooth density change and the fine texture depicted in the reconstructed image P7 disappear over the whole.
  • FIG. 9 is a diagram showing an example of a reconstructed image generated by using a conventional trained model.
  • the conventional trained model referred to here is a machine learning device that uses a neural network by convolving only the reconstructed image generated by the filter-corrected back projection method and the output image generated under the conditions of normal dose and number of projection directions. It is a trained model generated by inputting and training the machine learning device.
  • the reconstructed image P9 shown in FIG. 9 is generated from projection data in 64 directions acquired by sparse view CT imaging. Further, as shown in the lower left of FIG. 9, the reconstructed image P9 has a mean square error of 79.06 and an image evaluation index of 0.88.
  • the reconstructed image P9 shown in FIG. 9 reproduces the smooth density change and the fine texture depicted in the reconstructed image P7 shown in FIG. 7 over a certain level.
  • the reconstructed image P9 cannot depict a part of the structure having a relatively low contrast, which is depicted in white on the reconstructed image P7.
  • FIG. 10 is a diagram showing an example of a reconstructed image generated by using the trained model generated by inputting the first input image data and the second input image data according to the embodiment into the machine learning device.
  • the reconstructed image P10 shown in FIG. 10 is generated from projection data in 64 directions acquired by sparse view CT imaging. Further, as shown in the lower left of FIG. 10, the reconstructed image P10 has a mean square error of 34.96 and an image evaluation index of 0.91.
  • the reconstructed image P10 shown in FIG. 10 reproduces the smooth density change and fine texture depicted in the reconstructed image P7 shown in FIG. 7 with high accuracy throughout. Further, the reconstructed image P10 depicts a structure having a relatively low contrast in white as much as the reconstructed image P7 shown in FIG.
  • the reconstructed image P10 is the reconstructed image closest to the reconstructed image shown in FIG. 7 among the reconstructed images shown in FIGS. 8 to 11.
  • FIG. 11 is a diagram showing an example of a reconstructed image generated by using the trained model generated by inputting the first input image data according to the embodiment into the machine learning device.
  • the reconstructed image P11 shown in FIG. 11 is generated from projection data in 64 directions acquired by sparse view CT imaging. Further, as shown in the lower left of FIG. 11, the reconstructed image P11 has a mean square error of 37.15 and an image evaluation index of 0.91.
  • the reconstructed image P11 shown in FIG. 11 reproduces the smooth density change and the fine texture depicted in the reconstructed image P7 shown in FIG. 7 over a certain level. Further, the reconstructed image P11 depicts a structure having a relatively low contrast in white as much as the reconstructed image P7 shown in FIG. However, since the reconstructed image P11 does not incorporate the advantage of the analytical reconstructed method that it can generate a reconstructed image that reproduces a smooth density change with relatively high accuracy, the reconstruction shown in FIG. 8 is somewhat performed. It is smoothed as in the constituent image P8, and the smooth density change and fine texture depicted in the reconstructed image P7 disappear as a whole as compared with the reconstructed image P10. The reconstructed image P11 is a reconstructed image that is the second closest to the reconstructed image shown in FIG. 7 among the reconstructed images shown in FIGS. 8 to 11.
  • FIG. 12 is a diagram showing an example of a reconstructed image generated by reconstructing the projection data acquired by the scan in which the normal dose and the number of projection data directions are set. The closer the reconstructed image is to the reconstructed image P12 shown in FIG. 12, the less the deterioration of the image quality is.
  • FIG. 13 is a diagram showing an example of a reconstructed image generated by reconstructing the projection data acquired by the sparse view CT by the reconstruction method using the total variation.
  • the reconstructed image P13 shown in FIG. 13 is generated from projection data in 64 directions acquired by sparse view CT imaging. Further, as shown in the lower left of FIG. 13, the reconstructed image P13 has a mean square error of 98.56 and an image evaluation index of 0.86.
  • the reconstructed image P13 shown in FIG. 13 depicts a structure having a relatively low contrast such as a blood vessel in light gray as much as the reconstructed image P12 shown in FIG.
  • the smooth density change and the fine texture depicted in the reconstructed image P12 disappear over the whole.
  • FIG. 14 is a diagram showing an example of a reconstructed image generated by using the conventional trained model.
  • the reconstructed image P14 shown in FIG. 14 is generated from projection data in 64 directions acquired by sparse view CT imaging. Further, as shown in the lower left of FIG. 14, the reconstructed image P14 has a mean square error of 76.25 and an image evaluation index of 0.84.
  • the reconstructed image P14 shown in FIG. 14 reproduces the smooth density change and the fine texture depicted in the reconstructed image P12 shown in FIG. 12 over a certain level.
  • the reconstructed image P14 cannot depict a part of the structure having a relatively low contrast, which is depicted in the reconstructed image P12 in light gray.
  • FIG. 15 is a diagram showing an example of a reconstructed image generated by using the trained model generated by inputting the first input image data and the second input image data according to the embodiment into the machine learning device.
  • the reconstructed image P15 shown in FIG. 15 is generated from projection data in 64 directions acquired by sparse view CT imaging. Further, as shown in the lower left of FIG. 15, the reconstructed image P15 has a mean square error of 43.55 and an image evaluation index of 0.88.
  • the reconstructed image P15 shown in FIG. 15 reproduces the smooth density change and fine texture depicted in the reconstructed image P12 shown in FIG. 12 with high accuracy throughout. Further, the reconstructed image P15 depicts a structure having a relatively low contrast in light gray as much as the reconstructed image P12 shown in FIG.
  • the reconstructed image P15 is the reconstructed image closest to the reconstructed image shown in FIG. 12 among the reconstructed images shown in FIGS. 13 to 16.
  • FIG. 16 is a diagram showing an example of a reconstructed image generated by using the trained model generated by inputting the first input image data according to the embodiment into the machine learning device.
  • the reconstructed image P16 shown in FIG. 16 is generated from projection data in 64 directions acquired by sparse view CT imaging. Further, as shown in the lower left of FIG. 16, the reconstructed image P16 has a mean square error of 59.01 and an image evaluation index of 0.87.
  • the reconstructed image P16 shown in FIG. 16 reproduces the smooth density change and the fine texture depicted in the reconstructed image P12 shown in FIG. 12 over a certain level. Further, the reconstructed image P16 depicts a structure having a relatively low contrast in light gray as much as the reconstructed image P12 shown in FIG. However, since the reconstructed image P16 does not incorporate the advantage of the analytical reconstructed method that it can generate a reconstructed image that reproduces a smooth density change with relatively high accuracy, the reconstruction shown in FIG. 13 is somewhat performed. It is smoothed as in the constituent image P13, and the smooth density change and fine texture depicted in the reconstructed image P12 disappear over the entire surface as compared with the reconstructed image P15.
  • the reconstructed image P16 is a reconstructed image that is the second closest to the reconstructed image shown in FIG. 12 among the reconstructed images shown in FIGS. 13 to 16.
  • FIG. 17 is a diagram showing an example of a reconstructed image generated by reconstructing the projection data acquired by the scan in which the normal dose and the number of projection data directions are set. The closer the reconstructed image is to the reconstructed image P17 shown in FIG. 17, the less the deterioration of the image quality is.
  • FIG. 18 is a diagram showing an example of a reconstructed image generated by reconstructing the projection data acquired by the sparse view CT by the reconstruction method using the total variation.
  • the reconstructed image P18 shown in FIG. 18 is generated from projection data in 64 directions acquired by sparse view CT imaging. Further, as shown in the lower left of FIG. 18, the reconstructed image P18 has an image evaluation index of 0.586. This image evaluation index is generated for 100 cases using the trained model generated by the machine learning device 50, and is an average of the image evaluation indexes of the reconstructed image that mainly depicts the liver. be. The same applies to the image evaluation indexes shown in the lower left of FIGS. 19 to 21.
  • the reconstructed image P18 shown in FIG. 18 depicts a structure having a relatively low contrast such as a blood vessel in light gray as much as the reconstructed image P12 shown in FIG. However, since the reconstructed image P18 is smoothed by the total variation, the smooth density change and the fine texture depicted in the reconstructed image P17 disappear over the whole.
  • FIG. 19 is a diagram showing an example of a reconstructed image generated by using a conventional trained model.
  • the reconstructed image P19 shown in FIG. 19 is generated from projection data in 64 directions acquired by sparse view CT imaging. Further, as shown in the lower left of FIG. 19, the reconstructed image P19 has an image evaluation index of 0.823.
  • the reconstructed image P19 shown in FIG. 19 reproduces the smooth density change and the fine texture depicted in the reconstructed image P17 shown in FIG. 17 over a certain level.
  • the reconstructed image P19 cannot depict a part of the structure having a relatively low contrast, which is depicted in the reconstructed image P17 in light gray.
  • FIG. 20 is a diagram showing an example of a reconstructed image generated by using the trained model generated by inputting the first input image data and the second input image data according to the embodiment into the machine learning device.
  • the reconstructed image P20 shown in FIG. 20 is generated from projection data in 64 directions acquired by sparse view CT imaging. Further, as shown in the lower left of FIG. 20, the reconstructed image P20 has an image evaluation index of 0.902.
  • the reconstructed image P20 shown in FIG. 20 reproduces the smooth density change and fine texture depicted in the reconstructed image P17 shown in FIG. 17 with high accuracy throughout. Further, the reconstructed image P20 depicts a structure having a relatively low contrast in light gray as much as the reconstructed image P17 shown in FIG.
  • the reconstructed image P20 is the reconstructed image second closest to the reconstructed image P17 shown in FIG. 17 among the reconstructed images shown in FIGS. 18 to 21.
  • FIG. 21 shows a re-generated by using a trained model generated by inputting a plurality of first input image data according to the embodiment into the machine learning device and inputting the second input image data into the machine learning device. It is a figure which shows an example of the composition image.
  • the reconstructed image P21 shown in FIG. 21 is generated from projection data in 64 directions acquired by sparse view CT imaging. Further, as shown in the lower left of FIG. 21, the reconstructed image P21 has an image evaluation index of 0.910.
  • the reconstructed image P21 shown in FIG. 21 reproduces the smooth density change and fine texture depicted in the reconstructed image P17 shown in FIG. 17 with high accuracy throughout. Further, the reconstructed image P21 depicts a structure having a relatively low contrast in light gray as much as the reconstructed image P17 shown in FIG.
  • the reconstructed image P21 is the reconstructed image closest to the reconstructed image P17 shown in FIG. 17 among the reconstructed images shown in FIGS. 18 to 21.
  • the reconstructed image P21 is a reconstructed image closer to the reconstructed image P17 shown in FIG. 17 than the reconstructed image P20.
  • the reason for this is that the suitable value of the smoothing parameter ⁇ differs depending on the location of the reconstructed image, and the first input image data having a suitable smoothing parameter ⁇ for each location of the reconstructed image generated by the trained model. Is selected, and a reconstructed image is generated by combining these smoothing parameters ⁇ . That is, unlike the reconstructed image P20, the reconstructed image P21 is generated using a trained model generated by inputting a plurality of first input image data in which different smoothing parameters ⁇ are set. Therefore, the reconstructed image is closer to the reconstructed image P17 shown in FIG. 17 than the reconstructed image P20.
  • the trained model generation device 30 and the image generation device 40 are separate has been described as an example, but the present invention is not limited to this. That is, the trained model generation device 30 and the image generation device 40 may be formed as an integrated device.
  • the machine learning device 50 may generate a trained model using, for example, a recurrent neural network (RNN).
  • RNN recurrent neural network
  • the trained model generation program 300 may input the second input image data to the machine learning device 50 together with at least two types of the first input image data and the output image data in the third process.
  • the output image data is input to the machine learning device 50 and the machine is used.
  • the case where the learning device 50 is made to perform supervised learning has been described as an example, but the present invention is not limited to this. That is, when the trained model generation program 300 executes the first process, the second process, or the third process, the machine learning device 50 is made to execute unsupervised learning without inputting the output image data. You may.
  • each function shown in FIG. 1 is realized by a hardware processor that reads and executes the trained model generation program 300 has been described as an example, but the present invention is not limited to this.
  • At least a part of the functions shown in FIG. 1 includes circuits such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), and GPU (Graphics Processing Unit). It may be realized by the including hardware. Alternatively, at least a part of the functions shown in FIG. 1 may be realized by the collaboration of software and hardware. Further, these hardwares may be integrated into one or may be divided into a plurality of pieces.
  • the trained model generation program 300 and the image generation program 400 are, for example, a positron emission tomography (PET) device, a single photon emission tomography (SPECT: Single Photon Emission Computed Tomography) device, or a magnetic resonance imaging (MRI:). It can also be applied to reconstructed images generated by a Magnetic Resonance Imaging) device.
  • PET positron emission tomography
  • SPECT Single photon emission tomography
  • MRI magnetic resonance imaging
  • 1 ... image generation system, 10 ... X-ray CT device, 20 ... storage device, 30 ... trained model generation device, 300 ... trained model generation program, 310 ... learning execution function, 320 ... trained model acquisition function, 40 ... Image generator, 400 ... Image generation program, 410 ... Image generation function, 50 ... Machine learning device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

学習済モデル生成プログラムは、コンピュータに、圧縮センシングを使用する第一再構成法により生成された第一入力画像を示す第一入力画像データ及び前記第一再構成法と異なる再構成法であり、解析的な再構成法である第二再構成法により生成された第二入力画像を示す第二入力画像データを機械学習装置に入力して機械学習を実行させ、前記機械学習装置に学習済モデルを生成させる学習実行機能と、前記学習済モデルを示す学習済モデルデータを取得する学習済モデル取得機能と、を実現させる。そして、前記学習済モデルに入力画像を示す入力画像データを入力して、画質を改善した再構成画像を生成する。

Description

学習済モデル生成プログラム、画像生成プログラム、学習済モデル生成装置、画像生成装置、学習済モデル生成方法及び画像生成方法
　本発明は、学習済モデル生成プログラム、画像生成プログラム、学習済モデル生成装置、画像生成装置、学習済モデル生成方法及び画像生成方法に関する。
　被検体の被曝量を低減させるために、例えば、投影方向の数を削減させて被検体をスキャンするスパースビューＣＴ（Computed Tomography）、Ｘ線管に流す電流を抑制した状態で被検体をスキャンする低線量ＣＴを実行するＸ線ＣＴ装置が使用されている。これらのスキャンが実行された場合に高い画質の再構成画像を生成する主な再構成法として、圧縮センシングを使用する再構成法が使用されている。この再構成法は、再構成画像の濃度変化が区分的一様というモデルを使用して再構成画像を生成するものである。また、このような再構成法の中でも、トータルバリエーション（ＴＶ：Total Variation）と呼ばれる再構成法が医療用のＸ線ＣＴ装置において頻繁に使用されている。
　このような技術の一例として、特許文献１に開示されている医用撮像装置が挙げられる。この医用撮像装置は、圧縮センシングの繰り返し最適化演算を行って画像を再構成する画像再構成部と、繰り返し毎に、最適化に用いる基底変換を選択する基底選択部とを備える。基底選択部は、予め定めた基底の順番に従って基底を選択する。或いは、基底選択部は、予め基底に設定した重み係数を用いて基底を選択する。
特開２０１８－１３４１９９号公報
　しかしながら、上述した医用撮像装置は、圧縮センシングを採用しているため、例えば、スパースビューＣＴ又は低線量ＣＴが実行される場合、階段状アーティファクト、滑らかな濃度変化の消失、テクスチャーの消失等が再構成画像に現れてしまう。この画質劣化は、スパースビューＣＴ又は低線量ＣＴの測定条件によっては顕著に現れることが知られている。
　本発明は、上述した事情に鑑みてなされたものであり、圧縮センシングを使用する再構成法により生成される再構成画像に現れる画質劣化を緩和することができる学習済モデル生成プログラム、画像生成プログラム、学習済モデル生成装置、画像生成装置、学習済モデル生成方法及び画像生成方法を提供するものである。
　本発明の一態様は、コンピュータに、圧縮センシングを使用する第一再構成法により生成された第一入力画像を示す第一入力画像データ及び前記第一再構成法と異なる再構成法であり、解析的な再構成法である第二再構成法により生成された第二入力画像を示す第二入力画像データを機械学習装置に入力して機械学習を実行させ、前記機械学習装置に学習済モデルを生成させる学習実行機能と、前記学習済モデルを示す学習済モデルデータを取得する学習済モデル取得機能と、を実現させる学習済モデル生成プログラム。
　本発明の一態様は、上述した学習済モデル生成プログラムであって、次の式（１）により表される平均二乗誤差を出来る限り小さくする前記第一再構成法の平滑化パラメータ、前記学習済モデルとして使用される畳み込みニューラルネットワークで使用される重み及び前記畳み込みニューラルネットワークで使用されるバイアスを探索することにより前記機械学習装置に前記学習済モデルを生成させてもよい。
Figure JPOXMLDOC01-appb-M000002
 　ｗ：畳み込みニューラルネットワークで使用される重みを一列に並べたベクトル
　ｂ：畳み込みニューラルネットワークで使用されるバイアスを一列に並べたベクトル
　β：第一再構成法の平滑化パラメータ
　ｘｉ：出力画像の各画素により表されている濃度を示す値を一列に並べたベクトル
　ｙｉ：第二入力画像の各画素により表されている濃度を示す値を一列に並べたベクトル
　ｚｉ：第一入力画像の各画素により表されている濃度を示す値を一列に並べたベクトル
　本発明の一態様は、上述した学習済モデル生成プログラムであって、前記学習実行機能が、第一平滑化パラメータが設定された前記圧縮センシングを使用する前記第一再構成法により生成された前記第一入力画像を示す前記第一入力画像データと、前記第一平滑化パラメータと値が異なる第二平滑化パラメータが設定された前記圧縮センシングを使用する前記第一再構成法により生成された前記第一入力画像を示す前記第一入力画像データとを少なくとも前記機械学習装置に入力して機械学習を実行させ、前記機械学習装置に前記学習済モデルを生成させてもよい。
　本発明の一態様は、上述した学習済モデル生成プログラムであって、前記学習実行機能が、前記第一入力画像データに加え、前記第一再構成法と異なる第三再構成法により生成された出力画像を示す出力画像データを前記機械学習装置に入力して機械学習を実行させ、前記学習済モデルを生成させてもよい。
　本発明の一態様は、コンピュータに、上述した学習済モデル生成プログラムのいずれか一つにより生成された前記学習済モデルに入力画像を示す入力画像データを入力して再構成画像を生成する画像生成機能を実現させる画像生成プログラム。
　本発明の一態様は、圧縮センシングを使用する第一再構成法により生成された第一入力画像を示す第一入力画像データ及び前記第一再構成法と異なる再構成法であり、解析的な再構成法である第二再構成法により生成された第二入力画像を示す第二入力画像データを機械学習装置に入力して機械学習を実行させ、前記機械学習装置に学習済モデルを生成させる学習実行部と、前記学習済モデルを示す学習済モデルデータを取得する学習済モデル取得部と、を備える学習済モデル生成装置である。
　本発明の一態様は、上述した学習済モデル生成装置により生成された前記学習済モデルに入力画像を示す入力画像データを入力して再構成画像を生成する画像生成部を備える画像生成装置である。
　本発明の一態様は、圧縮センシングを使用する第一再構成法により生成された第一入力画像を示す第一入力画像データ及び前記第一再構成法と異なる再構成法であり、解析的な再構成法である第二再構成法により生成された第二入力画像を示す第二入力画像データを機械学習装置に入力して機械学習を実行させ、前記機械学習装置に学習済モデルを生成させる学習実行ステップと、前記学習済モデルを示す学習済モデルデータを取得する学習済モデル取得ステップと、を含む学習済モデル生成方法である。
　本発明の一態様は、上述した学習済モデル生成方法により生成された前記学習済モデルに入力画像を示す入力画像データを入力して再構成画像を生成する画像生成ステップを備える画像生成方法である。
　本発明によれば、圧縮センシングを使用する再構成法により生成される再構成画像に現れる画質劣化を緩和することができる。
実施形態に係る画像生成システムの一例を示す図である。 実施形態に係るＸ線ＣＴ装置の一例を示す図である。 実施形態に係る機械学習装置が実行する機械学習の一例を示す図である。 実施形態に係る機械学習装置が実行する機械学習の一例を示す図である。 実施形態に係る機械学習装置が実行する機械学習の一例を示す図である。 実施形態に係る学習済モデル生成プログラムが実行する処理の一例を示すフローチャートである。 通常の線量及び投影データ方向数が設定されたスキャンにより取得された投影データを再構成して生成された再構成画像の一例を示す図である。 トータルバリエーションを使用した再構成法によりスパースビューＣＴにより取得された投影データを再構成して生成された再構成画像の一例を示す図である。 従来の学習済モデルを使用して生成された再構成画像の一例を示す図である。 実施形態に係る第一入力画像データ及び第二入力画像データを機械学習装置に入力することにより生成された学習済モデルを使用して生成された再構成画像の一例を示す図である。 実施形態に係る第一入力画像データを機械学習装置に入力することにより生成された学習済モデルを使用して生成された再構成画像の一例を示す図である。 通常の線量及び投影データ方向数が設定されたスキャンにより取得された投影データを再構成して生成された再構成画像の一例を示す図である。 トータルバリエーションを使用した再構成法によりスパースビューＣＴにより取得された投影データを再構成して生成された再構成画像の一例を示す図である。 従来の学習済モデルを使用して生成された再構成画像の一例を示す図である。 実施形態に係る第一入力画像データ及び第二入力画像データを機械学習装置に入力することにより生成された学習済モデルを使用して生成された再構成画像の一例を示す図である。 実施形態に係る第一入力画像データを機械学習装置に入力することにより生成された学習済モデルを使用して生成された再構成画像の一例を示す図である。 通常の線量及び投影データ方向数が設定されたスキャンにより取得された投影データを再構成して生成された再構成画像の一例を示す図である。 トータルバリエーションを使用した再構成法によりスパースビューＣＴにより取得された投影データを再構成して生成された再構成画像の一例を示す図である。 従来の学習済モデルを使用して生成された再構成画像の一例を示す図である。 実施形態に係る第一入力画像データ及び第二入力画像データを機械学習装置に入力することにより生成された学習済モデルを使用して生成された再構成画像の一例を示す図である。 実施形態に係る第一入力画像データを機械学習装置に複数入力し、第二入力画像データを機械学習装置に入力することにより生成された学習済モデルを使用して生成された再構成画像の一例を示す図である。
　［実施形態］
　本発明の実施形態について、図面を参照しながら説明する。図１は、実施形態に係る画像生成システムの一例を示す図である。図１に示すように、画像生成システム１は、Ｘ線ＣＴ装置１０と、記憶装置２０と、学習済モデル生成装置３０と、画像生成装置４０と、機械学習装置５０とを備える。Ｘ線ＣＴ装置１０、記憶装置２０、学習済モデル生成装置３０、画像生成装置４０及び機械学習装置５０は、いずれもネットワークＮＷに接続されている。ネットワークＮＷは、例えば、インターネット、イントラネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）である。
　図２は、実施形態に係るＸ線ＣＴ装置の一例を示す図である。図２に示すように、Ｘ線ＣＴ装置１０は、天板１１１と、天板駆動部１１２と、Ｘ線管１２１と、Ｘ線高電圧部１２２と、Ｘ線検出器１２３と、スキャン実行部１２４と、ＣＴ画像生成部１３０とを備える。
　天板１１１は、被検体が載置される板状の部材である。天板駆動部１１２は、天板１１１をＸ線管１２１及びＸ線検出器１２３に対して移動させる。Ｘ線管１２１は、被検体に照射されるＸ線を発生させる。Ｘ線高電圧部１２２は、Ｘ線管１２１に高電圧を印加する。Ｘ線検出器１２３は、Ｘ線管１２１により照射されたＸ線を検出する検出素子を備える。
　スキャン実行部１２４は、天板駆動部１１２、Ｘ線管１２１、Ｘ線高電圧部１２２及びＸ線検出器１２３を制御することにより被検体をスキャンし、複数の投影データを取得する。Ｘ線管１２１及びＸ線検出器１２３は、被検体のスキャンが実行される際、互いに対向した状態で被検体の周りを周回する。また、複数の投影データ各々が取得される場合におけるＸ線管１２１位置は、ビューと呼ばれる。ＣＴ画像生成部１３０は、被検体をスキャンすることにより生成された複数の投影データを再構成することによりＣＴ画像を生成し、当該ＣＴ画像を示すＣＴ画像データを記憶装置２０に記憶させる。
　なお、Ｘ線ＣＴ装置１０は、通常のＣＴ撮影だけではなく、投影方向の数を削減させて被検体をスキャンするスパースビューＣＴ撮影、Ｘ線管に流す電流を抑制した状態で被検体をスキャンする低線量ＣＴ撮影も実行可能である。
　図１に示した学習済モデル生成装置３０及び画像生成装置４０は、いずれも、例えば、記憶媒体及びハードウェアプロセッサを備えるコンピュータである。
　記憶媒体は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、フラッシュメモリ（Flash Memory）、ＲＯＭ（Read Only Memory）である。学習済モデル生成装置３０が備える記憶媒体は、図１に示した学習済モデル生成プログラム３００を記憶している。画像生成装置４０が備える記憶媒体は、図１に示した画像生成プログラム４００を記憶している。
　ハードウェアプロセッサは、例えば、ＣＰＵ（Central Processing Unit）である。学習済モデル生成装置３０が備えるハードウェアプロセッサは、学習済モデル生成プログラム３００を読み出して実行することにより、図１に示した学習実行機能３１０と、学習済モデル取得機能３２０とを実現させる。また、画像生成装置４０が備えるハードウェアプロセッサは、画像生成プログラム４００を読み出して実行することにより、図１に示した画像生成機能４１０を記憶している。学習済モデル生成プログラム３００及び画像生成プログラム４００は、次に説明する第一処理、第二処理又は第三処理を実行する。
　［第一処理］
　学習実行機能３１０は、第一入力画像データと出力画像データの組を機械学習装置５０に入力して機械学習を実行させ、機械学習装置５０に学習済モデルを生成させる。第一入力画像データは、圧縮センシングを使用する第一再構成法により生成された第一入力画像を示すデータである。出力画像データは、第一入力画像に対応しており、第一入力画像よりも画質劣化が少なく、機械学習装置５０が実行する機械学習の正解である出力画像を示すデータである。具体的には、出力画像は、第一再構成法と異なる第三再構成法により生成される。また、出力画像が生成される条件は、通常の線量及び投影方向数の条件である。
　この場合、複数の第一入力画像と複数の出力画像とは、全てが互いに一対一に対応付けられていてもよいし、全てが互いに多対一に対応付けられていてもよいし、一部のみが一対一に対応付けられていてもよいし、一部のみが多対一に対応付けられていてもよいし、対応付けられていなくてもよい。また、第一入力画像の数と出力画像の数とは、一致していてもよいし、一致していなくてもよい。
　第一再構成法において使用される圧縮センシングは、例えば、トータルバリエーションである。トータルバリエーションを使用して第一入力画像を生成する処理は、ベクトルｐ、行列Ａ、ベクトルｚ及び第一再構成法の平滑化パラメータβを含む次の式（２）により表される値を出来る限り小さくするベクトルｚを探索する処理である。ベクトルｐは、各ビューで取得される投影データの各画素により表されているＸ線の強度を示す値を一列に並べたベクトルである。行列Ａは、各要素がスキャンされる領域に含まれる各微小領域をＸ線が通過する長さを表す行列である。ベクトルｚは、第一入力画像の各画素により表されている濃度を示す値を一列に並べたベクトルである。第一再構成法の平滑化パラメータβは、第一入力画像を平滑化する強度を示すパラメータである。｜｜ｚ｜｜ＴＶは、ベクトルｚのトータルバリエーションノルムである。
Figure JPOXMLDOC01-appb-M000003
　第一入力画像は、Ｘ線ＣＴ装置１０が通常のＣＴ撮影、スパースビューＣＴ撮影又は低線量ＣＴ撮影を実行して生成された投影データを第一再構成することにより生成されるＣＴ画像である。或いは、第一入力画像は、他のＸ線ＣＴ装置により生成された投影データを第一再構成することにより生成されるＣＴ画像である。
　機械学習装置５０は、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を使用する学習済モデルを生成する。図３は、実施形態に係る機械学習装置が実行する機械学習の一例を示す図である。図３に示すように、機械学習装置５０は、第一入力画像データに関するベクトルｚｉ及び出力画像データに関するベクトルｘｉの入力を受け付けて機械学習を実行する。この機械学習を実行し、学習済モデルを生成する処理は、機械学習に使用する第一入力画像と当該第一入力画像に対応する出力画像の組のサンプル数Ｎ、ベクトルｗ、ベクトルｂ、第一再構成法の平滑化パラメータβ、ベクトルｘｉ及びベクトルｚｉを含む次の式（３）により表される平均二乗誤差（ＭＳＥ：Mean Square Error）を出来る限り小さくするベクトルｗ、ベクトルｂ、第一再構成法の平滑化パラメータβを探索する処理である。ベクトルｗは、上述した畳み込みニューラルネットワークで使用される重みを一列に並べたベクトルである。ベクトルｂは、上述した畳み込みニューラルネットワークで使用されるバイアスを一列に並べたベクトルである。ベクトルｘｉは、出力画像の各画素により表されている濃度を示す値を一列に並べたベクトルである。ベクトルｚｉは、第一入力画像の各画素により表されている濃度を示す値を一列に並べたベクトルである。なお、第一再構成法の平滑化パラメータβは、いずれも上述したものと同様である。また、式（３）に含まれる「ＣＮＮ」は、畳み込みニューラルネットワークを表している。
Figure JPOXMLDOC01-appb-M000004
　学習済モデル取得機能３２０は、学習済モデルを示す学習済モデルデータを取得する。そして、学習済モデル取得機能３２０は、学習済モデルデータを記憶装置２０に記憶させる。
　画像生成機能４１０は、記憶装置２０により記憶されている学習済モデルデータにより示されている学習済モデルに入力画像データを入力して再構成画像を生成する。入力画像データは、入力画像を示すデータである。入力画像は、上述した学習に使用した第一入力画像と同じ圧縮センシングにより生成された画像である。
　画像生成機能４１０が再構成画像を生成する処理は、ベクトルｘ、ベクトルｗ、ベクトルｂ、ベクトルｚ及び第一再構成法の平滑化パラメータβを含む次の式（４）により表される。なお、ベクトルｗ、ベクトルｂ、ベクトルｚ及び第一再構成法の平滑化パラメータβは、いずれも上述したものと同様である。また、式（４）に含まれる「ＣＮＮ」は、畳み込みニューラルネットワークを表している。ベクトルｗ、ベクトルｂ及び第一再構成法の平滑化パラメータβは、学習済モデルを生成する学習の過程で自動的に決められる。
Figure JPOXMLDOC01-appb-M000005
　［第二処理］
　学習実行機能３１０は、第一入力画像データ、第二入力画像データと出力画像データの組を機械学習装置５０に入力して機械学習を実行させ、機械学習装置５０に学習済モデルを生成させる。第一入力画像データ及び出力画像データは、上述した第一処理の場合と同様である。
　この場合、複数の第一入力画像と複数の第二入力画像と複数の出力画像とは、全てが互いに一対一に対応付けられていてもよいし、全てが互いに多対一に対応付けられていてもよいし、一部のみが一対一に対応付けられていてもよいし、一部のみが多対一に対応付けられていてもよいし、対応付けられていなくてもよい。また、第一入力画像の数と、第二入力画像の数と、出力画像の数とは、互いに一致していてもよいし、互いに一致していなくてもよい。
　また、この場合、複数の第一入力画像と複数の第二入力画像とは、全てが互いに一対一に対応付けられていてもよいし、全てが互いに多対一に対応付けられていてもよいし、一部のみが一対一に対応付けられていてもよいし、一部のみが多対一に対応付けられていてもよいし、対応付けられていなくてもよい。また、第一入力画像の数と、第二入力画像の数とは、互いに一致していてもよいし、互いに一致していなくてもよい。さらに、これらは、第一入力画像と出力画像との関係及び第二入力画像と出力画像との関係についても当てはまる。
　第二入力画像データは、解析的な再構成法である第二再構成法により生成された第二入力画像を示すデータである。第二再構成法は、例えば、フィルタ補正逆投影法（ＦＢＰ：Filtered Back-projection）である。第二入力画像は、Ｘ線ＣＴ装置１０が通常のＣＴ撮影、スパースビューＣＴ撮影又は低線量ＣＴ撮影を実行して生成された投影データを第二再構成することにより生成されるＣＴ画像である。或いは、第二入力画像は、他のＸ線ＣＴ装置により生成された投影データを第二再構成することにより生成されるＣＴ画像である。
　機械学習装置５０は、例えば、畳み込みニューラルネットワークを使用する学習済モデルを生成する。図４は、実施形態に係る機械学習装置が実行する機械学習の一例を示す図である。図４に示すように、機械学習装置５０は、第一入力画像データに関するベクトルｚｉ、第二入力画像データに関するベクトルｙｉ及び出力画像データに関するベクトルｘｉの入力を受け付けて機械学習を実行する。この機械学習を実行し、学習済モデルを生成する処理は、第一入力画像、第二入力画像及び出力画像の組のサンプル数Ｎ、ベクトルｗ、ベクトルｂ、第一再構成法の平滑化パラメータβ、ベクトルｘｉ、ベクトルｙｉ及びベクトルｚｉを含む次の式（５）により表される平均二乗誤差を出来る限り小さくするベクトルｗ、ベクトルｂ及び第一再構成法の平滑化パラメータβを探索する処理である。ベクトルｙｉは、第二入力画像の各画素により表されている濃度を示す値を一列に並べたベクトルである。なお、ベクトルｗ、ベクトルｂ、第一再構成法の平滑化パラメータβ、ベクトルｘｉ及びベクトルｚｉは、第一処理の場合と同様である。
Figure JPOXMLDOC01-appb-M000006
　学習済モデル取得機能３２０は、学習済モデルを示す学習済モデルデータを取得する。そして、学習済モデル取得機能３２０は、学習済モデルデータを記憶装置２０に記憶させる。
　画像生成機能４１０は、記憶装置２０により記憶されている学習済モデルデータにより示されている学習済モデルに入力画像データを入力して再構成画像を生成する。入力画像データは、入力画像を示すデータである。入力画像は、例えば、上述した第一入力画像と同じ圧縮センシング又は上述した第二入力画像と同じ解析的再構成法により生成された画像である。
　画像生成機能４１０が再構成画像を生成する処理は、ベクトルｘ、ベクトルｗ、ベクトルｂ、ベクトルｙ、ベクトルｚ及び第一再構成法の平滑化パラメータβを含む次の式（６）により表される。ベクトルｙは、第二入力画像の各画素により表されている濃度を示す値を一列に並べたベクトルである。なお、ベクトルｘ、ベクトルｗ、ベクトルｂ、ベクトルｚ及び第一再構成法の平滑化パラメータβは、第一処理の場合と同様である。また、式（６）に含まれる「ＣＮＮ」は、畳み込みニューラルネットワークを表している。
Figure JPOXMLDOC01-appb-M000007
　［第三処理］
　学習実行機能３１０は、互いに異なる平滑化パラメータが設定された第一再構成法により生成された少なくとも二種類の第一入力画像データと出力画像データの組を機械学習装置５０に入力して機械学習を実行させ、機械学習装置５０に学習済モデルを生成させる。第一の種類の第一入力画像データは、第一平滑化パラメータが設定された圧縮センシングを使用する第一再構成法により生成された第一入力画像を示す第一入力画像データである。第二の種類の第一入力画像データは、第一平滑化パラメータと値が異なる第二平滑化パラメータが設定された圧縮センシングを使用する第一再構成法により生成された第一入力画像を示す第一入力画像データである。
　また、同様に、学習実行機能３１０は、第一の種類の第一入力画像データ及び第二の種類の第一入力画像データに加えて、第三の種類の第一入力画像データから第Ｍ（Ｍ：三以上の自然数）の種類の第一入力画像データを含む組を機械学習装置５０に入力して機械学習を実行させ、機械学習装置５０に学習済モデルを生成させてもよい。この場合、学習実行機能３１０は、三種類以上の第一入力画像データを含む組を機械学習装置５０に入力して機械学習を実行させ、機械学習装置５０に学習済モデルを生成させることとなる。第Ｍの種類の第一入力画像データは、他の平滑化パラメータと値が異なる第Ｍ平滑化パラメータが設定された圧縮センシングを使用する第一再構成法により生成された第一入力画像を示す第一入力画像データである。
　つまり、学習実行機能３１０は、平滑化パラメータが互いに異なる圧縮センシングを使用する第一再構成法により生成された複数の第一入力画像と出力画像の組を機械学習装置５０に入力して機械学習を実行させ、機械学習装置５０に学習済モデルを生成させる。
　この場合、複数種類の第一入力画像が含まれている第一入力画像群と複数の出力画像とは、全てが互いに一対一に対応付けられていてもよいし、全てが互いに多対一に対応付けられていてもよいし、一部のみが一対一に対応付けられていてもよいし、一部のみが多対一に対応付けられていてもよいし、対応付けられていなくてもよい。また、第一入力画像群の数と出力画像の数とは、一致していてもよいし、一致していなくてもよい。
　機械学習装置５０は、例えば、畳み込みニューラルネットワークを使用する学習済モデルを生成する。図５は、実施形態に係る機械学習装置が実行する機械学習の一例を示す図である。図５に示すように、機械学習装置５０は、複数の第一入力画像データ各々に関するベクトルｚｉ（１）、ベクトルｚｉ（２）、…及びベクトルｚｉ（Ｍ）と出力画像データに関するベクトルｘｉの入力を受け付けて機械学習を実行する。この機械学習を実行し、学習済モデルを生成する処理は、学習に使用する第一入力画像及び対応する出力画像の組のサンプル数Ｎ、ベクトルｗ、ベクトルｂ、ベクトルｘｉ、ベクトルｚｉ（１）、ベクトルｚｉ（２）、…及びベクトルｚｉ（Ｍ）（Ｍ：２以上の自然数）を含む次の式（７）により表される平均二乗誤差を出来る限り小さくするベクトルｗ及びベクトルｂを探索する処理である。ベクトルｚｉ（１）、ベクトルｚｉ（２）、…及びベクトルｚｉ（Ｍ）は、いずれも第一入力画像の各画素により表されている濃度を示す値を一列に並べたベクトルである。なお、ベクトルｗ、ベクトルｂ及びベクトルｘｉは、第一処理の場合と同様である。
Figure JPOXMLDOC01-appb-M000008
　学習済モデル取得機能３２０は、学習済モデルを示す学習済モデルデータを取得する。そして、学習済モデル取得機能３２０は、学習済モデルデータを記憶装置２０に記憶させる。
　画像生成機能４１０は、記憶装置２０により記憶されている学習済モデルデータにより示されている学習済モデルに入力画像データを入力して再構成画像を生成する。入力画像データは、Ｍ´（Ｍ´：二以上の自然数）個の入力画像を示すベクトルｚｉ（１）、ベクトルｚｉ（２）、…及びベクトルｚｉ（Ｍ´）である。入力画像は、上述した複数種類の第一入力画像と同じ方法、すなわち互いに異なる平滑化パラメータが設定された圧縮センシングにより生成された画像である。なお、Ｍ´は、上述したＭと等しくてもよいし、上述したＭと異なっていてもよい。
　画像生成機能４１０が再構成画像を生成する処理は、ベクトルｘ、ベクトルｗ、ベクトルｂ、ベクトルｚ（１）、ベクトルｚ（２）、…及びベクトルｚ（Ｍ）を含む次の式（８）により表される。ベクトルｚ（１）、ベクトルｚ（２）、…及びベクトルｚ（Ｍ）は、いずれも第一入力画像の各画素により表されている濃度を示す値を一列に並べたベクトルである。なお、ベクトルｘ、ベクトルｗ及びベクトルｂは、第一処理の場合と同様である。また、式（８）に含まれる「ＣＮＮ」は、畳み込みニューラルネットワークを表している。
Figure JPOXMLDOC01-appb-M000009
　次に、図６を参照しながら実施形態に係る学習済モデル生成プログラム３００が実行する処理の一例を説明する。図６は、実施形態に係る学習済モデル生成プログラムが実行する処理の一例を示すフローチャートである。
　ステップＳ１０において、学習実行機能３１０は、少なくとも第一入力画像データを機械学習装置５０に入力して機械学習を実行させ、機械学習装置５０に学習済モデルを生成させる。
　ステップＳ２０において、学習済モデル取得機能３２０は、ステップＳ１０で生成された学習済モデルを示す学習済モデルデータを取得する。
　以上、実施形態に係る学習済モデル生成プログラム３００及び画像生成プログラム４００について説明した。
　学習済モデル生成プログラム３００は、圧縮センシングを使用する第一再構成法により生成された第一入力画像を示す第一入力画像データを機械学習装置５０に入力して機械学習を実行させ、機械学習装置５０に学習済モデルを生成させる。そして、学習済モデル生成プログラム３００は、学習済モデルを示す学習済モデルデータを取得する。
　これにより、学習済モデル生成プログラム３００は、圧縮センシングに起因して第一入力画像に現れる階段状アーティファクト、滑らかな濃度変化の消失、テクスチャーの消失等が緩和された再構成画像を生成し得る学習済モデルを生成することができる。また、学習済モデル生成プログラム３００は、第一再構成法の平滑化パラメータβの好適な値が不明な場合であっても、第一入力画像データを機械学習装置５０に入力するだけで当該効果を奏することができる。
　学習済モデル生成プログラム３００は、第一入力画像データに加え、第一再構成法と異なる再構成法であり、解析的な再構成法である第二再構成法により生成された第二入力画像を示す第二入力画像データを機械学習装置５０に入力して機械学習を実行させ、機械学習装置５０に学習済モデルを生成させる。また、解析的な再構成法は、滑らかな濃度変化を比較的高い精度で再現した再構成画像を生成し得るという長所を有する。
　これにより、学習済モデル生成プログラム３００は、圧縮センシングに起因して第一入力画像に現れる階段状アーティファクト、滑らかな濃度変化の消失、テクスチャーの消失等を当該長所で補い得る学習済モデルを生成することができる。また、学習済モデル生成プログラム３００は、第一再構成法の平滑化パラメータβの好適な値が不明な場合であっても、第一入力画像データ及び第二入力画像データを機械学習装置５０に入力するだけで当該効果を奏することができる。
　学習済モデル生成プログラム３００は、上述した式（５）により表される平均二乗誤差を出来る限り小さくする第一再構成法の平滑化パラメータβ、学習済モデルとして使用される畳み込みニューラルネットワークで使用される重みｗ及び畳み込みニューラルネットワークで使用されるバイアスｂを探索することにより機械学習装置５０に学習済モデルを生成させる。
　これにより、学習済モデル生成プログラム３００は、学習の過程で第一再構成法の平滑化パラメータβの好適な値を探索して学習済モデルを生成するため、画像生成プログラム４００に再構成画像を生成させようとする者が第一再構成法の平滑化パラメータβの具体的な値を試行錯誤しながら決める労力を省くことができる。また、第一再構成法の平滑化パラメータβの好適な値を経験的に決定することが困難である場合が多いため、この効果は、特に有効である。
　学習済モデル生成プログラム３００は、互いに異なる平滑化パラメータが設定された第一再構成法により生成された少なくとも二種類の第一入力画像データを機械学習装置５０に入力して機械学習を実行させ、機械学習装置５０に学習済モデルを生成させる。
　これにより、学習済モデル生成プログラム３００は、平滑化の強度が互いに異なる複数の再構成画像の特徴を取り入れることにより、圧縮センシングに起因して第一入力画像に現れる階段状アーティファクト、滑らかな濃度変化の消失、テクスチャーの消失等が緩和された再構成画像を生成し得る学習済モデルを生成することができる。また、学習済モデル生成プログラム３００は、第一再構成法の平滑化パラメータβの好適な値が不明な場合であっても、少なくとも二種類の第一入力画像データを機械学習装置５０に入力するだけで当該効果を奏することができる。
　学習済モデル生成プログラム３００は、第一入力画像データに加え、通常の線量及び投影方向数の条件で生成された出力画像を示す出力画像データを機械学習装置５０に入力して機械学習を実行させ、機械学習装置５０に学習済モデルを生成させる。
　これにより、学習済モデル生成プログラム３００は、機械学習装置５０に教師有り学習を実行させ、機械学習装置５０に更に精度が高い学習済モデルを生成させることができる。
　画像生成プログラム４００は、学習済モデル生成プログラム３００により生成された学習済モデルに入力画像を示す入力画像データを入力して再構成画像を生成する。
　これにより、画像生成プログラム４００は、圧縮センシングを使用する再構成法により生成される再構成画像に現れる画質劣化を緩和することができる。
　次に、図７から図１１を参照しながら、上述した効果の第一具体例を説明する。図７は、通常の線量及び投影データ方向数が設定されたスキャンにより取得された投影データを再構成して生成された再構成画像の一例を示す図である。図７に示した再構成画像Ｐ７に近い再構成画像である程、圧縮センシングに起因する画質劣化が少ない再構成画像である。
　図８は、トータルバリエーションを使用した再構成法によりスパースビューＣＴにより取得された投影データを再構成して生成された再構成画像の一例を示す図である。図８に示した再構成画像Ｐ８は、スパースビューＣＴ撮影により取得された６４方向の投影データから生成されている。また、図８の左下に示すように、再構成画像Ｐ８は、平均二乗誤差が８２．１９であり、画像評価指標（ＳＳＩＭ：Structural similarity）が０．８９である。
　ここで、平均二乗誤差は、通常の線量及び投影方向数の再構成画像Ｐ７を表す関数ｇ（ｉ，ｊ）と、対象となる再構成画像を表す関数ｆ（ｉ，ｊ）と、これら二つの再構成画像各々の全画素数Ｌとを含む次の式（９）により算出される。インデックスｉ及びインデックスｊは、これら二つの再構成画像各々の画素の位置を示すインデックスである。
Figure JPOXMLDOC01-appb-M000010
　また、画像評価指標は、次の式（１０）により算出され、再構成画像Ｐ７に近い再構成画像である程、大きな値となる。なお、式（１０）は、その詳細が投稿論文「Z. Wang, A. C. Bovik, H. R. Sheikh and E. P. Simoncelli, "Image quality assessment: From error visibility to structural similarity," IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600-612, Apr. 2004.」に記載されている。
Figure JPOXMLDOC01-appb-M000011
　図８に示した再構成画像Ｐ８は、血管等、コントラストが比較的低い構造物を図７に示した再構成画像Ｐ７と同程度に白色で描出している。しかし、再構成画像Ｐ８は、トータルバリエーションにより平滑化されているため、再構成画像Ｐ７に描出されている滑らかな濃度変化や微細なテクスチャーが全体に亘って消失している。
　図９は、従来の学習済モデルを使用して生成された再構成画像の一例を示す図である。ここで言う従来の学習済モデルは、フィルタ補正逆投影法により生成された再構成画像及び通常の線量と投影方向数の条件で生成された出力画像のみを畳み込みニューラルネットワークを使用する機械学習装置に入力して当該機械学習装置を学習させることにより生成された学習済モデルである。図９に示した再構成画像Ｐ９は、スパースビューＣＴ撮影により取得された６４方向の投影データから生成されている。また、図９の左下に示すように、再構成画像Ｐ９は、平均二乗誤差が７９．０６であり、画像評価指標が０．８８である。
　図９に示した再構成画像Ｐ９は、図７に示した再構成画像Ｐ７に描出されている滑らかな濃度変化や微細なテクスチャーを全体に亘って一定以上再現している。しかし、再構成画像Ｐ９は、再構成画像Ｐ７に白色で描出されているコントラストが比較的低い構造物の一部を描出できていない。
　図１０は、実施形態に係る第一入力画像データ及び第二入力画像データを機械学習装置に入力することにより生成された学習済モデルを使用して生成された再構成画像の一例を示す図である。図１０に示した再構成画像Ｐ１０は、スパースビューＣＴ撮影により取得された６４方向の投影データから生成されている。また、図１０の左下に示すように、再構成画像Ｐ１０は、平均二乗誤差が３４．９６であり、画像評価指標が０．９１である。
　図１０に示した再構成画像Ｐ１０は、図７に示した再構成画像Ｐ７に描出されている滑らかな濃度変化や微細なテクスチャーを全体に亘って高い精度で再現している。また、再構成画像Ｐ１０は、コントラストが比較的低い構造物を図７に示した再構成画像Ｐ７と同程度に白色で描出している。再構成画像Ｐ１０は、図８から図１１に示した再構成画像の中で図７に示した再構成画像に最も近い再構成画像である。
　図１１は、実施形態に係る第一入力画像データを機械学習装置に入力することにより生成された学習済モデルを使用して生成された再構成画像の一例を示す図である。図１１に示した再構成画像Ｐ１１は、スパースビューＣＴ撮影により取得された６４方向の投影データから生成されている。また、図１１の左下に示すように、再構成画像Ｐ１１は、平均二乗誤差が３７．１５であり、画像評価指標が０．９１である。
　図１１に示した再構成画像Ｐ１１は、図７に示した再構成画像Ｐ７に描出されている滑らかな濃度変化や微細なテクスチャーを全体に亘って一定以上再現している。また、再構成画像Ｐ１１は、コントラストが比較的低い構造物を図７に示した再構成画像Ｐ７と同程度に白色で描出している。ただし、再構成画像Ｐ１１は、滑らかな濃度変化を比較的高い精度で再現した再構成画像を生成し得るという解析的な再構成法の長所を取り込んでいないため、幾分図８に示した再構成画像Ｐ８のように平滑化され、再構成画像Ｐ７に描出されている滑らかな濃度変化や微細なテクスチャーが再構成画像Ｐ１０よりも全体に亘って消失している。再構成画像Ｐ１１は、図８から図１１に示した再構成画像の中で図７に示した再構成画像に二番目に近い再構成画像である。
　次に、図１２から図１６を参照しながら、上述した効果の第二具体例を説明する。図１２は、通常の線量及び投影データ方向数が設定されたスキャンにより取得された投影データを再構成して生成された再構成画像の一例を示す図である。図１２に示した再構成画像Ｐ１２に近い再構成画像である程、画質劣化が少ない再構成画像である。
　図１３は、トータルバリエーションを使用した再構成法によりスパースビューＣＴにより取得された投影データを再構成して生成された再構成画像の一例を示す図である。図１３に示した再構成画像Ｐ１３は、スパースビューＣＴ撮影により取得された６４方向の投影データから生成されている。また、図１３の左下に示すように、再構成画像Ｐ１３は、平均二乗誤差が９８．５６であり、画像評価指標が０．８６である。
　図１３に示した再構成画像Ｐ１３は、血管等、コントラストが比較的低い構造物を図１２に示した再構成画像Ｐ１２と同程度に薄い灰色で描出している。しかし、再構成画像Ｐ１３は、トータルバリエーションにより平滑化されているため、再構成画像Ｐ１２に描出されている滑らかな濃度変化や微細なテクスチャーが全体に亘って消失している。
　図１４は、従来の学習済モデルを使用して生成された再構成画像の一例を示す図である。図１４に示した再構成画像Ｐ１４は、スパースビューＣＴ撮影により取得された６４方向の投影データから生成されている。また、図１４の左下に示すように、再構成画像Ｐ１４は、平均二乗誤差が７６．２５であり、画像評価指標が０．８４である。
　図１４に示した再構成画像Ｐ１４は、図１２に示した再構成画像Ｐ１２に描出されている滑らかな濃度変化や微細なテクスチャーを全体に亘って一定以上再現している。しかし、再構成画像Ｐ１４は、再構成画像Ｐ１２に薄い灰色で描出されているコントラストが比較的低い構造物の一部を描出できていない。
　図１５は、実施形態に係る第一入力画像データ及び第二入力画像データを機械学習装置に入力することにより生成された学習済モデルを使用して生成された再構成画像の一例を示す図である。図１５に示した再構成画像Ｐ１５は、スパースビューＣＴ撮影により取得された６４方向の投影データから生成されている。また、図１５の左下に示すように、再構成画像Ｐ１５は、平均二乗誤差が４３．５５であり、画像評価指標が０．８８である。
　図１５に示した再構成画像Ｐ１５は、図１２に示した再構成画像Ｐ１２に描出されている滑らかな濃度変化や微細なテクスチャーを全体に亘って高い精度で再現している。また、再構成画像Ｐ１５は、コントラストが比較的低い構造物を図１２に示した再構成画像Ｐ１２と同程度に薄い灰色で描出している。再構成画像Ｐ１５は、図１３から図１６に示した再構成画像の中で図１２に示した再構成画像に最も近い再構成画像である。
　図１６は、実施形態に係る第一入力画像データを機械学習装置に入力することにより生成された学習済モデルを使用して生成された再構成画像の一例を示す図である。図１６に示した再構成画像Ｐ１６は、スパースビューＣＴ撮影により取得された６４方向の投影データから生成されている。また、図１６の左下に示すように、再構成画像Ｐ１６は、平均二乗誤差が５９．０１であり、画像評価指標が０．８７である。
　図１６に示した再構成画像Ｐ１６は、図１２に示した再構成画像Ｐ１２に描出されている滑らかな濃度変化や微細なテクスチャーを全体に亘って一定以上再現している。また、再構成画像Ｐ１６は、コントラストが比較的低い構造物を図１２に示した再構成画像Ｐ１２と同程度に薄い灰色で描出している。ただし、再構成画像Ｐ１６は、滑らかな濃度変化を比較的高い精度で再現した再構成画像を生成し得るという解析的な再構成法の長所を取り込んでいないため、幾分図１３に示した再構成画像Ｐ１３のように平滑化され、再構成画像Ｐ１２に描出されている滑らかな濃度変化や微細なテクスチャーが再構成画像Ｐ１５よりも全体に亘って消失している。再構成画像Ｐ１６は、図１３から図１６に示した再構成画像の中で図１２に示した再構成画像に二番目に近い再構成画像である。
　次に、図１７から図２１を参照しながら、上述した効果の第三具体例を説明する。図１７は、通常の線量及び投影データ方向数が設定されたスキャンにより取得された投影データを再構成して生成された再構成画像の一例を示す図である。図１７に示した再構成画像Ｐ１７に近い再構成画像である程、画質劣化が少ない再構成画像である。
　図１８は、トータルバリエーションを使用した再構成法によりスパースビューＣＴにより取得された投影データを再構成して生成された再構成画像の一例を示す図である。図１８に示した再構成画像Ｐ１８は、スパースビューＣＴ撮影により取得された６４方向の投影データから生成されている。また、図１８の左下に示すように、再構成画像Ｐ１８は、画像評価指標が０．５８６である。なお、この画像評価指標は、機械学習装置５０に生成させた学習済モデルを使用して１００の症例について生成されており、主に肝臓を描出している再構成画像の画像評価指標の平均である。また、図１９から図２１の左下に示されている画像評価指標も同様である。
　図１８に示した再構成画像Ｐ１８は、血管等、コントラストが比較的低い構造物を図１７に示した再構成画像Ｐ１２と同程度に薄い灰色で描出している。しかし、再構成画像Ｐ１８は、トータルバリエーションにより平滑化されているため、再構成画像Ｐ１７に描出されている滑らかな濃度変化や微細なテクスチャーが全体に亘って消失している。
　図１９は、従来の学習済モデルを使用して生成された再構成画像の一例を示す図である。図１９に示した再構成画像Ｐ１９は、スパースビューＣＴ撮影により取得された６４方向の投影データから生成されている。また、図１９の左下に示すように、再構成画像Ｐ１９は、画像評価指標が０．８２３である。
　図１９に示した再構成画像Ｐ１９は、図１７に示した再構成画像Ｐ１７に描出されている滑らかな濃度変化や微細なテクスチャーを全体に亘って一定以上再現している。しかし、再構成画像Ｐ１９は、再構成画像Ｐ１７に薄い灰色で描出されているコントラストが比較的低い構造物の一部を描出できていない。
　図２０は、実施形態に係る第一入力画像データ及び第二入力画像データを機械学習装置に入力することにより生成された学習済モデルを使用して生成された再構成画像の一例を示す図である。図２０に示した再構成画像Ｐ２０は、スパースビューＣＴ撮影により取得された６４方向の投影データから生成されている。また、図２０の左下に示すように、再構成画像Ｐ２０は、画像評価指標が０．９０２である。
　図２０に示した再構成画像Ｐ２０は、図１７に示した再構成画像Ｐ１７に描出されている滑らかな濃度変化や微細なテクスチャーを全体に亘って高い精度で再現している。また、再構成画像Ｐ２０は、コントラストが比較的低い構造物を図１７に示した再構成画像Ｐ１７と同程度に薄い灰色で描出している。再構成画像Ｐ２０は、図１８から図２１に示した再構成画像の中で図１７に示した再構成画像Ｐ１７に二番目に近い再構成画像である。
　図２１は、実施形態に係る第一入力画像データを機械学習装置に複数入力し、第二入力画像データを機械学習装置に入力することにより生成された学習済モデルを使用して生成された再構成画像の一例を示す図である。図２１に示した再構成画像Ｐ２１は、スパースビューＣＴ撮影により取得された６４方向の投影データから生成されている。また、図２１の左下に示すように、再構成画像Ｐ２１は、画像評価指標が０．９１０である。
　図２１に示した再構成画像Ｐ２１は、図１７に示した再構成画像Ｐ１７に描出されている滑らかな濃度変化や微細なテクスチャーを全体に亘って高い精度で再現している。また、再構成画像Ｐ２１は、コントラストが比較的低い構造物を図１７に示した再構成画像Ｐ１７と同程度に薄い灰色で描出している。再構成画像Ｐ２１は、図１８から図２１に示した再構成画像の中で図１７に示した再構成画像Ｐ１７に最も近い再構成画像である。
　また、再構成画像Ｐ２１は、再構成画像Ｐ２０よりも図１７に示した再構成画像Ｐ１７に近い再構成画像である。この理由は、平滑化パラメータβの好適な値が再構成画像の場所ことに異なっており、学習済モデルが生成する再構成画像の場所ごとに好適な平滑化パラメータβを有する第一入力画像データが選択され、これらの平滑化パラメータβを組み合わせて再構成画像が生成されているからである。つまり、再構成画像Ｐ２１は、再構成画像Ｐ２０と異なり、互いに異なる平滑化パラメータβが設定されている複数の第一入力画像データを入力して生成された学習済モデルを使用して生成されているため、再構成画像Ｐ２０よりも図１７に示した再構成画像Ｐ１７に近い再構成画像となっている。
　なお、上述した実施形態では、学習済モデル生成装置３０と画像生成装置４０とが別になっている場合を例に挙げて説明したが、これに限定されない。すなわち、学習済モデル生成装置３０と画像生成装置４０とは、一体の装置として形成されていてもよい。
　また、上述した実施形態では、機械学習装置５０が畳み込みニューラルネットワークを使用する学習済モデルを生成する場合を例に挙げて説明したが、これに限定されない。機械学習装置５０は、例えば、リカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）を使用する学習済モデルを生成してもよい。
　また、上述した実施形態では、学習済モデル生成プログラム３００が第三処理において機械学習装置５０に第二入力画像データを入力しない場合を例に挙げて説明したが、これに限定されない。学習済モデル生成プログラム３００は、第三処理において少なくとも二種類の第一入力画像データ及び出力画像データと共に機械学習装置５０に第二入力画像データを入力してもよい。
　また、上述した実施形態では、学習済モデル生成プログラム３００が第一処理、第二処理及び第三処理のいずれを実行する場合であっても、機械学習装置５０に出力画像データを入力し、機械学習装置５０に教師有り学習を実行させる場合を例に挙げて説明したが、これに限定されない。すなわち、学習済モデル生成プログラム３００が第一処理、第二処理又は第三処理を実行する場合に、機械学習装置５０に出力画像データを入力せず、機械学習装置５０に教師無し学習を実行させてもよい。
　また、上述した実施形態では、図１に示した各機能が学習済モデル生成プログラム３００を読み出して実行するハードウェアプロセッサにより実現される場合を例に挙げて説明したが、これに限定されない。図１に示した機能の少なくとも一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等の回路部（circuitry）を含むハードウェアにより実現されてもよい。或いは、図１に示した機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
　また、上述した実施形態では、学習済モデル生成プログラム３００及び画像生成プログラム４００がＸ線ＣＴ装置により生成された再構成画像に適用される場合を例に挙げて説明したが、これに限定されない。学習済モデル生成プログラム３００及び画像生成プログラム４００は、例えば、ポジトロン断層撮影（ＰＥＴ：Positron Emission Tomography）装置、単一光子放射断層撮影（ＳＰＥＣＴ：Single Photon Emission Computed Tomography）装置又は磁気共鳴イメージング（ＭＲＩ：Magnetic Resonance Imaging）装置により生成された再構成画像にも適用され得る。
　以上、本発明の実施形態について図面を参照しながら詳述した。ただし、本発明の実施形態の具体的な構成は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内において種々の組み合わせ、変形、置換及び設計変更の少なくとも一つを上述した実施形態に加えたものであってもよい。
　１…画像生成システム、１０…Ｘ線ＣＴ装置、２０…記憶装置、３０…学習済モデル生成装置、３００…学習済モデル生成プログラム、３１０…学習実行機能、３２０…学習済モデル取得機能、４０…画像生成装置、４００…画像生成プログラム、４１０…画像生成機能、５０…機械学習装置

Claims (9)

  1. 　コンピュータに、
    　圧縮センシングを使用する第一再構成法により生成された第一入力画像を示す第一入力画像データ及び前記第一再構成法と異なる再構成法であり、解析的な再構成法である第二再構成法により生成された第二入力画像を示す第二入力画像データを機械学習装置に入力して機械学習を実行させ、前記機械学習装置に学習済モデルを生成させる学習実行機能と、
    　前記学習済モデルを示す学習済モデルデータを取得する学習済モデル取得機能と、
    　を実現させる学習済モデル生成プログラム。
  2. 　前記学習実行機能は、次の式（１）により表される平均二乗誤差を出来る限り小さくする前記第一再構成法の平滑化パラメータ、前記学習済モデルとして使用される畳み込みニューラルネットワークで使用される重み及び前記畳み込みニューラルネットワークで使用されるバイアスを探索することにより前記機械学習装置に前記学習済モデルを生成させる、
    　請求項１に記載の学習済モデル生成プログラム。
    Figure JPOXMLDOC01-appb-M000001
     　ｗ：畳み込みニューラルネットワークで使用される重みを一列に並べたベクトル
    　ｂ：畳み込みニューラルネットワークで使用されるバイアスを一列に並べたベクトル
    　β：第一再構成法の平滑化パラメータ
    　ｘｉ：出力画像の各画素により表されている濃度を示す値を一列に並べたベクトル
    　ｙｉ：第二入力画像の各画素により表されている濃度を示す値を一列に並べたベクトル
    　ｚｉ：第一入力画像の各画素により表されている濃度を示す値を一列に並べたベクトル
  3. 　前記学習実行機能は、第一平滑化パラメータが設定された前記圧縮センシングを使用する前記第一再構成法により生成された前記第一入力画像を示す前記第一入力画像データと、前記第一平滑化パラメータと値が異なる第二平滑化パラメータが設定された前記圧縮センシングを使用する前記第一再構成法により生成された前記第一入力画像を示す前記第一入力画像データとを少なくとも前記機械学習装置に入力して機械学習を実行させ、前記機械学習装置に前記学習済モデルを生成させる、
    　請求項１に記載の学習済モデル生成プログラム。
  4. 　前記学習実行機能は、前記第一入力画像データに加え、前記第一再構成法と異なる第三再構成法により生成された出力画像を示す出力画像データを前記機械学習装置に入力して機械学習を実行させ、前記機械学習装置に前記学習済モデルを生成させる、
    　請求項１から請求項３のいずれか一つに記載の学習済モデル生成プログラム。
  5. 　コンピュータに、
    　請求項１から請求項４のいずれか一つに記載の学習済モデル生成プログラムにより生成された前記学習済モデルに入力画像を示す入力画像データを入力して再構成画像を生成する画像生成機能を実現させる画像生成プログラム。
  6. 　圧縮センシングを使用する第一再構成法により生成された第一入力画像を示す第一入力画像データ及び前記第一再構成法と異なる再構成法であり、解析的な再構成法である第二再構成法により生成された第二入力画像を示す第二入力画像データを機械学習装置に入力して機械学習を実行させ、前記機械学習装置に学習済モデルを生成させる学習実行部と、
    　前記学習済モデルを示す学習済モデルデータを取得する学習済モデル取得部と、
    　を備える学習済モデル生成装置。
  7. 　請求項６に記載の学習済モデル生成装置により生成された前記学習済モデルに入力画像を示す入力画像データを入力して再構成画像を生成する画像生成部を備える画像生成装置。
  8. 　圧縮センシングを使用する第一再構成法により生成された第一入力画像を示す第一入力画像データ及び前記第一再構成法と異なる再構成法であり、解析的な再構成法である第二再構成法により生成された第二入力画像を示す第二入力画像データを機械学習装置に入力して機械学習を実行させ、前記機械学習装置に学習済モデルを生成させる学習実行ステップと、
    　前記学習済モデルを示す学習済モデルデータを取得する学習済モデル取得ステップと、
    　を含む学習済モデル生成方法。
  9. 　請求項８に記載の学習済モデル生成方法により生成された前記学習済モデルに入力画像を示す入力画像データを入力して再構成画像を生成する画像生成ステップを備える画像生成方法。
PCT/JP2021/006833 2020-03-11 2021-02-24 学習済モデル生成プログラム、画像生成プログラム、学習済モデル生成装置、画像生成装置、学習済モデル生成方法及び画像生成方法 WO2021182103A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/909,998 US12367620B2 (en) 2020-03-11 2021-02-24 Trained model generation program, image generation program, trained model generation device, image generation device, trained model generation method, and image generation method
CN202180019695.6A CN115243618A (zh) 2020-03-11 2021-02-24 训练完毕模型生成程序、图像生成程序、训练完毕模型生成装置、图像生成装置、训练完毕模型生成方法以及图像生成方法
EP21767498.5A EP4119059A4 (en) 2020-03-11 2021-02-24 TRAINED MODEL GENERATION PROGRAM, IMAGE GENERATION PROGRAM, TRAINED MODEL GENERATION DEVICE, IMAGE GENERATION DEVICE, TRAINED MODEL GENERATION METHOD, AND IMAGE GENERATION METHOD
JP2022505900A JP7527675B2 (ja) 2020-03-11 2021-02-24 学習済モデル生成プログラム、画像生成プログラム、学習済モデル生成装置、画像生成装置、学習済モデル生成方法及び画像生成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020042154 2020-03-11
JP2020-042154 2020-03-11

Publications (1)

Publication Number Publication Date
WO2021182103A1 true WO2021182103A1 (ja) 2021-09-16

Family

ID=77670530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006833 WO2021182103A1 (ja) 2020-03-11 2021-02-24 学習済モデル生成プログラム、画像生成プログラム、学習済モデル生成装置、画像生成装置、学習済モデル生成方法及び画像生成方法

Country Status (5)

Country Link
US (1) US12367620B2 (ja)
EP (1) EP4119059A4 (ja)
JP (1) JP7527675B2 (ja)
CN (1) CN115243618A (ja)
WO (1) WO2021182103A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016033458A1 (en) * 2014-08-29 2016-03-03 The University Of North Carolina At Chapel Hill Restoring image quality of reduced radiotracer dose positron emission tomography (pet) images using combined pet and magnetic resonance (mr)
JP2018134199A (ja) 2017-02-21 2018-08-30 株式会社日立製作所 医用撮像装置、画像処理方法及びプログラム
US20190325621A1 (en) * 2016-06-24 2019-10-24 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
US20190353741A1 (en) * 2018-05-16 2019-11-21 Siemens Healthcare Gmbh Deep Learning Reconstruction of Free Breathing Perfusion
US20190371018A1 (en) * 2018-05-29 2019-12-05 Korea Advanced Institute Of Science And Technology Method for processing sparse-view computed tomography image using neural network and apparatus therefor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871332A (zh) * 2017-11-09 2018-04-03 南京邮电大学 一种基于残差学习的ct稀疏重建伪影校正方法及系统
US11062489B2 (en) * 2018-02-13 2021-07-13 Wisconsin Alumni Research Foundation System and method for multi-architecture computed tomography pipeline
MX2021011124A (es) * 2019-03-14 2021-10-14 Hyperfine Inc Tecnicas de aprendizaje profundo para generar imagenes por resonancia magnetica a partir de datos de frecuencia espacial.
US11176428B2 (en) * 2019-04-01 2021-11-16 Canon Medical Systems Corporation Apparatus and method for sinogram restoration in computed tomography (CT) using adaptive filtering with deep learning (DL)
US11315221B2 (en) * 2019-04-01 2022-04-26 Canon Medical Systems Corporation Apparatus and method for image reconstruction using feature-aware deep learning
US11100684B2 (en) * 2019-07-11 2021-08-24 Canon Medical Systems Corporation Apparatus and method for artifact detection and correction using deep learning
EP3770625B1 (en) * 2019-07-24 2024-06-26 Siemens Healthineers AG Mri using compressed sensing with improved regularization parameter
CN110751701B (zh) 2019-10-18 2021-03-30 北京航空航天大学 一种基于深度学习的x射线吸收衬度计算机断层成像不完备数据重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016033458A1 (en) * 2014-08-29 2016-03-03 The University Of North Carolina At Chapel Hill Restoring image quality of reduced radiotracer dose positron emission tomography (pet) images using combined pet and magnetic resonance (mr)
US20190325621A1 (en) * 2016-06-24 2019-10-24 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
JP2018134199A (ja) 2017-02-21 2018-08-30 株式会社日立製作所 医用撮像装置、画像処理方法及びプログラム
US20190353741A1 (en) * 2018-05-16 2019-11-21 Siemens Healthcare Gmbh Deep Learning Reconstruction of Free Breathing Perfusion
US20190371018A1 (en) * 2018-05-29 2019-12-05 Korea Advanced Institute Of Science And Technology Method for processing sparse-view computed tomography image using neural network and apparatus therefor

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAN YO SEOB, YOO JAEJUN, YE JONG CHUL: "Deep residual learning for compressed sensing CT reconstruction via persistent homology analysis", ARXIV: 1611.06391V2, 25 November 2016 (2016-11-25), pages 1 - 10, XP080733245, Retrieved from the Internet <URL:https://arxiv.org/abs/1611.06391> [retrieved on 20210408] *
MA, G. Y. ET AL.: "Low dose CT reconstruction assisted by an image manifold prior", ARXIV: 1810.12255, 29 October 2018 (2018-10-29), pages 1 - 15, XP081071090, Retrieved from the Internet <URL:https://arxiv.org/abs/1810.12255> [retrieved on 20210408] *
See also references of EP4119059A4
Z. WANGA. C. BOVIKH. R. SHEIKHE. P. SIMONCELLI: "Image quality assessment: From error visibility to structural similarity", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 13, no. 4, April 2004 (2004-04-01), pages 600 - 612, XP011110418, DOI: 10.1109/TIP.2003.819861

Also Published As

Publication number Publication date
JPWO2021182103A1 (ja) 2021-09-16
US12367620B2 (en) 2025-07-22
CN115243618A (zh) 2022-10-25
EP4119059A1 (en) 2023-01-18
US20230106845A1 (en) 2023-04-06
JP7527675B2 (ja) 2024-08-05
EP4119059A4 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
US11126914B2 (en) Image generation using machine learning
US12073492B2 (en) Method and system for generating attenuation map from SPECT emission data
US11257191B2 (en) Systems and methods for deblurring medical images using deep neural network
CN110298447B (zh) 用于处理机器学习方法的参数的方法以及重建方法
US12299841B2 (en) Medical data processing method, model generation method, medical data processing apparatus, and computer-readable non-transitory storage medium storing medical data processing program
US11672498B2 (en) Information processing method, medical image diagnostic apparatus, and information processing system
US10970885B2 (en) Iterative image reconstruction
JP2024507766A (ja) 機械学習によるコントラスト強調
JP2024507767A (ja) コントラスト補正機械学習システムのための訓練データ合成器
CN116157826A (zh) 深度无监督的图像质量增强
JP6569733B2 (ja) 画像再構成処理方法、画像再構成処理プログラム並びにそれを搭載した断層撮影装置
Naziroglu et al. Simulation of scanner-and patient-specific low-dose CT imaging from existing CT images
US20230326596A1 (en) Information processing method, medical image diagnostic apparatus, and information processing system
WO2023009452A1 (en) Systems and methods to reduce unstructured and structured noise in image data
WO2021182103A1 (ja) 学習済モデル生成プログラム、画像生成プログラム、学習済モデル生成装置、画像生成装置、学習済モデル生成方法及び画像生成方法
Gao et al. Self-absorption correction in X-ray fluorescence-computed tomography with deep convolutional neural network
Garehdaghi et al. Positron emission tomography image enhancement using magnetic resonance images and U-net structure
CN117557663A (zh) 双域得分生成模型的稀疏视图断层扫描重建方法及系统
Wang et al. Helical ct reconstruction from sparse-view data through exploiting the 3d anatomical structure sparsity
Xie et al. A Generalizable 3D Diffusion Framework for Low-Dose and Few-View Cardiac SPECT
US12400331B2 (en) Systems and methods for medical image processing using deep neural network
Ali et al. Compressed sensing-based image reconstruction for discrete tomography with sparse view and limited angle geometries
US20230380788A1 (en) Information processing method, medical image diagnostic apparatus, and information processing system for processing metal artifact images
Lin et al. Continuous Filtered Backprojection by Learnable Interpolation Network
Moilanen Denoising computed tomography images with 3D-convolution based neural networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21767498

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022505900

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021767498

Country of ref document: EP

Effective date: 20221011