WO2023224022A1 - プログラム、情報処理方法、及び情報処理装置 - Google Patents

プログラム、情報処理方法、及び情報処理装置 Download PDF

Info

Publication number
WO2023224022A1
WO2023224022A1 PCT/JP2023/018208 JP2023018208W WO2023224022A1 WO 2023224022 A1 WO2023224022 A1 WO 2023224022A1 JP 2023018208 W JP2023018208 W JP 2023018208W WO 2023224022 A1 WO2023224022 A1 WO 2023224022A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
muscle
ray
learning model
Prior art date
Application number
PCT/JP2023/018208
Other languages
English (en)
French (fr)
Inventor
圭亮 上村
伸彦 菅野
正樹 ▲高▼尾
英敏 濱田
嘉伸 佐藤
義人 大竹
懿 谷
まあぜん 崇風
Original Assignee
国立大学法人大阪大学
国立大学法人 奈良先端科学技術大学院大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人大阪大学, 国立大学法人 奈良先端科学技術大学院大学 filed Critical 国立大学法人大阪大学
Publication of WO2023224022A1 publication Critical patent/WO2023224022A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning

Definitions

  • the present disclosure relates to a program, an information processing method, and an information processing device.
  • DXA Dual-energy X-ray Absorptiometry
  • bone density bone mass
  • Non-Patent Documents 1 to 3 a model that predicts bone density from X-ray images is generated by learning using pairs of X-ray images and measurement results (bone density) by a DXA device as training data. A technique has been proposed.
  • Non-Patent Documents 1 to 3 it is necessary to learn a large amount of training data, and the processing load of training data collection processing and learning processing is large.
  • An object of the present disclosure is to provide a program and the like that can acquire information regarding body tissue amount from X-ray images with high precision with a small number of cases.
  • a program acquires and acquires training data including an X-ray image of a target region and information regarding body tissue amount obtained from a CT (Computed Tomography) image of the target region.
  • a computer is caused to execute a process of generating a learning model that outputs information regarding the body tissue amount of a target region in the X-ray image when an X-ray image is input.
  • information regarding the amount of body tissue can be acquired from X-ray images with high precision with a small number of cases.
  • FIG. 1 is a block diagram illustrating a configuration example of an information processing device. It is an explanatory diagram showing an outline of a learning model. It is an explanatory diagram showing an outline of a learning model. It is an explanatory diagram showing an outline of a learning model. 3 is a flowchart illustrating an example of a training data generation process procedure. FIG. 3 is an explanatory diagram of a process for generating a DRR image for training. 3 is a flowchart illustrating an example of a learning model generation process procedure. It is a flowchart which shows an example of the estimation processing procedure of bone density. It is an explanatory diagram showing an example of a screen.
  • FIG. 3 is an explanatory diagram showing an overview of a learning model according to a second embodiment.
  • 12 is a flowchart illustrating an example of a training data generation processing procedure according to the second embodiment.
  • 7 is a flowchart illustrating an example of a procedure for estimating bone density according to the second embodiment. It is an explanatory diagram showing an example of a screen.
  • FIG. 7 is an explanatory diagram showing an overview of a learning model according to Embodiment 3; 12 is a flowchart illustrating an example of a training data generation processing procedure according to the third embodiment. It is a flow chart which shows an example of a muscle mass estimation processing procedure. It is an explanatory diagram showing an example of a screen. 12 is a flowchart illustrating an example of a bone density estimation processing procedure according to the fourth embodiment. It is an explanatory diagram showing an example of a screen. 12 is a flowchart illustrating an example of a procedure for estimating bone density and muscle mass according to the fifth embodiment. It is an explanatory diagram showing an example of a screen. 3 is a flowchart illustrating an example of a positioning process procedure. FIG.
  • FIG. 3 is an explanatory diagram of alignment processing.
  • FIG. 3 is an explanatory diagram of alignment processing.
  • FIG. 3 is an explanatory diagram of alignment processing.
  • FIG. 3 is an explanatory diagram of alignment processing.
  • 12 is a flowchart illustrating an example of a training data generation processing procedure according to the seventh embodiment.
  • FIG. 6 is an explanatory diagram showing the effect of alignment processing based on bone regions.
  • FIG. 6 is an explanatory diagram showing the effect of alignment processing based on bone regions.
  • FIG. 12 is an explanatory diagram showing a configuration example of a learning model according to an eighth embodiment. It is an explanatory view showing the effect of feedback processing of loss regarding muscle mass. It is an explanatory view showing the effect of feedback processing of loss regarding muscle mass.
  • Embodiment 1 An information processing device that estimates the bone density (information regarding the amount of body tissue) of a target region based on an X-ray image of the target region taken by an X-ray device will be described.
  • Bone density of the lumbar vertebrae or proximal femur is generally used to diagnose bone loss and osteoporosis. Therefore, in this embodiment, the target region is the proximal femur, and the bone density of the proximal femur is estimated from an X-ray image (frontal hip X-ray image) that includes the proximal femur within the imaging range.
  • the target site is not limited to the proximal femur, but may be other sites such as the lumbar vertebrae or thoracic vertebrae.
  • FIG. 1 is a block diagram showing an example of the configuration of an information processing device.
  • the information processing device 10 is a device capable of various information processing and transmission/reception of information, and is, for example, a personal computer, a server computer, a workstation, or the like.
  • the information processing device 10 is installed and used in a medical institution, a testing institution, a research institution, or the like.
  • the information processing device 10 may be a multicomputer configured to include a plurality of computers, or may be realized by a virtual machine virtually constructed within one device.
  • the information processing device 10 may be a local server installed at a medical institution or the like, or a cloud server communicatively connected via a network such as the Internet. good.
  • the following description will be made assuming that the information processing device 10 is one computer.
  • the information processing device 10 estimates the bone density of the proximal femur based on, for example, a hip joint X-ray frontal image. Specifically, as will be described later, the information processing device 10 performs machine learning in advance to learn predetermined training data, uses a hip joint X-ray frontal image as input, and calculates the proximal femur in the hip joint X-ray frontal image. A learning model 12M that outputs information regarding the bone density of the body (information regarding the amount of body tissue) is prepared in advance. Then, the information processing device 10 acquires information regarding the bone density of the proximal femur from the learning model 12M by inputting the hip joint X-ray front image to the learning model 12M.
  • information regarding bone density is a DRR image (Digital Reconstructed Radiograph), which is a projected image of a three-dimensional region of the proximal femur in a CT image.
  • DRR image Digital Reconstructed Radiograph
  • X-ray images obtained by simulation are used.
  • Each pixel value of a CT image is a CT value corresponding to bone density, so a DRR image generated from a specific bone region in a CT image can show the distribution of bone density, for example, if bone density is high.
  • the information processing device 10 can obtain the bone density from the X-ray image by calculating the bone density of the proximal femur from the DRR image predicted using the learning model 12M. Since the imaging state in an X-ray image changes when the bone density decreases, in this embodiment, the learning model 12M is used to predict a DRR image corresponding to the bone density state of the bone region in the X-ray image. be able to.
  • the information processing device 10 includes a control section 11, a storage section 12, a communication section 13, an input section 14, a display section 15, a reading section 16, etc., and these sections are interconnected via a bus.
  • the control unit 11 includes one or more processors such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), a GPU (Graphics Processing Unit), and an AI chip (semiconductor for AI).
  • the control unit 11 executes the processing that the information processing device 10 should perform by appropriately executing the program 12P stored in the storage unit 12.
  • the storage unit 12 includes a RAM (Random Access Memory), a flash memory, a hard disk, an SSD (Solid State Drive), and the like.
  • the storage unit 12 stores in advance a program 12P (program product) to be executed by the control unit 11 and various data necessary for executing the program 12P.
  • the storage unit 12 also temporarily stores data and the like generated when the control unit 11 executes the program 12P.
  • the storage unit 12 stores a learning model 12M, which will be described later.
  • the learning model 12M is a model that has been trained to output a DRR image of the proximal femur included in the X-ray image when a hip joint X-ray frontal image is input.
  • the learning model 12M is assumed to be used as a program module that constitutes artificial intelligence software.
  • the storage unit 12 stores information defining the learning model 12M, such as information on layers included in the learning model 12M, information on nodes forming each layer, and weights (coupling coefficients) between nodes.
  • the storage unit 12 also stores a medical image DB 12a and a training DB 12b.
  • the medical image DB 12a stores hip X-ray front images and CT images prepared for learning of the learning model 12M in association with each other.
  • the medical images used for learning include hip X-ray frontal images and CT images of subjects diagnosed by the DXA apparatus as having normal bone density, osteoporosis, or bone loss.
  • the training DB 12b stores training data used for learning processing of the learning model 12M, and the training data is stored in the training DB 12b by the information processing device 10 performing a training data generation process described later.
  • the learning model 12M, medical image DB 12a, and training DB 12b may be stored in another storage device connected to the information processing device 10, or may be stored in another storage device with which the information processing device 10 can communicate.
  • the communication unit 13 is a communication module for connecting to a network N such as the Internet or a LAN (Local Area Network) through wired or wireless communication, and is capable of transmitting and receiving information to and from other devices via the network N. conduct.
  • the input unit 14 accepts operation input by the user and sends a control signal corresponding to the operation content to the control unit 11.
  • the display unit 15 is a liquid crystal display, an organic EL display, or the like, and displays various information according to instructions from the control unit 11. A part of the input section 14 and the display section 15 may be a touch panel configured as one unit. Note that the input unit 14 and the display unit 15 are not essential, and the information processing device 10 may be configured to accept operations through a connected computer and output information to be displayed to an external display device.
  • the reading unit 16 stores information stored in a portable storage medium 10a such as a CD (Compact Disc), a DVD (Digital Versatile Disc), a USB (Universal Serial Bus) memory, an SD card, a micro SD card, a CompactFlash (registered trademark), etc. Read information.
  • the program 12P (program product) and various data stored in the storage unit 12 may be read by the control unit 11 from the portable storage medium 10a via the reading unit 16 and stored in the storage unit 12. may be downloaded from another device via the communication unit 13 and stored in the storage unit 12.
  • FIGS. 2 to 3B are explanatory diagrams showing an overview of the learning model 12M.
  • FIG. 2 conceptually shows how the DRR image of the region of interest of the proximal femur is predicted from a half image of the hip joint X-ray front image
  • FIGS. 3A and 3B show the learning process of the learning model 12M. It conceptually shows the state of time.
  • FIG. 3A shows how the discriminator is learning
  • FIG. 3B shows how the generator is learning.
  • the learning model 12M predicts a DRR image of the region of interest by inputting a half image of the hip joint X-ray frontal image that includes the proximal part of the femur on the side on which bone density is to be estimated.
  • the half-divided X-ray image input to the learning model 12M may be an X-ray image including the left proximal femur, or may be an X-ray image including the right proximal femur.
  • the half-divided X-ray image is input to the learning model 12M after being horizontally reversed. This makes it possible to measure not only the left proximal femur but also the right proximal femur.
  • a GAN Geneative Adversarial Network
  • the learning model 12M shown in FIGS. 2 to 3B is composed of pix2pix.
  • GAN is equipped with a generator that generates output data from input data and a discriminator that identifies the truth or falsehood of the data generated by the generator, and the generator and discriminator compete to create an adversarial Build a network by learning.
  • the generator is a module that includes an encoder that extracts latent variables from input data and a decoder that generates output data from the extracted latent variables.
  • the learning model 12M prepares training data in which a training X-ray image (a half-split image of a hip joint X-ray front image) is associated with a training DRR image, and uses this training data to create an untrained learning model. It is generated by learning.
  • the X-ray images and DRR images for training are desirably front hip X-ray images and DRR images of a subject who has been diagnosed by the DXA apparatus as having normal bone density, osteoporosis, or bone loss.
  • the information processing apparatus 10 of this embodiment performs learning using X-ray images and DRR images prepared for training, and generates a learning model 12M that predicts DRR images from X-ray images.
  • the information processing device 10 alternately updates the parameters (weights, etc.) of the generator shown in FIG. 3B and the parameters of the discriminator shown in FIG. 3A, and when the change in the error function converges.
  • the learning is completed.
  • the information processing apparatus 10 fixes the parameters of the generator and inputs training X-ray images to the generator.
  • the generator receives an input of a training X-ray image and generates a DRR image (information regarding the amount of body tissue in the target region) as output data.
  • the information processing device 10 sets a pair of an X-ray image (an X-ray image for training) and a DRR image (a DRR image generated by the generator) corresponding to the input and output of the generator as false data, and includes the pair in the training data.
  • a pair of an X-ray image and a DRR image is given to a discriminator as true data, and the discriminator is caused to discriminate between authenticity and falsehood.
  • the information processing device 10 updates the parameters of the discriminator so that it outputs a false value when false data is input, and outputs a true value when true data is input.
  • the parameters to be updated include the weights (coupling coefficients) between nodes in the classifier, and the parameter optimization method may use an error backpropagation method, steepest descent method, or the like.
  • the parameters of the classifier are fixed and learning is performed as shown in FIG. 3B.
  • the information processing device 10 inputs a training X-ray image to a generator and inputs a DRR image generated by the generator to a discriminator
  • the information processing device 10 makes a mistake in determining authenticity (determining it as true).
  • the generator generates an image with characteristics similar to the training X-ray image (similar image gradients, similar statistics of the output distribution of the middle layer of the classifier, etc.).
  • Update the parameters of Here, too, the updated parameters are the weights (coupling coefficients) between nodes in the generator, etc.
  • the parameter optimization method can be the error backpropagation method, the steepest descent method, or the like.
  • FIG. 2 when an X-ray image is input, a learning model 12M that outputs a DRR image of the proximal femur in the X-ray image is generated.
  • the information processing device 10 prepares such a learning model 12M in advance and uses it when generating (predicting) a DRR image from an X-ray image.
  • the information processing apparatus 10 uses only a generator as shown in FIG. Learning of the learning model 12M may be performed by another learning device.
  • the trained learning model 12M generated by learning performed in another learning device is downloaded from the learning device to the information processing device 10 via the network N or the portable storage medium 10a, and is stored in the storage unit 12. Ru. Note that in the trained learning model 12M, only the generator that generates the DRR image from the X-ray image may be downloaded from the learning device to the information processing device 10.
  • the learning model 12M may be a GAN such as CycleGAN or StarGAN.
  • the learning model 12M is not limited to GAN, but may be a neural network such as VAE (Variational Autoencoder), CNN (Convolutional Neural Network) (for example, U-net), or a model based on other learning algorithms. It may be configured by combining learning algorithms.
  • FIG. 4 is a flowchart showing an example of a training data generation process procedure
  • FIG. 5 is an explanatory diagram of a training DRR image generation process.
  • the following processing is executed by the control unit 11 of the information processing device 10 according to the program 12P stored in the storage unit 12, but may be executed by another information processing device or a learning device.
  • pairs of hip joint X-ray frontal images and CT images which capture areas including the subject's pelvis and left and right femurs, are associated as X-ray images and CT images used to generate training data. It is assumed that the images are stored in the medical image DB 12a.
  • the control unit 11 of the information processing device 10 reads out one pair of a hip joint X-ray frontal image and a CT image stored in the medical image DB 12a (S11). First, the control unit 11 performs brightness value calibration processing on the read CT image (S12), and corrects each brightness value (CT value) in the CT image.
  • the brightness value (CT value) of each pixel measured by CT has deviations due to individual differences in X-ray CT equipment, differences in installation environment, imaging conditions, etc., so calibration is required to correct deviations in measured values. need to be done.
  • Calibration processing of CT images is performed, for example, when installing an X-ray CT apparatus, when replacing parts such as a tube, when starting imaging, or using regularly acquired calibration data.
  • the calibration data consists of the radiation density (CT value expressed in HU (Hounsfield units)) obtained by photographing a phantom made of a material whose properties are known in advance using an X-ray CT device, and the structure of the material. generated based on the density. Specifically, a conversion formula for converting the radiation density obtained by passing through the phantom into the tissue density of the substance is used as the calibration data.
  • CT value expressed in HU (Hounsfield units)
  • control unit 11 uses a segmentation DNN (Deep Neural Network) to divide each pixel in the CT image into bone regions, muscle regions, and other regions on the CT image that has been subjected to the calibration process in step S12. (S13).
  • segmentation DNN Deep Neural Network
  • the process of classifying each pixel of a CT image into a musculoskeletal region can be carried out, for example, by the inventor's " The method described in the paper entitled “Automated Muscle Segmentation from Clinical CT Using Bayesian U-Net for Personalized Musculoskeletal Modeling" by Yoshito Otake and others can be used.
  • a CT image is input, each pixel of the input CT image is classified into bone region, muscle region, or other region, and each pixel is associated with a label for each region.
  • a musculoskeletal segmentation model is disclosed that outputs CT images (musculoskeletal label images).
  • the musculoskeletal segmentation model disclosed in the paper is composed of a Bayesian U-net.
  • a musculoskeletal label image is obtained from the CT image in which each pixel in the CT image is classified into one of three regions and a label for each region is associated. can.
  • each pixel in the musculoskeletal label image is schematically represented with a color (shade) depending on the classified area, muscle type, etc.
  • the control unit 11 extracts bone region data from the CT image based on the musculoskeletal label image generated from the CT image (S14). Then, as shown in (3) in FIG. 5, the control unit 11 extracts data of the region of interest (here, the proximal portion of the left femur) from the data of the extracted bone region (CT image) (S15). .
  • the process of extracting the region of interest from the bone region can be performed, for example, by pattern matching using a template.
  • a template indicating the shape of the proximal portion of the left femur is stored in advance in the storage unit 12, and the control unit 11 determines whether there is an area that matches the template from the CT image of the bone area and matches the template.
  • the process of extracting a region of interest from a bone region is performed using machine learning such that, for example, when a CT image of a bone region is input, a region of interest (region of the proximal left femur) in the bone region is output. This can also be done using a trained learning model.
  • the control unit 11 can input the CT image of the bone region to the learning model, and specify and extract the region of interest in the bone region based on the output information from the learning model.
  • control unit 11 determines the imaging target (here, the left thigh (proximal part of the bone) is aligned (S16).
  • the control unit 11 detects the brightness gradient (edge) of the X-ray image based on the pixel value of each pixel, and identifies the imaging target in the X-ray image based on the detected brightness gradient.
  • the control unit 11 may identify the object to be imaged in the X-ray image by pattern matching using a template prepared in advance, or by using a learning model trained in advance.
  • control unit 11 specifies an imaging direction that matches the imaging target in the X-ray image with respect to the region of interest in the CT image (the proximal part of the left femur, which is the imaging target), and A CT image with the area viewed is generated. Thereby, as shown in (4) in FIG. 5, it is possible to obtain a CT image of the region of interest that has been aligned with the imaging target in the X-ray image.
  • the positioning of the object to be imaged in the X-ray image and the object to be imaged in the CT image can be done, for example, as described by the inventor, ⁇ Kamimura,'' published in The Journal of Arthroplasty 33 (2016), P.
  • the method described in the paper titled "Can Anatomic Measurements of Stem Anteversion Angle Be Considered as the Functional Anteversion Angle?" by Keisuke et al. can be used.
  • segmentation using a hierarchical statistical shape model is performed on CT images of the pelvis and femur to identify the pelvis and femur in the CT image, and the pelvis and femur in the CT image are identified.
  • a technique for positioning (corresponding to) a pelvis and a femur in an X-ray image has been disclosed.
  • the positioning of X-ray images and CT images is described in the paper titled “3D- The method described in the paper ⁇ 2D registration in mobile radiographs: algorithm development and preliminary clinical evaluation'' can be used.
  • This paper discloses a technique for generating a CT image in which the object is viewed from the same direction as the direction in which the X-ray image is taken, by translating and rotating the CT image.
  • the control unit 11 selects each pixel of the CT image from the CT image of the region of interest (proximal left femur) that has been aligned with the imaging target (proximal left femur) in the X-ray image.
  • a DRR image of the region of interest is generated by projecting the image in the same direction as the imaging direction of the X-ray image (S17).
  • the control unit 11 calculates the integrated value of each pixel value (luminance value, voxel value) arranged in the same direction as the imaging direction of the X-ray image in the CT image, and applies the calculated integrated value to each of the DRR images of the region of interest. Let it be a pixel value.
  • a DRR image of the region of interest as shown in (5) in FIG. 5 is obtained, and each pixel value in the DRR image becomes a value corresponding to the bone density at each position.
  • the control unit 11 extracts a half image including the proximal left femur from the hip joint X-ray frontal image acquired in step S11 (S18). Specifically, the control unit 11 extracts the right half region (the region including the left femur) obtained by dividing the hip joint X-ray front image in half at the center in the left-right direction. The control unit 11 associates the extracted X-ray image (half image of the hip joint X-ray front image) with the DRR image of the region of interest generated in step S17 and stores it in the training DB 12b as training data (S19).
  • the control unit 11 determines whether or not there are unprocessed images that have not been subjected to the training data generation process described above among the X-ray images and CT images stored in the medical image DB 12a (S20). . If it is determined that there are unprocessed images (S20: YES), the control unit 11 returns to the process of step S11, and performs the processes of steps S11 to S19 for the unprocessed X-ray images and CT images for which training data has been generated. Execute. If it is determined that there are no unprocessed images (S20: NO), the control unit 11 ends the series of processing.
  • training data used for learning the learning model 12M can be generated and stored in the training DB 12b based on the X-ray images and CT images stored in the medical image DB 12a.
  • the configuration may be such that the CT image is acquired, for example, via the network N or the portable storage medium 10a.
  • the control unit 11 may be configured to acquire X-ray images and CT images from electronic medical record data stored in an electronic medical record server.
  • the region of interest in the bone region is extracted from the CT image, and then the region of interest is aligned with the X-ray image.
  • a configuration in which regions are extracted may also be used.
  • FIG. 6 is a flowchart showing an example of the procedure for generating the learning model 12M.
  • the following processing is executed by the control unit 11 of the information processing device 10 according to the program 12P stored in the storage unit 12, but may be executed by another learning device. Further, the training data generation process shown in FIG. 4 and the learning model 12M generation process shown in FIG. 6 may be performed by separate devices.
  • the control unit 11 of the information processing device 10 acquires one piece of training data from the training DB 12b (S31). Specifically, the control unit 11 generates a half image of the hip joint X-ray frontal image (specifically, an X-ray image including the region of the proximal left femur) and a DRR image stored in the training DB 12b. Read one pair. The control unit 11 performs a learning process on the learning model 12M using the read training data (S32). Here, the control unit 11 updates the parameters of the generator and classifier of the learning model 12M according to the procedure described above, and when inputting the X-ray images included in the training data, A learning model 12M that generates and outputs a DRR image of the body part is generated.
  • the control unit 11 determines whether or not there is unprocessed training data that has not been subjected to learning processing among the training data stored in the training DB 12b (S33). If it is determined that there is unprocessed training data (S33: YES), the control unit 11 returns to the process of step S31, and executes the processes of steps S31 to S32 for the training data that has not been subjected to the learning process. If it is determined that there is no unprocessed training data (S33: NO), the control unit 11 ends the series of processes. Through the learning process described above, by inputting an X-ray image including a region of the proximal femur, a learning model 12M that outputs a DRR image of the proximal femur is generated.
  • the learning model 12M By repeatedly performing the learning process using the training data as described above, the learning model 12M can be further optimized. Moreover, the learning model 12M that has already been trained can also be retrained by performing the learning process described above, and in this case, a learning model 12M with higher accuracy can be generated.
  • the learning model 12M of this embodiment uses a segmentation technology to classify musculoskeletal regions from CT images with high accuracy, and a technology to align target areas in X-ray images and target areas in CT images with high accuracy. Learning is performed using training data in which abundant three-dimensional data obtained by CT and X-ray images can be spatially correlated with high accuracy. Therefore, it is possible to realize the learning model 12M that can generate highly accurate DRR images without requiring a large number of cases (training data).
  • FIG. 7 is a flowchart showing an example of a procedure for estimating bone density
  • FIG. 8 is an explanatory diagram showing an example of a screen.
  • the following processing is executed by the control unit 11 of the information processing device 10 according to the program 12P stored in the storage unit 12.
  • a DRR image generated from an X-ray image using the learning model 12M will be referred to as a predicted DRR image.
  • the control unit 11 of the information processing device 10 acquires a hip joint X-ray frontal image obtained by photographing a region including the pelvis and left and right femurs of a subject such as a patient using an X-ray device (S41).
  • the control unit 11 acquires a hip X-ray frontal image of a patient whose bone density is to be estimated, from electronic medical record data stored in an electronic medical record server, for example. Further, when the hip joint X-ray frontal image of the subject is stored in the portable storage medium 10a, the control unit 11 may read the hip joint X-ray frontal image from the portable storage medium 10a using the reading unit 16. .
  • the control unit 11 extracts a half image including the proximal portion of the femur on the side where the bone density is to be measured from the obtained hip joint X-ray frontal image (S42). Specifically, the control unit 11 extracts the right half region (the region including the left femur) obtained by dividing the hip joint X-ray front image in half at the center in the left-right direction. Note that, when measuring the bone density of the proximal right femur of the subject, the control unit 11 extracts the left half region (the region including the right femur) of the hip joint X-ray frontal image and then inverts the left half of the hip joint X-ray front image. Execute the process.
  • the control unit 11 generates a predicted DRR image of the proximal femur in the X-ray image based on the half image of the X-ray image extracted in step S42 (S43). Specifically, the control unit 11 inputs an X-ray image including the proximal portion of the femur (a half image of a hip joint X-ray front image) to the learning model 12M, and A predicted DRR image of is acquired as output information from the learning model 12M.
  • the control unit 11 calculates the bone density of the proximal femur from the generated predicted DRR image of the proximal femur (S44). Each pixel value of the predicted DRR image is a value corresponding to the bone density, and the control unit 11 calculates the average value of each pixel value in the predicted DRR image, for example, to determine the value of the proximal femur. Calculate bone density. In addition to bone mineral density (BMD), the control unit 11 calculates a young adult comparison result (YAM: Young Adult Mean) calculated from the bone density, and a same-age comparison result. The control unit 11 stores the calculated test results in, for example, electronic medical record data of an electronic medical record server (S45).
  • YAM Young Adult Mean
  • the control unit 11 generates a screen that displays the test results, outputs it to the display unit 15, for example (S46), displays it on the display unit 15, and ends the process.
  • the control unit 11 generates a test result screen as shown in FIG.
  • the screen shown in FIG. 8 displays identification information of the subject (for example, patient ID, patient name, etc.), a frontal X-ray image of the hip joint, and the date and time of its imaging.
  • the screen shown in FIG. 8 displays the predicted DRR image, the name of the target region in the predicted DRR image (proximal left femur in FIG. 8), and the predicted DRR as the bone density test results based on the hip joint X-ray frontal image.
  • the bone density of the proximal femur in the hip joint X-ray frontal image is estimated from the hip joint X-ray frontal image taken using an X-ray device commonly used in medical institutions. can do. Furthermore, in the present embodiment, it is possible to present a predicted DRR image of the proximal femur generated from a hip joint X-ray frontal image and a bone density estimated from the predicted DRR image to a doctor or the like. Therefore, the doctor can judge the condition of the patient's proximal femur based on the predicted DRR image and the estimated bone density.
  • the learning model 12M automatically extracts the characteristics of the imaging state of the proximal femur in the X-ray image and generates a predicted DRR image, so there is no need to perform an examination using a DXA device or the like.
  • bone density can be estimated simply by taking an image with an X-ray device. Therefore, it is possible to estimate the bone density of a target region from an X-ray image taken during a medical checkup or at a small-scale clinic, so a bone density measurement test can be carried out easily. Therefore, it is expected that early diagnosis and early therapeutic intervention of bone loss or osteoporosis will become possible, that fractures associated with bone loss or osteoporosis will be prevented, and that this will contribute to extending healthy life expectancy.
  • the spatial alignment of the target site (proximal femur) in the X-ray image and the target site in the CT image can be achieved with high precision. Therefore, by using training data based on highly precisely aligned X-ray images and CT images (DRR images), it is possible to generate highly accurate predicted DRR images without learning a large amount of training data.
  • a predicted DRR image is generated from an X-ray image using the learning model 12M that is trained using 200 pairs of training data generated from X-ray images and CT images collected from patients with osteoarthritis of the hip joint
  • FIGS. 9A and 9B Comparison results between the bone density of the proximal femur estimated from the predicted DRR image and the bone density of the proximal femur measured using a DXA device are shown in FIGS. 9A and 9B.
  • FIGS. 9A and 9B are charts showing the relationship between the bone density estimated from the predicted DRR image and the bone density measured by the DXA device.
  • the chart shown in FIG. 9A and the chart shown in FIG. 9B respectively show verification results based on X-ray images and bone mineral density (BMD) collected by X-ray devices and DXA devices of different medical institutions.
  • BMD bone mineral density
  • the horizontal axis shows the bone density of the proximal femur estimated from the predicted DRR image
  • the vertical axis shows the bone density of the proximal femur measured by the DXA device.
  • the horizontal axis shows the bone density of the proximal femur measured by the DXA device
  • the vertical axis shows the bone density of the proximal femur estimated from the predicted DRR image.
  • a predicted DRR image of the proximal femur is generated from an X-ray image including the proximal femur using the learning model 12M, and the bone density of the proximal femur is calculated from the predicted DRR image.
  • the configuration to be estimated has been explained.
  • the target site for bone density estimation may be the lumbar vertebrae, thoracic vertebrae, cervical vertebrae, clavicle, ribs, hand bones, foot bones, or specific parts thereof.
  • Training data and learning models are generated for other parts by similar processing, and bone density can be estimated using the learning models.
  • the training data generation process, the learning process of the learning model 12M using the training data, and the bone density estimation process using the learning model 12M are not limited to a configuration in which the information processing apparatus 10 performs them locally.
  • each information processing device may be provided to execute each of the above-described processes.
  • a server may be provided that executes the training data generation process and the learning process of the learning model 12M.
  • the information processing device 10 transmits the X-ray images and CT images used as training data to the server, the server generates training data from the X-ray images and CT images, and uses the generated training data. It is configured to generate a learning model 12M through learning processing and transmit it to the information processing device 10.
  • the information processing device 10 can realize the process of estimating the bone density of the target region using the learning model 12M acquired from the server.
  • a server may be provided that executes bone density estimation processing using the learning model 12M.
  • the information processing device 10 transmits the subject's X-ray image to the server, and the server performs a process of generating a predicted DRR image and a process of estimating bone density using the learning model 12M, and the generated predicted DRR It is configured to transmit the image and the estimated bone density to the information processing device 10. Even in the case of such a configuration, the same processing as in this embodiment described above is possible and the same effects can be obtained.
  • Embodiment 2 described above describes a configuration in which a predicted DRR image of a target site (for example, a proximal femur) is generated from an X-ray image of the target site, and the bone density of the target site is estimated from the predicted DRR image. did.
  • a target site for example, a proximal femur
  • an information processing apparatus that estimates the bone density of a target site whose bone density is desired to be estimated from an X-ray image of a site different from the target site whose bone density is desired to be estimated will be described.
  • the information processing apparatus of this embodiment has the same configuration as the information processing apparatus 10 of Embodiment 1, so a description of the configuration will be omitted.
  • the information processing device 10 of this embodiment stores a bone density estimation learning model 12M1 (see FIG. 10) in the storage unit 12.
  • the medical image DB 12a of this embodiment corresponds to X-ray images and CT images of a site different from the target site for which bone density is to be estimated, and bone density measured by a DXA device for the target site for which bone density is to be estimated. It is attached and memorized. Since this embodiment is configured to estimate the bone density of the proximal femur from a chest X-ray image, the medical image DB 12a contains X-ray images and CT images of the chest of the subject, and Bone density measured with a DXA device for the proximal part of the femur is stored.
  • the bone density stored in the medical image DB 12a may be the bone density of a site used for diagnosis of bone loss and osteoporosis, and may be the bone density of the lumbar vertebrae, pelvis, or femur, or the bone density of the whole body. It may be the average value or median value of bone density of .
  • FIG. 10 is an explanatory diagram showing an overview of the learning models 12M and 12M1 of the second embodiment.
  • the information processing device 10 of this embodiment estimates the bone density of the proximal femur, for example, the ribs, clavicle, thoracic vertebrae, etc. that are imaged in chest X-rays.
  • a predicted DRR image of the region is generated from the X-ray image of the region using the learning model 12M.
  • the information processing device 10 estimates the bone density of the proximal femur from the generated predicted DRR image using the bone density estimation learning model 12M1 (second learning model).
  • the X-ray images used for estimating the bone density of the proximal femur are not limited to the ribs, clavicle, thoracic vertebrae, etc., and may include any bone in the X-ray image where the proximal femur is not imaged. can be used.
  • the bone density estimation learning model 12M1 is a machine learning model that has already learned predetermined training data. It has been trained to output the bone density of the area.
  • the bone density estimation learning model 12M1 is assumed to be used as a program module that constitutes artificial intelligence software.
  • the bone density estimation learning model 12M1 is configured, for example, by CNN, but may be configured using other algorithms such as logistic regression or linear regression, or may be configured by combining a plurality of algorithms. It is thought that the bone density of human bones decreases in the same way in each bone in the body, so it is thought that there is a strong correlation between the bone density of the bone targeted for CT images and the bone density of bones other than the bones targeted for imaging. It will be done. Therefore, in this embodiment, the bone density of a site other than the imaging target, which is predicted from the CT image (DRR image), can be estimated using the bone density estimation learning model 12M1.
  • the learning model 12M1 for bone density estimation prepares training data in which a DRR image for training is associated with a bone density for training (correct answer), and uses this training data to perform machine learning on the unlearned learning model 12M1.
  • a DRR image for training for example, a DRR image generated from a CT image taken of the chest of a subject who has been diagnosed with a DXA device as having normal bone density, osteoporosis, or bone loss can be used.
  • the bone density for training the bone density of the proximal femur of the subject measured using a DXA device can be used.
  • the information processing device 10 of the present embodiment performs learning using a DRR image and bone density prepared for training, and performs bone density estimation that outputs bone density of a region other than the imaging target of the DRR image from the DRR image.
  • a learning model 12M1 is generated.
  • the bone density estimation learning model 12M1 learns to output the correct bone density when a training DRR image is input.
  • the learning model 12M1 performs calculations based on the input DRR image and calculates an output value that is the calculation result.
  • the learning model 12M1 compares the calculated output value and the correct bone density, and optimizes the parameters used for the calculation process so that the two approximate each other.
  • the parameters are weights (coupling coefficients) between nodes in the bone density estimation learning model 12M1, and the parameter optimization method can be an error backpropagation method, steepest descent method, or the like.
  • a learning model 12M1 is generated that outputs the bone density of the proximal femur when a DRR image generated from a chest CT image is input. Learning of the bone density estimation learning model 12M1 may also be performed by another learning device.
  • FIG. 11 is a flowchart illustrating an example of a training data generation processing procedure according to the second embodiment.
  • the process shown in FIG. 11 is the same as the process shown in FIG. 4 by adding step S51 instead of step S11, deleting step S18, and adding step S52 between steps S19 and S20. Description of the same steps as in FIG. 4 will be omitted.
  • the medical image DB 12a contains chest X-ray images and chest CT images of each subject's chest, and each subject's chest X-ray images and chest CT images measured by the DXA device, for learning of the learning models 12M and 12M1. It is assumed that the bone density of the proximal part of the femur is stored in association with the bone density of the proximal part of the femur.
  • the control unit 11 of the information processing device 10 of this embodiment reads one set of chest X-ray images, chest CT images, and bone density of the proximal femur from the medical image DB 12a (S51). Then, the control unit 11 executes the same processing as steps S12 to S17 and S19 in FIG. That is, the control unit 11 executes a calibration process on the chest CT image (S12), classifies each pixel of the chest CT image into one of a bone region, a muscle region, and another region (S13), Bone region data is extracted from the chest CT image (S14).
  • the control unit 11 extracts data of a region of interest (for example, ribs) from the CT image of the extracted bone region (S15), and extracts data from the chest X-ray image acquired at step S51 and the CT image extracted at step S15.
  • the imaging target here, the ribs
  • the imaging target is aligned with the region of interest (S16).
  • the control unit 11 generates a DRR image of the region of interest from the CT image of the region of interest (ribs) that has been aligned (S17), and combines the X-ray image acquired in step S51 with the region of interest generated in step S17.
  • the DRR image of the area is associated and stored in the training DB 12b as training data for learning the learning model 12M (S19).
  • the chest X-ray image read from the medical image DB 12a is used as training data as it is, but as in step S18 in FIG. 4, a region to be used as training data is extracted from the read X-ray image. Processing may be performed.
  • control unit 11 associates the DRR image of the region of interest generated in step S17 with the bone density of the proximal femur acquired in step S51, and performs training for learning the bone density estimation learning model 12M1.
  • the data is stored in the storage unit 12 as data (S52).
  • control unit 11 may prepare a DB in the storage unit 12 that stores training data for learning the bone density estimation learning model 12M1, and store the generated training data in this DB. After that, the control unit 11 moves to the process of step S20.
  • training data used for learning the learning model 12M can be generated and stored in the training DB 12b based on the X-ray images, CT images, and bone density stored in the medical image DB 12a, and Training data used for learning the bone density estimation learning model 12M1 can be generated and stored in the DB.
  • the generation of the bone density estimation learning model 12M1 can be realized by a process similar to the learning process shown in FIG. 6.
  • step S31 in FIG. Read out the bone density pairs of the regions.
  • the control unit 11 inputs the DRR image included in the training data to the bone density estimation learning model 12M1, and acquires output information from the bone density estimation learning model 12M1.
  • the control unit 11 compares the acquired output information and the bone density of the proximal femur included in the training data, and performs learning for bone density estimation using, for example, an error backpropagation method so that the two approximate each other. Parameters such as weights between nodes in model 12M1 are optimized.
  • a bone density estimation learning model 12M1 that outputs the bone density of the proximal portion of the femur is generated by inputting the DRR image generated from the CT image of the rib.
  • FIG. 12 is a flowchart showing an example of a bone density estimation processing procedure according to the second embodiment
  • FIG. 13 is an explanatory diagram showing an example of a screen.
  • the control unit 11 of the information processing device 10 acquires a chest X-ray image obtained by photographing the chest of the subject using an X-ray device (S61).
  • the control unit 11 acquires a chest X-ray image of the subject whose bone density is to be estimated, for example from electronic medical record data.
  • the control unit 11 inputs the acquired chest X-ray image to the learning model 12M, and generates a predicted DRR image of the target region (here, the rib) in the X-ray image (S62).
  • the control unit 11 acquires the predicted DRR image of the ribs as output information of the learning model 12M.
  • the acquired chest X-ray image is input as is into the learning model 12M, but as in step S42 in FIG. 7, the bone density of the proximal femur is estimated from the acquired X-ray image.
  • a configuration may also be adopted in which a process is performed to extract a region of a target part to be used, and an X-ray image of the extracted region is input to the learning model 12M.
  • target sites used for estimating the bone density of the proximal femur can include the clavicle, thoracic vertebrae, and the like.
  • the control unit 11 inputs the predicted DRR image of the ribs generated in step S62 to the bone density estimation learning model 12M1, and estimates the bone density of the proximal femur of the subject (S63). Note that the control unit 11 acquires the bone density of the proximal portion of the femur as output information of the bone density estimation learning model 12M1. The control unit 11 calculates numerical values indicating the results of the young adult comparison (YAM) and the same age comparison from the estimated bone mineral density (BMD) (S64). Then, the control unit 11 stores the test results in, for example, electronic medical record data (S65), generates a screen for displaying the test results, and outputs it to the display unit 15 (S66).
  • YAM young adult comparison
  • BMD estimated bone mineral density
  • the control unit 11 generates the test result screen shown in FIG. 13, for example.
  • the screen shown in FIG. 13 displays the subject's identification information, a chest X-ray image, and the date and time of its imaging, and displays a predicted DRR image of the ribs, a predicted DRR image, and The name of the target part in the image (ribs in FIG. 13), the bone density of the proximal femur estimated from the predicted DRR image, the young adult comparison, and the same age comparison are displayed.
  • a comment corresponding to the test result (bone density, young adult comparison, or same age comparison) is stored in the storage unit 12, the control unit 11 reads the comment corresponding to the test result from the storage unit 12. The results may be displayed on the test result screen.
  • the bone density of the proximal femur of the subject can be estimated from a chest X-ray image taken using an X-ray device. Therefore, in this embodiment, for example, when a chest X-ray image is taken during a medical checkup, the bone density of the proximal femur of the subject can be estimated from the chest X-ray image, and the bone density measurement test can be performed. can be carried out more easily during other inspections. Therefore, the possibility of bone loss or osteoporosis can be diagnosed even in subjects for whom bone density measurement is not the purpose of the test, and early diagnosis and early therapeutic intervention are possible.
  • a predicted DRR image of a predetermined region (for example, a rib) generated from a chest X-ray image and a bone density of the proximal femur estimated from the predicted DRR image are presented to a doctor or the like. Can be done. Therefore, a doctor can judge the condition of the patient's ribs and proximal femur based on the predicted DRR image of a predetermined region and the estimated bone density of the proximal femur, and diagnose bone loss or osteoporosis. can.
  • the target for bone density estimation is not limited to the proximal part of the femur, but can be any other part, and the target for X-ray images used for bone density estimation is other than the part targeted for bone density estimation. Any part of the body may be used.
  • the learning model 12M and the bone density estimation learning model 12M1 may be composed of one learning model.
  • the learning model may be configured to input a chest X-ray image and output the bone density of the proximal femur of the subject in the chest X-ray image.
  • a predicted DRR image of a predetermined region for example, a rib
  • the predicted DRR image is A learning model trained to generate and output a predicted DRR image of the proximal femur may be used.
  • the DRR image of the proximal femur of the subject can be estimated from the predicted DRR image of the ribs, and the DRR image of the proximal femur can be estimated based on the estimated DRR image of the proximal femur. It becomes possible to estimate bone density.
  • a learning model may be used that is trained to input a chest X-ray image and generate and output a predicted DRR image of the proximal femur of the subject in the chest X-ray image. In this case as well, it is possible to estimate the DRR image of the proximal femur of the subject from the chest X-ray image. It becomes possible to estimate the density.
  • the modifications described in the above-described first embodiment can be applied.
  • a predicted DRR image of the target site (bone region such as a proximal femur) is generated from an X-ray image of the target site, and the bone density of the target site is estimated from the predicted DRR image.
  • a predicted DRR image of the muscle region of the target region (e.g., muscle region of the lower abdomen, buttocks, etc.) is generated from an X-ray image of the target region, and the muscle mass of the target region is estimated from the generated predicted DRR image.
  • An information processing device that performs estimation will be explained.
  • the information processing apparatus of this embodiment has the same configuration as the information processing apparatus 10 of Embodiment 1, so a description of the configuration will be omitted.
  • the medical image DB 12a of this embodiment stores X-ray images and CT images of a region (muscle region) whose muscle mass is to be estimated in association with each other.
  • FIG. 14 is an explanatory diagram showing an overview of the learning model 12Ma of the third embodiment.
  • the learning model 12Ma of this embodiment has the same configuration as the learning model 12M of the first embodiment shown in FIG. 2, and is generated by the same learning process.
  • the learning model 12Ma of this embodiment is, for example, a muscle region of the buttocks generated from a hip joint X-ray front image (X-ray image of the buttocks) and a CT image of the buttocks (lower abdomen) taken with an X-ray CT device.
  • the DRR image of the buttock is used as training data to learn to output a DRR image (predicted DRR image, information regarding muscle mass) of the muscle region of the buttock when an X-ray image of the buttock is input.
  • the learning model 12Ma generates DRR images of multiple muscle regions such as the gluteus maximus, gluteus medius, and hamstrings, but is configured to generate a DRR image of any one muscle region. may be configured. For example, if there is a muscle region that can be used for sarcopenia diagnosis, the learning model 12Ma may be generated to generate a DRR image of the muscle region.
  • FIG. 15 is a flowchart illustrating an example of a training data generation processing procedure according to the third embodiment.
  • the process shown in FIG. 15 is the process shown in FIG. 4 except that step S71 is added instead of step S14, steps S15 to S16 and S18 are deleted, and steps S72 to S73 are added instead of steps S17 and S19. It is. Description of the same steps as in FIG. 4 will be omitted.
  • the control unit 11 of the information processing device 10 of this embodiment performs the same processing as steps S11 to S13 in FIG. 4. That is, the control unit 11 reads a pair of an X-ray image (frontal hip joint X-ray image) and a CT image from the medical image DB 12a, performs brightness value calibration processing on the read CT image, and then performs a brightness value calibration process on the read CT image. Each pixel is classified into bone region, muscle region, and other region (musculoskeletal region). Thereby, as shown in (1) in FIG. 5, a musculoskeletal label image in which each pixel in the CT image is classified into each region can be obtained. In this embodiment, the control unit 11 extracts muscle region data from the CT image based on the musculoskeletal label image (S71). The control unit 11 extracts muscle region data (CT images) for each type of muscle.
  • CT images muscle region data for each type of muscle.
  • the control unit 11 generates a DRR image of the muscle region by projecting each pixel of the CT image in a predetermined direction from the extracted muscle region data (CT image) (S72). For example, if an X-ray image is obtained by receiving radiation that has passed from the back to the front of the subject, the control unit 11 may move each pixel of the CT image of the muscle region from the back to the front of the subject. A DRR image projected in the direction of is generated.
  • the control unit 11 sets the integrated value of each pixel value (brightness value, voxel value) arranged in a predetermined direction in the CT image as each pixel value of the DRR image.
  • each pixel value in the DRR image of the muscle region is a value corresponding to the muscle density (muscle mass) at each position.
  • the control unit 11 aligns the imaging target (in this case, each muscle) in each image in the X-ray image acquired in step S11 and the CT image of the muscle region extracted in step S71, and performs alignment.
  • a DRR image may be generated by projecting each pixel of the subsequent CT image in the same direction as the imaging direction of the X-ray image.
  • the control unit 11 associates the X-ray image acquired in step S11 with the DRR image of the muscle region generated in step S72, and stores them as training data in the training DB 12b (S73). After that, the control unit 11 moves to the process of step S20.
  • training data used for learning the learning model 12Ma of this embodiment can be generated and accumulated in the training DB 12b based on the X-ray images and CT images stored in the medical image DB 12a.
  • the learning model 12Ma can be generated by a process similar to the learning process shown in FIG. 6.
  • FIG. 16 is a flowchart showing an example of a muscle mass estimation processing procedure
  • FIG. 17 is an explanatory diagram showing an example of a screen.
  • the process shown in FIG. 16 is the process shown in FIG. 7 by deleting step S42 and adding steps S81 to S82 instead of steps S43 to S44. Description of the same steps as in FIG. 7 will be omitted.
  • the control unit 11 of the information processing device 10 acquires a frontal X-ray image of the hip joint of the subject (S41).
  • the control unit 11 generates a predicted DRR image of the muscle region in the X-ray image based on the hip joint X-ray front image (S81).
  • the control unit 11 inputs the hip joint X-ray front image to the learning model 12Ma, and acquires a predicted DRR image of the buttock muscle region in the X-ray image as output information from the learning model 12Ma.
  • the control unit 11 calculates the muscle mass of each muscle in the buttock from the generated predicted DRR image of the muscle region (S82).
  • each pixel value of the predicted DRR image is a value corresponding to muscle density (muscle density)
  • the control unit 11 calculates the average value of each pixel value in the predicted DRR image. , calculate the muscle density in the muscle region. Furthermore, the control unit 11 calculates the muscle mass in the muscle region based on the calculated muscle density and the volume of the muscle region. Note that the control unit 11 calculates the muscle mass for each pixel based on each pixel value in the predicted DRR image, and integrates the muscle mass corresponding to each pixel to calculate the muscle mass in the muscle region. It may be calculated. Furthermore, the control unit 11 may predict the muscle mass of the subject's entire body based on the muscle mass in each muscle region.
  • the muscle mass of each muscle such as gluteus maximus, gluteus maximus, and hamstrings of a subject and the muscle mass of the subject's whole body
  • the muscle mass of the whole body of the subject can be predicted from the estimated muscle mass of each muscle.
  • the control unit 11 may predict the muscle mass of the subject's upper limbs, the muscle mass of the lower limbs, etc. based on the muscle mass in each muscle region.
  • the control unit 11 stores the calculated test results including the muscle density and muscle mass of each muscle in, for example, electronic medical record data (S45), generates a test result screen as shown in FIG. 17, and outputs it to the display unit 15. (S46).
  • the screen shown in FIG. 17 displays the subject's identification information, a hip joint X-ray frontal image, and the date and time of its imaging.
  • the screen shown in FIG. 17 also displays the predicted DRR image of each muscle, the target region name in the predicted DRR image (in FIG. 17, the gluteus maximus, gluteus medius , hamstrings), and display the muscle mass estimated from the predicted DRR image.
  • the control unit 11 displays a comment corresponding to the calculated test result (muscle density or muscle mass). may be read from the storage unit 12 and displayed on the test result screen as shown in FIG.
  • this embodiment it is possible to estimate the muscle mass of the muscle region in the hip joint X-ray frontal image from the hip joint X-ray frontal image taken using the X-ray device. Furthermore, in this embodiment, it is possible to present a predicted DRR image of a muscle region generated from a hip joint X-ray frontal image and a muscle amount estimated from the predicted DRR image to a doctor or the like. Therefore, the doctor can judge the patient's muscle condition based on the predicted DRR image and the estimated muscle mass.
  • the learning model 12Ma automatically extracts the characteristics of the imaging state of the muscle region in the X-ray image and generates a predicted DRR image of the muscle region, so there is no need to perform an examination using a DXA device or the like.
  • muscle mass can be estimated simply by taking an image with an X-ray device. Therefore, it is possible to estimate the muscle mass of a target region from an X-ray image taken during a medical checkup or at a small-scale clinic, so it is possible to easily perform a muscle mass measurement test. Therefore, it is expected that early diagnosis of sarcopenia, in which muscle mass and strength decrease with age, will be possible, and that it will prevent and suppress the onset and progression of sarcopenia and contribute to extending healthy life expectancy.
  • a learning model 12Ma that can generate a predicted DRR image of a muscle region in an X-ray image with high accuracy from an X-ray image. Therefore, in this embodiment, it is possible to predict muscle mass and muscle density from X-ray images to the same extent as the measurement results with the DXA apparatus, and the workload in training data collection processing and learning processing can be reduced.
  • the learning model 12Ma is used to generate a predicted DRR image of the muscle region of the buttock from an X-ray image of the buttock (lower abdomen), and estimate the muscle density and muscle mass of the buttock from the predicted DRR image.
  • the region to be estimated for muscle density and muscle mass may be the upper limb, lower limb, chest, abdomen, whole body, etc. in addition to the buttocks. Similar processing is performed for other parts to generate training data and learning models, making it possible to estimate muscle density and muscle mass using the learning models.
  • the muscle mass of the target region can be estimated from an X-ray image of the target region taken using an X-ray device. Therefore, it becomes possible to carry out muscle mass measurement tests more easily, and even in subjects who are not concerned about muscle mass, the possibility of diseases such as sarcopenia can be diagnosed, and sarcopenia can be detected at an early stage. Diagnosis and early therapeutic intervention become possible. Also, in this embodiment, the modifications described in the first and second embodiments described above can be applied.
  • Embodiment 4 An embodiment in which the configuration of Embodiment 1 and the configuration of Embodiment 2 are combined will be described. That is, in this embodiment, a predicted DRR image of the target area is generated from an X-ray image taken of the target area, and the bone density of the target area is estimated based on the generated predicted DRR image. describes an information processing device that estimates bone density in different parts.
  • the information processing apparatus of this embodiment has the same configuration as the information processing apparatus 10 of Embodiments 1 and 2, so a description of the configuration will be omitted.
  • the information processing device 10 of the present embodiment includes a learning model 12M that generates a predicted DRR image of the target region from an X-ray image of the target region, and a learning model 12M that generates a predicted DRR image of the target region from an X-ray image of the target region, and a bone density estimation of a region different from the target region from the DRR image of the target region.
  • the bone density estimation learning model 12M1 estimates the bone density.
  • the learning model 12M is a model that generates a predicted DRR image of the proximal femur from an X-ray image of the proximal femur
  • the learning model 12M1 for bone density estimation is a model that generates a predicted DRR image of the proximal femur. This is a model for estimating the bone density of ribs from DRR images.
  • the learning models 12M and 12M1 are not limited to such a configuration, and a plurality of types of models may be prepared for each of the learning models 12M and 12M1.
  • the learning model 12M includes a model that generates (predicts) a DRR image of the pelvis from an X-ray image of the pelvis, a model that generates a DRR image of the ribs, clavicle, or thoracic vertebrae from an X-ray image of the chest, etc. It's okay.
  • the bone density estimation learning model 12M1 estimates the bone density of ribs, clavicle, thoracic vertebrae, lumbar vertebrae, cervical vertebrae, hand bones, or foot bones from the DRR image of the proximal femur, pelvis, or femur.
  • a model for estimating the bone density of the proximal femur, lumbar vertebrae, cervical vertebrae, hand bones, or foot bones from a DRR image of the ribs, clavicle, or thoracic vertebrae may be prepared.
  • the information processing device 10 of this embodiment is capable of executing the processes shown in FIGS. 11 and 6, and generates training data for learning the learning models 12M and 12M1 by the processes shown in FIG. Through this process, the learning process of the learning models 12M and 12M1 is executed.
  • FIG. 18 is a flowchart showing an example of a bone density estimation processing procedure according to the fourth embodiment
  • FIG. 19 is an explanatory diagram showing an example of a screen.
  • the process shown in FIG. 18 is the process shown in FIG. 7 with steps S91 to S96 added after step S46. Description of the same steps as in FIG. 7 will be omitted.
  • the control unit 11 of the information processing device 10 executes the same processing as steps S41 to S46 in FIG. Thereby, the information processing device 10 estimates the bone density of the proximal femur of the subject from the hip X-ray frontal image of the subject, and displays a test result screen as shown in FIG.
  • the control unit 11 determines whether or not the bone density of a region other than the object of X-ray imaging should be estimated (S91). For example, as shown in FIG. 19, the examination result screen is provided with an input field for selecting a region other than the target of X-ray imaging, and the control unit 11 can select the other region through the input field. If input, it is determined that the bone density of the input region should be estimated. In the example shown in FIG. 19, a pull-down menu for selecting an arbitrary site is provided in the input field, and if a doctor, etc. wants to check the bone density of another site, they can select the desired site from the pull-down menu. do. If the control unit 11 determines that the bone density of other parts is not to be estimated (S91: NO), that is, if no other part is entered in the input field, the process ends.
  • the control unit 11 determines that the bone density of another region is to be estimated (S91: YES)
  • the control unit 11 selects the bone density estimation learning model 12M1 for the target region based on the region input in the input field (S92). ).
  • the predicted DRR image of the proximal femur has been generated in step S43, and the ribs have been selected as the other region to be estimated for bone density.
  • a bone density estimation learning model 12M1 is selected for estimating the bone density of ribs from the DRR image.
  • the control unit 11 inputs the predicted DRR image of the proximal femur generated in step S43 to the selected learning model for bone density estimation 12M1, and uses the output information from the learning model for bone density estimation 12M1 as input.
  • the bone density of the subject's ribs (other parts) is estimated (S93).
  • the control unit 11 executes the same processing as steps S64 to S65 in FIG. 12 (S94 to S95), and outputs the obtained test results to the currently displayed test result screen (S96).
  • the bone density of the subject's ribs can be displayed.
  • the same effects as in each of the above-described embodiments can be obtained. Further, in this embodiment, from an X-ray image taken of the target region, it is possible to estimate and present not only the bone density of the target region but also the bone density of other regions. Therefore, in the present embodiment, based on an X-ray image taken during a medical checkup or hospital visit, it is possible to estimate not only the bone density of the region targeted for imaging of the X-ray image, but also the bone density of other regions.
  • Embodiment 5 An embodiment in which the configuration of Embodiment 1 and the configuration of Embodiment 3 are combined will be described. That is, in this embodiment, an information processing apparatus that estimates the bone density in the bone region of the target region from an X-ray image taken of the target region and estimates the muscle mass in the muscle region of the target region will be described.
  • the information processing apparatus of this embodiment has the same configuration as the information processing apparatus 10 of Embodiments 1 and 3, so a description of the configuration will be omitted.
  • the information processing device 10 of the present embodiment includes a learning model 12M that generates a predicted DRR image of a bone region of a target region from an X-ray image of the target region, and a learning model 12M that generates a predicted DRR image of a bone region of the target region from an X-ray image of the target region, and a learning model 12M that generates a predicted DRR image of a bone region of the target region from an X-ray image of the target region. It has a learning model 12Ma that generates a predicted DRR image.
  • the learning model 12M is a model that generates a predicted DRR image of the proximal femur from a hip joint X-ray frontal image
  • the learning model 12Ma is a model that generates a predicted DRR image of the buttock muscle region from a hip joint X-ray frontal image.
  • the learning models 12M and 12Ma are not limited to such a configuration, and a plurality of types of models may be prepared for each of the learning models 12M and 12Ma.
  • a model that generates (predicts) a DRR image of ribs, clavicle, or thoracic vertebrae from an X-ray image of the chest may be prepared
  • a model that generates (predicts) a DRR image of the ribs, clavicle, or thoracic vertebrae from an X-ray image of the chest may be prepared.
  • a model may be prepared that generates a DRR image of the pectoralis minor muscle, subclavian muscle, serratus anterior muscle, or intercostal muscle.
  • the information processing device 10 of this embodiment is capable of executing the processes shown in FIGS. 4, 6, and 15, and can generate training data for learning the learning model 12M by the processes shown in FIG.
  • the training data for learning of the learning model 12Ma is generated by the process shown, and the learning process of the learning models 12M and 12Ma is executed by the process shown in FIG.
  • FIG. 20 is a flowchart showing an example of a procedure for estimating bone density and muscle mass according to the fifth embodiment
  • FIG. 21 is an explanatory diagram showing an example of a screen.
  • the process shown in FIG. 20 is the same as the process shown in FIG. 7, with step S101 added between steps S41 and S42, and steps S102 to S106 added after step S46. Description of the same steps as in FIG. 7 will be omitted.
  • the control unit 11 of the information processing device 10 determines whether the bone density of the proximal femur should be estimated based on the acquired X-ray image. (S101). For example, a doctor or the like specifies whether to estimate the bone density of the bone region or the muscle mass of the muscle region for the subject of X-ray imaging via a menu screen (not shown). do. When estimation of the bone density of the bone region is specified via the menu screen, the control unit 11 determines to estimate the bone density of the proximal femur (S101: YES), and performs steps S42 to S46 in FIG. Executes the same process as . Thereby, the information processing device 10 estimates the bone density of the proximal femur of the subject from the hip X-ray frontal image of the subject, and displays a test result screen as shown in FIG.
  • step S102 the control unit 11 determines that the bone density of the proximal femur is not to be estimated (S101: NO).
  • the control unit 11 proceeds to the process of step S102, and estimates the muscle density of the buttock muscle region that is the subject of the acquired X-ray image. It is determined whether the amount should be estimated (S102). If estimation of the muscle mass of the muscle region is not specified via the menu screen, the control unit 11 determines not to estimate the muscle mass of the buttock (S102: NO), and ends the process. On the other hand, when estimation of the muscle mass of the muscle region is specified via the menu screen, the control unit 11 determines to estimate the muscle mass of the buttocks (S102: YES), and steps S81 to S82 and S45 in FIG.
  • the information processing device 10 estimates the muscle mass of the subject's buttock muscle region from the subject's hip joint X-ray frontal image, and outputs the obtained test result to the currently displayed test result screen. (S106). Therefore, as shown in FIG. 21, in addition to the bone density of the proximal femur estimated from the hip joint X-ray front image, the muscle mass of the subject's buttocks can be displayed.
  • the muscle mass of the subject's buttocks can be displayed.
  • the force can be switched as appropriate according to a designation from a user such as a doctor.
  • the same effects as in each of the above-described embodiments can be obtained. Further, in this embodiment, from an X-ray image taken of the target region, it is possible to estimate and present not only the bone density of the bone region of the target region but also the muscle mass of the muscle region of the target region. Therefore, the bone condition and muscle condition of the object to be imaged can be confirmed, which enables early diagnosis of bone loss or osteoporosis, as well as early diagnosis of diseases such as sarcopenia. Also in this embodiment, the modifications described in each of the above-described embodiments can be applied.
  • Embodiment 6 In Embodiments 1 to 5 described above, in an X-ray image (simple X-ray image) and a CT image taken of the same object of the same subject, the information processing device determines the bone region (target region) in the X-ray image. A process for aligning a bone region (target region or region of interest) in a CT image will be described.
  • the information processing apparatus of this embodiment has the same configuration as the information processing apparatus 10 of Embodiments 1 to 5, so a description of the configuration will be omitted.
  • FIG. 22 is a flowchart showing an example of the alignment process procedure
  • FIGS. 23A to 24B are explanatory diagrams of the alignment process.
  • the alignment process shown in FIG. 22 is the process of step S16 in FIGS. 4 and 11. Therefore, in this embodiment, the control unit 11 of the information processing device 10 executes the process in FIG. 22 after the process in step S15 in FIGS. 4 and 11, and then executes the process in step S17 in FIGS. 4 and 11. Execute.
  • the pelvis is taken as the region of interest, and alignment between the pelvis in a hip joint X-ray front image and the pelvis in a CT image will be explained as an example, but the bone region used for alignment is not limited to the region of interest.
  • Any bone region captured in the X-ray and CT images can be used for alignment.
  • the femur, proximal part of the femur, etc. may be used for positioning.
  • the control unit 11 specifies a region of interest (here, the pelvis) in the X-ray image (here, the hip joint X-ray front image) acquired at step S11 (S111).
  • a region of interest here, the pelvis
  • the process of identifying the region of interest in an X-ray image can be performed, for example, by pattern matching using a template that indicates the shape of the region of interest. This can be done using a learning model that is machine learned to output the region of interest.
  • the region of the pelvis indicated by a solid line in the X-ray image shown in FIG. 23A, for example, is specified.
  • the control unit 11 generates a pseudo DRR image of the region of interest based on the region of interest in the CT image extracted in step S15 (S112).
  • the control unit 11 generates a pseudo DRR image of the pelvis.
  • the control unit 11 projects the region of interest in the CT image (three-dimensional CT image of the pelvis) into the three-dimensional virtual space of the X-ray imaging system under predetermined projection conditions (virtual A pseudo DRR image (projection image) is generated by projecting the region of interest from a virtual X-ray source onto a two-dimensional X-ray imaging plane.
  • the imaging conditions for example, the posture of the subject, the flexion angle of the joints, etc.
  • the region of interest in the pseudo DRR image generated from the CT image is The contour does not match the contour of the region of interest in the X-ray image.
  • the outline P1 of the region of interest in the X-ray image is shown by a solid line
  • the outline P2 of the region of interest in the pseudo DRR image is shown by a broken line.
  • the control unit 11 updates the projection conditions of the region of interest in the CT image to improve the correlation between the contour P1 of the region of interest in the X-ray image and the contour P2 of the region of interest in the pseudo DRR image. Identify the projection condition that maximizes the value. With such projection conditions, it is possible to obtain a pseudo DRR image in which the region of interest in the pseudo DRR image is accurately aligned with the region of interest in the X-ray image, as shown in FIG. 24B.
  • the control unit 11 calculates a correlation value between the contour of the region of interest in the X-ray image identified in step S111 and the contour of the region of interest in the pseudo DRR image generated in step S112 (S113). It is determined whether the correlation value is the maximum (S114). When determining that the correlation value is not the maximum (S114: NO), the control unit 11 updates the projection conditions for generating the pseudo DRR image from the CT image of the region of interest (S115), and uses the updated projection conditions. The processing of steps S112 to S114 is repeated.
  • the control unit 11 repeats the processing of steps S112 to S115 until it determines that the calculated correlation value is the maximum, and if it determines that the correlation value is the maximum (S114: YES), that is, the correlation value is the maximum. If a pseudo DRR image can be generated, the projection conditions at this time are specified (S116).
  • control unit 11 performs the processing of steps S112 to S115, for example, based on the paper titled "3D-2D registration in mobile radiographs: algorithm development and preliminary clinical evaluation" written by Yoshito Otake, the inventor of the present invention, etc. This can be done using the method described in the paper.
  • the outline in a DRR image (pseudo-DRR image here) of the target region (bone region, here pelvis) generated from the three-dimensional region of the target region (bone region, here pelvis) in the CT image, and the contour of the target region in the real X-ray image are described.
  • Achieving alignment with the contour of the body part is defined as ⁇ maximizing the correlation between the respective grayscale gradient intensity images of the X-ray image and the DRR image,'' and uses the Covariance Matrix Adaptation Evolution Strategy (CMA-ES).
  • CMA-ES Covariance Matrix Adaptation Evolution Strategy
  • the contour P2 of the region of interest in the pseudo DRR image is aligned with the contour P1 of the region of interest in the X-ray image with high precision.
  • a pseudo DRR image can be generated.
  • the control unit 11 may determine whether the calculated correlation value is greater than or equal to a predetermined value, and if it is determined to be greater than or equal to the predetermined value, the control unit 11 may proceed to the process of step S116.
  • control unit 11 proceeds to the process of step S17 in FIGS. 4 and 11, and generates a DRR image by projecting the CT image of the region of interest in the projection direction according to the projection conditions specified in step S116 (S17 ). Specifically, the control unit 11 calculates the integrated value of the pixel values (luminance values, voxel values) of each pixel aligned in the projection direction according to the projection conditions specified in step S116 in the CT image of the region of interest, The calculated integrated value is used as each pixel value of the DRR image of the region of interest.
  • a DRR image of the target region under the same projection conditions as the imaging conditions (position and angle with respect to the X-ray source) of the target region (region of interest) in the X-ray image is generated, and the DRR image is accurately aligned with the target region in the X-ray image.
  • a DRR image of the target region aligned with the target region is obtained.
  • the control unit 11 executes the processing of steps S18 to S19 in FIG. 4 to project a half image of the X-ray image (front hip X-ray image) in the same direction as the imaging direction of the X-ray image.
  • Training data for learning the learning model 12M can be generated by associating the data with the DRR image of the region of interest.
  • control unit 11 associates the X-ray image with the DRR image of the region of interest projected in the same direction as the imaging direction of the X-ray image, and creates the learning model 12M. It is possible to generate training data for learning and to associate the DRR image of the region of interest with the bone density of the region of interest acquired in step S51 to generate training data for learning of the bone density estimation learning model 12M1.
  • the information processing device 10 of this embodiment is capable of executing the process shown in FIG. 6, and executes the learning process of the learning model 12M by the process shown in FIG. 6 using the training data generated as described above. By doing so, it is possible to realize the learning model 12M that can predict a highly accurate DRR image from an X-ray image.
  • the information processing apparatus 10 of this embodiment is capable of executing the processes shown in FIGS. 7, 12, 18, and 20, and by using the learning model 12M generated as described above, The bone density of the target region can be estimated with high accuracy using the DRR image predicted from the image with high accuracy, and highly accurate test results can be obtained.
  • the region of interest in the X-ray image and the CT image are aligned based on the region of interest extracted from the CT image in step S15, but this configuration is limited. Not done. For example, a configuration may be adopted in which the bone regions in the X-ray image and the CT image are aligned based on the bone region extracted from the CT image in step S14. In this case, the control unit 11 of the information processing device 10 executes the alignment process shown in FIG. 22 after the process of step S14 in FIG. Execute processing.
  • the control unit 11 extracts data of a region of interest (for example, the proximal portion of the left femur) from the CT image after the alignment process (S15), and extracts data of the region of interest (for example, the proximal part of the left femur) from the CT image of the extracted region of interest in step S116.
  • a DRR image is generated that is projected in a projection direction according to the projection conditions specified in (S17).
  • the processes in steps S111 to S116 are executed using the bone region extracted in step S14 as the region of interest.
  • the control unit 11 executes the processes of steps S18 to S19.
  • training data is generated in which an X-ray image of the target region (region of interest) is associated with a DRR image of the target region that is aligned with high precision to the target region in the X-ray image. and stored in the training DB 12b.
  • the learning model 12M By executing the learning process of the learning model 12M using the training data generated in this way, it is possible to realize the learning model 12M that can predict a highly accurate DRR image from an X-ray image.
  • the learning model 12M generated in this way it is possible to predict the DRR image from the X-ray image with high accuracy, and the bone density of the target region can be determined with high accuracy using the highly accurately predicted DRR image. It becomes possible to estimate
  • Embodiment 7 The configuration of Embodiment 6 described above is applied to Embodiments 1 and 3 described above, and the information processing device determines the imaging target (target).
  • the following describes a process of aligning the parts (parts or regions of interest) and generating training data used for learning the learning models 12M and 12Ma based on the aligned CT images.
  • the information processing apparatus of this embodiment has the same configuration as the information processing apparatus 10 of Embodiments 1 and 3, so a description of the configuration will be omitted. That is, the information processing device 10 of this embodiment has learning models 12M and 12Ma.
  • FIG. 25 is a flowchart illustrating an example of a training data generation processing procedure according to the seventh embodiment.
  • the process shown in FIG. 25 is the same as the process shown in FIG. 4, with steps S121 to S126 added instead of steps S15 and S16, and steps S127 to S129 added between steps S19 and S20. Description of the same steps as in FIG. 4 will be omitted.
  • the control unit 11 of the information processing device 10 of this embodiment executes the processes of steps S11 to S14 in FIG. 4.
  • step S14 the control unit 11 extracts data of an arbitrary bone region from the CT image based on the musculoskeletal label image generated from the CT image.
  • the control unit 11 may extract bone regions such as the pelvis, femur, and proximal portion of the femur, or a plurality or all of these bone regions.
  • the control unit 11 executes the same processing as steps S111 to S116 in FIG. 22 based on the bone region extracted from the CT image (S121 to S126).
  • the control unit 11 identifies a bone region in the X-ray image that is the same as the bone region extracted from the CT image (S121).
  • the control unit 11 generates a pseudo DRR image of the bone region based on the bone region in the CT image extracted in step S14 (S122). Then, the control unit 11 calculates a correlation value between the contour of the bone region in the X-ray image identified in step S121 and the contour of the bone region in the pseudo DRR image generated in step S122 (S123). It is determined whether the correlation value is the maximum (S124). When determining that the correlation value is not the maximum (S124: NO), the control unit 11 updates the projection conditions for generating the pseudo DRR image from the CT image of the bone region (S125), and uses the updated projection conditions. The processing of steps S122 to S124 is repeated.
  • the control unit 11 repeats the processing of steps S122 to S125 until it determines that the calculated correlation value is the maximum, and if it determines that the correlation value is the maximum (S124: YES), that is, the correlation value is the maximum. If a pseudo DRR image can be generated, the projection conditions at this time are specified (S126). In this embodiment as well, the control unit 11 performs the processing in steps S122 to S125 using the covariance matrix adaptive evolution strategy so that the correlation value between the contour of the bone region in the X-ray image and the contour of the pseudo DRR image is maximum. The projection conditions for the pseudo DRR image are specified.
  • the control unit 11 generates a DRR image projected in a projection direction according to the projection conditions specified in step S126, based on the CT image of the region of interest (here, a bone region such as the proximal femur). S17). That is, the control unit 11 generates a DRR image of the region of interest viewed from the same direction as the imaging direction of the region of interest in the X-ray image. Then, the control unit 11 extracts a half image including the proximal left femur from the hip joint X-ray frontal image acquired in step S11 (S18), and extracts the extracted X-ray image (half of the hip joint X-ray frontal image).
  • the DRR image of the region of interest generated in step S17 are associated with each other and stored as training data in the training DB 12b (S19).
  • the trained training data is accumulated.
  • control unit 11 executes the same processing as steps S71 to S73 in FIG. 15 (S127 to S129). Specifically, the control unit 11 erases bone region data from the CT image and extracts muscle region data based on the musculoskeletal label image (S127). Here too, the control unit 11 sets each type of muscle as a region of interest and extracts data (CT images) for each region of interest (muscle region). Further, the control unit 11 generates a DRR image projected in a projection direction according to the projection conditions specified in step S126, based on the data (CT image) of the extracted region of interest (muscle region) (S128).
  • control unit 11 stores the X-ray image acquired in step S11 and the DRR image of the region of interest (muscle region) generated in step S128 in association with each other as training data in the training DB 12b (S129). After that, the control unit 11 moves to the process of step S20.
  • positioning is performed based on the bone area for the imaging target (target part or region of interest) in the X-ray image and CT image, and the present implementation is performed based on the X-ray image and CT image after positioning. It is possible to generate training data that allows the morphological learning models 12M and 12Ma to be efficiently learned. By executing the learning process shown in FIG. 6 using the training data generated in this way, the information processing apparatus 10 of the present embodiment calculates the DRR of the bone region that is the imaging target of the X-ray image from the X-ray image.
  • the information processing device 10 of the present embodiment provides a DRR image of a bone region predicted with high accuracy from an X-ray image, and a DRR image of a bone region predicted with high accuracy from an X-ray image.
  • a DRR image of a muscle region can be generated, and the bone density and muscle mass of a target region can be estimated with high accuracy.
  • FIGS. 26A and 26B are explanatory diagrams showing the effects of alignment processing based on bone regions.
  • FIG. 26A shows training data in which X-ray images and DRR images generated from CT images are associated with each other without performing alignment processing based on bone regions on the X-ray images and CT images shown in this embodiment.
  • a predicted DRR image of a muscle region is generated from an X-ray image using the learning model 12Ma trained by ) and the muscle mass (specifically, the lean muscle mass) of the muscle region measured from the CT image.
  • the vertical axis shows the lean muscle mass estimated from the predicted DRR image
  • the horizontal axis shows the lean muscle mass measured from the CT image
  • FIG. 26A shows the chart of the gluteus medius muscle. , and the diagrams of the iliac muscles are shown on the right.
  • FIG. 26B shows training data in which the X-ray image and the DRR image generated from the CT image are associated with each other after alignment processing based on bone regions is performed on the X-ray image and CT image shown in this embodiment.
  • a predicted DRR image of a muscle region is generated from an X-ray image using the learning model 12Ma trained by ) and the muscle mass (specifically, the lean muscle mass) of the muscle region measured from the CT image.
  • FIGS. 26A and 26B show, for example, that 525 people were trained using the learning model 12Ma trained using 390 pairs of training data generated from X-ray images and CT images collected from patients with osteoarthritis of the hip.
  • the comparison results (verification results) between the lean muscle mass estimated from the predicted DRR image predicted from the X-ray images collected from the patient and the lean muscle mass measured from the CT images of each patient are shown.
  • the correlation coefficient (PCC: Pearson Correlation Coefficient) is 0.340, and the correlation coefficient when alignment according to this embodiment is performed is 0.776, and the correlation coefficient when alignment according to this embodiment is performed is higher. was gotten.
  • the correlation coefficient when alignment was performed was 0.804, and a higher correlation value was obtained when alignment was performed according to this embodiment.
  • learning the learning model 12Ma using the training data generated from the X-ray images and CT images after the imaging target has been aligned by the alignment process of this embodiment, learning can be performed using a small number of training data. Even with the learning model 12Ma, it is possible to realize a learning model 12Ma that can predict a DRR image that can estimate muscle mass to the same extent as the measurement value from a CT image. Therefore, the workload in training data collection processing and learning processing can be reduced.
  • the graphs in FIGS. 26A and 26B show that more accurate lean muscle mass of the gluteus maxims and iliac muscles can be obtained by performing the alignment according to this embodiment.
  • lean muscle mass is determined by calculating the ratio of muscle to fat in each pixel based on the CT value (pixel value) in each muscle region (individual muscle region) in the CT image, and calculating the ratio between muscle and fat in each pixel.
  • the muscle mass of each pixel is calculated based on the sum of the muscle mass of each pixel.
  • the muscle volume indicates the volume of each muscle region (individual muscle region) within the CT image.
  • the X-ray images and CT images after alignment processing are accurately aligned with respect to muscle regions. state.
  • the learning model 12Ma By training the learning model 12Ma using the training data of muscle regions in the X-ray images aligned in this way and DRR images of the muscle regions generated from the CT images, the results are calculated from the CT images. It is possible to realize a learning model 12Ma that can predict a DRR image of a muscle region that can estimate a muscle mass comparable to the muscle mass (for example, lean muscle mass, muscle volume) of each muscle region.
  • a CT image (muscle region data) that excludes the influence of the bone region is extracted, and such a CT image is used.
  • training data used for learning the learning model 12Ma can be generated with high accuracy. Therefore, in this embodiment, not only can bone density be estimated with high accuracy using the predicted DRR image of the bone region generated from the X-ray image using the learning model 12M, but also the predicted DRR image generated from the X-ray image using the learning model 12Ma.
  • the predicted DRR image of the muscle region allows the muscle mass to be estimated with high accuracy.
  • the process other than the process of aligning the imaging target in the X-ray image and the CT image based on the bone region is performed as described in each of the above embodiments. This is similar to the above, and the same effects as those of the above-described embodiments can be obtained. Furthermore, in this embodiment, not only training data used for learning the learning model 12M but also training data used for learning the learning model 12Ma are generated based on X-ray images and CT images that have been aligned based on bone regions. Therefore, it is possible to realize the learning model 12Ma that predicts the DRR image of the muscle region in the X-ray image with high accuracy from the X-ray image. Also in this embodiment, the modifications described in each of the above-described embodiments can be applied.
  • a predicted DRR image of a muscle region (e.g., gluteus maximus, gluteus maximus, gluteus maximus, iliac muscle, etc.) included in the target region (e.g., gluteus maximus, gluteus medius, iliac muscle, etc.) is obtained from an X-ray image of the target region (e.g., lower abdomen, buttocks, etc.).
  • a modification of the learning model 12Ma that generates .
  • the information processing device of this embodiment has the same configuration as the information processing device 10 of Embodiments 1, 3, and 7, so the description of the configuration will be omitted.
  • FIG. 27 is an explanatory diagram showing a configuration example of the learning model 12Mb according to the eighth embodiment.
  • the learning model 12Mb receives an X-ray image of the target region, performs calculations to predict the DRR image and muscle mass of the muscle region included in the target region based on the input X-ray image, and outputs the calculation results. This is a model that has been trained to do this.
  • the learning model 12Mb shown in FIG. 27 is configured to receive a hip joint X-ray front image as input and predict the DRR image and muscle mass of the gluteus maximus.
  • the learning model 12Mb is not limited to this configuration, and may have a configuration that, for example, receives a hip joint X-ray front image as input and predicts the DRR image and muscle mass of other muscle regions such as the gluteus maxims and iliac muscles. , the configuration may be such that the DRR images and muscle amounts are predicted for each of a plurality of muscle regions.
  • the learning model 12Mb uses frontal chest X-ray images as input, and includes pectoralis major, pectoralis minor, subclavian muscle, serratus anterior, intercostal muscle, trapezius muscle, latissimus dorsi, teres major, erector spinae, etc.
  • the configuration may be such that the DRR image and muscle mass of the muscle region are predicted.
  • As the muscle mass information indicating some amount related to muscle, such as lean muscle mass, muscle volume, muscle density, etc., can be used.
  • the learning model 12Mb of this embodiment has an image conversion layer 12Mb1 and a muscle mass prediction layer 12Mb2.
  • the X-ray image that is the input data of the learning model 12Mb is input to the image conversion layer 12Mb1, and the image conversion layer 12Mb1 converts the muscle region (for example, gluteus maximus) included in the X-ray image based on the input X-ray image. ) is generated and output.
  • the DRR image of the muscle region generated by the image conversion layer 12Mb1 is input to the muscle mass prediction layer 12Mb2, and the muscle mass prediction layer 12Mb2 calculates the muscle mass ( For example, lean muscle mass, muscle volume, muscle density, etc.) are predicted and output.
  • the image conversion layer 12Mb1 may be configured with a model based on a GAN such as pix2pix, CycleGAN, or StarGAN, a neural network such as VAE, CNN (for example, U-net), or other learning algorithms, and may include a plurality of learning algorithms. It may be configured by combining. Note that when the image conversion layer 12Mb1 is configured with pix2pix, the image conversion layer 12Mb1 may have the same configuration as the learning model 12Ma shown in FIG. 14.
  • the muscle mass prediction layer 12Mb2 can be configured using algorithms such as CNN, random forest, SVM (Support Vector Machine), Transformer, etc., and may be configured by combining a plurality of algorithms.
  • the learning model 12Mb does not need to include the muscle mass prediction layer 12Mb2, and instead of the muscle mass prediction layer 12Mb2, the control unit 11 of the information processing device 10 calculates the DRR of the muscle region generated by the image conversion layer 12Mb1.
  • a configuration may be adopted in which a process is performed to calculate the muscle mass of the muscle region based on the sum of pixel values (luminance values) of each pixel in the image.
  • the 12 Mb learning model of this embodiment learns using training data that associates a training X-ray image (frontal hip joint X-ray image) with the correct DRR image of the gluteus maximus muscle and the muscle mass of the gluteus maximus muscle. It is generated by The training X-ray images, correct DRR images, and muscle mass are, for example, hip X-ray frontal images and DRR images of subjects who have been diagnosed with normal bone density, osteoporosis, or bone loss using a DXA device. , and muscle mass are desirable.
  • a DRR image of the gluteus maximus muscle (muscle region) generated from a CT image of the buttocks (lower abdomen) taken with an X-ray CT device can be used.
  • the correct gluteus maximus muscle mass is the muscle mass of each pixel calculated from the CT value (luminance value) in the muscle region (gluteus maximus) in the CT image based on the ratio of muscle to fat in each pixel.
  • the muscle mass of the gluteus maximus calculated by the sum of may be used, or the muscle mass of the gluteus maximus measured by a DXA device may be used.
  • the learning model 12Mb of this embodiment learns to output the correct DRR image and muscle mass included in the training data when an X-ray image included in the training data is input.
  • the learning model 12Mb performs calculations based on the input X-ray image, predicts the DRR image and muscle mass of the gluteus maximus muscle in the input X-ray image, and outputs the prediction result. Then, the learning model 12Mb compares the predicted DRR image and the correct DRR image, and also compares the predicted muscle amount and the correct muscle amount. Parameters such as weights (coupling coefficients) between nodes in the prediction layer 12Mb2 are optimized using steepest descent method, error backpropagation method, etc.
  • the difference (error, loss related to muscle mass) between the muscle mass based on the DRR image of the muscle region generated by the learning model 12Mb and the correct muscle mass is fed back. be able to. Therefore, according to the learning process of this embodiment, when an X-ray image is input, a 12 Mb learning model that predicts the DRR image and muscle mass of the muscle region included in the X-ray image with higher accuracy is generated. .
  • the learning model 12Mb of this embodiment may have a configuration that does not include the muscle mass prediction layer 12Mb2.
  • the control unit 11 of the information processing device 10 inputs an X-ray image to the learning model 12Mb, acquires a DRR image of the muscle region from the learning model 12Mb, and uses the acquired DRR image to , calculate the muscle mass of the muscle region. Then, the control unit 11 calculates the difference between the calculated muscle mass and the correct muscle mass, and uses the learning model so that the calculated difference becomes small (so that the calculated muscle mass approximates the correct muscle mass).
  • 12 Mb image conversion layer 12 Mb1 may be trained.
  • the difference (error, loss related to muscle mass) between the muscle mass based on the DRR image of the muscle region generated by the 12Mb learning model and the correct muscle mass can be fed back, and the input It is possible to generate a 12 Mb learning model that can predict the DRR image and muscle mass of a muscle region included in an X-ray image with high accuracy.
  • the information processing apparatus 10 of this embodiment is capable of executing the process shown in FIG. 25, generates training data for learning of a learning model of 12 Mb by the process shown in FIG. Execute the learning process.
  • the control unit 11 of the information processing device 10 calculates the muscle mass of the muscle area based on the DRR image of the muscle area generated in step S128.
  • the control unit 11 performs training by associating the X-ray image acquired in step S11, the DRR image of the region of interest (muscle region) generated in step S128, and the muscle mass calculated from the DRR image. It is stored in the training DB 12b as data.
  • the muscle mass of the muscle region may be the muscle mass measured by the DXA device.
  • the control unit 11 may use the muscle mass measured by the DXA device together with the X-ray image and the CT image in step S11, for example.
  • the acquired muscle mass can be used as training data.
  • the control unit 11 reads out one set of X-ray images, DRR images, and muscle mass stored in the storage unit 12 in step S31, and in step S32, the control unit 11 reads out one set of X-ray images, DRR images, and muscle mass stored in the storage unit 12, and in step S32, the control unit 11 reads out one set of The learning process for the learning model 12Mb is performed using the following.
  • the information processing apparatus 10 of this embodiment is capable of executing the process shown in FIG. 16, and by using the 12 Mb learning model generated as described above, the information processing apparatus 10 can generate a DRR image of a muscle region in an X-ray image. It is possible to predict with high accuracy and to estimate the muscle mass of the muscle region with high accuracy using the predicted DRR image.
  • FIGS. 28A and 28B are explanatory diagrams showing the effect of loss feedback processing on muscle mass.
  • FIG. 28A shows the predicted DRR image generated by generating a predicted DRR image of a muscle region from an X-ray image using a learning model (for example, learning model 12Ma) learned without performing feedback processing of loss related to muscle mass as described above. Relationship between the muscle mass (specifically, lean muscle mass) of the muscle region calculated (estimated) from the image and the muscle mass (specifically, lean muscle mass) of the muscle region measured from the CT image This is a chart showing the following. In the chart of FIG.
  • FIG. 28A shows the vertical axis shows the lean muscle mass estimated from the predicted DRR image
  • the horizontal axis shows the lean muscle mass measured from the CT image
  • the left side of FIG. 28A shows the chart of the gluteus maxims muscle.
  • the diagrams of the iliac muscles are shown on the right.
  • FIG. 28B shows that a predicted DRR image of a muscle region is generated from an X-ray image using a 12 Mb learning model learned by performing feedback processing of loss related to muscle mass as described above, and calculation (estimation) is performed from the generated predicted DRR image.
  • FIG. 28B It is a chart showing the relationship between the muscle mass (specifically, lean muscle mass) of the muscle region in question and the muscle mass (specifically, fat-free muscle mass) in the muscle region measured from a CT image.
  • the vertical axis shows the lean muscle mass estimated from the predicted DRR image
  • the horizontal axis shows the lean muscle mass measured from the CT image
  • the left side of FIG. 28B shows the chart of the gluteus maxims muscle.
  • the diagrams of the iliac muscles are shown on the right.
  • 28A and 28B show, for example, that 525 people were trained using a 12Mb learning model that was trained using 390 pairs of training data generated from X-ray images and CT images collected from patients with osteoarthritis of the hip.
  • the comparison results (verification results) between the lean muscle mass estimated from the predicted DRR image predicted from the X-ray images collected from the patient and the lean muscle mass measured from the CT images of each patient are shown.
  • the estimated value from the predicted DRR image and the CT image when the above-mentioned muscle mass loss feedback processing is not performed As can be seen from the charts on the left side of FIG. 28A and the left side of FIG. 28B, regarding the lean muscle mass of the gluteus medius muscle, the estimated value from the predicted DRR image and the CT image when the above-mentioned muscle mass loss feedback processing is not performed.
  • the correlation coefficient with the measured value was 0.776
  • the correlation coefficient when feedback processing was performed was 0.874, and a higher correlation value was obtained when feedback processing of loss related to muscle mass was performed.
  • the correlation coefficient for the lean muscle mass of the iliac muscle is 0.804 when feedback processing of loss related to muscle mass is not performed;
  • the correlation coefficient when using this method was 0.861, and a higher correlation value was obtained when feedback processing of loss related to muscle mass was performed. Therefore, by performing feedback processing of the loss related to muscle mass during the learning process of the 12Mb learning model, even with the 12Mb learning model trained with a small number of training data, the muscle mass is the same as the measured value from the CT image. It is possible to realize a 12 Mb learning model that can predict a DRR image whose amount can be estimated.
  • the graphs in FIGS. 28A and 28B show that it is better to perform feedback processing of losses related to muscle mass during the learning process of the learning model 12 Mb regarding the lean muscle mass of the gluteus maxims and iliac muscles. , it was shown that a more accurate lean muscle mass can be obtained, but in the verification process by the present inventor, similar results were obtained for the muscle volumes of the gluteus maxims and iliac muscles.
  • the difference between the muscle mass of the muscle region calculated from the DRR image of the muscle region generated by the learning model 12Mb (image conversion layer 12Mb1) and the correct muscle mass is the same as in each of the above-described embodiments, and the same effects as in each of the above-described embodiments can be obtained. Furthermore, in this embodiment, in the learning process of the learning model 12Mb, in addition to the error between the DRR image generated by the image conversion layer 12Mb1 and the correct DRR image, the error (loss) in muscle mass can be fed back.
  • Each of the embodiments described above has a configuration in which a simple X-ray image taken of a target region with an X-ray device (X-ray device) is used as input data for the learning models 12M, 12Ma, and 12Mb, but the configuration is not limited to this.
  • a configuration may be used in which X-ray images obtained by a DXA device are used as input data for the learning models 12M, 12Ma, and 12Mb. Even with such a configuration, it is possible to perform the same processing as when a normal X-ray image (an X-ray image taken by an X-ray device) is used as input data, and the same effects can be obtained.
  • MRI Magnetic Resonance Imaging
  • a configuration may also be adopted in which a two-dimensional image (information regarding the amount of body tissue) obtained from a three-dimensional image such as a magnetic resonance imaging (magnetic resonance imaging method) image that can estimate the composition of muscles and bones of a target region is used as the training data. Even with such a configuration, it is possible to perform the same processing as when using a DRR image obtained from a CT image, and the same effects can be obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

少ない症例数で高精度にＸ線画像から体組織量に関する情報を取得することが可能なプログラム等を提供する。コンピュータは、対象部位のＸ線画像と、前記対象部位のＣＴ（Computed Tomography：コンピュータ断層撮影）画像から得られる体組織量に関する情報とを含む訓練データを取得する。そして、コンピュータは、取得した訓練データを用いて、Ｘ線画像を入力した場合に前記Ｘ線画像中の対象部位の体組織量に関する情報を出力する学習モデルを生成する。

Description

プログラム、情報処理方法、及び情報処理装置
　本開示は、プログラム、情報処理方法、及び情報処理装置に関する。
　高齢者の骨折は、生活機能の低下を招き、要介護状態となる可能性がある。そこで、骨密度を計測して骨粗鬆症の診断を行い、適切な治療を早期に行うことによって、骨折を予防することが重要であると考えられている。骨密度の計測には、２種類のエネルギーレベルのＸ線の透過率の差に基づいて骨密度（骨量）を測定するＤＸＡ（Dual-energy X-ray Absorptiometry：二重エネルギーＸ線吸収測定）装置を使用することが推奨されている。しかし、ＤＸＡ装置は、被検者を臥位姿勢で撮影するベッドタイプの装置であるので、設置スペースを確保する必要があり、また、高価格にもかかわらず用途が限られることから普及率は低い。
　一方、レントゲン装置（Ｘ線装置）は多くの医療機関に設置されている。そこで、非特許文献１～３では、Ｘ線画像とＤＸＡ装置による計測結果（骨密度）とのペアを訓練データに用いて学習することにより、Ｘ線画像から骨密度を予測するモデルを生成する技術が提案されている。
Chen-I Hsieh et al.，「Automated bone mineral density prediction and fracture risk assessment using plain radiographs via deep learning」，NATURE COMMUNICATIONS，12:5472（2021） Ryoungwoo Jang et al.，「Prediction of osteoporosis from simple hip radiography using deep learning algorithm」，Scientific Reports，11:19997（2021） Norio Yamamoto et al.，「Deep Learning for Osteoporosis Classification Using Hip Radiographs and Patient Clinical Covariates」，Biomolecules 2020,10,1534
　しかし、非特許文献１～３に開示された技術では、大量の訓練データを学習する必要があり、訓練データの収集処理及び学習処理の処理負担が大きい。
　本開示は、少ない症例数で高精度にＸ線画像から体組織量に関する情報を取得することが可能なプログラム等を提供することを目的とする。
　本開示の一態様に係るプログラムは、対象部位のＸ線画像と、前記対象部位のＣＴ（Computed Tomography：コンピュータ断層撮影）画像から得られる体組織量に関する情報とを含む訓練データを取得し、取得した訓練データを用いて、Ｘ線画像を入力した場合に前記Ｘ線画像中の対象部位の体組織量に関する情報を出力する学習モデルを生成する処理をコンピュータに実行させる。
　本開示の一態様にあっては、少ない症例数で高精度にＸ線画像から体組織量に関する情報を取得することができる。
情報処理装置の構成例を示すブロック図である。 学習モデルの概要を示す説明図である。 学習モデルの概要を示す説明図である。 学習モデルの概要を示す説明図である。 訓練データの生成処理手順の一例を示すフローチャートである。 訓練用のＤＲＲ画像の生成処理の説明図である。 学習モデルの生成処理手順の一例を示すフローチャートである。 骨密度の推定処理手順の一例を示すフローチャートである。 画面例を示す説明図である。 予測ＤＲＲ画像から推定された骨密度と、ＤＸＡ装置で計測された骨密度との関係を示す図表である。 予測ＤＲＲ画像から推定された骨密度と、ＤＸＡ装置で計測された骨密度との関係を示す図表である。 実施形態２の学習モデルの概要を示す説明図である。 実施形態２の訓練データの生成処理手順の一例を示すフローチャートである。 実施形態２の骨密度の推定処理手順の一例を示すフローチャートである。 画面例を示す説明図である。 実施形態３の学習モデルの概要を示す説明図である。 実施形態３の訓練データの生成処理手順の一例を示すフローチャートである。 筋肉量の推定処理手順の一例を示すフローチャートである。 画面例を示す説明図である。 実施形態４の骨密度の推定処理手順の一例を示すフローチャートである。 画面例を示す説明図である。 実施形態５の骨密度及び筋肉量の推定処理手順の一例を示すフローチャートである。 画面例を示す説明図である。 位置合わせ処理手順の一例を示すフローチャートである。 位置合わせ処理の説明図である。 位置合わせ処理の説明図である。 位置合わせ処理の説明図である。 位置合わせ処理の説明図である。 実施形態７の訓練データの生成処理手順の一例を示すフローチャートである。 骨領域に基づく位置合わせ処理の効果を示す説明図である。 骨領域に基づく位置合わせ処理の効果を示す説明図である。 実施形態８の学習モデルの構成例を示す説明図である。 筋肉量に関する損失のフィードバック処理の効果を示す説明図である。 筋肉量に関する損失のフィードバック処理の効果を示す説明図である。
　以下に、本開示のプログラム、情報処理方法、及び情報処理装置について、その実施形態を示す図面に基づいて説明する。
（実施形態１）
　対象部位をＸ線装置で撮影したＸ線画像に基づいて、対象部位の骨密度（体組織量に関する情報）を推定する情報処理装置について説明する。骨量減少及び骨粗鬆症の診断には一般的に腰椎又は大腿骨近位部の骨密度が用いられる。従って、本実施形態では、対象部位を大腿骨近位部とし、大腿骨近位部を撮影範囲内に含むＸ線画像（股関節Ｘ線正面画像）から大腿骨近位部の骨密度を推定する構成について説明する。しかし、対象部位は大腿骨近位部に限定されず、腰椎、胸椎等、他の部位であってもよい。
　図１は情報処理装置の構成例を示すブロック図である。情報処理装置１０は、種々の情報処理及び情報の送受信が可能な装置であり、例えばパーソナルコンピュータ、サーバコンピュータ、ワークステーション等である。情報処理装置１０は、医療機関、検査機関又は研究機関等に設置されて利用される。情報処理装置１０は、複数のコンピュータを含んで構成されるマルチコンピュータであってもよく、１台の装置内に仮想的に構築された仮想マシンによって実現されてもよい。情報処理装置１０をサーバコンピュータで構成する場合、情報処理装置１０は、医療機関等に設置されたローカルサーバであってもよく、インターネット等のネットワークを介して通信接続されたクラウドサーバであってもよい。以下では、情報処理装置１０が１台のコンピュータであるものとして説明する。
　情報処理装置１０は、例えば股関節Ｘ線正面画像に基づいて、大腿骨近位部の骨密度を推定する。具体的には後述のように、情報処理装置１０は、所定の訓練データを学習する機械学習を事前に行い、股関節Ｘ線正面画像を入力として、当該股関節Ｘ線正面画像中の大腿骨近位部の骨密度に関する情報（体組織量に関する情報）を出力する学習モデル１２Ｍを用意しておく。そして、情報処理装置１０は、股関節Ｘ線正面画像を学習モデル１２Ｍに入力することで、大腿骨近位部の骨密度に関する情報を学習モデル１２Ｍから取得する。本実施形態では、骨密度に関する情報として、ＣＴ画像中の大腿骨近位部３次元領域の投影像であるＤＲＲ画像（Digital Reconstructed Radiograph：ＣＴ画像の特定部位の３次元領域（関心領域）から投影シミュレーションにより得られるＸ線画像）を用いる。ＣＴ画像の各画素値は、骨密度に対応したＣＴ値であるので、ＣＴ画像中の特定の骨領域から生成されるＤＲＲ画像は、骨密度の分布を示すことができ、例えば骨密度が高いほど高い輝度値（画素値）となる。従って、本実施形態の学習モデル１２Ｍは、股関節Ｘ線正面画像が入力された場合に、Ｘ線画像内に含まれている大腿骨近位部のＤＲＲ画像（体組織量を表す画像）を予測して出力するように構成されている。また、情報処理装置１０は、学習モデル１２Ｍを用いて予測されたＤＲＲ画像から、当該大腿骨近位部の骨密度を算出することにより、Ｘ線画像から骨密度を取得することができる。骨は密度が低下するとＸ線画像中の撮影状態が変化するので、本実施形態では、学習モデル１２Ｍを用いて、Ｘ線画像中の骨領域の骨密度の状態に対応したＤＲＲ画像を予測することができる。
　情報処理装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を有し、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＩチップ（ＡＩ用半導体）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してあるプログラム１２Ｐを適宜実行することにより、情報処理装置１０が行うべき処理を実行する。
　記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行するプログラム１２Ｐ（プログラム製品）及びプログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１がプログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。更に記憶部１２は、後述する学習モデル１２Ｍを記憶する。学習モデル１２Ｍは、股関節Ｘ線正面画像が入力された場合に、当該Ｘ線画像内に含まれている大腿骨近位部のＤＲＲ画像を出力するように学習されたモデルである。学習モデル１２Ｍは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。記憶部１２には、学習モデル１２Ｍを定義する情報として、学習モデル１２Ｍが備える層の情報、各層を構成するノードの情報、ノード間の重み（結合係数）等の情報が記憶される。
　また記憶部１２は、医療画像ＤＢ１２ａ及び訓練ＤＢ１２ｂを記憶する。医療画像ＤＢ１２ａは、学習モデル１２Ｍの学習用に用意された股関節Ｘ線正面画像及びＣＴ画像が対応付けて記憶してある。学習用に用いる医療画像には、ＤＸＡ装置によって骨密度正常症例、骨粗鬆症例、骨量減少例のいずれかと診断された被検者の股関節Ｘ線正面画像及びＣＴ画像が含まれる。訓練ＤＢ１２ｂは、学習モデル１２Ｍの学習処理に用いられる訓練データを記憶しており、情報処理装置１０が後述する訓練データの生成処理を行うことにより、訓練ＤＢ１２ｂに訓練データが記憶される。学習モデル１２Ｍ、医療画像ＤＢ１２ａ及び訓練ＤＢ１２ｂは、情報処理装置１０に接続された他の記憶装置に記憶されてもよく、情報処理装置１０が通信可能な他の記憶装置に記憶されてもよい。
　通信部１３は、有線通信又は無線通信によって、インターネット又はＬＡＮ（Local Area Network）等のネットワークＮに接続するための通信モジュールであり、ネットワークＮを介して他の装置との間で情報の送受信を行う。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４の一部及び表示部１５は一体として構成されたタッチパネルであってもよい。なお、入力部１４及び表示部１５は必須ではなく、情報処理装置１０は、接続されたコンピュータを通じて操作を受け付け、表示すべき情報を外部の表示装置へ出力する構成でもよい。
　読み取り部１６は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤカード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）等の可搬型記憶媒体１０ａに記憶された情報を読み取る。記憶部１２に記憶されるプログラム１２Ｐ（プログラム製品）及び各種のデータは、制御部１１が読み取り部１６を介して可搬型記憶媒体１０ａから読み取って記憶部１２に記憶してもよく、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。
　図２～図３Ｂは学習モデル１２Ｍの概要を示す説明図である。なお、図２は股関節Ｘ線正面画像の半割画像から大腿骨近位部の関心領域のＤＲＲ画像が予測される様子を概念的に示しており、図３Ａ及び図３Ｂは学習モデル１２Ｍの学習時の様子を概念的に示している。また、図３Ａは識別器の学習時の様子を示し、図３Ｂは生成器の学習時の様子を示す。図２に示すように、学習モデル１２Ｍは、股関節Ｘ線正面画像における、骨密度の推定対象とする側の大腿骨近位部を含む半割画像を入力として、関心領域のＤＲＲ画像を予測するように学習済みのモデルである。なお、学習モデル１２Ｍに入力される半割Ｘ線画像は、左大腿骨近位部を含むＸ線画像であってもよく、右大腿骨近位部を含むＸ線画像であってもよい。右大腿骨近位部を含むＸ線画像を学習モデル１２Ｍに入力する場合、半割Ｘ線画像を左右反転させた後に学習モデル１２Ｍに入力する。これにより、左大腿骨近位部の計測だけでなく右大腿骨近位部の計測も可能である。
　本実施形態では、学習モデル１２ＭとしてＧＡＮ（Generative Adversarial Network）を用いる。図２～図３Ｂに示す学習モデル１２Ｍはｐｉｘ２ｐｉｘで構成されている。ＧＡＮは、入力データから出力データを生成する生成器（Generator）と、生成器が生成したデータの真偽を識別する識別器（Discriminator）とを備え、生成器及び識別器が競合して敵対的に学習を行うことでネットワークを構築する。生成器は、入力データから潜在変数を抽出するエンコーダと、抽出した潜在変数から出力データを生成するデコーダとを有するモジュールである。
　学習モデル１２Ｍは、訓練用のＸ線画像（股関節Ｘ線正面画像の半割画像）と、訓練用のＤＲＲ画像とを関連付けた訓練データを用意し、この訓練データを用いて未学習の学習モデルを学習させることにより生成される。訓練用のＸ線画像及びＤＲＲ画像は、ＤＸＡ装置によって骨密度正常症例、骨粗鬆症例、骨量減少例のいずれかと診断された被検者の股関節Ｘ線正面画像及びＤＲＲ画像であることが望ましい。本実施形態の情報処理装置１０は、訓練用に用意されたＸ線画像及びＤＲＲ画像を用いて学習を行い、Ｘ線画像からＤＲＲ画像を予測する学習モデル１２Ｍを生成する。
　学習工程において、情報処理装置１０は、図３Ｂに示す生成器のパラメータ（重み等）の更新と、図３Ａに示す識別器のパラメータの更新とを交互に行い、誤差関数の変化が収束した時点で学習終了とする。識別器のパラメータの更新では、情報処理装置１０は、生成器のパラメータを固定した上で訓練用のＸ線画像を生成器に入力する。生成器は訓練用のＸ線画像の入力を受け付け、出力データとしてＤＲＲ画像（対象部位の体組織量に関する情報）を生成する。そして情報処理装置１０は、生成器の入出力に相当するＸ線画像（訓練用のＸ線画像）及びＤＲＲ画像（生成器が生成したＤＲＲ画像）のペアを偽のデータとし、訓練データに含まれるＸ線画像及びＤＲＲ画像のペアを真のデータとして識別器に与え、識別器に真偽の識別を行わせる。情報処理装置１０は、偽のデータが入力された場合に偽値を出力し、真のデータが入力された場合に真値を出力するように識別器のパラメータを更新する。更新されるパラメータは、識別器におけるノード間の重み（結合係数）等であり、パラメータの最適化の方法は誤差逆伝播法、最急降下法等を用いることができる。
　生成器のパラメータの更新では、識別器のパラメータを固定し、図３Ｂに示すように学習を行う。ここでは情報処理装置１０は、訓練用のＸ線画像を生成器に入力し、生成器が生成したＤＲＲ画像を識別器に入力した場合に、真偽の判定を間違える（真と判定してしまう）ように、かつ、訓練用のＸ線画像と似た特徴（画像勾配が類似する、識別器の中間層の出力分布の統計量が類似する、等）の画像が生成されるように生成器のパラメータを更新する。ここでも、更新されるパラメータは、生成器におけるノード間の重み（結合係数）等であり、パラメータの最適化の方法は誤差逆伝播法、最急降下法等を用いることができる。これにより、図２に示すように、Ｘ線画像が入力された場合に、Ｘ線画像中の大腿骨近位部のＤＲＲ画像を出力する学習モデル１２Ｍが生成される。
　情報処理装置１０は、このような学習モデル１２Ｍを予め用意しておき、Ｘ線画像からＤＲＲ画像を生成（予測）する際に用いる。学習モデル１２Ｍを用いて実際にＸ線画像からＤＲＲ画像を予測する場合、情報処理装置１０は、図２に示すように生成器のみを用いる。学習モデル１２Ｍの学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデル１２Ｍは、例えばネットワークＮ経由又は可搬型記憶媒体１０ａ経由で学習装置から情報処理装置１０にダウンロードされて記憶部１２に記憶される。なお、学習済みの学習モデル１２Ｍは、Ｘ線画像からＤＲＲ画像を生成する生成器のみが学習装置から情報処理装置１０にダウンロードされてもよい。
　学習モデル１２Ｍは、ｐｉｘ２ｐｉｘのほかに、ＣｙｃｌｅＧＡＮ、ＳｔａｒＧＡＮ等のＧＡＮであってもよい。また、学習モデル１２ＭはＧＡＮに限定されず、ＶＡＥ（Variational Autoencoder）、ＣＮＮ（Convolutional Neural Network）（例えばＵ－ｎｅｔ）等のニューラルネットワーク、あるいはその他の学習アルゴリズムに基づくモデルであってもよく、複数の学習アルゴリズムを組み合わせて構成されてもよい。
　ここで、学習モデル１２Ｍの学習に用いる訓練用のＤＲＲ画像の生成処理について説明する。図４は訓練データの生成処理手順の一例を示すフローチャート、図５は訓練用のＤＲＲ画像の生成処理の説明図である。以下の処理は、情報処理装置１０の制御部１１が、記憶部１２に記憶してあるプログラム１２Ｐに従って実行するが、他の情報処理装置又は学習装置で行われてもよい。以下の処理では、訓練データの生成に用いるＸ線画像及びＣＴ画像として、被検者の骨盤及び左右の大腿骨を含む領域が撮影された股関節Ｘ線正面画像及びＣＴ画像のペアがそれぞれ対応付けて医療画像ＤＢ１２ａに記憶されているものとする。
　情報処理装置１０の制御部１１は、医療画像ＤＢ１２ａに記憶してある股関節Ｘ線正面画像及びＣＴ画像のペアを１つ読み出す（Ｓ１１）。まず制御部１１は、読み出したＣＴ画像に対して輝度値のキャリブレーション処理を実行し（Ｓ１２）、ＣＴ画像における各輝度値（ＣＴ値）を補正する。ＣＴで計測される各画素の輝度値（ＣＴ値）は、Ｘ線ＣＴ装置の個体差、設置環境及び撮影条件等の違いに起因してズレが生じるため、計測値のズレを補正するキャリブレーションを行う必要がある。ＣＴ画像のキャリブレーション処理は、例えばＸ線ＣＴ装置の設置時、管球等の部品の交換時、撮影開始時、又は定期的に取得されたキャリブレーション用データを用いて行われる。キャリブレーション用データは、予め特性が既知の物質で作製されたファントムをＸ線ＣＴ装置で撮影し、得られた放射線密度（ＨＵ（Hounsfield units）で表されるＣＴ値）と、当該物質の組織密度とに基づいて生成される。具体的には、ファントムを通過して得られた放射線密度を、当該物質の組織密度に変換するための変換式が、キャリブレーション用データに用いられる。
　また、キャリブレーション処理は、International Journal of Computer Assisted Radiology and Surgery（IJCARS）誌に掲載された（2021年3月17日にオンラインで公開）、本発明者である「上村圭亮」等著の論文名「Automated segmentation of an intensity calibration phantom in clinical CT images using a convolutional neural network」の論文に記載された方法を用いることができる。当該論文には、複数の既知の組織密度の物質（カルシウム含有量が異なる物質）を含むファントムを被検者と共にＸ線ＣＴ装置で撮影し、ＣＮＮを用いて、得られたＣＴ画像から、ファントムの各物質の撮影領域を自動で抽出する技術が開示されている。当該論文の開示技術を用いることにより、ＣＴ画像から抽出された各物質の撮影領域のＣＴ値（放射線密度）に基づいて、当該ＣＴ値を各物質の組織密度に変換するためのキャリブレーション用データを生成できる。このように生成されたキャリブレーション用データを用いて、被検者の撮影領域のＣＴ値に対してキャリブレーション処理を行うことにより、被検者における正確な組織密度を取得できる。
　次に制御部１１は、ステップＳ１２でキャリブレーション処理を行ったＣＴ画像に対して、セグメンテーションＤＮＮ（Deep Neural Network）を用いて、ＣＴ画像中の各画素を骨領域、筋肉領域、及びその他の領域の複数領域（筋骨格領域）のいずれかに分類する処理を行う（Ｓ１３）。ＣＴ画像の各画素を筋骨格領域に分類する処理は、例えば、IEEE Transactions on Medical Imaging, VOL.39, No.4, April 2020のP.1030-1040に掲載された、本発明者である「大竹義人」等著の論文名「Automated Muscle Segmentation from Clinical CT Using Bayesian U-Net for Personalized Musculoskeletal Modeling」の論文に記載された方法を用いることができる。当該論文には、ＣＴ画像を入力とし、入力されたＣＴ画像の各画素を骨領域、筋肉領域、及びその他の領域のいずれかに分類し、各画素に領域毎のラベルを対応付けた分類済みのＣＴ画像（筋骨格ラベル画像）を出力する筋骨格セグメンテーションモデルが開示されている。当該論文に開示された筋骨格セグメンテーションモデルは、Bayesian Ｕ－ｎｅｔで構成されている。これにより、図５中（１）に示すように、ＣＴ画像から、ＣＴ画像中の各画素が３つの領域のいずれかに分類され、領域毎のラベルが対応付けられた筋骨格ラベル画像を取得できる。なお、図５では、筋骨格ラベル画像中の各画素は、分類された領域、及び筋肉の種類等に応じた色（濃淡）で模式的に表されている。
　制御部１１は、図５中（２）に示すように、ＣＴ画像から生成された筋骨格ラベル画像に基づいて、ＣＴ画像から骨領域のデータを抽出する（Ｓ１４）。そして、制御部１１は、図５中（３）に示すように、抽出した骨領域のデータ（ＣＴ画像）から、関心領域（ここでは左大腿骨近位部）のデータを抽出する（Ｓ１５）。なお、骨領域から関心領域を抽出する処理は、例えばテンプレートを用いたパターンマッチングによって行うことができる。この場合、左大腿骨近位部の形状を示すテンプレートを予め記憶部１２に記憶しておき、制御部１１は、骨領域のＣＴ画像からテンプレートに一致する領域の有無を判断し、テンプレートに一致する領域を骨領域から抽出することにより、骨領域中の関心領域のデータを抽出できる。なお、骨領域から関心領域を抽出する処理は、例えば、骨領域のＣＴ画像が入力された場合に、骨領域中の関心領域（左大腿骨近位部の領域）を出力するように機械学習された学習モデルを用いて行うこともできる。この場合、制御部１１は、骨領域のＣＴ画像を学習モデルに入力し、学習モデルからの出力情報に基づいて、骨領域中の関心領域を特定して抽出することができる。
　次に制御部１１は、ステップＳ１１で取得したＸ線画像（股関節Ｘ線正面画像）と、ステップＳ１５で抽出したＣＴ画像中の関心領域とにおいて、２つの画像中の撮影対象（ここでは左大腿骨近位部）の位置合わせを行う（Ｓ１６）。制御部１１は、Ｘ線画像に対して、各画素の画素値に基づいて画像の輝度勾配（エッジ）を検出し、検出した輝度勾配に基づいて、Ｘ線画像中の撮影対象を特定する。なお、制御部１１は、Ｘ線画像中の撮影対象の特定を、予め用意したテンプレートを用いたパターンマッチングによって行ってもよく、予め学習させた学習モデルを用いて行ってもよい。そして、制御部１１は、ＣＴ画像中の関心領域（撮影対象である左大腿骨近位部）に対して、Ｘ線画像中の撮影対象に一致する撮影方向を特定し、特定した方向から関心領域を見た状態のＣＴ画像を生成する。これにより、図５中（４）に示すように、Ｘ線画像中の撮影対象との位置合わせが行われた関心領域のＣＴ画像を取得できる。
　なお、Ｘ線画像中の撮影対象とＣＴ画像中の撮影対象との位置合わせは、例えば、The Journal of Arthroplasty 33(2018)のP.595-600に掲載された、本発明者である「上村圭亮」等著の論文名「Can Anatomic Measurements of Stem Anteversion Angle Be Considered as the Functional Anteversion Angle?」の論文に記載された方法を用いることができる。当該論文には、骨盤及び大腿骨のＣＴ画像に対して、階層的統計形状モデルを用いたセグメンテーションを行ってＣＴ画像中の骨盤及び大腿骨を特定し、ＣＴ画像中の骨盤及び大腿骨と、Ｘ線画像中の骨盤及び大腿骨との位置合わせ（対応付け）を行う技術が開示されている。また、Ｘ線画像及びＣＴ画像の位置合わせは、Physics in Medicine and Biology 60(2015)のP.2075-2090に掲載された、本発明者である「大竹義人」等著の論文名「3D-2D registration in mobile radiographs: algorithm development and preliminary clinical evaluation」の論文に記載された方法を用いることができる。当該論文には、ＣＴ画像を平行移動及び回転させることによって、Ｘ線画像の撮影方向と同じ方向から撮影対象を見た状態のＣＴ画像を生成する技術が開示されている。
　そして、制御部１１は、Ｘ線画像中の撮影対象（左大腿骨近位部）との位置合わせが行われた関心領域（左大腿骨近位部）のＣＴ画像から、ＣＴ画像の各画素をＸ線画像の撮影方向と同じ方向に投影した関心領域のＤＲＲ画像を生成する（Ｓ１７）。制御部１１は、ＣＴ画像において、Ｘ線画像の撮影方向と同じ方向に並ぶ各画素値（輝度値、ボクセル値）の積算値を算出し、算出した積算値を、関心領域のＤＲＲ画像の各画素値とする。これにより、図５中（５）に示すような関心領域のＤＲＲ画像が得られ、ＤＲＲ画像中の各画素値は、各位置での骨密度に対応する値となる。
　制御部１１は、ステップＳ１１で取得した股関節Ｘ線正面画像から、左大腿骨近位部を含む半割画像を抽出する（Ｓ１８）。具体的には、制御部１１は、股関節Ｘ線正面画像を左右方向の中央で半分に分割した右半分の領域（左大腿骨を含む領域）を抽出する。制御部１１は、抽出したＸ線画像（股関節Ｘ線正面画像の半割画像）と、ステップＳ１７で生成した関心領域のＤＲＲ画像とを対応付けて訓練データとして訓練ＤＢ１２ｂに記憶する（Ｓ１９）。制御部１１は、医療画像ＤＢ１２ａに記憶してあるＸ線画像及びＣＴ画像のうちで、上述した訓練データの生成処理が行われていない未処理の画像があるか否かを判断する（Ｓ２０）。未処理の画像があると判断した場合（Ｓ２０：ＹＥＳ）、制御部１１はステップＳ１１の処理に戻り、訓練データの生成が未処理のＸ線画像及びＣＴ画像について、ステップＳ１１～Ｓ１９の処理を実行する。未処理の画像がないと判断した場合（Ｓ２０：ＮＯ）、制御部１１は、一連の処理を終了する。上述した処理により、医療画像ＤＢ１２ａに記憶してあるＸ線画像及びＣＴ画像に基づいて、学習モデル１２Ｍの学習に用いる訓練データを生成して訓練ＤＢ１２ｂに蓄積することができる。上述した処理では、訓練データの生成に用いるＸ線画像及びＣＴ画像は、医療画像ＤＢ１２ａに記憶してある例で説明したが、制御部１１は、他の装置に記憶してあるＸ線画像及びＣＴ画像を、例えばネットワークＮ経由又は可搬型記憶媒体１０ａ経由で取得する構成でもよい。例えば、制御部１１は、電子カルテサーバに記憶されている電子カルテデータからＸ線画像及びＣＴ画像を取得する構成でもよい。また、上述した処理では、ＣＴ画像から骨領域の関心領域を抽出した後に、Ｘ線画像との位置合わせを行う構成であるが、Ｘ線画像との位置合わせを行った後に、ＣＴ画像から関心領域を抽出する構成でもよい。
　次に、上述した処理によって生成した訓練データを学習して学習モデル１２Ｍを生成する処理について説明する。図６は学習モデル１２Ｍの生成処理手順の一例を示すフローチャートである。以下の処理は、情報処理装置１０の制御部１１が記憶部１２に記憶してあるプログラム１２Ｐに従って実行するが、他の学習装置で行われてもよい。また、図４に示した訓練データの生成処理と、図６に示す学習モデル１２Ｍの生成処理とは各別の装置で行われてもよい。
　情報処理装置１０の制御部１１は、訓練ＤＢ１２ｂから訓練データを１つ取得する（Ｓ３１）。具体的には、制御部１１は、訓練ＤＢ１２ｂに記憶してある股関節Ｘ線正面画像の半割画像（具体的には、左大腿骨近位部の領域を含むＸ線画像）及びＤＲＲ画像のペアを１つ読み出す。制御部１１は、読み出した訓練データを用いて学習モデル１２Ｍの学習処理を行う（Ｓ３２）。ここでは、制御部１１は、上述した手順によって学習モデル１２Ｍの生成器及び識別器のパラメータの更新を行い、訓練データに含まれるＸ線画像を入力した場合に、Ｘ線画像中の大腿骨近位部のＤＲＲ画像を生成して出力する学習モデル１２Ｍを生成する。
　制御部１１は、訓練ＤＢ１２ｂに記憶してある訓練データのうちで、学習処理が行われていない未処理の訓練データがあるか否かを判断する（Ｓ３３）。未処理の訓練データがあると判断した場合（Ｓ３３：ＹＥＳ）、制御部１１は、ステップＳ３１の処理に戻り、学習処理が未処理の訓練データについてステップＳ３１～Ｓ３２の処理を実行する。未処理の訓練データがないと判断した場合（Ｓ３３：ＮＯ）、制御部１１は一連の処理を終了する。上述した学習処理により、大腿骨近位部の領域を含むＸ線画像を入力することによって、当該大腿骨近位部のＤＲＲ画像を出力する学習モデル１２Ｍが生成される。
　上述したような訓練データを用いた学習処理を繰り返し行うことにより、学習モデル１２Ｍを更に最適化することができる。また、既に学習済みの学習モデル１２Ｍについても、上述した学習処理を行うことによって再学習させることができ、この場合、精度がより高い学習モデル１２Ｍを生成できる。なお、本実施形態の学習モデル１２Ｍは、ＣＴ画像から筋骨格領域を高精度に分類するセグメンテーション技術と、Ｘ線画像中の対象部位とＣＴ画像中の対象部位とを高精度に位置合わせする技術とを用いて、ＣＴで得られる豊富な３次元データと、Ｘ線画像とを空間的に高精度に対応付けることができた訓練データを用いて学習が行われる。そのため、大量の症例数（訓練データ）を必要とせず、高精度のＤＲＲ画像の生成が可能な学習モデル１２Ｍを実現できる。
　次に、上述したように生成された学習モデル１２Ｍを用いて、被検者の大腿骨近位部を含む股関節Ｘ線正面画像から当該大腿骨近位部の骨密度を推定する処理について説明する。図７は骨密度の推定処理手順の一例を示すフローチャート、図８は画面例を示す説明図である。以下の処理は、情報処理装置１０の制御部１１が、記憶部１２に記憶してあるプログラム１２Ｐに従って実行する。なお、以下では、学習モデル１２Ｍを用いてＸ線画像から生成されたＤＲＲ画像を予測ＤＲＲ画像という。
　情報処理装置１０の制御部１１は、患者等の被検者の骨盤及び左右の大腿骨を含む領域をＸ線装置で撮影した股関節Ｘ線正面画像を取得する（Ｓ４１）。制御部１１は、例えば電子カルテサーバに記憶されている電子カルテデータから、骨密度の推定を行いたい患者の股関節Ｘ線正面画像を取得する。また、被検者の股関節Ｘ線正面画像が可搬型記憶媒体１０ａに記憶されている場合、制御部１１は、読み取り部１６によって可搬型記憶媒体１０ａから当該股関節Ｘ線正面画像を読み取ってもよい。
　制御部１１は、取得した股関節Ｘ線正面画像から、骨密度を測定する側の大腿骨近位部を含む半割画像を抽出する（Ｓ４２）。具体的には、制御部１１は、股関節Ｘ線正面画像を左右方向の中央で半分に分割した右半分の領域（左大腿骨を含む領域）を抽出する。なお、制御部１１は、被検者の右大腿骨近位部の骨密度を測定する場合、股関節Ｘ線正面画像の左半分の領域（右大腿骨を含む領域）を抽出した後に左右反転させる処理を実行しておく。制御部１１は、ステップＳ４２で抽出したＸ線画像の半割画像に基づいて、当該Ｘ線画像中の大腿骨近位部の予測ＤＲＲ画像を生成する（Ｓ４３）。具体的には、制御部１１は、大腿骨近位部を含むＸ線画像（股関節Ｘ線正面画像の半割画像）を学習モデル１２Ｍに入力し、当該Ｘ線画像中の大腿骨近位部の予測ＤＲＲ画像を、学習モデル１２Ｍからの出力情報として取得する。
　制御部１１は、生成した大腿骨近位部の予測ＤＲＲ画像から、当該大腿骨近位部の骨密度を算出する（Ｓ４４）。予測ＤＲＲ画像の各画素値は、骨密度に対応した値となっており、制御部１１は、例えば予測ＤＲＲ画像中の各画素値の平均値を算出することによって、当該大腿骨近位部の骨密度を算出する。制御部１１は、骨密度（ＢＭＤ：Bone Mineral Density）に加えて、当該骨密度から算出される若年成人比較の結果（ＹＡＭ：Young Adult Mean）、及び同年齢比較の結果を算出する。制御部１１は、算出した検査結果を、例えば電子カルテサーバの電子カルテデータに記憶する（Ｓ４５）。
　制御部１１は、検査結果を表示する画面を生成して、例えば表示部１５に出力し（Ｓ４６）、表示部１５に表示させて処理を終了する。例えば制御部１１は、図８に示すような検査結果画面を生成する。図８に示す画面は、被検者の識別情報（例えば患者ＩＤ、患者氏名等）と、股関節Ｘ線正面画像及びその撮影日時とを表示する。更に、図８に示す画面は、当該股関節Ｘ線正面画像に基づく骨密度の検査結果として、予測ＤＲＲ画像、予測ＤＲＲ画像中の対象部位名（図８では左大腿骨近位部）、予測ＤＲＲ画像から推定された骨密度、若年成人比較、同年齢比較を表示する。また、例えば、骨密度、若年成人比較、又は同年齢比較の各数値に対応付けて、医師等に提示すべきコメントが記憶部１２に記憶されている場合、制御部１１は、算出した検査結果（骨密度、若年成人比較、又は同年齢比較）に対応するコメントを記憶部１２から読み出し、図８に示すように、検査結果画面に表示させてもよい。
　上述した処理により、医療機関等で一般的に使用されているＸ線装置を用いて撮影された股関節Ｘ線正面画像から、当該股関節Ｘ線正面画像中の大腿骨近位部の骨密度を推定することができる。また、本実施形態では、股関節Ｘ線正面画像から生成された大腿骨近位部の予測ＤＲＲ画像と、予測ＤＲＲ画像から推定された骨密度とを医師等に提示することができる。よって、医師は、予測ＤＲＲ画像及び推定された骨密度によって患者の大腿骨近位部の状態を判断することができる。
　本実施形態では、学習モデル１２Ｍが、Ｘ線画像中の大腿骨近位部の撮影状態の特徴を自動抽出して予測ＤＲＲ画像の生成を行うので、ＤＸＡ装置等を用いた検査を行うことなく、Ｘ線装置での撮影を行うだけで骨密度の推定が可能となる。従って、健康診断又は小規模なクリニックでも撮影されるＸ線画像から対象部位の骨密度の推定が可能となるので、骨密度の測定検査を手軽に実施することができる。よって、骨量減少又は骨粗鬆症の早期診断及び早期治療介入が可能となり、骨量減少又は骨粗鬆症に伴う骨折を予防し、健康寿命の延伸に寄与することが期待される。
　本実施形態では、上述したように、Ｘ線画像中の対象部位（大腿骨近位部）と、ＣＴ画像中の対象部位との空間的な位置合わせを高精度で実現できる。よって、高精度に位置合わせされたＸ線画像及びＣＴ画像（ＤＲＲ画像）による訓練データを用いることにより、大量の訓練データを学習させることなく、高精度の予測ＤＲＲ画像の生成が可能となる。例えば、変形性股関節症の患者から収集したＸ線画像及びＣＴ画像から生成された２００ペアの訓練データを用いて学習を行った学習モデル１２Ｍを用いてＸ線画像から予測ＤＲＲ画像を生成し、予測ＤＲＲ画像から推定された大腿骨近位部の骨密度と、ＤＸＡ装置を用いて計測された当該大腿骨近位部の骨密度との比較結果を図９Ａ及び図９Ｂに示す。図９Ａ及び図９Ｂは、予測ＤＲＲ画像から推定された骨密度と、ＤＸＡ装置で計測された骨密度との関係を示す図表である。図９Ａに示す図表と、図９Ｂに示す図表とはそれぞれ、異なる医療機関のＸ線装置及びＤＸＡ装置で収集されたＸ線画像及び骨密度（ＢＭＤ）による検証結果を示している。
　図９Ａの図表は、横軸に予測ＤＲＲ画像から推定された大腿骨近位部の骨密度を示し、縦軸にＤＸＡ装置で計測された当該大腿骨近位部の骨密度を示す。図９Ｂの図表は、横軸にＤＸＡ装置で計測された大腿骨近位部の骨密度を示し、縦軸に予測ＤＲＲ画像から推定された当該大腿骨近位部の骨密度を示す。図９Ａ及び図９Ｂの図表から分かるように、予測ＤＲＲ画像から推定された大腿骨近位部の骨密度と、ＤＸＡ装置で計測された当該大腿骨近位部の骨密度とは高い線形相関を示した。具体的には、図９Ａに示す医療機関では、０．８６１の相関係数が得られ、予測ＤＲＲ画像から推定された骨密度と、ＤＸＡ装置で計測された骨密度との平均誤差（平均絶対誤差）は０．０６ｇ／ｃｍ２であった。また、図９Ｂに示す医療機関では、０．８６９の相関係数が得られ、予測ＤＲＲ画像から推定された骨密度と、ＤＸＡ装置で計測された骨密度との平均誤差は０．０７ｇ／ｃｍ２であった。このように、少ない数の訓練データで学習した学習モデル１２Ｍであっても、ＤＸＡ装置での計測結果と同程度の骨密度の予測が可能である。よって、訓練データの収集処理及び学習処理における作業負荷を軽減できる。
　本実施形態では、学習モデル１２Ｍを用いて大腿骨近位部を含むＸ線画像から当該大腿骨近位部の予測ＤＲＲ画像を生成し、予測ＤＲＲ画像から当該大腿骨近位部の骨密度を推定する構成について説明した。しかし、骨密度の推定対象の部位は、大腿骨近位部のほかに、腰椎、胸椎、頸椎、鎖骨、肋骨、手の骨、足の骨、あるいは、それらの特定部位等であってもよい。他の部位についても同様の処理によって訓練データの生成及び学習モデルの生成が行われ、学習モデルを用いた骨密度の推定が可能である。
　本実施形態において、訓練データの生成処理、訓練データを用いた学習モデル１２Ｍの学習処理、学習モデル１２Ｍを用いた骨密度の推定処理は、情報処理装置１０がローカルで行う構成に限定されない。例えば、上述した各処理を実行する情報処理装置をそれぞれ設けてもよい。また、訓練データの生成処理及び学習モデル１２Ｍの学習処理を実行するサーバを設けてもよい。この場合、情報処理装置１０が、訓練データに使用するＸ線画像及びＣＴ画像をサーバへ送信し、サーバが、当該Ｘ線画像及びＣＴ画像から訓練データを生成し、生成した訓練データを用いた学習処理によって学習モデル１２Ｍを生成して情報処理装置１０へ送信するように構成される。よって、情報処理装置１０は、サーバから取得した学習モデル１２Ｍを用いて対象部位の骨密度の推定処理を実現できる。また、学習モデル１２Ｍを用いた骨密度の推定処理を実行するサーバを設けてもよい。この場合、情報処理装置１０は、被検者のＸ線画像をサーバへ送信し、サーバが、学習モデル１２Ｍを用いた予測ＤＲＲ画像の生成処理及び骨密度の推定処理を行い、生成した予測ＤＲＲ画像及び推定した骨密度を情報処理装置１０へ送信するように構成される。このような構成とした場合であっても、上述した本実施形態と同様の処理が可能であり、同様の効果が得られる。
（実施形態２）
　上述した実施形態１では、対象部位（例えば、大腿骨近位部）のＸ線画像から当該対象部位の予測ＤＲＲ画像を生成し、予測ＤＲＲ画像から当該対象部位の骨密度を推定する構成について説明した。本実施形態では、骨密度を推定したい対象部位とは異なる部位のＸ線画像から、骨密度を推定したい対象部位の骨密度を推定する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態１の情報処理装置１０と同様の構成を有するので、構成についての説明は省略する。なお、本実施形態の情報処理装置１０は、図１に示す構成に加えて、記憶部１２に骨密度推定用学習モデル１２Ｍ１（図１０参照）を記憶している。また、本実施形態の医療画像ＤＢ１２ａには、骨密度を推定したい対象部位とは異なる部位のＸ線画像及びＣＴ画像と、骨密度を推定したい対象部位についてＤＸＡ装置で計測した骨密度とが対応付けて記憶されている。本実施形態は、胸部Ｘ線画像から大腿骨近位部の骨密度を推定する構成とするので、医療画像ＤＢ１２ａには、被検者の胸部のＸ線画像及びＣＴ画像と、当該被検者の大腿骨近位部についてＤＸＡ装置で計測した骨密度とが記憶されている。なお、医療画像ＤＢ１２ａに記憶される骨密度は、骨量減少及び骨粗鬆症の診断に用いられる部位の骨密度であればよく、腰椎、骨盤又は大腿骨の骨密度であってもよく、あるいは、全身の骨密度の平均値又は中央値等であってもよい。
　図１０は実施形態２の学習モデル１２Ｍ，１２Ｍ１の概要を示す説明図である。本実施形態の情報処理装置１０は、大腿骨近位部の骨密度を推定する際に、大腿骨近位部とは異なる部位、例えば胸部Ｘ線撮影で撮影される肋骨、鎖骨、胸椎等の部位のＸ線画像から学習モデル１２Ｍを用いて当該部位の予測ＤＲＲ画像を生成する。そして、情報処理装置１０は、生成した予測ＤＲＲ画像から、骨密度推定用学習モデル１２Ｍ１（第２の学習モデル）を用いて大腿骨近位部の骨密度を推定する。なお、大腿骨近位部の骨密度の推定に用いるＸ線画像の撮影部位は、肋骨、鎖骨、胸椎等に限定されず、大腿骨近位部が撮影されていないＸ線画像中の各骨を用いることができる。
　骨密度推定用学習モデル１２Ｍ１は、所定の訓練データを学習済みの機械学習モデルであり、被検者の胸部のＣＴ画像から生成されたＤＲＲ画像を入力とし、当該被検者の大腿骨近位部の骨密度を出力するように学習してある。骨密度推定用学習モデル１２Ｍ１は、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。骨密度推定用学習モデル１２Ｍ１は、例えばＣＮＮで構成されるが、ロジスティック回帰、線形回帰等の他のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。人間の骨の骨密度は、身体の各骨で同様に低下すると考えられるので、ＣＴ画像の撮影対象の骨の骨密度と、撮影対象以外の骨の骨密度とは強い相関関係を有すると考えられる。従って、本実施形態では、骨密度推定用学習モデル１２Ｍ１を用いて、ＣＴ画像（ＤＲＲ画像）から予想される、当該撮影対象以外の部位の骨密度を推定することができる。
　骨密度推定用学習モデル１２Ｍ１は、訓練用のＤＲＲ画像と訓練用（正解）の骨密度とを関連付けた訓練データを用意し、この訓練データを用いて未学習の学習モデル１２Ｍ１を機械学習させることにより生成される。訓練用のＤＲＲ画像は、例えばＤＸＡ装置によって骨密度正常症例、骨粗鬆症例、骨量減少例のいずれかと診断された被検者の胸部を撮影したＣＴ画像から生成されたＤＲＲ画像を用いることができ、訓練用の骨密度は、ＤＸＡ装置を用いて計測した当該被検者の大腿骨近位部の骨密度を用いることができる。本実施形態の情報処理装置１０は、訓練用に用意されたＤＲＲ画像及び骨密度を用いて学習を行い、ＤＲＲ画像から、当該ＤＲＲ画像の撮影対象以外の部位の骨密度を出力する骨密度推定用学習モデル１２Ｍ１を生成する。
　骨密度推定用学習モデル１２Ｍ１は、訓練用のＤＲＲ画像が入力された場合に、正解の骨密度を出力するように学習する。学習処理において学習モデル１２Ｍ１は、入力されたＤＲＲ画像に基づく演算を行い、演算結果である出力値を算出する。そして、学習モデル１２Ｍ１は、算出した出力値と正解の骨密度とを比較し、両者が近似するように、演算処理に用いるパラメータを最適化する。当該パラメータは、骨密度推定用学習モデル１２Ｍ１におけるノード間の重み（結合係数）等であり、パラメータの最適化の方法は誤差逆伝播法、最急降下法等を用いることができる。これにより、胸部ＣＴ画像から生成されたＤＲＲ画像が入力された場合に、大腿骨近位部の骨密度を出力する学習モデル１２Ｍ１が生成される。骨密度推定用学習モデル１２Ｍ１の学習も他の学習装置で行われてもよい。
　図１１は実施形態２の訓練データの生成処理手順の一例を示すフローチャートである。図１１に示す処理は、図４に示す処理において、ステップＳ１１の代わりにステップＳ５１を追加し、ステップＳ１８を削除し、ステップＳ１９，Ｓ２０の間にステップＳ５２を追加したものである。図４と同じステップについては説明を省略する。なお、本実施形態では、医療画像ＤＢ１２ａに、学習モデル１２Ｍ，１２Ｍ１の学習用として、各被検者の胸部を撮影した胸部Ｘ線画像及び胸部ＣＴ画像と、ＤＸＡ装置で計測した各被検者の大腿骨近位部の骨密度とが対応付けて記憶してあるものとする。
　本実施形態の情報処理装置１０の制御部１１は、医療画像ＤＢ１２ａから、胸部Ｘ線画像、胸部ＣＴ画像、及び大腿骨近位部の骨密度のセットを１つ読み出す（Ｓ５１）。そして、制御部１１は、図４中のステップＳ１２～Ｓ１７，Ｓ１９と同様の処理を実行する。即ち、制御部１１は、胸部ＣＴ画像に対してキャリブレーション処理を実行し（Ｓ１２）、胸部ＣＴ画像の各画素を骨領域、筋肉領域、及びその他の領域のいずれかに分類し（Ｓ１３）、胸部ＣＴ画像から骨領域のデータを抽出する（Ｓ１４）。そして、制御部１１は、抽出した骨領域のＣＴ画像から、関心領域（例えば肋骨）のデータを抽出し（Ｓ１５）、ステップＳ５１で取得した胸部Ｘ線画像と、ステップＳ１５で抽出したＣＴ画像中の関心領域とにおいて、撮影対象（ここでは肋骨）の位置合わせを行う（Ｓ１６）。更に、制御部１１は、位置合わせが行われた関心領域（肋骨）のＣＴ画像から関心領域のＤＲＲ画像を生成し（Ｓ１７）、ステップＳ５１で取得したＸ線画像と、ステップＳ１７で生成した関心領域のＤＲＲ画像とを対応付けて、学習モデル１２Ｍの学習用の訓練データとして訓練ＤＢ１２ｂに記憶する（Ｓ１９）。なお、本実施形態では、医療画像ＤＢ１２ａから読み出した胸部Ｘ線画像をそのまま訓練データに用いるが、図４中のステップＳ１８のように、読み出したＸ線画像から、訓練データに用いる領域を抽出する処理を行ってもよい。
　また、制御部１１は、ステップＳ１７で生成した関心領域のＤＲＲ画像と、ステップＳ５１で取得した大腿骨近位部の骨密度とを対応付けて、骨密度推定用学習モデル１２Ｍ１の学習用の訓練データとして記憶部１２に記憶する（Ｓ５２）。なお、制御部１１は、骨密度推定用学習モデル１２Ｍ１の学習用の訓練データを蓄積するＤＢを記憶部１２に用意しておき、このＤＢに生成した訓練データを記憶させてもよい。その後、制御部１１は、ステップＳ２０の処理に移行する。上述した処理により、医療画像ＤＢ１２ａに記憶してあるＸ線画像、ＣＴ画像、及び骨密度に基づいて、学習モデル１２Ｍの学習に用いる訓練データを生成して訓練ＤＢ１２ｂに蓄積することができると共に、骨密度推定用学習モデル１２Ｍ１の学習に用いる訓練データを生成してＤＢに蓄積することができる。
　本実施形態において、骨密度推定用学習モデル１２Ｍ１の生成は、図６に示す学習処理と同様の処理によって実現できる。なお、骨密度推定用学習モデル１２Ｍ１の生成処理では、図６中のステップＳ３１で、制御部１１は、記憶部１２に記憶してある関心領域（ここでは肋骨）のＤＲＲ画像及び大腿骨近位部の骨密度のペアを読み出す。またステップＳ３２で、制御部１１は、訓練データに含まれるＤＲＲ画像を骨密度推定用学習モデル１２Ｍ１に入力し、骨密度推定用学習モデル１２Ｍ１からの出力情報を取得する。制御部１１は、取得した出力情報と、訓練データに含まれる大腿骨近位部の骨密度とを比較し、両者が近似するように、例えば誤差逆伝播法を用いて、骨密度推定用学習モデル１２Ｍ１におけるノード間の重み等のパラメータを最適化する。上述した処理により、肋骨のＣＴ画像から生成されたＤＲＲ画像を入力することによって、大腿骨近位部の骨密度を出力する骨密度推定用学習モデル１２Ｍ１が生成される。
　次に、学習モデル１２Ｍ，１２Ｍ１を用いて、被検者の胸部Ｘ線画像から当該被検者の大腿骨近位部の骨密度を推定する処理について説明する。図１２は実施形態２の骨密度の推定処理手順の一例を示すフローチャート、図１３は画面例を示す説明図である。情報処理装置１０の制御部１１は、被検者の胸部をＸ線装置で撮影した胸部Ｘ線画像を取得する（Ｓ６１）。ここでも制御部１１は、例えば電子カルテデータから、骨密度の推定を行いたい被検者の胸部Ｘ線画像を取得する。
　制御部１１は、取得した胸部Ｘ線画像を学習モデル１２Ｍに入力し、当該Ｘ線画像中の対象部位（ここでは肋骨）の予測ＤＲＲ画像を生成する（Ｓ６２）。制御部１１は、肋骨の予測ＤＲＲ画像を学習モデル１２Ｍの出力情報として取得する。なお、本実施形態では、取得した胸部Ｘ線画像をそのまま学習モデル１２Ｍに入力するが、図７中のステップＳ４２のように、取得したＸ線画像から、大腿骨近位部の骨密度の推定に用いる対象部位の領域を抽出する処理を行い、抽出した領域のＸ線画像を学習モデル１２Ｍに入力する構成でもよい。大腿骨近位部の骨密度の推定に用いる対象部位は、肋骨のほかに、鎖骨、胸椎等とすることができる。
　制御部１１は、ステップＳ６２で生成した肋骨の予測ＤＲＲ画像を骨密度推定用学習モデル１２Ｍ１に入力し、当該被検者の大腿骨近位部の骨密度を推定する（Ｓ６３）。なお、制御部１１は、大腿骨近位部の骨密度を骨密度推定用学習モデル１２Ｍ１の出力情報として取得する。制御部１１は、推定した骨密度（ＢＭＤ）から、若年成人比較（ＹＡＭ）及び同年齢比較の結果を示す数値を算出する（Ｓ６４）。そして、制御部１１は、検査結果を、例えば電子カルテデータに記憶し（Ｓ６５）、検査結果を表示する画面を生成して表示部１５に出力する（Ｓ６６）。ここでは制御部１１は、例えば図１３に示す検査結果画面を生成する。図１３に示す画面は、被検者の識別情報と、胸部Ｘ線画像及びその撮影日時とを表示し、当該胸部Ｘ線画像に基づく骨密度の検査結果として、肋骨の予測ＤＲＲ画像、予測ＤＲＲ画像中の対象部位名（図１３では肋骨）、予測ＤＲＲ画像から推定された大腿骨近位部の骨密度、若年成人比較、同年齢比較を表示する。ここでも、検査結果（骨密度、若年成人比較、又は同年齢比較）に対応するコメントが記憶部１２に記憶してある場合、制御部１１は、検査結果に対応するコメントを記憶部１２から読み出して検査結果画面に表示させてもよい。
　本実施形態においても、上述した実施形態１と同様の効果が得られる。また本実施形態では、Ｘ線装置を用いて撮影された胸部Ｘ線画像から、当該被検者の大腿骨近位部の骨密度を推定することができる。よって、本実施形態では、例えば健康診断で胸部Ｘ線画像を撮影した場合に、当該胸部Ｘ線画像から被検者の大腿骨近位部の骨密度の推定が可能となり、骨密度の測定検査を他の検査の際により手軽に実施することが可能となる。そのため、骨密度測定が検査目的でない被検者に対しても、骨量減少又は骨粗鬆症の可能性を診断でき、早期診断及び早期治療介入が可能となる。
　また、本実施形態では、胸部Ｘ線画像から生成された所定部位（例えば肋骨）の予測ＤＲＲ画像と、予測ＤＲＲ画像から推定された大腿骨近位部の骨密度とを医師等に提示することができる。よって、医師は、所定部位の予測ＤＲＲ画像及び推定された大腿骨近位部の骨密度によって患者の肋骨及び大腿骨近位部の状態を判断し、骨量減少又は骨粗鬆症の診断を行うことができる。なお、骨密度の推定対象は大腿骨近位部に限定されず、任意の各部位とすることができ、骨密度の推定に用いるＸ線画像の撮影対象は、骨密度の推定対象の部位以外の部位であればよい。
　本実施形態において、学習モデル１２Ｍ及び骨密度推定用学習モデル１２Ｍ１は１つの学習モデルで構成されてもよい。具体的には、例えば胸部Ｘ線画像を入力とし、当該胸部Ｘ線画像の被検者の大腿骨近位部の骨密度を出力するように学習モデルを構成することもできる。また、本実施形態において、骨密度推定用学習モデル１２Ｍ１の代わりに、学習モデル１２Ｍを用いて胸部Ｘ線画像から生成された所定部位（例えば肋骨）の予測ＤＲＲ画像を入力とし、当該予測ＤＲＲ画像から大腿骨近位部の予測ＤＲＲ画像を生成して出力するように学習された学習モデルを用いてもよい。この場合、肋骨の予測ＤＲＲ画像から、当該被検者の大腿骨近位部のＤＲＲ画像を推定することができ、推定された大腿骨近位部のＤＲＲ画像に基づいて大腿骨近位部の骨密度を推定することが可能となる。更に、例えば胸部Ｘ線画像を入力とし、当該胸部Ｘ線画像の被検者の大腿骨近位部の予測ＤＲＲ画像を生成して出力するように学習された学習モデルを用いてもよい。この場合にも、胸部Ｘ線画像から、当該被検者の大腿骨近位部のＤＲＲ画像を推定することができるので、大腿骨近位部のＤＲＲ画像に基づいて大腿骨近位部の骨密度を推定することが可能となる。本実施形態においても、上述した実施形態１で適宜説明した変形例の適用が可能である。
（実施形態３）
　上述した実施形態１では、対象部位（大腿骨近位部等の骨領域）のＸ線画像から当該対象部位の予測ＤＲＲ画像を生成し、予測ＤＲＲ画像から当該対象部位の骨密度を推定する構成について説明した。本実施形態では、対象部位（例えば下腹部、臀部等の筋肉領域）のＸ線画像から当該対象部位の筋肉領域の予測ＤＲＲ画像を生成し、生成した予測ＤＲＲ画像から当該対象部位の筋肉量を推定する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態１の情報処理装置１０と同様の構成を有するので、構成についての説明は省略する。なお、本実施形態の医療画像ＤＢ１２ａには、筋肉量を推定したい部位（筋肉領域）のＸ線画像及びＣＴ画像が対応付けて記憶されている。
　図１４は実施形態３の学習モデル１２Ｍａの概要を示す説明図である。本実施形態の学習モデル１２Ｍａは、図２に示す実施形態１の学習モデル１２Ｍと同様の構成を有し、同様の学習処理によって生成される。なお、本実施形態の学習モデル１２Ｍａは、例えば、股関節Ｘ線正面画像（臀部のＸ線画像）と、臀部（下腹部）をＸ線ＣＴ装置で撮影したＣＴ画像から生成された臀部の筋肉領域のＤＲＲ画像とを訓練データに用いて、臀部のＸ線画像が入力された場合に、当該臀部の筋肉領域のＤＲＲ画像（予測ＤＲＲ画像、筋肉量に関する情報）を出力するように学習されている。図１４に示す例では、学習モデル１２Ｍａは、大臀筋、中臀筋、ハムストリングス等の複数の筋肉領域のＤＲＲ画像を生成するが、いずれか１つの筋肉領域のＤＲＲ画像を生成するように構成されていてもよい。例えば、サルコペニアの診断に利用できる筋肉領域があれば、当該筋肉領域のＤＲＲ画像を生成するように学習モデル１２Ｍａを生成してもよい。
　以下に、本実施形態の学習モデル１２Ｍａの学習に用いる訓練データの生成処理について説明する。図１５は実施形態３の訓練データの生成処理手順の一例を示すフローチャートである。図１５に示す処理は、図４に示す処理において、ステップＳ１４の代わりにステップＳ７１を追加し、ステップＳ１５～Ｓ１６，Ｓ１８を削除し、ステップＳ１７，Ｓ１９の代わりにステップＳ７２～Ｓ７３を追加したものである。図４と同じステップについては説明を省略する。
　本実施形態の情報処理装置１０の制御部１１は、図４中のステップＳ１１～Ｓ１３と同様の処理を行う。即ち、制御部１１は、医療画像ＤＢ１２ａからＸ線画像（股関節Ｘ線正面画像）及びＣＴ画像のペアを読み出し、読み出したＣＴ画像に対して輝度値のキャリブレーション処理を実行した後、ＣＴ画像中の各画素を骨領域、筋肉領域、及びその他の領域（筋骨格領域）に分類する。これにより、図５中（１）に示すように、ＣＴ画像中の各画素が各領域に分類された筋骨格ラベル画像を取得できる。本実施形態では、制御部１１は、筋骨格ラベル画像に基づいて、ＣＴ画像から筋肉領域のデータを抽出する（Ｓ７１）。制御部１１は、筋肉の種類毎に筋肉領域のデータ（ＣＴ画像）を抽出する。
　制御部１１は、抽出した筋肉領域のデータ（ＣＴ画像）から、ＣＴ画像の各画素を所定方向に投影した筋肉領域のＤＲＲ画像を生成する（Ｓ７２）。例えばＸ線画像が、被検者の背面から前面へ通過した放射線を受光して得られていた場合、制御部１１は、筋肉領域のＣＴ画像の各画素を、被検者の背面から前面への方向に投影したＤＲＲ画像を生成する。ここでも、制御部１１は、ＣＴ画像において、所定方向に並ぶ各画素値（輝度値、ボクセル値）の積算値をＤＲＲ画像の各画素値とする。よって、本実施形態では、筋肉領域のＤＲＲ画像中の各画素値は、各位置での筋肉密度（筋肉量）に対応する値となる。なお、制御部１１は、ステップＳ１１で取得したＸ線画像と、ステップＳ７１で抽出した筋肉領域のＣＴ画像とにおいて、各画像中の撮影対象（ここでは各筋肉）の位置合わせを行い、位置合わせ後のＣＴ画像の各画素を、Ｘ線画像の撮影方向と同じ方向に投影したＤＲＲ画像を生成してもよい。
　制御部１１は、ステップＳ１１で取得したＸ線画像と、ステップＳ７２で生成した筋肉領域のＤＲＲ画像とを対応付けて訓練データとして訓練ＤＢ１２ｂに記憶する（Ｓ７３）。その後、制御部１１は、ステップＳ２０の処理に移行する。上述した処理により、医療画像ＤＢ１２ａに記憶してあるＸ線画像及びＣＴ画像に基づいて、本実施形態の学習モデル１２Ｍａの学習に用いる訓練データを生成して訓練ＤＢ１２ｂに蓄積できる。このように生成された訓練データを用いることにより、本実施形態では、図６に示す学習処理と同様の処理によって学習モデル１２Ｍａを生成できる。
　次に、学習モデル１２Ｍａを用いて、被検者の股関節Ｘ線正面画像から当該被検者の臀部の筋肉量を推定する処理について説明する。図１６は筋肉量の推定処理手順の一例を示すフローチャート、図１７は画面例を示す説明図である。図１６に示す処理は、図７に示す処理において、ステップＳ４２を削除し、ステップＳ４３～Ｓ４４の代わりにステップＳ８１～Ｓ８２を追加したものである。図７と同じステップについては説明を省略する。
　情報処理装置１０の制御部１１は、被検者の股関節Ｘ線正面画像を取得する（Ｓ４１）。制御部１１は、股関節Ｘ線正面画像に基づいて、当該Ｘ線画像中の筋肉領域の予測ＤＲＲ画像を生成する（Ｓ８１）。具体的には、制御部１１は、股関節Ｘ線正面画像を学習モデル１２Ｍａに入力し、当該Ｘ線画像中の臀部の筋肉領域の予測ＤＲＲ画像を、学習モデル１２Ｍａからの出力情報として取得する。そして、制御部１１は、生成した筋肉領域の予測ＤＲＲ画像から、当該臀部における各筋肉の筋肉量を算出する（Ｓ８２）。本実施形態では、予測ＤＲＲ画像の各画素値は、筋肉密度（筋密度）に対応した値となっており、制御部１１は、予測ＤＲＲ画像中の各画素値の平均値を算出することによって、当該筋肉領域における筋肉密度を算出する。また、制御部１１は、算出した筋肉密度と、当該筋肉領域の体積とに基づいて当該筋肉領域における筋肉量を算出する。なお、制御部１１は、予測ＤＲＲ画像中の各画素値に基づいて、各１画素分の筋肉量を算出し、各画素に対応する筋肉量を積算することにより、当該筋肉領域における筋肉量を算出してもよい。更に、制御部１１は、各筋肉領域における筋肉量に基づいて、被検者の身体全体の筋肉量を予測してもよい。例えば、被検者の大臀筋、中臀筋、ハムストリングス等の各筋肉の筋肉量と、当該被検者の全身の筋肉量とを対応付けて登録しておくことにより、予測ＤＲＲ画像から推定された各筋肉の筋肉量から当該被検者の全身の筋肉量が予測できる。また、制御部１１は、各筋肉領域における筋肉量に基づいて、被検者の上肢の筋肉量、又は下肢の筋肉量等を予測してもよい。
　制御部１１は、算出した各筋肉の筋肉密度及び筋肉量を含む検査結果を、例えば電子カルテデータに記憶し（Ｓ４５）、図１７に示すような検査結果画面を生成して表示部１５に出力する（Ｓ４６）。図１７に示す画面は、被検者の識別情報と、股関節Ｘ線正面画像及びその撮影日時とを表示する。また、図１７に示す画面は、当該股関節Ｘ線正面画像に基づく筋肉量の検査結果として、各筋肉の予測ＤＲＲ画像、予測ＤＲＲ画像中の対象部位名（図１７では大臀筋、中臀筋、ハムストリングス）、予測ＤＲＲ画像から推定された筋肉量を表示する。また、筋肉密度又は筋肉量に対応付けて、医師等に提示すべきコメントが記憶部１２に記憶されている場合、制御部１１は、算出した検査結果（筋肉密度又は筋肉量）に対応するコメントを記憶部１２から読み出し、図１７に示すように検査結果画面に表示させてもよい。
　上述した処理により、本実施形態では、Ｘ線装置を用いて撮影された股関節Ｘ線正面画像から、当該股関節Ｘ線正面画像中の筋肉領域の筋肉量を推定することができる。また、本実施形態では、股関節Ｘ線正面画像から生成された筋肉領域の予測ＤＲＲ画像と、予測ＤＲＲ画像から推定された筋肉量とを医師等に提示することができる。よって、医師は、予測ＤＲＲ画像及び推定された筋肉量によって患者の筋肉の状態を判断することができる。本実施形態では、学習モデル１２Ｍａが、Ｘ線画像中の筋肉領域の撮影状態の特徴を自動抽出して筋肉領域の予測ＤＲＲ画像の生成を行うので、ＤＸＡ装置等を用いた検査を行うことなく、Ｘ線装置での撮影を行うだけで筋肉量の推定が可能となる。従って、健康診断又は小規模なクリニックでも撮影されるＸ線画像から対象部位の筋肉量の推定が可能となるので、筋肉量の測定検査を手軽に実施することが可能となる。よって、加齢により筋肉量及び筋力が低下するサルコペニアの早期診断が可能となり、サルコペニアの発症及び進行を予防及び抑制し、健康寿命の延伸に寄与することが期待される。
　本実施形態においても、少ない数の訓練データによる学習によって、Ｘ線画像から、当該Ｘ線画像中の筋肉領域の予測ＤＲＲ画像を高精度に生成できる学習モデル１２Ｍａを実現できる。よって、本実施形態では、Ｘ線画像から、ＤＸＡ装置での計測結果と同程度の筋肉量及び筋肉密度の予測が可能となり、訓練データの収集処理及び学習処理における作業負荷を軽減できる。
　本実施形態では、学習モデル１２Ｍａを用いて臀部（下腹部）のＸ線画像から当該臀部の筋肉領域の予測ＤＲＲ画像を生成し、予測ＤＲＲ画像から当該臀部の筋肉密度及び筋肉量を推定する構成について説明した。筋肉密度及び筋肉量の推定対象の部位は、臀部のほかに、上肢、下肢、胸部、腹部、全身等であってもよい。他の部位についても同様の処理によって訓練データの生成及び学習モデルの生成が行われ、学習モデルを用いた筋肉密度及び筋肉量の推定が可能となる。
　本実施形態においても、上述した実施形態１～２と同様の効果が得られる。また本実施形態では、Ｘ線装置を用いて撮影された対象部位のＸ線画像から、当該対象部位の筋肉量を推定することができる。よって、筋肉量の測定検査をより手軽に実施することが可能となるので、筋肉量に不安を感じていない被検者に対しても、サルコペニア等の疾患の可能性を診断でき、サルコペニアの早期診断及び早期治療介入が可能となる。また、本実施形態においても、上述した実施形態１～２で適宜説明した変形例の適用が可能である。
（実施形態４）
　実施形態１の構成と実施形態２の構成とを組み合わせた実施形態について説明する。即ち、本実施形態では、対象部位を撮影したＸ線画像から当該対象部位の予測ＤＲＲ画像を生成し、生成した予測ＤＲＲ画像に基づいて当該対象部位の骨密度を推定すると共に、当該対象部位とは異なる部位の骨密度を推定する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態１，２の情報処理装置１０と同様の構成を有するので、構成についての説明は省略する。即ち、本実施形態の情報処理装置１０は、対象部位のＸ線画像から当該対象部位の予測ＤＲＲ画像を生成する学習モデル１２Ｍと、対象部位のＤＲＲ画像から当該対象部位とは異なる部位の骨密度を推定する骨密度推定用学習モデル１２Ｍ１とを有する。以下の例では、学習モデル１２Ｍは、大腿骨近位部のＸ線画像から大腿骨近位部の予測ＤＲＲ画像を生成するモデルとし、骨密度推定用学習モデル１２Ｍ１は、大腿骨近位部のＤＲＲ画像から肋骨の骨密度を推定するモデルとする。しかし、学習モデル１２Ｍ，１２Ｍ１はこのような構成に限定されず、また、学習モデル１２Ｍ，１２Ｍ１のそれぞれについて複数種類のモデルが用意されていてもよい。例えば、学習モデル１２Ｍとして、骨盤のＸ線画像から骨盤のＤＲＲ画像を生成（予測）するモデル、胸部のＸ線画像から肋骨、鎖骨、又は胸椎のＤＲＲ画像を生成するモデル等が更に用意されていてもよい。また、骨密度推定用学習モデル１２Ｍ１として、大腿骨近位部、骨盤、又は大腿骨のＤＲＲ画像から肋骨、鎖骨、胸椎、腰椎、頸椎、手の骨、又は足の骨の骨密度を推定するモデル、肋骨、鎖骨、又は胸椎のＤＲＲ画像から大腿骨近位部、腰椎、頸椎、手の骨、又は足の骨の骨密度を推定するモデル等が用意されていてもよい。
　本実施形態の情報処理装置１０は、図１１及び図６に示す処理の実行が可能であり、図１１に示す処理によって学習モデル１２Ｍ，１２Ｍ１の学習用の訓練データを生成し、図６に示す処理によって学習モデル１２Ｍ，１２Ｍ１の学習処理を実行する。
　次に、学習モデル１２Ｍ，１２Ｍ１を用いて、被検者の股関節Ｘ線正面画像から当該被検者の大腿骨近位部の骨密度と肋骨の骨密度とを推定する処理について説明する。図１８は実施形態４の骨密度の推定処理手順の一例を示すフローチャート、図１９は画面例を示す説明図である。図１８に示す処理は、図７に示す処理において、ステップＳ４６の後にステップＳ９１～Ｓ９６を追加したものである。図７と同じステップについては説明を省略する。情報処理装置１０の制御部１１は、図７中のステップＳ４１～Ｓ４６と同様の処理を実行する。これにより、情報処理装置１０は、被検者の股関節Ｘ線正面画像から当該被検者の大腿骨近位部の骨密度を推定し、図８に示すような検査結果画面を表示する。
　制御部１１は、Ｘ線画像の撮影対象以外の部位の骨密度を推定すべきか否かを判断する（Ｓ９１）。例えば、図１９に示すように検査結果画面には、Ｘ線画像の撮影対象以外の部位を選択するための入力欄が設けられており、制御部１１は、入力欄を介して他の部位が入力された場合、入力された部位の骨密度を推定すべきであると判断する。なお、図１９に示す例では、入力欄に任意の部位を選択するためのプルダウンメニューが設けてあり、医師等が、他の部位の骨密度を確認したい場合、プルダウンメニューによって所望の部位を選択する。制御部１１は、他の部位の骨密度を推定しないと判断した場合（Ｓ９１：ＮＯ）、即ち、入力欄に他の部位が入力されなかった場合、処理を終了する。
　制御部１１は、他の部位の骨密度を推定すると判断した場合（Ｓ９１：ＹＥＳ）、入力欄に入力された部位に基づいて、対象部位用の骨密度推定用学習モデル１２Ｍ１を選択する（Ｓ９２）。ここでは、ステップＳ４３で大腿骨近位部の予測ＤＲＲ画像が生成されており、骨密度の推定対象の他の部位として肋骨が選択されているので、制御部１１は、大腿骨近位部のＤＲＲ画像から肋骨の骨密度を推定するための骨密度推定用学習モデル１２Ｍ１を選択する。そして、制御部１１は、選択した骨密度推定用学習モデル１２Ｍ１に対して、ステップＳ４３で生成した大腿骨近位部の予測ＤＲＲ画像を入力し、骨密度推定用学習モデル１２Ｍ１からの出力情報に基づいて、当該被検者の肋骨（他の部位）の骨密度を推定する（Ｓ９３）。その後、制御部１１は、図１２中のステップＳ６４～Ｓ６５と同様の処理を実行し（Ｓ９４～Ｓ９５）、得られた検査結果を、表示中の検査結果画面に出力する（Ｓ９６）。これにより、図１９に示すように、股関節Ｘ線正面画像から推定された大腿骨近位部の骨密度に加えて、当該被検者の肋骨の骨密度を表示することができる。
　本実施形態においても、上述した各実施形態と同様の効果が得られる。また本実施形態では、対象部位を撮影したＸ線画像から、当該対象部位の骨密度だけでなく、他の部位の骨密度を推定して提示することができる。よって、本実施形態では、健康診断又は通院時に撮影したＸ線画像に基づいて、当該Ｘ線画像の撮影対象の部位の骨密度だけでなく、他の部位の骨密度も推定することができる。従って、骨密度を確認したい部位以外の部位のＸ線画像を撮影した場合であっても、骨密度を確認したい部位の骨密度を予測できるので、骨量減少又は骨粗鬆症の早期診断及び早期治療介入につながる可能性がある。また、本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
（実施形態５）
　実施形態１の構成と実施形態３の構成とを組み合わせた実施形態について説明する。即ち、本実施形態では、対象部位を撮影したＸ線画像から当該対象部位の骨領域における骨密度を推定すると共に、当該対象部位の筋肉領域における筋肉量を推定する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態１，３の情報処理装置１０と同様の構成を有するので、構成についての説明は省略する。即ち、本実施形態の情報処理装置１０は、対象部位のＸ線画像から当該対象部位の骨領域の予測ＤＲＲ画像を生成する学習モデル１２Ｍと、対象部位のＸ線画像から当該対象部位の筋肉領域の予測ＤＲＲ画像を生成する学習モデル１２Ｍａとを有する。以下の例では、学習モデル１２Ｍは、股関節Ｘ線正面画像から大腿骨近位部の予測ＤＲＲ画像を生成するモデルとし、学習モデル１２Ｍａは、股関節Ｘ線正面画像から臀部の筋肉領域の予測ＤＲＲ画像を生成するモデルとする。しかし、学習モデル１２Ｍ，１２Ｍａはこのような構成に限定されず、また、学習モデル１２Ｍ，１２Ｍａのそれぞれについて複数種類のモデルが用意されていてもよい。例えば、学習モデル１２Ｍとして、胸部のＸ線画像から肋骨、鎖骨、又は胸椎のＤＲＲ画像を生成（予測）するモデルが用意されていてもよく、学習モデル１２Ｍａとして、胸部のＸ線画像から大胸筋、小胸筋、鎖骨下筋、前鋸筋、又は肋間筋のＤＲＲ画像を生成するモデルが用意されていてもよい。
　本実施形態の情報処理装置１０は、図４，図６及び図１５に示す処理の実行が可能であり、図４に示す処理によって学習モデル１２Ｍの学習用の訓練データを生成し、図１５に示す処理によって学習モデル１２Ｍａの学習用の訓練データを生成し、図６に示す処理によって学習モデル１２Ｍ，１２Ｍａの学習処理を実行する。
　次に、学習モデル１２Ｍ，１２Ｍａを用いて、被検者の股関節Ｘ線正面画像から当該被検者の大腿骨近位部の骨密度と臀部の筋肉量とを推定する処理について説明する。図２０は実施形態５の骨密度及び筋肉量の推定処理手順の一例を示すフローチャート、図２１は画面例を示す説明図である。図２０に示す処理は、図７に示す処理において、ステップＳ４１，Ｓ４２の間にステップＳ１０１を追加し、ステップＳ４６の後にステップＳ１０２～Ｓ１０６を追加したものである。図７と同じステップについては説明を省略する。
　情報処理装置１０の制御部１１は、被検者の股関節Ｘ線正面画像を取得した後（Ｓ４１）、取得したＸ線画像に基づいて、大腿骨近位部の骨密度を推定すべきか否かを判断する（Ｓ１０１）。例えば、医師等が、メニュー画面（図示せず）を介して、Ｘ線画像の撮影対象に対して、骨領域の骨密度の推定を行うか、筋肉領域の筋肉量の推定を行うかを指定する。メニュー画面を介して骨領域の骨密度の推定が指定された場合、制御部１１は、大腿骨近位部の骨密度を推定すると判断し（Ｓ１０１：ＹＥＳ）、図７中のステップＳ４２～Ｓ４６と同様の処理を実行する。これにより、情報処理装置１０は、被検者の股関節Ｘ線正面画像から当該被検者の大腿骨近位部の骨密度を推定し、図８に示すような検査結果画面を表示する。
　制御部１１は、大腿骨近位部の骨密度を推定しないと判断した場合（Ｓ１０１：ＮＯ）、ステップＳ１０２の処理に移行し、取得したＸ線画像の撮影対象である臀部の筋肉領域の筋肉量を推定すべきか否かを判断する（Ｓ１０２）。メニュー画面を介して筋肉領域の筋肉量の推定が指定されなかった場合、制御部１１は、臀部の筋肉量を推定しないと判断し（Ｓ１０２：ＮＯ）、処理を終了する。一方、メニュー画面を介して筋肉領域の筋肉量の推定が指定された場合、制御部１１は、臀部の筋肉量を推定すると判断し（Ｓ１０２：ＹＥＳ）、図１６中のステップＳ８１～Ｓ８２、Ｓ４５と同様の処理を実行する（Ｓ１０３～Ｓ１０５）。これにより、情報処理装置１０は、被検者の股関節Ｘ線正面画像から当該被検者の臀部の筋肉領域の筋肉量を推定し、得られた検査結果を、表示中の検査結果画面に出力する（Ｓ１０６）。よって、図２１に示すように、股関節Ｘ線正面画像から推定された大腿骨近位部の骨密度に加えて、当該被検者の臀部の筋肉量を表示することができる。上述した処理により、対象部位のＸ線画像から、対象部位の骨領域の骨密度と筋肉領域の筋肉量とを推定することができ、骨密度及び筋肉量のいずれを又は両方を推定対象とすべきかは、医師等のユーザからの指定によって適宜切り替えることができる。
　本実施形態においても、上述した各実施形態と同様の効果が得られる。また本実施形態では、対象部位を撮影したＸ線画像から、当該対象部位の骨領域の骨密度だけでなく、当該対象部位の筋肉領域の筋肉量を推定して提示することができる。よって、撮影対象における骨の状態と筋肉の状態とを確認することができるので、骨量減少又は骨粗鬆症の早期診断、並びに、サルコペニア等の疾患の早期診断が可能となる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
（実施形態６）
　上述した実施形態１～５において、同じ被検者の同じ撮影対象を撮影したＸ線画像（単純Ｘ線画像）とＣＴ画像とにおいて、情報処理装置が、Ｘ線画像中の骨領域（対象部位又は関心領域）と、ＣＴ画像中の骨領域（対象部位又は関心領域）とを位置合わせする処理について説明する。本実施形態の情報処理装置は、実施形態１～５の情報処理装置１０と同様の構成を有するので、構成についての説明は省略する。
　図２２は位置合わせ処理手順の一例を示すフローチャート、図２３Ａ～図２４Ｂは位置合わせ処理の説明図である。図２２に示す位置合わせ処理は、図４及び図１１中のステップＳ１６の処理である。よって、本実施形態では、情報処理装置１０の制御部１１は、図４及び図１１のステップＳ１５の処理後に、図２２の処理を実行し、その後、図４及び図１１のステップＳ１７の処理を実行する。以下では、骨盤を関心領域とし、股関節Ｘ線正面画像中の骨盤とＣＴ画像中の骨盤との位置合わせを例に説明するが、位置合わせに用いる骨領域は関心領域に限定されない。Ｘ線画像及びＣＴ画像中に撮影された任意の骨領域を位置合わせに用いることができる。例えば股関節Ｘ線正面画像では、骨盤のほかに、大腿骨、大腿骨近位部等を位置合わせに用いてもよい。
　図４及び図１１のステップＳ１５の処理後、制御部１１は、ステップＳ１１で取得したＸ線画像（ここでは股関節Ｘ線正面画像）中の関心領域（ここでは骨盤）を特定する（Ｓ１１１）。Ｘ線画像中の関心領域を特定する処理は、例えば関心領域の形状を示すテンプレートを用いたパターンマッチングによって行うことができ、また、例えばＸ線画像が入力された場合に、Ｘ線画像中の関心領域を出力するように機械学習された学習モデルを用いて行うことができる。これにより、例えば図２３Ａに示すＸ線画像中に実線で示す骨盤の領域が特定される。
　次に制御部１１は、ステップＳ１５で抽出したＣＴ画像中の関心領域に基づいて、当該関心領域の疑似ＤＲＲ画像を生成する（Ｓ１１２）。ここでは制御部１１は、骨盤の疑似ＤＲＲ画像を生成する。具体的には、制御部１１は、図２３Ｂに示すように、ＣＴ画像中の関心領域（骨盤の３次元ＣＴ画像）をＸ線撮影系の３次元仮想空間に、所定の投影条件（仮想のＸ線源に対する位置及び角度）で配置し、当該関心領域を、仮想のＸ線源から２次元Ｘ線撮像面上に投影した疑似ＤＲＲ画像（投影画像）を生成する。ここで、Ｘ線画像の撮影時とＣＴ画像の撮影時とにおける撮影条件（例えば被検者の姿勢、関節の屈曲角度等）が異なるので、ＣＴ画像から生成した疑似ＤＲＲ画像中の関心領域の輪郭と、Ｘ線画像中の関心領域の輪郭とは一致しない。図２４Ａでは、Ｘ線画像中の関心領域の輪郭Ｐ１を実線で示しており、疑似ＤＲＲ画像中の関心領域の輪郭Ｐ２を破線で示している。本実施形態では、制御部１１が、ＣＴ画像中の関心領域の投影条件を更新することにより、Ｘ線画像中の関心領域の輪郭Ｐ１と、疑似ＤＲＲ画像中の関心領域の輪郭Ｐ２との相関値が最大となる投影条件を特定する。このような投影条件によって、図２４Ｂに示すように、疑似ＤＲＲ画像中の関心領域がＸ線画像中の関心領域に対して正確に位置合わせされた疑似ＤＲＲ画像を得ることができる。
　よって、制御部１１は、ステップＳ１１１で特定したＸ線画像中の関心領域の輪郭と、ステップＳ１１２で生成した疑似ＤＲＲ画像中の関心領域の輪郭との相関値を算出し（Ｓ１１３）、算出した相関値が最大であるか否かを判断する（Ｓ１１４）。制御部１１は、相関値が最大ではないと判断する場合（Ｓ１１４：ＮＯ）、関心領域のＣＴ画像から疑似ＤＲＲ画像を生成する際の投影条件を更新し（Ｓ１１５）、更新後の投影条件でステップＳ１１２～Ｓ１１４の処理を繰り返す。制御部１１は、算出した相関値が最大であると判断するまで、ステップＳ１１２～Ｓ１１５の処理を繰り返し、相関値が最大であると判断した場合（Ｓ１１４：ＹＥＳ）、即ち、相関値が最大となる疑似ＤＲＲ画像を生成できた場合、このときの投影条件を特定する（Ｓ１１６）。
　本実施形態では、制御部１１は、ステップＳ１１２～Ｓ１１５の処理を、例えば本発明者である「大竹義人」等著の論文名「3D-2D registration in mobile radiographs: algorithm development and preliminary clinical evaluation」の論文に記載された方法を用いて行うことができる。当該論文では、ＣＴ画像中の対象部位（骨領域、ここでは骨盤）の３次元領域から生成される当該対象部位のＤＲＲ画像（ここでは疑似ＤＲＲ画像）における輪郭と、実Ｘ線画像中の対象部位の輪郭との位置合わせの達成を、「Ｘ線画像とＤＲＲ画像のそれぞれの濃淡勾配強度画像の相関の最大化」と定義し、共分散行列適応進化戦略（ＣＭＡ－ＥＳ：Covariance matrix adaptation evolution strategy）を用いて、上記の相関を最大化する配置（投影条件、具体的には撮影系に対して対象部位の３次元的な位置及び角度）を求める方法を開示している。よって、制御部１１は、共分散行列適応進化戦略を用いて、Ｘ線画像中の関心領域の輪郭と、疑似ＤＲＲ画像の輪郭との相関値が最大となる疑似ＤＲＲ画像を特定することにより、特定した疑似ＤＲＲ画像における投影条件を特定することができる。このような投影条件では、図２４Ｂに示すように、疑似ＤＲＲ画像中の関心領域の輪郭Ｐ２が、Ｘ線画像中の関心領域の輪郭Ｐ１に対して高精度に位置合わせされた、当該関心領域の疑似ＤＲＲ画像を生成することができる。なお、ステップＳ１１４で制御部１１は、算出した相関値が所定値以上であるか否かを判断し、所定値以上であると判断した場合に、ステップＳ１１６の処理に移行する構成でもよい。
　その後、制御部１１は、図４及び図１１のステップＳ１７の処理に移行し、関心領域のＣＴ画像を、ステップＳ１１６で特定した投影条件に従った投影方向で投影したＤＲＲ画像を生成する（Ｓ１７）。具体的には、制御部１１は、関心領域のＣＴ画像において、ステップＳ１１６で特定した投影条件に従った投影方向に並ぶ各画素の画素値（輝度値、ボクセル値）の積算値を算出し、算出した積算値を、関心領域のＤＲＲ画像の各画素値とする。これにより、Ｘ線画像中の対象部位（関心領域）の撮影条件（Ｘ線源に対する位置及び角度）と同じ投影条件での対象部位のＤＲＲ画像が生成され、Ｘ線画像中の対象部位と正確に位置合わせされた当該対象部位のＤＲＲ画像が得られる。その後、制御部１１は、図４のステップＳ１８～Ｓ１９の処理を実行することにより、Ｘ線画像（股関節Ｘ線正面画像）の半割画像と、Ｘ線画像の撮影方向と同じ方向で投影した関心領域のＤＲＲ画像とを対応付けて、学習モデル１２Ｍの学習用の訓練データを生成することができる。また、制御部１１は、図１１のＳ１９，Ｓ５２を実行することにより、Ｘ線画像と、Ｘ線画像の撮影方向と同じ方向で投影した関心領域のＤＲＲ画像とを対応付けて学習モデル１２Ｍの学習用の訓練データを生成し、当該関心領域のＤＲＲ画像と、ステップＳ５１で取得した関心領域の骨密度とを対応付けて骨密度推定用学習モデル１２Ｍ１の学習用の訓練データを生成できる。
　上述した処理により、対象部位（骨領域である関心領域）のＸ線画像と、Ｘ線画像中の対象部位に対して高精度に位置合わせされた当該対象部位のＤＲＲ画像とが関連付けられた訓練データが生成されて訓練ＤＢ１２ｂに蓄積される。なお、骨領域は硬組織であるので、Ｘ線画像の撮影時とＣＴ画像の撮影時とにおいて変形しないと考えられる。よって、本実施形態のようにＣＴ画像からＤＲＲ画像を生成する際の条件（投影条件）を最適化することによる位置合わせ処理によって、Ｘ線画像中の対象部位（骨領域）の輪郭と、ＣＴ画像から生成されるＤＲＲ画像中の対象部位の輪郭とを正確に位置合わせすることができる。また、本実施形態の情報処理装置１０は、図６に示す処理の実行が可能であり、上述したように生成された訓練データを用いて図６に示す処理によって学習モデル１２Ｍの学習処理を実行することにより、Ｘ線画像から高精度のＤＲＲ画像を予測できる学習モデル１２Ｍを実現できる。更に、本実施形態の情報処理装置１０は、図７、図１２、図１８及び図２０に示す処理の実行が可能であり、上述したように生成された学習モデル１２Ｍを用いることにより、Ｘ線画像から高精度に予測されたＤＲＲ画像によって、対象部位の骨密度を高精度に推定することができ、高精度の検査結果が得られる。
　上述した処理では、図４に示す処理において、ステップＳ１５でＣＴ画像から抽出した関心領域に基づいて、Ｘ線画像とＣＴ画像とにおける関心領域の位置合わせを行う構成であるが、この構成に限定されない。例えば、ステップＳ１４でＣＴ画像から抽出された骨領域に基づいて、Ｘ線画像とＣＴ画像とにおける骨領域の位置合わせを行う構成でもよい。この場合、情報処理装置１０の制御部１１は、図４中のステップＳ１４の処理後に、図２２に示す位置合わせ処理を実行し、位置合わせ処理後のＣＴ画像に基づいてステップＳ１５及びステップＳ１７の処理を実行する。具体的には、制御部１１は、位置合わせ処理後のＣＴ画像から、関心領域（例えば左大腿骨近位部）のデータを抽出し（Ｓ１５）、抽出した関心領域のＣＴ画像から、ステップＳ１１６で特定した投影条件に従った投影方向で投影したＤＲＲ画像を生成する（Ｓ１７）。なお、ここでの図２２に示す処理では、ステップＳ１４で抽出した骨領域を関心領域として、ステップＳ１１１～Ｓ１１６の処理を実行する。その後、制御部１１は、ステップＳ１８～Ｓ１９の処理を実行する。このような処理でも、対象部位（関心領域）のＸ線画像と、Ｘ線画像中の対象部位に対して高精度に位置合わせされた当該対象部位のＤＲＲ画像とが関連付けられた訓練データが生成されて訓練ＤＢ１２ｂに蓄積される。このように生成された訓練データを用いて学習モデル１２Ｍの学習処理を実行することにより、Ｘ線画像から高精度のＤＲＲ画像を予測できる学習モデル１２Ｍを実現できる。また、このように生成された学習モデル１２Ｍを用いることにより、Ｘ線画像からＤＲＲ画像を高精度に予測することができ、高精度に予測されたＤＲＲ画像によって、対象部位の骨密度を高精度に推定することが可能となる。
　本実施形態では、上述した位置合わせ処理以外の処理は、上述した各実施形態と同様であり、上述した各実施形態と同様の効果が得られる。また本実施形態では、Ｘ線画像中の対象部位と、ＣＴ画像中の対象部位との空間的な位置合わせを高精度に行うことができる。よって、このようなＸ線画像と、当該Ｘ線画像と高精度に位置合わせされたＣＴ画像から生成されたＤＲＲ画像とを訓練データに用いることにより、大量の症例数（訓練データ）を必要とせず、Ｘ線画像からＤＲＲ画像を高精度に予測する学習モデル１２Ｍを実現できる。また、本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
（実施形態７）
　上述した実施形態１，３に、上述した実施形態６の構成を適用し、情報処理装置が、Ｘ線画像及びＣＴ画像中の骨領域に基づいてＸ線画像及びＣＴ画像中の撮影対象（対象部位又は関心領域）の位置合わせを行い、位置合わせ後のＣＴ画像に基づいて、学習モデル１２Ｍ，１２Ｍａの学習に用いる訓練データを生成する処理について説明する。本実施形態の情報処理装置は、実施形態１，３の情報処理装置１０と同様の構成を有するので、構成についての説明は省略する。即ち、本実施形態の情報処理装置１０は、学習モデル１２Ｍ，１２Ｍａを有する。
　図２５は実施形態７の訓練データの生成処理手順の一例を示すフローチャートである。図２５に示す処理は、図４に示す処理において、ステップＳ１５，Ｓ１６の代わりにステップＳ１２１～Ｓ１２６を追加し、ステップＳ１９，Ｓ２０の間にステップＳ１２７～Ｓ１２９を追加したものである。図４と同じステップについては説明を省略する。
　本実施形態の情報処理装置１０の制御部１１は、図４中のステップＳ１１～Ｓ１４の処理を実行する。なお、ステップＳ１４で制御部１１は、ＣＴ画像から生成された筋骨格ラベル画像に基づいて、ＣＴ画像から任意の骨領域のデータを抽出する。例えば図５に示すＣＴ画像では、制御部１１は、骨盤、大腿骨、大腿骨近位部等の骨領域、あるいは、これらの骨領域の複数又は全部を抽出してもよい。ＣＴ画像中の骨領域を抽出した後、制御部１１は、ＣＴ画像から抽出した骨領域に基づいて、図２２中のステップＳ１１１～Ｓ１１６と同様の処理を実行する（Ｓ１２１～Ｓ１２６）。具体的には、制御部１１は、Ｘ線画像において、ＣＴ画像から抽出した骨領域と同じ骨領域を特定する（Ｓ１２１）。
　次に制御部１１は、ステップＳ１４で抽出したＣＴ画像中の骨領域に基づいて、当該骨領域の疑似ＤＲＲ画像を生成する（Ｓ１２２）。そして、制御部１１は、ステップＳ１２１で特定したＸ線画像中の骨領域の輪郭と、ステップＳ１２２で生成した疑似ＤＲＲ画像中の骨領域の輪郭との相関値を算出し（Ｓ１２３）、算出した相関値が最大であるか否かを判断する（Ｓ１２４）。制御部１１は、相関値が最大ではないと判断する場合（Ｓ１２４：ＮＯ）、骨領域のＣＴ画像から疑似ＤＲＲ画像を生成する際の投影条件を更新し（Ｓ１２５）、更新後の投影条件でステップＳ１２２～Ｓ１２４の処理を繰り返す。制御部１１は、算出した相関値が最大であると判断するまで、ステップＳ１２２～Ｓ１２５の処理を繰り返し、相関値が最大であると判断した場合（Ｓ１２４：ＹＥＳ）、即ち、相関値が最大となる疑似ＤＲＲ画像を生成できた場合、このときの投影条件を特定する（Ｓ１２６）。本実施形態でも、制御部１１は、ステップＳ１２２～Ｓ１２５の処理を、共分散行列適応進化戦略を用いて、Ｘ線画像中の骨領域の輪郭と疑似ＤＲＲ画像の輪郭との相関値が最大となる、疑似ＤＲＲ画像における投影条件を特定する。
　その後、制御部１１は、関心領域（ここでは大腿骨近位部等の骨領域）のＣＴ画像に基づいて、ステップＳ１２６で特定した投影条件に従った投影方向で投影したＤＲＲ画像を生成する（Ｓ１７）。即ち、制御部１１は、Ｘ線画像における関心領域の撮影方向と同じ方向から見た状態の関心領域のＤＲＲ画像を生成する。そして、制御部１１は、ステップＳ１１で取得した股関節Ｘ線正面画像から、左大腿骨近位部を含む半割画像を抽出し（Ｓ１８）、抽出したＸ線画像（股関節Ｘ線正面画像の半割画像）と、ステップＳ１７で生成した関心領域のＤＲＲ画像とを対応付けて訓練データとして訓練ＤＢ１２ｂに記憶する（Ｓ１９）。これにより、対象部位（関心領域である骨領域）のＸ線画像と、Ｘ線画像中の対象部位に対して高精度に位置合わせされＣＴ画像から生成された当該対象部位のＤＲＲ画像とが関連付けられた訓練データが蓄積される。
　次に、制御部１１は、図１５中のステップＳ７１～Ｓ７３と同様の処理を実行する（Ｓ１２７～Ｓ１２９）。具体的には、制御部１１は、筋骨格ラベル画像に基づいて、ＣＴ画像から骨領域のデータを消去し、筋肉領域のデータを抽出する（Ｓ１２７）。ここでも制御部１１は、筋肉の種類毎に関心領域とし、それぞれの関心領域（筋肉領域）のデータ（ＣＴ画像）を抽出する。また制御部１１は、抽出した関心領域（筋肉領域）のデータ（ＣＴ画像）に基づいて、ステップＳ１２６で特定した投影条件に従った投影方向で投影したＤＲＲ画像を生成する（Ｓ１２８）。そして、制御部１１は、ステップＳ１１で取得したＸ線画像と、ステップＳ１２８で生成した関心領域（筋肉領域）のＤＲＲ画像とを対応付けて訓練データとして訓練ＤＢ１２ｂに記憶する（Ｓ１２９）。その後、制御部１１は、ステップＳ２０の処理に移行する。
　上述した処理により、Ｘ線画像及びＣＴ画像における撮影対象（対象部位又は関心領域）に対して骨領域に基づく位置合わせが行われ、位置合わせ後のＸ線画像及びＣＴ画像に基づいて、本実施形態の学習モデル１２Ｍ，１２Ｍａを効率よく学習させることが可能な訓練データを生成できる。このように生成された訓練データを用いて図６に示す学習処理を実行することにより、本実施形態の情報処理装置１０は、Ｘ線画像から当該Ｘ線画像の撮影対象である骨領域のＤＲＲ画像を高精度に予測できる学習モデル１２Ｍ、及び、Ｘ線画像から当該Ｘ線画像の撮影対象である筋肉領域のＤＲＲ画像を高精度に予測できる学習モデル１２Ｍａを生成できる。また、本実施形態の情報処理装置１０は、学習モデル１２Ｍ，１２Ｍａを用いることにより、Ｘ線画像から高精度に予測された骨領域のＤＲＲ画像、及び、Ｘ線画像から高精度に予測された筋肉領域のＤＲＲ画像を生成することができ、対象部位の骨密度及び筋肉量を高精度に推定することができる。
　図２６Ａ及び図２６Ｂは骨領域に基づく位置合わせ処理の効果を示す説明図である。図２６Ａは、本実施形態で示したＸ線画像及びＣＴ画像に対して骨領域に基づく位置合わせ処理を行わずに、Ｘ線画像とＣＴ画像から生成されたＤＲＲ画像とを対応付けた訓練データによって学習させた学習モデル１２Ｍａを用いてＸ線画像から筋肉領域の予測ＤＲＲ画像を生成し、生成した予測ＤＲＲ画像から算出（推定）した当該筋肉領域の筋肉量（具体的には除脂肪筋肉量）と、ＣＴ画像から計測された当該筋肉領域の筋肉量（具体的には除脂肪筋肉量）との関係を示す図表である。図２６Ａの図表は、縦軸に予測ＤＲＲ画像から推定された除脂肪筋肉量を示し、横軸にＣＴ画像から計測された除脂肪筋肉量を示し、図２６Ａ左側には中殿筋の図表を、右側には腸骨筋の図表をそれぞれ示す。図２６Ｂは、本実施形態で示したＸ線画像及びＣＴ画像に対して骨領域に基づく位置合わせ処理を行った後に、Ｘ線画像とＣＴ画像から生成されたＤＲＲ画像とを対応付けた訓練データによって学習させた学習モデル１２Ｍａを用いてＸ線画像から筋肉領域の予測ＤＲＲ画像を生成し、生成した予測ＤＲＲ画像から算出（推定）した当該筋肉領域の筋肉量（具体的には除脂肪筋肉量）と、ＣＴ画像から計測された当該筋肉領域の筋肉量（具体的には除脂肪筋肉量）との関係を示す図表である。図２６Ｂの図表も、縦軸に予測ＤＲＲ画像から推定された除脂肪筋肉量を示し、横軸にＣＴ画像から計測された除脂肪筋肉量を示し、図２６Ｂ左側には中殿筋の図表を、右側には腸骨筋の図表をそれぞれ示す。図２６Ａ及び図２６Ｂに示す図表は、例えば変形性股関節症の患者から収集したＸ線画像及びＣＴ画像から生成された３９０ペアの訓練データを用いて学習した学習モデル１２Ｍａを用いて、５２５人の患者から収集したＸ線画像から予測された予測ＤＲＲ画像から推定した除脂肪筋肉量と、各患者のＣＴ画像から計測した除脂肪筋肉量との比較結果（検証結果）を示している。
　図２６Ａ左側及び図２６Ｂ左側の図表から分かるように、中殿筋の除脂肪筋肉量について、本実施形態の位置合わせを行わない場合の、予測ＤＲＲ画像からの推定値とＣＴ画像からの計測値との相関係数（ＰＣＣ：Pearson Correlation Coefficient）は0.340であり、本実施形態の位置合わせを行った場合の相関係数は0.776であり、本実施形態の位置合わせを行った方が高い相関値が得られた。同様に、図２６Ａ右側及び図２６Ｂ右側の図表から分かるように、腸骨筋の除脂肪筋肉量について、本実施形態の位置合わせを行わない場合の相関係数は0.250であり、本実施形態の位置合わせを行った場合の相関係数は0.804であり、本実施形態の位置合わせを行った方が高い相関値が得られた。よって、本実施形態の位置合わせ処理によって撮影対象が位置合わせされた後のＸ線画像及びＣＴ画像によって生成された訓練データを用いて学習モデル１２Ｍａを学習させることにより、少ない数の訓練データで学習した学習モデル１２Ｍａであっても、ＣＴ画像からの計測値と同程度の筋肉量の推定が可能なＤＲＲ画像を予測できる学習モデル１２Ｍａを実現できる。よって、訓練データの収集処理及び学習処理における作業負荷を軽減できる。
　図２６Ａ及び図２６Ｂの図表では、中殿筋及び腸骨筋の除脂肪筋肉量について、本実施形態の位置合わせを行った方が、より正確な除脂肪筋肉量が得られることを示したが、本発明者による検証処理では、中殿筋及び腸骨筋の筋肉体積についても同様の結果が得られた。なお、除脂肪筋肉量は、ＣＴ画像内のそれぞれの筋肉領域（個別筋肉領域）内のＣＴ値（画素値）に基づいて、各画素における筋肉と脂肪との割合を算出し、算出した割合に基づいて各画素の筋肉量を算出し、各画素の筋肉量の合計によって算出された筋肉量である。筋肉体積は、ＣＴ画像内のそれぞれの筋肉領域（個別筋肉領域）の体積を示す。
　本実施形態では、Ｘ線画像及びＣＴ画像に対して骨領域に基づいて位置合わせ処理を行うことにより、位置合わせ処理後のＸ線画像及びＣＴ画像は、筋肉領域についても正確に位置合わせされた状態となる。このように位置合わせされたＸ線画像中の筋肉領域と、ＣＴ画像から生成された当該筋肉領域のＤＲＲ画像とによる訓練データを用いて学習モデル１２Ｍａを学習させることにより、ＣＴ画像から計測された各筋肉領域の筋肉量（例えば除脂肪筋肉量、筋肉体積）と同程度の筋肉量の推定が可能な筋肉領域のＤＲＲ画像を予測できる学習モデル１２Ｍａを実現できる。また、本実施形態では、位置合わせされたＣＴ画像から骨領域のデータを消去することにより、骨領域の影響を排除したＣＴ画像（筋肉領域のデータ）を抽出し、このようなＣＴ画像を用いることにより、学習モデル１２Ｍａの学習に用いる訓練データを高精度に生成することができる。よって、本実施形態では、学習モデル１２Ｍを用いてＸ線画像から生成される骨領域の予測ＤＲＲ画像によって、骨密度を高精度に推定できるだけでなく、学習モデル１２Ｍａを用いてＸ線画像から生成される筋肉領域の予測ＤＲＲ画像によって、筋肉量を高精度に推定することが可能となる。
　本実施形態では、学習モデル１２Ｍ，１２Ｍａの学習に用いる訓練データを生成する際に、Ｘ線画像及びＣＴ画像中の撮影対象を骨領域に基づいて位置合わせする処理以外は、上述した各実施形態と同様であり、上述した各実施形態と同様の効果が得られる。また本実施形態では、骨領域に基づく位置合わせが行われたＸ線画像及びＣＴ画像に基づいて、学習モデル１２Ｍの学習に用いる訓練データだけでなく、学習モデル１２Ｍａの学習に用いる訓練データを生成するので、Ｘ線画像から当該Ｘ線画像中の筋肉領域のＤＲＲ画像を高精度に予測する学習モデル１２Ｍａを実現できる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
（実施形態８）
　上述した実施形態３，７において、対象部位（例えば下腹部、臀部等）のＸ線画像から当該対象部位に含まれる筋肉領域（例えば大殿筋、中殿筋、腸骨筋等）の予測ＤＲＲ画像を生成する学習モデル１２Ｍａの変形例について説明する。本実施形態の情報処理装置は、実施形態１，３，７の情報処理装置１０と同様の構成を有するので、構成についての説明は省略する。
　図２７は実施形態８の学習モデル１２Ｍｂの構成例を示す説明図である。学習モデル１２Ｍｂは、対象部位のＸ線画像を入力とし、入力されたＸ線画像に基づいて、当該対象部位に含まれる筋肉領域のＤＲＲ画像及び筋肉量を予測する演算を行い、演算結果を出力するように学習済みのモデルである。図２７に示す学習モデル１２Ｍｂは、股関節Ｘ線正面画像を入力とし、大殿筋のＤＲＲ画像及び筋肉量を予測する構成である。なお、学習モデル１２Ｍｂは、この構成に限定されず、例えば、股関節Ｘ線正面画像を入力とし、中殿筋、腸骨筋等の他の筋肉領域のＤＲＲ画像及び筋肉量を予測する構成でもよく、複数の筋肉領域についてそれぞれのＤＲＲ画像及び筋肉量を予測する構成でもよい。また、学習モデル１２Ｍｂは、胸部Ｘ線正面画像を入力とし、大胸筋、小胸筋、鎖骨下筋、前鋸筋、肋間筋、僧帽筋、広背筋、大円筋、脊柱起立筋等の筋肉領域のＤＲＲ画像及び筋肉量を予測する構成でもよい。筋肉量は、例えば除脂肪筋肉量、筋肉体積、筋肉密度等、筋肉に関する何らかの量を示す情報を用いることができる。
　本実施形態の学習モデル１２Ｍｂは、画像変換層１２Ｍｂ１及び筋肉量予測層１２Ｍｂ２を有する。学習モデル１２Ｍｂの入力データであるＸ線画像は、画像変換層１２Ｍｂ１に入力され、画像変換層１２Ｍｂ１は、入力されたＸ線画像に基づいて、当該Ｘ線画像に含まれる筋肉領域（例えば大殿筋）のＤＲＲ画像を生成して出力する。画像変換層１２Ｍｂ１によって生成された筋肉領域のＤＲＲ画像は、筋肉量予測層１２Ｍｂ２に入力され、筋肉量予測層１２Ｍｂ２は、入力された筋肉領域のＤＲＲ画像に基づいて、当該筋肉領域の筋肉量（例えば除脂肪筋肉量、筋肉体積、筋肉密度等）を予測して出力する。
　画像変換層１２Ｍｂ１は、例えば、ｐｉｘ２ｐｉｘ、ＣｙｃｌｅＧＡＮ、ＳｔａｒＧＡＮ等のＧＡＮ、ＶＡＥ、ＣＮＮ（例えばＵ－ｎｅｔ）等のニューラルネットワーク、あるいはその他の学習アルゴリズムに基づくモデルで構成されてもよく、複数の学習アルゴリズムを組み合わせて構成されてもよい。なお、画像変換層１２Ｍｂ１がｐｉｘ２ｐｉｘで構成される場合、画像変換層１２Ｍｂ１は、図１４に示す学習モデル１２Ｍａと同様の構成を有してもよい。筋肉量予測層１２Ｍｂ２は、例えばＣＮＮ、ランダムフォレスト、ＳＶＭ（Support Vector Machine）、Transformer等のアルゴリズムを用いて構成することができ、複数のアルゴリズムを組み合わせて構成してもよい。なお、学習モデル１２Ｍｂは筋肉量予測層１２Ｍｂ２を備えていなくてもよく、筋肉量予測層１２Ｍｂ２の代わりに、情報処理装置１０の制御部１１が、画像変換層１２Ｍｂ１によって生成された筋肉領域のＤＲＲ画像中の各画素の画素値（輝度値）の総和に基づいて、当該筋肉領域の筋肉量を算出する処理を行う構成でもよい。
　本実施形態の学習モデル１２Ｍｂは、訓練用のＸ線画像（股関節Ｘ線正面画像）と、正解となる大殿筋のＤＲＲ画像及び当該大殿筋の筋肉量とを関連付けた訓練データを用いて学習することにより生成される。訓練用のＸ線画像、正解のＤＲＲ画像及び筋肉量は、例えばＤＸＡ装置によって骨密度正常症例、骨粗鬆症例、骨量減少例のいずれかと診断された被検者の股関節Ｘ線正面画像、ＤＲＲ画像、及び筋肉量であることが望ましい。なお、正解の大殿筋のＤＲＲ画像は、臀部（下腹部）をＸ線ＣＴ装置で撮影したＣＴ画像から生成された大殿筋（筋肉領域）のＤＲＲ画像を用いることができる。また、正解の大殿筋の筋肉量は、ＣＴ画像中の筋肉領域（大殿筋）内のＣＴ値（輝度値）から、各画素における筋肉と脂肪との割合に基づいて算出した各画素の筋肉量の合計によって算出された大殿筋の筋肉量を用いてもよく、ＤＸＡ装置によって測定された大殿筋の筋肉量を用いてもよい。
　本実施形態の学習モデル１２Ｍｂは、訓練データに含まれるＸ線画像が入力された場合に、訓練データに含まれる正解のＤＲＲ画像及び筋肉量を出力するように学習する。学習処理において学習モデル１２Ｍｂは、入力されたＸ線画像に基づいて演算を行い、入力されたＸ線画像中の大殿筋のＤＲＲ画像及び筋肉量を予測し、予測結果を出力する。そして、学習モデル１２Ｍｂは、予測したＤＲＲ画像と正解のＤＲＲ画像とを比較すると共に、予測した筋肉量と正解の筋肉量とを比較し、それぞれが近似するように、画像変換層１２Ｍｂ１及び筋肉量予測層１２Ｍｂ２におけるノード間の重み（結合係数）等のパラメータを、最急降下法、誤差逆伝播法等を用いて最適化する。即ち、本実施形態では、学習モデル１２Ｍｂの学習処理において、学習モデル１２Ｍｂが生成した筋肉領域のＤＲＲ画像に基づく筋肉量と、正解の筋肉量との差異（誤差、筋肉量に関する損失）をフィードバックすることができる。よって、本実施形態の学習処理によれば、Ｘ線画像が入力された場合に、Ｘ線画像に含まれる筋肉領域のＤＲＲ画像及び筋肉量をより高精度に予測する学習モデル１２Ｍｂが生成される。
　なお、本実施形態の学習モデル１２Ｍｂは、筋肉量予測層１２Ｍｂ２を備えない構成でもよい。この場合、学習モデル１２Ｍｂの学習処理において、情報処理装置１０の制御部１１は、学習モデル１２ＭｂにＸ線画像を入力して学習モデル１２Ｍｂから筋肉領域のＤＲＲ画像を取得し、取得したＤＲＲ画像から、当該筋肉領域の筋肉量を算出する。そして、制御部１１は、算出した筋肉量と、正解の筋肉量との差分を算出し、算出した差分が小さくなるように（算出した筋肉量が正解の筋肉量に近似するように）学習モデル１２Ｍｂ（画像変換層１２Ｍｂ１）を学習させてもよい。このような学習処理においても、学習モデル１２Ｍｂが生成した筋肉領域のＤＲＲ画像に基づく筋肉量と、正解の筋肉量との差異（誤差、筋肉量に関する損失）をフィードバックすることができ、入力されたＸ線画像に含まれる筋肉領域のＤＲＲ画像及び筋肉量を高精度に予測できる学習モデル１２Ｍｂを生成できる。
　本実施形態の情報処理装置１０は、図２５に示す処理の実行が可能であり、図２５に示す処理によって学習モデル１２Ｍｂの学習用の訓練データを生成し、図６に示す処理によって学習モデル１２Ｍｂの学習処理を実行する。なお、図２５に示す処理において、情報処理装置１０の制御部１１は、ステップＳ１２８の処理後、ステップＳ１２８で生成した筋肉領域のＤＲＲ画像に基づいて、当該筋肉領域の筋肉量を算出する。そして、制御部１１は、ステップＳ１２９で、ステップＳ１１で取得したＸ線画像と、ステップＳ１２８で生成した関心領域（筋肉領域）のＤＲＲ画像と、ＤＲＲ画像から算出した筋肉量とを対応付けて訓練データとして訓練ＤＢ１２ｂに記憶する。なお、当該筋肉領域の筋肉量は、ＤＸＡ装置によって測定された筋肉量を用いてもよく、この場合、制御部１１は、例えばステップＳ１１でＸ線画像及びＣＴ画像と共にＤＸＡ装置で測定された筋肉量を取得し、取得した筋肉量を訓練データに用いることができる。また、図６に示す処理において、制御部１１は、ステップＳ３１で、記憶部１２に記憶してあるＸ線画像、ＤＲＲ画像及び筋肉量のセットを１つ読み出し、ステップＳ３２で、読み出した訓練データを用いて学習モデル１２Ｍｂの学習処理を行う。更に、本実施形態の情報処理装置１０は、図１６に示す処理の実行が可能であり、上述したように生成された学習モデル１２Ｍｂを用いることにより、Ｘ線画像中の筋肉領域のＤＲＲ画像を高精度に予測し、予測したＤＲＲ画像によって、筋肉領域の筋肉量を高精度に推定することができる。
　図２８Ａ及び図２８Ｂは筋肉量に関する損失のフィードバック処理の効果を示す説明図である。図２８Ａは、上述したように筋肉量に関する損失のフィードバック処理を行わずに学習した学習モデル（例えば学習モデル１２Ｍａ）を用いてＸ線画像から筋肉領域の予測ＤＲＲ画像を生成し、生成した予測ＤＲＲ画像から算出（推定）した当該筋肉領域の筋肉量（具体的には除脂肪筋肉量）と、ＣＴ画像から計測された当該筋肉領域の筋肉量（具体的には除脂肪筋肉量）との関係を示す図表である。図２８Ａの図表は、縦軸に予測ＤＲＲ画像から推定された除脂肪筋肉量を示し、横軸にＣＴ画像から計測された除脂肪筋肉量を示し、図２８Ａ左側には中殿筋の図表を、右側には腸骨筋の図表をそれぞれ示す。図２８Ｂは、上述したように筋肉量に関する損失のフィードバック処理を行って学習した学習モデル１２Ｍｂを用いてＸ線画像から筋肉領域の予測ＤＲＲ画像を生成し、生成した予測ＤＲＲ画像から算出（推定）した当該筋肉領域の筋肉量（具体的には除脂肪筋肉量）と、ＣＴ画像から計測された当該筋肉領域の筋肉量（具体的には除脂肪筋肉量）との関係を示す図表である。図２８Ｂの図表は、縦軸に予測ＤＲＲ画像から推定された除脂肪筋肉量を示し、横軸にＣＴ画像から計測された除脂肪筋肉量を示し、図２８Ｂ左側には中殿筋の図表を、右側には腸骨筋の図表をそれぞれ示す。図２８Ａ及び図２８Ｂに示す図表は、例えば変形性股関節症の患者から収集したＸ線画像及びＣＴ画像から生成された３９０ペアの訓練データを用いて学習した学習モデル１２Ｍｂを用いて、５２５人の患者から収集したＸ線画像から予測された予測ＤＲＲ画像から推定した除脂肪筋肉量と、各患者のＣＴ画像から計測した除脂肪筋肉量との比較結果（検証結果）を示している。
　図２８Ａ左側及び図２８Ｂ左側の図表から分かるように、中殿筋の除脂肪筋肉量について、上述した筋肉量に関する損失のフィードバック処理を行わない場合の、予測ＤＲＲ画像からの推定値とＣＴ画像からの計測値との相関係数は0.776であり、フィードバック処理を行った場合の相関係数は0.874であり、筋肉量に関する損失のフィードバック処理を行った方が高い相関値が得られた。同様に、図２８Ａ右側及び図２８Ｂ右側の図表から分かるように、腸骨筋の除脂肪筋肉量について、筋肉量に関する損失のフィードバック処理を行わない場合の相関係数は0.804であり、フィードバック処理を行った場合の相関係数は0.861であり、筋肉量に関する損失のフィードバック処理を行った方が高い相関値が得られた。よって、学習モデル１２Ｍｂの学習処理の際に筋肉量に関する損失のフィードバック処理を行うことにより、少ない数の訓練データで学習した学習モデル１２Ｍｂであっても、ＣＴ画像からの計測値と同程度の筋肉量の推定が可能なＤＲＲ画像を予測できる学習モデル１２Ｍｂを実現できる。
　本実施形態においても、図２８Ａ及び図２８Ｂの図表では、中殿筋及び腸骨筋の除脂肪筋肉量について、学習モデル１２Ｍｂの学習処理の際に筋肉量に関する損失のフィードバック処理を行った方が、より正確な除脂肪筋肉量が得られることを示したが、本発明者による検証処理では、中殿筋及び腸骨筋の筋肉体積についても同様の結果が得られた。
　本実施形態では、学習モデル１２Ｍｂの学習の際に、学習モデル１２Ｍｂ（画像変換層１２Ｍｂ１）が生成した筋肉領域のＤＲＲ画像から算出される当該筋肉領域の筋肉量について、正解の筋肉量との誤差（損失）をフィードバックする処理以外は、上述した各実施形態と同様であり、上述した各実施形態と同様の効果が得られる。また本実施形態では、学習モデル１２Ｍｂの学習処理において、画像変換層１２Ｍｂ１が生成したＤＲＲ画像と正解のＤＲＲ画像との誤差に加えて、筋肉量の誤差（損失）をフィードバックすることができるので、Ｘ線画像から当該Ｘ線画像中の筋肉領域のＤＲＲ画像をより高精度に予測できる学習モデル１２Ｍｂを実現できる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
　上述した各実施形態は、学習モデル１２Ｍ，１２Ｍａ，１２Ｍｂの入力データとして、レントゲン装置（Ｘ線装置）で対象部位を撮影した単純Ｘ線画像を用いる構成であるが、この構成に限定されない。例えば、ＤＸＡ装置で得られるＸ線画像を、学習モデル１２Ｍ，１２Ｍａ，１２Ｍｂの入力データに用いる構成でもよい。このような構成とした場合でも、通常のＸ線画像（レントゲン装置で撮影したＸ線画像）を入力データに用いる場合と同様の処理の実行が可能であり、同様の効果が得られる。また、上述した各実施形態において、学習モデル１２Ｍ，１２Ｍａ，１２Ｍｂの訓練データに用いる正解のＤＲＲ画像（ＣＴ画像から得られる対象部位の体組織量に関する情報）の代わりに、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像法）画像等、対象部位の筋肉及び骨の組成を推定できる３次元画像から得られる２次元画像（体組織量に関する情報）を訓練データに用いる構成でもよい。このような構成とした場合でも、ＣＴ画像から得られるＤＲＲ画像を用いる場合と同様の処理の実行が可能であり、同様の効果が得られる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１０　　　情報処理装置
　１１　　　制御部
　１２　　　記憶部
　１３　　　通信部
　１４　　　入力部
　１５　　　表示部
　１２ａ　　医療画像ＤＢ
　１２ｂ　　訓練ＤＢ
　１２Ｍ　　学習モデル
　１２Ｍａ　学習モデル
　１２Ｍ１　骨密度推定用学習モデル

Claims (19)

  1. 　対象部位のＸ線画像と、前記対象部位のＣＴ（Computed Tomography：コンピュータ断層撮影）画像から得られる体組織量に関する情報とを含む訓練データを取得し、
    　取得した訓練データを用いて、Ｘ線画像を入力した場合に前記Ｘ線画像中の対象部位の体組織量に関する情報を出力する学習モデルを生成する
    　処理をコンピュータに実行させるプログラム。
  2. 　前記Ｘ線画像を入力した場合に、前記対象部位の体組織量を表す画像を出力する前記学習モデルを生成する
    　処理を前記コンピュータに実行させる請求項１に記載のプログラム。
  3. 　前記ＣＴ画像に基づく前記対象部位の位置と、前記Ｘ線画像に基づく前記対象部位の位置との位置合わせを行い、
    　位置合わせ後の前記ＣＴ画像から得られる前記対象部位の体組織量に関する情報を含む前記訓練データを取得する
    　処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
  4. 　前記ＣＴ画像に基づいて、前記ＣＴ画像中の前記対象部位を、骨領域及び筋肉領域を含む複数領域に分類し、
    　分類された前記ＣＴ画像中の骨領域の骨密度に関する情報を含む前記訓練データを取得し、
    　前記訓練データを用いて、Ｘ線画像を入力した場合に前記Ｘ線画像中の前記骨領域の骨密度に関する情報を出力する前記学習モデルを生成する
    　処理を前記コンピュータに実行させる請求項１～３のいずれか１つに記載のプログラム。
  5. 　前記ＣＴ画像に基づいて、前記ＣＴ画像中の前記対象部位を、骨領域及び筋肉領域を含む複数領域に分類し、
    　分類された前記ＣＴ画像中の筋肉領域の筋肉量に関する情報を含む前記訓練データを取得し、
    　前記訓練データを用いて、Ｘ線画像を入力した場合に前記Ｘ線画像中の前記筋肉領域の筋肉量に関する情報を出力する前記学習モデルを生成する
    　処理を前記コンピュータに実行させる請求項１～４のいずれか１つに記載のプログラム。
  6. 　前記学習モデルは、入力されたＸ線画像から前記対象部位の体組織量に関する情報を生成する生成器と、前記生成器が生成した体組織量に関する情報の真偽を識別する識別器とを有し、
    　前記生成器及び識別器を敵対的に学習させることで前記学習モデルを生成する
    　処理を前記コンピュータに実行させる請求項１～５のいずれか１つに記載のプログラム。
  7. 　前記対象部位のＣＴ画像から得られる前記対象部位の体組織量に関する情報と、前記対象部位とは異なる部位の体組織量に関する情報とを含む訓練データを取得し、
    　取得した訓練データを用いて、前記対象部位の体組織量に関する情報を入力した場合に前記対象部位とは異なる部位の体組織量に関する情報を出力する第２の学習モデルを生成する
    　処理を前記コンピュータに実行させる請求項１～６のいずれか１つに記載のプログラム。
  8. 　前記ＣＴ画像中の前記対象部位に含まれる骨領域を投影した画像と、前記Ｘ線画像中の前記対象部位に含まれる骨領域との相関値が最大となる投影条件を特定し、
    　特定した投影条件で前記ＣＴ画像中の前記対象部位を投影した投影画像から得られる前記対象部位の体組織量に関する情報を含む前記訓練データを取得する
    　処理を前記コンピュータに実行させる請求項１～７のいずれか１つに記載のプログラム。
  9. 　特定した前記投影条件で前記ＣＴ画像中の前記対象部位を投影した投影画像から骨領域のデータを消去し、
    　前記骨領域のデータが消去された前記投影画像中の筋肉領域の筋肉量に関する情報を含む前記訓練データを取得し、
    　前記訓練データを用いて、Ｘ線画像を入力した場合に前記Ｘ線画像中の筋肉領域の筋肉量に関する情報を出力する前記学習モデルを生成する
    　処理を前記コンピュータに実行させる請求項８に記載のプログラム。
  10. 　前記訓練データは、前記対象部位のＸ線画像と、前記対象部位のＣＴ画像から得られる前記対象部位の筋肉領域を表す画像と、前記筋肉領域の筋肉量とを含み、
    　前記学習モデルは、Ｘ線画像を入力した場合に前記Ｘ線画像中の筋肉領域を示す画像を出力するように構成してあり、
    　前記訓練データに含まれるＸ線画像を入力した場合に前記学習モデルが出力する前記Ｘ線画像中の筋肉領域を示す画像に基づいて算出される筋肉量が、前記訓練データに含まれる筋肉量に近似するように前記学習モデルを学習させる
    　処理を前記コンピュータに実行させる請求項１～９のいずれか１つに記載のプログラム。
  11. 　対象部位のＸ線画像を取得し、
    　対象部位のＸ線画像と、前記対象部位のＣＴ画像から得られる体組織量に関する情報とを含む訓練データを用いて学習されており、Ｘ線画像を入力した場合に前記Ｘ線画像中の対象部位の体組織量に関する情報を出力する学習モデルに、取得した前記Ｘ線画像を入力して前記対象部位の体組織量に関する情報を出力する
    　処理をコンピュータに実行させるプログラム。
  12. 　出力する前記体組織量に関する情報は、前記対象部位の体組織量を表す画像である
    　請求項１１に記載のプログラム。
  13. 　出力する前記体組織量に関する情報は、前記対象部位の骨密度である
    　請求項１１又は１２に記載のプログラム。
  14. 　前記Ｘ線画像中の対象部位とは異なる部位の体組織量に関する情報をさらに出力する
    　処理を前記コンピュータに実行させる請求項１１～１３のいずれか１つに記載のプログラム。
  15. 　出力する前記体組織量に関する情報は、前記対象部位の筋肉量である
    　請求項１１～１４のいずれか１つに記載のプログラム。
  16. 　前記学習モデルは、前記ＣＴ画像中の前記対象部位に含まれる骨領域を投影した画像と、前記Ｘ線画像中の前記対象部位に含まれる骨領域との相関値が最大となる投影条件で前記ＣＴ画像中の前記対象部位を投影した投影画像から骨領域のデータが消去された前記投影画像中の筋肉領域の筋肉量に関する情報を含む前記訓練データを用いて、Ｘ線画像を入力した場合に前記Ｘ線画像中の筋肉領域の筋肉量に関する情報を出力するように学習してある
    　請求項１１～１５のいずれか１つに記載のプログラム。
  17. 　前記学習モデルは、前記対象部位のＸ線画像と、前記対象部位のＣＴ画像から得られる前記対象部位の筋肉領域を表す画像と、前記筋肉領域の筋肉量とを含む前記訓練データを用いて、前記訓練データに含まれるＸ線画像を入力した場合に出力する前記Ｘ線画像中の筋肉領域を示す画像に基づいて算出される筋肉量が、前記訓練データに含まれる筋肉量に近似するように学習してある
    　請求項１１～１６のいずれか１つに記載のプログラム。
  18. 　対象部位のＸ線画像を取得し、
    　対象部位のＸ線画像と、前記対象部位のＣＴ画像から得られる体組織量に関する情報とを含む訓練データを用いて学習されており、Ｘ線画像を入力した場合に前記Ｘ線画像中の対象部位の体組織量に関する情報を出力する学習モデルに、取得した前記Ｘ線画像を入力して前記対象部位の体組織量に関する情報を出力する
    　処理をコンピュータが実行する情報処理方法。
  19. 　制御部を有する情報処理装置において、
    　前記制御部が、
    　対象部位のＸ線画像を取得し、
    　対象部位のＸ線画像と、前記対象部位のＣＴ画像から得られる体組織量に関する情報とを含む訓練データを用いて学習されており、Ｘ線画像を入力した場合に前記Ｘ線画像中の対象部位の体組織量に関する情報を出力する学習モデルに、取得した前記Ｘ線画像を入力して前記対象部位の体組織量に関する情報を出力する
    　情報処理装置。
     
PCT/JP2023/018208 2022-05-20 2023-05-16 プログラム、情報処理方法、及び情報処理装置 WO2023224022A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-083271 2022-05-20
JP2022083271 2022-05-20

Publications (1)

Publication Number Publication Date
WO2023224022A1 true WO2023224022A1 (ja) 2023-11-23

Family

ID=88835524

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018208 WO2023224022A1 (ja) 2022-05-20 2023-05-16 プログラム、情報処理方法、及び情報処理装置

Country Status (1)

Country Link
WO (1) WO2023224022A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208037A1 (ja) * 2018-04-24 2019-10-31 株式会社島津製作所 画像解析方法、セグメンテーション方法、骨密度測定方法、学習モデル作成方法および画像作成装置
US20200051245A1 (en) * 2018-08-10 2020-02-13 Carestream Health, Inc. Bone suppression for chest radiographs using deep learning
WO2020054738A1 (ja) * 2018-09-10 2020-03-19 京セラ株式会社 推定装置、推定システム及び推定プログラム
CN111179373A (zh) * 2019-12-31 2020-05-19 广州华端科技有限公司 医学图像去骨模型构建方法与骨信息去除方法
WO2020166561A1 (ja) * 2019-02-14 2020-08-20 富士フイルム株式会社 骨折リスク評価値取得装置及びその作動方法並びに骨折リスク評価値取得プログラム
CN113780531A (zh) * 2021-09-09 2021-12-10 苏州工业园区智在天下科技有限公司 Gan神经网络的创建方法、处理cxr胸部图像和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208037A1 (ja) * 2018-04-24 2019-10-31 株式会社島津製作所 画像解析方法、セグメンテーション方法、骨密度測定方法、学習モデル作成方法および画像作成装置
US20200051245A1 (en) * 2018-08-10 2020-02-13 Carestream Health, Inc. Bone suppression for chest radiographs using deep learning
WO2020054738A1 (ja) * 2018-09-10 2020-03-19 京セラ株式会社 推定装置、推定システム及び推定プログラム
WO2020166561A1 (ja) * 2019-02-14 2020-08-20 富士フイルム株式会社 骨折リスク評価値取得装置及びその作動方法並びに骨折リスク評価値取得プログラム
CN111179373A (zh) * 2019-12-31 2020-05-19 广州华端科技有限公司 医学图像去骨模型构建方法与骨信息去除方法
CN113780531A (zh) * 2021-09-09 2021-12-10 苏州工业园区智在天下科技有限公司 Gan神经网络的创建方法、处理cxr胸部图像和装置

Similar Documents

Publication Publication Date Title
Sarkalkan et al. Statistical shape and appearance models of bones
JP7157425B2 (ja) 推定装置、システム及び推定方法
Grassi et al. Prediction of femoral strength using 3D finite element models reconstructed from DXA images: validation against experiments
US11715212B2 (en) Heatmap and atlas
JP2024514494A (ja) インモーション多パルス作動ｘ線源トモシンセシスイメージングシステムによる人工知能訓練
Banga et al. Abnormality detection in musculoskeletal radiographs with convolutional neural networks (ensembles) and performance optimization
Pradhan et al. Conditional generative adversarial network model for conversion of 2 dimensional radiographs into 3 dimensional views
Rahman et al. Hipxnet: deep learning approaches to detect aseptic loos-ening of hip implants using x-ray images
US11704796B2 (en) Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning
WO2023224022A1 (ja) プログラム、情報処理方法、及び情報処理装置
Kim et al. AI-based computer-aided diagnostic system of chest digital tomography synthesis: Demonstrating comparative advantage with X-ray-based AI systems
RU2801420C1 (ru) Система и способ диагностики тазобедренных суставов
RU2795658C1 (ru) Устройство и способ для диагностики тазобедренных суставов
Gallegos Guillen et al. Segmentation of the proximal femur by the analysis of x-ray imaging using statistical models of shape and appearance
Akogo A Standardized Radiograph-Agnostic Framework and Platform For Evaluating AI Radiological Systems
Koban et al. Investigation on Efficient Deep Learning Framework for Spinal Deformities: A Review Approach
Tajdari Bio-Informed Image-Based Deep Learning Frameworks for Prognosis of Pediatric Spinal Deformities
TWI810680B (zh) 前後骨盆放射影像分析方法及系統
Babu et al. Development of Classifying System to Predict the Calcaneal Shift Using Deep Learning
Väänänen Functional imaging of proximal femur by combining dual energy X-ray imaging and finite element simulations
Norena et al. Evaluation of The Use of a Deep Active Learning Model in Anatomic Segmentation Tasks in Canine Thoracic Radiographs
MONTEIRO DEEP LEARNING APPROACH FOR THE SEGMENTATION OF SPINAL STRUCTURES IN ULTRASOUND IMAGES
López Picazo 3D subject-specific shape and density modeling of the lumbar spine from 2D DXA images for osteoporosis assessment
Roberts Automatic detection and classification of vertebral fracture using statistical models of appearance
Patil et al. A comparative study on detection of osteoporosis using deep learning methods: A review

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23807624

Country of ref document: EP

Kind code of ref document: A1