WO2021246052A1 - 画像生成装置、方法およびプログラム、学習装置、方法およびプログラム - Google Patents

画像生成装置、方法およびプログラム、学習装置、方法およびプログラム Download PDF

Info

Publication number
WO2021246052A1
WO2021246052A1 PCT/JP2021/014897 JP2021014897W WO2021246052A1 WO 2021246052 A1 WO2021246052 A1 WO 2021246052A1 JP 2021014897 W JP2021014897 W JP 2021014897W WO 2021246052 A1 WO2021246052 A1 WO 2021246052A1
Authority
WO
WIPO (PCT)
Prior art keywords
drug
image
dosing period
dosing
post
Prior art date
Application number
PCT/JP2021/014897
Other languages
English (en)
French (fr)
Inventor
剛幸 橋本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022528464A priority Critical patent/JP7446423B2/ja
Priority to DE112021003110.4T priority patent/DE112021003110T5/de
Priority to CN202180039095.6A priority patent/CN115802947A/zh
Publication of WO2021246052A1 publication Critical patent/WO2021246052A1/ja
Priority to US18/058,875 priority patent/US20230089212A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present disclosure relates to image generators, methods and programs, as well as learning devices, methods and programs.
  • a molecular-targeted drug is a drug that inhibits the deterioration by pinpointly suppressing the molecule of the cell that causes the deterioration of the tumor as a target.
  • Molecular-targeted drugs have the advantages of high therapeutic effect and few side effects.
  • Molecular-targeted drugs are administered according to the regimen of the treatment plan.
  • the regimen also includes the composition and amount of the solution that dissolves or dilutes the drug according to the characteristics of the drug, the rate of administration, the order of administration, the drug used for side effect countermeasures, and the drug holiday after administration.
  • molecular-targeted drugs are drugs that have different effects depending on the type of cancer because they target specific molecules.
  • the effect of the treatment will be weakened, so it may be better to switch to another molecular-targeted drug.
  • dosing should be planned and applied effectively.
  • Patent Document 1 proposes a method of calculating data when a drug is delivered by using an anatomical model of a patient's blood vessel.
  • Patent Document 1 it is not possible to confirm how much therapeutic effect is exerted by the medication. In addition, it is not possible to confirm how long the drug becomes less effective, especially when a molecular-targeted drug is used.
  • the image generator comprises at least one processor.
  • the processor acquires information on the medical image including the lesion, the type of drug to be administered to the patient who acquired the medical image, and the dosing period of the drug.
  • Post-dose images representing lesions after dosing the drug to the patient during the dosing period are configured to be generated from the medical image.
  • the processor teaches the combination of the dosing period of the drug to the patient, the first image before the dosing, and the second image after the dosing period for at least one kind of drug. It may be configured to generate a post-medication image using at least one learning model constructed by performing machine learning using it as data.
  • the processor acquires information on a plurality of different dosing periods. It may be configured to generate a plurality of post-dose images corresponding to each of the plurality of different dosing periods.
  • the processor is further configured to derive information indicating the effectiveness of the drug according to the dosing period of the drug, based on the change of the lesion between the plurality of post-dosing images. It may be one.
  • the processor may be configured to derive the timing of drug suspension based on the efficacy of the drug.
  • the processor may be further configured to display at least one of a post-medication image, information indicating the efficacy of the drug, and a timing of stopping the dosing on the display. good.
  • the processor may be configured to generate a plurality of post-dosing images for each of the plurality of types of drugs.
  • the processor indicates the effectiveness of the drug according to the dosing period of the drug based on the change of the lesion between the multiple post-medication images for each of the plurality of types of drugs. It may be further configured to derive.
  • the processor may be configured to derive the type of the drug to be administered and the timing of stopping the administration of the drug based on the efficacy of the drug.
  • the processor further displays a plurality of post-dosing images, information indicating the effectiveness of the drug, the type of the drug to be dosed, and at least one of the timings of drug suspension on the display. It may be configured.
  • the learning device comprises at least one processor.
  • the processor is For at least one drug, teacher data consisting of a combination of the dosing period of the drug to the patient, the first image before the dosing period and the second image after the dosing period has passed is obtained.
  • teacher data consisting of a combination of the dosing period of the drug to the patient, the first image before the dosing period and the second image after the dosing period has passed is obtained.
  • the image generation method obtains medical images including lesions, information on the type of drug to be administered to a patient who has acquired the medical image, and information on the dosing period of the drug.
  • a post-dose image representing the lesion after the drug is administered to the patient during the dosing period is generated from the medical image.
  • the learning method acquires teacher data consisting of a combination of a dosing period of a drug to a patient, a first image before the dosing period, and a second image after the dosing period for at least one type of drug.
  • teacher data consisting of a combination of a dosing period of a drug to a patient, a first image before the dosing period, and a second image after the dosing period for at least one type of drug.
  • image generation method and the learning method according to the present disclosure may be provided as a program for executing the computer.
  • Functional configuration diagram of the image generation device and the learning device according to the first embodiment Schematic block diagram showing the configuration of the learning model in the first embodiment Diagram showing an example of teacher data used for learning Diagram showing medical images and post-dose images
  • the figure which shows the display screen in 1st Embodiment A flowchart showing the learning process performed in the first embodiment.
  • the figure which shows the information which shows the effectiveness of a drug in 2nd Embodiment The figure which shows the display screen in 2nd Embodiment
  • FIG. 1 is a diagram showing a schematic configuration of a medical information system.
  • a computer 1 an imaging device 2, and an image storage server 3 including an image generation device and a learning device according to the present embodiment are connected in a communicable state via a network 4. There is.
  • the computer 1 includes the image generation device and the learning device according to the present embodiment, and the image generation program and the learning program of the present embodiment are installed.
  • the computer 1 may be a workstation or a personal computer directly operated by a doctor performing diagnosis, or may be a server computer connected to them via a network.
  • the image generation program and the learning program are stored in the storage device of the server computer connected to the network or in the network storage in a state of being accessible from the outside, and are downloaded and installed on the computer 1 used by the doctor upon request. To. Alternatively, it is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed on the computer 1 from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed on the computer 1 from the recording medium.
  • the imaging device 2 is a device that generates a three-dimensional image representing the site by photographing the site to be diagnosed of the subject, and specifically, a CT (Computed Tomography) device and an MRI (Magnetic Resonance Imaging). ) Equipment, PET (Positron Emission Tomography) equipment, etc.
  • the three-dimensional image composed of a plurality of sliced images generated by the photographing device 2 is transmitted to and stored in the image storage server 3.
  • the diagnosis target site of the patient as the subject is the lung
  • the imaging device 2 is the CT device
  • a CT image of the chest including the lung of the subject is generated as a three-dimensional image.
  • the image storage server 3 is a computer that stores and manages various data, and is equipped with a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with other devices via a wired or wireless network 4 to send and receive image data and the like.
  • various data including image data of a three-dimensional image generated by the photographing device 2 are acquired via a network and stored in a recording medium such as a large-capacity external storage device for management.
  • the storage format of the image data and the communication between the devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • DICOM Digital Imaging and Communication in Medicine
  • the image storage server 3 also stores teacher data, which will be described later.
  • FIG. 2 describes the hardware configuration of the image generation device and the learning device according to the first embodiment.
  • the image generation device and the learning device (hereinafter, may be represented by the image generation device) 20 are a CPU (Central Processing Unit) 11, a non-volatile storage 13, and a temporary storage area.
  • the memory 16 is included.
  • the image generation device 20 includes a display 14 such as a liquid crystal display, an input device 15 such as a keyboard and a mouse, and a network I / F (InterFace) 17 connected to the network 4.
  • the CPU 11, the storage 13, the display 14, the input device 15, the memory 16, and the network I / F 17 are connected to the bus 18.
  • the CPU 11 is an example of the processor in the present disclosure.
  • the storage 13 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • An image generation program and a learning program are stored in the storage 13 as a storage medium.
  • the CPU 11 reads the image generation program 12A and the learning program 12B from the storage 13, expands them into the memory 16, and executes the expanded image generation program 12A and the learning program 12B.
  • FIG. 3 is a diagram showing a functional configuration of the image generation device and the learning device according to the first embodiment.
  • the image generation device 20 includes an information acquisition unit 21, an image generation unit 22, a derivation unit 23, a learning unit 24, and a display control unit 25.
  • the CPU 11 executes the image generation program 12A and the learning program 12B, the CPU 11 functions as an information acquisition unit 21, an image generation unit 22, a derivation unit 23, a learning unit 24, and a display control unit 25.
  • the information acquisition unit 21 acquires a medical image G0 including a lesion, which is a target for generating a post-medication image described later, from the image storage server 3 in response to an instruction from the input device 15 by the operator.
  • the information acquisition unit 21 acquires information on the type of drug to be administered to the patient who has acquired the medical image G0 and the administration period of the drug, which is input from the input device 15. In this embodiment, information on a plurality of different dosing periods shall be acquired. Further, the information acquisition unit 21 acquires teacher data from the image storage server 3 for learning the learning model 22A described later.
  • the image generation unit 22 generates a post-medication image showing a lesion after the drug is administered to a patient for a certain dosing period from the medical image G0.
  • the image generation unit 22 has a learning model 22A that has been machine-learned to output a post-dose image when a medical image G0, a drug type, and a dosing period are input.
  • the learning model 22A performs machine learning for at least one kind of drug by using a combination of a drug administration period to a patient, a first medical image before administration, and a second medical image after the administration period as teacher data. Built by doing.
  • GAN Geneative Adversarial Networks
  • FIG. 4 is a schematic block diagram showing the configuration of the learning model in the present embodiment.
  • the learning model 22A also includes the elements used in the learning stage.
  • the learning model 22A has a generator 31 and a discriminator 32.
  • the generator 31 has an encoder 33 and a decoder 34.
  • FIG. 5 is a diagram showing an example of teacher data used for learning.
  • the teacher data 40 includes the label 41 of the dosed drug, the label 42 of the dose period of the drug to the patient, the first medical image GR1 before the dosing and the second medical image after the dosing period has elapsed. It consists of GR2.
  • the drug label 41 is, for example, "drug A”.
  • the dosing period label 42 is, for example, 3 months.
  • the first medical image GR1 is a tomographic image of the lung, and the lesion 43 appears.
  • the second medical image GR2 is a tomographic image of a lung having the same cross section as the first medical image GR1 after the drug A is administered to the same patient as the first medical image GR1 for 3 months.
  • the lesion 44 included in the second medical image GR2 is smaller than the lesion 43 included in the first medical image GR1 due to the effect of the medication.
  • the lesion 44 contained in the second medical image GR2 may be larger than the lesion 43 included in the first medical image GR1.
  • the concentration and / or shape of the lesion 44 may be different from that of the lesion 43 of the first medical image GR1.
  • a plurality of kinds of drugs may be combined. Therefore, the type of drug is not limited to one.
  • the encoder 33 is composed of a convolutional neural network (CNN (Convolutional Neural Network)), which is one of multi-layer neural networks in which a plurality of processing layers are hierarchically connected, and is a feature amount of the input first medical image GR1.
  • CNN Convolutional Neural Network
  • the feature map F1 representing the above is derived.
  • the convolutional neural network consists of multiple convolutional layers.
  • the convolution layer performs convolution processing using various kernels on the input image, and outputs a feature map consisting of feature amount data obtained by the convolution processing.
  • the convolution layer applies the kernel to the entire feature map output from the input image or the previous processing layer, while shifting the pixels of interest of the kernel. Further, the convolution layer applies an activation function such as a sigmoid function to the convolved value, and outputs the feature map F1.
  • the decoder 34 is a hypothetical post-medication medical image representing a lesion after dosing a drug under label 41 for a dosing period under label 42 for the input first medical image GR1.
  • Derive GV2 That is, as shown in FIG. 4, when the feature map F1 of the first medical image GR1, the drug information based on the label 41 and the medication period information based on the label 42 are input, the decoder 34 is used for the first medical use.
  • a post-medication medical image GV2 showing the lesion after administration of the drug based on the label 41 for the dosing period based on the label 42 is derived for the patient who acquired the image GR1.
  • the first medical image GR1 is a real image acquired by photographing a patient with an imaging device 2, that is, a real image.
  • the medical image GV2 is a virtual image virtually generated from the first medical image GR1.
  • the decoder 34 has a plurality of deconvolution layers.
  • the deconvolution layer performs the same processing as the deconvolution layer of the encoder 33, but applies the kernel for the deconvolution calculation to the feature map while upsampling the input feature map F1.
  • the decoder 34 converts the feature map F1 output by the encoder 33 into the first medical image GR1 while increasing the resolution to the resolution of the first medical image GR1.
  • a process of converting the drug based on the label 41 into a lesion after the medication period based on the label 42 is performed, and a medical image GV2 which is a virtual image after the medication is derived.
  • the discriminator 32 is composed of, for example, a convolutional neural network, determines the representation format of the input image and whether the input image is a real image or a virtual image generated by the decoder 34, and determines the determination result RF1. Is output.
  • the discrimination result indicates whether the input image is a real image or a virtual image.
  • the discriminator 32 determines that the input real image is a real image, the discrimination result RF1 is a correct answer, and when it is determined to be a virtual image, the discrimination result RF1 is an incorrect answer. be. Further, when the discriminator 32 determines that the input virtual image is a real image, the discrimination result RF1 is an incorrect answer, and when the discriminator 32 determines that the input virtual image is a virtual image, the discrimination result RF1 is a correct answer. ..
  • the discrimination result RF1 when the medical image GV2 is input to the discriminator 32 at the time of learning, if the discrimination result RF1 is a virtual image, the discrimination result RF1 is a correct answer, and if the discrimination result is a real image, an incorrect answer is given. It becomes. Further, when the second medical image GR2 which is a real image is input to the discriminator 32 at the time of learning, if the discrimination result RF1 is a real image, the discrimination result RF1 is a correct answer and the discrimination result is a virtual image. If it is incorrect.
  • the learning unit 24 derives the loss based on the discrimination result RF1 output by the discriminator 32.
  • the loss in the discriminator 32 is referred to as the first loss L1.
  • the learning unit 24 derives the difference between the medical image GV2 and the second medical image GR2 as the second loss L2.
  • the learning unit 24 learns the discriminator 32 so as to correctly answer the determination result RF1 as to whether the input image is a real image or a virtual image generated by the decoder 34. .. That is, the discriminator 32 is learned so that the first loss L1 is equal to or less than a predetermined threshold value.
  • the learning unit 24 learns the decoder 34 so that the medical image GV2 matches the second medical image GR2. Further, the learning unit 24 learns the encoder 33 so as to derive the feature map F1 from which the decoder 34 can derive the medical image GV2 that matches the second medical image GR2. Specifically, the learning unit 24 learns the encoder 33 and the decoder 34 so that the second loss L2 is equal to or less than a predetermined threshold value.
  • the encoder 33, the decoder 34, and the discriminator 32 improve the accuracy, and the discriminator 32 determines whether the image is a real image or a virtual image regardless of the expression format of the image. Will be able to distinguish.
  • the encoder 33 and the decoder 34 can generate a virtual image closer to an image in a real expression format, which is not discriminated by the discriminator 32.
  • a generator 31 including an encoder 33 and a decoder 34 for which learning has been completed constitutes the learning model 22A of the present embodiment.
  • the learning unit 24 constructs a plurality of learning models 22A according to the types of drugs by performing machine learning using teacher data for various dosing periods for each of the types of drugs expected to be used. You may. Further, one learning model 22A may be constructed for a plurality of types of drugs so that post-dose images for a plurality of types of drugs can be generated using only one learning model 22A. It should be noted that the medicines used at one time are not limited to one type, and a plurality of types of medicines may be combined. For example, drug C and drug D may be administered at the same time. In this case, teacher data for the administration of the drug C + D is prepared, and the learning model 22A is constructed to generate a post-dosing image when the drug C + D is administered.
  • the image generation unit 22 uses the learning model 22A constructed as described above to generate a post-medication image representing a lesion after a certain drug is administered to a patient for a certain dosing period from the medical image G0.
  • the type of medicine and the dosing period are input from the input device 15 by the operator and acquired by the information acquisition unit 21.
  • a plurality of post-dose images G1 to Gn are generated when a drug is administered for a plurality of different dosing periods. For example, as shown in FIG. 6, when information on five dosing periods of 10, 20, 30, 40, and 50 days is acquired for the acquired medical image G0, the dosing period is 10 days.
  • the size of the lesion 47 included in the medical image G0 is different. That is, in the post-dose images G1 to G4, the size of the lesion 47 becomes smaller as the dosing period elapses, as compared with the medical image G0.
  • the lesion 47 included in the post-dose image G5 is larger in size than the lesion 47 included in the post-dose image G4 despite the administration. This indicates that for a certain drug, after the dosing period exceeds 40 days, the drug becomes ineffective and the lesion worsens.
  • the derivation unit 23 derives information indicating the effectiveness of the drug according to the dosing period of the drug, based on the change in the size of the lesion between the plurality of post-medication images G1 to Gn. For this purpose, the derivation unit 23 detects the lesion 47 from the medical image G0 and the plurality of post-medication images G1 to G5, and measures the size thereof. Then, the out-licensing unit 23 derives the relationship between the dosing period and the size of the lesion as information indicating the effectiveness of the drug according to the dosing period of the drug.
  • FIG. 7 is a diagram showing an example of information showing the effectiveness of the drug in the first embodiment.
  • the information 49 showing the effectiveness of the drug is a graph in which the horizontal axis represents the dosing period and the vertical axis represents the size of the lesion.
  • the size of the lesion during the dosing period between the dosing periods of 10 days, 20 days, 30 days, 40 days and 50 days is 10 days, 20 days. It may be derived by interpolating the size of the lesion during the 30-day, 40-day and 50-day dosing periods.
  • the derivation unit 23 derives the minimum value in the information 49, and derives the derived minimum value as the timing of stopping the medication.
  • 40 days is derived as the timing of drug suspension.
  • the display control unit 25 displays a post-medication image, information indicating the effectiveness of the drug, and the timing of drug stop on the display 14.
  • FIG. 8 is a diagram showing a post-dose image, information showing the effectiveness of the drug, and a screen for displaying the timing of stopping the drug in the first embodiment.
  • the display screen 50 has a first display area 51, a second display area 52, a third display area 53, and a fourth display area 54.
  • the first display area 51 a list of thumbnail images of the post-medication images G1 to G5 generated by the image generation unit 22 is displayed.
  • a post-dose image here, a post-dose image G3 selected from the thumbnail images of the post-dose images G1 to G5 displayed in the medical image G0 and the first display area 51 is displayed.
  • information 49 indicating the effectiveness of the drug derived by the out-licensing unit 23 is displayed.
  • the fourth display area 54 the timing of the medication stop derived by the out-licensing unit 23 is displayed.
  • FIG. 9 is a flowchart showing the learning process performed in the first embodiment.
  • the teacher data used for learning is acquired from the image storage server 3 by the information acquisition unit 21 and stored in the storage 13.
  • the learning unit 24 acquires the teacher data stored in the storage 13 (step ST1).
  • the learning unit 24 inputs the first medical image GR1 to the encoder 33 of the generator 31 to derive the feature map F1 (step ST2).
  • the learning unit 24 inputs the feature map F1, the drug information based on the label 41, and the medication period information based on the label 42 into the decoder 34, and causes the medical image GV2 after the lapse of the medication period to be derived (step ST3).
  • the learning unit 24 inputs the medical image GV2 after the lapse of the dosing period to the discriminator 32, and outputs the discrimination result RF1 (step ST4).
  • the learning unit 24 derives the first loss L1 based on the discrimination result RF1 and derives the difference between the medical image GV2 and the second medical image GR2 as the second loss L2 (loss derivation; step ST5). Further, the learning unit 24 learns the encoder 33, the decoder 34, and the discriminator 32 based on the first loss L1 and the second loss L2 (step ST6). Then, it returns to step ST1, acquires the next teacher data from the storage 13, and repeats the processes of steps ST1 to ST6. As a result, the learning model 22A is constructed.
  • the learning unit 24 repeats learning until each of the first loss L1 and the second loss L2 becomes equal to or less than a predetermined threshold value, but repeats learning a predetermined number of times. You may.
  • FIG. 10 is a flowchart showing an image generation process performed in the first embodiment.
  • the information acquisition unit 21 acquires information on the target medical image G0, the type of the drug to be administered, and the dosing period (information acquisition; step ST11).
  • the image generation unit 22 generates a post-medication image according to the type of the drug to be administered and the dosing period (step ST12).
  • the out-licensing unit 23 derives information indicating the effectiveness of the drug and the timing of stopping the medication (step ST13).
  • the display control unit 25 displays a post-medication image, information indicating the effectiveness of the drug, and the timing of stopping the dosing on the display 14 (step ST14), and ends the process.
  • post-medication images G1 to G5 showing lesions after the drug is administered to the patient during the dosing period are generated from the medical image G0. Therefore, the effect of the medication on the patient can be confirmed.
  • the information indicating the efficacy of the drug is derived based on the post-medication images G1 to G5, the efficacy of the drug can be easily confirmed by referring to the derived information.
  • timing of drug suspension is derived based on the information indicating the efficacy of the drug, it is possible to easily determine at what timing the drug should be stopped and switched to a different drug. ..
  • the second embodiment is different from the first embodiment in that post-dosing images for a plurality of types of drugs are derived.
  • the out-licensing unit 23 derives information indicating the effectiveness of the drug and the timing of stopping the medication for each type of drug.
  • FIG. 11 is a diagram showing an example of information showing the effectiveness of the drug in the second embodiment.
  • the information 60 representing the efficacy of the drug in the second embodiment is the dosing period and the size of the lesion for the efficacy of the drugs for the three drugs A, B and C + D.
  • the drug C + D indicates that the drug C and the drug D are administered in combination.
  • the solid line represents the drug A
  • the broken line represents the drug B
  • the alternate long and short dash line represents the efficacy of the drug for the drug C + D.
  • the lesion size decreases until the dosing period is 40 days, and the lesion size increases after 40 days.
  • the size of the lesion decreases until the dosing period is about 20 days, and the size of the lesion increases after 20 days.
  • the size of the lesion decreases until the dosing period is about 50 days, and the size of the lesion increases after 50 days.
  • the derivation unit 23 derives the minimum value in the information 60 indicating the efficacy of the drug for each of the drug A, the drug B, and the drug C + D, and derives the derived minimum value as the timing of stopping the medication of the drug. Specifically, 40 days for drug A, 20 days for drug B, and 50 days for drug C + D are derived as the timing of drug suspension.
  • FIG. 12 is a diagram showing a post-dose image, information showing the effectiveness of the drug, and a screen for displaying the timing of stopping the drug in the second embodiment.
  • the same reference numbers are assigned to the same configurations as those in FIG. 8, and detailed description thereof will be omitted here.
  • FIG. 12 on the display screen 50A in the second embodiment, three display areas 51A to 51C are displayed in the first display area 51.
  • thumbnail images of the post-medication images G1 to G5 generated for the drug A are displayed.
  • thumbnail images of the post-medication images G11 to G15 generated for the drug B are displayed.
  • Thumbnail images of post-medication images G21 to G25 generated for the drug C + D are displayed in the display area 51C.
  • the contents of the post-medication images G11 to G15 and G21 to G25 are not shown.
  • the post-medication images selected in the medical image G0 and the display areas 51A to 51C are displayed.
  • information 60 indicating the effectiveness of the drug shown in FIG. 11 is displayed.
  • information indicating the timing of stop of dosing for each of the drugs A, B, and C + D that generated the post-dose image is displayed. Specifically, drug A is displayed as 40 days, drug B is displayed as 20 days, and drug C + D is displayed as 50 days.
  • the post-medication images for a plurality of types of drugs are generated, the effectiveness of the drugs according to the types of the drugs can be confirmed.
  • timing of drug suspension is derived based on the information indicating the effectiveness of the drug, it is easy to decide when to stop the drug and switch to a different drug for each type of drug. You can judge.
  • the display screens 50 and 50A in each of the above embodiments display a post-medication image, information indicating the efficacy of the drug, and the timing of stopping the dosing, but the present invention is not limited to this.
  • Post-dose images, information on the effectiveness of the drug, and at least one of the timings of drug discontinuation may be displayed.
  • the learning model 22A is learned using an image including the entire lung as teacher data, but the learning model 22A is not limited to this.
  • the learning model 22A may be trained by using a partial image obtained by extracting only the lesion region from the image including the lung as teacher data.
  • the technique of the present disclosure is applied when creating an image interpretation report using a medical image whose diagnosis target is the lung as a target image, but the diagnosis target is not limited to the lung. ..
  • diagnosis target is not limited to the lung.
  • any part of the human body such as the heart, liver, brain, and limbs can be diagnosed.
  • a hardware-like processing unit that executes various processes such as an information acquisition unit 21, an image generation unit 22, a derivation unit 23, a learning unit 24, and a display control unit 25.
  • various processors processors shown below can be used.
  • the various processors include a CPU, which is a general-purpose processor that executes software (programs) and functions as various processing units, as well as circuits after manufacturing FPGAs (Field Programmable Gate Arrays) and the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits etc. are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

画像生成装置、方法およびプログラム、並びに学習装置、方法およびプログラムにおいて、投薬による効果を確認できるようにする。プロセッサは、病変を含む医用画像、医用画像を取得した患者に投薬する薬の種類および薬の投薬期間の情報を取得する。プロセッサは、薬を投薬期間患者に投薬した後の病変を表す投薬後画像を、医用画像から生成する。

Description

画像生成装置、方法およびプログラム、学習装置、方法およびプログラム
　本開示は、画像生成装置、方法およびプログラム、並びに学習装置、方法およびプログラムに関するものである。
　近年、進行した癌に対して、抗癌剤として分子標的薬等の投薬を中心とした治療が行われている。分子標的薬とは、腫瘍が悪化する原因となる細胞の分子を、ピンポイントで標的として抑制することにより悪化を阻害する薬である。分子標的薬には、治療効果が高く、かつ副作用が小さいというメリットがある。分子標的薬は、治療の計画書であるレジメンにしたがって投薬される。レジメンには、薬の特性に合わせて薬を溶かしたり希釈したりする溶液の組成および量、投与速度、投与順、副作用対策に使用する薬剤並びに投与後の休薬期間等も含まれる。レジメンにしたがって分子標的薬を投薬することにより、医療事故を未然に防ぎつつ、効果的な治療を行うことができる。一方、分子標的薬は、特定の分子を標的にしていることから、癌の種類によって効き目が分かれる薬である。また、投薬を続けていると治療の効果が弱くなるため、別の分子標的薬に切り替えた方がよい場合が発生する。さらに、悪化の因子が複数含まれている場合は、投薬を計画立てて効果的に適用する必要がある。
　一方、画像を用いて薬の効果を評価するための各種手法が提案されている。例えば、特許文献１には、患者の血管の解剖学的モデルを用いて、薬物が送達される際のデータを算出する手法が提案されている。
特表２０１８－５２５７４８号公報
　しかしながら、特許文献１に記載された手法では、投薬によりどの程度の治療効果が発揮されるかは確認することができない。また、特に分子標的薬を用いた場合に、どの程度の期間で薬が効きにくくなるかを確認することができない。
　本開示は上記事情に鑑みなされたものであり、投薬による効果を確認できるようにすることを目的とする。
　本開示による画像生成装置は、少なくとも１つのプロセッサを備え、
　プロセッサは、病変を含む医用画像、医用画像を取得した患者に投薬する薬の種類および薬の投薬期間の情報を取得し、
　薬を投薬期間患者に投薬した後の病変を表す投薬後画像を、医用画像から生成するように構成される。
　なお、本開示による画像生成装置においては、プロセッサは、少なくとも１種類の薬について、患者への薬の投薬期間、投薬前の第１の画像および投薬期間経過後の第２の画像の組み合わせを教師データとして用いて機械学習を行うことにより構築された少なくとも１つの学習モデルを用いて、投薬後画像を生成するように構成されるものであってもよい。
　また、本開示による画像生成装置においては、プロセッサは、複数の異なる投薬期間の情報を取得し、
　複数の異なる投薬期間のそれぞれに対応した複数の投薬後画像を生成するように構成されるものであってもよい。
　また、本開示による画像生成装置においては、プロセッサは、複数の投薬後画像間における病変の変化に基づいて、薬の投薬期間に応じた薬の効き具合を表す情報を導出するようにさらに構成されるものであってもよい。
　また、本開示による画像生成装置においては、プロセッサは、薬の効き具合に基づいて、薬の投薬停止のタイミングを導出するように構成されるものであってもよい。
　また、本開示による画像生成装置においては、プロセッサは、投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングの少なくとも１つをディスプレイに表示するようにさらに構成されるものであってもよい。
　また、本開示による画像生成装置においては、プロセッサは、複数種類の薬のそれぞれについての、複数の投薬後画像を生成するように構成されるものであってもよい。
　また、本開示による画像生成装置においては、プロセッサは、複数種類の薬のそれぞれについて、複数の投薬後画像間における病変の変化に基づいて、薬の投薬期間に応じた薬の効き具合を表す情報を導出するようにさらに構成されるものであってもよい。
　また、本開示による画像生成装置においては、プロセッサは、薬の効き具合に基づいて、投薬する薬の種類および薬の投薬停止のタイミングを導出するように構成されるものであってもよい。
　また、本開示による画像生成装置においては、プロセッサは、複数の投薬後画像、薬の効き具合を表す情報、投薬する薬の種類および投薬停止のタイミングの少なくとも１つをディスプレイに表示するようにさらに構成されるものであってもよい。
　本開示による学習装置は、少なくとも１つのプロセッサを備え、
　プロセッサは、
　少なくとも１種類の薬について、薬の患者への投薬期間、投薬前の第１の画像および投薬期間経過後の第２の画像の組み合わせからなる教師データを取得し、
　教師データを用いて学習を行うことにより、病変を含む患者の医用画像、薬の種類および投薬期間が入力されると、薬を投薬期間患者に投薬した後の病変を表す投薬後画像を出力する学習モデルを構築するように構成される。
　本開示による画像生成方法は、病変を含む医用画像、医用画像を取得した患者に投薬する薬の種類および薬の投薬期間の情報を取得し、
　薬を投薬期間患者に投薬した後の病変を表す投薬後画像を、医用画像から生成する。
　本開示による学習方法は、少なくとも１種類の薬について、薬の患者への投薬期間、投薬前の第１の画像および投薬期間経過後の第２の画像の組み合わせからなる教師データを取得し、
　教師データを用いて学習を行うことにより、病変を含む患者の医用画像、薬の種類および投薬期間が入力されると、薬を投薬期間患者に投薬した後の病変を表す投薬後画像を出力する学習モデルを構築する。
　なお、本開示による画像生成方法および学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示によれば、投薬による効果を確認できる。
本開示の実施形態による画像生成装置および学習装置を適用した医療情報システムの概略構成を示す図 第１の実施形態による画像生成装置および学習装置の概略構成を示す図 第１の実施形態による画像生成装置および学習装置の機能構成図 第１の実施形態における学習モデルの構成を示す概略ブロック図 学習に使用する教師データの例を示す図 医用画像および投薬後画像を示す図 第１の実施形態における薬の効き具合を表す情報を示す図 第１の実施形態における表示画面を示す図 第１の実施形態において行われる学習処理を示すフローチャート 第１の実施形態において行われる画像生成処理を示すフローチャート 第２の実施形態における薬の効き具合を表す情報を示す図 第２の実施形態における表示画面を示す図
　以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像生成装置および学習装置を適用した医療情報システムの構成について説明する。図１は、医療情報システムの概略構成を示す図である。図１に示す医療情報システムは、本実施形態による画像生成装置および学習装置を内包するコンピュータ１、撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
　コンピュータ１は、本実施形態による画像生成装置および学習装置を内包するものであり、本実施形態の画像生成プログラムおよび学習プログラムがインストールされている。コンピュータ１は、診断を行う医師が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像生成プログラムおよび学習プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ１にダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータ１にインストールされる。
　撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ(Computed Tomography)装置、ＭＲＩ（Magnetic Resonance Imaging）装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この撮影装置２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は肺であり、撮影装置２はＣＴ装置であり、被検体の肺を含む胸部のＣＴ画像を３次元画像として生成する。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、画像保管サーバ３には、後述する教師データも記憶されている。
　次いで、第１の実施形態による画像生成装置および学習装置について説明する。図２は、第１の実施形態による画像生成装置および学習装置のハードウェア構成を説明する。図２に示すように、画像生成装置および学習装置（以下、画像生成装置で代表させる場合があるものとする）２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、画像生成装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク４に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
　ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、画像生成プログラムおよび学習プログラムが記憶される。ＣＰＵ１１は、ストレージ１３から画像生成プログラム１２Ａおよび学習プログラム１２Ｂを読み出してからメモリ１６に展開し、展開した画像生成プログラム１２Ａおよび学習プログラム１２Ｂを実行する。
　次いで、第１の実施形態による画像生成装置および学習装置の機能的な構成を説明する。図３は、第１の実施形態による画像生成装置および学習装置の機能的な構成を示す図である。図３に示すように画像生成装置２０は、情報取得部２１、画像生成部２２、導出部２３、学習部２４、および表示制御部２５を備える。そして、ＣＰＵ１１が、画像生成プログラム１２Ａおよび学習プログラム１２Ｂを実行することにより、ＣＰＵ１１は、情報取得部２１、画像生成部２２、導出部２３、学習部２４、および表示制御部２５として機能する。
　情報取得部２１は、操作者による入力デバイス１５からの指示により、画像保管サーバ３から後述する投薬後画像を生成する対象となる、病変を含む医用画像Ｇ０を取得する。また、情報取得部２１は、入力デバイス１５から入力された、医用画像Ｇ０を取得した患者に投薬する薬の種類および薬の投薬期間の情報を取得する。なお、本実施形態においては、複数の異なる投薬期間の情報を取得するものとする。また、情報取得部２１は、後述する学習モデル２２Ａの学習のために、画像保管サーバ３から教師データを取得する。
　画像生成部２２は、薬をある投薬期間患者に投薬した後の病変を表す投薬後画像を、医用画像Ｇ０から生成する。このために、画像生成部２２は、医用画像Ｇ０、薬の種類および投薬期間が入力されると、投薬後画像を出力するように機械学習がなされた学習モデル２２Ａを有する。
　学習モデル２２Ａは、少なくとも１種類の薬について、患者への薬の投薬期間、投薬前の第１の医用画像および投薬期間経過後の第２の医用画像の組み合わせを教師データとして用いて機械学習を行うことにより構築される。学習モデル２２Ａは、例えば、ＧＡＮ（Generative Adversarial Networks：敵対的生成ネットワーク）を用いることができる。図４は、本実施形態における学習モデルの構成を示す概略ブロック図である。なお、図４においては、学習の段階で使用する要素も学習モデル２２Ａに含めている。図４に示すように、学習モデル２２Ａは、ジェネレータ３１およびディスクリミネータ３２を有する。ジェネレータ３１は、エンコーダ３３およびデコーダ３４を有する。
　図５は、学習に使用する教師データの例を示す図である。図５に示すように、教師データ４０は、投薬した薬のラベル４１、患者への薬の投薬期間のラベル４２、投薬前の第１の医用画像ＧＲ１および投薬期間経過後の第２の医用画像ＧＲ２からなる。図５に示すように、薬のラベル４１は、例えば「薬Ａ」である。投薬期間のラベル４２は、例えば３ヶ月である。第１の医用画像ＧＲ１は肺の断層画像であり、病変４３が現れている。第２の医用画像ＧＲ２は第１の医用画像ＧＲ１と同一患者に対して、薬Ａを３ヶ月投薬した後の、第１の医用画像ＧＲ１と同一断面の肺の断層画像である。第２の医用画像ＧＲ２に含まれる病変４４は、投薬の効果により第１の医用画像ＧＲ１に含まれる病変４３よりも小さくなっている。なお、投薬期間によっては、または薬の効き具合によっては、第２の医用画像ＧＲ２に含まれる病変４４が、第１の医用画像ＧＲ１に含まれる病変４３よりも大きくなる場合もある。また、投薬の効果により、病変４４の濃度および／または形状が、第１の医用画像ＧＲ１の病変４３と異なるものとなる場合もある。なお、投薬に際しては、複数種類の薬を組み合わせる場合もある。このため、薬の種類は１種類に限定されるものではない。
　エンコーダ３３は、複数の処理層が階層的に接続された多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）からなり、入力された第１の医用画像ＧＲ１の特徴量を表す特徴マップＦ１を導出する。
　畳み込みニューラルネットワークは、複数の畳み込み層からなる。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には入力された画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、入力された画像または前段の処理層から出力された特徴マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴マップＦ１を出力する。
　デコーダ３４は、特徴マップＦ１に基づいて、入力された第１の医用画像ＧＲ１について、ラベル４１に基づく薬をラベル４２に基づく投薬期間投薬した後の、病変を表す投薬後の仮想的な医用画像ＧＶ２を導出する。すなわち、図４に示すように、デコーダ３４は、第１の医用画像ＧＲ１の特徴マップＦ１、ラベル４１に基づく薬の情報およびラベル４２に基づく投薬期間の情報が入力されると、第１の医用画像ＧＲ１を取得した患者に、ラベル４１に基づく薬をラベル４２に基づく投薬期間投薬した後の病変を表す投薬後の医用画像ＧＶ２を導出する。なお、第１の医用画像ＧＲ１は、撮影装置２により患者を撮影することにより取得された実画像、すなわち本物の画像である。一方、医用画像ＧＶ２は、第１の医用画像ＧＲ１から仮想的に生成された仮想画像である。
　デコーダ３４は、複数の逆畳み込み層を有する。逆畳み込み層はエンコーダ３３の畳み込み層と同様の処理を行うが、入力された特徴マップＦ１をアップサンプリングしつつ、逆畳み込みの演算のためのカーネルを特徴マップに適用する。具体的には、図４に示すように、デコーダ３４は、エンコーダ３３が出力した特徴マップＦ１を、第１の医用画像ＧＲ１の解像度となるように高解像度化しつつ、第１の医用画像ＧＲ１に含まれる病変について、ラベル４１に基づく薬をラベル４２に基づく投薬期間投薬した後の病変に変換する処理を行い、投薬後の仮想画像である医用画像ＧＶ２を導出する。
　ディスクリミネータ３２は、例えば畳み込みニューラルネットワークからなり、入力された画像の表現形式および入力された画像が実画像であるかデコーダ３４により生成された仮想画像であるかを判別して、判別結果ＲＦ１を出力する。判別結果は、入力された画像が実画像であるか仮想画像であるかを表す。
　ここで、ディスクリミネータ３２が、入力された実画像を実画像であると判別した場合には、判別結果ＲＦ１は正解であり、仮想画像と判別した場合には、判別結果ＲＦ１は不正解である。また、ディスクリミネータ３２が、入力された仮想画像を実画像であると判別した場合には、判別結果ＲＦ１は不正解であり、仮想画像と判別した場合には、判別結果ＲＦ１は正解である。本実施形態においては、学習時においてディスクリミネータ３２に医用画像ＧＶ２が入力された場合、判別結果ＲＦ１が仮想画像であれば判別結果ＲＦ１は正解であり、判別結果が実画像であれば不正解となる。また、学習時においてディスクリミネータ３２に実画像である第２の医用画像ＧＲ２が入力された場合、判別結果ＲＦ１が実画像であれば判別結果ＲＦ１は正解であり、判別結果が仮想画像であれば不正解となる。
　学習部２４は、ディスクリミネータ３２が出力した判別結果ＲＦ１に基づいて損失を導出する。本実施形態においては、ディスクリミネータ３２における損失を第１損失Ｌ１とする。
　一方、本実施形態においては、デコーダ３４が導出した仮想的な医用画像ＧＶ２が第２の医用画像ＧＲ２と完全に一致することが望ましいが、医用画像ＧＶ２はエンコーダ３３およびデコーダ３４による処理を経たものであるため、医用画像ＧＶ２と第２の医用画像ＧＲ２との間に相違が生じる。本実施形態においては、学習部２４は、医用画像ＧＶ２と第２の医用画像ＧＲ２との相違を第２損失Ｌ２として導出する。
　本実施形態においては、学習部２４は、入力された画像が実画像であるか、デコーダ３４により生成された仮想画像であるかの判別結果ＲＦ１を正解するように、ディスクリミネータ３２を学習する。すなわち、第１損失Ｌ１が予め定められたしきい値以下となるように、ディスクリミネータ３２を学習する。
　また、学習部２４は、医用画像ＧＶ２が第２の医用画像ＧＲ２と一致するように、デコーダ３４を学習する。また、学習部２４は、第２の医用画像ＧＲ２と一致する医用画像ＧＶ２をデコーダ３４が導出できる特徴マップＦ１を導出するように、エンコーダ３３を学習する。具体的には、学習部２４は、第２損失Ｌ２が予め定められたしきい値以下となるように、エンコーダ３３およびデコーダ３４を学習する。
　学習が進行すると、エンコーダ３３およびデコーダ３４とディスクリミネータ３２とが精度を高めあい、ディスクリミネータ３２は、どのような表現形式の画像が入力されても実画像か仮想画像かをより高精度に判別できるようになる。一方、エンコーダ３３およびデコーダ３４は、ディスクリミネータ３２により判別されない、より本物の表現形式の画像に近い仮想画像を生成できるようになる。学習が完了したエンコーダ３３およびデコーダ３４からなるジェネレータ３１が、本実施形態の学習モデル２２Ａを構成する。
　なお、学習部２４は、使用が想定される薬の種類のそれぞれについて、各種投薬期間についての教師データを用いた機械学習を行うことにより、薬の種類に応じた複数の学習モデル２２Ａを構築してもよい。また、１つの学習モデル２２Ａを複数種類の薬について構築し、１つの学習モデル２２Ａのみを用いて、複数種類の薬についての投薬後画像を生成できるようにしてもよい。なお、一度に使用される薬は１種類のみならず、複数種類の薬を組み合わせる場合がある。例えば、薬Ｃと薬Ｄとを同時に投与する場合がある。この場合、薬Ｃ＋Ｄを投与した場合の教師データが用意され、学習モデル２２Ａは、薬Ｃ＋Ｄが投与された場合の投薬後画像を生成するように構築される。
　画像生成部２２は、上述したように構築された学習モデル２２Ａを用いて、ある薬をある投薬期間患者に投薬した後の病変を表す投薬後画像を医用画像Ｇ０から生成する。薬の種類および投薬期間は、操作者により入力デバイス１５から入力されて、情報取得部２１により取得される。本実施形態においては、ある薬について、異なる複数の投薬期間について投薬を行った場合における、複数の投薬後画像Ｇ１～Ｇｎを生成する。例えば、図６に示すように、取得した医用画像Ｇ０に対して、１０日、２０日、３０日、４０日および５０日の５つの投薬期間の情報が取得された場合、投薬期間が１０日、２０日、３０日、４０日および５０日の５つの投薬後画像Ｇ１～Ｇ５を生成する。図６に示すように、投薬後画像Ｇ１～Ｇ５においては、医用画像Ｇ０に含まれる病変４７のサイズが異なっている。すなわち、投薬後画像Ｇ１～Ｇ４においては、医用画像Ｇ０と比較すると、投薬期間の経過により病変４７のサイズが小さくなっている。一方、投薬後画像Ｇ５に含まれる病変４７は、投薬を行っているにも拘わらず、投薬後画像Ｇ４に含まれる病変４７よりもサイズが大きくなっている。これは、ある薬に関して、投薬期間が４０日を過ぎると、薬の効き具合が悪くなって病変が悪化することを表している。
　導出部２３は、複数の投薬後画像Ｇ１～Ｇｎ間における病変のサイズの変化に基づいて、薬の投薬期間に応じた薬の効き具合を表す情報を導出する。このために、導出部２３は、医用画像Ｇ０および複数の投薬後画像Ｇ１～Ｇ５から病変４７を検出し、そのサイズを計測する。そして、導出部２３は、投薬期間と病変のサイズとの関係を、薬の投薬期間に応じた薬の効き具合を表す情報として導出する。図７は第１の実施形態における薬の効き具合を表す情報の例を示す図である。
　図７に示すように、薬の効き具合を表す情報４９は、横軸が投薬期間を表し、縦軸が病変のサイズを表すグラフである。なお、図７に示す薬の効き具合を表す情報４９において、１０日、２０日、３０日、４０日および５０日の投薬期間の間の投薬期間における病変のサイズは、１０日、２０日、３０日、４０日および５０日の投薬期間における病変のサイズを補間することにより導出すればよい。図７に示すように、情報４９においては、投薬期間が４０日までは病変のサイズが小さくなり、４０日を過ぎると病変のサイズが大きくなっている。このため、導出部２３は、情報４９における極小値を導出し、導出した極小値を薬の投薬停止のタイミングとして導出する。本実施形態においては、４０日が投薬停止のタイミングとして導出される。
　表示制御部２５は、投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングをディスプレイ１４に表示する。図８は、第１の実施形態における、投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングの表示画面を示す図である。図８に示すように、表示画面５０は、第１表示領域５１、第２表示領域５２、第３表示領域５３および第４表示領域５４を有する。
　第１表示領域５１には、画像生成部２２が生成した投薬後画像Ｇ１～Ｇ５のサムネイル画像の一覧が表示される。第２表示領域５２には、医用画像Ｇ０および第１表示領域５１に表示された投薬後画像Ｇ１～Ｇ５のサムネイル画像から選択された投薬後画像（ここでは投薬後画像Ｇ３）が表示される。第３表示領域５３には、導出部２３が導出した薬の効き具合を表す情報４９が表示される。第４表示領域５４には、導出部２３が導出した投薬停止のタイミングが表示される。
　次いで、第１の実施形態において行われる処理について説明する。図９は第１の実施形態において行われる学習処理を示すフローチャートである。なお、学習に使用する教師データは、情報取得部２１により画像保管サーバ３から取得されて、ストレージ１３に保存されているものとする。まず、学習部２４がストレージ１３に保存された教師データを取得する（ステップＳＴ１）。学習部２４は、ジェネレータ３１のエンコーダ３３に第１の医用画像ＧＲ１を入力して特徴マップＦ１を導出させる（ステップＳＴ２）。また、学習部２４は、デコーダ３４に特徴マップＦ１、ラベル４１に基づく薬の情報およびラベル４２に基づく投薬期間の情報を入力し、投薬期間経過後の医用画像ＧＶ２を導出させる（ステップＳＴ３）。そして、学習部２４は、ディスクリミネータ３２に投薬期間経過後の医用画像ＧＶ２を入力し、判別結果ＲＦ１を出力させる（ステップＳＴ４）。
　次いで、学習部２４は、判別結果ＲＦ１に基づいて第１損失Ｌ１を導出し、医用画像ＧＶ２と第２の医用画像ＧＲ２との相違を第２損失Ｌ２として導出する（損失導出；ステップＳＴ５）。さらに、学習部２４は、第１損失Ｌ１および第２損失Ｌ２に基づいて、エンコーダ３３、デコーダ３４およびディスクリミネータ３２を学習する（ステップＳＴ６）。そして、ステップＳＴ１にリターンし、次の教師データをストレージ１３から取得して、ステップＳＴ１～ステップＳＴ６の処理を繰り返す。これにより、学習モデル２２Ａが構築される。
　なお、学習部２４は、第１損失Ｌ１および第２損失Ｌ２のそれぞれが予め定められたしきい値以下となるまで学習を繰り返すものとしているが、予め定められた回数の学習を繰り返すものであってもよい。
　次いで、第１の実施形態において行われる画像生成処理について説明する。図１０は第１の実施形態において行われる画像生成処理を示すフローチャートである。情報取得部２１が対象となる医用画像Ｇ０、投薬する薬の種類および投薬期間の情報を取得する（情報取得；ステップＳＴ１１）。次いで、画像生成部２２が、投薬する薬の種類および投薬期間に応じた投薬後画像を生成する（ステップＳＴ１２）。さらに、導出部２３が、薬の効き具合を表す情報および投薬停止のタイミングを導出する（ステップＳＴ１３）。そして、表示制御部２５が、投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングをディスプレイ１４に表示し（ステップＳＴ１４）、処理を終了する。
　このように、第１の実施形態においては、薬を投薬期間患者に投薬した後の病変を表す投薬後画像Ｇ１～Ｇ５を、医用画像Ｇ０から生成するようにした。このため、患者に対する投薬による効果を確認することができる。
　また、投薬後画像Ｇ１～Ｇ５に基づいて、薬の効き具合を表す情報を導出しているため、導出した情報を参照することにより、薬の効き具合を容易に確認することができる。
　また、薬の効き具合を表す情報に基づいて、投薬停止のタイミングを導出しているため、どのタイミングで薬の投薬を停止して、異なる薬に切り替えればよいかを容易に判断することができる。
　次いで、本開示の第２の実施形態について説明する。なお、第２の実施形態による画像生成装置の構成は、図３に示す第１の実施形態による画像生成装置の構成と同一であり、行われる処理が異なるのみであるため、ここでは装置についての詳細な説明は省略する。第２の実施形態においては、複数種類の薬についての投薬後画像を導出するようにした点が第１の実施形態と異なる。第２の実施形態においては、導出部２３は、薬の種類毎に薬の効き具合を表す情報および投薬停止のタイミングを導出する。
　図１１は第２の実施形態における薬の効き具合を表す情報の例を示す図である。図１１に示すように、第２の実施形態における薬の効き具合を表す情報６０は、３種類の薬Ａ、薬Ｂおよび薬Ｃ＋Ｄについての薬の効き具合についての投薬期間と病変のサイズとの関係を表す。なお、薬Ｃ＋Ｄは薬Ｃと薬Ｄとを組み合わせて投与することを示す。図１１において実線が薬Ａ、破線が薬Ｂ、一点鎖線が薬Ｃ＋Ｄについての薬の効き具合を表す。図１１に示すように、薬Ａについては、投薬期間が４０日までは病変のサイズが小さくなり、４０日を過ぎると病変のサイズが大きくなっている。薬Ｂについては、投薬期間が２０日程度までは病変のサイズが小さくなり、２０日を過ぎると病変のサイズが大きくなっている。薬Ｃ＋Ｄについては、投薬期間が５０日程度までは病変のサイズが小さくなり、５０日を過ぎると病変のサイズが大きくなっている。
　導出部２３は、薬Ａ、薬Ｂおよび薬Ｃ＋Ｄのそれぞれについて、薬の効き具合を表す情報６０における極小値を導出し、導出した極小値を薬の投薬停止のタイミングとして導出する。具体的には、薬Ａについては４０日、薬Ｂについては２０日、薬Ｃ＋Ｄについては５０日が投薬停止のタイミングとして導出される。
　図１２は、第２の実施形態における、投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングの表示画面を示す図である。なお、図１２において図８と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。図１２に示すように、第２の実施形態における表示画面５０Ａには、第１表示領域５１内に３つの表示領域５１Ａ～５１Ｃが表示されている。表示領域５１Ａには薬Ａについて生成した投薬後画像Ｇ１～Ｇ５のサムネイル画像が表示される。表示領域５１Ｂには薬Ｂについて生成した投薬後画像Ｇ１１～Ｇ１５のサムネイル画像が表示される。表示領域５１Ｃには薬Ｃ＋Ｄについて生成した投薬後画像Ｇ２１～Ｇ２５のサムネイル画像が表示される。なお、図１２においては、投薬後画像Ｇ１１～Ｇ１５，Ｇ２１～Ｇ２５の内容の図示を省略している。
　第２表示領域５２には、医用画像Ｇ０および表示領域５１Ａ～５１Ｃにおいて選択された投薬後画像が表示される。
　また、第３表示領域５３には、図１１に示す薬の効き具合を表す情報６０が表示される。第４表示領域５４には、投薬後画像を生成した薬Ａ，Ｂ，Ｃ＋Ｄのそれぞれについての投薬停止のタイミングを表す情報が表示される。具体的には、薬Ａについては４０日、薬Ｂについては２０日、薬Ｃ＋Ｄについては５０日と表示される。
　このように、第２の実施形態においては、複数種類の薬についての投薬後画像を生成するようにしたため、薬の種類に応じた薬の効き具合を確認することができる。
　また、薬の種類に応じた、薬の効き具合を表す情報を導出しているため、導出した情報を参照することにより、いずれの薬の効き具合が優れているかを容易に確認することができる。
　また、薬の効き具合を表す情報に基づいて、投薬停止のタイミングを導出しているため、薬の種類毎にどのタイミングで薬の投薬を停止して、異なる薬に切り替えればよいかを容易に判断することができる。
　なお、上記各実施形態における表示画面５０，５０Ａには、投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングを表示しているが、これに限定されるものではない。投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングの少なくとも１つを表示するようにしてもよい。
　また、上記各実施形態においては、肺の全体を含む画像を教師データとして用いて学習モデル２２Ａを学習しているが、これに限定されるものではない。肺を含む画像から病変の領域のみを抽出した部分画像を教師データとして用いて、学習モデル２２Ａを学習するようにしてもよい。
　また、上記各実施形態においては、診断対象を肺とした医用画像を対象画像として読影レポートを作成する場合に本開示の技術を適用しているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を診断対象とすることができる。
　また、上記各実施形態において、例えば、情報取得部２１、画像生成部２２、導出部２３、学習部２４および表示制御部２５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　コンピュータ
　　　２　　撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２Ａ　　画像生成プログラム
　　　１２Ｂ　　学習プログラム
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力デバイス
　　　１６　　メモリ
　　　１７　　ネットワークＩ／Ｆ
　　　１８　　バス
　　　２０　　画像生成装置
　　　２１　　情報取得部
　　　２２　　画像生成部
　　　２２Ａ　　学習モデル
　　　２３　　導出部
　　　２４　　学習部
　　　２５　　表示制御部
　　　３１　　ジェネレータ
　　　３２　　ディスクリミネータ
　　　３３　　エンコーダ
　　　３４　　デコーダ
　　　４０　　教師データ
　　　４１　　薬のラベル
　　　４２　　投薬期間のラベル
　　　４３，４４，４７　　病変
　　　４９，６０　　薬の効き具合を表す情報
　　　５０，５０Ａ　　表示画面
　　　５１　　第１表示領域
　　　５１Ａ～５１Ｃ　　表示領域
　　　５２　　第２表示領域
　　　５３　　第３表示領域
　　　５４　　第４表示領域
　　　Ｆ１　　特徴マップ
　　　Ｇ０　　医用画像
　　　Ｇ１～Ｇ５，Ｇ１１～Ｇ１５，Ｇ２１～Ｇ２５　　投薬後画像
　　　ＧＲ１　　第１の医用画像
　　　ＧＲ２　　第２の医用画像
　　　ＧＶ２　　仮想的な医用画像
　　　ＲＦ１　　判別結果

Claims (15)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　病変を含む医用画像、前記医用画像を取得した患者に投薬する薬の種類および前記薬の投薬期間の情報を取得し、
    　前記薬を前記投薬期間前記患者に投薬した後の前記病変を表す投薬後画像を、前記医用画像から生成するように構成される画像生成装置。
  2. 　前記プロセッサは、少なくとも１種類の薬について、患者への当該薬の投薬期間、投薬前の第１の画像および前記投薬期間経過後の第２の画像の組み合わせを教師データとして用いて機械学習を行うことにより構築された少なくとも１つの学習モデルを用いて、前記投薬後画像を生成するように構成される請求項１に記載の画像生成装置。
  3. 　前記プロセッサは、複数の異なる投薬期間の情報を取得し、
    　複数の異なる投薬期間のそれぞれに対応した複数の投薬後画像を生成するように構成される請求項１または２に記載の画像生成装置。
  4. 　前記プロセッサは、前記複数の投薬後画像間における前記病変の変化に基づいて、前記薬の投薬期間に応じた薬の効き具合を表す情報を導出するようにさらに構成される請求項３に記載の画像生成装置。
  5. 　前記プロセッサは、前記薬の効き具合に基づいて、前記薬の投薬停止のタイミングを導出するように構成される請求項４に記載の画像生成装置。
  6. 　前記プロセッサは、前記投薬後画像、前記薬の効き具合を表す情報および前記投薬停止のタイミングの少なくとも１つをディスプレイに表示するようにさらに構成される請求項５に記載の画像生成装置。
  7. 　前記プロセッサは、複数種類の薬のそれぞれについての、前記複数の投薬後画像を生成するように構成される請求項３に記載の画像生成装置。
  8. 　前記プロセッサは、前記複数種類の薬のそれぞれについて、前記複数の投薬後画像間における前記病変の変化に基づいて、前記薬の投薬期間に応じた薬の効き具合を表す情報を導出するようにさらに構成される請求項７に記載の画像生成装置。
  9. 　前記プロセッサは、前記薬の効き具合に基づいて、投薬する薬の種類に応じた前記薬の投薬停止のタイミングを導出するように構成される請求項８に記載の画像生成装置。
  10. 　前記プロセッサは、前記複数の投薬後画像、前記薬の効き具合を表す情報、前記投薬する薬の種類および前記投薬停止のタイミングの少なくとも１つをディスプレイに表示するようにさらに構成される請求項９に記載の画像生成装置。
  11. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　少なくとも１種類の薬について、当該薬の患者への投薬期間、投薬前の第１の画像および前記投薬期間経過後の第２の画像の組み合わせからなる教師データを取得し、
    　前記教師データを用いて学習を行うことにより、病変を含む患者の医用画像、薬の種類および投薬期間が入力されると、前記薬を前記投薬期間患者に投薬した後の前記病変を表す投薬後画像を出力する学習モデルを構築するように構成される学習装置。
  12. 　病変を含む医用画像、前記医用画像を取得した患者に投薬する薬の種類および前記薬の投薬期間の情報を取得し、
    　前記薬を前記投薬期間前記患者に投薬した後の前記病変を表す投薬後画像を、前記医用画像から生成する画像生成方法。
  13. 　少なくとも１種類の薬について、当該薬の患者への投薬期間、投薬前の第１の画像および前記投薬期間経過後の第２の画像の組み合わせからなる教師データを取得し、
    　前記教師データを用いて学習を行うことにより、病変を含む患者の医用画像、薬の種類および投薬期間が入力されると、前記薬を前記投薬期間患者に投薬した後の前記病変を表す投薬後画像を出力する学習モデルを構築する学習方法。
  14. 　病変を含む医用画像、前記医用画像を取得した患者に投薬する薬の種類および前記薬の投薬期間の情報を取得する手順と、
    　前記薬を前記投薬期間前記患者に投薬した後の前記病変を表す投薬後画像を、前記医用画像から生成する手順とをコンピュータに実行させる画像生成プログラム。
  15. 　少なくとも１種類の薬について、当該薬の患者への投薬期間、投薬前の第１の画像および前記投薬期間経過後の第２の画像の組み合わせからなる教師データを取得する手順とし、
    　前記教師データを用いて学習を行うことにより、病変を含む患者の医用画像、薬の種類および投薬期間が入力されると、前記薬を前記投薬期間患者に投薬した後の前記病変を表す投薬後画像を出力する学習モデルを構築する手順とをコンピュータに実行させる学習プログラム。
PCT/JP2021/014897 2020-06-04 2021-04-08 画像生成装置、方法およびプログラム、学習装置、方法およびプログラム WO2021246052A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022528464A JP7446423B2 (ja) 2020-06-04 2021-04-08 画像生成装置、方法およびプログラム、学習装置、方法およびプログラム
DE112021003110.4T DE112021003110T5 (de) 2020-06-04 2021-04-08 Bilderzeugungsvorrichtung, bilderzeugungsverfahren,bilderzeugungsprogramm, lernvorrichtung, lernverfahren und lernprogramm
CN202180039095.6A CN115802947A (zh) 2020-06-04 2021-04-08 图像生成装置、方法及程序、学习装置、方法及程序
US18/058,875 US20230089212A1 (en) 2020-06-04 2022-11-28 Image generation device, image generation method, image generation program, learning device, learning method, and learning program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020097900 2020-06-04
JP2020-097900 2020-06-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/058,875 Continuation US20230089212A1 (en) 2020-06-04 2022-11-28 Image generation device, image generation method, image generation program, learning device, learning method, and learning program

Publications (1)

Publication Number Publication Date
WO2021246052A1 true WO2021246052A1 (ja) 2021-12-09

Family

ID=78830828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014897 WO2021246052A1 (ja) 2020-06-04 2021-04-08 画像生成装置、方法およびプログラム、学習装置、方法およびプログラム

Country Status (5)

Country Link
US (1) US20230089212A1 (ja)
JP (1) JP7446423B2 (ja)
CN (1) CN115802947A (ja)
DE (1) DE112021003110T5 (ja)
WO (1) WO2021246052A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071592A (ja) * 2012-09-28 2014-04-21 Fujifilm Corp 投薬効果予測システム及びその制御方法、並びに制御プログラム
JP2018187384A (ja) * 2017-05-09 2018-11-29 キヤノンメディカルシステムズ株式会社 医用情報処理システム及び医用情報処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104303184B (zh) 2012-03-21 2018-05-15 皇家飞利浦有限公司 整合医疗成像和活检数据的临床工作站以及使用其的方法
US11120893B2 (en) 2015-09-16 2021-09-14 Heartflow, Inc. Systems and methods for patient-specific imaging and modeling of drug delivery
KR101929953B1 (ko) 2017-06-27 2018-12-19 고려대학교 산학협력단 환자 맞춤형 진단 보조 정보 제공 시스템, 장치 및 방법
JP6853144B2 (ja) 2017-08-24 2021-03-31 キヤノンメディカルシステムズ株式会社 医用情報処理システム
JP7412069B2 (ja) 2017-10-18 2024-01-12 キヤノンメディカルシステムズ株式会社 病院情報システム、及び画像データ生成プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071592A (ja) * 2012-09-28 2014-04-21 Fujifilm Corp 投薬効果予測システム及びその制御方法、並びに制御プログラム
JP2018187384A (ja) * 2017-05-09 2018-11-29 キヤノンメディカルシステムズ株式会社 医用情報処理システム及び医用情報処理装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KOZAWA SATOSHI, SAGAWA FUMIHIKO, ENDO SATSUKI, DE ALMEIDA GLICIA MARIA, MITSUISHI YUTO, SATO THOMAS N: "Predicting Human Clinical Outcomes Using Mouse Multi-Organ Transcriptome", ISCIENCE, CELL PRESS, US, vol. 23, no. 2, 21 February 2020 (2020-02-21), US , pages 100791 - 100791, XP055880382, ISSN: 2589-0042, DOI: 10.1016/j.isci.2019.100791 *
UEMURA TOMOKI, WATARI CHINATSU, NÄPPI JANNE, HIRONAKA TORU, KIM HYOUGSEOP, YOSHIDA HIROYUKI: "Use of generative adversarial network for survival prediction in patients with interstitial lung diseases", FIT2019 (THE 18TH FORUM ON INFORMATION TECHNOLOGY), 1 January 2019 (2019-01-01), pages 389 - 390, XP055880388, Retrieved from the Internet <URL:https://www.ipsj.or.jp/award/9faeag0000004f4v-att/G-015.pdf> [retrieved on 20220118] *
YU-CHIAO CHIU; HUNG-I HARRY CHEN; TINGHE ZHANG; SONGYAO ZHANG; APARNA GORTHI; LI-JU WANG; YUFEI HUANG; YIDONG CHEN: "Predicting drug response of tumors from integrated genomic profiles by deep neural networks", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 20 May 2018 (2018-05-20), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081234402 *

Also Published As

Publication number Publication date
JP7446423B2 (ja) 2024-03-08
JPWO2021246052A1 (ja) 2021-12-09
CN115802947A (zh) 2023-03-14
US20230089212A1 (en) 2023-03-23
DE112021003110T5 (de) 2023-03-23

Similar Documents

Publication Publication Date Title
Kwon et al. Automatic diagnosis for cysts and tumors of both jaws on panoramic radiographs using a deep convolution neural network
Torosdagli et al. Deep geodesic learning for segmentation and anatomical landmarking
Shaheen et al. A novel deep learning system for multi-class tooth segmentation and classification on cone beam computed tomography. A validation study
US11080895B2 (en) Generating simulated body parts for images
Revilla-León et al. Artificial intelligence applications in restorative dentistry: A systematic review
WO2020186208A1 (en) Systems and methods of computed tomography image reconstruction
JP7018856B2 (ja) 医用画像処理装置、方法およびプログラム
US11420075B2 (en) System and method for reconstructing image volumes from sparse two-dimensional projection data
JP7129869B2 (ja) 疾患領域抽出装置、方法及びプログラム
WO2006119340A2 (en) Dynamic tumor diagnostic and treatment system
Mirabella et al. Treatment planning for a TCPC test case: a numerical investigation under rigid and moving wall assumptions
JP7339270B2 (ja) 医用画像処理装置、方法およびプログラム
WO2021246052A1 (ja) 画像生成装置、方法およびプログラム、学習装置、方法およびプログラム
KR102647652B1 (ko) 두경부 이미지 구획화 방법 및 장치
Proniewska et al. Advanced imaging in interventional cardiology: mixed reality to optimize preprocedural planning and intraprocedural monitoring
JP7098498B2 (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
JP7083427B2 (ja) 修正指示領域表示装置、方法およびプログラム
CN113143305A (zh) 提供血管畸形的血流参数组
JPWO2020090445A1 (ja) 領域修正装置、方法およびプログラム
WO2020262681A1 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
US11816768B1 (en) System and method for medical imaging
WO2022064926A1 (ja) 治療支援装置、治療支援方法および治療支援プログラム
JP7170850B2 (ja) 疑似アンギオ画像生成装置、方法およびプログラム
JP7170897B2 (ja) 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、並びに画像生成モデル
WO2022270150A1 (ja) 画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21818865

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022528464

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21818865

Country of ref document: EP

Kind code of ref document: A1