WO2022138278A1 - 医用画像処理方法、医用画像処理プログラム、医用画像処理装置、及び学習方法 - Google Patents

医用画像処理方法、医用画像処理プログラム、医用画像処理装置、及び学習方法 Download PDF

Info

Publication number
WO2022138278A1
WO2022138278A1 PCT/JP2021/045791 JP2021045791W WO2022138278A1 WO 2022138278 A1 WO2022138278 A1 WO 2022138278A1 JP 2021045791 W JP2021045791 W JP 2021045791W WO 2022138278 A1 WO2022138278 A1 WO 2022138278A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
image
posture
image processing
medical
Prior art date
Application number
PCT/JP2021/045791
Other languages
English (en)
French (fr)
Inventor
祐太 日朝
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022572166A priority Critical patent/JPWO2022138278A1/ja
Publication of WO2022138278A1 publication Critical patent/WO2022138278A1/ja
Priority to US18/338,350 priority patent/US20230342882A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Definitions

  • the present invention relates to a technique for performing domain conversion of a medical image.
  • medical images taken in another domain are simulated from medical images actually taken in one domain (modality, etc.), and the generated images are generated. It is used for various purposes (for example, utilization of label data attached to medical images, use as images for machine learning, observation and diagnosis of lesions, etc.).
  • Patent Document 1 a virtual fluoroscopic image is generated based on three-dimensional volume data reconstructed from a tomographic image acquired by a CT device (CT: Computed Tomography), and the generated image is used as data for machine learning. It is described to be used. Further, Non-Patent Document 1 describes that a pseudo X-ray image generated from a CT image is converted like an actual X-ray image, and an organ is extracted (labeled) from the converted image.
  • CT Computed Tomography
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a medical image processing method, a medical image processing program, a medical image processing apparatus, and a learning method capable of reducing domain shift. ..
  • the medical image processing method is a medical image processing method executed by a medical image processing apparatus including a processor, in which the processor is in the first posture.
  • the reception process that accepts the input of the first medical image actually taken, and the second, in which the same part as the first medical image is taken from the first medical image in a second posture different from the first posture.
  • An image generation step of pseudo-generating a medical image which is an image generation step of generating a second medical image using a deformation vector field that converts the first medical image into a second medical image. do.
  • the domain shift is reduced by generating a second medical image from the first medical image using a deformation vector field instead of directly converting the medical images. can do.
  • the "transformation vector field” is the displacement (transformation of the image) from each voxel (or pixel; the same applies hereinafter) of the first medical image to each voxel of the second medical image. It is a collection of shown vectors.
  • the term "identical” includes not only the case where the parts are completely the same but also the case where at least a part of the parts is common.
  • the medical image processing method is the first aspect, in the image generation step, the processor is a generator that outputs a deformation vector field when the first medical image is input, and is learned by machine learning. A deformation vector field is generated using the generator.
  • the second aspect defines one aspect of the generator construction method, and in machine learning, learning can be performed using the first medical image as training data to construct the generator. Machine learning includes deep learning. Further, in the second aspect, the generator constructed by the learning method (described later) according to the thirteenth to seventeenth aspects may be used.
  • the medical image processing method is the first or second aspect, in the image generation step, the processor applies a deformation vector field to the first medical image to generate a second medical image.
  • the medical image processing method is one of the first to third aspects, and in the image generation step, the processor sets the resolution of the first medical image to a lower resolution than the resolution before conversion.
  • a deformation vector field is generated from the first medical image that has been converted and converted to a low resolution, the resolution of the generated deformation vector field is converted to a higher resolution than the resolution before conversion, and the deformation vector field converted to a high resolution is obtained. It is applied to the first medical image to generate a high resolution second medical image.
  • a deformation vector field is generated from the first medical image converted to a low resolution, and the deformation vector field is converted to a high resolution to avoid difficulty and have a high resolution.
  • a second medical image can be generated. The degree of resolution conversion can be determined according to the processing load and the final required resolution of the medical image.
  • the medical image processing method is one of the first to fourth aspects, and the processor accepts a CT image in which the recumbent position is the first posture as the first medical image in the reception process.
  • a CT image having a standing position as a second posture is generated as a second medical image.
  • the fifth aspect defines one aspect of the first and second postures and the first and second medical images.
  • the medical image processing method is one of the first to fifth aspects, wherein the processor uses a modality different from that of the second medical image to generate a pseudo-generated second medical image. Further, the modality conversion step of pseudo-converting to the medical image of 3 is executed. Modality conversion can be performed, for example, from a CT image to an X-ray image and vice versa.
  • the medical image processing method is the sixth aspect, in the modality conversion step, the processor generates an X-ray fluoroscopic image in the second posture as a third medical image.
  • the medical image processing method is one of the first to seventh aspects, and in the image generation step, the processor uses the deformation vector field to correspond to the first medical image.
  • the label data of the above is converted into the second label data corresponding to the second medical image.
  • the deformation vector field can be used to convert the label data in addition to the generation of the second medical image.
  • the label data is, for example, a segmentation label (label attached to an organ).
  • the medical image processing method is one of the first to eighth aspects, and the processor sets one of the standing posture and the lying posture as the first posture in the reception process.
  • the T1-weighted MR image and the T2-weighted MR image are accepted as the first medical image, and the T1-weighted MR image and the T2-weighted image in which the other posture of the standing posture and the lying posture is used as the second posture in the image generation step.
  • a pseudo MR image is generated.
  • the ninth aspect defines the conversion between MR images having different postures.
  • the MR image is an image acquired by an MR (Magnetic Resonance) device.
  • the medical image processing method is the first to eighth aspects, in which the processor first obtains a chest CT image in which one of the expiratory posture and the inspiratory posture is the first posture in the reception process.
  • a chest CT image in which the other posture of the expiratory posture and the inspiratory posture is the second posture is simulated.
  • the tenth aspect defines the conversion between chest CT images having different postures in view of changes in the shape of the lungs between the expiratory posture and the inspiratory posture.
  • the medical image processing program is a medical image processing program that causes the processor of the medical image processing apparatus to execute each step of the medical image processing method, and causes the processor to execute each step.
  • the reception process that accepts the input of the first medical image actually taken in the first posture, and the first medical image is the same as the first medical image in the second posture different from the first posture.
  • It is an image generation step of pseudo-generating a second medical image in which a part is photographed, and a second medical image is generated by using a deformation vector field that converts the first medical image into a second medical image.
  • the image generation process is executed.
  • the domain shift can be reduced as in the first aspect.
  • the medical image processing method executed by the medical image processing program according to the present invention may have the same configurations as those of the second to tenth. Further, a non-temporary recording medium in which a computer-readable code of the above-mentioned medical image processing program is recorded can also be mentioned as an embodiment of the present invention.
  • the medical image processing apparatus is a medical image processing apparatus including a processor, and the processor is actually photographed in the first posture.
  • a reception process that accepts the input of a medical image and a second medical image in which the same part as the first medical image is photographed in a second posture different from the first posture is simulated from the first medical image.
  • This is an image generation process for generating a second medical image by using a deformation vector field that converts the first medical image into a second medical image.
  • the domain shift can be reduced as in the first and twelfth aspects.
  • the medical image processing apparatus may have the same configuration as the second to tenth.
  • the learning method of the medical image processing apparatus accepts the input of the first medical image actually taken in the first posture and receives the input of the first medical image. It is a generation unit that pseudo-generates a second medical image obtained by photographing the same part as the first medical image in a second posture different from the first posture from the medical image, and obtains the first medical image.
  • a generator that generates a second medical image using a transformation vector field that transforms it into a second medical image, a second medical image, and an actual site that is the same as the first medical image in the second posture.
  • a medical image processing apparatus including a fourth medical image taken and an identification unit that receives input and identifies whether the input medical image is a second medical image or a fourth medical image.
  • This is a learning method of the generation unit, in which the generation unit updates the generation parameters used to generate the deformation vector field so that the identification error of the identification unit is maximized while maintaining the parameters of the identification unit without updating. It has a step and a discriminating unit learning step of updating the parameters of the discriminating unit so that the discriminating error of the discriminating unit is minimized while maintaining the generation parameters of the generating unit without updating.
  • the thirteenth aspect defines a learning method (machine learning method) for generating a deformation vector field, and in each of the above-described aspects of the present invention, the deformation vector field generated by this method can be used. can.
  • the learning method smoothes the generated deformation vector field by inputting the first medical image into the generation unit and limiting the generation parameters in the generation unit learning step. Has a step to make.
  • a smooth second medical image can be generated.
  • the "constraint" may be, for example, a constraint on changes in the direction or magnitude of adjacent deformation vectors.
  • the learning method according to the fifteenth aspect is in the thirteenth or fourteenth aspect, in the generation unit learning step and the identification unit learning step, the first medical image is input to the generation unit and the fourth medical image is used as the identification unit. It is done by inputting.
  • the fifteenth aspect defines one aspect of the medical image used for learning.
  • the learning method according to the sixteenth aspect is the fifteenth aspect, in which the first medical image and the fourth medical image are medical images about the same site of different subjects. In general, it is rare to acquire images having different postures for the same part of the same subject, and the sixteenth aspect defines a learning method in such a case.
  • the learning method according to the 17th aspect is any one of the 13th to 16th aspects, and the generation unit and the identification unit are configured by a neural network.
  • the seventeenth aspect defines one aspect of the generation unit and the identification unit.
  • a program (learning program) for causing a medical image processing apparatus to execute the learning method according to the thirteenth to seventeenth aspects, and a non-temporary recording medium on which a computer-readable code of the program is recorded are also one of the present inventions. It can be mentioned as an embodiment.
  • the domain shift can be reduced.
  • FIG. 1 is a diagram showing a schematic configuration of a medical image processing apparatus according to a first embodiment.
  • FIG. 2 is a diagram schematically showing a deformation vector field.
  • FIG. 3 is a diagram showing a state of the generation unit learning process.
  • FIG. 4 is a diagram schematically showing a three-dimensional CT image of a standing position and a lying position.
  • FIG. 5 is a diagram showing a state of the identification unit learning process.
  • FIG. 6 is a diagram showing a state of conversion of a medical image using a deformation vector field.
  • FIG. 7 is a diagram schematically showing label data corresponding to a three-dimensional CT image.
  • FIG. 8 is a diagram showing conversion of label data using a deformation vector field.
  • FIG. 1 is a diagram showing a schematic configuration of a medical image processing apparatus according to a first embodiment.
  • FIG. 2 is a diagram schematically showing a deformation vector field.
  • FIG. 3 is a diagram showing a state of the generation unit
  • FIG. 9 is a diagram showing a schematic configuration of the medical image processing apparatus according to the second embodiment.
  • FIG. 10 is a diagram schematically showing an X-ray fluoroscopic image.
  • FIG. 11 is a diagram showing a state of learning (execution of the learning method) in the second embodiment.
  • FIG. 12 is a diagram showing a schematic configuration of a medical image processing apparatus according to a third embodiment.
  • FIG. 13 is a diagram showing how a high-resolution CT image is converted to a low-resolution image.
  • FIG. 14 is a diagram showing a state of learning using a low-resolution CT image.
  • FIG. 15 is a diagram showing how the resolution of the deformation vector field is converted.
  • FIG. 16 is a diagram showing how a medical image is converted using a deformation vector field converted to high resolution.
  • FIG. 17 is a diagram showing a modified example of the configuration of the medical image processing apparatus.
  • FIG. 1 is a diagram showing a schematic configuration of a medical image processing device 10 (medical image processing device) according to the first embodiment.
  • the medical image processing device 10 includes an image processing unit 100 (generation unit, identification unit, deformation vector field, learning control unit, projection unit, processor), a storage device 200, a display device 300, an operation unit 400, and a communication unit 500.
  • the connection between these components may be wired or wireless. Further, these components may be housed in a single housing or may be housed separately in a plurality of housings.
  • the image processing unit 100 includes a generation unit 110 (generation unit), a classifier 120 (discrimination unit), and a learning control unit 130.
  • the generator 110 includes a generator 112 (generator), a deformation vector field 114 (transformation vector field), and a converter 116.
  • the generator 112 is a network that receives an input of a medical image (first medical image) and generates a deformation vector field, and can be configured by using a neural network such as U-Net used in pix2pix, for example. .. Further, a ResNet (Deep Residual Network) -based neural network can also be used (see Non-Patent Document 2). As long as it is a network structure used in the field of super-resolution, it can be basically applied to the present invention.
  • the deformation vector field 114 indicates a three-dimensional vector (direction of deformation and amount of deformation) that transforms each voxel of the input medical image (in the case of a three-dimensional image) into each voxel of the output medical image. It is a set of vectors).
  • FIG. 2 is a diagram schematically showing a deformation vector. Part (a) of FIG.
  • the deformation vector field is a set of two-dimensional vectors (vectors indicating the direction and amount of deformation) that transform each pixel of the input medical image into each pixel of the output medical image. be.
  • the converter 116 applies the deformation vector field 114 to the input medical image (first medical image taken in the first posture) to apply the second medical image (second different from the first posture).
  • a pseudo generation (medical image obtained by photographing the same portion as the first medical image) in the posture (image generation processing, image generation step) is performed.
  • the term "identical” is not limited to the case where the first medical image and the second medical image are completely the same, but also includes the case where at least a part of the parts are common (the same). Same for each of the following aspects).
  • the input medical image (second medical image, fourth medical image) is a medical image actually taken (fourth medical image), or the generation unit 110 determines. Identify whether it is a pseudo-generated medical image (second medical image). Similar to the generator 112 described above, the patch classifier used in pix2pix can be used as the classifier 120.
  • the learning control unit 130 updates the parameters of the generator 112 and the classifier 120 based on the discrimination result of the classifier 120 (generation unit learning step, discriminating unit learning process). That is, the generator 112 and the classifier 120 are learned (configured) by machine learning. The details of the parameter update (each step of the learning method) of the generator 112 and the classifier 120 will be described later.
  • the above-mentioned function of the image processing unit 100 can be realized by using various processors and recording media.
  • Various processors include, for example, a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) to realize various functions, and a GPU (Graphics Processing Unit), which is a processor specialized in image processing. It also includes a programmable logic device (PLD), which is a processor whose circuit configuration can be changed after manufacturing such as an FPGA (Field Programmable Gate Array).
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • PLD programmable logic device
  • Each function may be realized by one processor, or may be realized by a plurality of processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, a plurality of functions may be realized by one processor. More specifically, the hardware-like structure of these various processors is an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the processor or electric circuit executes software (program), it can be read by a computer of the software (for example, various processors and electric circuits constituting the image processing unit 100, and / or a combination thereof).
  • the code is stored in a non-temporary recording medium (memory) such as a flash memory or ROM (Read Only Memory), and the computer refers to the software.
  • the program to be executed includes a program (medical image processing program, learning program) for executing the method (medical image processing method, learning method) according to one aspect of the present invention.
  • the software is executed, the information (medical image or the like) stored in the storage device 200 is used as needed. Further, at the time of execution, for example, RAM (RandomAccessMemory) is used as a temporary storage area.
  • the image processing unit 100 may include a display control unit and an image acquisition unit (not shown) in addition to the above components.
  • the storage device 20 is composed of various optical magnetic recording media, semiconductor memories, and their control units, and includes an actually photographed medical image, a pseudo-generated medical image (first to fourth medical images), and the above-mentioned.
  • the software (program) executed by the processor is stored.
  • the display device 300 is composed of a device such as a liquid crystal monitor and can display data such as a medical image.
  • the operation unit 400 is composed of a mouse, a keyboard, or the like (not shown), and the user can give instructions necessary for executing the medical image processing method and the learning method via the operation unit 400.
  • the user can give an instruction through the screen displayed on the display device 300.
  • the display device 300 may be configured by a touch panel type monitor, and the user may give an instruction via the touch panel.
  • the communication unit 500 can acquire medical images and other information from other systems connected via a network.
  • the learning is divided into a generator learning step of updating the parameter (generation parameter) of the generator 112 and a discriminator learning step of updating the parameter of the discriminator 120.
  • FIG. 3 is a diagram showing a state of the generation unit learning process.
  • the generator 112 (generation unit 110, processor) accepts the input of the first medical image (medical image for learning) actually taken in the first posture (reception process, reception process).
  • a CT image actual CT image 700 in the recumbent position obtained by actually taking a part (for example, the chest) of the subject in the recumbent position (an example of the “first posture”) is referred to as a “first medical image”.
  • the "lying position” may be the supine position or the prone position.
  • the generator 112 When the generator 112 inputs the first medical image, the deformation vector field 114 is output, and the converter 116 (generation unit 110, processor) outputs the deformation vector field 114 to the recumbent real CT image 700 (first medical image).
  • a standing pseudo CT image 710 second medical image in which the same part as the lying actual CT image 700 is taken in a standing position (an example of "a second posture different from the first posture") is obtained.
  • Pseudo generation image generation process, image generation process.
  • the generated medical image may have randomness (the same applies to each of the following embodiments).
  • FIG. 4 is a diagram schematically showing a three-dimensional CT image of a standing position and a lying position.
  • the part (a) in FIG. 4 shows the CT image 600 in the standing position
  • the part (b) in the figure shows the CT image 610 in the lying position.
  • the cross sections 600S, 600C, and 600A are cross sections in the sagittal direction, the coronal direction, and the axial direction, respectively.
  • the cross sections 610S, 610C, and 610A are cross sections in the sagittal direction, the coronal direction, and the axial direction, respectively.
  • the classifier 120 (discriminator, discriminator) stands at the same site as the pseudo-generated standing pseudo CT image 710 and the recumbent actual CT image 700 (first medical image) (second posture). ) Accepts the input of the standing actual CT image 720 (fourth medical image) which is the medical image actually taken, and the input medical image is the standing pseudo CT image 710 (second medical image). It identifies whether it is a standing real CT image 720 (fourth medical image). For example, the classifier 120 outputs the probability that the input medical image is a standing pseudo CT image 710 and / or the probability that the input medical image is a standing actual CT image 720 (one aspect of the discrimination result).
  • the recumbent actual CT image 700 (first medical image) and the standing actual CT image 720 (fourth medical image) are not medical images for the same subject, but are for the same part of different subjects. It may be a medical image. This is because, in general, it is rare to actually acquire images having different postures for the same part of the same subject. According to this embodiment, learning can be performed even when the subject is different between the lying actual CT image 700 and the standing actual CT image 720.
  • the learning control unit 130 deforms the generation parameter (generator 112 is modified so that the discrimination error of the classifier 120 is maximized while maintaining the parameter of the classifier 120 without updating based on the discrimination result.
  • the parameter used to generate the vector field 114) is updated (generation unit learning process). The fact that the input to the classifier 120 is shown by the dotted line in FIG. 3 indicates that the parameters of the classifier 120 are maintained without being updated.
  • FIG. 5 is a diagram showing a state of the identification unit learning process. Also in the identification unit learning step, similarly to the generation unit learning step described above, a standing pseudo CT image 710 (second medical image) is simulated (image generation step, image generation processing), and the classifier 120 is used. , Identify whether the input medical image is a standing pseudo CT image 710 or a standing real CT image 720. Based on the discrimination result, the learning control unit 130 (processor) updates the parameters of the classifier 120 so that the discrimination error of the classifier 120 is minimized while maintaining the generation parameters of the generator 112 without updating. (Identification unit learning process). The fact that the input to the generator 112 is shown by the dotted line in FIG. 5 indicates that the parameters of the generator 112 are maintained without being updated.
  • the above-mentioned learning may be completed when the generation unit learning process and the identification unit learning process are performed a predetermined number of times, or may be completed when the fluctuations of the parameters of the generator 112 and the identification unit 120 have converged.
  • the learning control unit 130 may alternately (sequentially) perform the generation unit learning process and the identification unit learning process, or may repeat it in batch units or mini-batch units.
  • the image processing unit 100 may display the learning process (for example, the state of parameter change) on the display device 300.
  • the image processing unit 100 inputs a recumbent actual CT image (first medical image) to the generator 112 and imposes a constraint on the generation parameter to generate a deformation.
  • the vector field may be smoothed (smoothing step).
  • FIG. 6 is a diagram showing a state of conversion of a medical image using a deformation vector field.
  • the converter 116 applies the deformation vector field 114 to the lying-position real CT image 700A (first medical image), and the standing pseudo CT image 710A. (Second medical image) is generated.
  • the image processing unit 100 displays the input recumbent actual CT image 700A and / or the standing pseudo CT image 710A on the display device 300 (according to the user's operation via the operation unit 400 or automatically). It may be stored in the storage device 200.
  • the label data in one posture can be converted into the label data in different postures by using the deformation vector field 114 generated by the learning method described above.
  • the label data corresponds to the medical image 900 (three-dimensional CT image in the example of FIG. 7) acquired in a certain posture (for example, the recumbent position) for each organ (FIG. 7).
  • lung 900A and heart 900B) are data labeled with segmentation.
  • the image processing unit 100 has the lying position CT label data 702 (first) corresponding to the lying actual CT image 700 (first medical image).
  • the deformation vector field 114 is applied to the label data) to generate the standing CT label data 704 (second label data) corresponding to the standing pseudo CT image 710 (second medical image).
  • the image processing unit 100 inputs the input recumbent CT label data 702 and / or the standing CT label data 704 to the medical image and the agitation (according to the user's operation via the operation unit 400 or automatically). It may be displayed on the display device 300 or stored in the storage device 200.
  • the standing medical image (standing pseudo CT image) is generated from the lying medical image (lying actual CT image 700), but the input medical image and the generated medical image are generated.
  • the relationship of posture is not limited to such an aspect.
  • a recumbent image may be generated from a standing image.
  • the image to be used may be an X-ray image or an MR image.
  • the image processing unit 100 first sets a T1-weighted MR image and a T2-weighted MR image in which one of the standing posture and the lying posture is the first posture.
  • a T1-weighted MR image and a T2-weighted MR image in which the other posture of the standing posture and the lying posture is used as the second posture may be generated in a pseudo manner.
  • the image processing unit 100 receives a chest CT image in which one of the expiratory posture and the inspiratory posture is the first posture as the first posture, and generates an image.
  • a chest CT image in which the other posture of the expiratory posture and the inspiratory posture is set as the second posture may be generated in a pseudo manner.
  • the part to be photographed in the medical image is not particularly limited.
  • the medical image is not limited to the three-dimensional image as in the above-described embodiment, and may be a two-dimensional image such as an X-ray fluoroscopic image.
  • a two-dimensional deformation vector field is used correspondingly.
  • FIG. 9 is a diagram showing a schematic configuration of the medical image processing device 11 according to the second embodiment, and the medical image processing device 11 includes a projection unit 140.
  • the medical image processing method, the medical image processing apparatus, and the medical image processing program according to the present invention even if the medical image acquired by a certain modality is pseudo-converted into a medical image by a different modality (execution of the modality conversion step).
  • the projection unit 140 pseudo-converts a CT image (second medical image) into an X-ray fluoroscopic image (third medical image). That is, the generation of an X-ray fluoroscopic image (two-dimensional image) by projecting a CT image (three-dimensional volume data) is an aspect of modality conversion, and the X-ray fluoroscopic image is an aspect of a third medical image.
  • FIG. 10 is a diagram schematically showing an X-ray fluoroscopic image 750.
  • FIG. 11 is a diagram showing a state of learning (execution of a learning method) in the second embodiment.
  • the projection unit 140 pseudo-converts the standing pseudo CT image 710 (second medical image) to generate the standing pseudo X-ray image 730 (third medical image) (modality). Conversion process, modality conversion process).
  • the discriminator 120 discriminator, discriminator
  • the input of the standing real X-ray image 740 (fourth medical image), which is the medical image actually taken in the posture of 2), is accepted, and the input medical image is the standing pseudo X-ray image 730 (second medical image).
  • the classifier 120 outputs the probability that the input medical image is a standing pseudo X-ray image 730 and / or the probability that the input medical image is a standing real X-ray image 740 (one aspect of the discrimination result).
  • the learning control unit 130 updates the parameters of the generator 112 and the parameters of the classifier 120 based on the discrimination result (generation unit learning step, discrimination unit learning process). As described above for the first embodiment, the learning control unit 130 (processor) maintains one of the parameter of the generator 112 and the parameter of the classifier 120 without updating, and updates the other. conduct. In addition, in FIG. 11, for convenience, one of the parameters is maintained without being updated, and the generation unit learning process and the identification unit learning process are described together in one figure, but in reality, the first embodiment is described. The parameters are updated as a separate step in the same manner as in (see FIGS. 4 and 5).
  • the domain shift can be reduced by using the deformation vector field as in the first embodiment.
  • the conversion of the medical image at the time of actual operation (at the time of inference), the conversion of the label data, the variation of the medical image, etc. are performed in the same manner as described above for the first embodiment. Can be done.
  • the modality may be converted in the same manner as in the first embodiment.
  • Non-Patent Document 3 "Conditional Image Synthesis with Auxiliary Classifier GANs", Augustus Odena et al., [Searched on December 8, 2020], Internet (https://arxiv.org/abs/1610.09585)
  • Non-Patent Document 4 "Progressive Growing of GANs for Improved Quality, Stability, and Variation", ICLR 2018, Tero Karras et al., [Searched on December 8, 2020], Internet (https://arxiv.org/abs/ 1710.10196) From this point of view, in the third embodiment, learning is performed after the resolution of the medical image before conversion is converted.
  • the medical image processing device 12 is a diagram showing a schematic configuration of the medical image processing device 12 (medical image processing device) according to the third embodiment, and the medical image processing device 12 includes a resolution conversion unit 150 (processor). Since the components of the medical image processing device 12 other than the projection unit 140 are the same as those of the medical image processing device 10 in the first embodiment, detailed description thereof will be omitted.
  • a high-resolution lying-position real CT image 760 (first medical image) is converted into a low-resolution lying-position real CT by the resolution conversion unit 150. It is converted into an image 770 (first medical image) (image generation step, resolution conversion step). That is, the resolution of the low-resolution lying-position real CT image 770 is lower than the resolution of the high-resolution lying-position real CT image 760, which is the image before conversion.
  • the resolution conversion unit 150 can convert the resolution by thinning out or averaging voxels or pixels. Then, as shown in FIG.
  • this low-resolution lying-down real CT image is input to the generator 112, and a low-resolution deformation vector field 117A (deformation vector field) is generated by machine learning.
  • the learning procedure is the same as that described above for the first and second embodiments, and the generator learning step for updating the parameters of the generator 112 and the discriminator learning step for updating the parameters of the classifier 120. conduct.
  • the classifier 120 includes a low-resolution standing pseudo CT image 780 (second medical image) pseudo-generated by the generation unit 110 and a low-resolution standing real CT image 790 (fourth medical image). Is entered.
  • the resolution conversion unit 150 generates a high-resolution deformation vector field 117B (transformation vector field) from the low-resolution deformation vector field 117A generated by such learning by interpolation, enlargement, or the like (image). Generation process, resolution conversion process). That is, the resolution of the high-resolution deformation vector field 117B is higher than that of the low-resolution deformation vector field 117A, which is the deformation vector field before conversion.
  • the converter 116 applies the high-resolution deformation vector field 117B thus obtained to the high-resolution lying-down real CT image 760, and applies the high-resolution standing pseudo CT image 800. (Second medical image) is generated (image generation step). According to the third embodiment, by performing such resolution conversion, it is possible to generate a highly accurate image while avoiding problems in learning.
  • the resolution may be converted according to the progress of learning. For example, in the initial stage of learning, a high-resolution medical image may be converted to a low resolution and used for learning, and as the learning progresses, the resolution of the medical image used for learning may be increased.
  • the resolution of the original medical image to be converted and the lower resolution can be determined in consideration of the purpose of use of the medical image, the processing load, and the like. ..
  • the image processing unit 100 may accept the setting of the resolution conversion condition by the user via the operation unit 400 or the like, and perform the above-mentioned processing based on the accepted condition.
  • the conversion of the medical image at the time of actual operation (at the time of inference), the conversion of the label data, the variation of the medical image, etc. are performed in the same manner as described above for the first embodiment. Can be done.
  • the modality may be converted in the same manner as in the first embodiment.
  • FIG. 17 is a diagram showing a modified example of the configuration of the medical image processing device, and the medical image processing device 13 (medical image processing device) is a recumbent actual CT image 700A (first medical image) to a generator 110A (generator).
  • a standing pseudo CT image 710A (second medical image) is pseudo-generated by 112A, a deformation vector field 115A, a converter 116A; a processor). Then, the standing pseudo CT image 710A and the standing actual CT image 710B are input to the classifier 120A to calculate the discrimination error.
  • the learning control unit 130A (processor) updates the parameters of the generator 112A and the discriminator 120A based on the calculated discrimination error in the same manner as described above for the first embodiment (generation unit learning step, discriminating unit learning). Process).
  • the generator 110B generator 112B, deformation vector field 115B, converter 116B; processor. Is generated in a pseudo manner. Then, the recumbent pseudo CT image 700B and the recumbent actual CT image 700A (fourth medical image) are input to the classifier 120B to calculate the discrimination error.
  • the learning control unit 130B updates the parameters of the generator 112B and the classifier 120B based on the calculated discrimination error in the same manner as described above for the first embodiment (generation unit learning step, discriminating unit learning). Process).
  • the standing pseudo CT image 710A may be input instead of the standing actual CT image 710B.
  • the recumbent pseudo CT image 700B may be input instead of the recumbent actual CT image 700A.
  • the lying real CT image 700A and the lying pseudo CT image 700B constitute the lying CT image domain 701A
  • the standing pseudo CT image 710A and the standing actual CT image 710B constitute the standing CT image domain 701B.
  • noise components may be input to the generators 112A and 112B.
  • the conversion of the medical image at the time of actual operation (at the time of inference), the conversion of the label data, the variation of the medical image, and the conversion of the modality are performed in the same manner as in the first to third embodiments described above. You may go.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本発明の一つの実施形態は、ドメインシフトを低減することができる医用画像処理方法、医用画像処理プログラム、医用画像処理装置、及び医用画像処理装置の学習方法を提供する。本発明の一態様に係る医用画像処理方法は、プロセッサを備える医用画像処理装置により実行される医用画像処理方法であって、プロセッサが、第１の姿勢で実際に撮影した第１の医用画像の入力を受け付ける受付工程と、第１の医用画像から、第１の姿勢と異なる第２の姿勢で第１の医用画像と同一の部位を撮影した第２の医用画像を擬似的に生成する画像生成工程であって、第１の医用画像を第２の医用画像に変換する変形ベクトル場を用いて第２の医用画像を生成する画像生成工程と、を実行する。

Description

医用画像処理方法、医用画像処理プログラム、医用画像処理装置、及び学習方法
　本発明は、医用画像のドメイン変換を行う技術に関する。
　医用画像（医療画像という場合もある）を扱う分野では、あるドメイン（モダリティ等）で実際に撮影された医用画像から他のドメインで撮影された医用画像を疑似的に生成し、生成した画像を各種の目的（例えば、医用画像に付随するラベルデータの活用、機械学習用画像としての利用、病変の観察や診断等）に利用することが行われている。
　例えば特許文献１には、ＣＴ装置（ＣＴ：Computed Tomography）で取得した断層像から再構成した３次元ボリュームデータに基づいて仮想的な透視画像を生成し、生成した画像を機械学習用のデータとして用いることが記載されている。また非特許文献１には、ＣＴ画像から生成した疑似Ｘ線画像を実際のＸ線画像のように変換し、変換した画像から臓器を抽出する（ラベル付けする）ことが記載されている。
特開２０１９－１９８３７６号公報
"Task driven generative modeling for unsupervised domain adaptation: Application to x-ray image segmentation.", MICCAI 2018, Zhang, Yue他、［2020年12月8日検索］、インターネット （https://arxiv.org/abs/1806.07201）
　医用画像をドメイン変換することで、元の画像に対するアノーテーションデータを他の画像で活用する、変換した画像を機械学習用のデータとして利用する、等が可能となるが、取得される医用画像の数はドメインにより大きな差があり、撮影の際の被検体の姿勢が決まっていることも多い。このような状況において、姿勢の異なる医用画像を単純に変換しても、ドメインシフトが生じてしまう。例えば、上述の特許文献１では脂肪量や筋肉量に応じた単純な変換テーブルを用いて姿勢の変換を行っており、ドメインシフトを十分に低減することができない。また、非特許文献１では、ＣＴ画像から生成される疑似Ｘ線画像は仰臥位の姿勢であり、変換後のＸ線画像は立位での画像なので、姿勢によるドメインシフトが生じてしまう。
　このように、従来の技術では医用画像のドメイン変換においてドメインシフトを低減することが困難であった。
　本発明はこのような事情に鑑みて成されたもので、ドメインシフトを低減することができる医用画像処理方法、医用画像処理プログラム、医用画像処理装置、及び学習方法を提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る医用画像処理方法は、プロセッサを備える医用画像処理装置により実行される医用画像処理方法であって、プロセッサが、第１の姿勢で実際に撮影した第１の医用画像の入力を受け付ける受付工程と、第１の医用画像から、第１の姿勢と異なる第２の姿勢で第１の医用画像と同一の部位を撮影した第２の医用画像を疑似的に生成する画像生成工程であって、第１の医用画像を第２の医用画像に変換する変形ベクトル場を用いて第２の医用画像を生成する画像生成工程と、を実行する。第１の態様に係る医用画像処理方法では、医用画像同士を直接変換するのではなく、第１の医用画像から変形ベクトル場を用いて第２の医用画像を生成することにより、ドメインシフトを低減することができる。
　第１の態様及び以下の各態様において、「変形ベクトル場」は第１の医用画像の各ボクセル（あるいはピクセル；以下同じ）から第２の医用画像の各ボクセルへの変位（画像の変形）を示すベクトルの集まりである。なお、部位が「同一」とは、部位が完全に同一である場合だけでなく、部位の少なくとも一部が共通である場合をも含む。
　第２の態様に係る医用画像処理方法は第１の態様において、画像生成工程において、プロセッサは、第１の医用画像を入力すると変形ベクトル場を出力する生成器であって、機械学習により学習された生成器を用いて変形ベクトル場を生成する。第２の態様は生成器構築手法の一態様を規定するもので、機械学習においては、学習データとしての第１の医用画像を用いて学習を行いて生成器を構築することができる。機械学習には深層学習が含まれる。また、第２の態様において、第１３から第１７の態様に係る学習方法（後述）により構築された生成器を用いてもよい。
　第３の態様に係る医用画像処理方法は第１または第２の態様において、画像生成工程において、プロセッサは、第１の医用画像に変形ベクトル場を適用して第２の医用画像を生成する。
　第４の態様に係る医用画像処理方法は第１から第３の態様のいずれか１つにおいて、画像生成工程において、プロセッサは、第１の医用画像の解像度を変換前の解像度よりも低解像度に変換し、低解像度に変換した第１の医用画像から変形ベクトル場を生成し、生成した変形ベクトル場の解像度を変換前の解像度よりも高解像度に変換し、高解像度に変換した変形ベクトル場を第１の医用画像に適用して、高解像度な第２の医用画像を生成する。
　第１の医用画像が高解像度なままで第２の医用画像を生成しようとすると、変形ベクトル場の生成が困難な場合がある。このような場合でも、第４の態様では低解像度に変換した第１の医用画像から変形ベクトル場を生成し、この変形ベクトル場を高解像度に変換することで、困難さを回避して高解像度な第２の医用画像を生成することができる。どの程度の解像度変換を行うかは、処理の負荷や、最終的に必要な医用画像の解像度に応じて決めることができる。
　第５の態様に係る医用画像処理方法は第１から第４の態様のいずれか１つにおいて、プロセッサは、受付工程では臥位を第１の姿勢とするＣＴ画像を第１の医用画像として受け付け、画像生成工程では、第２の医用画像として立位を第２の姿勢とするＣＴ画像を生成する。第５の態様は、第１，第２の姿勢、及び第１，第２の医用画像の一態様を規定するものである。
　第６の態様に係る医用画像処理方法は第１から第５の態様のいずれか１つにおいて、プロセッサは、疑似的に生成した第２の医用画像を第２の医用画像とは異なるモダリティによる第３の医用画像に疑似的に変換するモダリティ変換工程をさらに実行する。モダリティの変換は、例えばＣＴ画像からＸ線画像へ、あるいはその逆について行うことができる。
　第７の態様に係る医用画像処理方法は第６の態様において、モダリティ変換工程において、プロセッサは、第２の姿勢におけるＸ線透視画像を第３の医用画像として生成する。
　第８の態様に係る医用画像処理方法は第１から第７の態様のいずれか１つにおいて、画像生成工程において、プロセッサは、変形ベクトル場を用いて、第１の医用画像に対応する第１のラベルデータを第２の医用画像に対応する第２のラベルデータに変換する。第８の態様によれば、変形ベクトル場を用いて、第２の医用画像の生成に加えてラベルデータの変換を行うことができる。ラベルデータは、例えばセグメンテーションラベル（臓器に付されたラベル）である。
　第９の態様に係る医用画像処理方法は第１から第８の態様のいずれか１つにおいて、プロセッサは、受付工程において、立位姿勢と臥位姿勢のうち一方の姿勢を第１の姿勢としたＴ１強調ＭＲ画像及びＴ２強調ＭＲ画像を第１の医用画像として受け付け、画像生成工程において、立位姿勢と臥位姿勢のうち他方の姿勢を第２の姿勢としたＴ１強調ＭＲ画像及びＴ２強調ＭＲ画像を疑似的に生成する。第９の態様は、姿勢の異なるＭＲ画像間の変換を規定するものである。ＭＲ画像は、ＭＲ（Magnetic Resonance）装置により取得された画像である。
　第１０の態様に係る医用画像処理方法は第１から第８の態様において、プロセッサは、受付工程において、呼気姿勢と吸気姿勢のうち一方の姿勢を第１の姿勢とした胸部ＣＴ画像を第１の医用画像として受け付け、画像生成工程において、呼気姿勢と吸気姿勢のうち他方の姿勢を第２の姿勢とした胸部ＣＴ画像を疑似的に生成する。第１０の態様は、呼気姿勢と吸気姿勢とでは肺の形状等が変化することに鑑み、姿勢の異なる胸部ＣＴ画像間の変換を規定するものである。
　上述した目的を達成するため、本発明の第１１の態様に係る医用画像処理プログラムは、医用画像処理装置のプロセッサに医用画像処理方法の各工程を実行させる医用画像処理プログラムであって、プロセッサに、第１の姿勢で実際に撮影された第１の医用画像の入力を受け付ける受付工程と、第１の医用画像から、第１の姿勢と異なる第２の姿勢で第１の医用画像と同一の部位を撮影した第２の医用画像を疑似的に生成する画像生成工程であって、第１の医用画像を第２の医用画像に変換する変形ベクトル場を用いて第２の医用画像を生成する画像生成工程と、を実行させる。第１１の態様によれば、第１の態様と同様にドメインシフトを低減することができる。なお、本発明に係る医用画像処理プログラムが実行させる医用画像処理方法は、第２～第１０と同様の構成を備えていてもよい。また、上述した医用画像処理プログラムのコンピュータ読み取り可能なコードが記録された非一時的記録媒体も、本発明の態様として挙げることができる。
　上述した目的を達成するため、本発明の第１２の態様に係る医用画像処理装置は、プロセッサを備える医用画像処理装置であって、プロセッサが、第１の姿勢で実際に撮影された第１の医用画像の入力を受け付ける受付処理と、第１の医用画像から、第１の姿勢と異なる第２の姿勢で第１の医用画像と同一の部位を撮影した第２の医用画像を疑似的に生成する画像生成処理であって、第１の医用画像を第２の医用画像に変換する変形ベクトル場を用いて第２の医用画像を生成する画像生成処理と、を実行する。第１２の態様によれば、第１，第１２の態様と同様に、ドメインシフトを低減することができる。なお、本発明に係る医用画像処理装置は、第２～第１０と同様の構成を備えていてもよい。
　上述した目的を達成するため、本発明の第１３の態様に係る医用画像処理装置の学習方法は、第１の姿勢で実際に撮影された第１の医用画像の入力を受け付けて、第１の医用画像から、第１の姿勢と異なる第２の姿勢で第１の医用画像と同一の部位を撮影した第２の医用画像を疑似的に生成する生成部であって、第１の医用画像を第２の医用画像に変換する変形ベクトル場を用いて第２の医用画像を生成する生成部と、第２の医用画像と、第２の姿勢で第１の医用画像と同一の部位を実際に撮影した第４の医用画像と、の入力を受け付けて、入力された医用画像が第２の医用画像であるか第４の医用画像であるかを識別する識別部と、を備える医用画像処理装置の学習方法であって、識別部のパラメータを更新せずに維持しつつ、識別部の識別誤差が最大になるように、生成部が変形ベクトル場の生成に用いる生成パラメータを更新する生成部学習工程と、生成部の生成パラメータを更新せずに維持しつつ、識別部の識別誤差が最小になるように識別部のパラメータを更新する識別部学習工程と、を有する。第１３の態様は、変形ベクトル場を生成するための学習方法（機械学習方法）を規定するものであり、上述した本発明の各態様において、この方法により生成された変形ベクトル場を用いることができる。
　第１４の態様に係る学習方法は第１３の態様において、生成部学習工程において、第１の医用画像を生成部に入力し、生成パラメータに制約を加えることにより、生成される変形ベクトル場を滑らかにする工程を有する。第１４の態様によれば、変形ベクトル場を滑らかにすることで、滑らかな第２の医用画像を生成することができる。第１４の態様において、「制約」は例えば近接する変形ベクトルの方向や大きさの変化に対する制約であってもよい。
　第１５の態様に係る学習方法は第１３または第１４の態様において、生成部学習工程及び識別部学習工程は、第１の医用画像を生成部に入力し、第４の医用画像を識別部に入力して行われる。第１５の態様は、学習に用いる医用画像の一態様を規定するものである。
　第１６の態様に係る学習方法は第１５の態様において、第１の医用画像及び第４の医用画像は異なる被検体の同一の部位についての医用画像である。一般に、同一の被検体の同一の部位について姿勢が異なる画像を取得することは少ないので、第１６の態様はそのような場合の学習方法を規定するものである。
　第１７の態様に係る学習方法は第１３から第１６の態様のいずれか１つにおいて、生成部及び識別部はニューラルネットワークにより構成される。第１７の態様は生成部及び識別部の一態様を規定するものである。
　なお、第１３～第１７の態様に係る学習方法を医用画像処理装置に実行させるプログラム（学習プログラム）、及びそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の一態様として挙げることができる。
　以上説明したように、本発明に係る医用画像処理方法、医用画像処理プログラム、医用画像処理装置、及び医用画像処理装置の学習方法によれば、ドメインシフトを低減することができる。
図１は、第１の実施形態に係る医用画像処理装置の概略構成を示す図である。 図２は、変形ベクトル場を模式的に示す図である。 図３は、生成部学習工程の様子を示す図である。 図４は、立位及び臥位の３次元ＣＴ画像を模式的に示す図である。 図５は、識別部学習工程の様子を示す図である。 図６は、変形ベクトル場を用いた医用画像の変換の様子を示す図である。 図７は、３次元ＣＴ画像に対応したラベルデータを模式的に示す図である。 図８は、変形ベクトル場を用いてラベルデータの変換を示す図である。 図９は、第２の実施形態に係る医用画像処理装置の概略構成を示す図である。 図１０は、Ｘ線透視画像を模式的に示す図である。 図１１は、第２の実施形態における学習（学習方法の実行）の様子を示す図である。 図１２は、第３の実施形態に係る医用画像処理装置の概略構成を示す図である。 図１３は、高解像度のＣＴ画像を低解像度に変換する様子を示す図である。 図１４は、低解像度のＣＴ画像を用いた学習の様子を示す図である。 図１５は、変形ベクトル場の解像度を変換する様子を示す図である。 図１６は、高解像度に変換した変形ベクトル場を用いて医用画像を変換する様子を示す図である。 図１７は、医用画像処理装置の構成の変形例を示す図である。
　本発明に係る医用画像処理方法、医用画像処理プログラム、医用画像処理装置、及び学習方法の実施形態について説明する。説明においては、必要に応じて添付図面が参照される。なお、添付図面において、説明の便宜上一部の構成要素の記載を省略する場合がある。
　［第１の実施形態］
　［医用画像処理装置の構成］
　図１は、第１の実施形態に係る医用画像処理装置１０（医用画像処理装置）の概略構成を示す図である。医用画像処理装置１０は画像処理部１００（生成部、識別部、変形ベクトル場、学習制御部、投影部、プロセッサ）、記憶装置２００、表示装置３００、操作部４００、通信部５００を備える。これらの構成要素同士の接続は有線でもよいし、無線でもよい。また、これらの構成要素は単一の筐体に収納されていてもよいし、複数の筐体に別れて収納されていてもよい。
　［画像処理部の構成］
　図１に示すように、画像処理部１００（プロセッサ）は生成部１１０（生成部）と、識別器１２０（識別部）と、学習制御部１３０と、を備える。生成部１１０は、生成器１１２（生成器）と、変形ベクトル場１１４（変形ベクトル場）と、変換器１１６とを備える。生成器１１２は医用画像（第１の医用画像）の入力を受け付けて変形ベクトル場を生成するネットワークであり、例えばpix2pixで用いられているU-Net等のニューラルネットワークを用いて構成することができる。また、ResNet（Deep Residual Network）ベースのニューラルネットワークを用いることもできる（非特許文献２を参照）。超解像の分野で使われているネットワーク構造であれば、基本的に本発明にも適用することができる。
　［非特許文献２］　"Perceptual Losses for Real-Time Style Transfer and Super-Resolution", ECCV, 2016, Justin Johnson他、［2020年12月8日検索］、インターネット（https://arxiv.org/abs/1603.08155）
　変形ベクトル場１１４（変形ベクトル場）は、入力される医用画像の各ボクセル（３次元画像の場合）を出力される医用画像の各ボクセルに変形する３次元ベクトル（変形の方向及び変形量を示すベクトル）の集合である。図２は変形ベクトルを模式的に示す図である。図２の（ａ）部分は変形ベクトル場全体（変形ベクトル場１１４）を示し、同図の（ｂ）部分に示すように、変形ベクトル場１１４の個々の小領域１１４Ａに対応して変形ベクトル１１４Ｂが存在する。なお、２次元画像の場合、変形ベクトル場は、入力される医用画像の各ピクセルを出力される医用画像の各ピクセルに変形する２次元ベクトル（変形の方向及び変形量を示すベクトル）の集合である。
　変換器１１６は、入力された医用画像（第１の姿勢で撮影された第１の医用画像）に変形ベクトル場１１４を適用して、第２の医用画像（第１の姿勢と異なる第２の姿勢で第１の医用画像と同一の部位を撮影した医用画像）を疑似的に生成する（画像生成処理、画像生成工程）。なお、部位が「同一」とは、第１の医用画像と第２の医用画像とで部位が完全に同一である場合に限らず、少なくとも一部の部位が共通である場合をも含むものとする（以下の各態様において同じ）。
　識別器１２０（識別部）は、入力された医用画像（第２の医用画像、第４の医用画像）が実際に撮影された医用画像（第４の医用画像）であるか、生成部１１０により疑似的に生成された医用画像（第２の医用画像）であるかを識別する。上述した生成器１１２と同様に、pix2pixで用いられているパッチ識別器を識別器１２０として用いることができる。
　学習制御部１３０は、識別器１２０の識別結果に基づいて生成器１１２及び識別器１２０のパラメータを更新する（生成部学習工程、識別部学習工程）。すなわち、生成器１１２及び識別器１２０は機械学習により学習（構成）される。なお、生成器１１２及び識別器１２０のパラメータ更新（学習方法の各工程）の詳細は後述する。
　上述した画像処理部１００の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。各機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、画像処理部１００を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをフラッシュメモリやＲＯＭ（Read Only Memory）等の非一時的記録媒体（メモリ）に記憶しておき、コンピュータがそのソフトウェアを参照する。実行されるプログラムには、本発明の一態様に係る方法（医用画像処理方法、学習方法）を実行するプログラム（医用画像処理プログラム、学習プログラム）が含まれる。また、ソフトウェアの実行の際は、必要に応じて記憶装置２００に記憶された情報（医用画像等）が使用される。また、実行の際は、例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられる。
　画像処理部１００は、上記の構成要素の他に図示せぬ表示制御部や画像取得部を備えていてもよい。
　［記憶装置に記憶される情報］
　記憶装置２０は各種の光磁気記録媒体や半導体メモリ、及びそれらの制御部で構成され、実際に撮影した医用画像や疑似的に生成した医用画像（第１～第４の医用画像）、上述のプロセッサが実行するソフトウェア（プログラム）等が記憶される。
　［表示装置、操作部、通信部の構成］
　表示装置３００は液晶モニタ等のデバイスで構成され、医用画像等のデータを表示することができる。また、操作部４００は図示せぬマウスやキーボード等により構成され、ユーザは操作部４００を介して医用画像処理方法や学習方法の実行に必要な指示を行うことができる。ユーザは、表示装置３００に表示された画面を介して指示を行うことができる。表示装置３００をタッチパネル型のモニタにより構成し、ユーザがそのタッチパネルを介して指示を行ってもよい。通信部５００は、ネットワークを介して接続された他のシステムから、医用画像その他の情報を取得することができる。
　［医用画像処理装置の学習方法］
　次に、医用画像処理装置１０の学習方法（機械学習の方法）について説明する。学習は、生成器１１２のパラメータ（生成パラメータ）を更新する生成部学習工程と、識別器１２０のパラメータを更新する識別部学習工程とに分けて行われる。
　［生成器（生成部）の学習］
　図３は、生成部学習工程の様子を示す図である。生成器１１２（生成部１１０、プロセッサ）は第１の姿勢で実際に撮影した第１の医用画像（学習用の医用画像）の入力を受け付ける（受付工程、受付処理）。ここでは、臥位（「第１の姿勢」の一例）で被検体のある部位（例えば胸部）を実際に撮影したＣＴ画像（臥位実ＣＴ画像７００）を「第１の医用画像」とする。「臥位」は仰臥位でもよいし、腹臥位でもよい。生成器１１２は第１の医用画像を入力すると変形ベクトル場１１４を出力し、変換器１１６（生成部１１０、プロセッサ）が臥位実ＣＴ画像７００（第１の医用画像）に変形ベクトル場１１４を適用して、立位（「第１の姿勢と異なる第２の姿勢」の一例）で臥位実ＣＴ画像７００と同一の部位を撮影した立位疑似ＣＴ画像７１０（第２の医用画像）を、疑似的に生成する（画像生成工程、画像生成処理）。なお、生成器１１２にノイズ成分（例えばランダムノイズ）を加えることにより、生成される医用画像にランダム性を持たせてもよい（以下の各実施形態においても同様である）。
　図４は、立位及び臥位の３次元ＣＴ画像を模式的に示す図である。図４の（ａ）部分は立位のＣＴ画像６００を示し、同図の（ｂ）部分は臥位のＣＴ画像６１０を示す。図４の（ａ）部分において、断面６００Ｓ，６００Ｃ，６００Ａはそれぞれサジタル方向、コロナル方向、アキシャル方向の断面である。同様に、図４の（ｂ）部分において、断面６１０Ｓ，６１０Ｃ，６１０Ａはそれぞれサジタル方向、コロナル方向、アキシャル方向の断面である。
　識別器１２０（識別器、識別部）は、疑似的に生成した立位疑似ＣＴ画像７１０と、臥位実ＣＴ画像７００（第１の医用画像）と同一の部位を立位（第２の姿勢）で実際に撮影した医用画像である立位実ＣＴ画像７２０（第４の医用画像）の入力を受け付けて、入力された医用画像が立位疑似ＣＴ画像７１０（第２の医用画像）であるか立位実ＣＴ画像７２０（第４の医用画像）であるかを識別する。例えば、識別器１２０は、入力された医用画像が立位疑似ＣＴ画像７１０である確率及び／または立位実ＣＴ画像７２０である確率（識別結果の一態様）を出力する。
　なお、臥位実ＣＴ画像７００（第１の医用画像）と立位実ＣＴ画像７２０（第４の医用画像）は、同一の被検体についての医用画像でなく異なる被検体の同一の部位についての医用画像でもよい。一般に、同一の被検体の同一の部位について姿勢が異なる画像を実際に取得することは少ないためである。本実施形態によれば、臥位実ＣＴ画像７００と立位実ＣＴ画像７２０とで被検体が異なる場合でも、学習を行うことができる。
　学習制御部１３０（プロセッサ）は、識別結果に基づいて、識別器１２０のパラメータを更新せずに維持しつつ、識別器１２０の識別誤差が最大になるように、生成パラメータ（生成器１１２が変形ベクトル場１１４の生成に用いるパラメータ）を更新させる（生成部学習工程）。なお、図３において識別器１２０への入力が点線で示されているのは、識別器１２０のパラメータが更新せずに維持されることを表している。
　［識別器（識別部）の学習］
　図５は、識別部学習工程の様子を示す図である。識別部学習工程においても、上述した生成部学習工程と同様に、立位疑似ＣＴ画像７１０（第２の医用画像）を疑似的に生成し（画像生成工程、画像生成処理）、識別器１２０が、入力された医用画像が立位疑似ＣＴ画像７１０であるか立位実ＣＴ画像７２０であるかを識別する。学習制御部１３０（プロセッサ）は、識別結果に基づいて、生成器１１２の生成パラメータを更新せずに維持しつつ、識別器１２０の識別誤差が最小になるように識別器１２０のパラメータを更新する（識別部学習工程）。なお、図５において生成器１１２への入力が点線で示されているのは、生成器１１２のパラメータが更新せずに維持されることを表している。
　上述した学習は、生成部学習工程及び識別部学習工程を決められた回数行ったら終了してもよいし、生成器１１２及び識別器１２０のパラメータの変動が収束したら終了してもよい。また、学習制御部１３０（プロセッサ）は、生成部学習工程と識別部学習工程を交互に（逐次）行ってもよいし、バッチ単位あるいはミニバッチ単位で繰り返してもよい。また、画像処理部１００は、学習の過程（例えば、パラメータの変化の様子）を表示装置３００に表示してもよい。
　［変形ベクトル場の平滑化］
　なお、生成部学習工程において、画像処理部１００（プロセッサ）は、臥位実ＣＴ画像（第１の医用画像）を生成器１１２に入力し、生成パラメータに制約を加えることにより、生成される変形ベクトル場を滑らかにしてもよい（平滑化工程）。
　［変形ベクトル場を用いた医用画像の変換］
　図６は、変形ベクトル場を用いた医用画像の変換の様子を示す図である。上述した学習方法により変形ベクトル場１１４が得られたら、変換器１１６（プロセッサ）は臥位実ＣＴ画像７００Ａ（第１の医用画像）に変形ベクトル場１１４を適用して、立位疑似ＣＴ画像７１０Ａ（第２の医用画像）を生成する。画像処理部１００は、入力した臥位実ＣＴ画像７００Ａ、及び／または立位疑似ＣＴ画像７１０Ａを（操作部４００を介したユーザの操作に応じて、あるいは自動的に）表示装置３００に表示してもよいし、記憶装置２００に記憶してもよい。
　以上説明したように、第１の実施形態によれば、医用画像同士を直接変換するのではなく、臥位実ＣＴ画像７００（第１の医用画像）から変形ベクトル場１１４を用いて立位疑似ＣＴ画像（第２の医用画像）を生成するので、ドメインシフトを低減することができる。
　［変形ベクトル場を用いたラベルデータの変換］
　第一の実施形態によれば、上述の学習方法により生成された変形ベクトル場１１４を用いて、ある姿勢におけるラベルデータを異なる姿勢でのラベルデータに変換することもできる。ラベルデータは、例えば図７に模式的に示すように、ある姿勢（例えば臥位）で取得された医用画像９００（図７の例では３次元ＣＴ画像）に対応して臓器ごとに（図７の例では肺９００Ａと心臓９００Ｂ）セグメンテーションラベルが付されたデータである。このようなラベルデータを変換する場合、図８に示すように、画像処理部１００（プロセッサ）は臥位実ＣＴ画像７００（第１の医用画像）に対応した臥位ＣＴラベルデータ７０２（第１のラベルデータ）に変形ベクトル場１１４を適用して、立位疑似ＣＴ画像７１０（第２の医用画像）に対応する立位ＣＴラベルデータ７０４（第２のラベルデータ）を生成する。画像処理部１００は、医用画像と動揺に、入力した臥位ＣＴラベルデータ７０２、及び／または立位ＣＴラベルデータ７０４を（操作部４００を介したユーザの操作に応じて、あるいは自動的に）表示装置３００に表示してもよいし、記憶装置２００に記憶してもよい。
　［医用画像のバリエーション］
　上述した第１の実施形態では臥位の医用画像（臥位実ＣＴ画像７００）から立位の医用画像（立位疑似ＣＴ画像）を生成しているが、入力する医用画像と生成する医用画像とで、姿勢の関係はこのような態様に限定されるものではない。上記態様の他に、立位の画像から臥位の画像を生成してもよい。また、使用する画像はＸ線画像やＭＲ画像でもよい。例えば、画像処理部１００（プロセッサ）は、受付工程（受付処理）において、立位姿勢と臥位姿勢のうち一方の姿勢を第１の姿勢としたＴ１強調ＭＲ画像及びＴ２強調ＭＲ画像を第１の医用画像として受け付け、画像生成工程において、立位姿勢と臥位姿勢のうち他方の姿勢を第２の姿勢としたＴ１強調ＭＲ画像及びＴ２強調ＭＲ画像を疑似的に生成してもよい。また、画像処理部１００（プロセッサ）は、受付工程（受付処理）において、呼気姿勢と吸気姿勢のうち一方の姿勢を第１の姿勢とした胸部ＣＴ画像を第１の医用画像として受け付け、画像生成工程において、呼気姿勢と吸気姿勢のうち他方の姿勢を第２の姿勢とした胸部ＣＴ画像を疑似的に生成してもよい。さらに、医用画像で撮影される部位は特に限定されない。また、医用画像は上述した態様のように３次元画像に限られず、Ｘ線透視画像のような２次元画像でもよい。２次元画像を用いる場合、これに対応して２次元の変形ベクトル場を用いる。
　［第２の実施形態］
　次に、本発明の第２の実施形態について説明する。第２の実施形態では、上述した手法により疑似的に生成した第２の医用画像を、第２の医用画像とは異なるモダリティによる第３の医用画像に疑似的に変換するモダリティ変換工程（モダリティ変換処理）をさらに実行する。図９は第２の実施形態に係る医用画像処理装置１１の概略構成を示す図であり、医用画像処理装置１１は投影部１４０を備えている。本発明に係る医用画像処理方法、医用画像処理装置、及び医用画像処理プログラムにおいて、あるモダリティで取得された医用画像を異なるモダリティによる医用画像に疑似的に変換（モダリティ変換工程の実行）してもよく、第２の実施形態では、投影部１４０は、ＣＴ画像（第２の医用画像）をＸ線透視画像（第３の医用画像）に疑似的に変換する。すなわち、ＣＴ画像（３次元ボリュームデータ）の投影によるＸ線透視画像（２次元画像）の生成は、モダリティ変換の一態様であり、Ｘ線透視画像は第３の医用画像の一態様である。図１０は、Ｘ線透視画像７５０を模式的に示す図である。
　なお、医用画像処理装置１１の投影部１４０以外の構成要素は第１の実施形態における医用画像処理装置１０と同様なので、詳細な説明を省略する。
　図１１は第２の実施形態における学習（学習方法の実行）の様子を示す図である。第２の実施形態では、投影部１４０が立位疑似ＣＴ画像７１０（第２の医用画像）を疑似的に変換して立位疑似Ｘ線画像７３０（第３の医用画像）を生成する（モダリティ変換工程、モダリティ変換処理）。そして、識別器１２０（識別器、識別部）は、疑似的に生成した立位疑似Ｘ線画像７３０と、臥位実ＣＴ画像７００（第１の医用画像）と同一の部位を立位（第２の姿勢）で実際に撮影した医用画像である立位実Ｘ線画像７４０（第４の医用画像）の入力を受け付けて、入力された医用画像が立位疑似Ｘ線画像７３０（第２の医用画像）であるか立位実Ｘ線画像７４０（第４の医用画像）であるかを識別する。例えば、識別器１２０は、入力された医用画像が立位疑似Ｘ線画像７３０である確率及び／または立位実Ｘ線画像７４０である確率（識別結果の一態様）を出力する。
　学習制御部１３０（プロセッサ）は、識別結果に基づいて、生成器１１２のパラメータ及び識別器１２０のパラメータを更新する（生成部学習工程、識別部学習工程）。学習制御部１３０（プロセッサ）は、第１の実施形態について上述したように、生成器１１２のパラメータと識別器１２０のパラメータとのうち一方を更新せずに維持しつつ、他方を更新することにより行う。なお、図１１では便宜上一方のパラメータを更新せずに維持する点を区別せず、生成部学習工程、識別部学習工程を１つの図にまとめて記載しているが、実際は第１の実施形態と同様に別個の工程としてパラメータの更新を行う（図４，５を参照）。
　以上説明したように、第２の実施形態においても、第１の実施形態と同様に変形ベクトル場を用いることによりドメインシフトを低減することができる。なお、第２の実施形態においても、実運用時（推論時）の医用画像の変換、ラベルデータの変換、医用画像のバリエーション等については、第１の実施形態について上述したのと同様に行うことができる。また、第２の実施形態においても、第１の実施形態と同様にモダリティの変換を行ってもよい。
　［第３の実施形態］
　上述した実施形態では生成器及び識別器を用いているが、生成器に入力する画像の解像度が高いと学習がうまくいかない場合があることが知られている（例えば、下記の非特許文献３，４を参照）。
　［非特許文献３］　"Conditional Image Synthesis with Auxiliary Classifier GANs", Augustus Odena他、［2020年12月8日検索］、インターネット（https://arxiv.org/abs/1610.09585）
　［非特許文献４］　"Progressive Growing of GANs for Improved Quality, Stability, and Variation", ICLR 2018, Tero Karras他、［2020年12月8日検索］、インターネット（https://arxiv.org/abs/1710.10196）
　このような観点から、第３の実施形態では、変換前の医用画像に対し解像度の変換を行ってから学習を行う。図１２は第３の実施形態に係る医用画像処理装置１２（医用画像処理装置）の概略構成を示す図であり、医用画像処理装置１２は解像度変換部１５０（プロセッサ）を備えている。なお、医用画像処理装置１２の投影部１４０以外の構成要素は第１の実施形態における医用画像処理装置１０と同様なので、詳細な説明を省略する。
　医用画像処理装置１２により学習及び医用画像処理を行う場合、例えば図１３に示すように、高解像度臥位実ＣＴ画像７６０（第１の医用画像）を解像度変換部１５０により低解像度臥位実ＣＴ画像７７０（第１の医用画像）に変換する（画像生成工程、解像度変換工程）。すなわち、低解像度臥位実ＣＴ画像７７０の解像度は変換前の画像である高解像度臥位実ＣＴ画像７６０の解像度よりも低い。解像度変換部１５０は、ボクセルあるいはピクセルの間引きや平均化により解像度を変換することができる。そして、図１４に示すように、この低解像度臥位実ＣＴ画像を生成器１１２に入力して、機械学習により低解像度変形ベクトル場１１７Ａ（変形ベクトル場）を生成する。学習の手順は第１，第２の実施形態について上述したものと同様であり、生成器１１２のパラメータを更新する生成部学習工程と、識別器１２０のパラメータを更新する識別部学習工程と、を行う。なお、識別器１２０には生成部１１０により疑似的に生成された低解像度立位疑似ＣＴ画像７８０（第２の医用画像）と、低解像度立位実ＣＴ画像７９０（第４の医用画像）とが入力される。
　図１５に示すように、解像度変換部１５０は、このような学習により生成された低解像度変形ベクトル場１１７Ａから、補間や拡大等により高解像度変形ベクトル場１１７Ｂ（変形ベクトル場）を生成する（画像生成工程、解像度変換工程）。すなわち、高解像度変形ベクトル場１１７Ｂの解像度は変換前の変形ベクトル場である低解像度変形ベクトル場１１７Ａよりも高い。
　図１６に示すように、変換器１１６（プロセッサ）は、このようにして得られた高解像度変形ベクトル場１１７Ｂを高解像度臥位実ＣＴ画像７６０に適用して、高解像度立位疑似ＣＴ画像８００（第２の医用画像）を生成する（画像生成工程）。第３の実施形態によれば、このような解像度変換を行うことにより、学習の際の問題を回避しつつ高精度な画像を生成することができる。
　なお、解像度の変換は学習の進捗に合わせて行ってもよい。例えば、学習の初期段階では高解像度の医用画像を低解像度に変換して学習に用い、学習の進捗が進むにつれて、学習に用いる医用画像の解像度を上げてもよい。このように医用画像の解像度を変化させる場合は、それに合わせて変形ベクトル場の解像度や、生成器１１２及び識別器１２０のネットワーク構成（例えば、畳み込み層の数やサイズ）を変化させることが好ましい（上記非特許文献４を参照）。
　また、元の医用画像がどの程度の解像度の場合に解像度の変換を行うか、及びどの程度低い解像度に変換するかは、医用画像の使用目的や処理の負荷等を考慮して決めることができる。画像処理部１００（プロセッサ）は、ユーザによる解像度変換の条件の設定を操作部４００等を介して受け付け、受け付けた条件に基づいて上述した処理を行ってもよい。また、第３の実施形態においても、実運用時（推論時）の医用画像の変換、ラベルデータの変換、医用画像のバリエーション等については、第１の実施形態について上述したのと同様に行うことができる。また、第３の実施形態においても、第１の実施形態と同様にモダリティの変換を行ってもよい。
　＜医用画像処理装置の構成の変形例＞
　上述した第１～第３の実施形態では姿勢の変換を一方向に行う態様（具体例としては、臥位の医用画像を立位の医用画像に変換する態様）について説明したが、本発明では姿勢の変換を双方向に行う態様（具体例としては、臥位から立位への変換と立位から臥位への変換の双方を行う態様）も可能である。図１７は医用画像処理装置の構成の変形例を示す図であり、医用画像処理装置１３（医用画像処理装置）は臥位実ＣＴ画像７００Ａ（第１の医用画像）から生成部１１０Ａ（生成器１１２Ａ、変形ベクトル場１１５Ａ、変換器１１６Ａ；プロセッサ）により立位疑似ＣＴ画像７１０Ａ（第２の医用画像）を疑似的に生成する。そして、立位疑似ＣＴ画像７１０Ａと立位実ＣＴ画像７１０Ｂとを識別器１２０Ａに入力して識別誤差を算出する。学習制御部１３０Ａ（プロセッサ）は、第１の実施形態について上述したのと同様に、算出した識別誤差に基づいて生成器１１２Ａ及び識別器１２０Ａのパラメータを更新する（生成部学習工程、識別部学習工程）。
　同様に、立位実ＣＴ画像７１０Ｂ（第１の医用画像）から生成部１１０Ｂ（生成器１１２Ｂ、変形ベクトル場１１５Ｂ、変換器１１６Ｂ；プロセッサ）により臥位疑似ＣＴ画像７００Ｂ（第２の医用画像）を疑似的に生成する。そして、臥位疑似ＣＴ画像７００Ｂと臥位実ＣＴ画像７００Ａ（第４の医用画像）とを識別器１２０Ｂに入力して識別誤差を算出する。学習制御部１３０Ｂ（プロセッサ）は、第１の実施形態について上述したのと同様に、算出した識別誤差に基づいて生成器１１２Ｂ及び識別器１２０Ｂのパラメータを更新する（生成部学習工程、識別部学習工程）。
　なお、生成器１１２Ｂ及び識別器１２０Ｂの学習を行う際に、立位実ＣＴ画像７１０Ｂを入力するのではなく立位疑似ＣＴ画像７１０Ａを入力してもよい。同様に、生成器１１２Ａ及び識別器１２０Ａの学習を行う際に、臥位実ＣＴ画像７００Ａを入力するのではなく臥位疑似ＣＴ画像７００Ｂを入力してもよい。臥位実ＣＴ画像７００Ａ及び臥位疑似ＣＴ画像７００Ｂは臥位ＣＴ画像ドメイン７０１Ａを構成し、立位疑似ＣＴ画像７１０Ａ及び立位実ＣＴ画像７１０Ｂは立位ＣＴ画像ドメイン７０１Ｂを構成する。なお、上述したように、生成器１１２Ａ，１１２Ｂにノイズ成分を入力してもよい。
　なお、上述した変形例においても、上述した第１～第３の実施形態と同様に、実運用時（推論時）の医用画像の変換、ラベルデータの変換、医用画像のバリエーション、モダリティの変換を行ってもよい。
　以上で本発明の実施形態について説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１０　　　医用画像処理装置
１１　　　医用画像処理装置
１２　　　医用画像処理装置
１３　　　医用画像処理装置
２０　　　記憶装置
１００　　画像処理部
１１０　　生成部
１１０Ａ　生成部
１１０Ｂ　生成部
１１２　　生成器
１１２Ａ　生成器
１１２Ｂ　生成器
１１４　　変形ベクトル場
１１４Ａ　小領域
１１４Ｂ　変形ベクトル
１１５Ａ　変形ベクトル場
１１５Ｂ　変形ベクトル場
１１６　　変換器
１１６Ａ　変換器
１１６Ｂ　変換器
１１７Ａ　低解像度変形ベクトル場
１１７Ｂ　高解像度変形ベクトル場
１２０　　識別器
１２０Ａ　識別器
１２０Ｂ　識別器
１３０　　学習制御部
１３０Ａ　学習制御部
１３０Ｂ　学習制御部
１４０　　投影部
１５０　　解像度変換部
２００　　記憶装置
３００　　表示装置
４００　　操作部
５００　　通信部
６００　　ＣＴ画像
６００Ａ　断面
６００Ｃ　断面
６００Ｓ　断面
６１０　　ＣＴ画像
６１０Ａ　断面
６１０Ｃ　断面
６１０Ｓ　断面
７００　　臥位実ＣＴ画像
７００Ａ　臥位実ＣＴ画像
７００Ｂ　臥位疑似ＣＴ画像
７０１Ａ　臥位ＣＴ画像ドメイン
７０１Ｂ　立位ＣＴ画像ドメイン
７０２　　臥位ＣＴラベルデータ
７０４　　立位ＣＴラベルデータ
７１０　　立位疑似ＣＴ画像
７１０Ａ　立位疑似ＣＴ画像
７１０Ｂ　立位実ＣＴ画像
７２０　　立位実ＣＴ画像
７３０　　立位疑似Ｘ線画像
７４０　　立位実Ｘ線画像
７５０　　Ｘ線透視画像
７６０　　高解像度臥位実ＣＴ画像
７７０　　低解像度臥位実ＣＴ画像
７８０　　低解像度立位疑似ＣＴ画像
７９０　　低解像度立位実ＣＴ画像
８００　　高解像度立位疑似ＣＴ画像
９００　　医用画像
９００Ａ　肺
９００Ｂ　心臓

Claims (18)

  1. 　プロセッサを備える医用画像処理装置により実行される医用画像処理方法であって、前記プロセッサが、
    　第１の姿勢で実際に撮影した第１の医用画像の入力を受け付ける受付工程と、
    　前記第１の医用画像から、前記第１の姿勢と異なる第２の姿勢で前記第１の医用画像と同一の部位を撮影した第２の医用画像を疑似的に生成する画像生成工程であって、前記第１の医用画像を前記第２の医用画像に変換する変形ベクトル場を用いて前記第２の医用画像を生成する画像生成工程と、
    　を実行する医用画像処理方法。
  2. 　前記画像生成工程において、前記プロセッサは、前記第１の医用画像を入力すると前記変形ベクトル場を出力する生成器であって、機械学習により学習された生成器を用いて前記変形ベクトル場を生成する請求項１に記載の医用画像処理方法。
  3. 　前記画像生成工程において、前記プロセッサは、前記第１の医用画像に前記変形ベクトル場を適用して前記第２の医用画像を生成する請求項１または２に記載の医用画像処理方法。
  4. 　前記画像生成工程において、前記プロセッサは、
    　前記第１の医用画像の解像度を変換前の解像度よりも低解像度に変換し、
    　前記低解像度に変換した前記第１の医用画像から前記変形ベクトル場を生成し、
    　前記生成した前記変形ベクトル場の解像度を変換前の解像度よりも高解像度に変換し、
    　前記高解像度に変換した前記変形ベクトル場を前記第１の医用画像に適用して、高解像度な前記第２の医用画像を生成する請求項１から３のいずれか１項に記載の医用画像処理方法。
  5. 　前記プロセッサは、
    　前記受付工程では臥位を前記第１の姿勢とするＣＴ画像を前記第１の医用画像として受け付け、
    　前記画像生成工程では、前記第２の医用画像として立位を前記第２の姿勢とするＣＴ画像を生成する請求項１から４のいずれか１項に記載の医用画像処理方法。
  6. 　前記プロセッサは、前記疑似的に生成した前記第２の医用画像を前記第２の医用画像とは異なるモダリティによる第３の医用画像に疑似的に変換するモダリティ変換工程をさらに実行する請求項１から５のいずれか１項に記載の医用画像処理方法。
  7. 　前記モダリティ変換工程において、前記プロセッサは、前記第２の姿勢におけるＸ線透視画像を前記第３の医用画像として生成する請求項６に記載の医用画像処理方法。
  8. 　前記画像生成工程において、前記プロセッサは、前記変形ベクトル場を用いて、前記第１の医用画像に対応する第１のラベルデータを前記第２の医用画像に対応する第２のラベルデータに変換する請求項１から７のいずれか１項に記載の医用画像処理方法。
  9. 　前記プロセッサは、
    　前記受付工程において、立位姿勢と臥位姿勢のうち一方の姿勢を前記第１の姿勢としたＴ１強調ＭＲ画像及びＴ２強調ＭＲ画像を前記第１の医用画像として受け付け、
    　前記画像生成工程において、前記立位姿勢と前記臥位姿勢のうち他方の姿勢を前記第２の姿勢としたＴ１強調ＭＲ画像及びＴ２強調ＭＲ画像を疑似的に生成する請求項１から８のいずれか１項に記載の医用画像処理方法。
  10. 　前記プロセッサは、
    　前記受付工程において、呼気姿勢と吸気姿勢のうち一方の姿勢を前記第１の姿勢とした胸部ＣＴ画像を前記第１の医用画像として受け付け、
    　前記画像生成工程において、前記呼気姿勢と前記吸気姿勢のうち他方の姿勢を前記第２の姿勢とした胸部ＣＴ画像を疑似的に生成する請求項１から８のいずれか１項に記載の医用画像処理方法。
  11. 　医用画像処理装置のプロセッサに医用画像処理方法の各工程を実行させる医用画像処理プログラムであって、
    　前記プロセッサに、
    　第１の姿勢で実際に撮影された第１の医用画像の入力を受け付ける受付工程と、
    　前記第１の医用画像から、前記第１の姿勢と異なる第２の姿勢で前記第１の医用画像と同一の部位を撮影した第２の医用画像を疑似的に生成する画像生成工程であって、前記第１の医用画像を前記第２の医用画像に変換する変形ベクトル場を用いて前記第２の医用画像を生成する画像生成工程と、
    　を実行させる医用画像処理プログラム。
  12. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１１に記載のプログラムが記録された記録媒体。
  13. 　プロセッサを備える医用画像処理装置であって、
    　前記プロセッサが、
    　第１の姿勢で実際に撮影された第１の医用画像の入力を受け付ける受付処理と、
    　前記第１の医用画像から、前記第１の姿勢と異なる第２の姿勢で前記第１の医用画像と同一の部位を撮影した第２の医用画像を疑似的に生成する画像生成処理であって、前記第１の医用画像を前記第２の医用画像に変換する変形ベクトル場を用いて前記第２の医用画像を生成する画像生成処理と、
    　を実行する医用画像処理装置。
  14. 　第１の姿勢で実際に撮影された第１の医用画像の入力を受け付けて、前記第１の医用画像から、前記第１の姿勢と異なる第２の姿勢で前記第１の医用画像と同一の部位を撮影した第２の医用画像を疑似的に生成する生成部であって、前記第１の医用画像を前記第２の医用画像に変換する変形ベクトル場を用いて前記第２の医用画像を生成する生成部と、
    　前記第２の医用画像と、前記第２の姿勢で前記第１の医用画像と同一の部位を実際に撮影した第４の医用画像と、の入力を受け付けて、入力された医用画像が前記第２の医用画像であるか前記第４の医用画像であるかを識別する識別部と、
    　を備える医用画像処理装置の学習方法であって、
    　前記識別部のパラメータを更新せずに維持しつつ、前記識別部の識別誤差が最大になるように、前記生成部が前記変形ベクトル場の生成に用いる生成パラメータを更新する生成部学習工程と、
    　前記生成部の前記生成パラメータを更新せずに維持しつつ、前記識別部の識別誤差が最小になるように前記識別部のパラメータを更新する識別部学習工程と、
    　を有する学習方法。
  15. 　前記生成部学習工程において、前記第１の医用画像を前記生成部に入力し、前記生成パラメータに制約を加えることにより、生成される前記変形ベクトル場を滑らかにする工程を有する請求項１４に記載の学習方法。
  16. 　前記生成部学習工程及び前記識別部学習工程は、前記第１の医用画像を前記生成部に入力し、前記第４の医用画像を前記識別部に入力して行われる請求項１４または１５に記載の学習方法。
  17. 　前記第１の医用画像及び前記第４の医用画像は異なる被検体の同一の部位についての医用画像である請求項１６に記載の学習方法。
  18. 　前記生成部及び前記識別部はニューラルネットワークにより構成される請求項１４から１７のいずれか１項に記載の学習方法。
PCT/JP2021/045791 2020-12-24 2021-12-13 医用画像処理方法、医用画像処理プログラム、医用画像処理装置、及び学習方法 WO2022138278A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022572166A JPWO2022138278A1 (ja) 2020-12-24 2021-12-13
US18/338,350 US20230342882A1 (en) 2020-12-24 2023-06-21 Medical use image processing method, medical use image processing program, medical use image processing device, and learning method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020214723 2020-12-24
JP2020-214723 2020-12-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/338,350 Continuation US20230342882A1 (en) 2020-12-24 2023-06-21 Medical use image processing method, medical use image processing program, medical use image processing device, and learning method

Publications (1)

Publication Number Publication Date
WO2022138278A1 true WO2022138278A1 (ja) 2022-06-30

Family

ID=82157883

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045791 WO2022138278A1 (ja) 2020-12-24 2021-12-13 医用画像処理方法、医用画像処理プログラム、医用画像処理装置、及び学習方法

Country Status (3)

Country Link
US (1) US20230342882A1 (ja)
JP (1) JPWO2022138278A1 (ja)
WO (1) WO2022138278A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989851B2 (en) * 2021-02-04 2024-05-21 Elekta, Inc. Deformable image registration using deep learning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217770A (ja) * 2011-04-13 2012-11-12 Canon Inc 画像処理装置、その処理方法及びプログラム
JP2015073799A (ja) * 2013-10-10 2015-04-20 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP2015130973A (ja) * 2014-01-10 2015-07-23 キヤノン株式会社 処理装置、処理方法、およびプログラム
US20160125605A1 (en) * 2014-10-29 2016-05-05 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method, and ultrasound imaging apparatus having image processing unit
US20170011509A1 (en) * 2015-07-09 2017-01-12 Samsung Medison Co., Ltd. Medical imaging apparatus and method of operating same
JP2019506949A (ja) * 2016-02-29 2019-03-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療胸部画像の修正ための装置、撮像システム及び方法。

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217770A (ja) * 2011-04-13 2012-11-12 Canon Inc 画像処理装置、その処理方法及びプログラム
JP2015073799A (ja) * 2013-10-10 2015-04-20 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP2015130973A (ja) * 2014-01-10 2015-07-23 キヤノン株式会社 処理装置、処理方法、およびプログラム
US20160125605A1 (en) * 2014-10-29 2016-05-05 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method, and ultrasound imaging apparatus having image processing unit
US20170011509A1 (en) * 2015-07-09 2017-01-12 Samsung Medison Co., Ltd. Medical imaging apparatus and method of operating same
JP2019506949A (ja) * 2016-02-29 2019-03-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療胸部画像の修正ための装置、撮像システム及び方法。

Also Published As

Publication number Publication date
JPWO2022138278A1 (ja) 2022-06-30
US20230342882A1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
US10650516B2 (en) Information processing apparatus, information processing method, and recording medium
JP5335280B2 (ja) 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体
US10803354B2 (en) Cross-modality image synthesis
US9519993B2 (en) Medical image processing apparatus
Bozorgtabar et al. Informative sample generation using class aware generative adversarial networks for classification of chest Xrays
KR20220067543A (ko) 저 도스 체적 대조 강화 mri를 개선하기 위한 시스템 및 방법
Matic et al. Quantum-classical convolutional neural networks in radiological image classification
WO2022138278A1 (ja) 医用画像処理方法、医用画像処理プログラム、医用画像処理装置、及び学習方法
Du et al. Multi-task learning for registering images with large deformation
CN117813055A (zh) 用于从快速spect扫描和ct图像合成spect图像的多模态和多尺度特征聚合
Sang et al. A conditional registration network for continuous 4D respiratory motion synthesis
Xia et al. Synergizing physics/model-based and data-driven methods for low-dose CT
US20230031910A1 (en) Apriori guidance network for multitask medical image synthesis
Qi et al. Multi-task MR imaging with iterative teacher forcing and re-weighted deep learning
Ma et al. A frequency domain constraint for synthetic and real x-ray image super resolution
US11138736B2 (en) Information processing apparatus and information processing method
Sang et al. Inter-phase 4D cardiac MRI registration with a motion prior derived from CTA
Raza et al. CycleGAN with mutual information loss constraint generates structurally aligned CT images from functional EIT images
EP4336460A1 (en) Method and device for generating a complete 3d representation of an object from a partial signal
JP5706933B2 (ja) 処理装置および処理方法、プログラム
WO2023276750A1 (ja) 学習方法、画像処理方法、学習装置、画像処理装置、学習プログラム、及び画像処理プログラム
US20230222675A1 (en) Image processing apparatus, operation method of image processing apparatus, operation program of image processing apparatus, and trained model
JP5068336B2 (ja) 医用画像変換装置および方法並びにプログラム
Sato et al. Large batch and patch size training for medical image segmentation
EP4231234A1 (en) Deep learning for registering anatomical to functional images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21910427

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022572166

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21910427

Country of ref document: EP

Kind code of ref document: A1