WO2024042890A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2024042890A1
WO2024042890A1 PCT/JP2023/025354 JP2023025354W WO2024042890A1 WO 2024042890 A1 WO2024042890 A1 WO 2024042890A1 JP 2023025354 W JP2023025354 W JP 2023025354W WO 2024042890 A1 WO2024042890 A1 WO 2024042890A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
energy
energy image
difference
lesion
Prior art date
Application number
PCT/JP2023/025354
Other languages
English (en)
French (fr)
Inventor
湧介 町井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2024042890A1 publication Critical patent/WO2024042890A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • a low-energy image and a high-energy image are obtained by irradiating a breast into which a contrast agent has been injected and imaging it with radiation of different energies, and by generating a difference image representing the difference between the two, lesions, etc.
  • Contrast-enhanced mammography that generates contrast-enhanced images is known.
  • contrast-enhanced mammography has been included in the comprehensive guideline for breast cancer imaging diagnosis called BI-RADS (Breast Imaging Reporting and Data System), so it is likely to become popular as a standard diagnostic method.
  • BPE background parenchymal enhancement
  • the technology of the present disclosure aims to provide an information processing device, an information processing method, and a program that make it possible to improve support for interpretation of images generated by contrast imaging.
  • an information processing device of the present disclosure includes at least one processor, and the processor is configured to generate a low-energy image that is imaged by irradiating a subject into which a contrast agent is injected with electromagnetic waves of a first energy. Generate a difference image representing the difference between the image and a high-energy image captured by irradiating electromagnetic waves with a second energy higher than the first energy, and at least one of the low-energy image and the high-energy image. A lesion is detected based on the image and the difference image.
  • the processor detects a lesion by combining the difference image and the low-energy image in the channel direction and inputting the combined result to the machine-learned model.
  • the machine learned model includes a channel-directed attention mechanism that weights each channel.
  • the processor detects the lesion based on the first feature extracted from the difference image and the second feature extracted from the low-energy image.
  • a machine learned model is configured by the first pre-processing block, the second pre-processing block, and the post-processing block, and the processor extracts the first feature quantity by inputting the difference image to the first pre-processing block, and extracts the first feature quantity by inputting the difference image to the first pre-processing block.
  • a second feature is extracted by inputting the energy image to a second pre-processing block, and a lesion is detected by combining the first feature and second feature in the channel direction and inputting the combined result to a post-processing block. It is preferable.
  • the machine learned model includes a channel-directed attention mechanism that weights each channel.
  • the subject is a breast and the electromagnetic wave is radiation.
  • the subject is left and right breasts
  • the low-energy images include a first low-energy image and a second low-energy image taken by irradiating each of the left and right breasts with radiation of a first energy.
  • the images include a first high-energy image and a second high-energy image taken by irradiating the left and right breasts with second-energy radiation, and the difference image includes the first low-energy image and the first high-energy image. It is preferable to include a first difference image representing a difference with the image, and a second difference image representing a difference between the second low energy image and the second high energy image.
  • the first pre-processing block and the first post-processing block constitute a first machine-learned model
  • the second pre-processing block and the second post-processing block constitute a second machine-learned model
  • the processor The first difference image and the first low energy image are combined in the channel direction and inputted to the first pre-processing block to extract the first feature amount
  • the second difference image and the second low energy image are combined in the channel direction.
  • the second feature quantity is extracted by combining and inputting it to the second front-stage calculation block
  • the second feature quantity is combined with the first feature quantity and inputted to the first rear-stage calculation block to extract the second feature quantity for one of the left and right breasts. It is preferable to detect a lesion in the other of the left and right breasts by detecting a lesion, combining the first feature with the second feature, and inputting the result to a second subsequent calculation block.
  • the processor combines the first feature amount and the second feature amount in the channel direction.
  • the processor generates a weight map representing the degree of association between the first feature amount and the second feature amount, and uses a cross-attention mechanism that weights the first feature amount and the second feature amount based on the generated weight map. It is preferable to combine the first feature amount and the second feature amount.
  • a machine-learned model is generated by training a machine learning model using training data including the input image and the correct image, and an augmented image in which the contrast between the lesioned area and the non-lesioned area of the input image is changed. It is preferable that the
  • the information processing method of the present disclosure includes a low-energy image taken by irradiating a subject into which a contrast agent has been injected with electromagnetic waves of a first energy, and a low-energy image taken by irradiating an electromagnetic wave of a second energy higher than the first energy.
  • the method includes: generating a difference image representing a difference from a captured high-energy image; and detecting a lesion based on the difference image and at least one of the low-energy image and the high-energy image. .
  • the program of the present disclosure includes a low-energy image taken by irradiating a subject with a contrast agent injected with electromagnetic waves of a first energy, and a low-energy image taken by irradiating an electromagnetic wave with a second energy higher than the first energy. Detecting a lesion based on at least one of the low energy image and the high energy image and the difference image. Let the computer run it.
  • an information processing device an information processing method, and a program that can improve support for interpretation of images generated by contrast imaging.
  • FIG. 1 is a diagram showing an example of the overall configuration of a radiographic imaging system according to a first embodiment.
  • FIG. 1 is a block diagram showing an example of the configuration of an information processing device.
  • FIG. 2 is a block diagram illustrating an example of functions realized by a control unit of the information processing device.
  • 3 is a flowchart schematically showing the flow of contrast imaging processing.
  • 3 is a flowchart schematically showing the flow of detection processing.
  • FIG. 3 is a diagram schematically showing lesion detection processing by a lesion detection processing section.
  • FIG. 2 is a diagram conceptually illustrating an example of the configuration of a machine learned model.
  • FIG. 3 is a diagram illustrating an example of an attention mechanism in the channel direction.
  • FIG. 7 is a diagram schematically showing lesion detection processing according to a second modification.
  • FIG. 12 conceptually shows the configuration of a machine learned model according to a third modification.
  • FIG. 6 is a diagram conceptually illustrating a process of combining a first feature map and a second feature map. It is a figure which shows schematically the lesion detection process by the lesion detection processing part based on the 4th modification.
  • FIG. 7 is a diagram schematically showing a modification of the combination process.
  • FIG. 3 is a diagram schematically showing a combination process using a cross-attention mechanism.
  • FIG. 2 is a diagram conceptually illustrating an example of machine learning processing of a machine learning model.
  • FIG. 3 is a diagram conceptually showing data expansion processing.
  • FIG. 7 is a diagram schematically showing lesion detection processing by a lesion detection processing section according to a second embodiment.
  • FIG. 7 is a block diagram showing the configuration of an information processing device according to a modification of the second embodiment.
  • FIG. 7 is a block diagram showing the configuration of an information processing device according to another modification of the second embodiment.
  • FIG. 1 shows an example of the overall configuration of a radiation imaging system 2 according to the first embodiment.
  • the radiographic imaging system 2 includes a mammography device 10 and an information processing device 12.
  • the information processing device 12 is connected to an RIS (Radiology Information System), a PACS (Picture Archiving and Communication System), etc. (not shown) via a network or the like.
  • RIS Radiology Information System
  • PACS Picture Archiving and Communication System
  • FIG. 1 shows an example of the appearance of the mammography apparatus 10. Note that FIG. 1 shows an example of the appearance of the mammography apparatus 10 when viewed from the left side of the subject.
  • the mammography apparatus 10 operates under the control of the information processing apparatus 12, and generates a radiographic image of the breast M by emitting radiation R (for example, X-rays) from a radiation source 29 using the breast M of the subject as the subject.
  • radiation R for example, X-rays
  • This is a radiation imaging device that takes images of.
  • the radiation R is an example of "electromagnetic waves" according to the technology of the present disclosure.
  • the mammography apparatus 10 includes an imaging table 24, a base 26, an arm section 28, and a compression unit 32.
  • a radiation detector 20 is arranged inside the imaging table 24.
  • a breast M of a subject is positioned on the imaging table 24 by a user such as a radiologist.
  • the radiation detector 20 detects the radiation R that has passed through the breast M that is the subject. Specifically, the radiation detector 20 detects the radiation R that has entered the subject's breast M and the imaging table 24 and reached the detection surface 20A of the radiation detector 20, and based on the detected radiation R, the radiation Generate an image. The radiation detector 20 outputs image data representing the generated radiation image.
  • imaging a series of operations in which radiation R is emitted from the radiation source 29 and a radiation image is generated by the radiation detector 20 may be referred to as "imaging".
  • the radiation detector 20 may be an indirect conversion type radiation detector that converts the radiation R into light and converts the converted light into electric charges, or a direct conversion type radiation detector that converts the radiation R directly into electric charges. It may be a vessel.
  • the X direction and the Y direction two directions that are perpendicular to each other and parallel to the detection surface 20A are referred to as the X direction and the Y direction. Further, the direction perpendicular to the X direction and the Y direction is defined as the Z direction.
  • a compression plate 30 used to compress the breast M during imaging is attached to the compression unit 32.
  • the compression plate 30 is moved toward or away from the imaging table 24 by a compression plate drive unit (not shown) provided in the compression unit 32 .
  • the compression plate 30 compresses the breast M between the imaging table 24 and the imaging table 24 by moving in a direction approaching the imaging table 24.
  • the arm portion 28 is rotatable with respect to the base 26 by the shaft portion 27.
  • the shaft portion 27 is fixed to the base 26, and the shaft portion 27 and the arm portion 28 rotate together.
  • the shaft portion 27 and the compression unit 32 of the photographing table 24 are each provided with a gear, and by switching between the meshing state and the non-meshing state of the gears, the compression unit 32 of the photographing table 24 and the shaft portion 27 are connected. It is possible to switch between a state in which they rotate together and a state in which the shaft portion 27 is separated from the imaging platform 24 and rotates idly. Note that switching between transmitting and non-transmitting the power of the shaft portion 27 is not limited to the gear described above, and various mechanical elements can be used.
  • the arm portion 28 and the photographing table 24 are separately rotatable relative to the base 26 using the shaft portion 27 as a rotation axis.
  • the mammography apparatus 10 can image each of the left and right breasts M from a plurality of directions by rotating the arm section 28. For example, it is possible to perform cranio-caudal (CC) imaging and medio-lateral oblique (MLO) imaging.
  • CC cranio-caudal
  • MLO medio-lateral oblique
  • the radiographic imaging system 2 enables "contrast imaging” in which imaging is performed with a contrast medium injected into the breast M.
  • the radiographic imaging system 2 has a CEDM (Contrast Enhanced Digital Mammography) function that performs contrast enhancement using energy subtraction.
  • CEDM Contrast Enhanced Digital Mammography
  • a low-energy image and a high-energy image are obtained by irradiating the breast M into which a contrast agent has been injected with radiation R of different energies and performing imaging.
  • a radiation image taken by radiation R having a first energy is referred to as a "low energy image”
  • a radiation image taken by radiation R having a second energy higher than the first energy is referred to as a "high energy image”. That's what it means.
  • low-energy images and high-energy images are not distinguished, they will simply be referred to as radiation images.
  • an iodine contrast agent with a k-absorption edge of 32 keV is used as a contrast agent.
  • the first energy may be set lower than the k-absorption edge, and the second energy may be set higher than the k-absorption edge.
  • the contrast medium and body tissues such as mammary glands have different absorption characteristics of the radiation R. Therefore, in addition to body tissues such as mammary glands and fat, contrast agents are clearly visible in high-energy images. On the other hand, although body tissues are clearly visible in low-energy images, contrast agents are hardly visible. Therefore, by taking the difference between the low-energy image and the high-energy image, it is possible to generate a difference image in which the mammary gland structure is erased and lesions and the like stained with a contrast agent are emphasized. Lesions, for example, consist of neoplastic cells and are therefore easily stained with contrast agents.
  • the mammography apparatus 10 and the information processing apparatus 12 are connected by wired or wireless communication.
  • a radiation image generated by the radiation detector 20 in the mammography apparatus 10 is output to the information processing apparatus 12 by wired or wireless communication via a communication I/F (Interface), not shown.
  • FIG. 2 shows an example of the configuration of the information processing device 12.
  • the information processing device 12 includes a control section 40, a storage section 42, an operation section 44, a display 46, and a communication I/F 48.
  • the control unit 40, the storage unit 42, the operation unit 44, the display 46, and the communication I/F 48 are connected to each other via a bus 49 so that they can exchange various information with each other.
  • the control unit 40 controls the overall operation of the radiation imaging system 2.
  • the control unit 40 is configured by a computer including, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory).
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 42 stores information regarding radiography, radiation images acquired from the mammography apparatus 10, and the like. Furthermore, the storage unit 42 stores a program 42A for the control unit 40 to perform various types of information processing, which will be described later, and data for configuring various machine learned models, which will be described later.
  • the storage unit 42 is, for example, a nonvolatile storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the operation unit 44 includes input devices such as various buttons, switches, a touch panel, a touch pen, and a mouse that are operated by the user.
  • the display 46 displays information regarding imaging, a radiation image obtained by imaging, a lesion detection result by a lesion detection process to be described later, and the like.
  • the communication I/F 48 communicates various data such as information regarding radiography and radiographic images with the mammography apparatus 10, RIS, PACS, etc. through wired or wireless communication.
  • FIG. 3 shows an example of functions realized by the control unit 40 of the information processing device 12.
  • the control unit 40 implements various functions by executing processing based on the program 42A stored in the storage unit 42.
  • the control unit 40 functions as an imaging control unit 50, an image acquisition unit 51, a difference image generation unit 52, a lesion detection processing unit 53, and a display control unit 54.
  • FIG. 4 schematically shows the flow of contrast imaging processing. The processing by the photographing control unit 50 will be explained with reference to FIG. 4.
  • a user such as a radiologist injects a contrast agent into the breast M of the subject, positions the breast M injected with the contrast agent on the imaging table 24, and compresses the breast M. Apply pressure with the plate 30.
  • step S10 the imaging control unit 50 determines whether an instruction to irradiate radiation R has been received. Upon receiving the irradiation instruction, the imaging control unit 50 outputs an instruction for irradiating the radiation R of the first energy to the mammography apparatus 10 in step S11. In the mammography apparatus 10, a low-energy image LE is captured by irradiating the breast M with radiation R having the first energy.
  • the imaging control unit 50 outputs an instruction to the mammography apparatus 10 to irradiate the second energy radiation R.
  • a high-energy image HE is captured by irradiating the breast M with radiation R of the second energy. Note that the high-energy image HE may be photographed before the low-energy image LE.
  • the user When the user finishes capturing the low-energy image LE and high-energy image HE for the breast M, the user releases the compression on the breast M for which the image has been captured.
  • FIG. 5 schematically shows the flow of the detection process. Processing by the image acquisition section 51, the difference image generation section 52, the lesion detection processing section 53, and the display control section 54 will be described with reference to FIG.
  • step S20 the image acquisition unit 51 acquires the low energy image LE and high energy image HE photographed by the above-described contrast imaging process.
  • the difference image generation unit 52 generates a difference image RC representing the difference between the low energy image LE and the high energy image HE.
  • the difference image generation unit 52 generates an image obtained by multiplying the low energy image LE by a first weighting coefficient and an image obtained by multiplying the high energy image HE by a second weighting coefficient. By subtracting each pixel, a difference image RC is generated.
  • the lesion detection processing unit 53 uses the difference image RC and the low energy image LE to perform lesion detection processing, which will be described later.
  • the display control unit 54 displays the lesion detection result by the lesion detection process on the display 46.
  • the display control unit 54 may display the difference image RC on the display 46 along with the lesion detection results.
  • FIG. 6 schematically shows lesion detection processing by the lesion detection processing section 53.
  • the lesion detection processing unit 53 detects the lesion L by inputting the difference image RC and the low energy image LE to a machine learned model (MLM) 60 that functions as a lesion detection unit.
  • MLM 60 is configured by a convolutional neural network (CNN).
  • CNN convolutional neural network
  • FCN Fast Convolutional Networks
  • image P outputs an image P in which the region of the lesion L is specified by performing segmentation.
  • image P an area including the lesion L is displayed in a different color from other areas.
  • Image P is a so-called segmentation map.
  • the MLM 60 may be configured with Segnet, U-net, etc. that enable semantic segmentation.
  • the lesion detection processing unit 53 combines the difference image RC and the low energy image LE in the channel direction and inputs the combined result to the MLM 60.
  • combining the difference image RC and the low energy image LE in the channel direction means to overlap the difference image RC and the low energy image LE in the channel direction.
  • FIG. 7 conceptually shows an example of the configuration of the MLM 60.
  • the MLM 60 is composed of an encoder 60A and a decoder 60B.
  • Encoder 60A includes a convolution layer and a pooling layer.
  • Decoder 60B includes a deconvolution layer and a depooling layer.
  • a difference image RC and a low energy image LE combined in the channel direction are input to the encoder 60A.
  • the encoder 60A performs encoding processing including convolution processing and pooling processing on the input difference image RC and low energy image LE.
  • the encoder 60A generates a three-channel feature map FM1 by performing convolution processing on the difference image RC and the low-energy image LE, and performs a pooling process on the generated feature map FM1. By executing this, a three-channel feature map FM2 whose size has been reduced is generated.
  • the encoder 60A generates a 6-channel feature map FM3 by performing convolution processing on the feature map FM2, and performs a pooling process on the generated feature map FM3 to reduce the size of the 6-channel feature map FM3.
  • a channel feature map FM4 is generated. The number of channels for each feature map is determined by the number of filters used when performing convolution processing.
  • the decoder 60B performs decoding processing including depooling processing and deconvolution processing on the feature quantity output from the encoder 60A.
  • the decoder 60B generates a 6-channel feature map FM5 whose size has been expanded by performing de-pooling processing on the feature map FM4 output from the encoder 60A, and the generated feature map A three-channel feature map FM6 is generated by performing deconvolution processing on FM5.
  • the decoder 60B generates a 3-channel feature map FM7 whose size has been expanded by performing a depooling process on the feature map FM6, and performs a deconvolution process on the generated feature map FM7.
  • a feature map FM8 having channels equal to the number of classes is generated. The number of channels in the feature map is determined by the number of filters used when performing deconvolution processing.
  • the number of classes which is the number of channels of the feature map FM8, is two classes: whether it is a lesion L or not.
  • the decoder 60B outputs the feature map FM8 as an image P in which the region of the lesion L described above is specified.
  • the display control unit 54 displays the difference image RC on the display 46, and displays a marker such as an arrow for specifying the position of the lesion L specified by the image P in the difference image RC.
  • the number of convolution layers, the number of pooling layers, the number of filters used for convolution processing, etc. included in the encoder 60A can be changed as appropriate.
  • the number of deconvolution layers, the number of depooling layers, the number of filters used for deconvolution processing, etc. included in the decoder 60B can be changed as appropriate.
  • the lesion detection process is performed using the difference image RC and the low energy image LE. Since the low-energy image LE contains more mammary gland information than the difference image RC, by using the low-energy image LE in addition to the difference image RC for lesion detection processing, machine learning and lesion detection that take mammary gland information into account can be performed. It becomes possible. This makes it possible to accurately detect a lesion that is highly likely to be a breast cancer or the like that is contrast-enhanced in a region other than the mammary gland region. Therefore, according to the present embodiment, support for interpretation of images generated by contrast imaging is improved.
  • the lesion detection processing unit 53 may perform the lesion detection process using the difference image RC and the high energy image HE instead of the low energy image LE. Furthermore, the lesion detection processing unit 53 may perform the lesion detection process using the high energy image HE in addition to the difference image RC and the low energy image LE. That is, the lesion detection processing unit 53 may combine the difference image RC and the high-energy image HE in the channel direction and input it to the MLM 60, or the difference image RC, the low-energy image LE, and the high-energy image HE may be combined in the channel direction. The signals may be combined in the direction and input to the MLM 60.
  • the technique of the present disclosure is characterized in that a lesion is detected based on at least one of the low-energy image LE and the high-energy image HE, and the difference image RC.
  • the first modification differs from the above embodiment in that the MLM 60 is provided with an attention mechanism in the channel direction.
  • FIG. 8 shows an example of an attention mechanism in the channel direction.
  • the SE (Squeeze-and-Excitation) block 70 shown in FIG. 8 is an example of an attention mechanism in the channel direction, and weights each channel of one or more feature maps generated inside the MLM 60.
  • the MLM 60 processes channels with larger weights with more attention than channels with smaller weights.
  • the SE block 70 generates an attention mask 72 representing the weight of each channel by executing Squeeze processing and Excitation processing.
  • the SE block 70 performs global pooling processing on the feature map FM to generate a one-dimensional vector 71 having a width and a height of 1 and a channel number of C.
  • the number of channels C is the number of channels of the feature map FM.
  • the SE block 70 generates an attention mask 72 by applying two fully connected layers to the one-dimensional vector 71. Attention mask 72 represents how much each channel should be emphasized.
  • the MLM 60 weights each channel of the feature map FM based on the attention mask 72 generated by the SE block 70.
  • the MLM 60 may apply the SE block 70 to all feature maps generated in the above-described process, or may apply the SE block 70 to some feature maps.
  • the second modification differs from the above embodiment in that the MLM 60 is configured to perform object detection instead of segmentation.
  • FIG. 9 schematically shows lesion detection processing according to the second modification.
  • the MLM 60 is configured with R-CNN (Regions with CNN features), which is a type of CNN, and detects the lesion L as an object.
  • R-CNN Regions with CNN features
  • the lesion detection processing unit 53 combines the difference image RC and the low energy image LE in the channel direction and inputs the combined result to the MLM 60.
  • the MLM 60 performs a sliding window lesion detection process in which an object is detected by cutting out a patch from the window while sliding the window on the combined image of the difference image RC and the low energy image LE.
  • the MLM 60 detects the lesion L based on the difference image RC and the low-energy image LE, and displays a rectangular bounding box B including the detected lesion L on the difference image RC.
  • the MLM 60 outputs the difference image RC displaying the bounding box B as the detection result RL of the lesion L.
  • the MLM 60 may display the bounding box B on the low-energy image LE on the difference image RC.
  • the lesion detection processing unit 53 may perform the lesion detection process using the difference image RC and the high energy image HE instead of the low energy image LE. Furthermore, the lesion detection processing unit 53 may perform the lesion detection process using the high energy image HE in addition to the difference image RC and the low energy image LE.
  • the third modified example is different from the above embodiment in that the feature amount extracted from the difference image RC and the feature amount extracted from the low energy image LE are combined instead of combining the difference image RC and the low energy image LE. different.
  • FIG. 10 conceptually shows the configuration of an MLM 60 according to a third modification.
  • the MLM 60 according to this modification includes a first pre-processing block 61A, a second pre-processing block 61B, and a post-processing block 62.
  • the first front-stage calculation block 61A, the second front-stage calculation block 61B, and the second-stage calculation block 62 are each configured by a CNN.
  • the lesion detection processing unit 53 extracts the first feature map F1 by inputting the difference image RC to the first pre-processing block 61A, and inputs the low-energy image LE to the second pre-processing block 61B. By doing so, the second feature map F2 is extracted. Then, the lesion detection processing unit 53 combines the first feature map F1 and the second feature map F2 in the channel direction and inputs the combined result to the subsequent calculation block 62. The subsequent calculation block 62 outputs an image P in which the region of the lesion L is specified by performing segmentation. Note that the subsequent calculation block 62 may be configured to detect the lesion L as an object, similarly to the first modification.
  • the first feature map F1 is an example of a "first feature amount” according to the technology of the present disclosure.
  • the first feature map F2 is an example of a "second feature amount" according to the technology of the present disclosure.
  • FIG. 11 conceptually shows the process of combining the first feature map F1 and the second feature map F2.
  • the lesion detection processing unit 53 combines the first feature map F1 and the second feature map F2 so that they overlap in the channel direction. That is, the overall size of the combined first feature map F1 and second feature map F2 is the same as each size of the first feature map F1 and second feature map F2, but the number of channels is doubled.
  • the feature amount extracted from the difference image RC and the feature amount extracted from the low-energy image LE are combined, but the feature amount extracted from the difference image RC and the feature amount extracted from the high-energy image HE are combined. May be combined with quantity. That is, instead of the low energy image LE, the high energy image HE may be input to the second pre-stage calculation block 61B.
  • the fourth modified example shows an example in which lesion detection processing is performed on the left and right breasts M.
  • the image acquisition unit 51 acquires a low-energy image LE and a high-energy image HE, which are photographed by contrast imaging processing, for the left and right breasts M, respectively.
  • the low energy image LE and high energy image HE for the left breast M will be referred to as "first low energy image LE1" and “first high energy image HE1", respectively.
  • the low energy image LE and high energy image HE for the right breast M are referred to as a "second low energy image LE2" and a "second high energy image HE2", respectively.
  • the difference image generation unit 52 generates a difference image RC representing the difference between the low energy image LE and the high energy image HE for each of the left and right breasts M.
  • the difference image RC representing the difference between the first low energy image LE1 and the first high energy image HE1 will be referred to as “first difference image RC1”
  • the difference between the second low energy image LE2 and the second high energy image HE2 will be referred to as “first difference image RC1”.
  • the difference image RC representing the difference image RC is referred to as the "second difference image RC2".
  • the lesion detection processing unit 53 detects a lesion from the left breast M using the first difference image RC1 and the first low energy image LE1. Furthermore, the lesion detection processing unit 53 detects a lesion from the right breast M using the second difference image RC2 and the second low energy image LE2.
  • FIG. 12 schematically shows lesion detection processing by the lesion detection processing section 53 according to the fourth modification.
  • the first MLM 60A includes a first front-stage calculation block 63A and a first rear-stage calculation block 64A.
  • the second MLM 60B includes a second front-stage calculation block 63B and a second rear-stage calculation block 64B.
  • the lesion detection processing unit 53 combines the first difference image RC1 and the first low energy image LE1 in the channel direction and inputs the combined result to the first MLM 60A, and combines the second difference image RC2 and the second low energy image LE2 in the channel direction.
  • the signals are combined and input to the second MLM 60B.
  • the first pre-stage calculation block 63A outputs the first feature map F1 generated by performing convolution processing.
  • the second pre-stage calculation block 63B outputs the second feature map F2 generated by performing the convolution process.
  • the lesion detection processing unit 53 combines the first feature map F1 with the second feature map F2 and inputs the result to the first post-stage calculation block 64A, and combines the first feature map F1 with the second feature map F2 and inputs it into the second post-stage calculation block 64A. Input to calculation block 64B.
  • the lesion detection processing unit 53 combines the first feature map F1 and the second feature map F2 in the channel direction.
  • the first pre-stage calculation block 63A and the second pre-stage calculation block 63B have the same configuration and share filter weights.
  • the first post-stage calculation block 64A and the second post-process calculation block 64B have the same configuration and share the same filter weight.
  • the first subsequent calculation block 64A performs segmentation based on the combined first feature map F1 and second feature map F2, and outputs an image P1 in which the region of the lesion L of the left breast M is identified as a detection result RL1. do.
  • the second latter-stage calculation block 64B performs segmentation based on the combined first feature map F1 and second feature map F2, and generates an image P2 in which the region of the lesion L of the right breast M is identified as a detection result. Output as RL2.
  • the first feature map F1 and the second feature map F2 are cross-combined, machine learning and lesion detection that take into account the symmetry of the left and right breasts M are possible. For example, a lesion candidate detected from only one of the left and right breasts M is highly likely to be a lesion. In this modification, it is possible to accurately detect a left-right asymmetric lesion candidate as a lesion.
  • the first difference image RC1 and the first low energy image LE1 are combined and input to the first MLM 60A, but the first difference image RC1 and the first high energy image HE1 are combined and input to the first MLM 60A. It may also be input to the first MLM 60A.
  • the second difference image RC2 and the second low energy image LE2 are combined and input to the second MLM 60B, but the second difference image RC2 and the second high energy image HE2 are combined and input to the second MLM 60B. It may also be input to the second MLM 60B.
  • the lesion detection processing unit 53 combines the first feature map F1 and the second feature map F2 in the channel direction, but as shown in FIG.
  • the two feature maps F2 may be combined in the row direction or column direction (that is, in the X direction or the Y direction).
  • the lesion detection processing section 53 may combine the first feature map F1 and the second feature map F2 via the cross-attention mechanism 80.
  • the cross-attention mechanism 80 calculates the weight map A1 by performing a matrix calculation that multiplies the first feature map F1 by the second feature map F2, and performs a matrix calculation that multiplies the second feature map F2 by the first feature map F1. By doing so, the weight map A2 is calculated.
  • the weight map A1 and the weight map A2 each represent the degree of association between the first feature map F1 and the second feature map F2.
  • the cross-attention mechanism 80 weights the first feature map F1 based on the weight map A1, and weights the second feature map F2 based on the weight map A2.
  • the weighted first feature map F1a is input to the first subsequent calculation block 64A.
  • the weighted second feature map F2a is input to the second subsequent calculation block 64B.
  • FIG. 15 conceptually shows an example of machine learning processing by the machine learning model 90.
  • the MLM 60 is generated by subjecting a machine learning model 90 to machine learning using teacher data 100 in a learning phase.
  • the teacher data 100 is composed of a combination of an input image IM and a correct image TM.
  • a large number of input images IM and ground-truth images TM are used in the learning process of the machine learning model 90.
  • the input image IM is an image obtained by combining the difference image RC and the low energy image LE in the channel direction.
  • the correct image TM is an image in which the area of the true lesion L is specified.
  • machine learning is performed using, for example, the error backpropagation method.
  • the process includes calculating the error between the image obtained by inputting the input image IM into the machine learning model 90 and the correct image TM, and updating the model parameters of the machine learning model 90 based on the result of the error calculation. is repeated.
  • the model parameters include filter weights and the like.
  • data augmentation processing is performed.
  • an augmented image is created based on the input image IM by changing the contrast between the area containing the lesion L (hereinafter referred to as the lesion area) and other areas (hereinafter referred to as the non-lesion area).
  • AM is generated.
  • machine learning of the machine learning model 90 is performed using the expanded image AM and the correct image TM generated by the data expansion process.
  • FIG. 16 conceptually shows the data expansion process.
  • a high-contrast image RCH which is a high-contrast difference image RC
  • a low-contrast image RCL which is a low-contrast difference image RC
  • the lesion area is extracted from the high contrast image RCH by applying the mask information MK1 that specifies the lesion area to the high contrast image RCH.
  • mask information MK2 that specifies a non-lesion area to the low contrast image RCL
  • the non-lesion area is extracted from the low contrast image RCL.
  • an expanded image AM in which the contrast between the lesion area and the non-lesion area has changed is generated.
  • data expansion processing may be performed on the low energy image LE.
  • contrast imaging after a contrast medium is injected into the breast M, the contrast between the lesion area and the non-lesion area changes.
  • the contrast medium washes out more easily than in the lesioned region, so the contrast between the lesion and the BPE region changes depending on the elapsed time after injection of the contrast medium. That is, the contrast between the lesion area and the non-lesion area changes depending on the imaging timing after the contrast agent is injected. Therefore, by performing the data expansion process described above, it is possible to generate a machine learning model 90 that is highly robust against variations in imaging timing.
  • the machine learning model 90 it is preferable to train the machine learning model 90 by generating a plurality of augmented images AM with different contrasts between lesioned and non-lesioned areas from one input image IM.
  • the machine learning model 90 subjected to machine learning in the learning phase is stored in the storage unit 42 as the MLM 60.
  • machine learning of the machine learning model 90 may be performed by the information processing device 12 or may be performed by an external device.
  • the MLM 60 may be generated by performing machine learning on the machine learning model 90 using only the low energy image LE, and then relearning the machine learning model 90 using the difference image RC and the low energy image LE. .
  • the mammography apparatus 10 acquires a radiation image by irradiating the breast M with radiation R from one angle.
  • the mammography apparatus 10 enables tomosynthesis imaging in which a series of a plurality of radiation images is acquired by irradiating the breast M with radiation from a plurality of angles.
  • the mammography apparatus 10 acquires a low-energy image LE and a high-energy image HE by irradiating a breast M into which a contrast agent has been injected with radiation R having different energy for each angle. That is, by tomosynthesis imaging, a low-energy image group LEG consisting of a plurality of low-energy images LE and a high-energy image group HEG consisting of a plurality of high-energy images HE are generated.
  • the difference image generation unit 52 generates a difference image RC representing the difference between the low energy image LE and the high energy image HE for each angle. As a result, a difference image group RCG consisting of a plurality of difference images RC is generated.
  • FIG. 17 schematically shows lesion detection processing by the lesion detection processing section 53 according to the second embodiment.
  • the lesion detection processing unit 53 performs lesion detection processing by inputting the differential image group RCG and the low energy image group LEG to the MLM 60. It is preferable that the lesion detection processing unit 53 combines the difference image group RCG and the low energy image group LEG in the channel direction and inputs the combined result to the MLM 60. Furthermore, the lesion detection processing unit 53 may input at least one of the low-energy image group LEG and the high-energy image group HEG, and the difference image group RCG to the MLM 60. Other processes in this embodiment are similar to those in the first embodiment.
  • the low-energy image LE and the high-energy image HE are obtained by irradiating the breast M with radiation R having different energy for each angle, so that the low-energy image LE and the high-energy image HE are obtained at the same angle. Misalignment of the breast M between LE and high-energy image HE is suppressed. Thereby, a highly reliable differential image group RCG can be generated, and lesions can be detected with high accuracy.
  • a CT (Computed Tomography) device 10A can be used instead of the mammography device 10.
  • the CT apparatus 10A photographs a plurality of radiographic images while rotating a pair of radiation sources and a radiation detector around a subject into which a contrast agent has been injected.
  • the CT apparatus 10A of this embodiment enables so-called dual-energy CT in which a subject is irradiated with radiation of a first energy and radiation of a second energy higher than the first energy. For example, two 360° scans are performed around the subject using first energy and second energy.
  • a low-energy image group LEG and a high-energy image group HEG are generated.
  • the radiation energy is changed for each scan, so compared to tomosynthesis imaging, the position of the subject that occurs between the low-energy image LE and the high-energy image HE acquired at the same angle is It is thought that the amount of deviation is large. For this reason, as shown in FIG. 18, it is preferable to provide a positional deviation correction section 55 after the image acquisition section 51.
  • the positional deviation correction unit 55 corrects the positional deviation of the subject between the low-energy image group LEG and the high-energy image group HEG.
  • the positional deviation correction unit 55 supplies the low-energy image group LEG and the high-energy image group HEG whose positional deviations have been corrected to the difference image generation unit 52, and supplies the low-energy image group LEG to the lesion detection processing unit 53. Other processing is the same as in the first embodiment.
  • the breast is the object to be examined, so energy subtraction is performed to erase the mammary gland structure, which erases almost all normal tissue, but in CT, the object is the human body, so the composition is different. Normal tissue is present.
  • an erasure target instruction section 56 that instructs the difference image generation section 52 about the composition of the erasure target.
  • the user can use the operation unit 44 to specify the composition to be erased.
  • Compositions that can be specified as objects to be erased include, for example, bones, soft tissues, organs, and the like.
  • the deletion target instructing unit 56 acquires information on the designated deletion target using the operation unit 44 and instructs the difference image generation unit 52 about the deletion target.
  • the difference image generating unit 52 changes the composition of the object to be erased from the difference image RC by changing the first weighting coefficient multiplied by the low energy image LE and the second weighting factor multiplied by the high energy image HE, depending on the object to be erased. remove.
  • MRI Magnetic Resonance Imaging
  • the CT apparatus 10A uses a magnetic field to image the amount of water present in cells, tissues, etc. within the subject.
  • energy subtraction using a contrast agent can be performed as in CT.
  • the subject under a high magnetic field, the subject is irradiated with electromagnetic waves of a first energy and electromagnetic waves of a second energy higher than the first energy, and a low-energy image group LEG and a high-energy image group are generated.
  • HEG is generated.
  • the control unit 40 may store information regarding contrast imaging, information on the subject who underwent contrast imaging, and the like in the storage unit 42 or the like as data.
  • the control unit 40 controls the injection start time of the contrast medium into the breast M, the imaging time of contrast imaging (or the elapsed time from the start of the injection of the contrast medium to the time of imaging), the thickness of the breast M, the imaging conditions (tube voltage etc.), and other patient information (age, menstrual cycle, presence or absence of menopause, etc.) may be stored in the storage unit 42 or the like.
  • the imaging control section 50 the image acquisition section 51, the difference image generation section 52, the lesion detection processing section 53, the display control section 54, the positional deviation correction section 55, and the deletion target instruction section
  • the hardware structure of a processing unit such as 56 that executes various processes the following various processors can be used.
  • the various processors mentioned above include a GPU (Graphics Processing Unit) in addition to a CPU.
  • the various processors mentioned above are not limited to general-purpose processors such as CPUs that execute software (programs) and function as various processing units, and the circuit configuration can be changed after manufacturing FPGA (Field Programmable Gate Array) etc.
  • FPGA Field Programmable Gate Array
  • specialized electrical circuits such as programmable logic devices (PLDs), which are processors, and dedicated electric circuits, which are processors with circuit configurations specifically designed to execute specific processes, such as ASICs (Application Specific Integrated Circuits). It will be done.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs, or a combination of a CPU and an FPGA). combination). Further, the plurality of processing units may be configured with one processor.
  • one processor is configured with a combination of one or more CPUs and software, as typified by computers such as a client and a server.
  • a processor functions as multiple processing units.
  • processors that use a single IC (Integrated Circuit) chip, such as System On Chip (SoC), which implements the functions of an entire system including multiple processing units. be.
  • SoC System On Chip
  • various processing units are configured using one or more of the various processors described above as a hardware structure.
  • circuitry that is a combination of circuit elements such as semiconductor elements can be used.
  • the program 42A is stored in advance in the storage unit 42, but the present invention is not limited thereto.
  • the program 42A is provided in a form recorded non-temporarily on a recording medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Memory), or a USB (Universal Serial Bus) memory. may be done. Further, the program 42A may be downloaded from an external device via a network.
  • [Additional note 1] comprising at least one processor;
  • the processor includes: A low-energy image taken by irradiating a subject with a contrast agent injected with electromagnetic waves of a first energy; and a high-energy image taken by irradiating an electromagnetic wave with a second energy higher than the first energy.
  • Information processing device includes: Detecting a lesion by combining the difference image and the low energy image in the channel direction and inputting the resultant to a machine learned model;
  • the information processing device according to Supplementary Note 1.
  • the machine learned model includes a channel-directed attention mechanism that weights each channel.
  • the information processing device according to Additional Note 2.
  • the processor includes: detecting a lesion based on a first feature extracted from the difference image and a second feature extracted from the low energy image; The information processing device according to Supplementary Note 1.
  • a machine learned model is configured by the first front-stage calculation block, the second front-stage calculation block, and the second-stage calculation block,
  • the processor includes: extracting the first feature amount by inputting the difference image to the first pre-processing block; extracting the second feature amount by inputting the low energy image to the second pre-stage calculation block; detecting a lesion by combining the first feature amount and the second feature amount in the channel direction and inputting the resultant to the subsequent calculation block;
  • the information processing device according to Supplementary Note 4.
  • the machine learned model includes a channel-directed attention mechanism that weights each channel.
  • the information processing device according to Supplementary Note 5.
  • the subject is a breast, the electromagnetic wave is radiation; The information processing device according to any one of Additional Notes 1 to 6.
  • the subject is left and right breasts,
  • the low energy image includes a first low energy image and a second low energy image taken by irradiating each of the left and right breasts with radiation of the first energy
  • the high-energy image includes a first high-energy image and a second high-energy image taken by irradiating each of the left and right breasts with radiation of the second energy
  • the difference images include a first difference image representing a difference between the first low energy image and the first high energy image, and a second difference image representing a difference between the second low energy image and the second high energy image.
  • a first machine learned model is configured by a first pre-processing block and a first post-processing block
  • a second machine learned model is configured by a second front-stage calculation block and a second rear-stage calculation block
  • the processor includes: extracting a first feature amount by combining the first difference image and the first low energy image in the channel direction and inputting the resultant to the first pre-processing block; extracting a second feature amount by combining the second difference image and the second low energy image in the channel direction and inputting the resultant to the second pre-stage calculation block; detecting a lesion in one of the left and right breasts by combining the second feature with the first feature and inputting the result to the first subsequent calculation block; detecting a lesion in the other of the left and right breasts by combining the first feature with the second feature and inputting the result to the second subsequent calculation block;
  • the information processing device according to Supplementary Note 8.
  • the processor includes: combining the first feature amount and the second feature amount in the channel direction; The information processing device according to Supplementary Note 9.
  • the processor includes: A cross-attention mechanism that generates a weight map representing the degree of association between the first feature amount and the second feature amount, and weights the first feature amount and the second feature amount based on the generated weight map, combining the first feature amount and the second feature amount; The information processing device according to Supplementary Note 10.
  • the machine learned model is created by training a machine learning model using training data including an input image and a correct image, and an extended image in which the contrast between a lesion area and a non-lesion area of the input image is changed. is generated, The information processing device according to any one of Additional Notes 2, 3, 5, and 6.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本開示の情報処理装置は、少なくとも１つのプロセッサを備え、プロセッサは、造影剤が注入された被検体に第１エネルギの電磁波を照射することにより撮影された低エネルギ画像と第１エネルギよりも高い第２エネルギの電磁波を照射することにより撮影された高エネルギ画像との差分を表す差分画像を生成し、低エネルギ画像と高エネルギ画像とのうちの少なくともいずれか１つと、差分画像と、に基づいて病変を検出する。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　造影剤が注入された乳房に対してエネルギが異なる放射線を照射して撮影を行うことにより低エネルギ画像と高エネルギ画像とを取得し、両者の差分を表す差分画像を生成することにより、病変等が造影強調された画像を生成する造影マンモグラフィが知られている。近年、造影マンモグラフィは、ＢＩ－ＲＡＤＳ（Breast Imaging Reporting and Data System）と呼ばれる乳がん画像診断の総合ガイドラインに掲載されたことから、標準的な診断方法として普及する可能性が高い。
　しかしながら、造影マンモグラフィにより得られた画像の読影は難易度が高い。その一因は、造影剤による背景乳腺実質の増強（ＢＰＥ：Background Parenchymal Enhancement）効果である。ＢＰＥは、造影剤による乳腺の正常構造の増強の程度を表しており、ＢＰＥの程度により、増強された病変の視認性が大きく異なる。このように、造影マンモグラフィでは読影の難易度が高いため、読影に慣れていない医師でも標準的な読影が可能となるように支援することが望まれている。
　マンモグラフィにおける画像の読影の支援に関連する技術として、例えば、文献１（Richa Agarwal, et al., 'Deep learning for mass detection in Full Field Digital Mammograms', [online]; Computers in Biology and Medicine 121 (2020) 103774, [retrieved on 2022-08-16]. Retrieved from the Internet: <URL: https://www.sciencedirect.com/science/article/pii/S001048252030144X>.）では、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Region-based Convolutional Neural Network）を用いて乳がん等の病変を検出することが提案されている。
　上述の差分画像を用いて病変検出を行った場合、乳腺に埋もれた病変を精度よく検出することが可能である。しかしながら、差分画像は乳腺の情報が少ないため、乳腺領域を正確に判断することは難しい。乳腺領域以外の領域で造影強調された部分は乳がん等の病変である可能性が高いが、乳腺の情報が少ない差分画像を用いた病変検出では、乳腺領域と増強領域の関連性を考慮することができないため、このような病変が検出されない可能性がある。
　したがって、差分画像を用いて、文献１に記載のＦａｓｔｅｒ Ｒ－ＣＮＮにより病変検出を行ったとしても、画像の読影の支援を十分に行うことはできない。
　本開示の技術は、造影撮影により生成される画像の読影の支援の向上を図ることを可能とする情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。
　上記目的を達成するために、本開示の情報処理装置は、少なくとも１つのプロセッサを備え、プロセッサは、造影剤が注入された被検体に第１エネルギの電磁波を照射することにより撮影された低エネルギ画像と第１エネルギよりも高い第２エネルギの電磁波を照射することにより撮影された高エネルギ画像との差分を表す差分画像を生成し、低エネルギ画像と高エネルギ画像とのうちの少なくともいずれか１つと、差分画像と、に基づいて病変を検出する。
　プロセッサは、差分画像と低エネルギ画像とをチャネル方向に結合して機械学習済みモデルに入力することにより病変を検出することが好ましい。
　機械学習済みモデルは、各チャネルに重み付けを行うチャネル方向のアテンション機構を備えることが好ましい。
　プロセッサは、差分画像から抽出した第１特徴量と低エネルギ画像から抽出した第２特徴量とに基づいて病変を検出することが好ましい。
　第１前段演算ブロック、第２前段演算ブロック、及び後段演算ブロックにより機械学習済みモデルが構成され、プロセッサは、差分画像を第１前段演算ブロックに入力することにより第１特徴量を抽出し、低エネルギ画像を第２前段演算ブロックに入力することにより第２特徴量を抽出し、第１特徴量と第２特徴量とをチャネル方向に結合して後段演算ブロックに入力することにより病変を検出することが好ましい。
　機械学習済みモデルは、各チャネルに重み付けを行うチャネル方向のアテンション機構を備えることが好ましい。
　被検体は、乳房であり、電磁波は、放射線であることが好ましい。
　被検体は、左右の乳房であり、低エネルギ画像は、左右の乳房のそれぞれに第１エネルギの放射線を照射することにより撮影された第１低エネルギ画像及び第２低エネルギ画像を含み、高エネルギ画像は、左右の乳房のそれぞれに第２エネルギの放射線を照射することにより撮影された第１高エネルギ画像及び第２高エネルギ画像を含み、差分画像は、第１低エネルギ画像と第１高エネルギ画像との差分を表す第１差分画像と、第２低エネルギ画像と第２高エネルギ画像との差分を表す第２差分画像と、を含むことが好ましい。
　第１前段演算ブロックと第１後段演算ブロックとにより第１機械学習済みモデルが構成され、第２前段演算ブロックと第２後段演算ブロックとにより第２機械学習済みモデルが構成され、プロセッサは、第１差分画像と第１低エネルギ画像とをチャネル方向に結合して第１前段演算ブロックに入力することにより第１特徴量を抽出し、第２差分画像と第２低エネルギ画像とをチャネル方向に結合して第２前段演算ブロックに入力することにより第２特徴量を抽出し、第１特徴量に第２特徴量を結合して第１後段演算ブロックに入力することにより左右の乳房の一方について病変を検出し、第２特徴量に第１特徴量を結合して第２後段演算ブロックに入力することにより左右の乳房の他方について病変を検出することが好ましい。
　プロセッサは、第１特徴量と第２特徴量とをチャネル方向に結合することが好ましい。
　プロセッサは、第１特徴量と第２特徴量との関連度を表す重みマップを生成し、生成した重みマップに基づいて第１特徴量及び第２特徴量を重みづけするクロスアテンション機構により、第１特徴量と第２特徴量とを結合することが好ましい。
　機械学習済みモデルは、入力画像と正解画像とを含む教師データと、入力画像の病変領域と非病変領域とのコントラストを変化させた拡張画像とを用いて機械学習モデルを学習させることにより生成されたものであることが好ましい。
　本開示の情報処理方法は、造影剤が注入された被検体に第１エネルギの電磁波を照射することにより撮影された低エネルギ画像と第１エネルギよりも高い第２エネルギの電磁波を照射することにより撮影された高エネルギ画像との差分を表す差分画像を生成すること、低エネルギ画像と高エネルギ画像とのうちの少なくともいずれか１つと、差分画像と、に基づいて病変を検出すること、を含む。
　本開示のプログラムは、造影剤が注入された被検体に第１エネルギの電磁波を照射することにより撮影された低エネルギ画像と第１エネルギよりも高い第２エネルギの電磁波を照射することにより撮影された高エネルギ画像との差分を表す差分画像を生成すること、低エネルギ画像と高エネルギ画像とのうちの少なくともいずれか１つと、差分画像と、に基づいて病変を検出すること、を含む処理をコンピュータに実行させる。
　本開示の技術によれば、造影撮影により生成される画像の読影の支援の向上を図ることを可能とする情報処理装置、情報処理方法、及びプログラムを提供することができる。
第１実施形態に係る放射線画像撮影システムの全体構成の一例を示す図である。 情報処理装置の構成の一例を示すブロック図である。 情報処理装置の制御部により実現される機能の一例を示すブロック図である。 造影撮影処理の流れを概略的に示すフローチャートである。 検出処理の流れを概略的に示すフローチャートである。 病変検出処理部による病変検出処理を概略的に示す図である。 機械学習済みモデルの構成の一例を概念的に示す図である。 チャネル方向のアテンション機構の一例を示す図である。 第２変形例に係る病変検出処理を概略的に示す図である。 第３変形例に係る機械学習済みモデルの構成を概念的に示す。 第１特徴マップと第２特徴マップとの結合処理を概念的に示す図である。 第４変形例に係る病変検出処理部による病変検出処理を概略的に示す図である。 結合処理の変形例を概略的に示す図である。 クロスアテンション機構を用いた結合処理を概略的に示す図である。 機械学習モデルの機械学習処理の一例を概念的に示す図である。 データ拡張処理を概念的に示す図である。 第２実施形態に係る病変検出処理部による病変検出処理を概略的に示す図である。 第２実施形態の変形例に係る情報処理装置の構成を示すブロック図である。 第２実施形態の他の変形例に係る情報処理装置の構成を示すブロック図である。
　以下、図面を参照して本開示の実施形態を詳細に説明する。
　［第１実施形態］
　図１は、第１実施形態に係る放射線画像撮影システム２の全体構成の一例を示す。放射線画像撮影システム２は、マンモグラフィ装置１０と情報処理装置１２とを備える。情報処理装置１２は、ネットワーク等を介して不図示のＲＩＳ（Radiology Information System）、ＰＡＣＳ（Picture Archiving and Communication System）等に接続されている。
　図１には、マンモグラフィ装置１０の外観の一例が示されている。なお、図１は、被検者の左側からマンモグラフィ装置１０を見た場合の外観の一例を示している。
　マンモグラフィ装置１０は、情報処理装置１２の制御に応じて動作し、被検者の乳房Ｍを被検体として放射線源２９から放射線Ｒ（例えば、Ｘ線）を照射することにより、乳房Ｍの放射線画像を撮影する放射線撮影装置である。なお、放射線Ｒは、本開示の技術に係る「電磁波」の一例である。
　図１に示すように、マンモグラフィ装置１０は、撮影台２４、基台２６、アーム部２８、及び圧迫ユニット３２を備える。撮影台２４の内部には、放射線検出器２０が配置されている。図１に示すように、マンモグラフィ装置１０では、撮影を行う場合、撮影台２４上には、被検者の乳房Ｍが放射線技師等のユーザによってポジショニングされる。
　放射線検出器２０は、被検体である乳房Ｍを通過した放射線Ｒを検出する。詳細には、放射線検出器２０は、被検者の乳房Ｍ及び撮影台２４内に進入して放射線検出器２０の検出面２０Ａに到達した放射線Ｒを検出し、検出した放射線Ｒに基づいて放射線画像を生成する。放射線検出器２０は、生成した放射線画像を表す画像データを出力する。以下では、放射線源２９から放射線Ｒを照射して、放射線検出器２０により放射線画像を生成する一連の動作を「撮影」という場合がある。放射線検出器２０は、放射線Ｒを光に変換し、変換した光を電荷に変換する間接変換方式の放射線検出器であってもよいし、放射線Ｒを直接電荷に変換する直接変換方式の放射線検出器であってもよい。
　以下、互いに直交し、かつ検出面２０Ａに平行な２つの方向をＸ方向及びＹ方向とする。また、Ｘ方向及びＹ方向に直交する方向をＺ方向とする。
　圧迫ユニット３２には、撮影を行う際に乳房Ｍを圧迫するために用いられる圧迫板３０が取り付けられている。圧迫板３０は、圧迫ユニット３２に設けられた圧迫板駆動部（図示省略）により、撮影台２４に近づく方向又は離れる方向に移動される。圧迫板３０は、撮影台２４に近づく方向に移動することにより撮影台２４との間で乳房Ｍを圧迫する。
　アーム部２８は、軸部２７により基台２６に対して回転可能である。軸部２７は、基台２６に対して固定されており、軸部２７とアーム部２８とが一体となって回転する。軸部２７及び撮影台２４の圧迫ユニット３２にそれぞれギアが設けられ、このギア同士の噛合状態と非噛合状態とを切替えることにより、撮影台２４の圧迫ユニット３２と軸部２７とが連結されて一体に回転する状態と、軸部２７が撮影台２４と分離されて空転する状態とに切り替えることができる。なお、軸部２７の動力の伝達・非伝達の切り替えは、上記ギアに限らず、種々の機械要素を用いることができる。アーム部２８と撮影台２４は、軸部２７を回転軸として、別々に、基台２６に対して相対的に回転可能となっている。
　マンモグラフィ装置１０は、アーム部２８が回転することにより、左右の乳房Ｍの各々に対して複数の方向から撮影を行うことが可能である。例えば、頭尾方向（ＣＣ：Cranio-Caudal）撮影と、内外斜位（ＭＬＯ：Medio-Lateral Oblique）撮影とを行うことが可能である。
　放射線画像撮影システム２は、乳房Ｍに造影剤を注入した状態で撮影を行う「造影撮影」を可能とする。具体的には、放射線画像撮影システム２は、エネルギサブトラクションにより造影強調を行う、ＣＥＤＭ（Contrast Enhanced Digital Mammography）機能を有している。
　造影撮影では、造影剤が注入された乳房Ｍに対して、エネルギが異なる放射線Ｒを照射して撮影を行うことにより低エネルギ画像と高エネルギ画像とを取得する。本開示では、第１エネルギを有する放射線Ｒにより撮影された放射線画像を「低エネルギ画像」といい、第１エネルギより高い第２エネルギを有する放射線Ｒにより撮影された放射線画像を「高エネルギ画像」という。以下、低エネルギ画像と高エネルギ画像とを区別しない場合には、これらを単に放射線画像という。
　造影撮影では、造影剤として、例えばｋ吸収端が３２ｋｅＶのヨード造影剤が用いられる。ヨード造影剤を用いた場合の造影撮影では、第１エネルギをｋ吸収端よりも低くし、第２エネルギをｋ吸収端よりも高くすればよい。
　造影剤と乳腺等の体組織とでは、放射線Ｒの吸収特性が異なる。そのため、高エネルギ画像には、乳腺、脂肪等の体組織の他に、造影剤が明瞭に写る。一方、低エネルギ画像には、体組織が明瞭に写るものの、造影剤はほとんど写らない。したがって、低エネルギ画像と高エネルギ画像との差分を取ることにより、乳腺構造が消去され、かつ造影剤で染まった病変等が強調された差分画像を生成することができる。病変は、例えば新生細胞からなるので、造影剤で染まりやすい。
　マンモグラフィ装置１０と情報処理装置１２とは、有線通信又は無線通信により接続されている。マンモグラフィ装置１０において放射線検出器２０により生成された放射線画像は、不図示の通信Ｉ／Ｆ（Interface）を介して、有線通信又は無線通信により情報処理装置１２に出力される。
　図２は、情報処理装置１２の構成の一例を示す。情報処理装置１２は、制御部４０、記憶部４２、操作部４４、ディスプレイ４６、及び通信Ｉ／Ｆ４８を備える。制御部４０、記憶部４２、操作部４４、ディスプレイ４６、及び通信Ｉ／Ｆ４８は、バス４９を介して相互に各種情報の授受が可能に接続されている。
　制御部４０は、放射線画像撮影システム２の全体の動作を制御する。制御部４０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を備えたコンピュータにより構成されている。
　記憶部４２は、放射線撮影に関する情報、マンモグラフィ装置１０から取得した放射線画像等を記憶する。また、記憶部４２は、制御部４０が後述する各種の情報処理を行うためのプログラム４２Ａと、後述する各種の機械学習済みモデルを構成するためのデータとを記憶している。記憶部４２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の不揮発性のストレージデバイスである。
　操作部４４は、ユーザが操作する各種ボタン、スイッチ、タッチパネル、タッチペン、及びマウス等の入力装置を含む。ディスプレイ４６は、撮影に関する情報、撮影により得られた放射線画像、後述する病変検出処理による病変の検出結果等を表示する。
　通信Ｉ／Ｆ４８は、有線通信又は無線通信により、マンモグラフィ装置１０、ＲＩＳ、ＰＡＣＳ等との間で、放射線撮影に関する情報、放射線画像等の各種データの通信を行う。
　図３は、情報処理装置１２の制御部４０により実現される機能の一例を示す。制御部４０が、記憶部４２に記憶されたプログラム４２Ａに基づいて処理を実行することにより各種の機能を実現する。制御部４０は、撮影制御部５０、画像取得部５１、差分画像生成部５２、病変検出処理部５３、及び表示制御部５４として機能する。
　図４は、造影撮影処理の流れを概略的に示す。撮影制御部５０による処理を、図４を参照しながら説明する。
　まず、放射線技師等のユーザは、マンモグラフィ装置１０による撮影を開始する前に、被検者の乳房Ｍに造影剤を注入し、造影剤が注入された乳房Ｍを撮影台２４にポジショニングして圧迫板３０で圧迫する。
　ステップＳ１０で、撮影制御部５０は、放射線Ｒの照射指示を受け付けたか否かを判定する。撮影制御部５０は、照射指示を受け付けると、ステップＳ１１で、第１エネルギの放射線Ｒを照射させるための指示をマンモグラフィ装置１０に出力する。マンモグラフィ装置１０では、第１エネルギの放射線Ｒを乳房Ｍに向けて照射することにより、低エネルギ画像ＬＥが撮影される。
　次のステップＳ１２で、撮影制御部５０は、第２エネルギの放射線Ｒを照射させるための指示をマンモグラフィ装置１０に出力する。マンモグラフィ装置１０では、第２エネルギの放射線Ｒを乳房Ｍに向けて照射することにより、高エネルギ画像ＨＥが撮影される。なお、高エネルギ画像ＨＥを低エネルギ画像ＬＥよりも先に撮影してもよい。
　ユーザは、乳房Ｍに対する低エネルギ画像ＬＥ及び高エネルギ画像ＨＥの撮影が終了すると、撮影が終了した乳房Ｍの圧迫を解除する。
　図５は、検出処理の流れを概略的に示す。画像取得部５１、差分画像生成部５２、病変検出処理部５３、及び表示制御部５４による処理を、図５を参照しながら説明する。
　ステップＳ２０で、画像取得部５１は、上述の造影撮影処理により撮影された低エネルギ画像ＬＥ及び高エネルギ画像ＨＥを取得する。
　次のステップＳ２１で、差分画像生成部５２は、低エネルギ画像ＬＥと高エネルギ画像ＨＥとの差分を表す差分画像ＲＣを生成する。一例として、差分画像生成部５２は、低エネルギ画像ＬＥに第１重み係数を乗算することにより得られた画像を、高エネルギ画像ＨＥに第２重み係数を乗算することにより得られた画像から対応する画素ごとに減算することにより、差分画像ＲＣを生成する。
　次のステップＳ２２で、病変検出処理部５３は、差分画像ＲＣと低エネルギ画像ＬＥとを用いて、後述する病変検出処理を行う。
　次のステップＳ２３で、表示制御部５４は、病変検出処理による病変の検出結果をディスプレイ４６に表示する。表示制御部５４は、病変の検出結果とともに、差分画像ＲＣをディスプレイ４６に表示してもよい。
　図６は、病変検出処理部５３による病変検出処理を概略的に示す。病変検出処理部５３は、差分画像ＲＣと低エネルギ画像ＬＥを、病変検出部として機能する機械学習済みモデル（ＭＬＭ：Machine Learned Model）６０に入力することにより、病変Ｌを検出する。ＭＬＭ６０は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）により構成されている。例えば、ＭＬＭ６０は、ＦＣＮ（Fully Convolutional Networks）により構成されており、セグメンテーションを行うことにより病変Ｌの領域を特定した画像Ｐを出力する。例えば、画像Ｐにおいて、病変Ｌを含む領域は、他の領域とは別の色で表示される。画像Ｐは、いわゆるセグメンテーションマップである。なお、ＭＬＭ６０は、セマンティックセグメンテーションを可能とするＳｅｇｎｅｔ、Ｕ－ｎｅｔ等で構成されていてもよい。
　例えば、病変検出処理部５３は、差分画像ＲＣと低エネルギ画像ＬＥとをチャネル方向に結合してＭＬＭ６０に入力する。なお、差分画像ＲＣと低エネルギ画像ＬＥとをチャネル方向に結合するとは、差分画像ＲＣと低エネルギ画像ＬＥとを、チャネル方向に重ねることをいう。
　図７は、ＭＬＭ６０の構成の一例を概念的に示す。ＭＬＭ６０は、エンコーダ６０Ａとデコーダ６０Ｂとで構成されている。エンコーダ６０Ａは、畳み込み層とプーリング層とを含む。デコーダ６０Ｂは、逆畳み込み層と逆プーリング層とを含む。
　エンコーダ６０Ａには、チャネル方向に結合した差分画像ＲＣと低エネルギ画像ＬＥとが入力される。エンコーダ６０Ａは、入力された差分画像ＲＣ及び低エネルギ画像ＬＥに対して畳み込み処理及びプーリング処理を含むエンコード処理を実行する。図７に示す例では、エンコーダ６０Ａは、差分画像ＲＣ及び低エネルギ画像ＬＥに対して畳み込み処理を実行することにより３チャネルの特徴マップＦＭ１を生成し、生成した特徴マップＦＭ１に対してプーリング処理を実行することによりサイズが縮小された３チャネルの特徴マップＦＭ２を生成している。さらに、エンコーダ６０Ａは、特徴マップＦＭ２に対して畳み込み処理を実行することにより６チャネルの特徴マップＦＭ３を生成し、生成した特徴マップＦＭ３に対してプーリング処理を実行することによりサイズが縮小された６チャネルの特徴マップＦＭ４を生成している。各特徴マップのチャネル数は、畳み込み処理を行う際に用いるフィルタの数で決まる。
　デコーダ６０Ｂは、エンコーダ６０Ａから出力される特徴量に対して逆プーリング処理及び逆畳み込み処理を含むデコード処理を実行する。図７に示す例では、デコーダ６０Ｂは、エンコーダ６０Ａから出力された特徴マップＦＭ４に対して逆プーリング処理を実行することによりサイズが拡大された６チャネルの特徴マップＦＭ５を生成し、生成した特徴マップＦＭ５に対して逆畳み込み処理を実行することにより３チャネルの特徴マップＦＭ６を生成している。さらに、デコーダ６０Ｂは、特徴マップＦＭ６に対して逆プーリング処理を実行することによりサイズが拡大された３チャネルの特徴マップＦＭ７を生成し、生成した特徴マップＦＭ７に対して逆畳み込み処理を実行することにより、クラス数のチャネルを有する特徴マップＦＭ８を生成している。特徴マップのチャネル数は、逆畳み込み処理を行う際に用いるフィルタの数で決まる。
　例えば、特徴マップＦＭ８のチャネル数であるクラス数は、病変Ｌであるか否かの２クラスである。デコーダ６０Ｂは、特徴マップＦＭ８を、上述の病変Ｌの領域を特定した画像Ｐとして出力する。
　表示制御部５４は、例えば、差分画像ＲＣをディスプレイ４６に表示するとともに、画像Ｐにより特定された病変Ｌの位置を特定するための矢印等のマーカを、差分画像ＲＣ内に表示する。
　エンコーダ６０Ａに含まれる畳み込み層の数、プーリング層の数、畳み込み処理に用いるフィルタの数等は、適宜変更可能である。同様に、デコーダ６０Ｂに含まれる逆畳み込み層の数、逆プーリング層の数、逆畳み込み処理に用いるフィルタの数等は、適宜変更可能である。
　以上のように、本実施形態では、差分画像ＲＣと低エネルギ画像ＬＥとを用いて病変検出処理を行う。低エネルギ画像ＬＥは、差分画像ＲＣよりも乳腺の情報を多く含むので、差分画像ＲＣに加えて低エネルギ画像ＬＥを病変検出処理に用いることで、乳腺の情報を考慮した機械学習及び病変検出が可能となる。これにより、乳腺領域以外の領域で造影強調された乳がん等の可能性が高い病変を精度よく検出することが可能となる。したがって、本実施形態によれば、造影撮影により生成される画像の読影の支援が向上する。
　なお、病変検出処理部５３は、低エネルギ画像ＬＥに代えて、差分画像ＲＣと高エネルギ画像ＨＥとを用いて病変検出処理を行ってもよい。また、病変検出処理部５３は、差分画像ＲＣ及び低エネルギ画像ＬＥに加えて、高エネルギ画像ＨＥを用いて病変検出処理を行ってもよい。すなわち、病変検出処理部５３は、差分画像ＲＣと高エネルギ画像ＨＥとをチャネル方向に結合してＭＬＭ６０に入力してもよいし、差分画像ＲＣ、低エネルギ画像ＬＥ、及び高エネルギ画像ＨＥをチャネル方向に結合してＭＬＭ６０に入力してもよい。本開示の技術は、低エネルギ画像ＬＥと高エネルギ画像ＨＥとのうちの少なくともいずれか１つと、差分画像ＲＣと、に基づいて病変を検出することを特徴とする。
　以下に、第１実施形態の各種の変形例について説明する。
　［第１変形例］
　第１変形例は、ＭＬＭ６０にチャネル方向のアテンション機構を設けられている点が上記実施形態と異なる。
　図８は、チャネル方向のアテンション機構の一例を示す。図８に示すＳＥ（Squeeze-and-Excitation）ブロック７０は、チャネル方向のアテンション機構の一例であり、ＭＬＭ６０の内部で生成される１以上の特徴マップの各チャネルに重み付けを行う。ＭＬＭ６０は、重みが大きいチャネルを、重みが小さいチャネルよりも注目して処理を行う。
　ＳＥブロック７０は、Squeeze処理とExcitation処理とを実行することにより、各チャネルの重みを表すアッテンションマスク７２を生成する。まず、ＳＥブロック７０は、特徴マップＦＭに対して、グローバルプーリング処理を行うことにより、幅と高さが１で、チャネル数がＣの１次元ベクトル７１を生成する。チャネル数Ｃは、特徴マップＦＭのチャネル数である。この後、ＳＥブロック７０は、１次元ベクトル７１に対して２層の全結合層を適用することによりアッテンションマスク７２を生成する。アッテンションマスク７２は、各チャネルをどの程度強調するべきかを表す。
　ＭＬＭ６０は、ＳＥブロック７０により生成されたアッテンションマスク７２に基づいて、特徴マップＦＭの各チャネルに重み付けを行う。ＭＬＭ６０は、上述の処理で生成される全ての特徴マップに対してＳＥブロック７０を適用してもよいし、一部の特徴マップに対してＳＥブロック７０を適用してもよい。
　本変形例のように、ＭＬＭ６０にチャネル方向のアテンション機構を設けることにより、特定のチャネルに注目した機械学習及び病変検出が可能となり、病変検出の精度が向上する。
　［第２変形例］
　第２変形例は、ＭＬＭ６０が、セグメンテーションではなく、オブジェクトの検出を行うように構成されている点が上記実施形態と異なる。
　図９は、第２変形例に係る病変検出処理を概略的に示す。本変形例では、例えば、ＭＬＭ６０は、ＣＮＮの一種であるＲ－ＣＮＮ（Regions with CNN features）で構成されており、病変Ｌをオブジェクトとして検出する。
　本変形例においても、病変検出処理部５３は、差分画像ＲＣと低エネルギ画像ＬＥとをチャネル方向に結合してＭＬＭ６０に入力する。本変形例では、ＭＬＭ６０は、差分画像ＲＣと低エネルギ画像ＬＥとが結合された画像上においてウィンドウをスライドさせながらウィンドウからパッチを切り出してオブジェクトを検出するスライディングウィンドウ方式の病変検出処理を行う。
　このように、ＭＬＭ６０は、差分画像ＲＣと低エネルギ画像ＬＥとに基づいて病変Ｌを検出し、検出した病変Ｌを含む矩形状のバウンディングボックスＢを差分画像ＲＣに表示する。ＭＬＭ６０は、バウンディングボックスＢを表示した差分画像ＲＣを、病変Ｌの検出結果ＲＬとして出力する。なお、ＭＬＭ６０は、低エネルギ画像ＬＥにバウンディングボックスＢを差分画像ＲＣに表示してもよい。
　本変形例においてもＭＬＭ６０に上述のチャネル方向のアテンション機構を設けることが可能である。また、本変形例においても、病変検出処理部５３は、低エネルギ画像ＬＥに代えて、差分画像ＲＣと高エネルギ画像ＨＥとを用いて病変検出処理を行ってもよい。また、病変検出処理部５３は、差分画像ＲＣ及び低エネルギ画像ＬＥに加えて、高エネルギ画像ＨＥを用いて病変検出処理を行ってもよい。
　［第３変形例］
　第３変形例は、差分画像ＲＣと低エネルギ画像ＬＥとを結合するのではなく、差分画像ＲＣから抽出した特徴量と低エネルギ画像ＬＥから抽出した特徴量とを結合する点が上記実施形態と異なる。
　図１０は、第３変形例に係るＭＬＭ６０の構成を概念的に示す。本変形例に係るＭＬＭ６０は、第１前段演算ブロック６１Ａと、第２前段演算ブロック６１Ｂと、後段演算ブロック６２と、を含む。第１前段演算ブロック６１Ａ、第２前段演算ブロック６１Ｂ、及び後段演算ブロック６２は、それぞれＣＮＮにより構成されている。
　本変形例では、病変検出処理部５３は、差分画像ＲＣを第１前段演算ブロック６１Ａに入力することにより第１特徴マップＦ１を抽出し、低エネルギ画像ＬＥを第２前段演算ブロック６１Ｂに入力することにより第２特徴マップＦ２を抽出する。そして、病変検出処理部５３は、第１特徴マップＦ１と第２特徴マップＦ２とをチャネル方向に結合して後段演算ブロック６２に入力する。後段演算ブロック６２は、セグメンテーションを行うことにより病変Ｌの領域を特定した画像Ｐを出力する。なお、後段演算ブロック６２は、第１変形例と同様に、病変Ｌをオブジェクトとして検出するように構成されていてもよい。第１特徴マップＦ１は、本開示の技術に係る「第１特徴量」の一例である。第１特徴マップＦ２は、本開示の技術に係る「第２特徴量」の一例である。
　図１１は、第１特徴マップＦ１と第２特徴マップＦ２との結合処理を概念的に示す。病変検出処理部５３は、第１特徴マップＦ１と第２特徴マップＦ２とをチャネル方向に重ねるように結合する。すなわち、結合された第１特徴マップＦ１及び第２特徴マップＦ２の全体のサイズは、第１特徴マップＦ１及び第２特徴マップＦ２の各サイズと同一であるが、チャネル数が２倍となる。
　本変形例においてもＭＬＭ６０に上述のチャネル方向のアテンション機構を設けることが可能である。本変形例では、２つの特徴マップをチャネル方向に結合するので、チャネル方向へのアテンションによる効果が強く得られる可能性がある。
　なお、本変形例では、差分画像ＲＣから抽出した特徴量と低エネルギ画像ＬＥから抽出した特徴量とを結合しているが、差分画像ＲＣから抽出した特徴量と高エネルギ画像ＨＥから抽出した特徴量とを結合してもよい。すなわち、低エネルギ画像ＬＥに代えて、高エネルギ画像ＨＥを第２前段演算ブロック６１Ｂに入力してもよい。
　［第４変形例］
　第４変形例は、左右の乳房Ｍについて病変検出処理を行う例を示す。本変形例では、画像取得部５１は、造影撮影処理により撮影された低エネルギ画像ＬＥ及び高エネルギ画像ＨＥを、左右の乳房Ｍについてそれぞれ取得する。以下、左側の乳房Ｍに対する低エネルギ画像ＬＥ及び高エネルギ画像ＨＥを、それぞれ「第１低エネルギ画像ＬＥ１」及び「第１高エネルギ画像ＨＥ１」という。また、右側の乳房Ｍに対する低エネルギ画像ＬＥ及び高エネルギ画像ＨＥを、それぞれ「第２低エネルギ画像ＬＥ２」及び「第２高エネルギ画像ＨＥ２」という。
　本変形例では、差分画像生成部５２は、左右の乳房Ｍのそれぞれについて、低エネルギ画像ＬＥと高エネルギ画像ＨＥとの差分を表す差分画像ＲＣを生成する。以下、第１低エネルギ画像ＬＥ１と第１高エネルギ画像ＨＥ１との差分を表す差分画像ＲＣを「第１差分画像ＲＣ１」といい、第２低エネルギ画像ＬＥ２と第２高エネルギ画像ＨＥ２との差分を表す差分画像ＲＣを「第２差分画像ＲＣ２」という。
　本変形例では、病変検出処理部５３は、第１差分画像ＲＣ１と第１低エネルギ画像ＬＥ１とを用いて左側の乳房Ｍから病変を検出する。また、病変検出処理部５３は、第２差分画像ＲＣ２と第２低エネルギ画像ＬＥ２と用いて右側の乳房Ｍから病変を検出する。
　図１２は、第４変形例に係る病変検出処理部５３による病変検出処理を概略的に示す。第１ＭＬＭ６０Ａは、第１前段演算ブロック６３Ａと第１後段演算ブロック６４Ａとを含む。第２ＭＬＭ６０Ｂは、第２前段演算ブロック６３Ｂと第２後段演算ブロック６４Ｂとを含む。病変検出処理部５３は、第１差分画像ＲＣ１と第１低エネルギ画像ＬＥ１とをチャネル方向に結合して第１ＭＬＭ６０Ａに入力し、第２差分画像ＲＣ２と第２低エネルギ画像ＬＥ２とをチャネル方向に結合して第２ＭＬＭ６０Ｂに入力する。
　第１前段演算ブロック６３Ａは、畳み込み処理を行うことにより生成した第１特徴マップＦ１を出力する。第２前段演算ブロック６３Ｂは、畳み込み処理を行うことにより生成した第２特徴マップＦ２を出力する。病変検出処理部５３は、第１特徴マップＦ１に第２特徴マップＦ２を結合して第１後段演算ブロック６４Ａに入力し、第２特徴マップＦ２に第１特徴マップＦ１を結合して第２後段演算ブロック６４Ｂに入力する。本変形例では、病変検出処理部５３は、第１特徴マップＦ１と第２特徴マップＦ２とをチャネル方向に結合する。
　第１前段演算ブロック６３Ａと第２前段演算ブロック６３Ｂとは、同一の構成であって、フィルタの重みが共有されている。第１後段演算ブロック６４Ａと第２後段演算ブロック６４Ｂとは、同一の構成であって、フィルタの重みが共有されている。
　第１後段演算ブロック６４Ａは、結合した第１特徴マップＦ１と第２特徴マップＦ２に基づき、セグメンテーションを行うことにより、左側の乳房Ｍの病変Ｌの領域を特定した画像Ｐ１を検出結果ＲＬ１として出力する。同様に、第２後段演算ブロック６４Ｂは、結合した第１特徴マップＦ１と第２特徴マップＦ２に基づき、セグメンテーションを行うことにより、右側の乳房Ｍの病変Ｌの領域を特定した画像Ｐ２を検出結果ＲＬ２として出力する。
　本変形例では、第１特徴マップＦ１と第２特徴マップＦ２とをクロスして結合しているので、左右の乳房Ｍの対称性を考慮した機械学習及び病変検出が可能となる。例えば、左右の乳房Ｍのうちの一方のみから検出された病変候補は病変である可能性が高い。本変形例では、左右で非対称な病変候補等を病変として精度よく検出することができる。
　なお、本変形例では、第１差分画像ＲＣ１と第１低エネルギ画像ＬＥ１とを結合して第１ＭＬＭ６０Ａに入力しているが、第１差分画像ＲＣ１と第１高エネルギ画像ＨＥ１とを結合して第１ＭＬＭ６０Ａに入力してもよい。また、本変形例では、第２差分画像ＲＣ２と第２低エネルギ画像ＬＥ２とを結合して第２ＭＬＭ６０Ｂに入力しているが、第２差分画像ＲＣ２と第２高エネルギ画像ＨＥ２とを結合して第２ＭＬＭ６０Ｂに入力してもよい。
　また、本変形例では、病変検出処理部５３は、第１特徴マップＦ１と第２特徴マップＦ２とをチャネル方向に結合しているが、図１３に示すように、第１特徴マップＦ１と第２特徴マップＦ２とを行方向又は列方向（すなわちＸ方向又はＹ方向）に結合してもよい。
　また、図１４に示すように、病変検出処理部５３は、クロスアテンション機構８０を介して第１特徴マップＦ１と第２特徴マップＦ２とを結合してもよい。クロスアテンション機構８０は、第１特徴マップＦ１に第２特徴マップＦ２を掛け合わせる行列演算を行うことにより重みマップＡ１を算出し、第２特徴マップＦ２に第１特徴マップＦ１を掛け合わせる行列演算を行うことにより重みマップＡ２を算出する。重みマップＡ１及び重みマップＡ２は、それぞれ第１特徴マップＦ１と第２特徴マップＦ２との関連度を表す。
　クロスアテンション機構８０は、重みマップＡ１に基づいて第１特徴マップＦ１を重み付けし、重みマップＡ２に基づいて第２特徴マップＦ２を重み付けする。第１後段演算ブロック６４Ａには、重み付けが行われた第１特徴マップＦ１ａが入力される。第２後段演算ブロック６４Ｂには、重み付けが行われた第２特徴マップＦ２ａが入力される。
　［機械学習処理］
　次に、ＭＬＭ６０を生成するための機械学習処理の一例について説明する。
　図１５は、機械学習モデル９０の機械学習処理の一例を概念的に示す。図１５に示すように、ＭＬＭ６０は、学習フェーズにおいて、教師データ１００を用いて機械学習モデル９０を機械学習させることにより生成される。例えば、教師データ１００は、入力画像ＩＭと正解画像ＴＭとの組み合わせで構成される。機械学習モデル９０の学習処理には、多数の入力画像ＩＭ及び正解画像（ground-truth image）ＴＭが用いられる。例えば、入力画像ＩＭは、差分画像ＲＣと低エネルギ画像ＬＥとをチャネル方向に結合した画像である。正解画像ＴＭは、真の病変Ｌの領域が特定された画像である。
　機械学習モデル９０は、例えば、誤差逆伝播法を用いて機械学習が行われる。学習フェーズにおいては、入力画像ＩＭを機械学習モデル９０に入力することにより得られる画像と正解画像ＴＭとの誤差演算と、誤差演算の結果に基づいて機械学習モデル９０のモデルパラメータを更新する処理とが繰り返し行われる。モデルパラメータには、フィルタの重み等が含まれる。
　また、学習フェーズにおいて、データ拡張（Data Augmentation）処理が行われる。データ拡張処理では、入力画像ＩＭに基づき、病変Ｌを含む領域（以下、病変領域という。）とその他の領域（以下、非病変領域という。）とのコントラストを変化させた拡張画像（augmented image）ＡＭが生成される。そして、データ拡張処理により生成された拡張画像ＡＭと正解画像ＴＭとを用いて、機械学習モデル９０の機械学習が行われる。
　図１６は、データ拡張処理を概念的に示す。例えば、データ拡張処理では、差分画像ＲＣを高コントラスト化した高コントラスト画像ＲＣＨと差分画像ＲＣを低コントラスト化した低コントラスト画像ＲＣＬとが作成される。次に、病変領域を特定するマスク情報ＭＫ１を高コントラスト画像ＲＣＨに適用することにより、高コントラスト画像ＲＣＨから病変領域が抽出される。また、非病変領域を特定するマスク情報ＭＫ２を低コントラスト画像ＲＣＬに適用することにより、低コントラスト画像ＲＣＬから非病変領域が抽出される。抽出された病変領域と非病変領域が合成されることにより、病変領域と非病変領域とのコントラストが変化した拡張画像ＡＭが生成される。さらに、低エネルギ画像ＬＥに対してデータ拡張処理を行ってもよい。
　造影撮影では、乳房Ｍへの造影剤の注入後、病変領域と非病変領域とのコントラストが変化する。例えば、非病変領域であるＢＰＥ領域は、病変領域よりも造影剤がウォッシュアウトしやすいので、造影剤の注入後の経過時間に応じて、病変とＢＰＥ領域とのコントラストが変化する。すなわち、造影剤を注入した後の撮影タイミングに応じて、病変領域と非病変領域とのコントラストが変化する。このため、上述のデータ拡張処理を行うことにより、撮影タイミングのばらつきに対してロバスト性が高い機械学習モデル９０を生成することができる。
　ロバスト性を高めるために、１つの入力画像ＩＭから、病変領域と非病変領域とのコントラストが異なる複数の拡張画像ＡＭを生成して機械学習モデル９０を学習させることが好ましい。
　学習フェーズにおいて機械学習が行われた機械学習モデル９０は、ＭＬＭ６０として記憶部４２に格納される。なお、機械学習モデル９０の機械学習は、情報処理装置１２で行われてもよいし、外部装置で行われてもよい。
　なお、低エネルギ画像ＬＥのみを用いて機械学習モデル９０を機械学習させた後、差分画像ＲＣ及び低エネルギ画像ＬＥを用いて機械学習モデル９０を再学習させることにより、ＭＬＭ６０を生成してもよい。
　［第２実施形態］
　次に、第２実施形態について説明する。上記実施形態では、マンモグラフィ装置１０は、乳房Ｍに対して１つの角度から放射線Ｒを照射することにより放射線画像を取得している。本実施形態では、マンモグラフィ装置１０は、乳房Ｍに対して複数の角度から放射線を照射することによって一連の複数の放射線画像を取得するトモシンセシス撮影を可能とする。
　本実施形態では、マンモグラフィ装置１０は、造影剤が注入された乳房Ｍに対して１つの角度ごとにエネルギが異なる放射線Ｒを照射することにより低エネルギ画像ＬＥと高エネルギ画像ＨＥとを取得する。すなわち、トモシンセシス撮影により、複数の低エネルギ画像ＬＥからなる低エネルギ画像群ＬＥＧと複数の高エネルギ画像ＨＥからなる高エネルギ画像群ＨＥＧとが生成される。
　本実施形態では、差分画像生成部５２は、１つの角度ごとに低エネルギ画像ＬＥと高エネルギ画像ＨＥとの差分を表す差分画像ＲＣを生成する。これにより、複数の差分画像ＲＣからなる差分画像群ＲＣＧが生成される。
　図１７は、第２実施形態に係る病変検出処理部５３による病変検出処理を概略的に示す。本実施形態では、病変検出処理部５３は、差分画像群ＲＣＧと低エネルギ画像群ＬＥＧとをＭＬＭ６０に入力することにより病変検出処理を行う。病変検出処理部５３は、差分画像群ＲＣＧと低エネルギ画像群ＬＥＧとをチャネル方向に結合してＭＬＭ６０に入力することが好ましい。また、病変検出処理部５３は、低エネルギ画像群ＬＥＧと高エネルギ画像群ＨＥＧとのうちの少なくとも一方と、差分画像群ＲＣＧとをＭＬＭ６０に入力すればよい。本実施形態におけるその他の処理は、第１実施形態と同様である。
　本実施形態では、乳房Ｍに対して１つの角度ごとにエネルギが異なる放射線Ｒを照射することにより低エネルギ画像ＬＥと高エネルギ画像ＨＥとを取得するので、同一の角度で取得された低エネルギ画像ＬＥと高エネルギ画像ＨＥとの間における乳房Ｍの位置ずれが抑制される。これにより、信頼性の高い差分画像群ＲＣＧを生成することができ、精度よく病変検出を行うことができる。
　図１８に示すように、第２実施形態の変形例として、マンモグラフィ装置１０に代えて、ＣＴ（Computed Tomography）装置１０Ａを用いることが可能である。ＣＴ装置１０Ａは、一対の放射線源と放射線検出器とを造影剤が注入された被検体の周りに回転させながら、複数の放射線画像を撮影する。本実施形態のＣＴ装置１０Ａは、被検体に対して第１エネルギの放射線の照射と、第１エネルギよりも高い第２エネルギの放射線の照射を行う、いわゆるデュアルエネルギＣＴを可能とする。例えば、被検体の周りに、第１エネルギと第２エネルギとで被検体を中心とした３６０°のスキャンを２回行う。これにより、トモシンセシス撮影と同様に、低エネルギ画像群ＬＥＧと高エネルギ画像群ＨＥＧとが生成される。
　デュアルエネルギＣＴでは、１スキャンごとに放射線のエネルギを変更するので、トモシンセシス撮影の場合と比べて、同一の角度で取得された低エネルギ画像ＬＥと高エネルギ画像ＨＥとの間で生じる被検体の位置ずれ量が大きいと考えられる。このため、図１８に示すように、画像取得部５１の後段に位置ずれ補正部５５を設けることが好ましい。位置ずれ補正部５５は、低エネルギ画像群ＬＥＧと高エネルギ画像群ＨＥＧとの間における被検体の位置ずれを補正する。位置ずれ補正部５５は、位置ずれを補正した低エネルギ画像群ＬＥＧ及び高エネルギ画像群ＨＥＧを差分画像生成部５２に供給し、低エネルギ画像群ＬＥＧを病変検出処理部５３に供給する。その他の処理は、第１実施形態と同様である。
　また、マンモグラフィでは、乳房を被検体とするので乳腺構造を消去するようにエネルギサブトラクションを行うことでほぼすべての正常組織が消去されるが、ＣＴでは、人体等を被検体とするので組成の異なる正常組織が存在する。このため、図１９に示すように、差分画像生成部５２に対して消去対象の組成を指示する消去対象指示部５６を設けることが好ましい。
　本実施形態では、ユーザは、操作部４４を用いて消去対象とする組成を指定することができる。消去対象として指定可能な組成は、例えば、骨、軟部組織、臓器等である。消去対象指示部５６は、操作部４４を用いて指定された消去対象の情報を取得し、消去対象を差分画像生成部５２に対して指示する。差分画像生成部５２は、消去対象に応じて、低エネルギ画像ＬＥに乗じる第１重み係数と高エネルギ画像ＨＥとに乗じる第２重み係数とを変更することにより、差分画像ＲＣから消去対象の組成を除去する。
　さらに、ＣＴ装置１０Ａに代えて、ＭＲＩ（Magnetic Resonance Imaging）装置を用いることも可能である。ＣＴ装置１０Ａは、磁場を利用して、被検体内の細胞、組織等に存在する水分量を画像化する。ＭＲＩにおいても、ＣＴと同様に、造影剤を用いたエネルギサブトラクションを行うことが可能である。この場合、高磁場下で、被検体に対して第１エネルギの電磁波の照射と、第１エネルギよりも高い第２エネルギの電磁波の照射とが行われ、低エネルギ画像群ＬＥＧと高エネルギ画像群ＨＥＧとが生成される。
　［その他の変形例］
　制御部４０は、造影撮影に関する情報、造影撮影を行った被検者の情報等を、データとして記憶部４２等に蓄積してもよい。例えば、制御部４０は、乳房Ｍへの造影剤の注入開始時刻、造影撮影の撮影時刻（若しくは影剤剤の注入開始から撮影時点までの経過時間）、乳房Ｍの厚み、撮影条件（管電圧等）、その他患者情報（年齢、生理周期、閉経の有無等）等の情報を記憶部４２等に蓄積してもよい。
　また、上記各実施形態及び各変形例において、撮影制御部５０、画像取得部５１、差分画像生成部５２、病変検出処理部５３、表示制御部５４、位置ずれ補正部５５、及び消去対象指示部５６といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。
　上記各種のプロセッサには、ＣＰＵの他、ＧＰＵ（Graphics Processing Unit）が含まれる。また、上記各種のプロセッサは、ソフトウェア（プログラム）を実行して各種の処理部として機能するＣＰＵ等の汎用的なプロセッサに限られず、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　また、上記実施形態及び各変形例では、プログラム４２Ａが記憶部４２に予め記憶されている態様を説明したが、これに限定されない。プログラム４２Ａは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に非一時的に記録された形態で提供されてもよい。また、プログラム４２Ａは、ネットワークを介して外部装置からダウンロードされる形態であってもよい。
　上記実施形態及び各変形例は、矛盾が生じない限り、適宜組み合わせることが可能である。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
　上記説明によって以下の技術を把握することができる。
　［付記項１］
　少なくとも１つのプロセッサを備え、
　前記プロセッサは、
　造影剤が注入された被検体に第１エネルギの電磁波を照射することにより撮影された低エネルギ画像と前記第１エネルギよりも高い第２エネルギの電磁波を照射することにより撮影された高エネルギ画像との差分を表す差分画像を生成し、
　前記低エネルギ画像と前記高エネルギ画像とのうちの少なくともいずれか１つと、前記差分画像と、に基づいて病変を検出する、
　情報処理装置。
　［付記項２］
　前記プロセッサは、
　前記差分画像と前記低エネルギ画像とをチャネル方向に結合して機械学習済みモデルに入力することにより病変を検出する、
　付記項１に記載の情報処理装置。
　［付記項３］
　前記機械学習済みモデルは、各チャネルに重み付けを行うチャネル方向のアテンション機構を備える、
　付記項２に記載の情報処理装置。
　［付記項４］
　前記プロセッサは、
　前記差分画像から抽出した第１特徴量と前記低エネルギ画像から抽出した第２特徴量とに基づいて病変を検出する、
　付記項１に記載の情報処理装置。
　［付記項５］
　第１前段演算ブロック、第２前段演算ブロック、及び後段演算ブロックにより機械学習済みモデルが構成され、
　前記プロセッサは、
　前記差分画像を前記第１前段演算ブロックに入力することにより前記第１特徴量を抽出し、
　前記低エネルギ画像を前記第２前段演算ブロックに入力することにより前記第２特徴量を抽出し、
　前記第１特徴量と前記第２特徴量とをチャネル方向に結合して前記後段演算ブロックに入力することにより病変を検出する、
　付記項４に記載の情報処理装置。
　［付記項６］
　前記機械学習済みモデルは、各チャネルに重み付けを行うチャネル方向のアテンション機構を備える、
　付記項５に記載の情報処理装置。
　［付記項７］
　前記被検体は、乳房であり、
　前記電磁波は、放射線である、
　付記項１から付記項６のうちいずれか１項に記載の情報処理装置。
　［付記項８］
　前記被検体は、左右の乳房であり、
　前記低エネルギ画像は、左右の乳房のそれぞれに前記第１エネルギの放射線を照射することにより撮影された第１低エネルギ画像及び第２低エネルギ画像を含み、
　前記高エネルギ画像は、左右の乳房のそれぞれに前記第２エネルギの放射線を照射することにより撮影された第１高エネルギ画像及び第２高エネルギ画像を含み、
　前記差分画像は、前記第１低エネルギ画像と前記第１高エネルギ画像との差分を表す第１差分画像と、前記第２低エネルギ画像と前記第２高エネルギ画像との差分を表す第２差分画像と、を含む、
　付記項１に記載の情報処理装置。
　［付記項９］
　第１前段演算ブロックと第１後段演算ブロックとにより第１機械学習済みモデルが構成され、
　第２前段演算ブロックと第２後段演算ブロックとにより第２機械学習済みモデルが構成され、
　前記プロセッサは、
　前記第１差分画像と前記第１低エネルギ画像とをチャネル方向に結合して前記第１前段演算ブロックに入力することにより第１特徴量を抽出し、
　前記第２差分画像と前記第２低エネルギ画像とをチャネル方向に結合して前記第２前段演算ブロックに入力することにより第２特徴量を抽出し、
　前記第１特徴量に前記第２特徴量を結合して前記第１後段演算ブロックに入力することにより左右の乳房の一方について病変を検出し、
　前記第２特徴量に前記第１特徴量を結合して前記第２後段演算ブロックに入力することにより左右の乳房の他方について病変を検出する、
　付記項８に記載の情報処理装置。
　［付記項１０］
　前記プロセッサは、
　前記第１特徴量と前記第２特徴量とをチャネル方向に結合する、
　付記項９に記載の情報処理装置。
　［付記項１１］
　前記プロセッサは、
　前記第１特徴量と前記第２特徴量との関連度を表す重みマップを生成し、生成した重みマップに基づいて前記第１特徴量及び前記第２特徴量を重みづけするクロスアテンション機構により、前記第１特徴量と前記第２特徴量とを結合する、
　付記項１０に記載の情報処理装置。
　［付記項１２］
　前記機械学習済みモデルは、入力画像と正解画像とを含む教師データと、前記入力画像の病変領域と非病変領域とのコントラストを変化させた拡張画像とを用いて機械学習モデルを学習させることにより生成されたものである、
　付記項２、付記項３、付記項５、及び付記項６のうちいずれか１項に記載の情報処理装置。

Claims (14)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　造影剤が注入された被検体に第１エネルギの電磁波を照射することにより撮影された低エネルギ画像と前記第１エネルギよりも高い第２エネルギの電磁波を照射することにより撮影された高エネルギ画像との差分を表す差分画像を生成し、
    　前記低エネルギ画像と前記高エネルギ画像とのうちの少なくともいずれか１つと、前記差分画像と、に基づいて病変を検出する、
    　情報処理装置。
  2. 　前記プロセッサは、
    　前記差分画像と前記低エネルギ画像とをチャネル方向に結合して機械学習済みモデルに入力することにより病変を検出する、
    　請求項１に記載の情報処理装置。
  3. 　前記機械学習済みモデルは、各チャネルに重み付けを行うチャネル方向のアテンション機構を備える、
    　請求項２に記載の情報処理装置。
  4. 　前記プロセッサは、
    　前記差分画像から抽出した第１特徴量と前記低エネルギ画像から抽出した第２特徴量とに基づいて病変を検出する、
    　請求項１に記載の情報処理装置。
  5. 　第１前段演算ブロック、第２前段演算ブロック、及び後段演算ブロックにより機械学習済みモデルが構成され、
    　前記プロセッサは、
    　前記差分画像を前記第１前段演算ブロックに入力することにより前記第１特徴量を抽出し、
    　前記低エネルギ画像を前記第２前段演算ブロックに入力することにより前記第２特徴量を抽出し、
    　前記第１特徴量と前記第２特徴量とをチャネル方向に結合して前記後段演算ブロックに入力することにより病変を検出する、
    　請求項４に記載の情報処理装置。
  6. 　前記機械学習済みモデルは、各チャネルに重み付けを行うチャネル方向のアテンション機構を備える、
    　請求項５に記載の情報処理装置。
  7. 　前記被検体は、乳房であり、
    　前記電磁波は、放射線である、
    　請求項１に記載の情報処理装置。
  8. 　前記被検体は、左右の乳房であり、
    　前記低エネルギ画像は、左右の乳房のそれぞれに前記第１エネルギの放射線を照射することにより撮影された第１低エネルギ画像及び第２低エネルギ画像を含み、
    　前記高エネルギ画像は、左右の乳房のそれぞれに前記第２エネルギの放射線を照射することにより撮影された第１高エネルギ画像及び第２高エネルギ画像を含み、
    　前記差分画像は、前記第１低エネルギ画像と前記第１高エネルギ画像との差分を表す第１差分画像と、前記第２低エネルギ画像と前記第２高エネルギ画像との差分を表す第２差分画像と、を含む、
    　請求項１に記載の情報処理装置。
  9. 　第１前段演算ブロックと第１後段演算ブロックとにより第１機械学習済みモデルが構成され、
    　第２前段演算ブロックと第２後段演算ブロックとにより第２機械学習済みモデルが構成され、
    　前記プロセッサは、
    　前記第１差分画像と前記第１低エネルギ画像とをチャネル方向に結合して前記第１前段演算ブロックに入力することにより第１特徴量を抽出し、
    　前記第２差分画像と前記第２低エネルギ画像とをチャネル方向に結合して前記第２前段演算ブロックに入力することにより第２特徴量を抽出し、
    　前記第１特徴量に前記第２特徴量を結合して前記第１後段演算ブロックに入力することにより左右の乳房の一方について病変を検出し、
    　前記第２特徴量に前記第１特徴量を結合して前記第２後段演算ブロックに入力することにより左右の乳房の他方について病変を検出する、
    　請求項８に記載の情報処理装置。
  10. 　前記プロセッサは、
    　前記第１特徴量と前記第２特徴量とをチャネル方向に結合する、
    　請求項９に記載の情報処理装置。
  11. 　前記プロセッサは、
    　前記第１特徴量と前記第２特徴量との関連度を表す重みマップを生成し、生成した重みマップに基づいて前記第１特徴量及び前記第２特徴量を重みづけするクロスアテンション機構により、前記第１特徴量と前記第２特徴量とを結合する、
    　請求項１０に記載の情報処理装置。
  12. 　前記機械学習済みモデルは、入力画像と正解画像とを含む教師データと、前記入力画像の病変領域と非病変領域とのコントラストを変化させた拡張画像とを用いて機械学習モデルを学習させることにより生成されたものである、
    　請求項２に記載の情報処理装置。
  13. 　造影剤が注入された被検体に第１エネルギの電磁波を照射することにより撮影された低エネルギ画像と前記第１エネルギよりも高い第２エネルギの電磁波を照射することにより撮影された高エネルギ画像との差分を表す差分画像を生成すること、
    　前記低エネルギ画像と前記高エネルギ画像とのうちの少なくともいずれか１つと、前記差分画像と、に基づいて病変を検出すること、
    　を含む情報処理方法。
  14. 　造影剤が注入された被検体に第１エネルギの電磁波を照射することにより撮影された低エネルギ画像と前記第１エネルギよりも高い第２エネルギの電磁波を照射することにより撮影された高エネルギ画像との差分を表す差分画像を生成すること、
    　前記低エネルギ画像と前記高エネルギ画像とのうちの少なくともいずれか１つと、前記差分画像と、に基づいて病変を検出すること、
    　を含む処理をコンピュータに実行させるプログラム。
PCT/JP2023/025354 2022-08-26 2023-07-07 情報処理装置、情報処理方法、及びプログラム WO2024042890A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022135229 2022-08-26
JP2022-135229 2022-08-26

Publications (1)

Publication Number Publication Date
WO2024042890A1 true WO2024042890A1 (ja) 2024-02-29

Family

ID=90013041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025354 WO2024042890A1 (ja) 2022-08-26 2023-07-07 情報処理装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024042890A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04156789A (ja) * 1990-10-20 1992-05-29 Fuji Photo Film Co Ltd 乳房腫瘤影の良性／悪性判定装置
JP2002521896A (ja) * 1998-07-24 2002-07-16 アーチ・デベロップメント・コーポレーション 軟組織胸部画像と標準胸部画像を利用したエネルギ差分法によるコンピュータ化肺小結節検出
WO2019017442A1 (ja) * 2017-07-19 2019-01-24 富士フイルム株式会社 マンモグラフィ装置、放射線画像撮影システム、画像処理装置、制御方法、画像処理方法、制御プログラム、及び画像処理プログラム
JP2020010805A (ja) * 2018-07-17 2020-01-23 大日本印刷株式会社 特定装置、プログラム、特定方法、情報処理装置及び特定器
JP2020116283A (ja) * 2019-01-25 2020-08-06 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置、ｘ線診断装置の制御方法、および画像処理装置
CN113288186A (zh) * 2021-06-09 2021-08-24 杨帆 基于深度学习算法的乳腺肿瘤组织检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04156789A (ja) * 1990-10-20 1992-05-29 Fuji Photo Film Co Ltd 乳房腫瘤影の良性／悪性判定装置
JP2002521896A (ja) * 1998-07-24 2002-07-16 アーチ・デベロップメント・コーポレーション 軟組織胸部画像と標準胸部画像を利用したエネルギ差分法によるコンピュータ化肺小結節検出
WO2019017442A1 (ja) * 2017-07-19 2019-01-24 富士フイルム株式会社 マンモグラフィ装置、放射線画像撮影システム、画像処理装置、制御方法、画像処理方法、制御プログラム、及び画像処理プログラム
JP2020010805A (ja) * 2018-07-17 2020-01-23 大日本印刷株式会社 特定装置、プログラム、特定方法、情報処理装置及び特定器
JP2020116283A (ja) * 2019-01-25 2020-08-06 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置、ｘ線診断装置の制御方法、および画像処理装置
CN113288186A (zh) * 2021-06-09 2021-08-24 杨帆 基于深度学习算法的乳腺肿瘤组织检测方法及装置

Similar Documents

Publication Publication Date Title
Hara et al. Iterative reconstruction technique for reducing body radiation dose at CT: feasibility study
Lyu et al. Estimating dual-energy CT imaging from single-energy CT data with material decomposition convolutional neural network
Nuzhnaya et al. Computer simulation and navigation in surgical operations
CN110881992B (zh) 使用双能量计算机断层扫描的针对外伤性出血的检测和量化
CN110599447A (zh) 一种肝癌病灶数据的处理方法、系统和存储介质
JP6526669B2 (ja) 画像データからの骨の区分化
Chang et al. Development of realistic multi-contrast textured XCAT (MT-XCAT) phantoms using a dual-discriminator conditional-generative adversarial network (D-CGAN)
WO2024042890A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2024048169A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023081372A (ja) 医用情報処理方法及び医用情報処理装置
Buttongkum et al. 3D reconstruction of proximal femoral fracture from biplanar radiographs with fractural representative learning
WO2024048168A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Brun et al. Breast tumor segmentation in high resolution x‐ray phase contrast analyzer based computed tomography
WO2024042889A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Chang et al. Using tissue-energy response to generate virtual monoenergetic images from conventional CT for computer-aided diagnosis of lesions
Son et al. Deep learning-based quantitative estimation of lymphedema-induced fibrosis using three-dimensional computed tomography images
WO2024042891A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Lyu et al. Dual-energy CT imaging from single-energy CT data with material decomposition convolutional neural network
Lubner et al. Advanced CT techniques for hepatic microwave ablation zone monitoring and follow-up
Chen et al. Thyroid nodule detection using attenuation value based on non-enhancement CT images
Taibi Generalized subtraction methods in digital mammography
US20240108299A1 (en) Artifact-driven data synthesis in computed tomography
Caruso et al. Radiation dose optimization: the role of artificial intelligence
Chernoglazov Tools for visualising mars spectral ct datasets
WO2023139971A1 (ja) 画像処理装置、画像処理方法、プログラム、及び機械学習方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857007

Country of ref document: EP

Kind code of ref document: A1