WO2023047963A1 - 医用画像診断支援装置、医用画像診断支援方法およびプログラム - Google Patents

医用画像診断支援装置、医用画像診断支援方法およびプログラム Download PDF

Info

Publication number
WO2023047963A1
WO2023047963A1 PCT/JP2022/033653 JP2022033653W WO2023047963A1 WO 2023047963 A1 WO2023047963 A1 WO 2023047963A1 JP 2022033653 W JP2022033653 W JP 2022033653W WO 2023047963 A1 WO2023047963 A1 WO 2023047963A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
learning
attention
diagnosis support
classification model
Prior art date
Application number
PCT/JP2022/033653
Other languages
English (en)
French (fr)
Inventor
純一 古徳
拓将 ▲辻▼
Original Assignee
学校法人帝京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人帝京大学 filed Critical 学校法人帝京大学
Priority to CN202280063383.XA priority Critical patent/CN118076296A/zh
Priority to EP22872719.4A priority patent/EP4407554A1/en
Publication of WO2023047963A1 publication Critical patent/WO2023047963A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Definitions

  • the present invention relates to a medical image diagnosis support device, a medical image diagnosis support method, and a program.
  • This application claims priority based on Japanese Patent Application No. 2021-153427 filed in Japan on September 21, 2021, the content of which is incorporated herein.
  • Patent Literature 1 uses the endoscopic image diagnosis capability of a convolutional neural network (CNN).
  • CNN convolutional neural network
  • a lesion estimating unit uses a convolutional neural network to determine the lesion name and lesion position of a lesion present in an endoscopic image represented by endoscopic image data. , the lesion name and the accuracy of lesion location.
  • learning processing of a convolutional neural network is performed using reference data (teacher data) marked in advance by an experienced endoscopist.
  • the present inventors used a chest X-ray image as a medical image, and used a convolutional neural network and an attention branch network (ABN) that visualizes the attention area of the convolutional neural network from the chest X-ray image.
  • a classification model for classifying the presence or absence of disease was constructed, and the attention area of the convolutional neural network was verified.
  • the inventors have found that the convolutional neural network may focus on regions of the chest X-ray image that are unnecessary for classifying the presence or absence of disease.
  • medical AI which focuses on areas of the chest X-ray image that are unnecessary for classifying the presence or absence of disease, cannot gain the trust of medical professionals, such as the trust of medical specialists.
  • the inventors of the present invention have considered and advanced the research further.
  • the present inventors gave the attention branch network prior information that indicates the regions necessary for classifying the presence or absence of disease in chest X-ray images.
  • the convolutional neural network was able to avoid focusing on regions of the chest X-ray image that were unnecessary for classifying the presence or absence of disease.
  • the present invention provides a medical image diagnosis support device, a medical image diagnosis support method, and a program that can prevent a convolutional neural network from focusing on unnecessary regions for classification of the presence or absence of disease in a medical image. for the purpose.
  • One aspect of the present invention is a medical image diagnosis support apparatus for assisting diagnosis of medical images, comprising: a classification model for classifying at least the presence or absence of a disease from the medical image; and a prediction unit that performs prediction using the classification model. and a learning unit that performs supervised learning of the classification model before the classification model is used by the prediction unit, wherein the supervised learning performed by the learning unit includes at least a learning medical class for which the presence or absence of a disease is known.
  • Images are used as training data, the classification model is composed of a convolutional neural network and an attention branch network that visualizes a region of interest of the convolutional neural network, and supervised learning of the classification model is performed by the learning unit.
  • the attention branch network is provided with advance information indicating a classification region, which is a region required for classification of the presence or absence of a disease in the learning medical image.
  • the attention branch network includes a feature extractor that extracts the feature amount necessary for classifying the medical image and generates a feature amount map; an attention branch for generating a map and a perception branch, and in a stage in which the learning unit performs supervised learning of the classification model, the attention map generated by the attention branch is generated by the feature extractor.
  • the perception branch outputs the feature map weighted by the attention map as a classification result of the learning medical image, and the loss function of the attention branch network is the is the sum of the learning error of the attention branch, the learning error of the perception branch, and a regularization term, the regularization term being the Frobenius norm of the matrix obtained by the Hadamard product of the attention map and the weight map.
  • the weight map may correspond to the classification region.
  • the attention branch network performs segmentation of a first portion that is a part of the classification region.
  • the weight map created by performing convex hull processing on an image may be accepted.
  • the attention branch network performs segmentation of a first part that is a part of the classification region.
  • the weight map created by combining an image with a segmentation image of a second portion, another portion of the classification region, may be received.
  • the segmentation image of the first portion and/or the segmentation image of the first portion and the segmentation image of the second portion which is another part of the classification region are Combinations may be generated by using U-Net.
  • any one of VGG16, ResNet50 and DenseNet121 may be used as the convolutional neural network.
  • the attention branch network includes a feature extractor that extracts the feature amount necessary for classifying the medical image and generates a feature amount map; an attention branch for generating a map; and a perception branch, wherein the attention map generated by the attention branch is reflected in the feature map generated by the feature extractor, and the perception branch is the attention branch.
  • the feature quantity map weighted by the map is output as a classification result of the medical image, and the loss function of the attention branch network is composed of a learning error of the attention branch, a learning error of the perception branch, and a regularization term.
  • the regularization term is the Frobenius norm of the matrix obtained by the Hadamard product of the attention map and the weight map, and the weight map may correspond to the prediction region.
  • One aspect of the present invention is a medical image diagnosis support method for supporting diagnosis of medical images, comprising: a prediction step of performing prediction using a classification model for classifying at least the presence or absence of a disease from the medical image; and the prediction step.
  • a learning step of performing supervised learning of the classification model before being executed wherein the supervised learning performed in the learning step uses a learning medical image in which at least the presence or absence of a disease is known as teacher data
  • the classification model includes a convolutional neural network and an attention branch network that visualizes a region of interest of the convolutional neural network.
  • a prediction step of performing prediction using a classification model that classifies at least the presence or absence of a disease from a medical image in a computer, and supervised learning of the classification model before the prediction step is performed.
  • a learning medical image in which at least the presence or absence of a disease is known is used as teacher data
  • the classification model is a convolutional neural and an attention branch network for visualizing a region of interest of the convolutional neural network. It is a program that is given a priori information indicating a classification region that is .
  • a medical image diagnosis support device a medical image diagnosis support method, and a program that can prevent a convolutional neural network from focusing on unnecessary regions in a medical image for classification of the presence or absence of disease. be able to.
  • FIG. 1 is a diagram illustrating an example of a configuration of a medical image diagnosis support apparatus according to a first embodiment
  • FIG. FIG. 2 is a diagram showing an example of the configuration of the attention branch network shown in FIG. 1
  • FIG. FIG. 4 is a diagram for explaining a method of creating a weight map in the first example of the medical image diagnosis support apparatus of the first embodiment
  • FIG. 10 is a diagram for explaining a method of creating a weight map in the second example of the medical image diagnosis support apparatus of the first embodiment
  • FIG. 4 is a diagram for explaining the process of calculating a regularization term in the medical image diagnosis support apparatus of the first embodiment
  • FIG. 2 is a diagram for explaining a region of interest and the like of a convolutional neural network of the medical image diagnosis support apparatus according to the first embodiment
  • FIG. 4 is a flow chart showing an example of processing executed in the medical image diagnosis support apparatus of the first embodiment
  • FIG. 10 is a diagram for explaining a region of interest and the like of a convolutional neural network of the medical image diagnosis support apparatus according to the second embodiment
  • FIG. 1 is a diagram showing an example of the configuration of a medical image diagnosis support apparatus 1 according to the first embodiment.
  • the medical image diagnosis support apparatus 1 of the first embodiment supports diagnosis of medical images by, for example, a medical specialist.
  • Medical images to be diagnosed by the medical image diagnosis support apparatus 1 include, for example, X-ray images such as chest X-ray images, echo images, MRI (Magnetic Resonance Imaging) images, CT (computed tomography) images, fundus images, and the like. is included.
  • the medical image diagnosis support apparatus 1 includes a prediction unit 11, a learning unit 12, and a classification model 1A.
  • the classification model 1A classifies the presence or absence of disease from medical images.
  • the classification model 1A classifies medical images that require a diagnosis of disease into medical images with disease and medical images without disease.
  • the prediction unit 11 performs prediction using the classification model 1A.
  • the learning unit 12 performs supervised learning of the classification model 1A before the prediction unit 11 uses the classification model 1A.
  • learning medical images for which the presence or absence of a disease is known are used as teacher data.
  • learning medical images for which the presence or absence of a disease is known are input to the medical image diagnosis support apparatus 1 as teacher data.
  • the teacher data used for the supervised learning of the classification model 1A consists of a learning medical image and information indicating whether or not the imaging subject of the learning medical image has a disease in the learning medical image. It is a group.
  • a medical image to be classified by the classification model 1A is input to the medical image diagnosis support apparatus 1, and the classification model 1A is:
  • the input medical images are classified into medical images with disease and medical images without disease.
  • the classification result by the classification model 1A (that is, information indicating whether each medical image is an image with a disease or an image without a disease) is output from the medical image diagnosis support apparatus 1. .
  • the classification model 1A is composed of a convolutional neural network 1A1 and an attention branch network 1A2 that visualizes the attention area of the convolutional neural network 1A1.
  • the attention branch network 1A2 is a classification model that simultaneously realizes visualization of the attention area of the convolutional neural network 1A1 by visual explanation and improvement of prediction accuracy. Details of the attention branch network 1A2 are described in, for example, the following documents. H. Fukui, T. Hirakawa, T.
  • FIG. 2 is a diagram showing an example of the configuration of the attention branch network 1A2 shown in FIG.
  • an attention branch network 1A2 comprises a feature extractor 1A21, an attention branch 1A22 and a perception branch 1A23.
  • the feature extractor 1A21 extracts the feature amount necessary for classification of the learning medical image from the learning medical image input to the attention branch network 1A2. Extract and generate a feature map.
  • the attention branch 1A22 generates an attention map by class activation mapping (CAM) from the feature quantity map generated by the feature extractor 1A21.
  • CAM class activation mapping
  • the attention map generated by the attention branch 1A22 is reflected in the feature map generated by the feature extractor 1A21 (that is, the feature map is weighted by the attention map).
  • the perception branch 1A23 classifies the feature map weighted by the attention map, and outputs the classification result of the learning medical image input to the attention branch network 1A2.
  • the loss function Loss of the attention branch network is represented by Equation (1) below.
  • CrossEntropyLoss att indicates the learning error of the attention branch
  • CrossEntropyLoss per indicates the learning error of the perception branch. That is, in a general attention branch network, the loss function Loss of the attention branch network is the sum of the attention branch learning error CrossEntropyLoss att and the perception branch learning error CrossEntropyLoss per .
  • the present inventors have found that the loss function Loss of the attention branch network 1A2 shown in Equation (1) is used as the loss function Loss of the attention branch network 1A2.
  • the loss function Los of the attention branch network 1A2 shown in the following equation (2) as the loss function Los of the attention branch network 1A2
  • the convolutional neural network 1A1 does not pay attention to regions of the chest X-ray image that are unnecessary for classifying the presence or absence of disease.
  • the attention map output from the attention branch 1A22 has information corresponding to the position in the training medical image.
  • the present inventors have proposed that the convolutional neural network 1A1 focuses on the lung fields and heart regions in the chest X-ray image, and that the convolutional neural network 1A1 focuses on the lung fields and heart regions in the chest X-ray image.
  • a regularization term (the third term on the right side of Equation (2)) is added to the loss function Loss of the attention branch network 1A2 so that high penalties are imposed when attention is paid to regions other than .
  • the convolutional neural network 1A1 no longer pays attention to regions of the chest X-ray image that are unnecessary for classification of the presence or absence of disease.
  • the loss function Loss of the attention branch network 1A2 shown in Equation (2) is the sum of the learning error CrossEntropyLoss att of the attention branch 1A22, the learning error CrossEntropyLoss per of the perception branch 1A23, and the regularization term.
  • the regularization term is the Frobenius norm is.
  • the regularization parameter ⁇ is a hyperparameter that needs tuning each time learning is performed.
  • the weight map W corresponds to a region (classification region) that the convolutional neural network 1A1 should pay attention to. In other words, the weight map W corresponds to a classification area, which is an area necessary for classification of the presence or absence of a disease, among the learning medical images input to the medical image diagnosis support apparatus 1 .
  • prior information indicating a classification region, which is a region necessary for classifying the presence or absence of a disease, among the learning medical images input to the medical image diagnosis support apparatus 1 is the attention branch network 1A2.
  • the convolutional neural network 1A1 can be prevented from paying attention to regions unnecessary for classification of disease presence/absence in the learning medical image.
  • the convolutional neural network 1A1 can prevent the medical image diagnosis support apparatus 1 from becoming unreliable by medical specialists and the like as a result of the convolutional neural network 1A1 focusing on areas unnecessary for classifying the presence or absence of disease in the learning medical images. can do.
  • the classification model 1A does not perform prognostic classification (that is, classifying medical images into medical images with good prognosis and medical images with poor prognosis), but other examples Now, classification model 1A may perform prognostic classification. In this example, learning medical images in which the presence or absence of disease and prognostic information are known are used as training data.
  • FIG. 3 is a diagram for explaining a method of creating the weight map W in the first example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • FIG. 3A shows an example of a learning medical image (input image) input to the medical image diagnosis support apparatus 1
  • FIG. 3B shows a learning image shown in FIG.
  • FIG. 3C shows a segmentation image of a part (lung field) of a region (region for classification) necessary for classifying the presence or absence of disease in a medical image (chest X-ray image)
  • FIG. shows a weight map W created from the segmentation image shown in FIG.
  • a first portion specifically Specifically, a weight map W shown in FIG.
  • 3(C) is created by performing convex hull processing on the segmentation image (see FIG. 3(B)) of the lung field.
  • the weight map W shown in FIG. 3C is created, for example, by an administrator (for example, a medical specialist) of the medical image diagnosis support apparatus 1 .
  • the attention branch network 1A2 of the medical image diagnosis support apparatus 1 accepts the input of the weight map W and converts the weights to obtain the regularization term described above.
  • a map W is used (ie, the weight map W is input to the attention branch network 1A2 and used to obtain the regularization term).
  • the medical image diagnosis support apparatus 1 may have a function for creating the weight map W shown in FIG. 3(C).
  • FIG. 4 is a diagram for explaining a method of creating the weight map W in the second example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • FIG. 4A shows an example of a training medical image (input image) input to the medical image diagnosis support apparatus 1, and FIG. A segmentation image of a part (lung field) of a region (region for classification) necessary for classifying the presence or absence of disease in a medical image (chest X-ray image) and a segmentation image of another part (heart) are combined.
  • FIG. 4(C) shows a weight map W created from a combination of the lung field segmentation image and the heart segmentation image shown in FIG. 4(B). In the example shown in FIG.
  • a weight map W shown in FIG. 4(C) is created by the generation.
  • the attention branch network 1A2 of the medical image diagnosis support apparatus 1 accepts the input of the weight map W and converts the weights to obtain the regularization term described above.
  • a map W is used (ie, the weight map W is input to the attention branch network 1A2 and used to obtain the regularization term).
  • the medical image diagnosis support apparatus 1 may have a function for creating the weight map W shown in FIG. 4(C).
  • U-Net Convolutional networks for biomedical image segmentation
  • Lect Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol.9351, pp.234-241, 2015, doi: 10.1007/978-3-319-24574-4_28.
  • chest X-ray images from the Montgomery Country-Chest X-ray database as training data for the lung field.
  • An example chest X-ray image 704 from the Montgomery Country-Chest X-ray database is described in the following two documents.
  • S. Candemir et al. "Lung segmentation in chest radiographs using anatomical atlases with nonrigid registration," IEEE Trans. Med. Imaging, vol. 33, no. 2, pp. 577-590, 2014, doi: 10.1109/TMI. 2013.2290491.
  • S. Jaeger et al. "Automatic Tuberculosis Screening Using Chest Radiographs," IEEE Trans. Med. Imaging, vol. 33, no. 2, pp. 233-245, Feb. 2014, doi: 10.1109/TMI.2013.2284099.
  • FIG. 5 is a diagram for explaining the calculation process of the regularization term in the medical image diagnosis support apparatus 1 of the first embodiment.
  • the regularization term is the Hadamard product of the attention map M and the weight map W (the attention map M and the weight map It is computed as the Frobenius norm of the matrix obtained by the component-wise product with W).
  • the present inventors used 3032 examples of chest X-ray images taken at Teikyo University Hospital in the research for verifying the medical image diagnosis support apparatus 1 of the first embodiment.
  • the data structure consists of 2002 cases of normal (that is, the subject of the chest X-ray image has no disease in the chest X-ray image), and 2002 cases of abnormal (that is, the subject of the chest X-ray image is disease in its chest radiograph) consisted of 1030 cases. It should be noted that the abnormal examples also include images captured in a sitting position or a lying position.
  • the chest X-ray image was resized to 224 ⁇ 224 to match the recommended input size of the classification model.
  • the row of "VGG16” in Table 1 shows the evaluation result of the medical image diagnosis support apparatus of the comparative example in which VGG16 is used as CNN and ABN is not applied.
  • the row of "VGG16+ABN” in Table 1 is a medical image diagnosis support of a comparative example in which VGG16 is used as CNN and ABN is applied, but prior information (weight map W) is not given to ABN. It shows the evaluation results of the device.
  • VGG16 is used as the convolutional neural network 1A1
  • the weight map W (prior information) shown in FIG. 3(C) is given to the attention branch network 1A2.
  • FIG. 3 shows evaluation results of a first example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • VGG16 is used as the convolutional neural network 1A1
  • the weight map W (prior information) shown in FIG. 4(C) is given to the attention branch network 1A2.
  • 3 shows evaluation results of a second example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • the row of "Resnet50" in Table 1 shows the evaluation result of the medical image diagnosis support apparatus of the comparative example in which ResNet50 is used as CNN and ABN is not applied.
  • the row of "Resnet50+ABN” in Table 1 is medical image diagnosis support of a comparative example in which ResNet50 is used as CNN and ABN is applied, but prior information (weight map W) is not given to ABN. It shows the evaluation results of the device.
  • ResNet50 is used as the convolutional neural network 1A1
  • weight map W (prior information) shown in FIG. 3(C) is given to the attention branch network 1A2.
  • 3 shows evaluation results of a first example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • ResNet50 is used as the convolutional neural network 1A1, and the weight map W (prior information) shown in FIG. 4(C) is given to the attention branch network 1A2.
  • 3 shows evaluation results of a second example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • the row of "Densenet121" in Table 1 shows the evaluation result of the medical image diagnosis support apparatus of the comparative example in which DenseNet121 is used as CNN and ABN is not applied.
  • the row of "Densenet121+ABN” in Table 1 is a medical image diagnosis support of a comparative example in which DenseNet121 is used as CNN and ABN is applied, but prior information (weight map W) is not given to ABN.
  • DenseNet121 is used as the convolutional neural network 1A1, and the weight map W (prior information) shown in FIG. 3(C) is given to the attention branch network 1A2.
  • 3 shows evaluation results of a first example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • DenseNet121 is used as the convolutional neural network 1A1, and the weight map W (prior information) shown in FIG. 4(C) is given to the attention branch network 1A2.
  • 3 shows evaluation results of a second example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • Balanced Accuracy was used as an evaluation index in order to appropriately evaluate the bias in the number of data between classes.
  • Balanced Accuracy is represented by the following formula (3).
  • TP is True Positive
  • TN is True Negative
  • FP is False Positive
  • FN False Negative.
  • the example shown in the “Resnet50+ABN+weightmap2” row of Table 1 the example shown in the “Densenet121+ABN+weightmap1” row of Table 1, and the example shown in the "Densenet121+ABN+weightmap2" row of Table 1
  • no deterioration in performance due to the addition of the regularization term of the medical image diagnosis support apparatus 1 of the first embodiment was observed.
  • the present inventors used the large-scale chest X-ray data set NIH14 published by the National Institute of Health in research for evaluating the learning and accuracy of the medical image diagnosis support apparatus 1 of the first embodiment. .
  • Table 1 by constructing an attention branch network based on three typical CNNs (VGG16, ResNet50, DenseNet121) as classification models, the medical image diagnosis support apparatus 1 of the first embodiment We evaluated learning and accuracy. Mean and standard deviation of Accuracy, Sensitivity, Specificity, AUC are shown in Table 2 below.
  • “Weightmap1” indicates a weight map W (see FIG.
  • the row of "VGG16” in Table 2 shows the evaluation result of the medical image diagnosis support apparatus of the comparative example in which VGG16 is used as CNN and ABN is not applied.
  • the row of "VGG16+ABN” in Table 2 is a medical image diagnosis support of a comparative example in which VGG16 is used as CNN and ABN is applied, but prior information (weight map W) is not given to ABN. It shows the evaluation results of the device.
  • VGG16 is used as the convolutional neural network 1A1
  • the weight map W (prior information) shown in FIG. 3(C) is given to the attention branch network 1A2.
  • FIG. 3 shows evaluation results of a first example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • VGG16 is used as the convolutional neural network 1A1
  • the weight map W (prior information) shown in FIG. 4(C) is given to the attention branch network 1A2.
  • 3 shows evaluation results of a second example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • the row of "Resnet50" in Table 2 shows the evaluation result of the medical image diagnosis support apparatus of the comparative example in which ResNet50 is used as CNN and ABN is not applied.
  • the row of "Resnet50+ABN” in Table 2 is medical image diagnosis support of a comparative example in which ResNet50 is used as CNN and ABN is applied, but prior information (weight map W) is not given to ABN. It shows the evaluation results of the device.
  • ResNet50 is used as the convolutional neural network 1A1
  • weight map W (prior information) shown in FIG. 3(C) is given to the attention branch network 1A2.
  • 3 shows evaluation results of a first example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • ResNet50 is used as the convolutional neural network 1A1, and the weight map W (prior information) shown in FIG. 4(C) is given to the attention branch network 1A2.
  • 3 shows evaluation results of a second example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • the row of "Densenet121" in Table 2 shows the evaluation result of the medical image diagnosis support device of the comparative example in which DenseNet121 is used as CNN and ABN is not applied.
  • the row of "Densenet121+ABN” in Table 2 is a medical image diagnosis support of a comparative example in which DenseNet121 is used as CNN and ABN is applied, but prior information (weight map W) is not given to ABN.
  • DenseNet121 is used as the convolutional neural network 1A1, and the weight map W (prior information) shown in FIG. 3(C) is given to the attention branch network 1A2.
  • 3 shows evaluation results of a first example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • DenseNet121 is used as the convolutional neural network 1A1, and the weight map W (prior information) shown in FIG. 4(C) is given to the attention branch network 1A2.
  • 3 shows evaluation results of a second example of the medical image diagnosis support apparatus 1 of the first embodiment.
  • Example shown in the row “VGG16+ABN+weightmap1” in Table 2 example shown in the row “VGG16+ABN+weightmap2” in Table 2, example shown in the row “Resnet50+ABN+weightmap1” in Table 2, Table 2
  • any of the examples shown in the “Resnet50+ABN+weightmap2" row of Table 2 the example shown in the "Densenet121+ABN+weightmap1" row of Table 2, and the example shown in the "Densenet121+ABN+weightmap2" row of Table 2
  • no deterioration in performance due to the addition of the regularization term of the medical image diagnosis support apparatus 1 of the first embodiment was observed.
  • FIG. 6 is a diagram for explaining a region of interest and the like of the convolutional neural network 1A1 of the medical image diagnosis support apparatus 1 of the first embodiment.
  • FIG. 6A shows a medical image
  • 6(B) shows the attention area of CNN of the medical image diagnosis support apparatus of the comparative example in which prior information (weight map) is not given to ABN
  • FIG. 6(C) is the attention branch network 1A2 given prior information (weight map W (specifically, weight map W obtained by combining the segmentation image of the lung field and the segmentation image of the heart)) according to the first embodiment.
  • 1 shows the region of interest of the convolutional neural network 1A1 of FIG.
  • a learning medical image input Images
  • FIG. 6(A) the Teikyo University chest X-ray data set was used.
  • the attention map of ABN is such that the CNN has a lower part (lung field and heart) than an upper part (lung field and heart) of the input image. (parts that do not contain ).
  • the attention map of the ABN shows that the CNN is equally interested in the part of the input image (including the lung fields and heart) and the part of the input image that is not of interest ( (parts not including the lung field and heart).
  • the ABN attention map showed that the CNN paid less attention to the heart portion of the input image.
  • prior information weight map W
  • the attention map of the attention branch network 1A2 is , showed that the convolutional neural network 1A1 focuses on within the lung field of the input image.
  • FIG. 7 is a flow chart showing an example of processing executed in the medical image diagnosis support apparatus 1 of the first embodiment.
  • the learning unit 12 performs supervised learning of the classification model 1A composed of the convolutional neural network 1A1 and the attention branch network 1A2 that visualizes the attention area of the convolutional neural network 1A1.
  • learning medical images for which the presence or absence of a disease is known are used as teacher data.
  • the attention branch network 1A2 is provided with information indicating a classification region (weight map W), which is a region necessary for classifying the presence or absence of disease in the learning medical image.
  • the prediction unit 11 classifies the presence or absence of a disease from the medical image input to the medical image diagnosis support apparatus 1 by using the learned classification model 1A.
  • the prior information indicating the weight map W is provided to the attention branch network 1A2 in step S1, but in another example, the prior information indicating the weight map W is provided not only in step S1 but also in step S2. Information may be provided to attention branch network 1A2.
  • the medical image diagnosis support apparatus 1 of the second embodiment is configured in the same manner as the medical image diagnosis support apparatus 1 of the first embodiment described above, except for the points described later. Therefore, according to the medical image diagnosis support apparatus 1 of the second embodiment, the same effects as the medical image diagnosis support apparatus 1 of the above-described first embodiment can be obtained except for the points described later.
  • the medical image diagnosis support apparatus 1 of the second embodiment is configured similarly to the medical image diagnosis support apparatus 1 of the first embodiment shown in FIG.
  • the medical image diagnosis support apparatus 1 of the second embodiment includes a prediction section 11, a learning section 12, and a classification model 1A.
  • the classification model 1A is composed of a convolutional neural network 1A1 and an attention branch network 1A2 that visualizes the attention area of the convolutional neural network 1A1.
  • the attention branch network 1A2 of the medical image diagnosis support apparatus 1 of the second embodiment is configured similarly to the attention branch network 1A2 of the medical image diagnosis support apparatus 1 of the first embodiment shown in FIG.
  • the attention branch network 1A2 of the medical image diagnosis support apparatus 1 of the second embodiment extracts feature quantities necessary for classification of medical images for learning, for example, at the stage when the learning unit 12 performs supervised learning of the classification model 1A. and includes a feature extractor 1A21 for generating a feature map, an attention branch 1A22, and a perception branch 1A23.
  • the output from the perception branch 1A23 is visualized by applying Grad-CAM to the output from the perception branch 1A23.
  • the loss function Loss of the attention branch network 1A2 is the learning error CrossEntropyLoss att of the attention branch 1A22 and the perception branch It is the sum of the learning error CrossEntropyLoss per of 1A23 and the regularization term.
  • the regularization term is the Hadamard is the Frobenius norm of the matrix obtained by the product.
  • the weight map W corresponds to the area (classification area) that the convolutional neural network 1A1 should pay attention to. do.
  • the weight map W corresponds to a classification area, which is an area necessary for classification of the presence or absence of a disease, among the learning medical images input to the medical image diagnosis support apparatus 1 .
  • FIG. 8 is a diagram (Grad-CAM) for explaining the attention area of the convolutional neural network 1A1 of the medical image diagnosis support apparatus 1 of the second embodiment.
  • FIG. 8A shows the medical image diagnosis support apparatus 1 of the second embodiment, the medical image diagnosis support apparatus of the comparative example to which the ABN is not applied, and the advance information in the ABN to which the ABN is applied.
  • FIG. 8B shows a medical image (input image) input to the medical image diagnosis support apparatus of the comparative example to which no (weight map) is given
  • FIG. FIG. 8C shows the attention area of the CNN of the support device, and FIG.
  • FIG. 8C shows the attention of the CNN of the medical image diagnosis support device of the comparative example in which the ABN is applied but the prior information (weight map) is not given to the ABN.
  • FIG. 8(D) shows the attention area of the convolutional neural network 1A1 of the medical image diagnosis support apparatus 1 of the second embodiment in which prior information (weight map W) is given to the attention branch network 1A2.
  • the medical image diagnosis support apparatus 1 of the second embodiment the medical image diagnosis support apparatus of the comparative example to which the ABN is not applied, and the prior information (weight map ) was used as a medical image (input image) (see FIG. 8A) to be input to the medical image diagnosis support apparatus of the comparative example (see FIG. 8A).
  • the attention map of the attention branch network 1A2 is such that the convolutional neural network 1A1 is in the lung field of the input image. Show that you are paying attention.
  • the medical image diagnosis support apparatus 1 of the first and second embodiments is applied to chest X-ray images, but in other examples, the medical image diagnosis support apparatus 1 of the first or second embodiment may be applied to X-ray images other than chest X-ray images. In another example, the medical image diagnosis support apparatus 1 of the first or second embodiment may be applied to echo images.
  • the convolutional neural network 1A1 focuses on the wall of the heart, so that the classification model 1A can classify the presence or absence of myocardial infarction. Further, the convolutional neural network 1A1 focuses on mammary glands, so that the classification model 1A can classify the presence or absence of breast cancer.
  • the medical image diagnosis support apparatus 1 of the first or second embodiment may be applied to MRI images. Specifically, the convolutional neural network 1A1 focuses only on the intracranial region, so that the classification model 1A can classify the presence or absence of cerebral infarction. In addition, the convolutional neural network 1A1 focuses only on the prostate region, so that the classification model 1A can classify the presence or absence of prostate cancer. In yet another example, the medical image diagnosis support apparatus 1 of the first or second embodiment may be applied to CT images. Specifically, the convolutional neural network 1A1 focuses only on the lung field, so that the classification model 1A can classify the presence or absence of pneumonia, nodule, tumor, and the like.
  • the classification model 1A can classify the presence or absence of cerebral hemorrhage by focusing only on the intracranial region with the convolutional neural network 1A1.
  • the medical image diagnosis support apparatus 1 of the first or second embodiment may be applied to fundus images.
  • the convolutional neural network 1A1 focuses on the optic papilla, so that the classification model 1A can classify the presence or absence of glaucoma.
  • All or part of the medical image diagnosis support apparatus 1 in the above embodiment may be implemented by dedicated hardware, or may be implemented by a memory and a microprocessor. .
  • All or part of the medical image diagnosis support apparatus 1 is composed of a memory and a CPU (Central Processing Unit). It may be one that realizes that function.
  • a program for realizing all or part of the functions of the medical image diagnosis support apparatus 1 is recorded in a computer-readable recording medium, and the program recorded in this recording medium is read by a computer system and executed. Each part may be processed by It should be noted that the "computer system” referred to here includes hardware such as an OS and peripheral devices.
  • the "computer system” also includes the home page providing environment (or display environment) if the WWW system is used.
  • computer-readable recording medium refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage devices such as hard discs incorporated in computer systems.
  • “computer-readable recording medium” means a medium that dynamically retains a program for a short period of time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It also includes those that hold programs for a certain period of time, such as volatile memories inside computer systems that serve as servers and clients in that case.
  • the program may be for realizing part of the functions described above, or may be capable of realizing the functions described above in combination with a program already recorded in the computer system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

医用画像の診断を支援する医用画像診断支援装置（１）は、医用画像から少なくとも疾患の有無を分類する分類モデル（１Ａ）と、分類モデル（１Ａ）を用いた予測を行う予測部（１１）と、分類モデル（１Ａ）の教師あり学習を行う学習部（１２）とを備え、教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、分類モデル（１Ａ）は、畳み込みニューラルネットワーク（１Ａ１）と、畳み込みニューラルネットワーク（１Ａ１）の注目領域を可視化するアテンションブランチネットワーク（１Ａ２）とによって構成され、教師あり学習が行われる段階で、アテンションブランチネットワーク（１Ａ２）に、学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す事前情報が与えられる。

Description

医用画像診断支援装置、医用画像診断支援方法およびプログラム
　本発明は、医用画像診断支援装置、医用画像診断支援方法およびプログラムに関する。
　本願は、２０２１年９月２１日に、日本に出願された特願２０２１－１５３４２７号に基づき優先権を主張し、その内容をここに援用する。
　従来から、医師による画像の診断を支援する画像診断支援装置が知られている（例えば特許文献１参照）。特許文献１に記載された技術では、畳み込みニューラルネットワーク（ＣＮＮ）が有する内視鏡画像の診断能力が使用される。詳細には、特許文献１に記載された技術では、病変推定部が、畳み込みニューラルネットワークを用い、内視鏡画像データにより表される内視鏡画像内に存在する病変の病変名および病変位置と、病変名および病変位置の確度とを推定する。また、特許文献１に記載された技術では、あらかじめ経験豊富な内視鏡医によってマーキング処理されたレファレンスデータ（教師データ）を用い、畳み込みニューラルネットワークの学習処理が行われる。
　ところで、医療分野においては、ＡＩ（人工知能）のブラックボックス問題を考慮する必要がある。つまり、特許文献１に記載された画像診断支援装置のような画像診断支援用ＡＩのブラックボックス問題を考慮する必要がある。
特許第６６５７４８０号公報
　そこで、本発明者等は、鋭意研究において、医用画像として胸部Ｘ線画像を用い、畳み込みニューラルネットワークと、畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワーク（ＡＢＮ）とによって、胸部Ｘ線画像から疾患の有無を分類する分類モデルを構成し、畳み込みニューラルネットワークの注目領域について検証した。その結果、本発明者等は、畳み込みニューラルネットワークが、胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目してしまうおそれがあることを見い出した。
　このように、胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目してしまう医療用ＡＩでは、例えば専門医の信頼などのような、医療現場の信頼を得ることができないと本発明者等は考え、研究を更に進めた。
　具体的には、本発明者等は、鋭意研究において、胸部Ｘ線画像のうちの疾患の有無の分類に必要な領域を示す事前情報をアテンションブランチネットワークに対して与えた。その結果、畳み込みニューラルネットワークが胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目しないようにすることができたのである。
　つまり、本発明は、畳み込みニューラルネットワークが医用画像のうちの疾患の有無の分類に不必要な領域に注目しないようにすることができる医用画像診断支援装置、医用画像診断支援方法およびプログラムを提供することを目的とする。
　本発明の一態様は、医用画像の診断を支援する医用画像診断支援装置であって、前記医用画像から少なくとも疾患の有無を分類する分類モデルと、前記分類モデルを用いた予測を行う予測部と、前記予測部によって前記分類モデルが用いられる前に、前記分類モデルの教師あり学習を行う学習部とを備え、前記学習部によって行われる教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、前記分類モデルは、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワークとによって構成され、前記学習部によって前記分類モデルの教師あり学習が行われる段階で、前記アテンションブランチネットワークには、前記学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す事前情報が与えられる、医用画像診断支援装置である。
　本発明の一態様の医用画像診断支援装置では、前記アテンションブランチネットワークは、前記医用画像の分類に必要な特徴量を抽出し、特徴量マップを生成する特徴抽出器と、クラスアクティベーションマッピングによるアテンションマップを生成するアテンションブランチと、パーセプションブランチとを備え、前記学習部によって前記分類モデルの教師あり学習が行われる段階では、前記アテンションブランチにより生成された前記アテンションマップは、前記特徴抽出器によって生成された前記特徴量マップに反映させられ、前記パーセプションブランチは、前記アテンションマップによって重み付けされた前記特徴量マップを、前記学習用医用画像の分類結果として出力し、前記アテンションブランチネットワークの損失関数は、前記アテンションブランチの学習誤差と、前記パーセプションブランチの学習誤差と、正則化項との総和であり、前記正則化項は、前記アテンションマップと重みマップとのアダマール積によって得られた行列のフロベニウスノルムであり、前記重みマップは、前記分類用領域に対応してもよい。
　本発明の一態様の医用画像診断支援装置では、前記学習部によって前記分類モデルの教師あり学習が行われる段階では、前記アテンションブランチネットワークは、前記分類用領域の一部である第１部分のセグメンテーション画像に凸包処理を行うことによって作成された前記重みマップを受け付けてもよい。
　本発明の一態様の医用画像診断支援装置では、前記学習部によって前記分類モデルの教師あり学習が行われる段階では、前記アテンションブランチネットワークは、前記分類用領域の一部である第１部分のセグメンテーション画像と、前記分類用領域の他の一部である第２部分のセグメンテーション画像とを組み合わせることによって作成された前記重みマップを受け付けてもよい。
　本発明の一態様の医用画像診断支援装置では、前記第１部分のセグメンテーション画像および／または前記第１部分のセグメンテーション画像と前記分類用領域の他の一部である第２部分のセグメンテーション画像とを組み合わせたものは、Ｕ－Ｎｅｔを使用することによって生成されてもよい。
　本発明の一態様の医用画像診断支援装置では、前記畳み込みニューラルネットワークとして、ＶＧＧ１６、ＲｅｓＮｅｔ５０およびＤｅｎｓｅＮｅｔ１２１のいずれかを用いてもよい。
　本発明の一態様の医用画像診断支援装置では、前記アテンションブランチネットワークは、前記医用画像の分類に必要な特徴量を抽出し、特徴量マップを生成する特徴抽出器と、クラスアクティベーションマッピングによるアテンションマップを生成するアテンションブランチと、パーセプションブランチとを備え、前記アテンションブランチにより生成された前記アテンションマップは、前記特徴抽出器によって生成された前記特徴量マップに反映させられ、前記パーセプションブランチは、前記アテンションマップによって重み付けされた前記特徴量マップを、前記医用画像の分類結果として出力し、前記アテンションブランチネットワークの損失関数は、前記アテンションブランチの学習誤差と、前記パーセプションブランチの学習誤差と、正則化項との総和であり、前記正則化項は、前記アテンションマップと重みマップとのアダマール積によって得られた行列のフロベニウスノルムであり、前記重みマップは、前記予測用領域に対応してもよい。
　本発明の一態様は、医用画像の診断を支援する医用画像診断支援方法であって、前記医用画像から少なくとも疾患の有無を分類する分類モデルを用いた予測を行う予測ステップと、前記予測ステップが実行される前に、前記分類モデルの教師あり学習を行う学習ステップとを備え、前記学習ステップにおいて行われる教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、前記分類モデルは、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワークとによって構成され、前記学習ステップでは、前記アテンションブランチネットワークには、前記学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す事前情報が与えられる、医用画像診断支援方法である。
　本発明の一態様は、コンピュータに、医用画像から少なくとも疾患の有無を分類する分類モデルを用いた予測を行う予測ステップと、前記予測ステップが実行される前に、前記分類モデルの教師あり学習を行う学習ステップとを実行させるためのプログラムであって、前記学習ステップにおいて行われる教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、前記分類モデルは、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワークとによって構成され、前記学習ステップでは、前記アテンションブランチネットワークには、前記学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す事前情報が与えられる、プログラムである。
　本発明によれば、畳み込みニューラルネットワークが医用画像のうちの疾患の有無の分類に不必要な領域に注目しないようにすることができる医用画像診断支援装置、医用画像診断支援方法およびプログラムを提供することができる。
第１実施形態の医用画像診断支援装置の構成の一例を示す図である。 図１に示すアテンションブランチネットワークの構成の一例を示す図である。 第１実施形態の医用画像診断支援装置の第１例における重みマップの作成手法を説明するための図である。 第１実施形態の医用画像診断支援装置の第２例における重みマップの作成手法を説明するための図である。 第１実施形態の医用画像診断支援装置における正則化項の計算過程を説明するための図である。 第１実施形態の医用画像診断支援装置の畳み込みニューラルネットワークの注目領域などを説明するための図である。 第１実施形態の医用画像診断支援装置において実行される処理の一例を示すフローチャートである。 第２実施形態の医用画像診断支援装置の畳み込みニューラルネットワークの注目領域などを説明するための図である。
　以下、図面を参照し、本発明の医用画像診断支援装置、医用画像診断支援方法およびプログラムの実施形態について説明する。
［第１実施形態］
　図１は第１実施形態の医用画像診断支援装置１の構成の一例を示す図である。
　図１に示す例では、第１実施形態の医用画像診断支援装置１が、例えば専門医などによる医用画像の診断を支援する。医用画像診断支援装置１による診断支援対象の医用画像には、例えば胸部Ｘ線画像などのようなＸ線画像、エコー画像、ＭＲＩ（Magnetic Resonance Imaging）画像、ＣＴ（computed tomography）画像、眼底画像などが含まれる。
　医用画像診断支援装置１は、予測部１１と、学習部１２と、分類モデル１Ａとを備えている。分類モデル１Ａは、医用画像から疾患の有無を分類する。つまり、分類モデル１Ａは、疾患を有するか否の診断が必要な医用画像を、疾患を有する医用画像と、疾患を有さない医用画像とに分類する。予測部１１は分類モデル１Ａを用いた予測を行う。学習部１２は、予測部１１によって分類モデル１Ａが用いられる前に、分類モデル１Ａの教師あり学習を行う。学習部１２によって行われる教師あり学習では、疾患の有無が既知の学習用医用画像が教師データとして用いられる。
　図１に示す例では、学習部１２が分類モデル１Ａの教師あり学習を行う学習段階において、疾患の有無が既知の学習用医用画像が、教師データとして医用画像診断支援装置１に入力される。つまり、分類モデル１Ａの教師あり学習に用いられる教師データは、学習用医用画像と、その学習用医用画像の撮像対象者がその学習用医用画像内に疾患を有するか否かを示す情報との組である。
　予測部１１が分類モデル１Ａを用いることによって医用画像から疾患の有無を予測する予測段階においては、分類モデル１Ａによる分類対象の医用画像が医用画像診断支援装置１に入力され、分類モデル１Ａは、入力された医用画像を、疾患を有する医用画像と、疾患を有さない医用画像とに分類する。更に、分類モデル１Ａによる分類結果（つまり、各医用画像が疾患を有する画像であるか、あるいは、疾患を有さない画像であるかを示す情報）が、医用画像診断支援装置１から出力される。
　上述したように、医療分野においては、ＡＩのブラックボックス問題を考慮する必要がある。詳細には、医療用ＡＩが医用画像のうちのどの領域に注目しているかを、医療用ＡＩを利用する専門医などが把握できるようにしなければ、専門医などが医療用ＡＩを信頼して利用しないおそれがある。
　そこで、図１に示す例では、分類モデル１Ａが、畳み込みニューラルネットワーク１Ａ１と、畳み込みニューラルネットワーク１Ａ１の注目領域を可視化するアテンションブランチネットワーク１Ａ２とによって構成されている。アテンションブランチネットワーク１Ａ２は、視覚的説明による畳み込みニューラルネットワーク１Ａ１の注目領域の可視化と予測精度向上とを同時に実現した分類モデルである。アテンションブランチネットワーク１Ａ２の詳細については、例えば下記の文献に記載されている。
　H. Fukui, T. Hirakawa, T. Yamashita, and H. Fujiyoshi, “Attention branch network: Learning of attention mechanism for visual explanation,” Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., vol. 2019-June, pp. 10697-10706, 2019, doi: 10.1109/CVPR.2019.01096.
　図２は図１に示すアテンションブランチネットワーク１Ａ２の構成の一例を示す図である。
　図２に示す例では、アテンションブランチネットワーク１Ａ２が、特徴抽出器１Ａ２１と、アテンションブランチ１Ａ２２と、パーセプションブランチ１Ａ２３とを備えている。
　例えば、学習部１２によって分類モデル１Ａの教師あり学習が行われる段階では、特徴抽出器１Ａ２１は、アテンションブランチネットワーク１Ａ２に入力された学習用医用画像から学習用医用画像の分類に必要な特徴量を抽出し、特徴量マップを生成する。
　アテンションブランチ１Ａ２２は、特徴抽出器１Ａ２１によって生成された特徴量マップから、クラスアクティベーションマッピング（ＣＡＭ）によるアテンションマップを生成する。アテンションブランチネットワーク１Ａ２では、アテンションブランチ１Ａ２２により生成されたアテンションマップが、特徴抽出器１Ａ２１によって生成された特徴量マップに反映させられる（つまり、特徴量マップが、アテンションマップによって重み付けされる）。
　パーセプションブランチ１Ａ２３は、アテンションマップによって重み付けされた特徴量マップの分類を行い、アテンションブランチネットワーク１Ａ２に入力された学習用医用画像の分類結果として出力する。
　一般的なアテンションブランチネットワークにおいては、アテンションブランチネットワークの損失関数Ｌｏｓｓが下記の式（１）によって表される。式（１）において、ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓａｔｔはアテンションブランチの学習誤差を示しており、ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓｐｅｒはパーセプションブランチの学習誤差を示している。
　つまり、一般的なアテンションブランチネットワークにおいては、アテンションブランチネットワークの損失関数Ｌｏｓｓが、アテンションブランチの学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓａｔｔとパーセプションブランチの学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓｐｅｒとの総和である。
Figure JPOXMLDOC01-appb-M000001
　本発明者等は、鋭意研究において、アテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓとして、式（１）に示すアテンションブランチネットワークの損失関数Ｌｏｓｓを用いると、畳み込みニューラルネットワーク１Ａ１が、胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目してしまうのに対し、アテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓとして、下記の式（２）に示すアテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓを用いることによって、畳み込みニューラルネットワーク１Ａ１が、胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目しなくなることを見い出したのである。
　詳細には、本発明者等は、研究において、アテンションブランチ１Ａ２２から出力されるアテンションマップが、学習用医用画像内における位置に対応した情報を持つことに注目した。更に、本発明者等は、畳み込みニューラルネットワーク１Ａ１が胸部Ｘ線画像のうちの肺野や心臓の領域に注目するように、かつ、畳み込みニューラルネットワーク１Ａ１が胸部Ｘ線画像のうちの肺野、心臓以外の領域に注目した場合に高い罰則が付くように、アテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓに、正則化項（式（２）の右辺の第３項）を追加した。その結果、畳み込みニューラルネットワーク１Ａ１が、胸部Ｘ線画像のうちの疾患の有無の分類に不必要な領域に注目しなくなったのである。
Figure JPOXMLDOC01-appb-M000002
　つまり、式（２）に示すアテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓは、アテンションブランチ１Ａ２２の学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓａｔｔと、パーセプションブランチ１Ａ２３の学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓｐｅｒと、正則化項との総和である。詳細には、正則化項は、アテンションブランチ１Ａ２２から出力されるアテンションマップＭと重みマップＷとのアダマール積（アテンションマップＭと重みマップＷとの成分ごとの積）によって得られた行列のフロベニウスノルムである。
　式（２）において、正則化パラメータλは、学習の都度チューニングが必要なハイパーパラメータである。
　重みマップＷは、畳み込みニューラルネットワーク１Ａ１に注目して欲しい領域（分類用領域）に対応する。つまり、重みマップＷは、医用画像診断支援装置１に入力される学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域に対応する。
　すなわち、図２に示す例では、医用画像診断支援装置１に入力される学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す事前情報が、アテンションブランチネットワーク１Ａ２に与えられる。
　その結果、図１および図２に示す例では、畳み込みニューラルネットワーク１Ａ１が学習用医用画像のうちの疾患の有無の分類に不必要な領域に注目しないようにすることができる。つまり、畳み込みニューラルネットワーク１Ａ１が学習用医用画像のうちの疾患の有無の分類に不必要な領域に注目してしまうことに伴って、医用画像診断支援装置１が専門医などに信頼されなくなるおそれを抑制することができる。
　図１および図２に示す例では、分類モデル１Ａが予後の分類（つまり、医用画像を、予後が良い医用画像と、予後が悪い医用画像とに分類すること）を行わないが、他の例では、分類モデル１Ａが予後の分類を行ってもよい。この例では、教師データとして、疾患の有無が既知であって、予後に関する情報が既知である学習用医用画像が用いられる。
　図３は第１実施形態の医用画像診断支援装置１の第１例における重みマップＷの作成手法を説明するための図である。詳細には、図３（Ａ）は医用画像診断支援装置１に入力される学習用医用画像（入力画像）の一例を示しており、図３（Ｂ）は図３（Ａ）に示す学習用医用画像（胸部Ｘ線画像）のうちの疾患の有無の分類に必要な領域（分類用領域）の一部（肺野）のセグメンテーション画像を示しており、図３（Ｃ）は図３（Ｂ）に示すセグメンテーション画像から作成される重みマップＷを示している。
　図３に示す例では、分類用領域（具体的には、図３（Ａ）に示す胸部Ｘ線画像のうちの疾患の有無の分類に必要な領域）の一部である第１部分（具体的には、肺野）のセグメンテーション画像（図３（Ｂ）参照）に凸包処理を行うことによって、図３（Ｃ）に示す重みマップＷが作成される。図３（Ｃ）に示す重みマップＷは、例えば医用画像診断支援装置１の管理者（例えば専門医など）によって作成される。学習部１２によって分類モデル１Ａの教師あり学習が行われる段階において、医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２は、その重みマップＷの入力を受け付け、上述した正則化項を得るためにその重みマップＷを利用する（つまり、その重みマップＷが、アテンションブランチネットワーク１Ａ２に入力され、正則化項を得るために利用される）。
　他の例では、医用画像診断支援装置１が、図３（Ｃ）に示す重みマップＷを作成するための機能を備えていてもよい。
　図４は第１実施形態の医用画像診断支援装置１の第２例における重みマップＷの作成手法を説明するための図である。詳細には、図４（Ａ）は医用画像診断支援装置１に入力される学習用医用画像（入力画像）の一例を示しており、図４（Ｂ）は図４（Ａ）に示す学習用医用画像（胸部Ｘ線画像）のうちの疾患の有無の分類に必要な領域（分類用領域）の一部（肺野）のセグメンテーション画像と他の一部（心臓）のセグメンテーション画像とを組み合わせたものを示しており、図４（Ｃ）は図４（Ｂ）に示す肺野のセグメンテーション画像と心臓のセグメンテーション画像とを組み合わせたものから作成される重みマップＷを示している。
　図４に示す例では、分類用領域（具体的には、図４（Ａ）に示す胸部Ｘ線画像のうちの疾患の有無の分類に必要な領域）の一部である第１部分（具体的には、肺野）のセグメンテーション画像と、分類用領域の他の一部である第２部分（具体的には、心臓）のセグメンテーション画像とを組み合わせたもの（図４（Ｂ）参照）を生成することによって、図４（Ｃ）に示す重みマップＷが作成される。学習部１２によって分類モデル１Ａの教師あり学習が行われる段階において、医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２は、その重みマップＷの入力を受け付け、上述した正則化項を得るためにその重みマップＷを利用する（つまり、その重みマップＷが、アテンションブランチネットワーク１Ａ２に入力され、正則化項を得るために利用される）。
　他の例では、医用画像診断支援装置１が、図４（Ｃ）に示す重みマップＷを作成するための機能を備えていてもよい。
　詳細には、本発明者等は、研究において、Ｕ－Ｎｅｔを使用することによって、図３（Ｂ）に示すセグメンテーション画像（肺野のセグメンテーション画像）と、図４（Ｂ）に示すセグメンテーション画像（肺野のセグメンテーション画像と心臓のセグメンテーション画像とを組み合わせたもの）とを生成した。
　Ｕ－Ｎｅｔについては、下記の文献に記載されている。
　O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 9351, pp. 234-241, 2015, doi: 10.1007/978-3-319-24574-4_28.
　また、本発明者等は、研究において、肺野の教師データに、Montgomery Country-Chest X-ray databaseの胸部Ｘ線画像７０４例を使用した。Montgomery Country-Chest X-ray databaseの胸部Ｘ線画像７０４例については、下記の２つの文献に記載されている。
　S. Candemir et al., “Lung segmentation in chest radiographs using anatomical atlases with nonrigid registration,” IEEE Trans. Med. Imaging, vol. 33, no. 2, pp. 577-590, 2014, doi: 10.1109/TMI.2013.2290491.
　S. Jaeger et al., “Automatic Tuberculosis Screening Using Chest Radiographs,” IEEE Trans. Med. Imaging, vol. 33, no. 2, pp. 233-245, Feb. 2014, doi: 10.1109/TMI.2013.2284099.
　また、本発明者等は、研究において、心臓の教師データに、JSRTの胸部Ｘ線画像２４７例を使用した。JSRTの胸部Ｘ線画像２４７例については、下記の２つの文献に記載されている。
　P. (Project leader) T. U. of C. Junji Shiraishi et al., “Standard Digital Image Database:Chest Lung Nodules and Non-Nodules Created by the Japanese Society of Radiological Technology (JSRT) In cooperation with the Japanese Radiological Society (JRS),” 1997.
　B. van Ginneken, M. B. Stegmann, and M. Loog, “Segmentation of anatomical structures in chest radiographs using supervised methods: A comparative study on a public database,” Med. Image Anal., vol. 10, no. 1, pp. 19-40, 2006, doi: 10.1016/j.media.2005.02.002.
　図５は第１実施形態の医用画像診断支援装置１における正則化項の計算過程を説明するための図である。
　第１実施形態の医用画像診断支援装置１では、上述した式（２）および図５に示すように、正則化項は、アテンションマップＭと重みマップＷとのアダマール積（アテンションマップＭと重みマップＷとの成分ごとの積）によって得られた行列のフロベニウスノルムとして計算される。
＜使用したデータ＞
　本発明者等は、第１実施形態の医用画像診断支援装置１を検証する研究において、帝京大学医学部付属病院で撮像された胸部Ｘ線画像３０３２例を使用した。データの構成は、正常（つまり、その胸部Ｘ線画像の撮像対象者がその胸部Ｘ線画像内に疾患を有さない）が２００２例、異常（つまり、その胸部Ｘ線画像の撮像対象者がその胸部Ｘ線画像内に疾患を有する）が１０３０例から構成される。なお、異常例の中には、撮像体位が座位や臥位で撮像された画像も含まれている。画像サイズは分類モデルの推奨されている入力サイズに合わせて、胸部Ｘ線画像を２２４×２２４にリサイズした。
＜分類性能＞
　本発明者等は、第１実施形態の医用画像診断支援装置１を検証する研究において、層化抽出法１０分割交差検証を用いて、帝京大学胸部Ｘ線データセットの学習および精度の評価を行った。分類モデルとして典型的な３種のＣＮＮ（ＶＧＧ１６、ＲｅｓＮｅｔ５０、ＤｅｎｓｅＮｅｔ１２１）をベースとしたアテンションブランチネットワークを構築することにより、第１実施形態の医用画像診断支援装置１の学習および精度の評価を行った。Accuracy（Balanced Accuracy）、Sensitivity、Specificity、ＡＵＣ（Area Under the Curve）の平均および標準偏差を下記の表１に示す。表１において、「Weightmap1」は肺野のセグメンテーション画像に凸包処理を施した重みマップＷ（図３（Ｃ）参照）を示しており、「weightmap2」は肺野のセグメンテーション画像と心臓のセグメンテーション画像とを組み合わせた重みマップＷ（図４（Ｃ）参照）を示している。
Figure JPOXMLDOC01-appb-T000003
　詳細には、表１の「VGG16」の行は、ＣＮＮとしてＶＧＧ１６が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表１の「VGG16+ABN」の行は、ＣＮＮとしてＶＧＧ１６が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表１の「VGG16+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＶＧＧ１６が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表１の「VGG16+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＶＧＧ１６が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
　表１の「Resnet50」の行は、ＣＮＮとしてＲｅｓＮｅｔ５０が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表１の「Resnet50+ABN」の行は、ＣＮＮとしてＲｅｓＮｅｔ５０が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表１の「Resnet50+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＲｅｓＮｅｔ５０が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表１の「Resnet50+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＲｅｓＮｅｔ５０が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
　表１の「Densenet121」の行は、ＣＮＮとしてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表１の「Densenet121+ABN」の行は、ＣＮＮとしてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表１の「Densenet121+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表１の「Densenet121+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
　評価指標にはクラス間におけるデータ数の偏りを適切に評価するために、Balanced Accuracyを使用した。Balanced Accuracyは、下記の式（３）によって表される。式（３）において、ＴＰはTrue Positiveであり、ＴＮはTrue Negativeであり、ＦＰはFalse Positiveであり、ＦＮはFalse Negativeである。
Figure JPOXMLDOC01-appb-M000004
　表１の「VGG16+ABN+weightmap1」の行に示す例、表１の「VGG16+ABN+weightmap2」の行に示す例、表１の「Resnet50+ABN+weightmap1」の行に示す例、表１の「Resnet50+ABN+weightmap2」の行に示す例、表１の「Densenet121+ABN+weightmap1」の行に示す例、および、表１の「Densenet121+ABN+weightmap2」の行に示す例のいずれにおいても、第１実施形態の医用画像診断支援装置１の正則化項を付け加えたことに伴う性能低下は見られなかった。
　また、本発明者等は、第１実施形態の医用画像診断支援装置１の学習および精度の評価を行う研究において、National Institute of Healthが公開している大規模胸部Ｘ線データセットＮＩＨ１４を用いた。表１の場合と同様に、分類モデルとして典型的な３種のＣＮＮ（ＶＧＧ１６、ＲｅｓＮｅｔ５０、ＤｅｎｓｅＮｅｔ１２１）をベースとしたアテンションブランチネットワークを構築することにより、第１実施形態の医用画像診断支援装置１の学習および精度の評価を行った。Accuracy、Sensitivity、Specificity、ＡＵＣの平均および標準偏差を下記の表２に示す。表２において、「Weightmap1」は肺野のセグメンテーション画像に凸包処理を施した重みマップＷ（図３（Ｃ）参照）を示しており、「weightmap2」は肺野のセグメンテーション画像と心臓のセグメンテーション画像とを組み合わせた重みマップＷ（図４（Ｃ）参照）を示している。
　ＮＩＨ１４では、１枚の画像につき１４疾患（Atelectasis、 Cardiomegaly、Consolidation、Edema、Effusion、Emphysema、Fibrosis、Hernia、Infiltration、Mass、Nodule、Pleural Thickening、Pneumonia、Pneumothorax）の有無が［０，１］で付与されている。表２に示す結果は、１４疾患の平均値である。
Figure JPOXMLDOC01-appb-T000005
　詳細には、表２の「VGG16」の行は、ＣＮＮとしてＶＧＧ１６が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表２の「VGG16+ABN」の行は、ＣＮＮとしてＶＧＧ１６が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表２の「VGG16+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＶＧＧ１６が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表２の「VGG16+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＶＧＧ１６が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
　表２の「Resnet50」の行は、ＣＮＮとしてＲｅｓＮｅｔ５０が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表２の「Resnet50+ABN」の行は、ＣＮＮとしてＲｅｓＮｅｔ５０が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表２の「Resnet50+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＲｅｓＮｅｔ５０が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表２の「Resnet50+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＲｅｓＮｅｔ５０が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
　表２の「Densenet121」の行は、ＣＮＮとしてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、ＡＢＮが適用されていない比較例の医用画像診断支援装置の評価結果を示している。表２の「Densenet121+ABN」の行は、ＣＮＮとしてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、ＡＢＮが適用されているものの、事前情報（重みマップＷ）がＡＢＮに与えられていない比較例の医用画像診断支援装置の評価結果を示している。表２の「Densenet121+ABN+weightmap1」の行は、畳み込みニューラルネットワーク１Ａ１としてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、図３（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第１例の評価結果を示している。表２の「Densenet121+ABN+weightmap2」の行は、畳み込みニューラルネットワーク１Ａ１としてＤｅｎｓｅＮｅｔ１２１が用いられ、かつ、図４（Ｃ）に示す重みマップＷ（事前情報）がアテンションブランチネットワーク１Ａ２に与えられている第１実施形態の医用画像診断支援装置１の第２例の評価結果を示している。
　表２の「VGG16+ABN+weightmap1」の行に示す例、表２の「VGG16+ABN+weightmap2」の行に示す例、表２の「Resnet50+ABN+weightmap1」の行に示す例、表２の「Resnet50+ABN+weightmap2」の行に示す例、表２の「Densenet121+ABN+weightmap1」の行に示す例、および、表２の「Densenet121+ABN+weightmap2」の行に示す例のいずれにおいても、第１実施形態の医用画像診断支援装置１の正則化項を付け加えたことに伴う性能低下は見られなかった。
＜判断根拠の可視化＞
　図６は第１実施形態の医用画像診断支援装置１の畳み込みニューラルネットワーク１Ａ１の注目領域などを説明するための図である。詳細には、図６（Ａ）は第１実施形態の医用画像診断支援装置１およびＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置に入力された医用画像（入力画像）を示しており、図６（Ｂ）はＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置のＣＮＮの注目領域を示しており、図６（Ｃ）はアテンションブランチネットワーク１Ａ２に事前情報（重みマップＷ（詳細には、肺野のセグメンテーション画像と心臓のセグメンテーション画像とを組み合わせた重みマップＷ））が与えられた第１実施形態の医用画像診断支援装置１の畳み込みニューラルネットワーク１Ａ１の注目領域を示している。
　図６に示す例では、第１実施形態の医用画像診断支援装置１およびＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置に入力される学習用医用画像（入力画像）（図６（Ａ）参照）として、帝京大学胸部Ｘ線データセットが用いられた。
　ＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置では、図６（Ｂ）に示すように、ＡＢＮのアテンションマップは、ＣＮＮが入力画像の全体に注目していることを示した。詳細には、図６（Ｂ）の最も上側の例では、ＡＢＮのアテンションマップは、ＣＮＮが入力画像のうちの上側部分（肺野および心臓を含む部分）よりも下側部分（肺野および心臓を含まない部分）に強く注目していることを示した。図６（Ｂ）の上から２番目の例では、ＡＢＮのアテンションマップは、ＣＮＮが入力画像のうちの注目すべき部分（肺野および心臓を含む部分）と同等に注目すべきではない部分（肺野および心臓を含まない部分）にも注目していることを示した。図６（Ｂ）の最も下側の例では、ＡＢＮのアテンションマップは、ＣＮＮが入力画像のうちの心臓の部分にあまり注目していないことを示した。
　それに対し、アテンションブランチネットワーク１Ａ２に事前情報（重みマップＷ）が与えられた第１実施形態の医用画像診断支援装置１では、図６（Ｃ）に示すように、アテンションブランチネットワーク１Ａ２のアテンションマップは、畳み込みニューラルネットワーク１Ａ１が入力画像のうちの肺野内に注目していることを示した。
　図７は第１実施形態の医用画像診断支援装置１において実行される処理の一例を示すフローチャートである。
　図７に示す例では、ステップＳ１において、学習部１２が、畳み込みニューラルネットワーク１Ａ１と、畳み込みニューラルネットワーク１Ａ１の注目領域を可視化するアテンションブランチネットワーク１Ａ２とによって構成される分類モデル１Ａの教師あり学習を行う。ステップＳ１において行われる教師あり学習では、疾患の有無が既知の学習用医用画像が教師データとして用いられる。ステップＳ１では、学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域（重みマップＷ）を示す情報が、アテンションブランチネットワーク１Ａ２に与えられる。
　次いで、ステップＳ２では、予測部１１が、学習済みの分類モデル１Ａを用いることによって、医用画像診断支援装置１に入力された医用画像から、疾患の有無を分類する。
　図７に示す例では、ステップＳ１において重みマップＷを示す事前情報が、アテンションブランチネットワーク１Ａ２に与えられるが、他の例では、ステップＳ１のみならず、ステップＳ２においても、重みマップＷを示す事前情報が、アテンションブランチネットワーク１Ａ２に与えられてもよい。
［第２実施形態］
　以下、本発明の医用画像診断支援装置、医用画像診断支援方法およびプログラムの第２実施形態について説明する。
　第２実施形態の医用画像診断支援装置１は、後述する点を除き、上述した第１実施形態の医用画像診断支援装置１と同様に構成されている。従って、第２実施形態の医用画像診断支援装置１によれば、後述する点を除き、上述した第１実施形態の医用画像診断支援装置１と同様の効果を奏することができる。
　第２実施形態の医用画像診断支援装置１は、図１に示す第１実施形態の医用画像診断支援装置１と同様に構成されている。つまり、第２実施形態の医用画像診断支援装置１は、予測部１１と、学習部１２と、分類モデル１Ａとを備えている。分類モデル１Ａは、畳み込みニューラルネットワーク１Ａ１と、畳み込みニューラルネットワーク１Ａ１の注目領域を可視化するアテンションブランチネットワーク１Ａ２とによって構成されている。
　第２実施形態の医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２は、図２に示す第１実施形態の医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２と同様に構成されている。
　つまり、第２実施形態の医用画像診断支援装置１のアテンションブランチネットワーク１Ａ２は、例えば学習部１２によって分類モデル１Ａの教師あり学習が行われる段階において学習用医用画像の分類に必要な特徴量を抽出し、特徴量マップを生成する特徴抽出器１Ａ２１と、アテンションブランチ１Ａ２２と、パーセプションブランチ１Ａ２３とを備えている。
　詳細には、第２実施形態の医用画像診断支援装置１では、パーセプションブランチ１Ａ２３からの出力にＧｒａｄ－ＣＡＭを適用することによって、パーセプションブランチ１Ａ２３からの出力の可視化が行われる。
　第２実施形態の医用画像診断支援装置１では、第１実施形態の医用画像診断支援装置１と同様に、アテンションブランチネットワーク１Ａ２の損失関数Ｌｏｓｓが、アテンションブランチ１Ａ２２の学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓａｔｔと、パーセプションブランチ１Ａ２３の学習誤差ＣｒｏｓｓＥｎｔｒｏｐｙＬｏｓｓｐｅｒと、正則化項との総和である。
　第２実施形態の医用画像診断支援装置１では、第１実施形態の医用画像診断支援装置１と同様に、正則化項が、アテンションブランチ１Ａ２２から出力されるアテンションマップＭと重みマップＷとのアダマール積によって得られた行列のフロベニウスノルムである。
　第２実施形態の医用画像診断支援装置１では、第１実施形態の医用画像診断支援装置１と同様に、重みマップＷが、畳み込みニューラルネットワーク１Ａ１に注目して欲しい領域（分類用領域）に対応する。つまり、重みマップＷは、医用画像診断支援装置１に入力される学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域に対応する。
　図８は第２実施形態の医用画像診断支援装置１の畳み込みニューラルネットワーク１Ａ１の注目領域などを説明するための図（Ｇｒａｄ－ＣＡＭ）である。詳細には、図８（Ａ）は第２実施形態の医用画像診断支援装置１、ＡＢＮが適用されていない比較例の医用画像診断支援装置、および、ＡＢＮが適用されているもののＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置に入力された医用画像（入力画像）を示しており、図８（Ｂ）はＡＢＮが適用されていない比較例の医用画像診断支援装置のＣＮＮの注目領域を示しており、図８（Ｃ）はＡＢＮが適用されているもののＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置のＣＮＮの注目領域を示しており、図８（Ｄ）はアテンションブランチネットワーク１Ａ２に事前情報（重みマップＷ）が与えられた第２実施形態の医用画像診断支援装置１の畳み込みニューラルネットワーク１Ａ１の注目領域を示している。
　図８に示す例では、第２実施形態の医用画像診断支援装置１、ＡＢＮが適用されていない比較例の医用画像診断支援装置、および、ＡＢＮが適用されているもののＡＢＮに事前情報（重みマップ）が与えられていない比較例の医用画像診断支援装置に入力される医用画像（入力画像）（図８（Ａ）参照）として、帝京大学胸部Ｘ線データセットが用いられた。
　学習部１２によって分類モデル１Ａの教師あり学習が行われる段階でアテンションブランチネットワーク１Ａ２に事前情報（重みマップＷ）が与えられた第２実施形態の医用画像診断支援装置１では、図８（Ｄ）に示すように（図６（Ｃ）に示す第１実施形態の医用画像診断支援装置１と同様に）、アテンションブランチネットワーク１Ａ２のアテンションマップは、畳み込みニューラルネットワーク１Ａ１が入力画像のうちの肺野内に注目していることを示した。
＜適用例＞
　上述した例では、第１および第２実施形態の医用画像診断支援装置１が胸部Ｘ線画像に適用されているが、他の例では、第１または第２実施形態の医用画像診断支援装置１が胸部Ｘ線画像以外のＸ線画像に適用されてもよい。
　他の例では、第１または第２実施形態の医用画像診断支援装置１がエコー画像に適用されてもよい。具体的には、畳み込みニューラルネットワーク１Ａ１が心臓の壁に注目することによって、分類モデル１Ａが心筋梗塞の有無を分類することができる。また、畳み込みニューラルネットワーク１Ａ１が乳腺に注目することによって、分類モデル１Ａが乳癌の有無を分類することができる。
　更に他の例では、第１または第２実施形態の医用画像診断支援装置１がＭＲＩ画像に適用されてもよい。具体的には、畳み込みニューラルネットワーク１Ａ１が頭蓋内の領域のみに注目することによって、分類モデル１Ａが脳梗塞の有無を分類することができる。また、畳み込みニューラルネットワーク１Ａ１が前立腺の領域のみに注目することによって、分類モデル１Ａが前立腺癌の有無を分類することができる。
　更に他の例では、第１または第２実施形態の医用画像診断支援装置１がＣＴ画像に適用されてもよい。具体的には、畳み込みニューラルネットワーク１Ａ１が肺野の部位のみに注目することによって、分類モデル１Ａが肺炎、結節、腫瘍などの有無を分類することができる。また、畳み込みニューラルネットワーク１Ａ１が頭蓋内の領域のみに注目することによって、分類モデル１Ａが脳出血の有無を分類することができる。
　更に他の例では、第１または第２実施形態の医用画像診断支援装置１が眼底画像に適用されてもよい。具体的には、畳み込みニューラルネットワーク１Ａ１が視神経乳頭に注目することによって、分類モデル１Ａが緑内障の有無を分類することができる。
　以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態および各例に記載の構成を組み合わせてもよい。
　なお、上記の実施形態における医用画像診断支援装置１の全部または一部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
　なお、医用画像診断支援装置１の全部または一部は、メモリおよびＣＰＵ（中央演算装置）により構成され、各システムが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
　なお、医用画像診断支援装置１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
１…医用画像診断支援装置、１１…予測部、１２…学習部、１Ａ…分類モデル、１Ａ１…畳み込みニューラルネットワーク、１Ａ２…アテンションブランチネットワーク、１Ａ２１…特徴抽出器、１Ａ２２…アテンションブランチ、１Ａ２３…パーセプションブランチ

Claims (9)

  1. 　医用画像の診断を支援する医用画像診断支援装置であって、
    　前記医用画像から少なくとも疾患の有無を分類する分類モデルと、
    　前記分類モデルを用いた予測を行う予測部と、
    　前記予測部によって前記分類モデルが用いられる前に、前記分類モデルの教師あり学習を行う学習部とを備え、
    　前記学習部によって行われる教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、
    　前記分類モデルは、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワークとによって構成され、
    　前記学習部によって前記分類モデルの教師あり学習が行われる段階で、前記アテンションブランチネットワークには、前記学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す事前情報が与えられる、
    　医用画像診断支援装置。
  2. 　前記アテンションブランチネットワークは、
    　前記医用画像の分類に必要な特徴量を抽出し、特徴量マップを生成する特徴抽出器と、
    　クラスアクティベーションマッピングによるアテンションマップを生成するアテンションブランチと、
    　パーセプションブランチとを備え、
    　前記学習部によって前記分類モデルの教師あり学習が行われる段階では、
    　前記アテンションブランチにより生成された前記アテンションマップは、前記特徴抽出器によって生成された前記特徴量マップに反映させられ、
    　前記パーセプションブランチは、前記アテンションマップによって重み付けされた前記特徴量マップを、前記学習用医用画像の分類結果として出力し、
    　前記アテンションブランチネットワークの損失関数は、
    　前記アテンションブランチの学習誤差と、
    　前記パーセプションブランチの学習誤差と、
    　正則化項との総和であり、
    　前記正則化項は、前記アテンションマップと重みマップとのアダマール積によって得られた行列のフロベニウスノルムであり、
    　前記重みマップは、前記分類用領域に対応する、
    　請求項１に記載の医用画像診断支援装置。
  3. 　前記学習部によって前記分類モデルの教師あり学習が行われる段階では、
    　前記アテンションブランチネットワークは、
    　前記分類用領域の一部である第１部分のセグメンテーション画像に凸包処理を行うことによって作成された前記重みマップを受け付ける、
    　請求項２に記載の医用画像診断支援装置。
  4. 　前記学習部によって前記分類モデルの教師あり学習が行われる段階では、
    　前記アテンションブランチネットワークは、
    　前記分類用領域の一部である第１部分のセグメンテーション画像と、前記分類用領域の他の一部である第２部分のセグメンテーション画像とを組み合わせることによって作成された前記重みマップを受け付ける、
    　請求項２に記載の医用画像診断支援装置。
  5. 　前記第１部分のセグメンテーション画像および／または前記第１部分のセグメンテーション画像と前記分類用領域の他の一部である第２部分のセグメンテーション画像とを組み合わせたものは、Ｕ－Ｎｅｔを使用することによって生成される、
    　請求項３または請求項４に記載の医用画像診断支援装置。
  6. 　前記畳み込みニューラルネットワークとして、ＶＧＧ１６、ＲｅｓＮｅｔ５０およびＤｅｎｓｅＮｅｔ１２１のいずれかを用いる、
    　請求項１に記載の医用画像診断支援装置。
  7. 　前記パーセプションブランチからの出力にＧｒａｄ－ＣＡＭを適用することによって、前記パーセプションブランチからの出力の可視化を行う、
    　請求項２に記載の医用画像診断支援装置。
  8. 　医用画像の診断を支援する医用画像診断支援方法であって、
    　前記医用画像から少なくとも疾患の有無を分類する分類モデルを用いた予測を行う予測ステップと、
    　前記予測ステップが実行される前に、前記分類モデルの教師あり学習を行う学習ステップとを備え、
    　前記学習ステップにおいて行われる教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、
    　前記分類モデルは、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワークとによって構成され、
    　前記学習ステップでは、前記アテンションブランチネットワークには、前記学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す事前情報が与えられる、
    　医用画像診断支援方法。
  9. 　コンピュータに、
    　医用画像から少なくとも疾患の有無を分類する分類モデルを用いた予測を行う予測ステップと、
    　前記予測ステップが実行される前に、前記分類モデルの教師あり学習を行う学習ステップとを実行させるためのプログラムであって、
    　前記学習ステップにおいて行われる教師あり学習では、少なくとも疾患の有無が既知の学習用医用画像が教師データとして用いられ、
    　前記分類モデルは、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの注目領域を可視化するアテンションブランチネットワークとによって構成され、
    　前記学習ステップでは、前記アテンションブランチネットワークには、前記学習用医用画像のうちの疾患の有無の分類に必要な領域である分類用領域を示す事前情報が与えられる、
    　プログラム。
PCT/JP2022/033653 2021-09-21 2022-09-08 医用画像診断支援装置、医用画像診断支援方法およびプログラム WO2023047963A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280063383.XA CN118076296A (zh) 2021-09-21 2022-09-08 医用图像诊断辅助装置、医用图像诊断辅助方法以及程序
EP22872719.4A EP4407554A1 (en) 2021-09-21 2022-09-08 Medical image diagnostics assistance device, medical image diagnostics assistance method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021153427A JP2023045168A (ja) 2021-09-21 2021-09-21 医用画像診断支援装置、医用画像診断支援方法およびプログラム
JP2021-153427 2021-09-21

Publications (1)

Publication Number Publication Date
WO2023047963A1 true WO2023047963A1 (ja) 2023-03-30

Family

ID=85720579

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033653 WO2023047963A1 (ja) 2021-09-21 2022-09-08 医用画像診断支援装置、医用画像診断支援方法およびプログラム

Country Status (4)

Country Link
EP (1) EP4407554A1 (ja)
JP (1) JP2023045168A (ja)
CN (1) CN118076296A (ja)
WO (1) WO2023047963A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681958A (zh) * 2023-08-04 2023-09-01 首都医科大学附属北京妇产医院 基于机器学习的胎儿肺脏超声影像成熟度预测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06251038A (ja) * 1993-03-01 1994-09-09 Toshiba Corp 医用診断支援システム
JP2018117883A (ja) * 2017-01-25 2018-08-02 国立大学法人大阪大学 学習装置、識別装置、識別方法、及びプログラム
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
US20190362183A1 (en) * 2018-05-23 2019-11-28 Idemia Identity & Security France Method for processing a stream of video images
JP6657480B2 (ja) 2017-10-30 2020-03-04 公益財団法人がん研究会 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
JP2020119154A (ja) * 2019-01-22 2020-08-06 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021022368A (ja) * 2019-07-25 2021-02-18 学校法人中部大学 ニューラルネットワークを用いた画像認識装置およびトレーニング装置
US20210090247A1 (en) * 2019-09-23 2021-03-25 Samsung Sds Co., Ltd. Apparatus and method for medical diagnostic
US20210150728A1 (en) * 2019-11-15 2021-05-20 Modiface Inc. End-to-end merge for video object segmentation (vos)
JP2021153427A (ja) 2020-03-25 2021-10-07 昭和産業株式会社 バッター生地加熱食品用組成物、及びバッター生地加熱食品の製造方法
WO2022172817A1 (ja) * 2021-02-10 2022-08-18 富士フイルム株式会社 学習装置、学習方法、学習済みモデル、及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06251038A (ja) * 1993-03-01 1994-09-09 Toshiba Corp 医用診断支援システム
JP2018117883A (ja) * 2017-01-25 2018-08-02 国立大学法人大阪大学 学習装置、識別装置、識別方法、及びプログラム
JP6657480B2 (ja) 2017-10-30 2020-03-04 公益財団法人がん研究会 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
US20190362183A1 (en) * 2018-05-23 2019-11-28 Idemia Identity & Security France Method for processing a stream of video images
JP2020119154A (ja) * 2019-01-22 2020-08-06 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
JP2021022368A (ja) * 2019-07-25 2021-02-18 学校法人中部大学 ニューラルネットワークを用いた画像認識装置およびトレーニング装置
US20210090247A1 (en) * 2019-09-23 2021-03-25 Samsung Sds Co., Ltd. Apparatus and method for medical diagnostic
US20210150728A1 (en) * 2019-11-15 2021-05-20 Modiface Inc. End-to-end merge for video object segmentation (vos)
JP2021153427A (ja) 2020-03-25 2021-10-07 昭和産業株式会社 バッター生地加熱食品用組成物、及びバッター生地加熱食品の製造方法
WO2022172817A1 (ja) * 2021-02-10 2022-08-18 富士フイルム株式会社 学習装置、学習方法、学習済みモデル、及びプログラム

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
B. VAN GINNEKENM. B. STEGMANNM. LOOG: "Segmentation of anatomical structures in chest radiographs using supervised methods: A comparative study on a public database", MED. IMAGE ANAL, vol. 10, no. 1, 2006, pages 19 - 40, XP005205979, DOI: 10.1016/j.media.2005.02.002
C. JUNJI SHIRAISHI ET AL.: "Standard Digital Image Database:Chest Lung Nodules and Non-Nodules Created", THE JAPANESE SOCIETY OF RADIOLOGICAL TECHNOLOGY (JSRT) IN COOPERATION WITH THE JAPANESE RADIOLOGICAL SOCIETY (JRS, 1997
FUKUI, Hiroshi et al. Attention Branch Network: Learning of Attention Mechanism for Visual Explanation. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019, pp. 10697-10706, [retrieval date: 05 October 2022], <DOI: 10.1109/CVPR.2019.01096>, <available at https://ieeexplore.ieee.org/document/8953929> *
H. FUKUIT. HIRAKAWAT. YAMASHITAH. FUJIYOSHI: "Attention branch network: Learning of attention mechanism for visual explanation", PROC. IEEE COMPUT. SOC. CONF. COMPUT. VIS. PATTERN RECOGNIT, vol. 2019, 2019, pages 10697 - 10706
HASSANZADEH TAHEREH, ESSAM DARYL, SARKER RUHUL: "Evolutionary Attention Network for Medical Image Segmentation", PROCEEDINGS OF THE 2020 DIGITAL IMAGE COMPUTING: TECHNIQUES AND APPLICATIONS (DICTA) IEEE PISCATAWAY, NJ, USA, 29 November 2020 (2020-11-29) - 2 December 2020 (2020-12-02), pages 1 - 8, XP093054970, ISBN: 978-1-7281-9108-9, DOI: 10.1109/DICTA51227.2020.9363425 *
O. RONNEBERGERP. FISCHERT. BROX: "U-net: Convolutional networks for biomedical image segmentation", LECT. NOTES COMPUT. SCI. (INCLUDING SUBSER. LECT. NOTES ARTIF. INTELL. LECT. NOTES BIOINFORMATICS, vol. 9351, 2015, pages 234 - 241
OLAF, RONNEBERGER ET AL.: "U-Net: Convolutional Networks for Biomedical Image Segmentation", MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION - MICCAI 2015, 2015, pages 234 - 241, XP055561106, DOI: 10.1007/978-3-319-24574-4_28 *
S. CANDEMIR ET AL.: "Lung segmentation in chest radiographs using anatomical atlases with nonrigid registration", IEEE TRANS. MED. IMAGING, vol. 33, no. 2, 2014, pages 577 - 590, XP055230333, DOI: 10.1109/TMI.2013.2290491
S. JAEGER ET AL.: "Automatic Tuberculosis Screening Using Chest Radiographs", IEEE TRANS. MED. IMAGING, vol. 33, no. 2, pages 233 - 245, XP011538614, DOI: 10.1109/TMI.2013.2284099

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681958A (zh) * 2023-08-04 2023-09-01 首都医科大学附属北京妇产医院 基于机器学习的胎儿肺脏超声影像成熟度预测方法
CN116681958B (zh) * 2023-08-04 2023-10-20 首都医科大学附属北京妇产医院 基于机器学习的胎儿肺脏超声影像成熟度预测方法

Also Published As

Publication number Publication date
EP4407554A1 (en) 2024-07-31
CN118076296A (zh) 2024-05-24
JP2023045168A (ja) 2023-04-03

Similar Documents

Publication Publication Date Title
Lewis et al. Artificial Intelligence in medical imaging practice: looking to the future
CN111563523B (zh) 利用机器训练的异常检测的copd分类
JP4895204B2 (ja) 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
KR101898575B1 (ko) 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치
JP5142011B2 (ja) 或る期間にわたる病気の治療の進展又は進展不足を示す複合重症度スコアを生成する命令を持つコンピュータ・アクセス可能な記憶媒体
US7388974B2 (en) Medical image processing apparatus
US7529394B2 (en) CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
JP5026939B2 (ja) 画像処理装置およびそのプログラム
JP2020511190A (ja) 超音波分析のためのシステムおよび方法
KR102237198B1 (ko) 인공지능 기반의 의료영상 판독 서비스 시스템
Koshino et al. Narrative review of generative adversarial networks in medical and molecular imaging
CN110400617A (zh) 医学成像中的成像和报告的结合
Zhang et al. Semi-supervised cardiac image segmentation via label propagation and style transfer
JP5048233B2 (ja) Ｃａｄシステムにおける解剖学的形状の検出のための方法及びシステム
KR20210098381A (ko) 병변 이미지 시각화 장치 및 방법
WO2023047963A1 (ja) 医用画像診断支援装置、医用画像診断支援方法およびプログラム
Huang et al. Bone feature segmentation in ultrasound spine image with robustness to speckle and regular occlusion noise
Carey et al. Comparison of conventional chest x ray with a novel projection technique for ultra‐low dose CT
WO2024126468A1 (en) Echocardiogram classification with machine learning
CN116580819B (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
KR101948701B1 (ko) 피검체의 뇌 구조를 기술하는 잠재 변수에 기반하여 상기 피검체의 뇌질환을 판정하는 방법 및 이를 이용한 장치
US20220351387A1 (en) Weakly supervised lesion segmentation
Nie et al. Dual adversarial learning with attention mechanism for fine-grained medical image synthesis
KR20190088371A (ko) 진행성 병변의 미래 영상을 생성하는 방법 및 이를 이용한 장치
Cardenas et al. Automated radiographic bone suppression with deep convolutional neural networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22872719

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18692756

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280063383.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022872719

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022872719

Country of ref document: EP

Effective date: 20240422