WO2024252857A1 - 学習装置およびプログラム - Google Patents

学習装置およびプログラム Download PDF

Info

Publication number
WO2024252857A1
WO2024252857A1 PCT/JP2024/017720 JP2024017720W WO2024252857A1 WO 2024252857 A1 WO2024252857 A1 WO 2024252857A1 JP 2024017720 W JP2024017720 W JP 2024017720W WO 2024252857 A1 WO2024252857 A1 WO 2024252857A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
image
learning
explained
judgment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/017720
Other languages
English (en)
French (fr)
Inventor
洋介 大坪
侑也 ▲高▼山
宏平 門井
俊輔 武居
剛之 畑口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to EP24819094.4A priority Critical patent/EP4726648A1/en
Priority to JP2025526011A priority patent/JP7875489B2/ja
Priority to CN202480034043.3A priority patent/CN121175717A/zh
Publication of WO2024252857A1 publication Critical patent/WO2024252857A1/ja
Priority to US19/409,113 priority patent/US20260087788A1/en
Anticipated expiration legal-status Critical
Priority to JP2026089977A priority patent/JP2026125001A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Definitions

  • the present invention relates to a learning device and a program.
  • Patent Document 1 states that "the basis calculation unit 114 can use algorithms such as Grad-CAM (Gradient-weighted Class Activation Mapping), LIME (LOCAL Interpretable model-agnostic Explanations), SHAP (SHAPley Additive exPlanations), which is an advanced version of LIME, and TCAV (Testing with Concept Activation Vectors) to calculate images that visualize the basis for each diagnosis and differential diagnosis made using the trained machine learning model in the inference unit 112.”
  • Grad-CAM Gradient-weighted Class Activation Mapping
  • LIME LOCAL Interpretable model-agnostic Explanations
  • SHAP SHAPley Additive exPlanations
  • TCAV Transmission with Concept Activation Vectors
  • Non-Patent Document 1 describes a learning model that classifies skin lesions by inputting skin images and metadata (such as the patient's age and sex).
  • Patent Documents [Patent Documents] [Patent Document 1] International Publication No. 2022/176396 “Non-Patent Document 1” Nils Gessert et al. “Skin lesion classification using ensembles of multi-resolution EfficientNets with meta data” Methods X, Volume 7, 2020
  • a learning device includes a memory unit that stores a learning model that receives as input a learning image and learning features that are related to the subject of the learning image and that are predetermined interpretable features quantified, and outputs the results of a judgment on the learning image and the learning features; a judgment unit that outputs the results of a judgment using the learning model stored in the memory unit on an image to be explained and a first feature that is related to the subject of the image to be explained and that is predetermined interpretable features quantified; and an explanation output unit that outputs the contribution of the image to be explained and the contribution of the first feature to the judgment results of the learning model on the image to be explained and the first feature.
  • the predetermined interpretable features may include parameters that can quantitatively represent the shape or characteristics of the subject.
  • the determination unit may use a learning model to extract a second feature from the image to be explained, and the explanation degree output unit may calculate the contribution degree by linearly regressing the vicinity of data consisting of the first feature and the second feature related to the object to be explained in a feature space including the second feature and the first feature.
  • the determination unit may use a learning model to extract the second feature from the image to be explained, and the explanation output unit may compress the dimension of the feature vector that is the second feature, and calculate the contribution degree of the second feature as the contribution degree of the image to be explained.
  • the explanation output unit may compress the feature vector to one dimension.
  • the system may further include a feature calculation unit that calculates at least one of the first feature amounts based on the image to be explained and inputs the calculated feature amount into the learning model.
  • the learning model may include a convolutional neural network.
  • the explanation output unit may further output an image showing the basis for the judgment within the image to be explained for the result of the judgment by the learning model.
  • the explanation output unit may display the contribution of the image to be explained and the contribution of the first feature amount side by side.
  • the explanation output unit may display the contribution of the image to be explained, the contribution of the first feature amount, an image showing the basis for the judgment, and the result of the judgment side by side.
  • the explanation output unit may display text corresponding to each of the contribution of the image to be explained and the contribution of the first feature amount.
  • a program is provided to a computer, which has a memory function for storing in a memory unit a learning model learned using as input a learning image and learning features that relate to the subject of the learning image and that are quantified as predefined interpretable features, and a judgment result for the learning image and the learning features as output; a judgment function for outputting a judgment result using the learning model stored in the memory unit for an image to be explained and a first feature that relates to the subject of the image to be explained and that is quantified as predefined interpretable features; and an explanation output function for outputting the contribution degree of the image to be explained and the contribution degree of the first feature to the judgment result of the learning model for the image to be explained and the first feature.
  • a learning device uses a learning model that is trained using as input a learning image and learning features that are related to the subject of the learning image and that are predetermined interpretable features quantified, and outputs the results of judgment on the learning image and the learning features, for an image to be explained and a first feature that is related to the subject of the image to be explained and that is predetermined interpretable features quantified, and includes an explanation output unit that outputs the contribution of the image to be explained and the contribution of the first feature to the judgment result of the learning model on the image to be explained and the first feature.
  • FIG. 2 shows functional blocks of a learning device 10 according to the present embodiment. 4 shows an operation flow of the learning device 10.
  • 1 illustrates a schematic diagram of an example of a learning model 120.
  • FIG. 1 is a distribution diagram for explaining an overview of a method for linearly regressing a space of feature quantities.
  • FIG. 11 is a distribution diagram illustrating a readable feature space.
  • 13 is a distribution diagram illustrating a method for compressing the dimension of the second feature amount into one dimension.
  • FIG. 2 shows an example of a display image 200 displayed on a display by the explanation output unit 104. This is a template 230 of the text to be displayed in the text area 220 .
  • 13 is a table showing other application examples.
  • 22 illustrates an example computer 2200 in which aspects of the present invention may be embodied, in whole or in part.
  • FIG. 1 shows functional blocks of a learning device 10 according to this embodiment.
  • the learning device 10 outputs some kind of judgment result for a target input.
  • the judgment may be a decision as to which of predetermined categories the input belongs to, or a calculation of the possibility of belonging to each category as a predicted probability.
  • the target input is a cell image and a feature amount (first feature amount) that is a numerical representation of a predetermined interpretable feature related to the cell depicted in the image
  • the judgment that is the output is the predicted probability of each of the four states of the cell cycle that the cell depicted in the image and the first feature amount are in.
  • the output may also be called a decision, judgment, prediction, inference, estimation, etc.
  • the learning device 10 includes a feature calculation unit 100, a judgment unit 102, an explanation output unit 104, and a memory unit 106.
  • the memory unit 106 stores a learning model 120.
  • the learning device 10 may be an information device such as a personal computer, tablet, or smartphone, and may be realized by installing a program or application on such an information device.
  • the learning device 10 may also be a web server for outputting some judgment result for a target input by cloud computing, and may be realized by installing a program or application on it.
  • the web server is connected to a microscope, etc., via a network.
  • the feature calculation unit 100 acquires an input image from an external device such as a microscope.
  • the feature calculation unit 100 may read out an input image that has been stored in advance in the storage unit 160.
  • the feature calculation unit 100 calculates a feature amount (first feature amount) that is a numerical representation of a predetermined interpretable feature from the input image, and inputs the feature amount to the learning model 120.
  • the determination unit 102 performs a determination on the input image using the learning model 120 stored in the storage unit 106.
  • the determination unit 102 outputs the result of the determination to an external device such as a display.
  • the explanation output unit 104 outputs in a comparative manner the contribution of the input image (the feature amount (second feature amount described later) extracted from the pixel values of the input image and the contribution of the feature amount (first feature amount) that is related to the subject of the input image and is a numerical representation of a predetermined interpretable feature.
  • the output destination is, for example, a display, similar to the judgment unit 102.
  • FIG. 2 shows the operation flow of the learning device 10.
  • the operation flow starts, for example, when the user starts up the learning device 10.
  • the operation flow has a learning stage S100 in which the learning model 120 is trained, a judgment stage S100 in which the learning model 120 is used to judge the explanation subject, and an explanation stage S120 in which the contribution degree, etc. is calculated to explain the result of the judgment.
  • FIG. 3 shows an example of the learning model 120 in outline.
  • the learning model 120 is set first.
  • the learning model 120 is set to use a model that combines machine learning using the input image 20 itself, in other words the pixel values, with machine learning using feature quantities that are related to the subject of the input image 20 and that are predetermined interpretable features that have been quantified.
  • This model is sometimes called a multimodal model from the viewpoint of using different types of input.
  • the learning model 120 includes an image CNN 132 as a machine learning model using pixel values.
  • the image CNN 132 is a CNN (convolutional neural network) that uses an image as input. There is no limit to the number of layers of the CNN or the number of nodes (also called filters, kernels, etc.) in each layer, but in this embodiment, a model up to the fully connected layer in VGG16 (i.e., VGGNet16 layer) is used.
  • the image CNN 132 repeats convolution and pooling for an input image 20 having pixel values (96 vertical x 96 horizontal x 3 colors), for example, to calculate 512 nodes and weights for each node. The weights for the 512 nodes are used in the subsequent stage as 512-dimensional second features.
  • the learning model 120 includes a feature NN 134 as a machine learning method that uses quantified features.
  • the feature NN 134 is a single-layer or multi-layer neural network, and there is no limit to the number of layers or the number of nodes in each layer.
  • the feature NN 134 accepts input of a first feature that includes 13 features, and calculates eight nodes and weights for each node. The weights for the eight nodes are used in the subsequent stage as an eight-dimensional third feature.
  • the first feature is calculated from the input image 20 by the feature calculation unit 100.
  • OpenCV is used as an example of the feature calculation unit 100, but other image processing engines may be used. Note that instead of using the feature calculation unit 100, the user may specify the first feature and input it directly to the feature NN 134.
  • the first feature amount is a numerical representation of a predetermined interpretable feature related to the subject of the input image 20.
  • the predetermined interpretable feature is a feature that the user can quantitatively and intuitively understand.
  • the predetermined interpretable feature includes features related to the shape of the cell in response to determining the cycle of the cell captured in the input image 20. Examples of the features are 13 features: cell area, convex hull, perimeter, maximum fillet system, minimum fillet system, diameter, rectangular length, rectangular width, circularity, convexity, elongation, roughness, and unevenness.
  • the first feature amount may be other than the above (for example, cell density), and the number of features is not limited.
  • the learning model 120 further includes a classification NN 136.
  • the classification NN 136 is a fully connected layer that is the final layer of the image CNN 132 and the final layer of the feature NN 134, and performs four class determinations.
  • the classification NN 136 can be said to be a classifier that determines one of four classes from a 520-dimensional input that combines a 512-dimensional second feature and an 8-dimensional third feature.
  • the four classes that are determined are "G1: DNA synthesis preparation” (class 1), "S: DNA synthesis and replication” (class 2), "G2: two sets of chromosomes” (class 3), and "M: cell division” (class 4), which are the phases of the cell cycle.
  • the learning model 120 before learning is initially set, for example, by input from the user.
  • the learning device 10 may store an overview of the model in the memory unit 108, and may receive input from the user regarding the number of layers of the network and the number of nodes, and may initially set the learning model 120 based on these.
  • step S100 100,000 pairs of input images 20 as learning images (also called teacher images), first learning features, and correct classes are prepared.
  • the learning model 120 is trained by reducing the error between the judgment results when these learning images and first learning features are input and the correct answer. For example, backpropagation is used as a method for reducing the error. Other learning methods may be used, and further, learning methods such as dropout may be used in combination.
  • the learning model 120 is trained using the pixel values of the learning input image 20 and the learning first feature as input, and the results of a predetermined judgment (period) for the subject (cell) of the input image 20 as output.
  • the trained learning model 120 is stored in the memory unit 106. This completes the operation of step S100. Note that the contents of the 512 nodes of the second feature change as learning progresses, but even if the nodes after learning are visually displayed, the user cannot intuitively understand what they represent.
  • the judgment unit 102 reads out the trained learning model 120 from the storage unit 106, inputs the input image 20 to be explained and a feature amount (first feature amount) that is related to the subject (cell) of the input image 20 to be explained and that is a quantification of a predetermined interpretable feature, into the learning model 120, and performs a predetermined judgment of the subject (cell cycle). As a result of the judgment, the judgment unit 102 outputs a predicted probability indicating the possibility of belonging to each class for each of the four classes.
  • the first process is a process for calculating the contribution of the image itself and the contribution of a feature amount (first feature amount) that is related to the subject of the image and is a numerical representation of a predetermined interpretable feature when the learning model 120 obtains a judgment result.
  • the second process is a process for visualizing the area in the image that contributed to the judgment result (visualizing the judgment basis).
  • the first process and the second process are performed by the explanation output unit 104. First, the first process will be described.
  • the first process is a process based on the well-known method LIME (LOCAL Interpretable model-agnostic Explanations), and uses a method of estimating an explanation model in the vicinity of the data to be explained in the space of the feature amount.
  • LIME LOCAL Interpretable model-agnostic Explanations
  • the data to be explained consists of a feature amount (second feature amount) of the input image 20 to be explained, and a feature amount (first feature amount) that is related to the subject (cell) of the input image 20 to be explained and that is a quantification of a predetermined interpretable feature.
  • FIG. 4 is a distribution diagram for explaining an outline of a method for linearly regressing a feature space.
  • a two-dimensional feature space with feature x0 and feature x1 as spatial axes is depicted.
  • the feature of the explanation target is indicated by a cross
  • other input images with the highest predicted probability of belonging to the same class as the explanation target data are indicated by black circles
  • other input images with the highest predicted probability of belonging to one of the classes different from the explanation target are indicated by white circles.
  • the solid line is a discrimination surface (boundary surface) learned by the learning model 120 that determines whether the explanation target belongs to the same class as the explanation target or to a different class.
  • the discrimination surface of the learning model 120 is complex. However, if the discrimination surface is linearly regressed (linearly approximated) by focusing on the "neighborhood of the data to be explained," the slope of the line may be considered to correspond to the weights of the feature amount x0 and the feature amount x1 in the neighborhood. In other words, the weights of each feature amount when the learning model is approximated by a linear classifier by focusing on the neighborhood of the data to be explained may be considered to be the contribution of each feature amount in the learning model 120 to the judgment result.
  • the learning data consists of features of the learning input image 20 and features (first learning features) that relate to the subject of the learning input image and that are predetermined interpretable features quantified.
  • the “readable feature space” is defined as follows: (1) Depending on the density of the explanation target data and the training data (collectively referred to as data), each feature amount is divided into an independent region (one region corresponds to one square in FIG. 5). (2) For a certain feature, assign 1 as a readable feature to training data that belongs to the same level as the data to be explained, and assign 0 if it does not belong to the same level. In other words, project the features of each data into a binary space. This assignment is made for each data and each feature, and a linear regression cost function is set based on it.
  • each region contains a predetermined number or range of data.
  • the width of the region where the data density is high i.e., the numerical range
  • the width of the region where the data density is low becomes wider.
  • the region division is used to assign a readable feature z i to each data.
  • a readable feature is assigned according to the above. This defines a space in which the z components are set to 1 if the data is close to the data to be explained, and 0 if the data is far away.
  • Fig. 5 is a distribution diagram for explaining the readable feature space.
  • a two-dimensional readable feature space is depicted with the feature x0 and the feature x1 as the spatial axis.
  • the data to be explained are indicated by crosses, and the extracted learning data are indicated by black circles.
  • the number of data for each feature i.e., the data density, is shown diagrammatically by a curve.
  • the i-th data is formulated as follows:
  • yi is the predicted probability that the data is in the same class as the data to be explained
  • w is a vector having the dimension of the feature amount
  • b is a constant term.
  • the i-th component w i of the coefficient w obtained by the estimation corresponds to the contribution of the feature x i calculated by linear regression in the readable feature space to the predicted probability. Furthermore, it can be said that the magnitude relationship between the coefficients w i reflects the magnitude relationship of the contribution of the feature x i of the learning model 120.
  • the constant b is a model bias, and corresponds to the prediction probability when random data is input.
  • the second feature values extracted from the neural network to which the image is input have 512 dimensions in this embodiment, so if these are used as they are as the dimensions (i.e., spatial axes) of the readable feature space, 512 numerical values are obtained as the contributions of the second feature values.
  • the characteristics of each of the second feature values themselves cannot be intuitively understood, so the contributions do not improve explainability very much.
  • the dimension of the second feature is reduced and the contribution is calculated using the above method.
  • the dimension of the second feature is compressed to one dimension so that the contribution after compression can be considered as the contribution of "the image itself.”
  • FIG. 6 is a distribution diagram that explains a method for compressing the dimension of the second feature in the feature space shown in FIG. 4 to one dimension.
  • the data to be explained is indicated by crosses, and the training data is indicated by black circles.
  • the distance d is calculated as follows:
  • xevv and xv are the v-dimensional values of the 512 dimensions in the input image to be explained and the input image for learning, respectively.
  • the compressed feature is also assigned a readable feature of 0 or 1.
  • the second feature is made one-dimensional and projected into binary space as a readable feature. This can be said to define a readable feature of the image itself that reflects the second feature.
  • a total of 14-dimensional readable feature space is set up with the one-dimensional readable feature of the image itself and the 13-dimensional readable feature of the first feature, and linear regression of the above "Equation 2" is performed.
  • the resulting contribution is the contribution of the feature corresponding to the 14 dimensions, so the user can refer to both the contribution of the image itself and the contribution of the first feature in a form that allows comparison. Since the first feature is a numerical representation of a predetermined interpretable feature, the obtained results not only improve interpretability, but also show the contribution of the image itself, allowing the user to evaluate the meaning of the heat map created in the second process described below.
  • step S124 a heat map is created in step S124.
  • the heat map is a comparative output of the contribution degree of each region of the image as the explanation object when the learning model 120 obtains the result of judgment on the explanation object. Note that it is not limited to a heat map, and any method may be used as long as it visualizes the region that contributed to the judgment result in the image as the explanation object (visualizes the judgment basis). For example, the contributed region (the region that served as the basis) (if there are multiple regions, all regions) may be cut out from the image as the explanation object for each degree of contribution to the judgment result.
  • the second process is performed using only the information of the image CNN 132 in the learning model 120.
  • CAM Class Activation Map
  • Grad-CAM Grad CAM++
  • ScoreCAM ScoreCAM, which does not use gradients for weights but instead assigns weights by forward propagation, as well as Guide-BP and IngetrateGrad.
  • the gradient of the output from the final layer of the CNN is used to calculate the effect that each pixel value of the input image has on the predicted probability of each class, but instead, the gradient of the output from the intermediate layer, the average of the gradients of the output from each of all layers, etc. may be used.
  • a perturbation may be added to the input image to divide it into several superpixels, and then the aforementioned LIME may be applied to visualize the areas in the input image that serve as the basis for judgment. Any of these may be used in this embodiment.
  • the explanation output unit 104 outputs the result of the first process (degree of contribution) and the result of the second process (hereinafter referred to as the processing result) to a display or the like.
  • the explanation output unit 104 may store the processing result in the storage unit 106.
  • the processing result may be output together with the result of the determination by the determination unit 102.
  • FIG. 7 shows an example of a display image 200 displayed on the display by the explanation output unit 104.
  • an input image that is an input to the learning model 120 is displayed in a target image area 202.
  • the names of 13 features and a bar graph showing their size are associated and displayed in a first feature area 204.
  • the contribution degree calculated in step S122 is displayed in the display image 200 in a number of ways.
  • the name of the feature is displayed in correspondence with a bar graph showing the magnitude of its contribution degree.
  • the same 13 features as in the input are displayed as the first feature amount.
  • the second feature amount is displayed as one feature corresponding to the one-dimensional compression. Furthermore, these are displayed vertically lined up. This allows the user to easily recognize the contribution degree of the first feature amount and the contribution degree of the second feature amount, improving the explainability of the judgment. Also, since the contribution degree of the second feature amount is one, it can be interpreted as the contribution degree of "the image itself", further improving the explainability.
  • bar graphs for prediction probability, features that increase prediction probability, and features that decrease prediction probability are displayed vertically for comparison.
  • the bar graphs for features that increase prediction probability are arranged in series from the left in descending order of positive contribution values.
  • the bar graphs for features that decrease prediction probability are arranged in series from the left in descending order of negative contribution values.
  • the right end of each bar graph is aligned with the right end of the bar graph above it.
  • the name of the feature is written above each contribution that is longer than a predetermined length.
  • the contribution degree is displayed using text in the text area 220.
  • the file name of the explanation object, the predicted probability, the predicted class, and a text report are displayed in the text area 220.
  • As the text report text corresponding to the contribution degree of the second feature amount and the contribution degree of the first feature amount may be displayed.
  • FIG. 8 shows a template 230 of text to be displayed in the text area 220.
  • the template 230 is stored in the storage unit 106.
  • the template 230 includes a preset sentence and variables to be inserted into the sentence.
  • the variables are indicated by [ ], and values for the symbols written within are assigned by the determination unit 102 and the contribution output unit 104 and displayed in the text area 220.
  • the number of features to be displayed in the text area 220 may be determined in advance, or features greater than a threshold of the contribution degree or a threshold of the absolute value of the contribution degree may be displayed. These rules may also be stored in the storage unit 106.
  • step S124 (second process) is displayed in the heat map area 206. These displays further improve the ease of explanation.
  • the image CNN 132 may be another CNN, including AlexNet, VGGNet, ResNet, ResNeXt, etc. Furthermore, it may be another neural network other than a CNN. Also, although the 512 dimensions of the final layer of the image CNN 132 are used as the second feature, instead of or in addition to this, a feature of an intermediate layer before the final layer may be used.
  • the reduction in dimension of the second feature is not limited to reduction to one dimension using distance.
  • the second feature may be reduced in dimension using principal component analysis or a related nonlinear dimensionality reduction algorithm.
  • the second feature may be reduced to one dimension using statistical processing such as taking a simple average of the second feature or the maximum value among them.
  • the above embodiment describes an example in which the learning model 120 is used to determine the cell cycle from a cell image.
  • the use of the learning model 120 is not limited to this.
  • Other examples of applicable uses are listed in FIG. 9 together with the input image and the first feature amount.
  • Some first features can be calculated automatically or manually from the input image, and some cannot be calculated from the input image.
  • features that can be calculated are shape features such as radius and length of the subject (object, living organism) in the image, color features, and characteristic features.
  • attributes information such as gender, age, and race of the owner of the object (subject) in the input image and the subject of the living organism (subject) in the image (these relate to the subject and correspond to predetermined interpretable features); for example, location information is quantified using coordinates or an index.
  • Various embodiments of the present invention may also be described with reference to flow charts and block diagrams, where the blocks may represent (1) stages of a process in which operations are performed or (2) sections of an apparatus responsible for performing the operations. Particular stages and sections may be implemented by dedicated circuitry, programmable circuitry provided with computer readable instructions stored on a computer readable medium, and/or a processor provided with computer readable instructions stored on a computer readable medium.
  • Dedicated circuitry may include digital and/or analog hardware circuitry and may include integrated circuits (ICs) and/or discrete circuits.
  • Programmable circuitry may include reconfigurable hardware circuitry including logical AND, logical OR, logical XOR, logical NAND, logical NOR, and other logical operations, memory elements such as flip-flops, registers, field programmable gate arrays (FPGAs), programmable logic arrays (PLAs), and the like.
  • reconfigurable hardware circuitry including logical AND, logical OR, logical XOR, logical NAND, logical NOR, and other logical operations, memory elements such as flip-flops, registers, field programmable gate arrays (FPGAs), programmable logic arrays (PLAs), and the like.
  • a computer readable medium may include any tangible device capable of storing instructions that are executed by a suitable device, such that the computer readable medium having instructions stored thereon comprises an article of manufacture that includes instructions that can be executed to create means for performing the operations specified in the flow chart or block diagram.
  • Examples of computer readable media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like.
  • Computer readable media may include floppy disks, diskettes, hard disks, random access memories (RAMs), read-only memories (ROMs), erasable programmable read-only memories (EPROMs or flash memories), electrically erasable programmable read-only memories (EEPROMs), static random access memories (SRAMs), compact disk read-only memories (CD-ROMs), digital versatile disks (DVDs), Blu-ray (RTM) disks, memory sticks, integrated circuit cards, and the like.
  • RAMs random access memories
  • ROMs read-only memories
  • EPROMs or flash memories erasable programmable read-only memories
  • EEPROMs electrically erasable programmable read-only memories
  • SRAMs static random access memories
  • CD-ROMs compact disk read-only memories
  • DVDs digital versatile disks
  • RTM Blu-ray
  • the computer readable instructions may include either assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state setting data, or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk (registered trademark), JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
  • ISA instruction set architecture
  • machine instructions machine-dependent instructions
  • microcode firmware instructions
  • state setting data or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk (registered trademark), JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
  • Computer-readable instructions may be provided to a processor or programmable circuitry of a general-purpose computer, special-purpose computer, or other programmable data processing apparatus, either locally or over a wide area network (WAN) such as a local area network (LAN), the Internet, etc., to execute the computer-readable instructions to create means for performing the operations specified in the flowcharts or block diagrams.
  • WAN wide area network
  • LAN local area network
  • Internet etc.
  • processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, etc.
  • FIG. 10 illustrates an example of a computer 2200 in which aspects of the present invention may be embodied in whole or in part.
  • Programs installed on the computer 2200 may cause the computer 2200 to function as or perform operations associated with an apparatus or one or more sections of the apparatus according to an embodiment of the present invention, and/or to perform a process or steps of a process according to an embodiment of the present invention.
  • Such programs may be executed by the CPU 2212 to cause the computer 2200 to perform specific operations associated with some or all of the blocks of the flowcharts and block diagrams described herein.
  • the computer 2200 includes a CPU 2212, a RAM 2214, a graphics controller 2216, and a display device 2218, which are interconnected by a host controller 2210.
  • the computer 2200 also includes input/output units such as a communication interface 2222, a hard disk drive 2224, a DVD-ROM drive 2226, and an IC card drive, which are connected to the host controller 2210 via an input/output controller 2220.
  • the computer also includes legacy input/output units such as a ROM 2230 and a keyboard 2242, which are connected to the input/output controller 2220 via an input/output chip 2240.
  • the CPU 2212 operates according to the programs stored in the ROM 2230 and the RAM 2214, thereby controlling each unit.
  • the graphics controller 2216 retrieves image data generated by the CPU 2212 into a frame buffer or the like provided in the RAM 2214 or into itself, and causes the image data to be displayed on the display device 2218.
  • the communication interface 2222 communicates with other electronic devices via a network.
  • the hard disk drive 2224 stores programs and data used by the CPU 2212 in the computer 2200.
  • the DVD-ROM drive 2226 reads programs or data from the DVD-ROM 2201 and provides the programs or data to the hard disk drive 2224 via the RAM 2214.
  • the IC card drive reads programs and data from an IC card and/or writes programs and data to an IC card.
  • ROM 2230 stores therein a boot program, etc., which is executed by computer 2200 upon activation, and/or a program that depends on the hardware of computer 2200.
  • Input/output chip 2240 may also connect various input/output units to input/output controller 2220 via a parallel port, a serial port, a keyboard port, a mouse port, etc.
  • the programs are provided by a computer-readable medium such as a DVD-ROM 2201 or an IC card.
  • the programs are read from the computer-readable medium and installed in the hard disk drive 2224, RAM 2214, or ROM 2230, which are also examples of computer-readable media, and executed by the CPU 2212.
  • the information processing described in these programs is read by the computer 2200, and brings about cooperation between the programs and the various types of hardware resources described above.
  • An apparatus or method may be constructed by realizing the manipulation or processing of information in accordance with the use of the computer 2200.
  • CPU 2212 may execute a communication program loaded into RAM 2214 and instruct communication interface 2222 to perform communication processing based on the processing described in the communication program.
  • communication interface 2222 reads transmission data stored in a transmission buffer processing area provided in RAM 2214, hard disk drive 2224, DVD-ROM 2201, or a recording medium such as an IC card, and transmits the read transmission data to the network, or writes received data received from the network to a reception buffer processing area or the like provided on the recording medium.
  • the CPU 2212 may also cause all or a necessary portion of a file or database stored on an external recording medium such as the hard disk drive 2224, the DVD-ROM drive 2226 (DVD-ROM 2201), an IC card, etc. to be read into the RAM 2214, and perform various types of processing on the data on the RAM 2214. The CPU 2212 then writes back the processed data to the external recording medium.
  • an external recording medium such as the hard disk drive 2224, the DVD-ROM drive 2226 (DVD-ROM 2201), an IC card, etc.
  • CPU 2212 may perform various types of processing on data read from RAM 2214, including various types of operations, information processing, conditional judgment, conditional branching, unconditional branching, information search/replacement, etc., as described throughout this disclosure and specified by the instruction sequence of the program, and write back the results to RAM 2214.
  • CPU 2212 may also search for information in a file, database, etc. in the recording medium.
  • CPU 2212 may search for an entry that matches a condition, in which an attribute value of the first attribute is specified, from among the multiple entries, read the attribute value of the second attribute stored in the entry, and thereby obtain the attribute value of the second attribute associated with the first attribute that satisfies a predetermined condition.
  • the above-described programs or software modules may be stored on a computer-readable medium on the computer 2200 or in the vicinity of the computer 2200.
  • a recording medium such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet can be used as a computer-readable medium, thereby providing the programs to the computer 2200 via the network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

学習装置であって、学習用画像と、学習用画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した学習用特徴量と、を入力とし、学習用画像及び学習用特徴量に対する判定の結果を出力として学習した学習モデルを記憶する記憶部と、説明対象用画像と、説明対象用画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した第１特徴量とに対し、記憶部に記憶された学習モデルを用いて判定の結果を出力する判定部と、学習モデルによる説明対象用画像及び第１特徴量の判定の結果に対して、説明対象用画像の寄与度と第１特徴量の寄与度とを出力する説明出力部とを備える。

Description

学習装置およびプログラム
　本発明は、学習装置およびプログラムに関する。
　特許文献１には、「根拠計算部１１４は、例えば、Ｇｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ　Ｃｌａｓｓ　Ａｃｔｉｖａｔｉｏｎ　Ｍａｐｐｉｎｇ）、ＬＩＭＥ（ＬＯＣＡＬ　Ｉｎｔｅｒｐｒｅｔａｂｌｅ　ｍｏｄｅｌ－ａｇｎｏｓｔｉｃ　Ｅｘｐｌａｎａｔｉｏｎｓ）、ＬＩＭＥの発展形であるＳＨＡＰ（ＳＨａｐｌｅｙ　Ａｄｄｉｔｉｖｅ　ｅｘＰｌａｎａｔｉｏｎｓ）、ＴＣＡＶ（Ｔｅｓｔｉｎｇ　ｗｉｔｈ　Ｃｏｎｃｅｐｔ　Ａｃｔｉｖａｔｉｏｎ　Ｖｅｃｔｏｒｓ）などのアルゴリズムを使って、推論部１１２において学習済み機械学習モデルを用いた診断及び鑑別診断の各々の判断根拠を可視化した画像を算出することができる」と記載されている。
　非特許文献１には、皮膚画像とメタデータ（患者の年齢や性別など）とを入力して、皮膚病変を分類する学習モデルが記載されている。
［先行技術文献］
［特許文献］
　［特許文献１］　国際公開２０２２／１７６３９６号
　「非特許文献１」Nils Gessert他著「Skin lesion classification using ensembles of multi-resolution EfficientNets with meta data」Methods X, Volum 7, 2020
一般的開示
　本発明の第１の態様においては、学習装置であって、学習用画像と、学習用画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した学習用特徴量と、を入力とし、学習用画像及び学習用特徴量に対する判定の結果を出力として学習した学習モデルを記憶する記憶部と、説明対象用画像と、説明対象用画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した第１特徴量とに対し、記憶部に記憶された学習モデルを用いて判定の結果を出力する判定部と、学習モデルによる説明対象用画像及び第１特徴量の判定の結果に対して、説明対象用画像の寄与度と第１特徴量の寄与度とを出力する説明出力部とを備える。
　予め定められた解釈可能な特徴は、被写体の形状又は特性を定量的に表せるパラメータを含んでよい。判定部は、学習モデルを用いて、説明対象用画像から第２特徴量を抽出し、説明度出力部は、第２特徴量と第１特徴量とを含む特徴量空間において、説明対象に係る第１特徴量及び第２特徴量からなるデータの近傍を線形回帰することにより、寄与度をそれぞれ算出してよい。判定部は、学習モデルを用いて、説明対象用画像から第２特徴量を抽出し、説明出力部は、第２特徴量である特徴量ベクトルの次元を圧縮して、説明対象用画像の寄与度として、第２の特徴量の寄与度を算出してよい。説明出力部は、特徴量ベクトルを１次元に圧縮してよい。
　説明対象用画像に基づき、第１特徴量のうち、少なくとの一つを算出して学習モデルに入力する特徴算出部をさらに備えてよい。
　学習モデルは、畳み込みニューラルネットワークを含んでよい。
　説明出力部は、さらに、学習モデルによる判定の結果に対する、説明対象用画像内の判定根拠を示す画像を出力してもよい。説明出力部は、説明対象用画像の寄与度と、第１特徴量の寄与度とを、並べて表示させてもよい。説明出力部は、説明対象用画像の寄与度と、第１の特徴量の寄与度と、判定根拠を示す画像と、判定の結果とを並べて表示させてもよい。説明出力部は、説明対象用画像の寄与度と、第１特徴量の寄与度と、のそれぞれに対応したテキストを表示させてもよい。
　本発明の第２の態様においては、プログラムであって、コンピュータに、学習用画像と、学習用画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した学習用特徴量と、を入力とし、学習用画像及び学習用特徴量に対する判定の結果を出力として学習した学習モデルを記憶部に記憶させる記憶機能と、説明対象用画像と、説明対象用画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した第１特徴量とに対し、記憶部に記憶された学習モデルを用いて判定の結果を出力する判定機能と、学習モデルによる説明対象用画像及び第１特徴量の判定の結果に対して、説明対象用画像の寄与度と第１特徴量の寄与度とを出力する説明出力機能とを実現させる。
　本発明の第３の態様においては、学習用画像と、学習用画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した学習用特徴量と、を入力とし、学習用画像及び学習用特徴量に対する判定の結果を出力として学習した学習モデルを用いて、説明対象用画像と、説明対象用画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した第１特徴量とに対し、判定の結果を出力する学習装置であって、学習モデルによる説明対象用画像及び第１特徴量の判定の結果に対して、説明対象用画像の寄与度と第１特徴量の寄与度とを出力する説明出力部を備える。
　なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る学習装置１０の機能ブロックを示す。 学習装置１０の動作フローを示す。 学習モデル１２０の一例を概略的に示す。 特徴量の空間を線形回帰する方法の概要を説明するための分布図である。 可読特徴量空間を説明する分布図である。 第２特徴量の次元を１次元に圧縮する方法を説明する分布図である。 説明出力部１０４によるディスプレイへの表示画像２００の一例を示す。 テキストエリア２２０に表示されるテキストのテンプレート２３０である。 他の適用例を示す一覧表である。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、本実施形態に係る学習装置１０の機能ブロックを示す。学習装置１０は、対象となる入力に対して何らかの判定の結果を出力する。判定とは、予め定められたカテゴリーのいずれに属するかを決定することであってもよく、それぞれのカテゴリーに属する可能性を予測確率として算出するものであってもよい。本実施形態において、対象となる入力は細胞の画像と、その画像に写っている細胞に関係する、予め定められた解釈可能な特徴を数値化した特徴量（第１の特徴量）とであり、出力となる判定は、画像に写っている細胞、及び第１の特徴量が細胞周期の４つのいずれの状態にあるかを予測したそれぞれの予測確率である。当該出力は、決定、判定、予測、推測、推定などと呼ばれることもある。
　このような判定には、ディープラーニングなどの学習モデルが用いられる。学習モデルにおいては、判定の正確性と判定の根拠の分かり易さが相反する関係であることが多い。例えばディープラーニングは判定が比較的正確である学習モデルであるが、各層のノードやその重みを見ても、ユーザがそれを解釈することは困難である。そこで、Ｇｒａｄ－ＣＡＭ、ＬＩＭＥ、ＳＨＡＰ、ＴＣＡＶなどの判断根拠の説明ツールが提案されているが、いずれも十分であるとはいえない。本実施形態においては、判定の正確性を担保しつつ、判定の根拠を分かり易く提示することを目的とする。なお、根拠の分かり易さは、説明性の高さと言われることもある。
　学習装置１０は、特徴算出部１００、判定部１０２、説明出力部１０４、記憶部１０６を備える。記憶部１０６は学習モデル１２０を記憶している。学習装置１０は、パーソナルコンピュータ、タブレット、スマートフォンなどの情報機器であってよく、それらの情報機器にプログラムやアプリケーションがインストールされることによって実現されてよい。また、学習装置１０は、クラウドコンピューティングにより対象となる入力に対して何らかの判定の結果を出力するためのウェブサーバであってもよく、これにプログラムやアプリケーションがインストールされることによって実現されてよい。なお、ウェブサーバは、ネットワークを介して、顕微鏡等と接続される。
　特徴算出部１００は、顕微鏡等の外部から入力画像を取得する。特徴算出部１００は、記憶部１６０に予め記憶された入力画像を読み出してもよい。特徴算出部１００は、入力画像から、予め定められた解釈可能な特徴を数値化した特徴量（第１特徴量）を算出して、学習モデル１２０に入力する。
　判定部１０２は、入力画像に対し、記憶部１０６に記憶された学習モデル１２０を用いた判定を行う。判定部１０２は判定の結果をディスプレイ等の外部に出力する。
　説明出力部１０４は、学習モデル１２０が判定の結果を得るにあたり、入力画像（入力画像の画素値から抽出した特徴量（後述する第２特徴量）の寄与度と、入力画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した特徴量（第１特徴量）の寄与度と、を比較可能に出力する。出力先は判定部１０２と同様に例えばディスプレイである。
　図２は、学習装置１０の動作フローを示す。当該動作フローは例えばユーザが学習装置１０を立ち上げることにより開始する。動作フローは、学習モデル１２０を学習させる学習段階Ｓ１００と、学習モデル１２０を用いて説明対象を判定する判定段階Ｓ１００と、判定の結果を説明するために寄与度等を算出する説明段階Ｓ１２０とを有する。
　図３は、学習モデル１２０の一例を概略的に示す。ステップＳ１００の学習段階において、まず、学習モデル１２０が設定される。学習モデル１２０として、本実施形態では、入力画像２０そのもの言い換えれば画素値を用いる機械学習と、入力画像２０の被写体に関係し、予め定められた解釈可能な特徴を数値化した特徴量を用いる機械学習とを併せて用いるモデルが設定される。当該モデルは、異なる種類の入力を用いるという観点から、マルチモーダルなモデルと呼ばれることがある。
　学習モデル１２０は、画素値を用いた機械学習として画像ＣＮＮ１３２を含む。画像ＣＮＮ１３２は、画像を入力とするＣＮＮ（畳み込みニューラルネットワーク）である。ＣＮＮの階層の数や各階層のノード（フィルタ、カーネルなどとも呼ばれる）の数に制限はないが、本実施形態ではＶＧＧ１６（すなわちＶＧＧＮｅｔ１６層）における、全結合層の手前までのモデルを用いる。画像ＣＮＮ１３２は、例えば画素値（縦９６×横９６×色３）を有する入力画像２０に対して、畳み込みとプーリングを繰り返し、５１２個のノードとそれぞれのノードに対する重みを算出する。当該５１２個のノードに対する重みが、５１２次元の第２特徴量として後段に用いられる。
　学習モデル１２０は、数値化した特徴量を用いる機械学習として特徴量ＮＮ１３４を含む。特徴量ＮＮ１３４は、単層のまたは複数層のニューラルネットワークであり、階層の数や各階層のノードの数に制限はない。本実施形態で特徴量ＮＮ１３４は、１３個の特徴量を含む第１特徴量の入力を受け付けて、８個のノードとそれぞれのノードに対する重みを算出される。当該８個のノードに対する重みが、８次元の第３特徴量として後段に用いられる。
　第１特徴量は、入力画像２０から特徴算出部１００により算出される。特徴算出部１００の一例としてＯｐｅｎＣＶが用いられるが、他の画像処理エンジンが用いられてもよい。なお、特徴算出部１００を用いることに代えて、ユーザが第１特徴量を特定し、それらを特徴量ＮＮ１３４に直接入力してもよい。
　第１特徴量は、入力画像２０の被写体に関係し、予め定められた解釈可能な特徴を数値化したものである。当該予め定められた解釈可能な特徴とは、ユーザが、定量的かつ直観的に理解可能な特徴、である。本実施形態では、入力画像２０に写っている細胞の周期を判定することに対応して、予め定められた解釈可能な特徴は、細胞の形状に関する特徴を含んでいる。当該特徴の例は、細胞の面積、凸包、周囲長、最大フィレ系、最小フィレ系、直径、矩形縦、矩形横、真円度、凸性、伸長、粗さ、凹凸さ、の１３個である。第１特徴量はこれ以外（例えば、細胞の密度）であってもよく、個数も限られない。
　学習モデル１２０は、さらに分類ＮＮ１３６を有する。分類ＮＮ１３６は、画像ＣＮＮ１３２の最後の層および特徴量ＮＮ１３４の最後の層の全結合層であって、４つのクラス判定を行う。付言すれば、分類ＮＮ１３６は、５１２次元の第２特徴量と８次元の第３特徴量を併せた５２０次元の入力から、４つのクラスの判定をする分類器であると言える。判定される４つのクラスは、細胞周期の各周期である「Ｇ１：ＤＮＡ合成準備」（クラス１）、「Ｓ：ＤＮＡの合成と複製」（クラス２）、「Ｇ２:２組の染色体」（クラス３）および「Ｍ：細胞分裂」（クラス４）である。
　学習前の学習モデル１２０は、例えばユーザからの入力で初期設定される。この場合に、学習装置１０は、モデルの概要を記憶部１０８に記憶しておき、ユーザからネットワークの層の数やノードの数の入力を受け付けて、それらに基づいて学習モデル１２０を初期設定してもよい。
　ステップＳ１００の学習段階では、学習用画像（教師用画像とも呼ばれる）としての入力画像２０と、学習用第１特徴量と、正解のクラスとを組で、例えば１０万組、用意する。これらの学習用画像、学習用第１特徴量を入力したときの判定の結果と正解との誤差を小さくしていくことで、学習モデル１２０を学習させる。誤差を小さくする方法として、例えば逆伝播法が用いられる。学習法は他の方法が用いられてもよいし、さらに、ドロップアウトなどの学習法が併用されてもよい。
　以上により、学習用の入力画像２０の画素値と学習用第１特徴量とを入力とし、入力画像２０の被写体（細胞）に対する所定の判定（周期）の結果を出力として、学習モデル１２０が学習される。学習された学習モデル１２０は記憶部１０６に記憶される。以上でステップＳ１００の動作を終了する。なお、学習するにつれて第２特徴量の５１２個のノードの中身が変化していくが、学習後のノードを視覚的に表示しても、ユーザにはそれらが何を示しているのかは直観的には分からない。
　次に、ステップＳ１１０の判定段階において、判定部１０２は、学習済の学習モデル１２０を記憶部１０６から読み出し、説明対象となる入力画像２０と、説明対象となる入力画像２０の被写体（細胞）に関係し、予め定められた解釈可能な特徴を数値化した特徴量（第１特徴量）とを学習モデル１２０に入力し、被写体の所定判定（細胞周期）を行う。判定部１０２は、判定の結果として、それぞれのクラスに属する可能性を示す予測確率を４つのクラスごとに出力する。
　なお、単に、判定の結果を出力しただけでは、ユーザは、なぜそのような判定の結果に至ったか理解できず、判定の結果を活かせない可能性がある。
　次に、ステップＳ１２０の説明段階は、２つの処理を並行して行う。第１の処理（ステップＳ１２２）は、学習モデル１２０が判定の結果を得るにあたり、画像自体が寄与した寄与度と、画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した特徴量（第１特徴量）が寄与した寄与度とを算出する処理である。第２の処理（ステップＳ１２４）は、画像内の判定結果に寄与した領域を可視化する（判定根拠を可視化する）処理である。第１の処理及び第２の処理は、説明出力部１０４にて行われる。まず、第１の処理について説明する。本実施形態では、当該第１の処理は、公知手法であるＬＩＭＥ（ＬＯＣＡＬ　Ｉｎｔｅｒｐｒｅｔａｂｌｅ　ｍｏｄｅｌ－ａｇｎｏｓｔｉｃ　Ｅｘｐｌａｎａｔｉｏｎｓ）をベースにした処理であって、特徴量の空間における説明対象データの近傍で説明モデルを推定する手法を用いる。
　説明対象データは、説明対象となる入力画像２０の特徴量（第２特徴量）と、説明対象となる入力画像２０の被写体（細胞）に関係し、予め定められた解釈可能な特徴を数値化した特徴量（第１特徴量）とからなる。
　図４は、特徴量の空間を線形回帰する方法の概要を説明するための分布図である。図４の例では、特徴量ｘ０と特徴量ｘ１を空間軸とする二次元の特徴量空間が描かれている。同図において、説明対象の特徴量をバツ印で示し、説明対象データと同じクラスに属する予測確率が最も高かった他の入力画像を黒丸で示し、説明対象と異なるクラスのいずれかに属する予測確率が最も高かった他の入力画像を白丸で表した。同図において、実線は、学習モデル１２０が学習した、説明対象と同じクラスに属するか、異なるクラスに属するか、を判定する識別面（境界面）である。　
　当該実線で示すように、学習モデル１２０の識別面は複雑である。しかしながら、「説明対象データの近傍」に注目して、識別面を線形回帰（線形近似）すれば、その直線の傾きが、当該近傍においては特徴量ｘ０と特徴量ｘ１の重みに対応すると考えてよい。言い換えると、説明対象データの近傍に注目して、そこでの学習モデルを線形分類器で近似したときの各特徴量の重みを、判定結果に対する学習モデル１２０での各特徴量の寄与度と見なしてよい。
　そこで、学習データを抽出して、学習済の学習モデル１２０で改めて予測確率を算出する。学習データは、学習用の入力画像２０の特徴量と、学習用の入力画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した特徴量（学習用第１特徴量）とからなる。
　ここで、「説明対象データの近傍」を定義するために、図４に示す特徴量空間を「可読特徴量空間」に変換する。
　「可読特徴量空間」を下記の通り定義する。
（１）説明対象データ及び学習データ（纏めて、データという）の密度に応じて各特徴量を独立の領域（１領域は、図５の１マスに相当する）に分ける。
（２）ある特徴量について、説明対象データと同じレベルに属している学習データに対して可読特徴量として１を割り振り、属していなければ０を割り振る。言い換えれば、各データの特徴量をバイナリ空間に射影する。各データ及び各特徴量についてこの割り振りを行い、それに基づいて線形回帰のコスト関数を設定する。
　可読特徴量空間の上記定義（１）について、領域分けは、各領域にデータが予め定められた個数または個数範囲分含まれるようにする。これにより、図５に示すように、特徴量毎に、データの密度が高い箇所の領域の幅すなわち数値範囲は狭くなる。逆に、データの密度が低い箇所の領域の幅は広くなる。
　可読特徴量空間の上記定義（２）について、当該領域分けを利用して、各データに可読特徴量ｚｉを割り振る。あるデータの特徴量ｘｉについて、説明対象データと同じ領域に入っていれば可読特徴量ｚｉ＝１を割り振る。逆に、特徴量ｘｉについて、説明対象データと同じ領域に入っていなければ可読特徴量ｚｉ＝０を割り振る。当該データの各特徴量について、上記に従って可読特徴量を割り振る。これにより、説明対象データに近ければｚの成分に１が並び、遠ければ０が並ぶような空間が定義される。
　図５は、可読特徴量空間を説明する分布図である。図５の例では、特徴量ｘ０と特徴量ｘ１を空間軸とする二次元の可読特徴量空間が描かれている。同図において、説明対象データをバツ印で示し、抽出された学習データを黒丸で表した。さらに各特徴量でのデータの個数すなわちデータの密度を模式的に曲線で示した。
　次に、可読特徴量空間で線形回帰を行う。まず、ｉ番目のデータについて、下記の通り定式化する。
Figure JPOXMLDOC01-appb-M000001
 　ここでｙｉは説明対象データと同じクラスであると予測された予測確率、ｗは特徴量の次元を持つベクトルであり、ｂは定数項である。
　説明対象データ及び学習データそれぞれに対し、ｙｉとｚｉを計算し、上記定式化の下で、下記のように上記「数１」の左辺と右辺の二乗誤差を最小にするｗとｂを推定する。
Figure JPOXMLDOC01-appb-M000002
　当該推定によって得られた係数ｗのｉ番目の成分ｗｉが、可読特徴量空間における線形回帰によって算出された特徴量ｘｉの予測確率に対する寄与度に対応する。さらに、係数ｗｉの同士の大小関係は、学習モデル１２０の特徴量ｘｉの寄与度の大小関係を反映していると言える。
　なお、係数ｗｉが正の値である場合には予測確率を上げる方向に寄与し、負である場合には下げる方向に寄与する。定数ｂはモデルバイアスであり、ランダムなデータを入力した場合の予測確率に相当する。
　前述した図５に示す可読特徴量空間、その空間における線形回帰に関する説明は、公知のＬＩＭＥの一般的な説明である。本実施形態では、画像と第１特徴量（すなわち予め定められた解釈可能な特徴を数値化した特徴量）という異なる種類の特徴を、ＬＩＭＥに入力して、各特徴量の寄与度をそれぞれ算出するために次の処理を行う。
　（１）第１特徴量を可読特徴量に変換する。
　（２）画像の特徴量（第２特徴量）を低次元化して可読特徴量に変換する。
　上記（１）の変換は、前述した図５に示す可読特徴量空間への変換を行う。
　一方、上記（２）の変換については、画像が入力されたニューラルネットワークから抽出される第２特徴量が、本実施形態では５１２次元あるので、これらをそのまま可読特徴量空間の次元（すなわち空間軸）として用いると、第２特徴量の寄与度として５１２個の数値が得られる。しかしながら、上記の通り第２特徴量のそれぞれの特徴自体が直感的に理解できないので、当該寄与度で説明性はあまり向上しない。
　そこで、本実施形態では、第２特徴量の次元を低次元化して上記方法で寄与度を算出する。例えば、第２特徴量の次元を１次元に圧縮し、圧縮後の寄与度を「画像自体」の寄与度とみなせるようにする。
　図６は、図４に示す特徴量空間における第２特徴量の次元を、１次元に圧縮する方法を説明する分布図である。図６において、説明対象データをバツ印で示し、学習データを黒丸で示す。
　図６に示す方法は、圧縮前の５１２次元を、当該５１２次元の空間における説明対象データからの距離という特徴量に圧縮する。すなわち、当該距離ｄを下記の通り算出する。ここで、ｘｅｖ ｖ、ｘｖはそれぞれ説明対象である入力画像及び学習用の入力画像における、５１２次元のうちのｖ次元の値である。
Figure JPOXMLDOC01-appb-M000003
　さらに、第１特徴量に対応して、圧縮後の特徴量も０か１かの可読特徴量に割り振る。本実施形態では、距離ｄが閾値以上であれば可読特徴量ｚ＝０を割り振る。逆に、距離ｄが閾値より小さければ可読特徴量ｚ＝１を割り振る。
　これにより、第２特徴量が１次元化され、かつ、可読特徴量としてバイナリ空間に射影される。これは、第２特徴量を反映した、いわば画像自体の可読特徴量が定義されたと言える。
　当該画像自体の１次元の可読特徴量と、第１特徴量の１３次元の可読特徴量とで合計１４次元の可読特徴量空間を設定し、上記「数２」の線形回帰を行う。その結果として得られる寄与度は、当該１４次元に対応する特徴量の寄与度であるから、画像自体の寄与度と第１特徴量の寄与度との双方をユーザが比較可能な形で参照することができる。第１特徴量は、予め定められた解釈可能な特徴を数値化したものであることから、得られた結果は、解釈性が向上するだけでなく、画像自体の寄与度もわかることから、ユーザは、後述する第２の処理で作成されたヒートマップの意味も評価することができる。
　次に、第２の処理（ステップＳ１２４）について説明する。ステップＳ１１０の判定段階後、ステップＳ１２４で、例えば、ヒートマップを作成する。ヒートマップは、学習モデル１２０が説明対象に対して判定の結果を得るにあたり、説明対象としての画像の領域ごとに寄与した寄与度を互いに比較可能に出力したものである。なお、ヒートマップに限定されず、説明対象としての画像内の判定結果に寄与した領域を可視化する（判定根拠を可視化する）手法であればよい。例えば、説明対象としての画像のうち、判定結果に対する寄与の度合い毎に、寄与した領域（根拠となった領域）（複数ある場合は、全ての領域）を切り出してもよい。
　本実施形態において、第２の処理は、学習モデル１２０内の画像ＣＮＮ１３２の情報のみを用いて行う。
　ヒートマップの生成方法として、学習モデルのクラス活性化マッピング手法であるCAM(Class Activation Map)及びその派生形（重みに勾配を用いる）であるGrad-CAM及びGrad CAM++、重みに勾配を用いず、順伝搬で重みづけを行うScoreCAM、さらにGuide-BP, IngetrateGradなど様々な方法がある。
　通常のGrad-CAMでは、CNNの最終層からの出力に対する勾配を用いて、入力画像の各画素値が、各クラスの予測確率に与える影響を算出するが、これに代えて、中間層からの出力に対する勾配、全ての層それぞれからの出力に対する勾配の平均等を用いてもよい。また、ヒートマップに限らず、入力画像に摂動を加えて、いくつかスーパーピクセルに分割したうえで、前述したLIMEを適用し、入力画像内の判断根拠となる領域を可視化してもよい。本実施形態では、それらのいずれが用いられてもよい。
　前述した第１の処理（ステップＳ１２２）及び第２の処理（ステップＳ１２４）が終了した後、説明出力部１０４は、第１の処理の結果（寄与度）、及び第２の処理の結果（以下、処理結果という）をディスプレイ等に出力する。説明出力部１０４は、処理結果をディスプレイに出力することに代えて、または、加えて、記憶部１０６に記憶してもよい。また、判定部１０２による判定の結果と併せて、処理結果が出力されてもよい。
　図７は、説明出力部１０４によりディスプレイへ表示される表示画像２００の一例を示す。図７において、学習モデル１２０への入力である入力画像が対象画像エリア２０２に表示されている。同様に学習モデル１２０への入力である第１特徴量について、１３個の特徴の名称とその大きさを示す棒グラフとが対応付いて、第１特徴量エリア２０４に表示されている。
　ステップＳ１２２（第１の処理）で算出された寄与度は、複数の態様で表示画像２００に表示されている。まず、各寄与度エリア２０８には、特徴の名称とその寄与度の大きさを示す棒グラフとが対応付いて表示されている。第１特徴量は入力と同じ１３個の特徴が示されている。一方、第２特徴量は１次元に圧縮したことに対応して、１つの特徴として示されている。さらに、それらが縦に並べて表示されている。これにより、第１特徴量の寄与度と、第２特徴量の寄与度とをユーザが容易に認識することができ、判断の説明性が向上する。また、第２特徴量の寄与度が一つなので、それを「画像自体」の寄与度と解釈することができ、さらに、説明性が向上する。
　累積寄与度エリア２１０には、予測確率、予測確率を上げる特徴量及び予測確率を下げる特徴量のそれぞれの棒グラフが縦に並べて互いに比較可能に表示されている。予測確率を上げる特徴量の棒グラフは、寄与度の正の値を大きい順に左端から直列に並べたものである。予測確率を下げる特徴量の棒グラフは、寄与度の負の値を大きい順に左から直列に並べたものである。当該棒グラフの右端は、その上の棒グラフの右端に揃えられている。また、それぞれの寄与度のうち予め定められた長さより長いものの上には特徴の名称が付記されている。これらの表示により、さらに、説明性が向上する。
　さらに、テキストエリア２２０にテキストを用いて寄与度が表示されている。テキストエリア２２０には、説明対象のファイル名、予測確率、予測クラス及びテキストレポートが表示されている。テキストレポートとして、第２特徴量の寄与度と、第１特徴量の寄与度と、のそれぞれに対応したテキストが表示されてよい。
　図８は、テキストエリア２２０に表示されるテキストのテンプレート２３０である。テンプレート２３０は記憶部１０６に記憶される。
　テンプレート２３０は予め設定された文章と当該文章に挿入される変数を含む。変数は［］で示されており、その中に記載されている記号に対する値が判定部１０２および寄与出力部１０４により代入され、テキストエリア２２０に表示される。
　テキストエリア２２０に表示する特徴の個数は、予め定められていてもよいし、寄与度の閾値または寄与度の絶対値の閾値より大きいものを表示してもよい。それらのルールも記憶部１０６に記憶されてよい。
　さらに、ステップＳ１２４（第２の処理）で作成されたヒートマップは、ヒートマップエリア２０６に表示されている。これらの表示により、さらに、説明性が向上する。
　以上、本実施形態によれば、判定の正確性を担保しつつ、判定の根拠を分かり易く提示することができる。特に、異なる種類の特徴量の入力を用いて判定するいわゆるマルチモーダルなモデルでの判定において、判定の説明性を向上させることができる。
　上記実施形態の変形例を示す。画像ＣＮＮ１３２は、VGGNetに代えて、AlexNet, VGGNet, ResNet, ResNeXtなどを含む、他のＣＮＮであってもよい。さらに、ＣＮＮではない他のニューラルネットワークでもよい。また、第２特徴量として、画像ＣＮＮ１３２の最終層の５１２次元を用いたが、これに代えてまたはこれに加えて、最終層より手前の中間層の特徴量を用いてもよい。
　第２特徴量の低次元化は、距離を用いた１次元化に限られない。他の例として、第２特徴量に対して、主成分分析、あるいはそれに関連した非線形な次元圧縮アルゴリズムを用いて低次化してもよい。さらに他の例として、第２特徴量の単純な平均やそれらのうちの最大値などをとる、などの統計処理によって１次元化してもよい。
　説明モデルは、線形回帰に限られない。
　上記実施形態は、学習モデル１２０を細胞の画像から細胞周期を判定するのに用いる例を説明した。学習モデル１２０の用途はこれに限られない。他に適用できる用途の例を、入力画像及び第１特徴量とともに、図９に列挙した。
　第１特徴量は、入力画像から自動でまたは手動で算出できるものと、入力画像から算出できないものとがある。算出できる例は、画像に写っている被写体（物、生体）の半径、長さなどの形状の特徴や、色の特徴、特性の特徴などである。算出できない例は、入力画像に写っている物（被写体）の持ち主及び写っている生体（被写体）の被験者などの性別、年齢、人種など、属性に関する情報（これらは、被写体に関係し、予め定められた解釈可能な特徴に相当する）であり、例えば、場所情報は、座標やインデックスで数値化する。
　また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
　コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
　コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
　コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
　図１０は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。
　本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。
　ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。
　通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。
　ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。
　プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。
　例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
　また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。
　様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
　上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
　１０　学習装置、２０　画像、１００　特徴算出部、１０２　判定部、１０４　説明出力部、１０６　記憶部、１２０　学習モデル、１３２　画像ＣＮＮ、１３４　特徴量ＮＮ、１３６　分類ＮＮ、２００　表示画像、２０２　対象画像エリア、２０４　第１特徴量エリア、２０６　ヒートマップエリア、２０８　各寄与度エリア、２１０　累積寄与度エリア、２２０　テキストエリア、２３０　テンプレート、２２００　コンピュータ、２２０１　ＤＶＤ－ＲＯＭ、２２１０　ホストコントローラ、２２１２　ＣＰＵ、２２１４　ＲＡＭ、２２１６　グラフィックコントローラ、２２１８　ディスプレイデバイス、２２２０　入／出力コントローラ、２２２２　通信インタフェース、２２２４　ハードディスクドライブ、２２２６　ＤＶＤ－ＲＯＭドライブ、２２３０　ＲＯＭ、２２４０　入／出力チップ、２２４２　キーボード

Claims (13)

  1. 　学習用画像と、前記学習用画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した学習用特徴量と、を入力とし、前記学習用画像及び前記学習用特徴量に対する判定の結果を出力として学習した学習モデルを記憶する記憶部と、
    　説明対象用画像と、前記説明対象用画像の被写体に関係し、前記予め定められた解釈可能な特徴を数値化した第１特徴量とに対し、前記記憶部に記憶された前記学習モデルを用いて判定の結果を出力する判定部と、
    　前記学習モデルによる前記説明対象用画像及び前記第１特徴量の前記判定の結果に対して、前記説明対象用画像の寄与度と前記第１特徴量の寄与度とを出力する説明出力部と
    を備える学習装置。
  2. 　前記予め定められた解釈可能な特徴は、前記被写体の形状又は特性を定量的に表せるパラメータを含む請求項１に記載の学習装置。
  3. 　前記判定部は、前記学習モデルを用いて、前記説明対象用画像から第２特徴量を抽出し、
    　前記説明出力部は、前記第２特徴量と前記第１特徴量とを含む特徴量空間において、前記説明対象用画像に係る前記第１特徴量及び前記第２特徴量からなるデータの近傍を線形回帰することにより、前記寄与度をそれぞれ算出する請求項１または２に記載の学習装置。
  4. 　前記判定部は、前記学習モデルを用いて、前記説明対象用画像から第２特徴量を抽出し、
    　前記説明出力部は、前記第２特徴量である特徴量ベクトルの次元を圧縮して、前記説明対象用画像の寄与度として、前記第２特徴量の寄与度を算出する請求項１から３のいずれか１項に記載の学習装置。
  5. 　前記説明出力部は、前記特徴量ベクトルを１次元に圧縮する請求項４に記載の学習装置。
  6. 　前記説明対象用画像に基づき、前記第１特徴量のうち、少なくとの一つを算出して前記学習モデルに入力する特徴算出部をさらに備える請求項１から５のいずれか１項に記載の学習装置。
  7. 　前記学習モデルは、畳み込みニューラルネットワークを含む請求項１から６のいずれか１項に記載の学習装置。
  8. 　前記説明出力部は、さらに、前記学習モデルによる前記判定の結果に対する、前記説明対象用画像内の判定根拠を示す画像を出力する請求項１から７のいずれか１項に記載の学習装置。
  9. 　前記説明出力部は、前記説明対象用画像の寄与度と、前記第１特徴量の寄与度とを、並べて表示させる請求項１から８のいずれか１項に記載の学習装置。
  10. 　前記説明出力部は、前記説明対象用画像の寄与度と、前記第１特徴量の寄与度と、前記判定根拠を示す画像と、前記判定の結果とを並べて表示させる請求項８に記載の学習装置。
  11. 　前記説明出力部は、前記説明対象用画像の寄与度と、前記第１特徴量の寄与度と、のそれぞれに対応したテキストを表示させる請求項９または１０に記載の学習装置。
  12. 　コンピュータに、
    　学習用画像と、前記学習用画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した学習用特徴量と、を入力とし、前記学習用画像及び前記学習用特徴量に対する判定の結果を出力として学習した学習モデルを記憶部に記憶させる記憶機能と、
    　説明対象用画像と、前記説明対象用画像の被写体に関係し、前記予め定められた解釈可能な特徴を数値化した第１特徴量とに対し、前記記憶部に記憶された前記学習モデルを用いて判定の結果を出力する判定機能と、
    　前記学習モデルによる前記説明対象用画像及び前記第１特徴量の前記判定の結果に対して、前記説明対象用画像の寄与度と前記第１特徴量の寄与度とを出力する説明出力機能と
    を実現させるプログラム。
  13. 　学習用画像と、前記学習用画像の被写体に関係し、予め定められた解釈可能な特徴を数値化した学習用特徴量と、を入力とし、前記学習用画像及び前記学習用特徴量に対する判定の結果を出力として学習した学習モデルを用いて、説明対象用画像と、前記説明対象用画像の被写体に関係し、前記予め定められた解釈可能な特徴を数値化した第１特徴量とに対し、判定の結果を出力する学習装置であって、
    　前記学習モデルによる前記説明対象用画像及び前記第１特徴量の前記判定の結果に対して、前記説明対象用画像の寄与度と前記第１特徴量の寄与度とを出力する説明出力部を備える学習装置。
PCT/JP2024/017720 2023-06-07 2024-05-14 学習装置およびプログラム Ceased WO2024252857A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP24819094.4A EP4726648A1 (en) 2023-06-07 2024-05-14 Training device and program
JP2025526011A JP7875489B2 (ja) 2023-06-07 2024-05-14 学習装置およびプログラム
CN202480034043.3A CN121175717A (zh) 2023-06-07 2024-05-14 学习装置及程序
US19/409,113 US20260087788A1 (en) 2023-06-07 2025-12-04 Learning apparatus and non-transitory computer-readable medium
JP2026089977A JP2026125001A (ja) 2023-06-07 2026-05-28 学習装置およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023094360 2023-06-07
JP2023-094360 2023-06-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/409,113 Continuation US20260087788A1 (en) 2023-06-07 2025-12-04 Learning apparatus and non-transitory computer-readable medium

Publications (1)

Publication Number Publication Date
WO2024252857A1 true WO2024252857A1 (ja) 2024-12-12

Family

ID=93795423

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/017720 Ceased WO2024252857A1 (ja) 2023-06-07 2024-05-14 学習装置およびプログラム

Country Status (5)

Country Link
US (1) US20260087788A1 (ja)
EP (1) EP4726648A1 (ja)
JP (2) JP7875489B2 (ja)
CN (1) CN121175717A (ja)
WO (1) WO2024252857A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125240A (ja) * 2018-01-18 2019-07-25 株式会社日立製作所 分析装置および分析方法
WO2022009652A1 (ja) * 2020-07-07 2022-01-13 ソニーグループ株式会社 データ収集システム、センサ装置、データ収集装置、及びデータ収集方法
WO2022176396A1 (ja) 2021-02-18 2022-08-25 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125240A (ja) * 2018-01-18 2019-07-25 株式会社日立製作所 分析装置および分析方法
WO2022009652A1 (ja) * 2020-07-07 2022-01-13 ソニーグループ株式会社 データ収集システム、センサ装置、データ収集装置、及びデータ収集方法
WO2022176396A1 (ja) 2021-02-18 2022-08-25 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NILS GESSERT ET AL.: "Skin lesion classification using ensembles of multi-resolution EfficientNets with meta data", METHODS X, vol. 7, 2020

Also Published As

Publication number Publication date
JP2026125001A (ja) 2026-07-31
JP7875489B2 (ja) 2026-06-18
EP4726648A1 (en) 2026-04-15
US20260087788A1 (en) 2026-03-26
CN121175717A (zh) 2025-12-19
JPWO2024252857A1 (ja) 2024-12-12

Similar Documents

Publication Publication Date Title
CN110674866B (zh) 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
US12164599B1 (en) Multi-view image analysis using neural networks
US11334791B2 (en) Learning to search deep network architectures
CN118656683B (zh) 一种基于多模态可信渐进融合的分类系统
CN117911418B (zh) 基于改进yolo算法的病灶检测方法、系统及存储介质
US12499654B2 (en) Simplifying convolutional neural networks using logical representations of images
CN111798424B (zh) 一种基于医学图像的结节检测方法、装置及电子设备
US12293555B2 (en) Method and device of inputting annotation of object boundary information
Tripathy et al. Brain MRI segmentation techniques based on CNN and its variants
CN118196013B (zh) 支持多医生协同监督的多任务医学图像分割方法及系统
CN110568445A (zh) 一种轻量化卷积神经网络的激光雷达与视觉融合感知方法
Saraf et al. Deep learning challenges in medical imaging
Hilbig et al. Enhancing three-dimensional convolutional neural network-based geometric feature recognition for adaptive additive manufacturing: A signed distance field data approach
CN118470432A (zh) 基于深度学习网络的甲乳多模态超声图像分类方法及系统
Ren et al. An integrated approach of Active Incremental fine-tuning, SegNet, and CRF for cutting tool wearing areas segmentation with small samples
CN115565115A (zh) 一种舾装件智能识别方法、计算机设备
CN114998222A (zh) 汽车差速器壳体表面检测方法、电子设备及介质
CN117911785A (zh) 基于缺失模态的异构多模态图像分类方法及装置
CN115641317B (zh) 面向病理图像的动态知识回溯多示例学习及图像分类方法
CN115546089A (zh) 医学图像分割方法、病理图像处理方法、装置、设备
CN112507883A (zh) 人脸活体检测方法、系统、设备及存储介质
KR102432766B1 (ko) 알츠하이머 병 분류를 위한 mr 이미지 분석 시스템 및 방법
CN120495665A (zh) 基于多模态特征融合及边界增强的病理图像语义分割方法
CN113850819A (zh) 一种血管精细化分割方法、装置、终端及存储介质
US20260087788A1 (en) Learning apparatus and non-transitory computer-readable medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24819094

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025526011

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025526011

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2024819094

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024819094

Country of ref document: EP

Effective date: 20260107

ENP Entry into the national phase

Ref document number: 2024819094

Country of ref document: EP

Effective date: 20260107

ENP Entry into the national phase

Ref document number: 2024819094

Country of ref document: EP

Effective date: 20260107

ENP Entry into the national phase

Ref document number: 2024819094

Country of ref document: EP

Effective date: 20260107

ENP Entry into the national phase

Ref document number: 2024819094

Country of ref document: EP

Effective date: 20260107

WWP Wipo information: published in national office

Ref document number: 2024819094

Country of ref document: EP