WO2024024175A1 - 判定評価装置、方法、およびプログラム - Google Patents

判定評価装置、方法、およびプログラム Download PDF

Info

Publication number
WO2024024175A1
WO2024024175A1 PCT/JP2023/013968 JP2023013968W WO2024024175A1 WO 2024024175 A1 WO2024024175 A1 WO 2024024175A1 JP 2023013968 W JP2023013968 W JP 2023013968W WO 2024024175 A1 WO2024024175 A1 WO 2024024175A1
Authority
WO
WIPO (PCT)
Prior art keywords
uncertainty
evaluation
determination
image
result
Prior art date
Application number
PCT/JP2023/013968
Other languages
English (en)
French (fr)
Inventor
瑞紀 宮永
正史 恵木
明佳 倉田
喬之 神田
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2024024175A1 publication Critical patent/WO2024024175A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation

Definitions

  • the present disclosure relates to a technique for evaluating the judgment ability of artificial intelligence that analyzes an image and classifies each pixel into a class.
  • Artificial intelligence is used in the process of dividing images taken into multiple regions in various fields. For example, in the fields of medicine and materials science, artificial intelligence is useful for processing images that capture a mixture of multiple materials and coloring each material separately. In order to enable judgment by artificial intelligence, it is necessary to construct a judgment model by learning training data consisting of a pre-prepared image and correct labels for each area of the image.
  • Patent Document 1 discloses a technique for searching for measures to improve the value of a predetermined index while ensuring that the uncertainty representing the degree of reliability of the estimation result is within an acceptable range. Disclosed.
  • Patent Document 1 is a technique for searching for measures as described above, and is not suitable for evaluating how reliable the results of determination processing by artificial intelligence are.
  • One objective included in the present disclosure is to provide a technique for evaluating how reliable the results of a determination based on a determination model are.
  • a decision evaluation device is a decision evaluation device that evaluates a decision result for input data based on a decision model, and includes an uncertainty calculation unit that calculates the uncertainty of the decision result; and an analysis and evaluation section that evaluates the determination result based on certainty.
  • An evaluation determination method is a determination evaluation method that evaluates a determination result for input data based on a determination model, calculates the uncertainty of the determination result, and calculates the uncertainty of the determination result based on the uncertainty. Evaluate the judgment results.
  • An evaluation determination program is a determination evaluation program that evaluates a determination result for input data based on a determination model, calculates the uncertainty of the determination result, and calculates the uncertainty of the determination result based on the uncertainty. Make the computer evaluate the judgment results.
  • FIG. 1 is a block diagram showing a configuration example of a determination evaluation device according to the present embodiment.
  • An example of learning data according to the present embodiment is shown.
  • An example of a machine learning model according to this embodiment is shown.
  • An example of test data according to this embodiment is shown.
  • An example of determination result data according to the present embodiment is shown.
  • An example of uncertainty data according to the present embodiment is shown.
  • An example of the evaluation rule according to the present embodiment is shown.
  • An example of evaluation results according to the present embodiment is shown.
  • FIG. 2 is a block diagram showing details of an analysis and evaluation section according to the present embodiment.
  • 7 is a flowchart illustrating an example of processing by an uncertainty calculation unit according to the present embodiment.
  • 7 is a flowchart illustrating an example of processing by the analysis and evaluation section according to the present embodiment.
  • 12 is a flowchart illustrating an example of processing when the condition of rule ID “1001” in FIG. 7 is applied in step S206 illustrated in FIG. 11. It is a
  • FIG. 1 is a block diagram showing a configuration example of a determination evaluation device 1 according to the present embodiment.
  • the judgment evaluation device 1 calculates the uncertainty of the boundary of the segment (that is, the boundary between different classes). This is a device for evaluation. Uncertainty is an index indicating the low reliability of the segment boundaries calculated by the machine learning model 103. That is, the boundaries of segments with high uncertainty have low confidence, and the boundaries of segments with low uncertainty have high confidence.
  • the judgment evaluation device 1 includes a machine learning section 101, a judgment section 110, an uncertainty calculation section 111, an analysis evaluation section 109, and an evaluation result display section 112.
  • the judgment evaluation device 1 also stores learning data 102, machine learning model 103, test data 104, judgment result data 105, uncertainty data 106, evaluation rules 107, and evaluation results 108. .
  • the learning data 102 is data used for learning the machine learning model 103.
  • FIG. 2 shows an example of the learning data 102 according to this embodiment. As shown in FIG. 2, the learning data 102 is data in which a learning data ID 201 and a learning data content 202 are associated and recorded.
  • the learning data ID 201 is information for identifying the learning data content 202.
  • the learning data content 202 includes the pixel value of each pixel constituting the input image for learning and the correct class (correct label) into which each pixel constituting the input image is classified.
  • the machine learning unit 101 uses the learning data 102 to perform machine learning on a machine learning model 103 that determines the class (assigns a label) to each pixel of the input image.
  • Machine learning may be deep learning.
  • Examples of the machine learning model 103 may be CNN (Convolutional Neural Network), SegNet, U-Net, PSPNet, etc.
  • FIG. 3 shows an example of the machine learning model 103 according to this embodiment.
  • the machine learning model 103 is represented by data in which a layer 301, a layer type 302, and a layer parameter 303 are associated with each other.
  • the layer 301 is information for identifying the layer of the machine learning model 103.
  • Layer type 302 is information indicating the type of layer 301. Examples of the types of layers include input layers, convolution layers, pooling layers, fully connected layers, and output layers.
  • the layer parameter is information indicating the parameter of the layer 301 (for example, the weight of each neuron).
  • the test data 104 is data used to evaluate the machine learning model 103.
  • FIG. 4 shows an example of test data 104 according to this embodiment. As shown in FIG. 4, the test data 104 includes a test data ID 401 and test data content 402 as items.
  • the test data ID 401 is information for identifying the test data content 402.
  • test data content 402 the pixel value of each pixel of the input image for evaluation and determination is recorded.
  • the determination unit 110 performs evaluation determination of the machine learning model 103 using the test data 104 and generates determination result data 105.
  • FIG. 5 shows an example of determination result data 105 according to this embodiment.
  • the determination result data 105 is data in which a determination result ID 501, a test data ID 502, and a determination result content 503 are recorded in association with each other for each entry.
  • the determination result ID 501 is information for identifying the determination result in the entry.
  • the test data ID 502 is information that identifies the test data used for evaluation determination in the entry, and corresponds to the test data ID 401 shown in FIG. 4.
  • the determination result content 503 indicates the content of the determination result for the entry.
  • the probability of classification of each pixel constituting the test data content 402 (test image) of the test data ID 502 into each class by the machine learning model 103 is shown.
  • the determination result content 503 is data indicating the probability that each pixel constituting the test image is classified into each class.
  • the determination result for a pixel near the boundary between the first segment and the second segment includes the probability of belonging to the first segment (first class) and the probability of belonging to the second segment (second class), It is conceivable that the sum of the probability of belonging to the first segment and the probability of belonging to the second segment is 1.
  • the uncertainty calculation unit 111 calculates the uncertainty of the machine learning model 103 using the test data 104 and generates the uncertainty data 106.
  • FIG. 6 shows an example of the uncertainty data 106 according to this embodiment. As shown in FIG. 6, for each entry, the uncertainty data 106 is data in which an uncertainty ID 601, a determination result ID 602, and test data 603 are recorded in association with each other.
  • the uncertainty ID 601 is information for identifying the entry for which uncertainty calculation was performed using test data.
  • the determination result ID 602 is information for identifying the determination result corresponding to the entry, and corresponds to the determination result ID 501 shown in FIG. 5.
  • the test data ID 603 is information for identifying the test data used to calculate the uncertainty in the entry, and corresponds to the test data ID 401 shown in FIG. 4 and the test data ID 502 shown in FIG. 5.
  • the uncertainty content 604 indicates the value of uncertainty calculated in the entry. That is, the uncertainty content 604 records the uncertainty value of each pixel calculated using the test data 104 of the test data ID 603.
  • Uncertainty is obtained, for example, by the following process.
  • a plurality of machine learning models (hereinafter referred to as Monte Carlo dropout models) are generated in which some of the plurality of nodes constituting the machine learning model 103 are intentionally dropped out using the Monte Carlo method.
  • the input image is input to each Monte Carlo dropout model, and respective determination results (class classification of each pixel) are obtained.
  • the variance value of the plurality of determination results for each pixel obtained in this way is calculated and used as the value of the uncertainty of the pixel.
  • the uncertainty can be said to be the variance value of each pixel class obtained from different Monte Carlo dropout models.
  • the uncertainty can be said to be a value indicating how much the segmentation boundary obtained by each Monte Carlo dropout model fluctuates depending on each dropout model (that is, the reliability of the segmentation boundary).
  • the uncertainty calculation unit 111 may use the variance value of each pixel class calculated using Monte Carlo dropout as the uncertainty. Thereby, the uncertainty calculation unit 111 can calculate uncertainty using test data without a correct answer label.
  • the evaluation rule 107 is a rule used for evaluating uncertainty.
  • FIG. 7 shows an example of the evaluation rule 107 according to this embodiment. As shown in FIG. 7, in the evaluation rule 107, a rule ID 701, a condition 702, and a display template 703 are recorded in association with each other for each rule.
  • the rule ID 701 is information for identifying the rule, and thereby identifies the set of the condition 702 and display template 703 of the rule.
  • the condition 702 is information indicating the conditions (evaluation method) used for evaluating uncertainty. For example, if the condition is met, the uncertainty is evaluated as high.
  • the display template 703 is a template that defines the content to be displayed when the condition 702 is satisfied.
  • the display content is defined to indicate that there is a high degree of uncertainty and a recommended countermeasure.
  • the details of the uncertainty are displayed based on the display template 703 associated with the condition 702.
  • the user can see the details of the uncertainty displayed based on the display template 703 and know what kind of uncertainty may occur and how to deal with it to further reduce the uncertainty. .
  • the analysis and evaluation unit 109 performs analysis and evaluation using the evaluation rules 107, test data 104, judgment result data 105, and uncertainty data 106, and generates evaluation results 108. Details of the analysis and evaluation process will be described later.
  • FIG. 8 shows an example of the evaluation result 108 according to this embodiment.
  • the evaluation result 108 is, for example, data recorded in association with an evaluation result ID 801, a rule ID 802, an uncertainty ID 803, a judgment result ID 804, a test data ID 805, and an evaluation content 806 for each entry of analysis and evaluation. It is.
  • the evaluation result ID 801 is information for identifying the analysis evaluation of the entry.
  • the rule ID 802 is information for identifying the rule used for analysis and evaluation of the entry, and corresponds to the rule ID 701 shown in FIG. 7.
  • the uncertainty ID 803 is information for identifying the uncertainty data used for analysis and evaluation of the entry, and corresponds to the uncertainty ID 601 shown in FIG. 6.
  • the determination result ID 804 is information for identifying the determination result used in the analysis and evaluation of the entry, and corresponds to the determination result ID 501 shown in FIG. 5.
  • the test data ID 805 is information for identifying the test data used for analysis and evaluation of the entry, and corresponds to the test data ID 502 shown in FIG. 4.
  • the evaluation content 806 applies the evaluation rule indicated by the rule ID 802 to the test data indicated by the test data ID 805, the judgment result indicated by the judgment result ID 804, and the uncertainty indicated by the uncertainty ID 803.
  • the contents of the evaluation obtained by application are shown. For example, when the evaluation rule condition 702 of an entry with a certain rule ID 701 shown in FIG. 7 is met, the display content defined in the display template 703 of that entry is recorded in the evaluation content 806.
  • the evaluation result display unit 112 generates an evaluation result display screen 1000 (see FIG. 13) based on the test data 104, judgment result data 105, uncertainty data 106, and evaluation result 108, and displays it on a monitor or the like. indicate.
  • the decision evaluation device 1 is a device that evaluates a decision result for input data based on a decision model, and includes an uncertainty calculation unit 111 that calculates the uncertainty of the decision result, and a It has an analysis and evaluation section 109 that evaluates the determination results. Thereby, the judgment evaluation device 1 can evaluate how reliable the judgment result based on the judgment model is.
  • the input data is an input image
  • the above determination is a process of classifying the input image into regions of multiple classes.
  • the analysis and evaluation unit 109 may calculate the classification uncertainty for each pixel of the input image, and evaluate the determination result based on the class distribution on the input image and the uncertainty distribution on the input image. . Thereby, it is possible to evaluate how reliable the determination result by the determination model is based on the distribution of uncertainty at each position within the image in the determination result of dividing the image into a plurality of regions.
  • FIG. 9 is a block diagram showing details of the analysis and evaluation section 109 according to the present embodiment.
  • the analysis and evaluation unit 109 includes an area division unit 901, a color histogram generation unit 902, a histogram matching calculation unit 903, a boundary determination unit 904, a boundary uncertainty width measurement unit 905, and a mode extraction unit 906. , a high uncertainty pixel extraction section 907 , a mask processing section 908 , an average calculation section 909 , a low frequency component extraction section 910 , and a control section 911 .
  • the area dividing unit 901 divides the image of the test data 104 into a plurality of areas, for example, in a grid pattern.
  • the color histogram generation unit 902 generates a color histogram for each area divided by area division.
  • the histogram matching calculation unit 903 calculates the matching of color histograms between areas generated by color histogram generation.
  • the boundary portion determination unit 904 determines the class boundary portion in the image based on the determination result data 105.
  • the boundary uncertainty measurement unit 905 measures the width of uncertainty in the boundary portion of the class determined by the boundary portion determination 904.
  • the width of uncertainty at the boundary indicates the degree of uncertainty at the boundary, that is, the height of the uncertainty at the boundary. The method for calculating the uncertainty range will be described later.
  • the mode extraction unit 906 extracts the mode from among the multiple uncertainty widths measured by the boundary uncertainty measurement 905.
  • the high-uncertainty pixel extraction unit 907 extracts pixels with high uncertainty (for example, the uncertainty value is greater than or equal to a predetermined threshold) based on the uncertainty data 106.
  • the mask processing unit 908 masks data of pixels extracted in the high uncertainty pixel extraction 907 in the determination result data 105.
  • the average calculation unit 909 calculates the average value of the uncertainty values in the uncertainty data 106.
  • the low frequency component extraction unit 910 extracts low frequency components (for example, frequency components below a predetermined threshold) of the uncertainty value in the uncertainty data 106.
  • the control unit 911 performs processing according to the evaluation rules 107 based on the results of the histogram matching calculation 903, the mode extraction 906, the mask processing 908, the average calculation 909, and the low frequency component extraction 910. Evaluation is performed by applying each of the rules, and the evaluation result 108 is output.
  • FIG. 10 is a flowchart illustrating an example of processing by the uncertainty calculation unit 111 according to the present embodiment.
  • the uncertainty calculation unit 111 reads the machine learning model 103 (S101).
  • the uncertainty calculation unit 111 repeats steps S102 to S107 for the number of entries included in the test data 104 (S102).
  • the uncertainty calculation unit 111 reads the test data of the next entry from the test data 104 (S103).
  • the uncertainty calculation unit 111 repeats step S105 a predetermined number of Monte Carlo dropout models (the number of MCD determinations) (S104).
  • the uncertainty calculation unit 111 selects one of the plurality of Monte Carlo dropout models generated from the machine learning model read out in step S101, and uses the selected Monte Carlo dropout model to proceed to step S103. Each pixel of the test data (that is, the input image) read out is classified into a class. (S105).
  • the uncertainty calculation unit 111 repeats step S105 while switching the Monte Carlo dropout model by the number of Monte Carlo dropout models (the number of MCD determinations), and then advances the process to step S107 (S106).
  • the uncertainty calculation unit 111 calculates the variance value of the determination results obtained from the different Monte Carlo dropout models in step S105 for each pixel, and stores it in the uncertainty data 106 (S107).
  • the uncertainty calculation unit 111 repeats steps S103 to S107 as many times as the number of entries included in the test data 104 (that is, the number of test data) (S108), and then ends this process.
  • FIG. 11 is a flowchart illustrating an example of processing by the analysis and evaluation unit 109 according to the present embodiment.
  • the analysis and evaluation unit 109 repeats steps S202 to S209 for the number of entries included in the uncertainty data 106 (S201).
  • the analysis and evaluation unit 109 reads the next entry of the uncertainty data 106 (S202).
  • the analysis and evaluation unit 109 reads out the test data 104 and determination result data 105 corresponding to the entry of the uncertainty data 106 read out in step S201 (S203).
  • the analysis and evaluation unit 109 repeats steps S205 to S208 for the number of entries included in the evaluation rule 107 (S204).
  • the analysis and evaluation unit 109 reads the next entry of the evaluation rule 107 (S205).
  • the analysis evaluation unit 109 applies the conditions of the evaluation rule 107 of the entry read out in step S205 to the uncertainty data 106 read out in step S202 and the test data 104 and determination result data 105 read out in step S203. (S206).
  • the analysis and evaluation unit 109 determines whether the uncertainty data 106, test data 104, and determination result data 105 satisfy the condition 702 of the evaluation rule 107 (S207).
  • step S207 If the condition 702 is not satisfied (S207: No), the analysis evaluation unit 109 advances the process to step S209.
  • the analysis and evaluation unit 109 stores the display content defined in the display template 703 of the evaluation rule 107 with variables in the evaluation result 108 (S208), and performs processing. The process proceeds to step S209.
  • step S210 After repeating steps S205 to S208 for the number of entries included in the evaluation rule 107 (S209), the analysis evaluation unit 109 advances the process to step S210.
  • the analysis and evaluation unit 109 repeats steps S205 to S208 as many times as the number of entries in the uncertainty data 106 (S210), and then ends this process.
  • FIG. 12 is a flowchart showing a process when applying the condition 702 of rule ID "1001" in FIG. 7 as an example of the process in step S206 shown in FIG. 11.
  • the analysis and evaluation unit 109 repeats steps S302 to S305 for each column of the uncertainty content 604 of the entry of the uncertainty data to be processed (S301).
  • the analysis and evaluation unit 109 repeats steps S303 and S304 as many times as there are local peaks of uncertainty existing in the column selected in step S301 (S302).
  • a local peak of uncertainty is a location where the uncertainty value is larger than the uncertainty values on both sides.
  • the analysis evaluation unit 109 selects a class of pixels (hereinafter referred to as left-side pixels) that are one-fourth of the value of the local peak on the left side of the local peak. It is determined whether or not the class of the pixel having a quarter of the local peak value on the right side of the local peak (hereinafter referred to as the pixel on the right side) is different from the class of the pixel (hereinafter referred to as the pixel on the right side) (S303). If the class of the pixel on the left side of the local peak is different from the class of the pixel on the right side, it can be said that the vicinity of the local peak is the boundary of the segment.
  • the class of the pixel on the left side of the local peak is different from the class of the pixel on the right side, it can be said that the vicinity of the local peak is the boundary of the segment.
  • the analysis and evaluation unit 109 advances the process to step S305.
  • the analysis evaluation unit 109 measures the half-width of this local peak (S304), and advances the process to step S305.
  • the analysis and evaluation unit 109 repeats steps S303 and S304 by the number of local peaks of uncertainty, and then advances the process to step S306 (S305).
  • the analysis and evaluation unit 109 repeats steps S302 to S305 for the number of columns of uncertainty data, and then advances the process to step S307 (S306).
  • the analysis and evaluation unit 109 creates a histogram of the plurality of half widths measured in step S304 (S307).
  • the analysis evaluation unit 109 obtains the mode of the half-width based on the histogram created in step S307 (S308).
  • the analysis evaluation unit 109 determines whether the mode of the half-width calculated in step S308 is larger than a predetermined threshold (“2” in the example of the evaluation rule with the rule ID “1001”) based on the evaluation rule. It is returned as a condition determination result (S309). Then, this process ends.
  • the degree of reliability required for this boundary varies depending on the user, the field of application, etc. If the user requires high reliability for the boundary, the user may set the threshold value in step S309 small, and if the user does not require high reliability for the boundary, the user may set the threshold value in step S309 large.
  • the analysis evaluation unit 109 may perform the following process. That is, the analysis and evaluation unit 109 calculates the half-width of the local peak at a location where there are regions of different classes in the class distribution on both sides of the local peak of uncertainty in the uncertainty distribution over the entire input image. , the mode of the half width is calculated, and if the mode exceeds a predetermined threshold, the image determination result is evaluated as having high boundary uncertainty. Thereby, it can be evaluated that the boundary uncertainty is high, that is, there is a possibility that the resolution of the input image is low.
  • the analysis evaluation unit 109 may perform the following process. That is, if the average value of uncertainty in the input image is smaller than a predetermined threshold value, the analysis evaluation unit 109 evaluates the determination result of the input image as having low uncertainty. Thereby, it is possible to evaluate that the uncertainty of the input image as a whole is low. It becomes possible to add good images with low uncertainty to training data. When adding a good image with low uncertainty to the training data, if there is an uncertain part in the image, that part may be partially corrected.
  • FIG. 13 is a diagram showing an example of an evaluation result display screen 1000 according to the present embodiment.
  • the evaluation result display screen 1000 may be generated by the evaluation result display section 112 and displayed on a monitor or the like.
  • the evaluation result display screen 1000 includes a machine learning model input area 1301, a test data input area 1302, an evaluation rule input area 1303, a diagnosis execution button 1311, a test data selection area 1321, an input image display area 1322, and a judgment area. It has a result display area 1323, an uncertainty display area 1324, and an evaluation result display area 1325.
  • the user inputs the machine learning model 103 to be evaluated into the machine learning model input area 1301. For example, the user may select the file of the machine learning model 103 in the machine learning model input area 1301.
  • the user inputs the test data 104 used for evaluation into the test data input area 1302. For example, the user may select the test data 104 file in the test data input area 1302.
  • the user inputs the evaluation rule 107 used for evaluation into the evaluation rule input area 1303. For example, the user may select the file of evaluation rule 107 in evaluation rule input area 1303.
  • the determination evaluation device 1 executes the above-described uncertainty evaluation process.
  • the user selects an input image whose evaluation result is desired to be confirmed from among the images included in the test data 104.
  • the evaluation result display section 112 displays the input image selected in the test data selection area 1321 in the input image display area 1322.
  • the evaluation result display section 112 displays a determination result image indicating the determination result for the input image displayed in the input image display area 1322 in the determination result display area 1323.
  • the determination result image may be an image indicating class classification (segmentation result) for the input image.
  • the evaluation result display section 112 displays, in the uncertainty display area 1324, an uncertainty image for the determination result image displayed in the determination result display area 1323.
  • the uncertainty image may be an image that indicates the level of uncertainty at the boundaries of the segments. For example, in the uncertainty image, lines indicating boundaries of segments may be expressed as thicker depending on the height of uncertainty. Alternatively, in the uncertainty image, lines indicating boundaries of segments may be expressed in a heat map with a higher color depending on the height of the uncertainty.
  • the evaluation result display section 112 displays the evaluation result 108 in the evaluation result display area 1325. For example, if the mode of the half-width shown in step S309 of FIG. Information indicating that is larger than a predetermined threshold may be displayed.
  • the evaluation result display unit 112 may display the input image, the image of the class distribution on the input image that is the determination result, and the image of the uncertainty distribution on the input image. This allows the user to visually recognize the uncertainty of the segment boundaries with respect to the input image.
  • the evaluation result display unit 112 corrects the determination result of the part of the input image where the uncertainty is high, creates a correct answer label, and adds it to the training data. It is recommended that Thereby, the machine learning model 103 can be retrained using the added teacher data, and the uncertainty of the input image of the machine learning model 103 can be reduced (that is, the reliability can be improved).
  • each part of the judgment evaluation device 1 in the embodiment described above can also be realized by causing a computer equipped with a processor and a memory to execute a software program that defines the processing procedure of each part.
  • Judgment result device 101 Machine learning section 102: Learning data 103: Machine learning model 104: Test data 105: Judgment result data 106: Uncertainty data 107: Evaluation rule 108: Evaluation result 109: Analysis evaluation section 110: Judgment unit 111: Uncertainty calculation unit 112: Evaluation result display unit 201: Learning data ID 202: Learning data content 301: Layer 302: Layer type 303: Layer parameter 401: Test data ID 402: Test data content 501: Judgment result ID 502: Test data ID 503: Judgment result content 601: Uncertainty ID 602: Judgment result ID 603: Test data ID 604: Uncertainty content 701: Rule ID 702: Condition 703: Display template 801: Evaluation result ID 802: Rule ID 803: Uncertainty ID 804: Judgment result ID 805: Test data ID 806: Evaluation content 901: Area division 902: Color histogram generation 903: Histogram matching degree calculation 904

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

判定モデルによる判定の結果がどの程度信頼できるかを評価する。判定モデルに基づく入力データに対する判定結果を評価する判定評価装置は、判定結果の不確実性を算出する不確実性算出部と、不確実性に基づいて判定結果を評価する分析評価部と、を有する。

Description

判定評価装置、方法、およびプログラム
　本開示は、画像を解析して各ピクセルをクラスに分類する人工知能の判定能力を評価する技術に関する。
　様々な分野において撮影された画像を複数の領域に分けるという処理に人工知能が利用される。例えば、医療や材料科学の分野などでは、複数の材料を混合した様子を撮影した画像を材料毎に塗り分けるといった処理に人工知能は有用である。人工知能による判定を可能にするには、予め用意した画像とその画像を領域毎に塗り分けた正解ラベルとからなる教師データを学習して判定モデルを構築する必要がある。
　しかし、精度の高い教師データを用意するには、画像に対する正解ラベルの付与を人手によって正確に行う必要があり、それが時間のかかる作業となっている。そのため教師データが不足する場合が多い。教師データが足りなければ、判定モデルに十分に教師データを学べていない部分が生じる。その場合、そのような部分に属する画像に対する判定結果の精度は低下する。このような問題に関連して、特許文献１には、推定結果の信用できる度合いを表す不確実性が許容できる範囲内となるようにしつつ、所定指標の値を向上する施策を探索する技術が開示されている。
特開２０２０－３０５００号公報
　人工知能による判定処理の結果が信頼できるものであれば、その判定結果を基に教師データを作成することが容易となり、入力データに正解ラベルを付与する際の人手による作業が削減される。
　しかしながら、特許文献１の技術は、上述のように施策を探索するための技術であり、人工知能による判定処理の結果がどの程度信頼できるかを評価するには不向きである。
　本開示に含まれるひとつの目的は、判定モデルによる判定の結果がどの程度信頼できるかを評価する技術を提供することである。
　本開示のひとつの態様による判定評価装置は、判定モデルに基づく入力データに対する判定結果を評価する判定評価装置であって、前記判定結果の不確実性を算出する不確実性算出部と、前記不確実性に基づいて前記判定結果を評価する分析評価部と、を有する。
　本開示のひとつの態様による評価判定方法は、判定モデルに基づく入力データに対する判定結果を評価する判定評価方法であって、前記判定結果の不確実性を算出し、前記不確実性に基づいて前記判定結果を評価する。
　本開示のひとつの態様による評価判定プログラムは、判定モデルに基づく入力データに対する判定結果を評価する判定評価プログラムであって、前記判定結果の不確実性を算出し、前記不確実性に基づいて前記判定結果を評価する、ことをコンピュータに実行させる。
　本開示のひとつの態様によれば、判定モデルによる判定の結果がどの程度信頼できるかを評価することが可能となる。
本実施の形態に係る判定評価装置の構成例を示すブロック図である。 本実施の形態に係る学習用データの一例を示す。 本実施の形態に係る機械学習モデルの一例を示す。 本実施の形態に係るテストデータの一例を示す。 本実施の形態に係る判定結果データの一例を示す。 本実施の形態に係る不確実性データの一例を示す。 本実施の形態に係る評価ルールの一例を示す。 本実施の形態に係る評価結果の一例を示す。 本実施の形態に係る分析評価部の詳細を示すブロック図である。 本実施の形態に係る不確実性算出部の処理の一例を示すフローチャートである。 本実施の形態に係る分析評価部の処理の一例を示すフローチャートである。 図１１に示すステップＳ２０６にて、図７のルールＩＤ「１００１」の条件を適用する場合の処理の一例を示すフローチャートである。 本実施の形態に係る評価結果表示画面１の一例を示す図である。
　以下、本発明の実施形態について図面を参照して説明する。
（本実施の形態）
　図１は、本実施の形態に係る判定評価装置１の構成例を示すブロック図である。
　判定評価装置１は、機械学習モデル１０３を用いて入力画像に対するセグメンテーション（つまり各画素のクラスへの分類）を行った際に、そのセグメントの境界（つまり異なるクラス間の境界）の不確実性を評価する装置である。不確実性とは、機械学習モデル１０３によって算出されたセグメントの境界の信頼度の低さを示す指標である。つまり、不確実性が高いセグメントの境界は信頼度が低く、不確実性が低いセグメントの境界は信頼度が高い。
　判定評価装置１は、機械学習部１０１と、判定部１１０と、不確実性算出部１１１と、分析評価部１０９と、評価結果表示部１１２とを含んで構成される。また、判定評価装置１は、学習用データ１０２と、機械学習モデル１０３と、テストデータ１０４と、判定結果データ１０５と、不確実性データ１０６と、評価ルール１０７と、評価結果１０８とを格納する。
　学習用データ１０２は、機械学習モデル１０３の学習に用いられるデータである。図２は、本実施の形態に係る学習用データ１０２の一例を示す。図２に示すように、学習用データ１０２は、学習用データＩＤ２０１と、学習用データ内容２０２とを対応づけて記録したデータである。
　学習用データＩＤ２０１は、学習用データ内容２０２を識別するための情報である。学習用データ内容２０２は、学習用の入力画像を構成する各画素（ピクセル）の画素値と、その入力画像を構成する各画素（ピクセル）が分類される正解のクラス（正解のラベル）とを有する。
　機械学習部１０１は、学習用データ１０２を用いて、入力画像の各画素についてクラスの判定（ラベルの付与）を行う機械学習モデル１０３に対して機械学習を行う。機械学習は、深層学習であってよい。機械学習モデル１０３の例として、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、ＳｅｇＮｅｔ、Ｕ－Ｎｅｔ、ＰＳＰＮｅｔ等であってよい。図３は、本実施の形態に係る機械学習モデル１０３の一例を示す。機械学習モデル１０３は、レイヤー３０１と、レイヤー種別３０２と、レイヤーパラメータ３０３とを対応づけたデータにより表される。
　レイヤー３０１は、機械学習モデル１０３のレイヤーを識別するための情報である。
　レイヤー種別３０２は、レイヤー３０１の種別を示す情報である。レイヤーの種別の例として、入力層、畳み込み層、プーリング層、全結合層、出力層等が挙げられる。
　レイヤーパラメータは、レイヤー３０１のパラメータ（例えば各ニューロンの重み）を示す情報である。
　テストデータ１０４は、機械学習モデル１０３の評価判定に用いられるデータである。図４は、本実施の形態に係るテストデータ１０４の一例を示す。図４に示すように、テストデータ１０４は、項目として、テストデータＩＤ４０１と、テストデータ内容４０２とを有する。
　テストデータＩＤ４０１は、テストデータ内容４０２を識別するための情報である。
　テストデータ内容４０２として、評価判定用の入力画像の各画素の画素値が記録されている。
　判定部１１０は、テストデータ１０４を用いて機械学習モデル１０３の評価判定を行い、判定結果データ１０５を生成する。図５は、本実施の形態に係る判定結果データ１０５の一例を示す。図５に示すように、判定結果データ１０５は、エントリ毎に、判定結果ＩＤ５０１と、テストデータＩＤ５０２と、判定結果内容５０３とが対応づけて記録されたデータである。
　判定結果ＩＤ５０１は、当該エントリにおける判定結果を識別するための情報である。
　テストデータＩＤ５０２は、当該エントリにおける評価判定に用いられたテストデータを識別する情報であり、図４に示したテストデータＩＤ４０１に対応する。
　判定結果内容５０３は、当該エントリにおける判定結果の内容を示す。判定結果の内容として、機械学習モデル１０３による、テストデータＩＤ５０２のテストデータ内容４０２（テスト用の画像）を構成する各画素の各クラスへの分類の確率が示されている。つまり、判定結果内容５０３は、テスト用の画像を構成する各画素について、その画素が各クラスに分類される確率を示すデータである。例えば、第１セグメントと第２セグメントの境界付近の画素についての判定結果には、第１セグメント（第１クラス）に属する確率と、第２セグメント（第２クラス）に属する確率とが含まれ、第１セグメントに属する確率と第２セグメントに属する確率との合計が１になっていることが考えられる。
　例えば、不確実性算出部１１１は、テストデータ１０４を用いて機械学習モデル１０３の不確実性を算出し、不確実性データ１０６を生成する。図６は、本実施の形態に係る不確実性データ１０６の一例を示す。図６に示すように、エントリ毎に、不確実性データ１０６は、不確実性ＩＤ６０１と、判定結果ＩＤ６０２と、テストデータ６０３とを対応づけて記録したデータである。
　不確実性ＩＤ６０１は、テストデータを用いて不確実性の算出を実施した当該エントリを識別するための情報である。
　判定結果ＩＤ６０２は、当該エントリに対応する判定結果を識別するための情報であり、図５に示した判定結果ＩＤ５０１に対応する。
　テストデータＩＤ６０３は、当該エントリにおける不確実性の算出に用いたテストデータを識別するための情報であり、図４に示したテストデータＩＤ４０１及び図５に示したテストデータＩＤ５０２に対応する。
　不確実性内容６０４は、当該エントリにおいて算出された不確実性の値を示す。つまり、不確実性内容６０４には、テストデータＩＤ６０３のテストデータ１０４を用いて算出された各画素の不確実性の値が記録される。
　不確実性は、例えば、次の処理により求められる。まず、機械学習モデル１０３を構成する複数のノードの一部をモンテカルロ法により意図的にドロップアウトした機械学習モデル（以下、モンテカルロドロップアウトモデルと称する）を複数生成する。次に、入力画像を各モンテカルロドロップアウトモデルに入力し、それぞれの判定結果（各画素のクラス分類）を得る。そして、このように得た画素毎の複数の判定結果の分散値を算出し、当該画素の不確実性の値とする。つまり、不確実性は、互いに異なるモンテカルロドロップアウトモデルから得られた各画素のクラスの分散値であるといえる。別言すると、不確実性は、モンテカルロドロップアウトモデルのそれぞれによって得られるセグメンテーションの境界が各ドロップアウトモデルによってどのくらい揺らぐか（つまりセグメンテーションの境界の信頼度）を示す値であるといえる。
　すなわち、不確実性算出部１１１は、モンテカルロドロップアウトを用いて算出した各画素のクラスの分散値を不確実性としてよい。これにより、不確実性算出部１１１は、正解ラベルの無いテストデータを用いて不確実性を算出することができる。
　評価ルール１０７は、不確実性の評価に用いられるルールである。図７は、本実施の形態に係る評価ルール１０７の一例を示す。図７に示すように、評価ルール１０７には、ルール毎に、ルールＩＤ７０１と、条件７０２と、表示テンプレート７０３とが対応づけて記録されている。
　ルールＩＤ７０１は、当該ルールを識別するための情報であり、これにより当該ルールの条件７０２と表示テンプレート７０３のセットが識別される。
　条件７０２は、不確実性の評価に用いる条件（評価方法）を示す情報である。例えば、当該条件が満たされた場合には不確実性が高いと評価される。
　表示テンプレート７０３は、条件７０２が満たされた場合に表示する内容を定義したテンプレートである。例えば、不確実性が高いという旨と、それに対して推奨される対処方法とが表示されるように表示内容が定義されている。
　すなわち、条件７０２が満たされた場合、当該条件７０２に対応付けられている表示テンプレート７０３に基づいて、不確実性の内容が表示される。ユーザは、表示テンプレート７０３に基づいて表示された不確実性の内容を見て、どのような不確実性が発生し得るのか、さらに不確実性を小さくするための対処方法等を知ることができる。
　分析評価部１０９は、評価ルール１０７と、テストデータ１０４と、判定結果データ１０５と、不確実性データ１０６とを用いて分析評価を行い、評価結果１０８を生成する。分析評価の処理の詳細は後述する。図８は、本実施の形態に係る評価結果１０８の一例を示す。評価結果１０８は、例えば、分析評価のエントリ毎に、評価結果ＩＤ８０１と、ルールＩＤ８０２と、不確実性ＩＤ８０３と、判定結果ＩＤ８０４と、テストデータＩＤ８０５と、評価内容８０６とを対応づけて記録したデータである。
　評価結果ＩＤ８０１は、当該エントリの分析評価を識別するための情報である。
　ルールＩＤ８０２は、当該エントリの分析評価に用いられたルールを識別するための情報であり、図７に示したルールＩＤ７０１に対応する。
　不確実性ＩＤ８０３は、当該エントリの分析評価に用いられた不確実性データを識別するための情報であり、図６に示した不確実性ＩＤ６０１に対応する。
　判定結果ＩＤ８０４は、当該エントリの分析評価に用いられた判定結果を識別するための情報であり、図５に示した判定結果ＩＤ５０１に対応する。
　テストデータＩＤ８０５は、当該エントリの分析評価に用いられたテストデータを識別するための情報であり、図４に示したテストデータＩＤ５０２に対応する。
　評価内容８０６は、テストデータＩＤ８０５により示されたテストデータ、判定結果ＩＤ８０４により示された判定結果、および不確実性ＩＤ８０３により示された不確実性に対して、ルールＩＤ８０２により示された評価ルールを適用して得られた評価の内容を示す。例えば、図７に示された、あるルールＩＤ７０１のエントリの評価ルールの条件７０２に該当した場合には、そのエントリの表示テンプレート７０３に定義された表示内容が、評価内容８０６に記録される。
　なお、分析評価部１０９の詳細については後述する（図９参照）。
　評価結果表示部１１２は、テストデータ１０４と、判定結果データ１０５と、不確実性データ１０６と、評価結果１０８とに基づいて、評価結果表示画面１０００（図１３参照）を生成し、モニタ等に表示する。
　上述したように、判定評価装置１は、判定モデルに基づく入力データに対する判定結果を評価する装置であり、判定結果の不確実性を算出する不確実性算出部１１１と、不確実性に基づいて判定結果を評価する分析評価部１０９とを有する。これにより、判定評価装置１は、判定モデルによる判定の結果がどの程度信頼できるかを評価することができる。
　本実施形態では、入力データが入力画像であり、上記判定が入力画像を複数クラスの領域に分類する処理である。分析評価部１０９は、入力画像の画素毎の分類の不確実性を算出し、入力画像上のクラスの分布と、入力画像上の不確実性の分布とに基づいて判定結果を評価してよい。これにより、画像を複数の領域に分ける判定結果において画像内の各位置での不確実性の分布に基づいて、判定モデルによる判定の結果がどの程度信頼できるかを評価することができる。
　図９は、本実施の形態に係る分析評価部１０９の詳細を示すブロック図である。
　分析評価部１０９は、エリア分割部９０１と、色ヒストグラム生成部９０２と、ヒストグラム一致度算出部９０３と、境界部判別部９０４と、境界不確実性幅計測部９０５と、最頻値抽出部９０６と、高不確実性ピクセル抽出部９０７と、マスク処理部９０８と、平均算出部９０９と、低周波数成分抽出部９１０と、制御部９１１とを含む。
　エリア分割部９０１は、テストデータ１０４の画像を例えば格子状に複数のエリアに分割する。
　色ヒストグラム生成部９０２は、エリア分割で分割された各エリアの色ヒストグラムを生成する。
　ヒストグラム一致度算出部９０３は、色ヒストグラム生成で生成されたエリア同士の色ヒストグラムの一致度を算出する。
　境界部判別部９０４は、判定結果データ１０５に基づいて画像におけるクラスの境界部分を判別する。
　境界不確実性計測部９０５は、不確実性データ１０６に基づいて、境界部判別９０４により判別されたクラスの境界部分における不確実性の幅を計測する。境界部分における不確実性の幅とは、その境界部分における不確実性の度合い、つまり境界の不確実性の高さを示す。不確実性の幅の算出方法については後述する。
　最頻値抽出部９０６は、境界不確実性計測９０５によって計測された複数の不確実性の幅のうちの最頻値を抽出する。
　高不確実性ピクセル抽出部９０７は、不確実性データ１０６に基づき、不確実性の高い（例えば不確実性の値が所定の閾値以上である）画素を抽出する。
　マスク処理部９０８は、判定結果データ１０５における、高不確実性ピクセル抽出９０７で抽出された画素のデータをマスキングする。
　平均算出部９０９は、不確実性データ１０６における不確実性の値の平均値を算出する。
　低周波数成分抽出部９１０は、不確実性データ１０６における不確実性の値の低周波数成分（例えば所定の閾値以下の周波数成分）を抽出する。
　制御部９１１は、ヒストグラム一致度算出９０３の結果、最頻値抽出９０６の結果、マスク処理９０８の結果、平均算出９０９の結果、低周波数成分抽出９１０の結果に対して、評価ルール１０７に規定された各ルールを適用して評価を行い、その評価結果１０８を出力する。
　図１０は、本実施の形態に係る不確実性算出部１１１の処理の一例を示すフローチャートである。
　不確実性算出部１１１は、機械学習モデル１０３を読み出す（Ｓ１０１）。
　不確実性算出部１１１は、テストデータ１０４に含まれるエントリの数だけステップＳ１０２からステップＳ１０７を繰り返す（Ｓ１０２）。
　不確実性算出部１１１は、テストデータ１０４から次のエントリのテストデータを読み出す（Ｓ１０３）。
　不確実性算出部１１１は、予め定められたモンテカルロドロップアウトモデルの数（ＭＣＤ判定回数）だけステップＳ１０５を繰り返す（Ｓ１０４）。
　不確実性算出部１１１は、ステップＳ１０１にて読み出した機械学習モデルから生成した複数のモンテカルロドロップアウトモデルのうちのいずれか１つを選択し、選択したモンテカルロドロップアウトモデルを用いて、ステップＳ１０３にて読み出したテストデータ（つまり入力画像）の各画素をクラスに分類する。（Ｓ１０５）。
　不確実性算出部１１１は、モンテカルロドロップアウトモデルの数（ＭＣＤ判定回数）だけ、モンテカルロドロップアウトモデルを切り替えながらステップＳ１０５を繰り返した後、処理をステップＳ１０７に進める（Ｓ１０６）。
　不確実性算出部１１１は、各画素について、ステップＳ１０５にて互いに異なるモンテカルロドロップアウトモデルから得られた判定結果の分散値を算出し、不確実性データ１０６に格納する（Ｓ１０７）。
　不確実性算出部１１１は、テストデータ１０４に含まれるエントリの数（つまりテストデータの数）だけステップＳ１０３～Ｓ１０７を繰り返した後（Ｓ１０８）、本処理を終了する。
　以上の処理により、不確実性データが得られる。
　図１１は、本実施の形態に係る分析評価部１０９の処理の一例を示すフローチャートである。
　分析評価部１０９は、不確実性データ１０６に含まれるエントリの数だけステップＳ２０２からステップＳ２０９を繰り返す（Ｓ２０１）。
　分析評価部１０９は、不確実性データ１０６の次のエントリを読み出す（Ｓ２０２）。
　分析評価部１０９は、ステップＳ２０１にて読み出した不確実性データ１０６のエントリに対応するテストデータ１０４と判定結果データ１０５とを読み出す（Ｓ２０３）。
　分析評価部１０９は、評価ルール１０７に含まれるエントリの数だけステップＳ２０５からステップＳ２０８を繰り返す（Ｓ２０４）。
　分析評価部１０９は、評価ルール１０７の次のエントリを読み出す（Ｓ２０５）。
　分析評価部１０９は、ステップＳ２０５にて読み出したエントリの評価ルール１０７の条件を、ステップＳ２０２にて読み出した不確実性データ１０６とステップＳ２０３にて読み出したテストデータ１０４および判定結果データ１０５とに適用する（Ｓ２０６）。
　分析評価部１０９は、不確実性データ１０６、テストデータ１０４、および判定結果データ１０５が、評価ルール１０７の条件７０２を満たすか否かを判定する（Ｓ２０７）。
　条件７０２が満たされない場合（Ｓ２０７：Ｎｏ）、分析評価部１０９は、処理をステップＳ２０９に進める。
　条件７０２が満たされた場合（Ｓ２０７：ＹＥＳ）、分析評価部１０９は、評価ルール１０７の表示テンプレート７０３に定義された表示内容に変数を代入したものを評価結果１０８に格納し（Ｓ２０８）、処理をステップＳ２０９に進める。
　分析評価部１０９は、評価ルール１０７に含まれるエントリの数だけステップＳ２０５からステップＳ２０８を繰り返した後（Ｓ２０９）、処理をステップＳ２１０に進める。
　分析評価部１０９は、不確実性データ１０６のエントリの数だけステップＳ２０５からステップＳ２０８を繰り返した後（Ｓ２１０）、本処理を終了する。
　以上の処理により、評価結果１０８が得られる。
　図１２は、図１１に示すステップＳ２０６の処理の一例として、図７のルールＩＤ「１００１」の条件７０２を適用する場合の処理示すフローチャートである。
　分析評価部１０９は、処理対象となっている不確実性データのエントリの不確実性内容６０４の各列の分だけステップＳ３０２からステップＳ３０５を繰り返す（Ｓ３０１）。
　分析評価部１０９は、ステップＳ３０１で選択した列に存在する不確実性の局所ピークの数だけステップＳ３０３からステップＳ３０４を繰り返す（Ｓ３０２）。不確実性の局所ピークは、両隣の不確実性の値よりも大きい値を示す箇所である。
　分析評価部１０９は、ステップＳ３０２にて選択した不確実性の局所ピークについて、局所ピークを挟んで左側における局所ピークの値の４分の１になる画素（以下、左側の画素と称する）のクラスと、局所ピークを挟んで右側における局所ピーク値の４分の１になる画素（以下、右側の画素と称する）のクラスとが異なるか否かを判定する（Ｓ３０３）。局所ピークの左側の画素のクラスと右側の画素のクラスとが異なれば、その局所ピークの近傍がセグメントの境界となっていると言える。
　分析評価部１０９は、局所ピークの左側の画素のクラスと右側の画素のクラスとが異ならない場合（Ｓ３０３：ＮＯ）、処理をステップＳ３０５に進める。
　分析評価部１０９は、局所ピークの左側の画素のクラスと右側の画素のクラスとが異なる場合（Ｓ３０３：ＹＥＳ）、この局所ピークの半値幅を計測し（Ｓ３０４）、処理をステップＳ３０５に進める。
　分析評価部１０９は、不確実性の局所ピークの数だけステップＳ３０３からステップＳ３０４を繰り返した後、処理をステップＳ３０６に進める（Ｓ３０５）。
　分析評価部１０９は、不確実性データの列数だけステップＳ３０２からステップＳ３０５を繰り返した後、処理をステップＳ３０７に進める（Ｓ３０６）。
　分析評価部１０９は、ステップＳ３０４にて計測した複数の半値幅のヒストグラムを作成する（Ｓ３０７）。
　分析評価部１０９は、ステップＳ３０７にて作成したヒストグラムに基づいて、半値幅の最頻値を取得する（Ｓ３０８）。
　分析評価部１０９は、ステップＳ３０８にて算出した半値幅の最頻値が所定の閾値（ルールＩＤ「１００１」の評価ルールの例では「２」）よりも大きいか否かを、この評価ルールの条件判定結果として返す（Ｓ３０９）。そして、本処理は終了する。
　半値幅が大きい場合、セグメントの境界の揺らぎが大きい（つまり境界の不確実性が高い）ことを意味し、半値幅が小さい場合、セグメントの境界の揺らぎが小さい（つまり境界の不確実性が低い）ことを意味する。この境界に信頼性をどこまで求めるかは、ユーザや適用分野等により異なる。ユーザは、境界に高い信頼性を求める場合、ステップＳ３０９の閾値を小さく設定し、境界にそれほど高い信頼性を求めなくてもよい場合、ステップＳ３０９の閾値を大きく設定してよい。
　上述したように、分析評価部１０９は、図７に示すルールＩＤ７０１「１００１」の条件７０２を適用する場合、次の処理を行ってよい。すなわち、分析評価部１０９は、入力画像の全体にわたり、不確実性の分布における不確実性の局所ピークの両側に、クラスの分布において異なるクラスの領域がある箇所における局所ピークの半値幅を算出し、半値幅の最頻値を算出し、最頻値が所定の閾値を超えていたら、画像の判定結果を、境界の不確実性が高いと評価する。これにより、境界の不確実性が高い、すなわち、入力画像の解像度が低い恐れがあると評価することができる。
　なお、分析評価部１０９は、図７に示すルールＩＤ７０１「１００２」の条件７０２を適用する場合、次の処理を行ってよい。すなわち、分析評価部１０９は、入力画像における不確実性の平均値が所定の閾値より小さければ、入力画像の判定結果を、不確実性が低いと評価する。これにより、入力画像の全体として不確実性が低いことを評価することができる。不確実性が低い良好な画像を教師データに加えるといったことが可能となる。不確実性の低い良好な画像を教師データに加える際、画像内に不確実な箇所があればその箇所を部分的に修正してもよい。
　図１３は、本実施の形態に係る評価結果表示画面１０００の一例を示す図である。
　評価結果表示画面１０００は、評価結果表示部１１２によって生成され、モニタ等に表示されてよい。評価結果表示画面１０００は、機械学習モデル入力領域１３０１と、テストデータ入力領域１３０２と、評価ルール入力領域１３０３と、診断実行ボタン１３１１と、テストデータ選択領域１３２１と、入力画像表示領域１３２２と、判定結果表示領域１３２３と、不確実性表示領域１３２４と、評価結果表示領域１３２５とを有する。
　ユーザは、機械学習モデル入力領域１３０１に、評価対象とする機械学習モデル１０３を入力する。例えば、ユーザは機械学習モデル入力領域１３０１にて械学習モデル１０３のファイルを選択すればよい。
　ユーザは、テストデータ入力領域１３０２に、評価に用いるテストデータ１０４を入力する。例えば、ユーザはテストデータ入力領域１３０２にてテストデータ１０４のファイルを選択すればよい。
　ユーザは、評価ルール入力領域１３０３に、評価に用いる評価ルール１０７を入力する。例えば、ユーザは評価ルール入力領域１３０３にて評価ルール１０７のファイルを選択すればよい。
　ユーザが診断実行ボタン１３１１を押下すると、判定評価装置１は、上述した不確実性の評価処理を実行する。
　ユーザは、テストデータ選択領域１３２１から、テストデータ１０４に含まれる画像の中から評価結果を確認したい入力画像を選択する。
　評価結果表示部１１２は、入力画像表示領域１３２２に、テストデータ選択領域１３２１にて選択された入力画像を表示する。
　評価結果表示部１１２は、判定結果表示領域１３２３に、入力画像表示領域１３２２に表示されている入力画像に対する判定結果を示す判定結果画像を表示する。判定結果画像は、入力画像に対するクラス分類（セグメンテーション結果）を示す画像であってよい。
　評価結果表示部１１２は、不確実性表示領域１３２４に、判定結果表示領域１３２３に表示されている判定結果画像に対する不確実性画像を表示する。不確実性画像は、セグメントの境界の不確実性の高さを示す画像であってよい。例えば、不確実性画像は、不確実性の高さに応じて、セグメントの境界を示す線が太く表現されてよい。あるいは、不確実性画像は、不確実性の高さに応じて、セグメントの境界を示す線がヒートマップの高い色で表現されてもよい。
　評価結果表示部１１２は、評価結果表示領域１３２５に、評価結果１０８を表示する。例えば、評価結果表示部１１２は、図１２のステップＳ３０９に示す半値幅の最頻値が所定の閾値よりも大きい場合、評価結果表示領域１３２５に、境界の不確実性の半値幅の最頻値が所定の閾値よりも大きい旨を示す情報を表示してよい。
　上述したように、評価結果表示部１１２は、入力画像と、判定結果である入力画像上のクラスの分布の画像と、入力画像上の不確実性の分布の画像とを表示してよい。これにより、ユーザは、入力画像に対するセグメントの境界の不確実性を視覚的に認識できる。
　なお、評価結果表示部１１２は、不確実性が低いと評価された入力画像について、当該入力画像の不確実性が高い箇所の判定結果を修正して正解ラベルを作成して教師データに追加することを推奨してよい。これにより、追加した教師データを用いて機械学習モデル１０３を再学習し、当該機械学習モデル１０３の入力画像に対する不確実性を低減（つまり信頼性を向上）することができる。
　なお、上述した実施形態における判定評価装置１の各部は、各部の処理手順を規定したソフトウェアプログラムを、プロセッサ及びメモリを備えるコンピュータに実行させることにより実現することもできる。
　また、上述した実施形態は開示のための例示であり、本発明の範囲をその実施形態のみに限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。
　１：判定結果装置　１０１：機械学習部　１０２：学習用データ　１０３：機械学習モデル　１０４：テストデータ　１０５：判定結果データ　１０６：不確実性データ　１０７：評価ルール　１０８：評価結果　１０９：分析評価部　１１０：判定部　１１１：不確実性算出部　１１２：評価結果表示部　２０１：学習用データＩＤ　２０２：学習用データ内容　３０１：レイヤー　３０２：レイヤー種別　３０３：レイヤーパラメータ　４０１：テストデータＩＤ　４０２：テストデータ内容　５０１：判定結果ＩＤ　５０２：テストデータＩＤ　５０３：判定結果内容　６０１：不確実性ＩＤ　６０２：判定結果ＩＤ　６０３：テストデータＩＤ　６０４：不確実性内容　７０１：ルールＩＤ　７０２：条件　７０３：表示テンプレート　８０１：評価結果ＩＤ　８０２：ルールＩＤ　８０３：不確実性ＩＤ　８０４：判定結果ＩＤ　８０５：テストデータＩＤ　８０６：評価内容　９０１：エリア分割　９０２：色ヒストグラム生成　９０３：ヒストグラム一致度算出　９０４：境界部判別　９０５：境界不確実性幅計測　９０５：境界不確実性計測　９０６：最頻値抽出　９０７：高不確実性ピクセル抽出　９０８：マスク処理　９０９：平均算出　９１０：低周波数成分抽出　９１１：制御部　１０００：評価結果表示画面　１３０１：機械学習モデル入力領域　１３０２：テストデータ入力領域　１３０３：評価ルール入力領域　１３１１：診断実行ボタン　１３２１：テストデータ選択領域　１３２２：入力画像表示領域　１３２３：判定結果表示領域　１３２４：不確実性表示領域　１３２５：評価結果表示領域
 

Claims (9)

  1. 　判定モデルに基づく入力データに対する判定結果を評価する判定評価装置であって、
    　前記判定結果の不確実性を算出する不確実性算出部と、
    　前記不確実性に基づいて前記判定結果を評価する分析評価部と、
    を有する判定評価装置。
  2. 　前記入力データが画像であり、
    　前記判定が前記画像を複数クラスの領域に分類する処理であり、
    　前記分析評価部は、前記画素毎の分類の不確実性を算出し、前記画像上のクラスの分布と、前記画像上の不確実性の分布に基づいて前記判定結果を評価する、
    請求項１に記載の判定評価装置。
  3. 　前記分析評価部は、前記画像の全体にわたり、前記不確実性の分布における不確実性の局所ピークの両側に、前記クラスの分布において異なるクラスの領域がある箇所における前記局所ピークの半値幅を算出し、前記半値幅の最頻値を算出し、前記最頻値が所定の閾値を超えていたら、前記画像の判定結果を、境界の不確実性が高いと評価する、
    請求項２に記載の判定評価装置。
  4. 　前記分析評価部は、前記画像における前記不確実性の平均値が所定の閾値より小さければ、前記画像の判定結果を、不確実性が低いと評価する、
    請求項２に記載の判定評価装置。
  5. 　前記判定結果の評価に基づく画面を表示する評価結果表示部を更に有し、
    　前記評価結果表示部は、不確実性が低いと評価された画像について、当該画像の不確実性が高い箇所の判定結果を修正して正解ラベルを作成して教師データに追加することを推奨する、
    請求項４に記載の判定評価装置。
  6. 　前記判定結果の評価に基づく画面を表示する評価結果表示部を更に有し、
    　前記評価結果表示部は、前記入力データである画像と、前記判定結果である前記画像上のクラスの分布の画像と、前記画像上の不確実性の分布の画像とを表示する、
    請求項２に記載の判定評価装置。
  7. 　前記不確実性算出部は、モンテカルロドロップアウトを用いて算出した各画素のクラスの分散値を不確実性とする、
    請求項２に記載の判定評価装置。
  8. 　判定モデルに基づく入力データに対する判定結果を評価する判定評価方法であって、
    　前記判定結果の不確実性を算出し、
    　前記不確実性に基づいて前記判定結果を評価する、
    　判定評価方法。
  9. 　判定モデルに基づく入力データに対する判定結果を評価する判定評価プログラムであって、
    　前記判定結果の不確実性を算出し、
    　前記不確実性に基づいて前記判定結果を評価する、
    　ことをコンピュータに実行させる、判定評価プログラム。
PCT/JP2023/013968 2022-07-28 2023-04-04 判定評価装置、方法、およびプログラム WO2024024175A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022120852A JP2024017902A (ja) 2022-07-28 2022-07-28 判定評価装置、方法、およびプログラム
JP2022-120852 2022-07-28

Publications (1)

Publication Number Publication Date
WO2024024175A1 true WO2024024175A1 (ja) 2024-02-01

Family

ID=89705923

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013968 WO2024024175A1 (ja) 2022-07-28 2023-04-04 判定評価装置、方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2024017902A (ja)
WO (1) WO2024024175A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020042338A (ja) * 2018-09-06 2020-03-19 京セラ株式会社 選択方法、及び選択プログラム
JP2022527525A (ja) * 2019-04-04 2022-06-02 コーニンクレッカ フィリップス エヌ ヴェ 画像データ中の病変部の境界の識別

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020042338A (ja) * 2018-09-06 2020-03-19 京セラ株式会社 選択方法、及び選択プログラム
JP2022527525A (ja) * 2019-04-04 2022-06-02 コーニンクレッカ フィリップス エヌ ヴェ 画像データ中の病変部の境界の識別

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARC GORRIZ; AXEL CARLIER; EMMANUEL FAURE; XAVIER GIRO-I-NIETO: "Cost-Effective Active Learning for Melanoma Segmentation", ARXIV.ORG, 25 November 2017 (2017-11-25), XP080840014 *

Also Published As

Publication number Publication date
JP2024017902A (ja) 2024-02-08

Similar Documents

Publication Publication Date Title
Nam et al. Relative attributing propagation: Interpreting the comparative contributions of individual units in deep neural networks
US8086041B2 (en) Pattern evaluation method, pattern matching method and computer readable medium
JP2007334766A (ja) 異常領域検出装置および異常領域検出方法
WO2020121564A1 (ja) 寸法計測装置、寸法計測プログラム及び半導体製造システム
JPWO2011074067A1 (ja) 文字認識方法、文字認識装置および文字認識プログラム
CN112070079B (zh) 基于特征图重赋权的x光违禁品包裹检测方法及装置
WO2020240808A1 (ja) 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
CN113642823B (zh) 数据分析系统、数据分析方法和非暂时性计算机可读介质
JP6879749B2 (ja) 支援装置および支援方法
Yadav et al. An improved deep learning-based optimal object detection system from images
US6885772B2 (en) Process for cyclic, interactive image analysis, and also computer system and computer program for performing the process
WO2024024175A1 (ja) 判定評価装置、方法、およびプログラム
JP2021162892A (ja) 評価装置、評価方法及び記憶媒体
CN114003511B (zh) 针对模型解释工具的评测方法和装置
US20230080978A1 (en) Machine learning method and information processing apparatus for machine learning
CN113205067A (zh) 作业人员监控方法、装置、电子设备和存储介质
CN113807316A (zh) 烟雾浓度估计模型的训练方法、装置、电子设备及介质
CN111753915A (zh) 一种图像处理装置、方法、设备及介质
JP2010218303A (ja) Ｇｕｉ評価結果提示装置、ｇｕｉ評価結果提示方法およびｇｕｉ評価結果提示プログラム
Lucas et al. Visual Explanations from Deep Networks via Riemann-Stieltjes Integrated Gradient-based Localization
CN113112515B (zh) 一种纹样图像分割算法评价方法
US20240046066A1 (en) Training a neural network by means of knowledge graphs
EP4328801A2 (en) Determination program, determination apparatus, and determination method
CN117131218A (zh) 对多种计算机视觉任务统一分析的可视分析系统和方法
JP7455086B2 (ja) 機械学習モデル特性可視化装置、機械学習モデル特性可視化方法、及び機械学習モデル特性可視化プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23845915

Country of ref document: EP

Kind code of ref document: A1