WO2023248788A1 - 識別器生成装置および画像診断支援装置 - Google Patents

識別器生成装置および画像診断支援装置 Download PDF

Info

Publication number
WO2023248788A1
WO2023248788A1 PCT/JP2023/021065 JP2023021065W WO2023248788A1 WO 2023248788 A1 WO2023248788 A1 WO 2023248788A1 JP 2023021065 W JP2023021065 W JP 2023021065W WO 2023248788 A1 WO2023248788 A1 WO 2023248788A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
classifier
identification
basis
target image
Prior art date
Application number
PCT/JP2023/021065
Other languages
English (en)
French (fr)
Inventor
英春 服部
容弓 柿下
智也 桜井
宗郎 前嶋
隆之 小原
Original Assignee
株式会社日立ハイテク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテク filed Critical 株式会社日立ハイテク
Publication of WO2023248788A1 publication Critical patent/WO2023248788A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features

Definitions

  • the present invention relates to classifier generation and image diagnosis support, and for example, to image processing technology using machine learning to detect specific objects (e.g., cancer cells, etc.) contained in captured images. be.
  • specific objects e.g., cancer cells, etc.
  • JP-A-2016-143351 even if the training images are divided into multiple image groups and re-trained to obtain the parameters, as in JP-A-2016-143351, there may be images in the image group that do not contribute to improving the classification accuracy of the classifier. There is a problem that the classification accuracy of the classifier does not necessarily improve. Further, in Japanese Patent Application Laid-Open No. 2016-143351, there is a problem that the cause that impedes the classification accuracy of the classifier is unknown, and the accuracy of the classifier does not necessarily improve.
  • the present invention has been made in view of this situation, and provides a technology for realizing the creation of a classifier that can identify objects (for example, abnormal tissue, etc.) in an image with high accuracy. .
  • a classifier generation device acquires a target image, uses a classifier to extract the feature amount of the target image from the target image, and uses the classifier to extract the feature amount of the target image from the target image. to identify the target image from the feature amount and determine a discrimination value, use the feature amount and the discrimination value to determine a discrimination basis, and use the discrimination basis and the teacher image to determine an improvement point. , update the discriminator based on the improved location.
  • the present invention it is possible to create a classifier that can identify objects (for example, abnormal tissue, etc.) in an image with high accuracy. Furthermore, it is possible to present the discrimination basis of the classifier and the quality (numerical value) of the discrimination basis.
  • FIG. 2 is a block diagram showing the functions of the classifier generation device according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of the hardware configuration of a classifier generation device according to a first embodiment or an image diagnosis support device according to a second embodiment.
  • FIG. 3 is a diagram for explaining an example of the operation of a feature extracting section.
  • FIG. 3 is a diagram for explaining an example of the operation of a feature extracting section.
  • FIG. 3 is a diagram for explaining an example of the operation of the identification section.
  • FIG. 3 is a diagram for explaining an example of the operation of the identification section.
  • FIG. 6 is a diagram for explaining an example of the operation of the identification basis analysis section.
  • FIG. 3 is a diagram for explaining an example of the operation of an automatic cause analysis section.
  • FIG. 3 is a diagram for explaining an example of the operation of an automatic cause analysis section.
  • FIG. 6 is a diagram for explaining an example of display of identification values (object-likeness), identification/judgment results, etc. of the output unit.
  • FIG. 7 is a diagram for explaining an example of display of identification values (identification scores), identification grounds, etc. of the output unit.
  • FIG. 3 is a diagram for explaining an example of the operation of an output section. This is an example of displaying the judgment results of the classifier performance. 3 is a flowchart for explaining the overall operation of the discriminator generation device according to the first embodiment.
  • FIG. 2 is a block diagram showing the functions of an image diagnosis support device according to a second embodiment. It is a flowchart for explaining the overall operation of the image diagnosis support device according to the second embodiment.
  • 1 is a diagram showing a schematic configuration of a remote diagnosis support system equipped with a classifier generation device and an image diagnosis support device.
  • 1 is a diagram showing a schematic configuration of an online contract service providing system equipped with a classifier generation device and an image diagnosis support device.
  • the embodiments of this specification analyze the discrimination basis of the classifier while updating the parameters of the classifier during machine learning, automatically analyze the cause of misclassification of the classifier using the teacher image and the discrimination basis, and further, By performing classification basis learning that reflects the analysis results in creating a classifier and updating the classifier, it is possible to create a classifier that can identify objects in images (for example, abnormal tissue) with high accuracy.
  • a discriminator generation device and method are provided.
  • embodiments herein may be implemented using software running on a general-purpose computer, dedicated hardware, or a combination of software and hardware, as described below.
  • each processing unit as a program (for example, an identification unit, etc.)" as a subject (operation subject), but the program is executed by a processor (CPU, etc.)
  • the processor may be used as the subject in the explanation since the processing determined by the above is performed using the memory and the communication port (communication control device).
  • FIG. 1 is a block diagram showing the functional configuration of a discriminator generation device according to an embodiment of this specification.
  • the classifier generation device 1 includes an input section 10, a feature extraction section 11, an identification section 12, a discrimination basis analysis section 13, an automatic cause analysis section 14, a discrimination basis learning section 15, an output section 16, and a recording section. 17, a region dividing section 18, a control section 19, a teacher image (correct pattern, etc.) 50, and a memory 90.
  • the classifier generation device 1 may be implemented in an image diagnosis support device within the image acquisition device, or may be connected to the image acquisition device via a network as described later (third and fourth embodiments). It may be implemented within the server.
  • the identification unit 12, identification basis analysis unit 13, automatic cause analysis unit 14, discrimination basis learning unit 15, output unit 16, and recording unit 17 in the classifier generation device 1 may be realized by a program or by hardware. It may be realized by a module.
  • Image data is input to the input unit 10.
  • the input unit 10 may receive encoded still images in JPG, Jpeg2000, PNG, BMP format, etc. that are captured at predetermined time intervals by an imaging means such as a camera built into an image acquisition device (not shown in FIG. 1).
  • Image data, WSI, etc. may be acquired and the image may be used as the input image.
  • the input unit 10 supports MotionJPEG, MPEG, H. Still image data of frames at predetermined intervals may be extracted from moving image data in H.264, HD/SDI format, etc., and the images may be obtained as input images.
  • the input unit 10 may use an image acquired by the imaging means via a bus, a network, etc. as an input image.
  • the input unit 10 may obtain an image already stored in a removable recording medium as an input image.
  • the image and teacher label input from the input unit 10 are output to the feature extraction unit 11.
  • the feature extraction unit 11 calculates feature amounts (values of each parameter) and output values of each layer of the network (for example, Convolutional Neural Network, etc.) that constitute the feature extraction unit 11 from the input image.
  • the network for example, Convolutional Neural Network, etc.
  • the identification unit 12 receives the output value of the final layer of the network of the feature extraction unit 11 and calculates the identification result of the classifier.
  • the identification basis analysis unit 13 uses the parameters of the feature extraction unit 11 and the identification unit 12 and the output values of each layer for the input image to calculate the identification basis (for example, the contribution rate (real number) of each feature to the identification result). calculate.
  • the automatic cause analysis unit 14 analyzes the cause of misclassification of the classifier using the discrimination basis calculated by the discrimination basis analysis unit 13 and the teacher image 50, and uses the discrimination basis and the teacher Calculate the mismatched areas (improved areas) of the images, improved areas of the feature values in the classifier network, and the quality of the identification basis (degree of match between the identification basis and the teacher image).
  • the discrimination basis learning unit 15 uses the quality of the discrimination basis calculated by the automatic cause analysis unit 14, the parameters of the feature extraction unit 11 and the discrimination unit 12, the output values of each layer of the classifier network for the input image, and the teacher label (for example, 0 : normal tissue, 1: abnormal tissue, etc.) to distinguish objects in the input image from objects, for example, to distinguish normal tissues and cells from normal tissues and cells.
  • Machine learning is performed to distinguish abnormal tissues and cells from abnormal tissues and cells, and a discriminator (parameters (filter coefficients, filter coefficients, offset value, etc.)).
  • the output unit 16 displays information such as the identification result calculated by the identification unit 12, the identification basis calculated by the identification basis analysis unit 13, and the quality of the identification basis calculated by the automatic cause analysis unit 14 on an output device (such as a display). .
  • the recording unit 17 stores information such as values calculated by each unit from the feature extraction unit 11 to the identification basis learning unit 15 in the memory 90.
  • the area dividing unit 18 is not used when a teacher image exists in advance, and when a teacher image does not exist, divides the area in the target image and creates a teacher image (correct pattern).
  • the control unit 19 is realized by a processor, and is connected to each element within the discriminator generation device 1. The operations of each element of the discriminator generation device 1 are performed autonomously by each of the above-mentioned components or by instructions from the control unit 19.
  • the feature extraction unit 11 and the identification unit 12 update the parameters of the classifier using the learning image
  • the identification basis analysis unit 13 performs feature extraction.
  • the identification basis of the classifier is analyzed using the parameters of the unit 11 and the identification unit 12 and the output values of each layer for the input image.
  • the automatic cause analysis unit 14 automatically analyzes the cause of misclassification by the classifier using the teacher image and the discrimination basis
  • the discrimination basis learning unit 15 performs discrimination basis learning that reflects the analysis results in creating the classifier. and update the discriminator.
  • the present invention is characterized by creating a classifier that can identify objects (for example, abnormal tissue, etc.) within an image with high accuracy.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the discriminator generation device 1 according to the embodiment of this specification.
  • the discriminator generation device 1 includes a CPU (processor) 201 that executes various programs, a memory (main storage device) 202 that stores various programs, and an auxiliary storage device 203 (corresponding to the memory 90) that stores various data. include.
  • the classifier generation device 1 further includes an output device 204 for outputting identification results, identification grounds, quality of the discrimination grounds, etc., an input device 205 for inputting user instructions, images, etc., and other devices. and a communication device 206 for communicating. These are interconnected by a bus 207.
  • the CPU 201 reads various programs from the memory 202 and executes them as necessary.
  • the memory 202 includes, as programs, an input section 10, a feature extraction section 11, an identification section 12, a discrimination basis analysis section 13, an automatic cause analysis section 14, a discrimination basis learning section 15, an output section 16, A recording section 17 and an area dividing section 18 are stored therein.
  • the auxiliary storage device 203 stores training images, evaluation images, teacher images, parameters, classification results, and classification values of the classifier generated by the feature extraction unit 11 and the identification unit 12, and identification grounds generated by the identification basis analysis unit 13. (Contribution rate (real number) of each feature to the classification result), Discrepancy points (improvement points) between the identification basis generated by the automatic cause analysis unit 14 and the teacher image, and improvement points of the feature in the classifier network.
  • the classifier updated by the discrimination basis learning unit 15 (parameters of the feature extraction unit 11 and the classification unit 12 necessary for classification (filter coefficients, offset values, etc.))
  • a teacher image generated by the area dividing unit 18 display information generated by the output unit 16, etc. are stored.
  • the output device 204 is composed of devices such as a display, a printer, and a speaker. For example, the output device 204 displays the data generated by the output unit 16 on a display screen.
  • the input device 205 is composed of devices such as a keyboard, a mouse, and a microphone. Instructions by the user (including decisions to input each image such as a teacher image) are input to the classifier generation device 1 through the input device 205 .
  • the communication device 206 is not an essential component of the discriminator generation device 1, and if the communication device is included in a personal computer or the like connected to the image acquisition device, the discriminator generation device 1 does not have the communication device 206. You don't have to.
  • the communication device 206 receives, for example, data (including images, identifiers, etc.) transmitted from another device (for example, a server) connected via a network, and stores the data in the auxiliary storage device 203. conduct.
  • the classifier generation device of this specification analyzes the discrimination basis of the classifier while updating the parameters of the classifier, automatically analyzes the cause of misclassification of the classifier using the teacher image and the discrimination basis, and further analyzes the By performing classification basis learning that reflects the results in creating a classifier and updating the classifier, a classifier that can identify objects (for example, abnormal tissue, etc.) in an image with high accuracy is created.
  • objects for example, abnormal tissue, etc.
  • Feature extraction unit 11 obtains feature amounts of the input image.
  • FIG. 3 shows an example in which feature amounts are determined.
  • CNN in FIG. 3 represents a Convolutional Neural Network.
  • the feature extraction unit 11 uses the feature extractor FEA that performs the calculation of equation (1) to obtain the feature amount FAi of the object (eg, tissue, cell, etc.) in the input image A1 from the input image A1.
  • the filter coefficient wj shown in equation (1) is used to distinguish objects other than the object to be detected from objects other than the object to be detected (for example, normal tissue or normal cells, etc.) This is a coefficient determined by machine learning or the like so as to identify an object to be detected (for example, an abnormal tissue or an abnormal cell from an abnormal tissue or an abnormal cell).
  • pj is a pixel value
  • bi is an offset value
  • m is the number of filter coefficients
  • h is a nonlinear function.
  • the feature extraction unit 11 calculates the calculation results of each filter 42 from the upper left to the lower right of the target image 41 using equation (1), thereby determining the characteristics of any filter i. Find the quantity fi.
  • a matrix of feature amounts fi obtained by the feature extractor FEA is assumed to be the feature amount FAi of the input image A1.
  • a method for creating the feature extractor FEA will be explained in the identification section 12 described later.
  • Identification unit 12 uses the feature amount FAi (matrix f) of the feature extractor FEA obtained by the feature extraction unit 11 to perform detection according to equation (2) in a logistic regression process 51. Calculate the value of object-likeness (likeliness of abnormal tissue, lesion-likeness, etc.). Based on the calculated value, the identification unit 12 determines whether the object (for example, tissue/cell) in the input image A1 is an object to be detected (abnormal tissue, etc.) or an object other than the object to be detected (normal tissue, etc.). .
  • object-likeness likeliness of abnormal tissue, lesion-likeness, etc.
  • Equation (2) w represents a weight matrix, b represents an offset value, g represents a nonlinear function, and y represents a discrimination result.
  • the identification unit 12 uses the learning image to calculate the weight of w and the offset value of b by machine learning. Furthermore, the target image is identified using the weight of w and the offset value of b obtained during learning, and the identification result y is calculated.
  • the identification unit 12 performs, for example, a logistic regression process 51.
  • the feature extraction unit 11 extracts the characteristics of the object (e.g., tissue, cells, etc.) so that the object is determined to be other than the object to be detected (e.g., normal tissue, normal cells, etc.). Learn quantities.
  • the identification unit 12 performs a logistic regression process 51 to determine the object to be detected (for example, an abnormal tissue or cell).
  • the feature extraction unit 11 is used to learn the feature amount of an object (for example, a tissue, a cell, etc.) so as to determine that the object is an abnormal tissue, an abnormal cell, etc.
  • Convolutional Neural Network may be used as a machine learning technique.
  • the identification unit 12 uses the input image A1 (for example, an HE-stained image) to identify the object to be detected (for example, an abnormal tissue or an abnormal).
  • the object to be detected for example, an abnormal tissue or an abnormal
  • objects other than the object to be detected are determined to be objects other than the object to be detected (for example, normal tissues and normal cells are determined to be normal tissues, normal cells, etc.).
  • a feature extractor FEA is created using the feature extraction unit 11 to calculate the feature amount fi (referred to as FAi) of the input image A1.
  • the identification unit 12 repeatedly performs identification basis learning by the feature extraction unit 11, the identification unit 12, and the identification basis learning unit 15 (described later) using a plurality of learning images, and calculates the equation (1) and the equation ( The weight w, filter coefficient wj, offset values b and bi shown in 2) are determined, and the feature extractor FEA is created using the feature extraction unit 11 to calculate the feature amount FAi of the input image A1 from the input image A1. Furthermore, the identification unit 12 uses the feature extractor FEA to calculate the identification result of the target image.
  • the identification unit 12 stores the determined weights w, filter coefficients wj, and offset values b and bi in the memory 90.
  • Identification basis analysis unit 13 uses the result z before applying the nonlinear function h in equation (1), the identification basis analysis unit 13 calculates the identification basis (for the identification result) as shown in FIG. 7 using equation (3) and equation (4). Calculate the contribution rate (real number) of each feature.
  • the input image 71 includes an abnormal tissue region 73 and a normal tissue region 72. Areas other than areas 73 and 72 are also normal tissue areas.
  • the identification basis 75 indicates a region of abnormal tissue identification basis and a region of normal tissue identification basis. In the example of FIG. 7, the region of identification basis for abnormal tissue is shown in black, and the region of identification basis for normal tissue is shown in white or in a dot pattern.
  • the area 77 is an area included in the abnormal tissue area 73 and is a basis for identifying abnormal tissue.
  • the area 78 is included in the abnormal tissue area 73 and is a basis for identifying normal tissue.
  • the region 79 is included in the normal tissue region 72 and is a region on which abnormal tissue is identified.
  • W -1 is a matrix obtained by replacing any dimension of the matrix of filter coefficient wj in equation (1) and reversing the direction of any dimension. For example, W -1 is obtained by swapping the first dimension (number of features) and second dimension (number of channels) of the matrix of filter coefficient wj in equation (1), and changing the third dimension (vertical size) and fourth dimension. This is a matrix with the orientation of (horizontal size) reversed.
  • the identification basis for the layer that obtains the maximum value among the layers of the classifier (for example, Max Pooling layer, etc.) is set to 1 only for the pixel where each region ri has the maximum value, and 0 for the others. Therefore, for example, the identification basis is propagated only to pixels for which the identification basis input from the adjacent layer on the output layer side is 1.
  • the discrimination basis is calculated using equation (4), and the discriminator is backpropagated to the previous layer.
  • the automatic cause analysis unit 14 uses the identification basis calculated by the identification basis analysis unit 13 and the manually created teacher image or the teacher image created by the area division unit 18 to determine the cause of misidentification as shown in FIG. Automatically analyze areas where The teacher image (correct pattern) 81 is a monochrome image of the same size as the input image 71, and takes a value of 0 or 1, for example. For example, an area where the teacher image is 0 represents a non-object area (eg, a normal tissue area), and an area where the teacher image is 1 represents an object area (eg, an abnormal tissue area, etc.).
  • the object region e.g., abnormal tissue region, etc.
  • regions other than the object region e.g., normal tissue region, etc.
  • the automatic cause analysis unit 14 compares the identification basis 75 calculated by the identification basis analysis unit 13 with the area other than the object area of the teacher image (correct pattern) 81 and the object area, and determines whether the identification basis 75 has appeared in an inappropriate area. Identify the identification basis as the cause of misidentification. Further, the automatic cause analysis unit 14 analyzes the cause of misidentification by dividing it into an object region and a region other than the object region. In the example of FIG. 8, a location 82 indicates a location where the identification basis for the abnormal tissue region is insufficient in the abnormal tissue region, and a location 83 indicates a location where the identification basis for the abnormal tissue region is shown in the normal tissue region. .
  • the automatic cause analysis unit 14 calculates the misidentification cause score e back for regions other than the object region and the misidentification cause score e fore for the object region using equations (5) and (6).
  • C sum represents the identification basis for the object region in the input image calculated by the identification basis analysis unit 13, and mask represents the teacher image.
  • the discrimination basis C sum other than the object region may be used, but in that case, the region where the teacher image is 0 is the object region (for example, abnormal tissue region, etc.), and the region where the teacher image is 1 is other than the object region (for example, normal tissue region, etc.). area, etc.).
  • the automatic cause analysis unit 14 extracts the identification basis C sum included in the area other than the object area, and calculates the score e back of the cause of misidentification in the area other than the object area. The more identification grounds of positive values are included in regions other than the object region, the larger the value of e back becomes.
  • the object region is a region that includes feature amounts for identifying the object region, and it is desirable that the object region contains a large number of positive values of identification basis C sum . If the identification basis C sum within the object region is not sufficient, it may cause the object to be missed. Therefore, the automatic cause analysis unit 14 calculates the score e fore of the cause of misidentification of the object region using the negative number of the identification basis C sum included in the object region.
  • the automatic cause analysis unit 14 uses, for example, equations (7) and (8) to determine the quality of the identification basis outside the object area (degree of matching between the identification basis and the teacher image) coin back and the identification basis of the object area.
  • the quality coin fore may also be calculated.
  • X represents the number of horizontal pixels of the target image
  • Y represents the number of vertical pixels of the target image.
  • coin all shown in equation (9) is calculated for each classifier, and the performance of the classifier is determined by comparing coin all . For example, it is determined that the larger the value of coin all , the better the performance of the classifier.
  • Identification basis learning unit 15 uses the score of the cause of erroneous identification calculated by the automatic cause analysis unit 14 and the identification result y calculated by the identification unit 12 to perform identification for correcting the identification basis of the area estimated to be the cause of erroneous identification. Perform evidence learning. Discrimination basis learning uses multiple costs. For example, three types of costs can be used. The discrimination basis learning unit 15 first calculates the Negative Log Likelihood (nll) of Equation (10) used in normal machine learning, and secondly uses the Negative Log Likelihood (nll) in the area other than the object area shown in Equation (11).
  • label in equation (10) represents a teacher label indicating an object area other than the object area (for example, 0 for other than the object area, 1 for the object area).
  • the score e back of the cause of misidentification calculated by the automatic cause analysis unit 14 represents the identification basis included in a region other than the object region that should not be used as the identification basis. Therefore, by setting the average value of e back calculated by the automatic cause analysis unit 14 as the cost cgl back , the identification basis learning unit 15 advances machine learning so that the value of e back becomes smaller, and Suppress the identification basis within. Furthermore, the score e fore of the cause of misidentification represents a region in the object region where the value of the identification basis is low. Therefore, the identification basis learning unit 15 increases the identification basis within the object region by setting the average value of e fore calculated by the automatic cause analysis unit 14 as the cost cgl fore .
  • the identification basis learning unit 15 sets the sum of the three costs as the total cost cost, performs machine learning to reduce cost, and calculates the cause of the misidentification determined by the automatic cause analysis unit 14.
  • a classifier that can identify objects with high accuracy is created by updating the parameters of the feature extracting unit 11 and the identifying unit 12 while modifying the area identification basis.
  • Output section 16 uses the classification result y obtained by the created classifier to display the result of object-likeness determination (for example, lesion-likeness determination) on the GUI (graphical user interface) shown in FIGS. 9A and 9B, for example. , displaying the identification basis and the quality of the identification basis.
  • object-likeness determination for example, lesion-likeness determination
  • FIG. 9A shows an example in the case of a breast, and is a diagram showing the classification results of non-tumor and tumor (abnormal tissue, abnormal cells, etc.).
  • the example screen in FIG. 9A displays a classification result 91, object-likeness (tumor-likeness) 92, an image display button 93, and an identification reason display button 94.
  • the image display button 93 is pressed by the user, for example, an input image is displayed.
  • the identification reason display button 94 is pressed, the identification reason is displayed.
  • the identification unit 12 classifies the input target image of the breast as including a tumor, which is an abnormal tissue/cell, and calculates the object-likeness value of the tumor to be 0.89.
  • FIG. 9B is displayed, for example, when learning or using the classifier.
  • FIG. 9B is an example of displaying the input image, the identification basis for the input image, and the quality of the identification basis.
  • FIG. 9B shows an example in which the quality of the non-tumor identification basis is calculated to be 0.96, and the quality of the tumor identification basis is calculated to be 0.93.
  • the screen of FIG. 9B may be displayed, for example, in response to the operation of the image display button 93 or the identification reason display button 94 shown in FIG. 9A, or may be displayed independently of the screen of FIG. 9A.
  • the output unit 16 also receives an unknown image from the input unit 10 and displays the classification results of each classifier, or when an object in the image is determined to be an object (for example, abnormal tissue or abnormal cells).
  • a detection frame 102 may be drawn within the input target image 101 to indicate the location of the object to be detected (for example, a location where abnormal tissue or abnormal cells are suspected).
  • the detection frame 102 may not be drawn on the input target image 101, and the input target image 101 may be displayed as is.
  • the determined object-likeness result for example, tumor is displayed.
  • the output unit 16 uses the calculated performance value coin all of each classifier to determine the performance of each classifier, as shown in FIG. 10B, for example, and displays the determination result of the performance of the classifier.
  • FIG. 10B is displayed, for example, when learning or using the classifier.
  • FIG. 10B is an example in which the performance value of classifier A is displayed as 1.97, the performance value of classifier B is 1.65, and the performance determination result of the classifier is displayed as classifier A.
  • the output unit 16 is not an essential component of the classifier generation device 1, and if the image diagnosis support device includes an output unit, the classifier generation device 1 does not need to have the output unit 16.
  • the recording unit 17 stores input images (learning images, evaluation images, etc.), teacher images, parameters of the classifier, classification results, and classification values generated by the feature extraction unit 11 and the identification unit 12, and information generated by the identification basis analysis unit 13.
  • the identification basis (contribution rate (real number) of each feature amount to the identification result) is stored in the memory 90.
  • the recording unit 17 further records the mismatch points (improvement points) between the identification basis and the teacher image generated by the automatic cause analysis unit 14, the improvement points of the feature values in the classifier network, and the quality of the identification basis (identification basis and teacher image). (degree of matching of images) is stored in the memory 90.
  • the recording unit 17 also stores the classifier updated by the discrimination basis learning unit 15 (parameters (filter coefficients, weights, offset values, etc.) of the feature extracting unit 11 and the identifying unit 12 necessary for identification), the area dividing unit 18
  • the display information, etc., generated by the output unit 16, such as the teacher image generated by the output unit 16, are stored in the memory 90.
  • the region dividing unit 18 divides each pixel in the input image into regions (eg, object region, non-object region, etc.) using a region division method such as U-Net, and creates a teacher image.
  • regions eg, object region, non-object region, etc.
  • U-Net region division method
  • FIG. 11 is a flowchart for explaining the operation of the discriminator generation device 1 according to the embodiment of this specification.
  • each processing unit input unit 10, feature extraction unit 11, etc.
  • the CPU 201 is an operating entity and the CPU 201 executes each processing unit as a program.
  • Step 1101 The input unit 10 receives a learning image and outputs the input image to the feature extraction unit 11.
  • Step 1102 The feature extraction unit 11 calculates the feature amount FAi of the object (for example, tissue, cell, etc.) in the input image A1 using a filter according to the above-mentioned equation 1 through machine learning, and creates a feature extractor FEA.
  • the feature extraction unit 11 obtains a filter coefficient wj and an offset value bi for the feature amount FAi.
  • Step 1103 The identification unit 12 uses machine learning to obtain a classification result from the feature amount FAi using Equation 2, calculates a classification value of object-likeness (for example, lesion-likeness, etc.), and determines whether the object in the input image A1 is an object to be detected. In order to determine whether the cell is a normal cell or an abnormal cell, each parameter (weight w, offset value b, etc.) of Equation 2 for determining the discrimination value is determined.
  • object-likeness for example, lesion-likeness, etc.
  • Step 1104 The identification basis analysis unit 13 calculates the identification basis of the target image using Equations 3 and 4.
  • Step 1105 The automatic cause analysis unit 14 calculates the misidentification cause scores e back and e fore using the identification basis and the teacher image calculated by the identification basis analysis unit 13 using equations 5 and 6, and calculates the misidentification cause scores e back and e fore using equations 7 and 8. , find the quality of identification basis coin back and coin fore .
  • Step 1106 The identification basis learning unit 15 calculates the total cost cost in Formula 12 using Formula 9, Formula 10, and Formula 11, and uses machine learning to set the filter coefficient wj, weight w, and offsets bi and b so that cost is small. Update and create a discriminator.
  • Step 1107 The recording unit 17 stores each parameter of Equation 1 and Equation 2 (filter coefficient wj, weight w, offset values bi, b, etc.), the identification basis, and the quality of the identification basis in the memory 90.
  • the discrimination basis of the classifier is analyzed while updating the parameters of the classifier, the cause of misclassification of the classifier is automatically analyzed using the teacher image and the discrimination basis, and
  • classification basis learning that reflects the analysis results in creating a classifier and updating the classifier, a classifier that can identify objects in an image (for example, abnormal tissue, etc.) with high accuracy can be created. becomes possible.
  • the identification basis that indicates the reason for identifying the target image and the quality of the identification basis that indicates the accuracy of the classifier.
  • the image diagnosis support device 2 includes many of the same configurations as the discriminator generation device 1 of FIG. 1 of the first embodiment. , unlike the first embodiment, does not include a discrimination basis learning section 15, but includes a region division section 18, a feature extraction section 21, an identification section 22, a discrimination basis analysis section 23, and an automatic cause analysis section 24. Therefore, a configuration different from that in FIG. 1 will be explained here.
  • the image diagnosis support device 2 reads each parameter of the classifier from the memory, and the region dividing unit 18 creates a teacher image of the evaluation image by region division. Further, the identification basis analysis unit 23 analyzes the identification basis of the evaluation image. The automatic cause analysis unit 24 automatically analyzes the causes of misclassification by the classifier using the teacher image and the identification basis, and analyzes the quality of the identification basis of the evaluation image, thereby identifying objects (for example, tissues and cells) in the evaluation image. etc.), the identification results, the basis for identification, and the quality of the basis for identification.
  • objects for example, tissues and cells
  • Region dividing section 18 divides the evaluation image into regions using a segmentation model (eg, U-Net, etc.) that divides the evaluation image into object regions and non-object regions, and creates a teacher image.
  • a segmentation model eg, U-Net, etc.
  • Feature extraction unit 21 The feature extraction unit 21 reads each parameter of the learned feature extractor from the memory 90, and uses the feature extractor to calculate the feature amount FAi of the evaluation image according to Equation 1.
  • Identification unit 22 reads each parameter of the learned classifier from the memory 90, uses the classifier to identify the evaluation image from the feature amount FAi according to Equation 2, and calculates the classification result y and the classification value.
  • Identification basis analysis unit 23 calculates the discrimination basis of the evaluation image using Equations 3 and 4.
  • the automatic cause analysis unit 24 uses the identification basis calculated by the identification basis analysis unit 23 and the teacher image (correct pattern) of the evaluation image obtained by the area division unit 18 according to Equations 5 and 6 to calculate the identification basis and the teacher image.
  • the areas of discrepancy (areas for improvement), the misidentification cause score, and the quality of the identification basis (degree of match between the identification basis and the teacher image) are calculated.
  • a hardware configuration example of the image diagnosis support device 2 according to the embodiment of this specification has a configuration similar to that shown in FIG. 18, a feature extraction section 21, an identification section 22, an identification basis analysis section 23, and an automatic cause analysis section 24 are stored.
  • the auxiliary storage device 203 of the image diagnosis support device 2 stores the identification result y obtained by the identification section 22, the identification basis obtained by the identification basis analysis section 23, the quality of the identification basis obtained by the automatic cause analysis section 24, etc. There is.
  • FIG. 13 is a flowchart for explaining the operation of the image diagnosis support device 2 according to the embodiment of this specification.
  • each processing unit input unit 10, feature extraction unit 21, etc.
  • the CPU 201 is an operating entity and the CPU 201 executes each processing unit as a program.
  • Step 1301 The input unit 10 receives the evaluation image and outputs the input image to the feature extraction unit 21 .
  • Step 1302 The feature extraction unit 21 reads the filter coefficient wj and offset value bi of the learned feature extractor FEA from the memory 90, and uses the filter to extract the object (for example, tissue, cells, etc.) of the input image A1 using the above equation 1. Find the feature quantity FAi.
  • Step 1303 The identification unit 22 reads each parameter (weight w, offset value b, etc.) of the learned classifier from the memory 90, obtains a classification result from the feature amount FAi using equation 2, and calculates the object-likeness (for example, lesion-likeness, etc.) It is determined whether the object in the input image A1 is an object to be detected (for example, a normal cell, an abnormal cell, etc.).
  • Step 1304 The identification basis analysis unit 23 calculates the identification basis of the target image using Equations 3 and 4.
  • Step 1305 The automatic cause analysis unit 24 uses the discrimination basis calculated by the discrimination basis analysis unit 23 and the teacher image of the target image obtained by the area division unit 18 to calculate the misidentification cause scores e back and e fore according to equations 5 and 6. is calculated, and the quality of identification basis coin back and coin fore are determined by equations 7 and 8.
  • Step 1306 The recording unit 17 stores the identification result, the identification value, the identification basis, and the quality of the identification basis in the memory 90.
  • each parameter of the classifier is read from the memory, a teacher image of the evaluation image is created by region segmentation, and further, while the identification basis of the evaluation image is analyzed, the teacher image and the identification basis are used.
  • the teacher image and the identification basis are used.
  • FIG. 14 is a functional block diagram showing the configuration of a remote diagnosis support system 1400 according to a third embodiment of the present specification.
  • Remote diagnosis support system 1400 includes a server 1403 and an image acquisition device 1405.
  • the server 1403 can be composed of, for example, one or more computers.
  • the image acquisition device 1405 is, for example, a device such as a virtual slide device or a personal computer equipped with a camera, and includes an imaging unit 1401 that captures image data and a display that displays the identification/judgment results transmitted from the server 1403. 1404.
  • the image acquisition apparatus 1405 includes a communication device that transmits image data to the server 1403 and receives data transmitted from the server 1403.
  • the server 1403 uses the classifier generation device 1 according to the first embodiment of this specification to create a classifier for the image data (input image, teacher image) transmitted from the image acquisition device 1405, It has an image diagnosis support device 2 that performs image processing using the created classifier, and a storage unit 1402 that stores identification/judgment results, identification basis/quality of the discrimination basis, etc. output from the image diagnosis support device 2. are doing.
  • the server 1403 receives image data transmitted from the image acquisition device 1405, and transmits data such as identification/judgment results, identification basis/quality of identification basis, etc. to the image acquisition device 1405. It has a communication device that transmits data.
  • the image diagnosis support device 2 uses the classifier obtained by the classifier generation device 1 to detect objects to be detected (for example, abnormal Classify the presence or absence of tissues and abnormal cells (e.g. cancer).
  • the display unit 1404 displays the data transmitted from the server 1403, such as the identification/judgment result, identification basis/quality of the identification basis, etc., on the display screen of the image acquisition device 1405.
  • a regenerative medical device having an imaging section, an iPS cell culturing device, an MRI or an ultrasonic image capturing device, or the like may be used.
  • objects e.g., tissues, cells, etc.
  • objects in images transmitted from facilities at different locations are detected using each parameter of the discriminator obtained by the discriminator generation device 1. It accurately classifies whether the object is a target object (abnormal tissue, abnormal cell, etc.), transmits data such as identification/judgment results, identification basis/quality of identification basis, etc. to a facility located at a different location, etc.
  • data such as identification/judgment results, identification basis/quality of identification basis, etc.
  • FIG. 15 is a functional block diagram showing the configuration of an online consignment service providing system 1500 according to the fourth embodiment of this specification.
  • the Internet commissioned service providing system 1500 includes a server 1503 and an image acquisition device 1505.
  • the server 1503 can be composed of, for example, one or more computers.
  • the image acquisition device 1505 is, for example, a device such as a virtual slide device or a personal computer equipped with a camera.
  • the image acquisition device 1505 includes an imaging unit 1501 that captures image data, a storage unit 1504 that stores the discriminator transmitted from the server 1503, and an image diagnosis support device 2.
  • the image diagnosis support device 2 reads the discriminator transmitted from the server 1503 and identifies objects (e.g., tissues, cells, etc.) in the image newly captured by the imaging unit 1501 of the image acquisition device 1505.
  • objects e.g., tissues, cells, etc.
  • the image acquisition apparatus 1505 includes a communication device that transmits image data to the server 1503 and receives data transmitted from the server 1503.
  • the server 1503 generates a discriminator from the discriminator generation device 1 according to the first embodiment of this specification for the image data transmitted from the image acquisition device 1505, and generates a discriminator from the discriminator generation device 1 according to the first embodiment of the present specification. and a storage unit 1502 that stores the identified identifier. Further, the server 1503 receives input designation of a teacher image from the operator, or creates a teacher image using the area dividing unit 18. Further, the server 1503 presents each output of the classifier generation device 1 (identification/judgment result, identification basis, quality of the discrimination basis, etc.) to the operator. Although not shown, the server 1503 includes a communication device that receives image data transmitted from the image acquisition apparatus 1505 and transmits a discriminator to the image acquisition apparatus 1505.
  • the classifier generation device 1 detects objects to be detected (for example, normal tissues and cells, abnormal tissues and cells, etc.) in the image data captured by the imaging unit 1501. Create a classifier that calculates the feature values of objects (e.g. tissues, cells, etc.) in images of facilities, etc. at different locations by performing machine learning to determine that tissues and cells are abnormal tissues and cells, etc. do.
  • the storage unit 1504 stores the identifier and the like transmitted from the server 1503.
  • the image diagnosis support device 2 in the image acquisition device 1505 reads a classifier etc. from the storage unit 1504, and uses the classifier to identify an object (for example, , tissues, cells, etc.) are classified as whether or not they are objects to be detected (e.g., abnormal tissues, abnormal cells, etc.), and display the identification/judgment results, identification basis/ Display data such as the quality of identification basis.
  • a classifier etc. for example, , tissues, cells, etc.
  • objects to be detected e.g., abnormal tissues, abnormal cells, etc.
  • Display data such as the quality of identification basis.
  • a regenerative medical device having an imaging section, an iPS cell culturing device, an MRI or an ultrasonic image capturing device, or the like may be used.
  • objects to be detected e.g., normal tissues, cells, etc.
  • Machine learning is performed to create a discriminator, etc. to classify abnormal tissues and cells as abnormal tissues and cells, etc.), and the discriminator, etc. is transmitted to a facility at a different location, and the discriminator, etc.
  • objects e.g., tissues, cells, etc.
  • objects to be detected e.g., abnormal tissues, abnormal cells, etc.
  • the feature extraction unit 11 obtains a plurality of feature quantities using a filter through machine learning, other feature quantities such as HOG may also be used, and the same effect can be obtained.
  • other feature quantities such as HOG may also be used, and the same effect can be obtained.
  • negative log likelihood is used as the loss function (cost), but square error, hinge loss, etc. may also be used, and similar effects can be obtained.
  • the present invention can also be realized by software program codes that realize the functions of the embodiments.
  • a storage medium on which the program code is recorded is provided to a system or device, and the computer (or CPU or MPU) of the system or device reads the program code stored in the storage medium.
  • the program code itself read from the storage medium realizes the functions of the embodiments described above, and the program code itself and the storage medium storing it constitute the present invention.
  • Storage media for supplying such program codes include, for example, flexible disks, CD-ROMs, DVD-ROMs, hard disks, optical disks, magneto-optical disks, CD-Rs, magnetic tapes, nonvolatile memory cards, and ROMs. etc. are used.
  • an OS operating system
  • the CPU of the computer performs some or all of the actual processing based on the instructions of the program code.
  • the software program code that realizes the functions of the embodiments can be distributed to a storage means such as a hard disk or memory of a system or device, or to a storage medium such as a CD-RW or CD-R.
  • the computer (or CPU or MPU) of the system or device may read and execute the program code stored in the storage means or storage medium when used.
  • control lines and information lines are shown to be necessary for the explanation, and not all control lines and information lines are necessarily shown in the product. All configurations may be interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

識別器作成装置は、識別器の更新、識別根拠解析および誤識別原因の分析を行い、その分析結果を用いて識別器を更新し、画像内の物体を高精度に識別可能な識別器の作成を実現する。識別器作成装置は、対象画像を取得し、識別器を用いて対象画像から対象画像の特徴量を抽出し、識別器を用いて特徴量から対象画像を識別して識別値を決定し、特徴量と識別値を用いて識別根拠を決定し、識別根拠と教師画像を用いて改善箇所を決定し、改善箇所に基づき前記識別器を更新する。

Description

識別器生成装置および画像診断支援装置 参照による取り込み
　本出願は、２０２２年６月２１日に出願された日本出願である特願２０２２－０９９３５７の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、識別器生成および画像診断支援に関し、例えば、撮影した画像内に含まれる特定の物体（例えば、がんの細胞等）を検出するための機械学習を用いた画像処理技術に関するものである。
　近年、画像認識技術においては、機械学習等を用いた画像認識技術の検討が行われている。Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ等を用いることで、画像内の物体の検出精度を向上している。画像内の物体を検出するための識別器を開発するために、例えば、特開２０１６－１４３３５１号公報に提案される技術がある。特開２０１６－１４３３５１号公報では、複数の学習画像データ群を設定して機械学習を行い、ニューラルネットワークのパラメータを算出する。
　しかしながら、特開２０１６－１４３３５１号公報のように、学習画像を複数の画像群に分けて再学習してパラメータを求めても、画像群の中に識別器の識別精度の向上に寄与しない画像が含まれることがあり、必ずしも識別器の識別精度は向上しないという課題がある。また、特開２０１６－１４３３５１号公報では、識別器の識別精度を妨げる原因が不明であり、識別器の精度が必ずしも向上しないという課題が存在する。
　本発明はこのような状況に鑑みてなされたものであり、画像内の物体（例えば、異常組織等）を高精度に識別可能な識別器の作成を実現するための技術を提供するものである。
　上記課題を解決するために、本発明の一態様による識別器生成装置は、対象画像を取得し、識別器を用いて、前記対象画像から前記対象画像の特徴量を抽出し、前記識別器を用いて、前記特徴量から前記対象画像を識別して識別値を決定し、前記特徴量と前記識別値を用いて識別根拠を決定し、前記識別根拠と教師画像を用いて改善箇所を決定し、前記改善箇所に基づき前記識別器を更新する。
　本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素および多様な要素の組み合わせおよび以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。
　本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。
　本発明の一態様によれば、画像内の物体（例えば、異常組織等）を高精度に識別可能な識別器の作成を実現することができるようになる。また、識別器の識別根拠および識別根拠の質（数値）を提示することが可能となる。
第１の実施形態による識別器生成装置の機能を示すブロック図である。 第１の実施形態による識別器生成装置もしくは第２の実施形態による画像診断支援装置のハードウェア構成例を示す図である。 特徴抽出部の動作の一例を説明するための図である。 特徴抽出部の動作の一例を説明するための図である。 識別部の動作の一例を説明するための図である。 識別部の動作の一例を説明するための図である。 識別根拠解析部の動作の一例を説明するための図である。 自動原因分析部の動作の一例を説明するための図である。 出力部の識別値（物体らしさ）、識別／判定結果等の表示の一例を説明するための図である。 出力部の識別値（識別スコア）、識別根拠等の表示の一例を説明するための図である。 出力部の動作の一例を説明するための図である。 識別器の性能の判定結果を表示した例である 第１の実施形態による識別器生成装置の全体動作を説明するためのフローチャートである。 第２の実施形態による画像診断支援装置の機能を示すブロック図である。 第２の実施形態による画像診断支援装置の全体動作を説明するためのフローチャートである。 識別器生成装置および画像診断支援装置を搭載した遠隔診断支援システムの概略構成を示す図である。 識別器生成装置および画像診断支援装置を搭載したネット受託サービス提供システムの概略構成を示す図である。
　本明細書の実施形態は、機械学習時に、識別器のパラメータを更新しつつ識別器の識別根拠を解析し、教師画像と識別根拠を用いて識別器の誤識別原因を自動分析し、さらに、その分析結果を識別器の作成に反映する識別根拠学習を行って識別器を更新することで、画像内の物体（例えば、異常組織等）を高精度に識別可能な識別器の作成を実現する識別器生成装置およびその方法を提供する。
　学習画像データベースの中に識別器の識別精度の向上に寄与しない画像が含まれている場合でも、識別器の識別処理と識別根拠の解析による誤識別の原因を自動分析する構成を加え、さらに、その分析結果を識別器の作成に反映する識別根拠学習を行って識別器を更新することで、画像内の物体を高精度に識別可能な識別器の作成を実現することができるようになる。また、識別器の識別根拠および識別根拠の質（数値）を提示する。
　以下、添付図面を参照して本明細書の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
　本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
　更に、本明細書の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装してもよいし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装してもよい。
　以下では「プログラムとしての各処理部（例えば、識別部等）」を主語（動作主体）として本明細書の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等）によって実行されることで定められた処理をメモリおよび通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。
（１）第１の実施形態
　＜識別器生成装置の機能構成＞
　図１は、本明細書の実施形態による識別器生成装置の機能構成を示すブロック図である。識別器生成装置１は、入力部１０と、特徴抽出部１１と、識別部１２と、識別根拠解析部１３と、自動原因分析部１４と、識別根拠学習部１５と、出力部１６と、記録部１７と、領域分割部１８と、制御部１９と、教師画像（正解パターン等）５０と、メモリ９０と、を含む。
　ただし、識別器生成装置１において、予め教師画像が存在する場合、領域分割部１８は必要構成ではない。識別器生成装置１は、画像取得装置内の画像診断支援装置内に実装してもよいし、後述する（第３乃至第４の実施形態）ように、画像取得装置とネットワークを介して接続されるサーバ内に実装してもよい。
　識別器生成装置１における、識別部１２、識別根拠解析部１３、自動原因分析部１４、識別根拠学習部１５、出力部１６、および記録部１７は、プログラムによって実現してもよいし、ハードウェアモジュールにより実現してもよい。
　入力部１０には画像データが入力される。例えば、入力部１０は、画像取得装置（図１において不図示）にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ、ＷＳＩ等を取得して、その画像を入力画像としてもよい。
　入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像として取得してもよい。入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。入力部１０は、脱着可能な記録媒体に、既に記憶されていた画像を入力画像として取得してもよい。入力部１０から入力した画像、教師ラベルは特徴抽出部１１に出力される。
　特徴抽出部１１は、入力画像から特徴量（各パラメータの値）および特徴抽出部１１を構成するネットワーク（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ等）の各層の出力値を算出する。
　識別部１２は、特徴抽出部１１のネットワークの最終層の出力値を受け取り、識別器の識別結果を算出する。
　識別根拠解析部１３は、特徴抽出部１１および識別部１２のパラメータと入力画像に対する各層の出力値とを用いて、識別根拠（例えば、識別結果に対する各特徴量の寄与率（実数）等）を算出する。
　自動原因分析部１４は、識別器を作成する機械学習時は、識別根拠解析部１３にて算出した識別根拠と教師画像５０を用いて、識別器の誤識別原因を分析し、識別根拠と教師画像の不一致箇所（改善箇所）、識別器のネットワーク内の特徴量の改善箇所および識別根拠の質（識別根拠と教師画像の一致度）を算出する。
　識別根拠学習部１５は、自動原因分析部１４で算出した識別根拠の質、特徴抽出部１１と識別部１２のパラメータ、入力画像に対する識別器のネットワークの各層の出力値および教師ラベル（例えば、０：正常組織、１：異常組織等）を用いて、入力画像内の物体を物体と識別するように、例えば、正常の組織や細胞を正常の組織や細胞と識別するように、また、入力画像内の異常の組織や細胞を異常の組織や細胞と識別するように、機械学習を行って、学習画像から識別器（識別に必要な特徴抽出部１１と識別部１２の各パラメータ（フィルタ係数、オフセット値等））を作成する。
　出力部１６は、識別部１２が算出した識別結果、識別根拠解析部１３が算出した識別根拠、自動原因分析部１４が算出した識別根拠の質等の情報を出力装置（ディスプレイ等）で表示する。
　記録部１７は、特徴抽出部１１から識別根拠学習部１５までの各部で算出した値等の情報をメモリ９０に格納する。
　領域分割部１８は、予め教師画像が存在する場合は使用されず、教師画像が存在しない場合に、対象画像内の領域を分割し、教師画像（正解パターン）を作成する。
　制御部１９は、プロセッサで実現され、識別器生成装置１内の各要素に接続される。識別器生成装置１の各要素の動作は、上述した各構成要素の自律的な動作、又は制御部１９の指示により動作する。
　このように本実施形態の識別器生成装置１では、機械学習時に、学習画像を用いて特徴抽出部１１と識別部１２は識別器のパラメータを更新しつつ、識別根拠解析部１３は、特徴抽出部１１と識別部１２のパラメータと入力画像に対する各層の出力値を用いて識別器の識別根拠を解析する。自動原因分析部１４は、教師画像と識別根拠を用いて識別器の誤識別原因を自動分析し、さらに、識別根拠学習部１５は、その分析結果を識別器の作成に反映する識別根拠学習を行って識別器を更新する。このように、画像内の物体（例えば、異常組織等）を高精度に識別可能な識別器を作成することを特徴とする。
　＜識別器生成装置のハードウェア構成＞
　図２は、本明細書の実施形態による識別器生成装置１のハードウェア構成例を示す図である。識別器生成装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ（主記憶装置）２０２と、各種データを格納する補助記憶装置２０３（メモリ９０に相当）とを含む。識別器生成装置１は、さらに、識別結果や識別根拠や識別根拠の質等を出力するための出力装置２０４と、ユーザによる指示や画像等を入力するための入力装置２０５と、他の装置と通信を行うための通信デバイス２０６と、を含む。これらは、バス２０７によって相互に接続されている。
　ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。メモリ２０２は、プログラムとしての、入力部１０と、特徴抽出部１１と、識別部１２と、識別根拠解析部１３と、自動原因分析部１４と、識別根拠学習部１５と、出力部１６と、記録部１７と、領域分割部１８を格納する。
　補助記憶装置２０３は、学習画像、評価画像、教師画像、特徴抽出部１１と識別部１２によって生成された識別器の各パラメータと識別結果と識別値、識別根拠解析部１３によって生成された識別根拠（識別結果に対する各特徴量の寄与率（実数））、自動原因分析部１４によって生成された識別根拠と教師画像の不一致箇所（改善箇所）と識別器のネットワーク内の特徴量の改善箇所と識別根拠の質（識別根拠と教師画像の一致度）、識別根拠学習部１５によって更新された識別器（識別に必要な特徴抽出部１１と識別部１２の各パラメータ（フィルタ係数、オフセット値等））、領域分割部１８で生成した教師画像等、出力部１６によって生成された表示情報等を記憶している。
　出力装置２０４は、ディスプレイ、プリンタ、スピーカ等のデバイスで構成される。例えば、出力装置２０４は、出力部１６によって生成されたデータをディスプレイ画面上に表示する。
　入力装置２０５は、キーボード、マウス、マイク等のデバイスで構成される。入力装置２０５によってユーザによる指示（教師画像等の各画像の入力の決定を含む）が識別器生成装置１に入力される。
　通信デバイス２０６は、識別器生成装置１としては必須の構成ではなく、画像取得装置に接続されたパソコン等に通信デバイスが含まれる場合には、識別器生成装置１は通信デバイス２０６を保持していなくてもよい。通信デバイス２０６は、例えば、ネットワークを介して接続される他の装置（例えば、サーバ）から送信されてきたデータ（画像、識別器等を含む）を受信し、補助記憶装置２０３に格納する動作を行う。
　本明細書の識別器生成装置は、識別器のパラメータを更新しつつ識別器の識別根拠を解析し、教師画像と識別根拠を用いて識別器の誤識別原因を自動分析し、さらに、その分析結果を識別器の作成に反映する識別根拠学習を行って識別器を更新することで、画像内の物体（例えば、異常組織等）を高精度に識別可能な識別器を作成する。
　＜各部の構成と動作＞
　以下、各要素の構成と動作について詳細に説明する。
（ｉ）特徴抽出部１１
　特徴抽出部１１は、入力画像の特徴量を求める。一例として、特徴量を求める例を図３に示す。図３のＣＮＮは、Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋを表す。例えば、特徴抽出部１１は、式（１）の演算を行う特徴抽出器ＦＥＡを用いて、入力画像Ａ１から入力画像Ａ１の物体（例えば、組織・細胞等）の特徴量ＦＡｉを求める。
　式（１）に示すフィルタ係数ｗｊは、検出すべき物体以外を検出すべき物体以外（例えば、正常組織や正常細胞を正常組織や正常細胞等）と識別するように、また、検出すべき物体を検出すべき物体（例えば、異常組織や異常細胞を異常組織や異常細胞等）と識別するように、機械学習等により求めた係数である。
　式（１）において、ｐｊは画素値、ｂｉはオフセット値、ｍはフィルタ係数の数、ｈは非線形関数を示す。図４に示すように、特徴抽出部１１は、式（１）を用いて、対象画像４１の左上から右下に対して、各フィルタ４２の計算結果を求めることで、任意のフィルタｉの特徴量ｆｉを求める。例えば、特徴抽出器ＦＥＡで求めた特徴量ｆｉの行列を入力画像Ａ１の特徴量ＦＡｉとする。特徴抽出器ＦＥＡの作成方法については、後述する識別部１２にて説明する。
Figure JPOXMLDOC01-appb-M000001
（ｉｉ）識別部１２
　識別部１２は、図５に示すように、特徴抽出部１１で求めた特徴抽出器ＦＥＡの特徴量ＦＡｉ（行列ｆ）を用いて、ロジスティック回帰処理５１にて、式（２）により、検出すべき物体らしさ（異常組織らしさ、病変らしさ等）の値を算出する。識別部１２は、算出した値に基づいて、入力画像Ａ１内の物体（例えば、組織・細胞）が検出すべき物体（異常組織等）か検出すべき物体以外（正常組織等）かを判定する。
　式（２）において、ｗは重みの行列、ｂはオフセット値、ｇは非線形関数、ｙは識別結果をそれぞれ示す。後述に示すように、識別部１２は、学習用画像を用いて、機械学習により、ｗの重みとｂのオフセット値を求める。また、学習時に求めたｗの重みとｂのオフセット値を用いて、対象画像を識別し、識別結果ｙを算出する。
Figure JPOXMLDOC01-appb-M000002
　識別部１２は、式（２）により、入力した画像内の物体が検出すべき物体以外（例えば、組織や細胞が正常組織や正常細胞等）であれば、例えば、ロジスティック回帰処理５１にて、検出すべき物体以外（例えば、正常組織や正常細胞等）と判定するように、例えば、公知の機械学習の技術により、特徴抽出部１１を用いて、物体（例えば、組織や細胞等）の特徴量を学習する。
　また、識別部１２は、入力した画像内の物体が検出すべき物体（例えば、組織や細胞が異常組織や異常細胞等）であれば、ロジスティック回帰処理５１にて、検出すべき物体（例えば、異常組織や異常細胞等）と判定するように、特徴抽出部１１を用いて、物体（例えば、組織や細胞等）の特徴量を学習する。例えば、機械学習の技術として、Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋを用いてもよい。
　識別部１２は、図６に示すように、学習時は、機械学習により、入力画像Ａ１（例えば、ＨＥ染色画像）を用いて、検出すべき物体を検出すべき物体（例えば、異常組織や異常細胞を異常組織や異常細胞等）と判定するように、また、検出すべき物体以外を検出すべき物体以外（例えば、正常組織や正常細胞を正常組織や正常細胞等）と判定するように、式（１）と式（２）により、特徴抽出部１１を用いて、入力画像Ａ１の特徴量ｆｉ（ＦＡｉとする）を算出する特徴抽出器ＦＥＡを作成する。
　識別部１２は、学習時は、複数の学習用画像を用いて、特徴抽出部１１と識別部１２および後述する識別根拠学習部１５による識別根拠学習を繰り返して行い、式（１）と式（２）に示す重みｗ、フィルタ係数ｗｊ、オフセット値ｂとｂｉを求め、特徴抽出部１１を用いて、入力画像Ａ１から入力画像Ａ１の特徴量ＦＡｉを算出する特徴抽出器ＦＥＡを作成する。また、識別部１２は、特徴抽出器ＦＥＡを用いて、対象画像の識別結果を算出する。
　識別部１２は、求めたそれぞれの重みｗ、フィルタ係数ｗｊ、オフセット値ｂとｂｉをメモリ９０に格納する。
（ｉｉｉ）識別根拠解析部１３
　式（１）にて非線形関数ｈを適用する前の結果ｚを用いて、識別根拠解析部１３は、式（３）および式（４）により、図７に示すような識別根拠（識別結果に対する各特徴量の寄与率（実数））を計算する。
　図７に示す例において、入力画像７１は、異常組織の領域７３と正常組織の領域７２を含む。領域７３および７２以外の領域も、正常組織の領域である。識別根拠７５は、異常組織の識別根拠の領域および正常組織の識別根拠の領域を示す。図７の例において、異常組織の識別根拠の領域は黒で示され、正常組織の識別根拠の領域は白又はドットパターンで示されている。領域７７は、異常組織の領域７３に含まれる、異常組織の識別根拠の領域である。領域７８は、異常組織の領域７３に含まれる、正常組織の識別根拠の領域である。領域７９は、正常組織の領域７２に含まれる、異常組織の識別根拠の領域である。
　式（３）において、Ｐはｐｊから構成される一つ前の層からの入力データ、Ｌは識別根拠の算出対象となる層のインデックスであり、ＣLはＬ層目の識別根拠、ＣL+1はＬ＋１層目の識別根拠を表す。また、Ｗ-1は式（１）のフィルタ係数ｗｊの行列の任意の次元を入れ替えて、任意の次元の向きを反転させた行列である。例えば、Ｗ-1は式（１）のフィルタ係数ｗｊの行列の１次元目（特徴量数）と２次元目（チャネル数）を入れ替えて、３次元目（垂直方向のサイズ）と４次元目（水平方向のサイズ）の向きを反転させた行列である。
Figure JPOXMLDOC01-appb-M000003
　また、識別器の層の中で最大値を取得する層（例えば、Ｍａｘ　Ｐｏｏｌｉｎｇ層等）の識別根拠は、各領域ｒｉが最大値となる画素のみが１、その他は０とする。したがって、例えば、出力層側の隣接層から入力された識別根拠が１となった画素にのみ識別根拠を伝播する。
　また、識別器の最終層（例えば、Ｌｏｇｉｓｔｉｃ　Ｒｅｇｒｅｓｓｉｏｎ層等）の入力データをＰLR、ｌａｂｅｌはｏｎｅ　ｈｏｔ　ｖｅｃｔｏｒ形式の教師信号とすると、式（４）を用いて、識別根拠を計算し、識別器の前の層に逆伝播される。
Figure JPOXMLDOC01-appb-M000004
（ｉｖ）自動原因分析部１４
　自動原因分析部１４は、識別根拠解析部１３で算出した識別根拠と手動で作成した教師画像もしくは領域分割部１８にて作成した教師画像を用いて、図８に示すように、誤識別の原因となっている領域を自動で分析する。教師画像（正解パターン）８１は、入力画像７１と同じ大きさのモノクロ画像であり、例えば、０又は１の値を取る。例えば、教師画像が０の領域は物体領域以外（例えば、正常組織領域等）、１の領域は物体領域（例えば、異常組織領域等）を表す。
　物体領域以外は物体領域以外の領域内の特徴量から識別されることが望ましく、物体領域を識別根拠とすることは望ましくない。また、物体領域（例えば、異常組織領域等）は物体領域（例えば、異常組織領域等）内の特徴量から識別されることが望ましく、物体領域以外の領域（例えば、正常組織領域等）を識別根拠とすることは望ましくない。
　したがって、自動原因分析部１４は、識別根拠解析部１３で算出した識別根拠７５と教師画像（正解パターン）８１の物体領域以外の領域および物体領域と照合し、不適切な領域に出現している識別根拠を誤識別原因として特定する。また、自動原因分析部１４は、誤識別原因を物体領域と物体領域以外の領域に分けて分析する。図８の例において、箇所８２は、異常組織領域において異常組織領域の識別根拠が不足している箇所を示し、箇所８３は、正常組織領域において異常組織領域の識別根拠を示している箇所を示す。
　自動原因分析部１４は、物体領域以外の領域に対する誤識別原因スコアｅbackと物体領域に対する誤識別原因スコアｅforeを式（５）と式（６）を用いて算出する。ただし、Ｃsumは識別根拠解析部１３が算出した入力画像内の物体領域に対する識別根拠、ｍａｓｋは教師画像を表す。ただし、物体領域以外の識別根拠Ｃsumを用いてもよいが、その場合、教師画像が０の領域は物体領域（例えば、異常組織領域等）、１の領域は物体領域以外（例えば、正常組織領域等）を表す。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　物体領域以外の領域に識別根拠Ｃsumが存在する場合、識別に適さない特徴量を識別の根拠にしている可能性があり、識別器の精度低下の原因になる可能性がある。したがって、自動原因分析部１４は、物体領域以外の領域に含まれる識別根拠Ｃsumを抽出し、物体領域以外の領域の誤識別原因のスコアｅbackを計算する。物体領域以外の領域に正の値の識別根拠が多く含まれるほどｅbackは大きな値となる。
　物体領域には、物体領域を識別するための特徴量が含まれる領域であり、物体領域に正の値の識別根拠Ｃsumが多く含まれることが望ましい。物体領域内の識別根拠Ｃsumが十分でない場合、物体の見逃しの原因となる可能性がある。したがって、自動原因分析部１４は、物体領域内に含まれる識別根拠Ｃsumの負数を用いて物体領域の誤識別原因のスコアｅforeを計算する。
　負の値の識別根拠や値の小さな識別根拠の割合が多いほどｅforeは大きな値となり、正の値の識別根拠の割合が多いほど、ｅforeは小さな値となる。また、自動原因分析部１４は、例えば式（７）と式（８）を用いて、物体領域外の識別根拠の質（識別根拠と教師画像の一致度）ｃｏｉｎbackや物体領域の識別根拠の質ｃｏｉｎforeを算出してもよい。ただし、Ｘは対象画像の水平画素数、Ｙは対象画像の垂直画素数を表す。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　一定数の評価画像を用いて、識別器毎に式（９）に示すｃｏｉｎallを算出し、ｃｏｉｎallを比較することで、識別器の性能を判定する。例えば、ｃｏｉｎallの値が大きいほど、識別器の性能はよいと判定する。
Figure JPOXMLDOC01-appb-M000009
（ｖ）識別根拠学習部１５
　識別根拠学習部１５は、自動原因分析部１４が算出した誤識別原因のスコアと識別部１２が算出した識別結果ｙを用いて、誤識別原因と推定した領域の識別根拠を修正するための識別根拠学習を行う。識別根拠学習では、複数のコストを使用する。例えば、３種類のコストを使用できる。識別根拠学習部１５は、１つ目は通常の機械学習で使用される式（１０）のＮｅｇａｔｉｖｅ　Ｌｏｇ　Ｌｉｋｅｌｉｈｏｏｄ（ｎｌｌ）、２つ目は、式（１１）に示す物体領域以外の領域内の誤識別原因に関するコストｃｇｌback、３つ目は、式（１２）に示す物体領域内の誤識別原因に関するコストｃｇｌforeを使用する。ただし、式（１０）のｌａｂｅｌは物体領域以外、物体領域を示す教師ラベル（例えば、物体領域以外を０、物体領域を１）を表す。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　自動原因分析部１４で算出した誤識別原因のスコアｅbackは、識別根拠とすべきではない物体領域以外の領域に含まれている識別根拠を表す。したがって、識別根拠学習部１５は、自動原因分析部１４で算出したｅbackの平均値をコストｃｇｌbackとすることで、ｅbackの値が小さくなるように機械学習が進み、物体領域以外の領域内の識別根拠を抑制する。また、誤識別原因のスコアｅforeは、物体領域内の識別根拠の値が低い領域を表す。したがって、識別根拠学習部１５は、自動原因分析部１４で算出したｅforeの平均値をコストｃｇｌforeとすることで、物体領域内の識別根拠を増大させる。
　識別根拠学習部１５は、式（１３）に示すように、３つのコストの総和を総合コストｃｏｓｔとし、ｃｏｓｔを小さくするように機械学習を行い、自動原因分析部１４で求めた誤識別原因の領域の識別根拠を修正しつつ、特徴抽出部１１と識別部１２のパラメータを更新して、高精度に物体を識別可能な識別器を作成する。
Figure JPOXMLDOC01-appb-M000013
（ｖｉ）出力部１６
　出力部１６は、作成した識別器が求めた識別結果ｙを用いて、一例として、図９Ａや図９Ｂに示すＧＵＩ（グラフィカルユーザインタフェース）にて、物体らしさ判定（例えば、病変らしさ判定）の結果、識別根拠および識別根拠の質を表示する。
　図９Ａに示す画面は、例えば、識別器の利用時に表示される。図９Ａは乳房の場合の一例を示し、非腫瘍、腫瘍（異常組織、異常細胞等）の分類結果を示す図である。図９Ａの画面例は、分類結果９１、物体らしさ（腫瘍らしさ）９２、画像表示ボタン９３、および識別理由表示ボタン９４を表示する。画像表示ボタン９３がユーザにより押されると、例えば、入力画像が表示される。識別理由表示ボタン９４が押されると、識別理由が表示される。
　図９Ａの例では、識別部１２は、乳房について、入力された対象画像に異常組織・細胞である腫瘍を含むと分類し、腫瘍の物体らしさの値を０．８９と算出している。
　図９Ｂは、例えば、識別器の学習時又は利用時に表示される。図９Ｂは、入力画像ならびに入力画像に対する識別根拠および識別根拠の質を表示した例である。図９Ｂは、非腫瘍の識別根拠の質を０．９６、腫瘍の識別根拠の質を０．９３と算出した例を示す。図９Ｂの画面は、例えば、図９Ａに示す画像表示ボタン９３や識別理由表示ボタン９４の操作に応じて表示されてよく、図９Ａの画面とは独立に表示されてもよい。
　また、出力部１６は、入力部１０から未知の画像が入力され、各識別器での識別結果を表示する場合、画像内の物体を物体（例えば、異常組織や異常細胞）と判定された場合、図１０Ａに示すように、検出すべき物体の箇所（例えば、異常組織や異常細胞が疑われる箇所等）を示すために、入力した対象画像１０１内に検出枠１０２を描画してもよい。一方、正常組織や正常細胞と判定された場合は、検出枠１０２を入力した対象画像１０１上に描画せず、入力した対象画像１０１をそのまま表示してもよい。また、図１０Ａに示すように、判定した物体らしさの結果（例えば、腫瘍）を表示する。
　また、出力部１６は、算出した各識別器の性能値ｃｏｉｎallを用いて、一例として、図１０Ｂに示すように、各識別器の性能を判定し、識別器の性能の判定結果を表示する。図１０Ｂは、例えば、識別器の学習時又は利用時に表示される。図１０Ｂは、識別器Ａの性能値を１．９７、識別器Ｂの性能値を１．６５、識別器の性能判定結果を識別器Ａと表示した例である。
　出力部１６は、識別器生成装置１としては必須の構成ではなく、画像診断支援装置に出力部が含まれる場合には、識別器生成装置１は出力部１６を保持していなくてもよい。
（ｖｉｉ）記録部１７
　記録部１７は、入力画像（学習画像、評価画像等）、教師画像、特徴抽出部１１と識別部１２によって生成された識別器の各パラメータと識別結果と識別値、識別根拠解析部１３によって生成された識別根拠（識別結果に対する各特徴量の寄与率（実数））をメモリ９０に記憶している。記録部１７は、さらに、自動原因分析部１４によって生成された識別根拠と教師画像の不一致箇所（改善箇所）と識別器のネットワーク内の特徴量の改善箇所と識別根拠の質（識別根拠と教師画像の一致度）をメモリ９０に記憶している。また、記録部１７は、識別根拠学習部１５によって更新された識別器（識別に必要な特徴抽出部１１と識別部１２の各パラメータ（フィルタ係数、重み、オフセット値等））、領域分割部１８で生成した教師画像等、出力部１６によって生成された表示情報等をメモリ９０に記憶している。
　領域分割部１８は、Ｕ－Ｎｅｔ等の領域分割方式を用いて、入力画像内の各画素を各領域（例えば、物体領域、物体領域以外等）に分割し、教師画像を作成する。
　＜識別器生成装置の処理手順＞
　図１１は、本明細書の実施形態による識別器生成装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部１１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えてもよい。
（ｉ）ステップ１１０１
　入力部１０は、学習画像を受け付け、当該入力画像を特徴抽出部１１に出力する。
（ｉｉ）ステップ１１０２
　特徴抽出部１１は、機械学習によって、上述の式１により、フィルタを用いて入力画像Ａ１の物体（例えば、組織や細胞等）の特徴量ＦＡｉを求め、特徴抽出器ＦＥＡを作成する。特徴抽出部１１は、特徴量ＦＡｉについて、フィルタ係数ｗｊ、オフセット値ｂｉを求める。
（ｉｉｉ）ステップ１１０３
　識別部１２は、機械学習によって、式２により、特徴量ＦＡｉから識別結果を求め、物体らしさ（例えば、病変らしさ等）の識別値を算出して、入力画像Ａ１内の物体が検出すべき物体か否か（例えば、正常細胞、もしくは異常細胞等）を判定するように、識別値を求めるための式２の各パラメータ（重みｗ、オフセット値ｂ等）を求める。
（ｉｖ）ステップ１１０４
　識別根拠解析部１３は、式３、式４により、対象画像の識別根拠を求める。
（ｖ）ステップ１１０５
　自動原因分析部１４は、式５、式６により、識別根拠解析部１３が算出した識別根拠と教師画像を用いて、誤識別原因スコアｅbackとｅforeを算出し、式７、式８により、識別根拠の質ｃｏｉｎbackとｃｏｉｎforeを求める。
（ｖｉ）ステップ１１０６
　識別根拠学習部１５は、式９、式１０、式１１により、式１２の総合コストｃｏｓｔを算出し、ｃｏｓｔが小さくなるように機械学習を用いてフィルタ係数ｗｊ、重みｗとオフセットｂｉ、ｂを更新し、識別器を作成する。
（ｖｉｉ）ステップ１１０７
　記録部１７は、式１および式２の各パラメータ（フィルタ係数ｗｊ、重みｗ、オフセット値ｂｉ、ｂ等）、識別根拠および識別根拠の質をメモリ９０に保存する。
　第１の実施形態によれば、機械学習時に、識別器のパラメータを更新しつつ識別器の識別根拠を解析し、教師画像と識別根拠を用いて識別器の誤識別原因を自動分析し、さらに、その分析結果を識別器の作成に反映する識別根拠学習を行って識別器を更新することで、画像内の物体（例えば、異常組織等）を高精度に識別可能な識別器を作成することが可能となる。
　また、対象画像の識別の理由を示す識別根拠や識別器の正確性を示す識別根拠の質を提示することが可能となる。
（２）第２の実施形態
　第２の実施形態に係る画像診断支援装置２は、図１２に示すように、第１の実施形態の図１の識別器生成装置１と同じ構成を多く含むが、第１の実施形態と異なり、識別根拠学習部１５を含まず、領域分割部１８、特徴抽出部２１、識別部２２、識別根拠解析部２３および自動原因分析部２４を含む。従って、ここでは図１と異なる構成について説明をする。
　本明細書の一実施形態の画像診断支援装置２は、メモリから識別器の各パラメータを読込み、領域分割部１８は、領域分割によって評価画像の教師画像を作成する。さらに、識別根拠解析部２３は、評価画像の識別根拠を解析する。自動原因分析部２４は、教師画像と識別根拠を用いて識別器の誤識別原因を自動分析して評価画像の識別根拠の質を解析することで、評価画像内の物体（例えば、組織・細胞等）の識別結果、識別根拠および識別根拠の質を提示する。
　＜各部の構成と動作＞
　以下、図１と異なる各要素の構成と動作について詳細に説明する。
（ｉ）領域分割部１８
　領域分割部１８は、評価画像内の物体領域と物体領域以外等を分割するセグメンテーションモデル（例えば、Ｕ－Ｎｅｔ等）を用いて、評価画像を領域分割し、教師画像を作成する。
（ｉｉ）特徴抽出部２１
　特徴抽出部２１は、メモリ９０から学習済みの特徴抽出器の各パラメータを読込み、特徴抽出器を用いて、式１により、評価画像の特徴量ＦＡｉを算出する。
（ｉｉｉ）識別部２２
　識別部２２は、メモリ９０から学習済みの識別器の各パラメータを読込み、識別器を用いて、式２により、特徴量ＦＡｉから評価画像を識別し、識別結果ｙ、識別値を算出する。
（ｉｖ）識別根拠解析部２３
　識別根拠解析部２３は、式３、式４により、評価画像の識別根拠を求める。
（ｖ）自動原因分析部２４
　自動原因分析部２４は、式５、式６により、識別根拠解析部２３が算出した識別根拠と領域分割部１８が求めた評価画像の教師画像（正解パターン）を用いて、識別根拠と教師画像の不一致箇所（改善箇所）、誤識別原因スコアおよび識別根拠の質（識別根拠と教師画像の一致度）を算出する。
　＜画像診断支援装置のハードウェア構成＞
　本明細書の実施形態による画像診断支援装置２のハードウェア構成例は、図２と同様の構成を有するが、第１の実施形態に係る識別器生成装置１と異なり、メモリ２０２に領域分割部１８、特徴抽出部２１、識別部２２、識別根拠解析部２３および自動原因分析部２４を格納する。
　画像診断支援装置２の補助記憶装置２０３は、識別部２２で求めた識別結果ｙ、識別根拠解析部２３によって求めた識別根拠、自動原因分析部２４で求めた識別根拠の質等を記憶している。
　＜画像診断支援装置の処理手順＞
　図１３は、本明細書の実施形態による画像診断支援装置２の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部２１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えてもよい。
（ｉ）ステップ１３０１
　入力部１０は、評価画像を受け付け、当該入力画像を特徴抽出部２１に出力する。
（ｉｉ）ステップ１３０２
　特徴抽出部２１は、メモリ９０から学習済みの特徴抽出器ＦＥＡのフィルタ係数ｗｊ、オフセット値ｂｉを読込み、上述の式１により、フィルタを用いて入力画像Ａ１の物体（例えば、組織や細胞等）の特徴量ＦＡｉを求める。
（ｉｉｉ）ステップ１３０３
　識別部２２は、メモリ９０から学習済みの識別器の各パラメータ（重みｗ、オフセット値ｂ等）を読込み、式２により、特徴量ＦＡｉから識別結果を求め、物体らしさ（例えば、病変らしさ等）の識別値を算出して、入力画像Ａ１内の物体が検出すべき物体か否か（例えば、正常細胞、もしくは異常細胞等）を判定する。
（ｉｖ）ステップ１３０４
　識別根拠解析部２３は、式３、式４により、対象画像の識別根拠を求める。
（ｖ）ステップ１３０５
　自動原因分析部２４は、式５、式６により、識別根拠解析部２３が算出した識別根拠と領域分割部１８が求めた対象画像の教師画像を用いて、誤識別原因スコアｅbackとｅforeを算出し、式７、式８により、識別根拠の質ｃｏｉｎbackとｃｏｉｎforeを求める。
（ｖｉ）ステップ１３０６
　記録部１７は、識別結果、識別値、識別根拠および識別根拠の質をメモリ９０に保存する。
　第２の実施形態によれば、メモリから識別器の各パラメータを読込み、領域分割によって評価画像の教師画像を作成し、さらに、評価画像の識別根拠を解析しつつ教師画像と識別根拠を用いて識別器に基づいて評価画像の識別根拠の質を解析することで、評価画像内の物体（例えば、組織・細胞等）の識別結果、識別根拠および識別根拠の質を提示することが可能となる。
　また、識別器を他施設等の別な識別器に変更して、評価画像の識別根拠および識別根拠の質を提示することで、他で作成された識別器の性能を判定することが可能となる。また、複数の識別器を切替えて評価画像の識別根拠および識別根拠の質を提示することで、どの識別器を使えば、評価画像内の物体を高精度に識別できるかを判定することが可能となる。
（３）第３の実施形態
　図１４は、本明細書の第３の実施形態による遠隔診断支援システム１４００の構成を示す機能ブロック図である。遠隔診断支援システム１４００は、サーバ１４０３と、画像取得装置１４０５と、を有する。サーバ１４０３は、例えば、１又は複数の計算機で構成できる。
　画像取得装置１４０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置であり、画像データを撮影する撮像部１４０１と、サーバ１４０３から伝送されてきた識別／判定結果を表示するための表示部１４０４と、を有している。なお、画像取得装置１４０５は、図示されてはいないが、画像データをサーバ１４０３に送信したり、サーバ１４０３から送信されてきたデータを受信したりする通信デバイスを有している。
　サーバ１４０３は、画像取得装置１４０５から伝送されてきた画像データ（入力画像、教師画像）に対して、本明細書の第１の実施形態による識別器生成装置１を用いて識別器を作成し、作成した識別器を用いて画像処理を行う画像診断支援装置２と、画像診断支援装置２から出力された識別／判定結果、識別根拠／識別根拠の質等を格納する格納部１４０２と、を有している。なお、サーバ１４０３は、図示されてはいないが、画像取得装置１４０５から送信されてきた画像データを受信したり、画像取得装置１４０５に識別／判定結果、識別根拠／識別根拠の質等のデータを送信したりする通信デバイスを有している。
　画像診断支援装置２は、識別器生成装置１で求めた識別器を用いて、撮像部１４０１で撮影した画像データ内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞（例：がん）等）の有無を分類する。表示部１４０４は、サーバ１４０３から伝送された識別／判定結果、識別根拠／識別根拠の質等のデータを、画像取得装置１４０５の表示画面に表示する。
　画像取得装置１４０５として、撮影部を有する再生医療装置やｉＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。
　第３の実施形態によれば、地点の異なる施設等から伝送された画像内の物体（例えば、組織や細胞等）について、識別器生成装置１で求めた識別器の各パラメータを用いて検出すべき物体（異常組織や異常細胞等）か否かを精度よく分類し、識別／判定結果、識別根拠／識別根拠の質等のデータを地点の異なる施設等に伝送して、その施設等にある画像取得装置の表示部で識別／判定結果、識別根拠／識別根拠の質等のデータを表示することで、遠隔診断支援システムを提供することが可能となる。
（４）第４の実施形態
　図１５は、本明細書の第４の実施形態によるネット受託サービス提供システム１５００の構成を示す機能ブロック図である。ネット受託サービス提供システム１５００は、サーバ１５０３と、画像取得装置１５０５と、を有している。サーバ１５０３は、例えば、１又は複数の計算機で構成できる。
　画像取得装置１５０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置である。画像取得装置１５０５は、画像データを撮影する撮像部１５０１と、サーバ１５０３から伝送された識別器を格納する格納部１５０４と、画像診断支援装置２とを有している。画像診断支援装置２は、サーバ１５０３から伝送された識別器を読込んで、画像取得装置１５０５の撮像部１５０１にて新たに撮影した画像内の物体（例えば、組織や細胞等）について、本明細書の第１の実施形態による識別器生成装置１から求めた識別器を用いて、検出すべき物体（例えば、異常組織や異常細胞等）か否かを分類する。なお、画像取得装置１５０５は、図示されてはいないが、画像データをサーバ１５０３に送信したり、サーバ１５０３から送信されてきたデータを受信したりする通信デバイスを有している。
　サーバ１５０３は、画像取得装置１５０５から伝送されてきた画像データに対して、本明細書の第１の実施形態による識別器生成装置１から識別器の作成を行い、識別器生成装置１から出力された識別器を格納する格納部１５０２と、を有している。また、サーバ１５０３は、オペレータにより、教師画像の入力指定を受け付けたり、もしくは領域分割部１８を用いて教師画像を作成する。また、サーバ１５０３は、識別器生成装置１の各出力（識別／判定結果、識別根拠および識別根拠の質等）をオペレータに提示する。なお、サーバ１５０３は、図示されてはいないが、画像取得装置１５０５から送信されてきた画像データを受信したり、画像取得装置１５０５に識別器を送信したりする通信デバイスを有している。
　尚、識別器生成装置１は、撮像部１５０１で撮影した画像データ内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、正常の組織や細胞は正常の組織や細胞、異常の組織や細胞は異常の組織や細胞等）と判定するように機械学習を行い、地点の異なる施設等の画像内の物体（例えば、組織・細胞等）の特徴量を算出する識別器を作成する。格納部１５０４は、サーバ１５０３から伝送された識別器等を格納する。
　画像取得装置１５０５内の画像診断支援装置２は、格納部１５０４から識別器等を読込み、その識別器を用いて、画像取得装置１５０５の撮像部１５０１にて新たに撮影した画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞等）か否かを分類し、画像診断支援装置２の出力装置２０４の表示画面に識別／判定結果、識別根拠／識別根拠の質等のデータを表示する。
　画像取得装置１５０５として、撮影部を有する再生医療装置やｉＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。
　第４の実施形態によれば、地点の異なる施設等から伝送された画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、正常の組織や細胞は正常の組織や細胞、異常の組織や細胞は異常の組織や細胞等）と分類するように機械学習を行って識別器等を作成し、識別器等を地点の異なる施設等に伝送して、その施設等にある画像取得装置にて識別器を読込み、新たに撮影した画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞等）か否かを分類することで、ネット受託サービス提供システムを提供することが可能となる。
　以上説明した各実施形態については、次のような変形が可能である。特徴抽出部１１では、機械学習によりフィルタを用いて複数特徴量を求めたが、ＨＯＧ等の他の特徴量を用いてもよく、同様の効果を有する。また、識別部１２では、損失関数（コスト）としてＮｅｇａｔｉｖｅ　ｌｏｇ　ｌｉｋｅｌｉｈｏｏｄを用いたが、２乗誤差やＨｉｎｇｅ　ｌｏｓｓ等を用いてもよく、同様の効果を有する。
　本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
　また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
　さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
　最後に、ここで述べたプロセスおよび技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、およびファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ等の広範囲のプログラム又はスクリプト言語で実装できる。
　さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
　加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書および実施形態の考察から明らかになる。記述された実施形態の多様な態様および／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。

Claims (14)

  1. 　対象画像に対して画像処理するためのプログラムを実行するプロセッサと、
    　前記プログラムおよび前記画像処理の結果を格納するためのメモリと、を含み、
    　前記メモリは、前記対象画像と識別器とを格納し、
    　前記プロセッサは、
    　前記識別器を用いて、前記対象画像から前記対象画像の特徴量を抽出し、
    　前記識別器を用いて、前記特徴量から前記対象画像を識別して識別値を決定し、
    　前記特徴量と前記識別値を用いて識別根拠を決定し、
    　前記識別根拠と教師画像を用いて改善箇所を決定し、
    　前記改善箇所に基づき前記識別器を更新する、識別器生成装置。
  2. 　請求項１に記載の識別器生成装置であって、
    　前記プロセッサは、前記改善箇所の決定において、前記識別器の誤識別原因を分析し、分析結果および前記対象画像の識別根拠の質を作成する、識別器生成装置。
  3. 　請求項１に記載の識別器生成装置であって、
    　前記プロセッサは、前記識別器の更新において前記識別器の識別結果に基づくコストおよび前記識別根拠と前記教師画像に基づくコストを用いる、識別器生成装置。
  4. 　対象画像に対して画像処理するためのプログラムを実行するプロセッサと、
    　前記プログラムおよび前記画像処理の結果を格納するためのメモリと、を含み、
    　前記メモリは、前記対象画像と識別器を格納し、
    　前記プロセッサは、
    　前記識別器を用いて、前記対象画像から、前記対象画像の特徴量を抽出し、
    　前記識別器を用いて、前記特徴量から前記対象画像を識別して識別値を決定し、
    　前記特徴量と前記識別値を用いて識別根拠を決定し、
    　前記識別根拠と教師画像を用いて前記識別器の改善箇所を決定し、
    　前記識別根拠および前記改善箇所に基づく情報を提示する、画像診断支援装置。
  5. 　請求項４に記載の画像診断支援装置であって、
    　前記プロセッサは、
    　前記改善箇所の決定において、前記識別器の誤識別原因を分析し、分析結果および前記対象画像の識別根拠の質を作成し、
    　前記提示する情報に前記識別根拠の質を含める、画像診断支援装置。
  6. 　請求項４に記載の画像診断支援装置であって、
    　前記提示する情報は、前記対象画像と前記対象画像の識別根拠の質を含み、
    　前記プロセッサは、前記改善箇所の決定において、各識別器の性能値を比較し、識別器の性能を判定して判定結果の情報を提示する、画像診断支援装置。
  7. 　システムが、対象画像において所望の物体を分類する識別器を作成する、識別器生成方法であって、
    　前記システムは、
    　対象画像に対して画像処理するためのプログラムを実行するプロセッサと、
    　前記プログラムおよび前記画像処理の結果を格納するためのメモリと、を含み、
    　前記メモリは、前記対象画像および識別器を格納し、
    　前記識別器生成方法は、前記プロセッサが、
    　前記識別器を用いて、前記対象画像から前記対象画像の特徴量を抽出し、
    　前記識別器を用いて、前記特徴量から前記対象画像を識別して識別値を決定し、
    　前記特徴量と前記識別値を用いて識別根拠を決定し、
    　前記識別根拠と教師画像を用いて前記識別器の改善箇所を決定し、
    　前記改善箇所に基づき前記識別器を更新する、識別器生成方法。
  8. 　請求項７に記載の識別器生成方法であって、
    　前記改善箇所の決定は、前記識別器の誤識別原因を分析し、分析結果および前記対象画像の識別根拠の質を作成する、識別器生成方法。
  9. 　請求項７に記載の識別器生成方法であって、
    　前記識別器の更新は、前記識別器の識別結果に基づくコストおよび前記識別根拠と前記教師画像に基づくコストを用いる、識別器生成方法。
  10. 　システムが、対象画像において所望の物体を分類する画像診断支援方法であって、
    　前記システムは、
    　対象画像に対して画像処理するためのプログラムを実行するプロセッサと、
    　前記プログラムおよび前記画像処理の結果を格納するためのメモリと、を含み、
    　前記メモリは、前記対象画像および識別器を格納し、
    　前記画像診断支援方法は、前記プロセッサが、
    　前記識別器を用いて、前記対象画像から、前記対象画像の特徴量を抽出し、
    　前記識別器を用いて、前記特徴量から前記対象画像を識別して識別値を決定し、
    　前記特徴量と前記識別値を用いて識別根拠を決定し、
    　前記識別根拠と教師画像を用いて前記識別器の改善箇所を決定し、
    　前記識別根拠および前記改善箇所に基づく情報を提示する、画像診断支援方法。
  11. 　請求項１０に記載の画像診断支援方法であって、
    　前記改善箇所の決定は、前記識別器の誤識別原因を分析し、分析結果および前記対象画像の識別根拠の質を作成し、
    　前記提示する情報は前記識別根拠の質を含む、画像診断支援方法。
  12. 　請求項１０に記載の画像診断支援方法であって、
    　前記提示する情報は、前記対象画像と前記対象画像の識別根拠の質を含み、
    　前記改善箇所の決定において、各識別器の性能値を比較し、識別器の性能を判定して判定結果の情報を提示する、画像診断支援方法。
  13. 　画像データを撮影する撮像装置を有する画像取得装置と、
    　請求項１に記載の識別器生成装置と、
    　画像診断支援装置と、を含み、
    　前記画像取得装置は、前記識別器生成装置に前記画像データを送信し、
    　前記識別器生成装置は、受信した前記画像データを用いて識別器を生成し、
    　前記画像診断支援装置は、前記識別器と前記画像取得装置からの物体の画像とを取得し、
    　前記識別器を用いて、前記物体の画像から、前記物体の画像の特徴量を抽出し、
    　前記識別器を用いて、前記特徴量から前記物体を識別して識別値および識別結果を決定し、
    　前記特徴量と前記識別値を用いて識別根拠を決定し、
    　前記識別根拠と教師画像を用いて前記識別器の改善箇所を決定し、
    　前記識別結果と、前記識別根拠および前記改善箇所に基づく情報とを前記画像取得装置に送信し、
    　前記画像取得装置は、前記物体の画像、前記識別結果、ならびに前記識別根拠および前記改善箇所に基づく情報を、表示装置に表示する遠隔診断支援システム。
  14. 　画像データを撮影する撮像装置および画像診断支援装置を含む画像取得装置と、
    　請求項１に記載の識別器生成装置と、を含み、
    　前記画像取得装置は、前記識別器生成装置に前記画像データを送信し、
    　前記識別器生成装置は、受信した前記画像データを用いて識別器を生成し、
    　前記識別器生成装置は、前記生成した識別器を前記画像取得装置に送信し、
    　前記画像取得装置は、受信した前記識別器をメモリに格納し、
    　前記画像診断支援装置は、
    　前記識別器と前記撮像装置からの物体の画像とを取得し、
    　前記識別器を用いて、前記物体の画像から、前記物体の画像の特徴量を抽出し、
    　前記識別器を用いて、前記特徴量から前記物体を識別して識別値および識別結果を決定し、
    　前記特徴量と前記識別値を用いて識別根拠を決定し、
    　前記識別根拠と教師画像を用いて前記識別器の改善箇所を決定し、
    　前記物体の画像、前記識別結果、および前記識別根拠および前記改善箇所に基づく情報を表示装置に表示する、受託サービス提供システム。
PCT/JP2023/021065 2022-06-21 2023-06-06 識別器生成装置および画像診断支援装置 WO2023248788A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-099357 2022-06-21
JP2022099357A JP2024000600A (ja) 2022-06-21 2022-06-21 識別器生成装置および画像診断支援装置

Publications (1)

Publication Number Publication Date
WO2023248788A1 true WO2023248788A1 (ja) 2023-12-28

Family

ID=89379921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021065 WO2023248788A1 (ja) 2022-06-21 2023-06-06 識別器生成装置および画像診断支援装置

Country Status (2)

Country Link
JP (1) JP2024000600A (ja)
WO (1) WO2023248788A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020194446A (ja) * 2019-05-29 2020-12-03 株式会社アーク情報システム プログラム、情報処理方法及び情報処理装置
JP2021140270A (ja) * 2020-03-02 2021-09-16 オムロン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2021152692A (ja) * 2020-03-24 2021-09-30 国立大学法人埼玉大学 教師データ生成装置、教師データ生成用プログラム、画像認識装置、及び画像認識用プログラム
JP2021189960A (ja) * 2020-06-03 2021-12-13 株式会社日立ハイテク 画像診断方法、画像診断支援装置、及び計算機システム
WO2022059315A1 (ja) * 2020-09-15 2022-03-24 国立研究開発法人国立がん研究センター 画像符号化装置、方法およびプログラム、画像復号化装置、方法およびプログラム、画像処理装置、学習装置、方法およびプログラム、並びに類似画像検索装置、方法およびプログラム
JP2022080063A (ja) * 2020-11-17 2022-05-27 住友ゴム工業株式会社 タイヤの計測値の推定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020194446A (ja) * 2019-05-29 2020-12-03 株式会社アーク情報システム プログラム、情報処理方法及び情報処理装置
JP2021140270A (ja) * 2020-03-02 2021-09-16 オムロン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2021152692A (ja) * 2020-03-24 2021-09-30 国立大学法人埼玉大学 教師データ生成装置、教師データ生成用プログラム、画像認識装置、及び画像認識用プログラム
JP2021189960A (ja) * 2020-06-03 2021-12-13 株式会社日立ハイテク 画像診断方法、画像診断支援装置、及び計算機システム
WO2022059315A1 (ja) * 2020-09-15 2022-03-24 国立研究開発法人国立がん研究センター 画像符号化装置、方法およびプログラム、画像復号化装置、方法およびプログラム、画像処理装置、学習装置、方法およびプログラム、並びに類似画像検索装置、方法およびプログラム
JP2022080063A (ja) * 2020-11-17 2022-05-27 住友ゴム工業株式会社 タイヤの計測値の推定方法

Also Published As

Publication number Publication date
JP2024000600A (ja) 2024-01-09

Similar Documents

Publication Publication Date Title
JP7458328B2 (ja) マルチ分解能登録を介したマルチサンプル全体スライド画像処理
CN110648322B (zh) 一种子宫颈异常细胞检测方法及系统
WO2018189541A1 (en) Recist assessment of tumour progression
US11676268B2 (en) Image diagnosis assisting apparatus, image diagnosis assisting system and image diagnosis assisting method
KR102045223B1 (ko) 골 연령 분석 방법, 장치 및 컴퓨터 프로그램
CN113261012B (zh) 处理图像的方法、装置及系统
CN113793336B (zh) 一种检测血细胞的方法、装置、设备及可读存储介质
GB2602581A (en) Automatic detection and replacement of identifying information in images using machine learning
US11972560B2 (en) Machine learning device, image diagnosis support device, machine learning method and image diagnosis support method
CN111612749B (zh) 基于肺部影像的病灶检测方法和装置
US20230177699A1 (en) Image processing method, image processing apparatus, and image processing system
WO2023248788A1 (ja) 識別器生成装置および画像診断支援装置
WO2021065937A1 (ja) 機械学習装置
WO2021246013A1 (ja) 画像診断方法、画像診断支援装置、及び計算機システム
Möller et al. Analysis of Arabidopsis Root Images--Studies on CNNs and Skeleton-Based Root Topology
WO2022185905A1 (ja) 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム
KR20230120992A (ko) 어노테이션을 위한 의료 데이터 선별 방법 및 장치
CN114581708A (zh) 医学图像中的目标识别的模型训练装置及识别装置
CN113420655A (zh) 基于能量模型的医学影像阴阳性筛查方法、系统、及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23826975

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)