WO2020026341A1 - 画像解析装置および画像解析方法 - Google Patents

画像解析装置および画像解析方法 Download PDF

Info

Publication number
WO2020026341A1
WO2020026341A1 PCT/JP2018/028664 JP2018028664W WO2020026341A1 WO 2020026341 A1 WO2020026341 A1 WO 2020026341A1 JP 2018028664 W JP2018028664 W JP 2018028664W WO 2020026341 A1 WO2020026341 A1 WO 2020026341A1
Authority
WO
WIPO (PCT)
Prior art keywords
category
image
local area
local
calculation unit
Prior art date
Application number
PCT/JP2018/028664
Other languages
English (en)
French (fr)
Inventor
健郎 大澤
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201880096075.0A priority Critical patent/CN112513926A/zh
Priority to JP2020533937A priority patent/JP6984020B2/ja
Priority to PCT/JP2018/028664 priority patent/WO2020026341A1/ja
Publication of WO2020026341A1 publication Critical patent/WO2020026341A1/ja
Priority to US17/159,299 priority patent/US20210150712A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to a technique for analyzing an input image.
  • Patent Document 1 An image analysis technique that locally analyzes a subject image and determines whether each of a plurality of local areas in an image is an abnormal area or a normal area without abnormality is known (Patent Document 1, Non-Patent Document 1). Patent Document 1). In this image analysis technique, it is determined whether the image as an entire image is an abnormal image including an abnormal region or a normal image not including an abnormal region, based on an analysis result for each local region. By specifying the abnormal image and presenting the specified abnormal image to the observer of the image, efficient observation by the observer can be supported.
  • An image analysis technique has been proposed in which a plurality of local regions in an image are classified into categories using a neural network (see Non-Patent Document 2).
  • this image analysis technique the probability that each of a plurality of categories corresponds to each local region is estimated, the category with the highest probability is specified, and determined as the local region category.
  • Estimate local area categories with high accuracy by preparing a large number of data sets of input images and correct categories of multiple local areas obtained by dividing the input image, and supervised learning of neural network parameters (weight and bias). Parameters to be obtained.
  • the image is determined to be an abnormal image, and at least one of the local regions is classified as an abnormal region. If no local region exists, the image is determined to be a normal image.
  • the image is determined to be a normal image.
  • an image that does not include a lesion is erroneously determined as an abnormal image is necessarily increased by the raising process. If an image containing no lesion is presented to a pathologist as an abnormal image, the pathologist will exclusively search for a non-existing lesion over time, resulting in a loss of time. For this reason, erroneously determining an image that does not include a lesion as an abnormal image is not allowed because it does not assist a pathologist in performing image diagnosis, but rather hinders rapid image diagnosis. Therefore, a technique for calculating the category of an image with high accuracy is desired.
  • the category of the local region may be output as a result of a visualization process such as coloring the position of the local region classified as an abnormal region.
  • a visualization process such as coloring the position of the local region classified as an abnormal region.
  • the present invention has been made in such a situation, and one of exemplary purposes of the embodiment is to analyze an input image, calculate an image category with high accuracy, and use a local area useful for image observation by a user. It is an object of the present invention to provide a technology for outputting a category.
  • an image analysis apparatus includes a first local area category calculation unit that calculates a first local area category of an input image, and an image category based on the first local area category.
  • An image category output unit that outputs an image category
  • a second local region category calculation unit that calculates a second local region category of the input image
  • Another aspect of the present invention is an image analysis method.
  • the method includes calculating a first local area category of the input image, calculating an image category from the first local area category, outputting the image category, and calculating a second local area of the input image. Calculating a region category; and outputting a second local region category.
  • FIG. 1 is a diagram illustrating a configuration of an image analysis system according to an embodiment. It is a figure showing an example of a pathology image.
  • FIG. 9 is a diagram illustrating an example of a pathological image including an abnormal region. It is a figure showing composition of CNN.
  • FIG. 1 is a diagram illustrating a configuration of an image analysis device according to a first embodiment. It is a figure showing the example of an output of the 1st local field category.
  • FIG. 14 is a diagram illustrating an output example of an image category and a second local area category.
  • FIG. 9 is a diagram illustrating a configuration of an image analysis device according to a second embodiment.
  • FIG. 9 is a diagram illustrating a configuration of an image analysis device according to a third embodiment.
  • FIG. 14 is a diagram illustrating a configuration of an image analysis device according to a fourth embodiment.
  • FIG. 14 is a diagram illustrating a configuration of an image analysis device according to a fifth embodiment.
  • FIG. 14 is a diagram illustrating a configuration of an image analysis device according to a sixth embodiment.
  • FIG. 14 is a diagram illustrating a configuration of an image analysis device according to a seventh embodiment.
  • FIG. 14 is a diagram illustrating a configuration of an image analysis device according to an eighth embodiment.
  • FIG. 1 shows a configuration of an image analysis system 1 according to the embodiment.
  • the image analysis system 1 includes an image supply unit 10, an image analysis device 20, and a display device 40.
  • the image supply unit 10 supplies an input image to the image analysis device 20.
  • the image analysis device 20 divides the input image into a plurality of local regions, calculates a category of each of the plurality of local regions, and calculates a category of the entire image from the plurality of local region categories.
  • the input image of the embodiment may be a pathological diagnosis image (pathological image) obtained by magnifying and photographing a pathological specimen (tissue) on a slide glass through a microscope.
  • the pathological image is a color image composed of three channels of RGB, and may have different image sizes (vertical and horizontal pixels) according to the size of the pathological specimen.
  • FIG. 2 shows an example of a pathological image.
  • the pathological image includes a tissue region where the pathological specimen is photographed and a background region where the slide glass on which the pathological specimen is not placed is photographed.
  • the tissue region includes a normal region that does not include a lesion image if there is no lesion such as cancer.
  • This pathological image is divided into 12 parts in the horizontal and vertical directions, and is divided into a total of 144 local areas.
  • FIG. 3 shows an example of a pathological image including an abnormal region.
  • the tissue region is composed of a normal region containing no lesion and an abnormal region containing the lesion.
  • the abnormal region is shown in FIG. 3 as a continuous region having a certain size, the size of the region varies and may be the size of one cell.
  • the image analysis device 20 divides the input image into a plurality of local regions, and calculates a category for each of the plurality of local regions.
  • the local area is composed of one or more continuous pixels.
  • the category of each local area is a category indicating normal (normal area category), a category indicating lesion (abnormal area category), and a category indicating background area (background area category). Is set to one of
  • the image analysis device 20 analyzes the image of the local region and its peripheral region, and calculates the probability of each category of the local region (probability of being a category of the local region).
  • the horizontal axis is the X axis
  • the vertical axis is the Y axis
  • the position of the local region is represented by (X coordinate, Y coordinate).
  • the image analysis device 20 executes a probability changing process for adjusting the calculated probability of each category according to the purpose.
  • the probability changing process is a process of calculating and changing the calculated probability, and may add, subtract, multiply, or divide a predetermined value to the calculated probability.
  • the probability changing process may be performed on the probabilities of all categories. Since the image analysis device 20 according to the embodiment sets the abnormal region category as the detection target category, the probability changing process may be performed only on the probability of the abnormal region category.
  • the image analysis device 20 specifies, for each local region, the category having the highest probability from among the probability of the normal region category, the probability of the abnormal region category, and the probability of the background region category, It is calculated as the category of the local area.
  • the image analysis device 20 calculates a category (image category) of the entire image from the calculated category of each local region.
  • the image category is one of a category indicating a normal image (normal image category) and a category indicating an abnormal image (abnormal image category).
  • the category of the input image is calculated as the abnormal image category.
  • the category of the input image is calculated as the normal image category.
  • the image analysis device 20 of the embodiment calculates the local area category by at least two systems.
  • the first local region category calculated by the first system is used to calculate a category (image category) of the entire image.
  • the second local region category calculated by the second system is used for output to a user such as a pathologist.
  • the second local region category may be output as an image in which the local region of the abnormal region category is colored.
  • the image analysis device 20 outputs the image category and the second local region category to the display device 40, and the display device 40 displays the image category and the second local region category on the screen of the display device 40.
  • the image analysis device 20 has a convolutional neural network (CNN) for performing image analysis of a local region.
  • FIG. 4 shows a configuration of the CNN 100.
  • the CNN 100 includes an input layer 101, a plurality of intermediate layers 102a to 102n (hereinafter, referred to as “intermediate layer 102” unless otherwise specified), and an output layer 103.
  • the intermediate layer 102 includes a convolutional layer and a pooling layer, and improves the analysis accuracy of an input image by learning weights and biases, which are parameters of nodes of the convolutional layer.
  • the analysis accuracy required for the CNN 100 in the embodiment is an accuracy for accurately categorizing a local region.
  • a plurality of nodes in each layer are connected to a plurality of nodes in the next layer.
  • Each node obtains a vector product of the input value from the previous layer and the weight and adds a bias, and outputs the sum to a node of the next layer through a predetermined activation function.
  • the weight and bias of each node is changed by a learning algorithm known as backpropagation.
  • backpropagation a value is propagated from the rear to the front of the CNN 100 while correcting the weight and the bias.
  • the amount corrected for each weight and bias is treated as a contribution to the error and calculated by the steepest descent method, and the value of the error function is minimized by changing the values of the weight and the bias.
  • the $ CNN 100 optimally sets the weight and bias of each node by supervised learning using a large number of pathological images.
  • the image analysis device 20 performs an image analysis process using the CNN 100 having the learned fixed parameters.
  • the CNN 100 has a function of calculating a local area category or a function of calculating intermediate information for calculating a local area category.
  • FIG. 5 illustrates a configuration of the image analysis device 20a according to the first embodiment.
  • the image analysis device 20a includes a first local region category calculation unit 22a, an image category calculation unit 24, an image category output unit 26, a second local region category calculation unit 22b, and a local region category output unit 28.
  • the first local area category calculation unit 22a calculates a plurality of local area categories of the input image in the first system
  • the second local area category calculation unit 22b calculates a plurality of local areas of the same input image in the second system. Calculate the category of the area.
  • the first local area category calculation unit 22a and the second local area category calculation unit 22b may be configured to include the CNN 100 in which learned parameters have been set.
  • the first local area category calculation unit 22a calculates a first local area category from the input image.
  • the types of the local region categories are a normal region category, an abnormal region category, and a background region category, and the first local region category calculation unit 22a analyzes the image of the local region, calculates the probability of each category of the local region, A probability change process for adjusting the calculated probability of each category is executed.
  • the first local area category calculation unit 22a may adjust only the probability of the abnormal area category.
  • the first local area category calculation unit 22a compares the probabilities of the categories subjected to the probability change processing for each local area, and calculates the category with the highest probability as the category of the local area.
  • the image category calculation unit 24 calculates an image category from the plurality of first local area categories calculated by the first local area category calculation unit 22a.
  • the image category calculation unit 24 refers to all the local region categories included in the image, calculates the abnormal image category if at least one abnormal region category exists, and calculates the abnormal region category as 1 If none exists, the normal image category is calculated.
  • the image category output unit 26 outputs the image category calculated by the image category calculation unit 24 to the display device 40 or the like. Note that the image category output unit 26 may output the calculated image category to a predetermined storage device in order to associate the calculated image category with the input image. In the storage device, the image category is stored in association with the input image.
  • the first local region category is used for calculating the image category, and is not output for display.
  • a second local region category described later is output from the display device 40 as a local region category.
  • the image analysis device 20a outputs the category of the local area useful for the user to observe the image while calculating the image category with high accuracy.
  • the second local area category calculation unit 22b calculates a second local area category from the same input image.
  • the types of the local area categories are a normal area category, an abnormal area category, and a background area category, and the second local area category calculation unit 22b performs image analysis on the local area, calculates the probability of each category of the local area, A probability change process for adjusting the calculated probability of each category is executed.
  • the second local area category calculation unit 22b may adjust only the probability of the abnormal area category.
  • the second local area category calculation unit 22b compares the probabilities of the respective categories subjected to the probability change processing for each local area, and calculates the category having the highest probability as the category of the local area.
  • the local area category output unit 28 outputs the second local area category calculated by the second local area category calculation unit 22b to the display device 40.
  • the local area category output unit 28 may output the second local area category in various modes, but as one output mode, visualization such as coloring the position in the image of the local area classified into the abnormal area category.
  • a processed pathological image may be generated and output.
  • the calculation of each category probability before the probability change processing may be performed using the CNN 100 in which the same learned parameter is set. Therefore, in both the first local area category calculation unit 22a and the second local area category calculation unit 22b, the calculated probability of each category is the same.
  • the first local region category calculation unit 22a and the second local region category calculation unit 22b determine the same category probability from the difference in the purpose of use of the first local region category and the second local region category. Perform a different probability change process.
  • the first local region category calculation unit 22a executes a probability changing process to optimize each category probability for the image category calculation.
  • a probability changing process to optimize each category probability for the image category calculation.
  • the algorithm that determines the entire image as an abnormal image uses the normal local area as an abnormal image. It is easy to misclassify an image that does not include an abnormality as an abnormal image by misclassifying it as an abnormal area category. Therefore, the first local area category calculation unit 22a executes a probability change process that lowers the probability value of the abnormal area category, thereby reducing the possibility of erroneously determining an image containing no abnormality as an abnormal image.
  • the first local region category calculation unit 22a lowers the probability value of the abnormal region category by, for example, 20%. According to this probability changing process, the probabilities of each category in (7, 5), (4, 10), and (7, 8) calculated by the first local region category calculation unit 22a are as follows.
  • the first local area category calculation unit 22a calculates the category of the first local area as follows.
  • the second local area category calculation unit 22b executes a probability change process to optimize each category probability used for the purpose of presenting to the user.
  • the second local area category calculated by the second local area category calculation unit 22b is used for performing a marking process on a local area classified as an abnormal area category. For this reason, for example, it is preferable that a local region in which the probabilities of the abnormal region category and the normal region category are substantially the same is forcibly classified into the abnormal region category in a sense, and has a pathologist carefully observe it.
  • the detection target category occupying the plurality of second local region categories calculated by the second local region category calculation unit 22b
  • the ratio of the (abnormal region category) is equal to or greater than the ratio of the detection target category (abnormal region category) to the plurality of first local region categories calculated by the first local region category calculation unit 22a. That is, the first set of local regions calculated as the abnormal region category by the first local region category calculation unit 22a is a subset of the second set of local regions calculated as the abnormal region category by the second local region category calculation unit 22b.
  • the second local area category calculation unit 22b increases the probability value of the abnormal area category by, for example, 10%. According to the probability changing process, the probabilities of each category in (7, 5), (4, 10), and (7, 8) calculated by the second local region category calculation unit 22b are as follows.
  • the second local area category calculation unit 22b calculates the second local area category as follows. (7,5) local area category: abnormal area category (4,10) local area category: background area category (7,8) local area category: abnormal area category
  • the calculation result of the local area category of (7, 8) is different. That is, the first local area category of (7, 8) is a normal area category, whereas the second local area category is calculated as an abnormal area category.
  • FIG. 6 shows an output example of the first local area category calculated by the first local area category calculation unit 22a.
  • the output example of the first local area category shown in FIG. 6 is for comparison with the output example of the second local area category shown in FIG. 7. Is not output.
  • the first local area category calculation unit 22a calculates (3,5), (3,6), (3,7), (4,5), (4,6), (4,7), (7,4). ), (7, 5), (7, 6), (8, 4), (8, 5), and (8, 6) are classified into abnormal region categories.
  • FIG. 7 shows an output example of the image category by the image category output unit 26 and an output example of the second local area category calculated by the second local area category calculation unit 22b.
  • the display device 40 displays the image category as a text, and displays the local area of the abnormal area category by coloring by a marking process.
  • the second local region category calculation unit 22b calculates (3,5), (3,6), (3,7), (4,5), (4,6), (4,7), (6,9). ), (7,4), (7,5), (7,6), (7,8), (8,4), (8,5), (8,6), (9,4),
  • the local regions (9, 5) and (9, 6) are classified into abnormal region categories.
  • the second local region category calculation unit 22b adds (6, 9), (7,) in addition to the local region of the abnormal region category calculated by the first local region category calculation unit 22a. 8), (9, 4), (9, 5), and (9, 6) are classified into abnormal region categories. That is, in the second local region category, more local regions are classified into the abnormal region category. Even when the CNN 100 cannot completely determine whether the region is a normal region or an abnormal region, by marking the region and presenting it to a pathologist, the pathologist can carefully observe the marked local region, It can support a doctor's efficient diagnosis.
  • the calculation of each category probability in the first local region category calculation unit 22a and the second local region category calculation unit 22b may be performed using the CNN 100 in which the same learned parameter is set.
  • the size of the local area for determining the first local area category may be different from the size of the local area for determining the second local area category.
  • the resolution of the second local area category calculated by the second local area category calculator 22b may be lower than the resolution of the first local area category calculated by the first local area category calculator 22a.
  • the second local area category calculation unit 22b may double the stride of the CNN 100 and may convert the resolution of the output data of the CNN 100, as compared with the first local area category calculation unit 22a.
  • the number of local regions divided by the second local region category calculation unit 22b may be 1 / times the number of local regions divided by the first local region category calculation unit 22a.
  • the local region category output unit 28 may generate image data in which the position of the local region in the abnormal region category is marked and output the image data to the display device 40. It may be performed in a unit.
  • the local area category output unit 28 may output the second local area category to the processing unit, and the processing unit may generate image data and output the image data to the display device 40.
  • the local area category output unit 28 may output the calculated second local area category to a predetermined storage device in order to associate the second local area category with the input image. In the storage device, the image category and the second local region category output from the image analysis device 20a are stored in association with the input image.
  • the image analysis device 20a of the first embodiment by calculating the local area category in two systems, it is possible to estimate the image category with high accuracy and calculate the local area category useful for image observation by the user. It becomes possible.
  • FIG. 8 illustrates a configuration of the image analysis device 20b according to the second embodiment.
  • the image analysis device 20b includes a first local region category calculation unit 22a, an image category calculation unit 24, an image category output unit 26, a second local region category calculation unit 22b, and a local region category output unit 28.
  • the first local region category calculation unit 22a calculates a plurality of local region categories of the input image in the first system
  • the second local region category calculation unit 22b calculates a plurality of local regions of the same input image in the second system. Calculate the category of the area.
  • the first local area category calculation unit 22a and the second local area category calculation unit 22b may be configured to include the CNN 100 in which learned parameters have been set.
  • the image category calculated by the image category calculation unit 24 is used as control information for the local region category output unit 28 as a local area category output unit. 28.
  • the calculated image category is either the normal image category or the abnormal image category.
  • the image category calculation unit 24 calculates the image category, the image category is supplied to the local area category output unit 28.
  • the local area category output unit 28 outputs the second local area category.
  • the second local area category may be output as pathological image data in which the position of the local area in the abnormal area category is visualized.
  • the local area category output unit 28 does not output the second local area category.
  • the normal image category indicates that the image does not include an abnormality.
  • the local region category output from the local region category output unit 28 includes the abnormal region category, the image analysis results do not match. Will be. Therefore, in the image analysis device 20b, when the image category is the normal image category, the local area category output unit 28 does not output the second local area category, thereby avoiding a situation in which the user is presented with an inconsistent analysis result. .
  • FIG. 9 illustrates a configuration of an image analysis device 20c according to the third embodiment.
  • the image analysis device 20c includes a first local region category calculation unit 22a, an image category calculation unit 24, an image category output unit 26, a second local region category calculation unit 22b, and a local region category output unit 28.
  • the first local region category calculation unit 22a calculates a plurality of local region categories of the input image in the first system
  • the second local region category calculation unit 22b calculates a plurality of local regions of the same input image in the second system. Calculate the category of the area.
  • the first local area category calculation unit 22a and the second local area category calculation unit 22b may be configured to include the CNN 100 in which learned parameters have been set.
  • the image category calculated by the image category calculation unit 24 is used as the control information for the second local region category calculation unit 22b as the second local area. It is supplied to the area category calculation unit 22b.
  • the calculated image category is either the normal image category or the abnormal image category.
  • the image category calculation unit 24 calculates the image category, the image category is supplied to the second local region category calculation unit 22b.
  • the second local area category calculation unit 22b calculates the second local area category.
  • the calculated second local area category is supplied to the local area category output unit 28 and output to the display device 40 together with the image category.
  • the second local area category calculation unit 22b does not calculate the second local area category.
  • the normal image category indicates that the image does not include any abnormality, but if the local region category calculated by the second local region category calculation unit 22b includes the abnormal region category, the image analysis results match. Will not be. Therefore, when the image category is the normal image category, the second local area category calculation unit 22b is prevented from calculating the second local area category, thereby avoiding a situation in which the user is presented with an inconsistent analysis result. The arithmetic processing by the two local area category calculation unit 22b is stopped.
  • FIG. 10 illustrates a configuration of an image analysis device 20d according to the fourth embodiment.
  • the image analysis device 20d includes a local region category probability calculation unit 30, a first local region category calculation unit 22c, an image category calculation unit 24, an image category output unit 26, a second local region category calculation unit 22d, and a local region category output unit 28 Is provided.
  • the first local area category calculation unit 22c calculates the category of a plurality of local areas of the input image in the first system
  • the second local area category calculation unit 22d calculates the plurality of local areas of the same input image in the second system. Calculate the category of the area.
  • the local region category probability calculation unit 30 of the fourth embodiment performs the calculation process of each category probability before the probability change process in the first embodiment.
  • the first local region category calculation unit 22a and the second local region category calculation unit 22b have described that each category probability is calculated using the CNN 100 before the probability change process. Uses the CNN 100 to calculate the probability of each category before the probability changing process.
  • the first local region category calculation unit 22a and the second local region category calculation unit 22b calculate the probability of each category in an overlapping manner.
  • the local region category probability calculation unit 30 representatively calculates the probability of each category and supplies it to both the first local area category calculation unit 22c and the second local area category calculation unit 22d. As a result, the process of calculating each category probability that has been duplicated in the first embodiment can be performed only once.
  • the first local area category calculation unit 22c performs a probability change process on the supplied probability values of the respective categories, compares the probabilities of the respective categories subjected to the probability change process, and determines the category having the highest probability as the first category. It is calculated as a local area category.
  • the second local region category calculation unit 22d performs a probability change process on the supplied probability values of the respective categories, compares the probabilities of the respective categories subjected to the probability change process, and determines the category with the highest probability as the second category. Calculated as 2 local region categories.
  • the probability change process by the first local region category calculation unit 22c and the probability change process by the second local region category calculation unit 22d are the probability change process by the first local region category calculation unit 22a and the second local region category calculation in the first embodiment. This is the same as the probability changing process by the unit 22b.
  • the operations of the image category calculation unit 24, the image category output unit 26, and the local region category output unit 28 are the same as the operations of the image category calculation unit 24, the image category output unit 26, and the local region category output unit 28 of the first embodiment. is there.
  • the local region category probability calculation unit 30 calculates the category probability in the local region, thereby avoiding the process of calculating the duplicate category probability.
  • FIG. 11 illustrates a configuration of an image analysis device 20e according to the fifth embodiment.
  • the image analysis device 20e includes a local area category probability calculating section 30, a first local area category calculating section 22c, an image category calculating section 24, an image category output section 26, a second local area category calculating section 22d, and a local area category output section 28.
  • the first local area category calculation unit 22c calculates a plurality of local area categories of the input image in the first system
  • the second local area category calculation unit 22d calculates a plurality of local areas of the same input image in the second system. Calculate the category of the area.
  • the image category calculated by the image category calculation unit 24 is used as control information for the local region category output unit 28 as a local region category output unit. 28.
  • the calculated image category is either the normal image category or the abnormal image category.
  • the image category calculation unit 24 calculates the image category, the image category is supplied to the local area category output unit 28.
  • the local area category output unit 28 outputs the second local area category.
  • the second local area category may be output as pathological image data in which the position of the local area in the abnormal area category is visualized.
  • the local area category output unit 28 does not output the second local area category.
  • the normal image category indicates that the image does not include an abnormality.
  • the local region category output from the local region category output unit 28 includes the abnormal region category, the image analysis results do not match. Will be. Therefore, in the image analysis device 20e, when the image category is the normal image category, the local region category output unit 28 does not output the second local region category, thereby avoiding a situation in which the user is presented with an inconsistent analysis result. .
  • FIG. 12 illustrates a configuration of an image analysis device 20f according to the sixth embodiment.
  • the image analysis device 20f includes a local region category probability calculation unit 30, a first local region category calculation unit 22c, an image category calculation unit 24, an image category output unit 26, a second local region category calculation unit 22d, and a local region category output unit 28 Is provided.
  • the first local area category calculation unit 22c calculates the category of a plurality of local areas of the input image in the first system
  • the second local area category calculation unit 22d calculates the plurality of local areas of the same input image in the second system. Calculate the category of the area.
  • the image category calculated by the image category calculation unit 24 is used as the control information for the second local region category calculation unit 22d. It is supplied to the area category calculation unit 22d.
  • the calculated image category is either the normal image category or the abnormal image category.
  • the image category calculation unit 24 calculates the image category, the image category is supplied to the second local area category calculation unit 22d.
  • the second local area category calculation unit 22d calculates the second local area category.
  • the calculated second local area category is supplied to the local area category output unit 28 and output to the display device 40 together with the image category.
  • the second local area category calculation unit 22d does not calculate the second local area category.
  • the normal image category indicates that the image does not include an abnormality, but if the local region category calculated by the second local region category calculation unit 22d includes the abnormal region category, the image analysis results match. Will not be. Therefore, when the image category is the normal image category, the second local area category calculation unit 22d is prevented from calculating the second local area category, thereby avoiding a situation in which a user is presented with an inconsistent analysis result. The calculation processing by the two local area category calculation unit 22d is stopped.
  • FIG. 13 illustrates a configuration of an image analysis device 20g according to the seventh embodiment.
  • the image analysis device 20g includes an intermediate information calculation unit 32, a first local region category calculation unit 22e, an image category calculation unit 24, an image category output unit 26, a second local region category calculation unit 22f, and a local region category output unit 28.
  • the first local region category calculation unit 22e calculates a plurality of local region categories of the input image in the first system
  • the second local region category calculation unit 22f calculates a plurality of local regions of the same input image in the second system. Calculate the category of the area.
  • the intermediate information calculating unit 32 calculates intermediate information for calculating a local area category from an input image for each local area, and calculates a first local area category calculating unit 22c and a second local area category calculating unit. 22d.
  • the intermediate information calculation unit 32 of the seventh embodiment may calculate the intermediate information using the CNN 100.
  • the intermediate information may be an image feature amount of the local region or a probability of each of a plurality of categories of the local region.
  • the first local area category calculation unit 22e calculates the probabilities of each of the plurality of categories of the local area from the intermediate information, and calculates the probability with respect to the probability value of each category.
  • the change processing is executed, the probabilities of the respective categories subjected to the probability change processing are compared, and the category having the highest probability is calculated as the first local area category.
  • the second local region category calculation unit 22f calculates, from the intermediate information, the probabilities of each of the plurality of categories of the local region, executes a probability change process on the probability value of each category, and executes the probability change process.
  • the probabilities of the categories are compared, and the category having the highest probability is calculated as the second local area category.
  • the probability changing process by the first local region category calculating unit 22e and the probability changing process by the second local region category calculating unit 22f are the probability changing process by the first local region category calculating unit 22a and the second local region category calculating in the first embodiment. This is the same as the probability changing process by the unit 22b.
  • the operations of the image category calculation unit 24, the image category output unit 26, and the local region category output unit 28 are the same as the operations of the image category calculation unit 24, the image category output unit 26, and the local region category output unit 28 of the first embodiment. is there.
  • FIG. 14 illustrates a configuration of an image analysis device 20h according to the eighth embodiment.
  • the image analysis device 20h includes a local area category probability calculating section 30, a first local area category calculating section 22c, a first image category calculating section 24a, an image category output section 26, a second local area category calculating section 22d, and a local area category output. And an image set category output section 36.
  • the region category output unit 28 includes a local region category probability calculation unit 30, a first local region category calculation unit 22c, an image category calculation unit 24, an image category output unit 26, and a second local region category in the image analysis device 20f according to the sixth embodiment.
  • the calculation unit 22d corresponds to the local area category output unit 28.
  • the image supply unit 10 inputs a pathological image of N (N is 1 or more) tissue sections obtained from one specimen (patient) to the image analysis device 20h as one image set. .
  • the image analysis device 20h determines whether the image set is normal or abnormal, and if the image set is abnormal, determines whether the N images are normal or abnormal. With respect to the N image categories and the images having the abnormal image category, a local area category indicating whether the local area of the image is abnormal or not is output.
  • the local region category probability calculation unit 30 receives N input images and calculates N local region category probabilities corresponding to each of the plurality of input images.
  • the processing of the local area category probability calculation unit 30 for one input image is the same as the processing of the local area category probability calculation unit 30 in the image analysis device 20d according to the fourth embodiment illustrated in FIG.
  • the local region category probability calculating unit 30 of the eighth embodiment calculates the probability of each category before the probability changing process by using the CNN 100.
  • the local region category probability calculation unit 30 of the image analysis device 20h calculates the local region category probability of each of the N input images.
  • the third local region category calculation unit 22g calculates a third local region category corresponding to each of the plurality of input images. Specifically, the third local region category calculation unit 22g performs a probability change process on the supplied probability values of the categories, compares the probabilities of the categories subjected to the probability change process, and determines a category having the highest probability as: It is calculated as a third local area category.
  • the second image category calculation unit 24b calculates an image category corresponding to each of the third local area categories from the plurality of third local area categories of each input image calculated by the third local area category calculation unit 22g.
  • the second image category calculation unit 24b according to the eighth embodiment refers to all the local area categories included in the image, calculates the abnormal image category if at least one abnormal area category exists, and calculates the abnormal area category. If none exists, the normal image category is calculated.
  • the image set category calculation unit 34 calculates an image set category from a plurality of image categories. Specifically, the image set category calculation unit 34 receives the N image categories, and determines that the image set category is abnormal when at least one abnormal image category is included in all the image categories. If no abnormal image category is included, the image category is determined to be normal and the image set category is output.
  • the first local region category calculating unit 22c, the second local region category calculating unit 22d, and the third local region category calculating unit 22d determine the use purpose of the first local region category, the second local region category, and the third local region category.
  • the region category calculation unit 22g performs a different probability change process on the category probabilities calculated by the local region category probability calculation unit 30.
  • the probability changing process by the first local region category calculating unit 22c and the probability changing process by the second local region category calculating unit 22d are the probability changing process by the first local region category calculating unit 22a and the second local region category in the first embodiment. This may be the same as the probability change process by the calculation unit 22b.
  • the third local region category is used to calculate an image set category indicating whether the image set is normal or abnormal. Whether the image set is normal or abnormal is synonymous with whether the patient has no or has a lesion.
  • the third local region category calculation unit 22g performs a probability change process to optimize each category probability for calculating the image set category.
  • the third local region category calculation unit 22g performs a probability change process that lowers the probability value of the abnormal region category, thereby reducing the possibility of erroneously determining an image set that does not include an abnormality as abnormal.
  • the detection target category (of the plurality of first local region categories calculated by the first local region category calculation unit 22c ( The ratio of the abnormal region category) is equal to or greater than the ratio of the detection target category (abnormal region category) to the plurality of third local region categories calculated by the third local region category calculation unit 22g. That is, the third set of local regions calculated as the abnormal region category by the third local region category calculation unit 22g is a subset of the first set of local regions calculated as the abnormal region category by the first local region category calculation unit 22c. Becomes
  • the third local area category calculation unit 22g lowers the probability value of the abnormal area category by, for example, 30%. According to the probability changing process, the probabilities of the respective categories in (7, 5), (4, 10), and (7, 8) calculated by the third local region category calculator 22g are as follows.
  • the first local area category calculation unit 22a calculates the category of the first local area as follows.
  • the image set category calculation unit 34 calculates an image set category representing whether the image set of one patient is normal or abnormal, and when the image set category indicates an abnormality, the first local region category calculation unit 22c Calculates the first local area category of the N input images.
  • the first image category calculation unit 24a calculates each image category of each input image
  • the second local region category calculation unit 22d calculates the category of the local region for an image in which the image category is abnormal.
  • the image set category output unit 36 outputs an image set category
  • the image category output unit 26 outputs an image category
  • the local area category output unit 28 outputs a local area category. According to the image analysis device 20h of the eighth embodiment, an image set of one patient can be efficiently analyzed.
  • the first local area category and the second local area category are both determined as one of the categories included in the common group. That is, in the embodiment, the first local area category and the second local area category are determined from the local area category group including the three categories of the normal area category, the abnormal area category, and the background area category.
  • a first group and a second group of local area categories are prepared, the first local area category is determined as one of the categories included in the first group, and the second local area category is It may be determined as one of the categories included in the second group.
  • the category group forming the first group is different from the category group forming the second group.
  • the first local area category includes a subcategory obtained by subdividing the abnormal area.
  • the abnormal region includes a lesion image belonging to gastric cancer
  • the abnormal region may be subdivided into three categories: a highly differentiated category of tubular adenocarcinoma, a moderately differentiated category of tubular adenocarcinoma, and a poorly differentiated adenocarcinoma category.
  • the first local region category calculation units 22a, 22c, and 22e determine, for each local region, a normal region category, a highly differentiated category of tubular adenocarcinoma, a moderately differentiated category of tubular adenocarcinoma, a poorly differentiated adenocarcinoma category, and a background region category.
  • a first local area category classified into any of the categories is calculated.
  • the image category calculation unit 24 treats the highly differentiated category of tubular adenocarcinoma, the moderately differentiated category of tubular adenocarcinoma, and the poorly differentiated adenocarcinoma category as abnormal region categories.
  • the first local region category can be analyzed with high accuracy by classifying the abnormalities of the first local region category into sub-categories.
  • the second local area category does not include a subcategory, and may be the same as the category group of the embodiment.
  • the image analysis device may include a processor and a storage such as a memory.
  • the function of each unit may be realized by individual hardware, or the function of each unit may be realized by integrated hardware.
  • a processor includes hardware, and the hardware can include at least one of a circuit that processes digital signals and a circuit that processes analog signals.
  • the processor can be configured by one or a plurality of circuit devices (for example, an IC or the like) mounted on a circuit board or one or a plurality of circuit elements (for example, a resistor or a capacitor).
  • the processor may be, for example, a CPU (Central Processing Unit).
  • the processor is not limited to the CPU, and may include various processors such as a GPU (Graphics Processing Unit) or a DSP (Digital Signal Processor).
  • the processor may be a hardware circuit based on an ASIC (application-specific integrated circuit) or an FPGA (field-programmable gate array). Further, the processor may include an amplifier circuit and a filter circuit for processing an analog signal.
  • the memory may be a semiconductor memory such as an SRAM or a DRAM, may be a register, may be a magnetic storage device such as a hard disk device, or may be an optical storage device such as an optical disk device. You may.
  • the memory stores computer-readable instructions, and the instructions are executed by the processor, thereby realizing the functions of each unit of the image analysis apparatus.
  • the instruction here may be an instruction of an instruction set constituting a program or an instruction for instructing a hardware circuit of a processor to operate.
  • the processing units of the image analysis device may be connected by any type or medium of digital data communication such as a communication network.
  • Examples of communication networks include, for example, a LAN, a WAN, and the computers and networks forming the Internet.
  • the image analysis technology of the present invention can be used for diagnosis support of medical images such as pathological images, endoscope images, and X-ray images, and for inspection of industrial products for scratches.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

第１局所領域カテゴリ算出部２２ａは、入力画像の第１の局所領域カテゴリを算出する。画像カテゴリ算出部２４は、第１の局所領域カテゴリから、画像カテゴリを算出する。画像カテゴリ出力部２６は、画像カテゴリを出力する。第２局所領域カテゴリ算出部２２ｂは、入力画像の第２の局所領域カテゴリを算出する。局所領域カテゴリ出力部２８は、第２の局所領域カテゴリを出力する。

Description

画像解析装置および画像解析方法
　本発明は、入力画像を解析する技術に関する。
　被写体画像を局所的に解析して、画像内の複数の局所領域ごとに異常領域であるか、異常のない正常領域であるかを判定する画像解析技術が知られている（特許文献１、非特許文献１参照）。この画像解析技術では、局所領域ごとの解析結果にもとづいて、画像全体として異常領域を含む異常画像であるか、異常領域を含まない正常画像であるかが判定される。このように異常画像を特定し、特定した異常画像を画像の観察者に提示することで、観察者による効率的な観察を支援できる。
　ニューラルネットワークを用いて、画像内の複数の局所領域のそれぞれをカテゴリ分類する画像解析技術が提案されている（非特許文献２参照）。この画像解析技術では、局所領域ごとに、複数のカテゴリのそれぞれが該当する確率を推定して、最も高い確率のカテゴリを特定し、局所領域カテゴリとして定める。入力画像と、入力画像を分割した複数の局所領域の正しいカテゴリとのデータセットを多数用意し、ニューラルネットワークのパラメータ（ウェイトとバイアス）を教師あり学習することで、局所領域カテゴリを高精度に推定するパラメータが取得される。
特開２０１０－２０３９４９号公報
Yun Liu, Krishna Gadepalli, Mohammad Norouzi, George E. Dahl, Timo Kohlberger, Aleksey Boyko, Subhashini Venugopalan, Aleksei Timofeev, Philip Q. Nelson, Greg S. Corrado, Jason D. Hipp, Lily Peng, and Martin C. Stumpe, "Detecting Cancer Metastases on Gigapixel Pathology Images", arXiv:1703.02442v2 [cs.CV] 8 Mar 2017 Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, Alan L. Yuille, "SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS", arXiv:1412.7062v4 [cs.CV] 7 Jun 2016
　上記した判定手法によれば、画像内の複数の局所領域のうち１つでも異常領域と分類される局所領域が存在すれば、その画像は異常画像と判定され、１つも異常領域と分類される局所領域が存在しなければ、その画像は正常画像と判定される。病理医による病理診断に際して、病変が含まれている画像を異常画像として提示できれば、病理医の効率的な診断につながる。
　このような画像解析処理において、病変が含まれている画像を正常画像と誤判定することは、病理医による見落としの可能性を生じさせるため、許容されない。そのため多数の病理画像を効果的に学習して、局所領域の各カテゴリの推定精度を高めたニューラルネットワークのパラメータ（ウェイトとバイアス）を取得しておく必要がある。しかしながら実際には、１００％のカテゴリ推定精度を実現することは容易でなく、病変であることを示すカテゴリの確率と、病変でないことを示すカテゴリの確率とが、ほぼ同じ値となる事態も生じうる。
　なお病変が含まれている画像を正常画像と誤判定しないための手法として、局所領域カテゴリを定める際に、病変であることを示すカテゴリの確率を計算値よりもかさ上げすることが考えられる。かさ上げ処理をすることで、病変であることを示すカテゴリが最も高い確率のカテゴリとして特定されやすくなり、結果として、病変が含まれている画像を正常画像と誤判定する可能性を低減できる。
　しかしながら、かさ上げ処理により、病変が含まれていない画像を異常画像と誤判定する可能性は必然的に高まる。病変が含まれていない画像を異常画像として病理医に提示すると、病理医は、存在しない病変を時間をかけて必死に探すことになり、時間をロスする。そのため病変が含まれていない画像を異常画像と誤判定することは、病理医による画像診断の支援にはならず、むしろ迅速な画像診断の障害となるため、許容されない。そのため画像のカテゴリを高精度に算出する技術が望まれている。
　正しく判定された異常画像に対して、局所領域のカテゴリを出力することは、観察者の観察効率を向上させることに役立つ。たとえば局所領域のカテゴリは、異常領域と分類された局所領域の位置を色づけするなどの可視化処理結果として出力されてよい。特に標本全体を高解像度で撮影した画像内で、複数の病変がごく小さな領域に点在するような場合、異常（病変）位置をマーキングすることは、効果的な診断支援になると考えられる。
　本発明はかかる状況においてなされたものであり、そのある態様の例示的な目的のひとつは、入力画像を解析して、画像カテゴリを高精度に算出しつつ、ユーザによる画像観察に有用な局所領域のカテゴリを出力する技術を提供することにある。
　上記課題を解決するために、本発明のある態様の画像解析装置は、入力画像の第１の局所領域カテゴリを算出する第１局所領域カテゴリ算出部と、第１の局所領域カテゴリから、画像カテゴリを算出する画像カテゴリ算出部と、画像カテゴリを出力する画像カテゴリ出力部と、入力画像の第２の局所領域カテゴリを算出する第２局所領域カテゴリ算出部と、第２の局所領域カテゴリを出力する局所領域カテゴリ出力部と、を備える。
　本発明の別の態様は、画像解析方法である。この方法は、入力画像の第１の局所領域カテゴリを算出するステップと、第１の局所領域カテゴリから、画像カテゴリを算出するステップと、画像カテゴリを出力するステップと、入力画像の第２の局所領域カテゴリを算出するステップと、第２の局所領域カテゴリを出力するステップと、を備える。
　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。
　本発明のある態様によれば、入力画像を解析して、ユーザによる画像観察に有用な画像解析結果を出力する技術を提供できる。
実施形態の画像解析システムの構成を示す図である。 病理画像の例を示す図である。 異常領域を含む病理画像の例を示す図である。 ＣＮＮの構成を示す図である。 実施例１の画像解析装置の構成を示す図である。 第１局所領域カテゴリの出力例を示す図である。 画像カテゴリおよび第２局所領域カテゴリの出力例を示す図である。 実施例２の画像解析装置の構成を示す図である。 実施例３の画像解析装置の構成を示す図である。 実施例４の画像解析装置の構成を示す図である。 実施例５の画像解析装置の構成を示す図である。 実施例６の画像解析装置の構成を示す図である。 実施例７の画像解析装置の構成を示す図である。 実施例８の画像解析装置の構成を示す図である。
　図１は、実施形態の画像解析システム１の構成を示す。画像解析システム１は、画像供給部１０、画像解析装置２０および表示装置４０を備える。画像供給部１０は、入力画像を画像解析装置２０に供給する。画像解析装置２０は、入力画像を複数の局所領域に分割して、複数の局所領域それぞれのカテゴリを算出し、複数の局所領域カテゴリから、画像全体のカテゴリを算出する。
　実施形態の入力画像は、スライドガラス上の病理標本（組織）を顕微鏡を通して拡大撮影した病理診断用画像（病理画像）であってよい。病理画像は、ＲＧＢの３チャンネルからなるカラー画像であり、病理標本のサイズに応じて異なる画像サイズ（縦横の画素数）を有してよい。
　図２は、病理画像の例を示す。病理画像は、病理標本を撮影した組織領域と、病理標本が配置されないスライドガラスを撮影した背景領域とを含む。組織領域は、がんなどの病変が存在しなければ、病変画像を含まない正常領域により構成される。この病理画像は、横方向および縦方向に１２分割され、計１４４個の局所領域に分割されている。
　図３は、異常領域を含む病理画像の例を示す。組織に病変が含まれる場合、組織領域は、病変を含まない正常領域と、病変を含む異常領域により構成される。図３において異常領域は、ある程度の大きさをもつ連続領域として示されているが、領域の大きさは様々であり、１つの細胞の大きさであることもある。
　画像解析装置２０は、入力画像を複数の局所領域に分割して、複数の局所領域それぞれのカテゴリを算出する。局所領域は、１以上の連続する画素から構成される。実施形態において、各局所領域のカテゴリは、正常であることを示すカテゴリ（正常領域カテゴリ）、病変であることを示すカテゴリ（異常領域カテゴリ）、背景領域であることを示すカテゴリ（背景領域カテゴリ）のいずれかに設定される。
　画像解析装置２０は、局所領域およびその周辺領域を画像解析して、当該局所領域の各カテゴリの確率（当該局所領域のカテゴリであると推定される確率）を算出する。図３において、横軸をＸ軸、縦軸をＹ軸とし、局所領域の位置を（Ｘ座標、Ｙ座標）で表現する。以下、いくつかの局所領域において算出されるカテゴリの確率を例示する。
　（７，５）の局所領域における各カテゴリの確率
・正常領域カテゴリ　２０％
・異常領域カテゴリ　７０％
・背景領域カテゴリ　１０％
　（４，１０）の局所領域における各カテゴリの確率
・正常領域カテゴリ　３０％
・異常領域カテゴリ　１０％
・背景領域カテゴリ　６０％
　（７，８）の局所領域における各カテゴリの確率
・正常領域カテゴリ　４６％
・異常領域カテゴリ　４４％
・背景領域カテゴリ　１０％
　後述するが、画像解析装置２０は、算出した各カテゴリの確率を調整する確率変更処理を目的に応じて実行する。確率変更処理は、算出した確率を演算して変更する処理であり、算出した確率に、所定値を加算、減算、乗算、除算等してよい。確率変更処理は、すべてのカテゴリの確率に対して実行されてもよい。なお実施形態の画像解析装置２０は、異常領域カテゴリを検出対象カテゴリとして設定しているため、確率変更処理は、異常領域カテゴリの確率に対してのみ実行されてよい。
　画像解析装置２０は、確率変更処理を実行した後、局所領域ごとに、正常領域カテゴリの確率、異常領域カテゴリの確率、背景領域カテゴリの確率の中から、最も高い確率のカテゴリを特定して、局所領域のカテゴリとして算出する。
　画像解析装置２０は、各局所領域のカテゴリを算出すると、算出した各局所領域のカテゴリから、画像全体のカテゴリ（画像カテゴリ）を算出する。画像カテゴリは、正常画像であることを示すカテゴリ（正常画像カテゴリ）、異常画像であることを示すカテゴリ（異常画像カテゴリ）のいずれかである。実施形態では、複数の局所領域カテゴリの中に異常領域カテゴリが１つでも含まれていれば、その入力画像のカテゴリは、異常画像カテゴリと算出される。一方で、複数の局所領域カテゴリの中に異常領域カテゴリが含まれていなければ、その入力画像のカテゴリは、正常画像カテゴリと算出される。
　実施形態の画像解析装置２０は、局所領域カテゴリを、少なくとも２系統で算出する。第１の系統で算出される第１局所領域カテゴリは、画像全体のカテゴリ（画像カテゴリ）を算出するために利用される。第２の系統で算出される第２局所領域カテゴリは、病理医などのユーザへの出力のために利用される。第２局所領域カテゴリは、異常領域カテゴリの局所領域に色づけした画像として出力されてもよい。画像解析装置２０は、画像カテゴリおよび第２局所領域カテゴリを表示装置４０に出力し、表示装置４０は、画像カテゴリおよび第２局所領域カテゴリを表示装置４０に画面表示する。
　画像解析装置２０は、局所領域を画像解析する畳み込みニューラルネットワーク（ＣＮＮ）を有する。
　図４は、ＣＮＮ１００の構成を示す。ＣＮＮ１００は、入力層１０１と、複数の中間層１０２ａ～１０２ｎ（以下、特に区別しない場合には「中間層１０２」と呼ぶ）と、出力層１０３とを備える。中間層１０２は、畳み込み層とプーリング層を含み、畳み込み層のノードのパラメータであるウェイト（weight）とバイアス（bias）を学習することで、入力画像の解析精度を向上する。実施形態でＣＮＮ１００に要求される解析精度は、局所領域を正確にカテゴライズする精度である。
　ＣＮＮ１００では、各層の複数のノードが次の層の複数のノードと接続する。各ノードは、前の層からの入力値とウェイトとのベクトル積を求めてバイアスを加算した総和を、所定の活性化関数に通して次の層のノードに出力する。各ノードのウェイトおよびバイアスは、バックプロパゲーションとして知られる学習アルゴリズムにより変更される。バックプロパゲーションでは、ＣＮＮ１００の後方から前方までウェイトとバイアスを補正しながら値を伝搬させる。各ウェイトとバイアスについて補正した量は、誤差への寄与として扱われて最急降下法で計算され、ウェイトとバイアスの値を変更することにより、誤差関数の値を最小化する。
　ＣＮＮ１００は、多数の病理画像を用いた教師あり学習によって、各ノードのウェイトとバイアスを最適に設定される。画像解析装置２０は、学習済の固定したパラメータをもつＣＮＮ１００を用いて、画像解析処理を実施する。実施形態において、ＣＮＮ１００は、局所領域カテゴリを算出する機能、または局所領域カテゴリを算出するための中間情報を算出する機能を有する。
　以下、図面を参照して、画像解析装置２０の実施例を説明する。複数の図面において同一の符号で示される構成要素は、同一または同様の機能および動作を実現する。
＜実施例１＞
　図５は、実施例１の画像解析装置２０ａの構成を示す。画像解析装置２０ａは、第１局所領域カテゴリ算出部２２ａ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｂおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ａは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｂは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。第１局所領域カテゴリ算出部２２ａおよび第２局所領域カテゴリ算出部２２ｂは、学習済のパラメータを設定されたＣＮＮ１００を含んで構成されてよい。
　第１局所領域カテゴリ算出部２２ａは、入力画像から、第１の局所領域カテゴリを算出する。局所領域カテゴリの種類は、正常領域カテゴリ、異常領域カテゴリ、背景領域カテゴリであり、第１局所領域カテゴリ算出部２２ａは、局所領域を画像解析して、局所領域の各カテゴリの確率を算出し、各カテゴリの算出した確率を調整する確率変更処理を実行する。なお第１局所領域カテゴリ算出部２２ａは、異常領域カテゴリの確率のみを調整してもよい。第１局所領域カテゴリ算出部２２ａは、局所領域ごとに、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、当該局所領域のカテゴリとして算出する。
　画像カテゴリ算出部２４は、第１局所領域カテゴリ算出部２２ａにより算出された複数の第１局所領域カテゴリから、画像カテゴリを算出する。実施例１の画像カテゴリ算出部２４は、画像に含まれる全ての局所領域カテゴリを参照して、異常領域カテゴリが１つでも存在していれば、異常画像カテゴリを算出し、異常領域カテゴリが１つも存在していなければ、正常画像カテゴリを算出する。画像カテゴリ出力部２６は、画像カテゴリ算出部２４により算出された画像カテゴリを表示装置４０などに出力する。なお画像カテゴリ出力部２６は、算出された画像カテゴリを、当該入力画像に関連づけるために、所定の記憶装置に出力してよい。記憶装置において、画像カテゴリは、当該入力画像に関連づけられて記憶される。なお画像解析装置２０ａにおいて、第１局所領域カテゴリは、画像カテゴリを算出するために利用され、表示のためには出力されない。後述するが画像解析装置２０ａでは、局所領域カテゴリとして、後述する第２局所領域カテゴリが表示装置４０から出力される。これにより画像解析装置２０ａは、画像カテゴリを高精度に算出しつつ、ユーザによる画像観察に有用な局所領域のカテゴリを出力する。
　第２局所領域カテゴリ算出部２２ｂは、同じ入力画像から、第２の局所領域カテゴリを算出する。局所領域カテゴリの種類は、正常領域カテゴリ、異常領域カテゴリ、背景領域カテゴリであり、第２局所領域カテゴリ算出部２２ｂは、局所領域を画像解析して、局所領域の各カテゴリの確率を算出し、各カテゴリの算出した確率を調整する確率変更処理を実行する。第２局所領域カテゴリ算出部２２ｂは、異常領域カテゴリの確率のみを調整してもよい。第２局所領域カテゴリ算出部２２ｂは、局所領域ごとに、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、当該局所領域のカテゴリとして算出する。
　局所領域カテゴリ出力部２８は、第２局所領域カテゴリ算出部２２ｂにより算出された第２局所領域カテゴリを表示装置４０に出力する。局所領域カテゴリ出力部２８は、第２局所領域カテゴリを様々な態様で出力してよいが、一つの出力態様として、異常領域カテゴリに分類された局所領域の画像中の位置を色づけするなどの可視化処理した病理画像を生成して出力してもよい。異常領域カテゴリに分類された局所領域を可視化することで、病理医による観察効率の向上が期待される。
　第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂにおいて、確率変更処理前の各カテゴリ確率の算出は、同じ学習済のパラメータを設定されたＣＮＮ１００を用いて実行されてよい。したがって第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂの双方において、算出される各カテゴリの確率は同じとなる。実施例１では、第１局所領域カテゴリと第２局所領域カテゴリの利用目的の違いから、第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂは、算出した同じカテゴリ確率に対して、異なる確率変更処理を実行する。
　画像カテゴリ算出部２４による画像カテゴリの算出を高精度に実現するために、第１局所領域カテゴリ算出部２２ａは、確率変更処理を実行して、画像カテゴリ算出用に各カテゴリ確率を最適化する。病理画像の場合、正常な局所領域にも異常と類似した特徴をもつ構造が多くあるため、異常領域カテゴリが１つでも存在すると画像全体を異常画像と判定するアルゴリズムにおいては、正常な局所領域を異常領域カテゴリと誤分類して、異常を含まない画像を異常画像と誤判定しやすい。そのため第１局所領域カテゴリ算出部２２ａは、異常領域カテゴリの確率値を下げる確率変更処理を実行することで、異常を含まない画像を異常画像と誤判定する可能性を低減する。
　第１局所領域カテゴリ算出部２２ａは、異常領域カテゴリの確率値を、たとえば２０％下げる。この確率変更処理によれば、第１局所領域カテゴリ算出部２２ａにおいて算出される（７，５）、（４，１０）、（７，８）における各カテゴリの確率は、以下のようになる。
　（７，５）の局所領域における各カテゴリの確率
・正常領域カテゴリ　２０％
・異常領域カテゴリ　５０％（＝７０％－２０％）
・背景領域カテゴリ　１０％
　（４，１０）の局所領域における各カテゴリの確率
・正常領域カテゴリ　３０％
・異常領域カテゴリ　－１０％（＝１０％－２０％）
・背景領域カテゴリ　６０％
　（７，８）の局所領域における各カテゴリの確率
・正常領域カテゴリ　４６％
・異常領域カテゴリ　２４％（＝４４％－２０％）
・背景領域カテゴリ　１０％
　したがって第１局所領域カテゴリ算出部２２ａは、第１局所領域のカテゴリを、以下のように算出する。
（７，５）の局所領域カテゴリ　：　異常領域カテゴリ
（４，１０）の局所領域カテゴリ　：　背景領域カテゴリ
（７，８）の局所領域カテゴリ　：　正常領域カテゴリ
　第２局所領域カテゴリ算出部２２ｂは、確率変更処理を実行して、ユーザへの提示目的で使用する各カテゴリ確率を最適化する。第２局所領域カテゴリ算出部２２ｂが算出する第２局所領域カテゴリは、異常領域カテゴリと分類された局所領域をマーキング処理するために利用される。そのため、たとえば異常領域カテゴリと正常領域カテゴリの確率がほぼ同じである局所領域は、ある意味、強制的に異常領域カテゴリに分類して、病理医に慎重に観察してもらうことが好ましい。
　そのため第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂの確率変更処理を比べると、第２局所領域カテゴリ算出部２２ｂが算出する複数の第２の局所領域カテゴリに占める検出対象カテゴリ（異常領域カテゴリ）の割合は、第１局所領域カテゴリ算出部２２ａが算出する複数の第１の局所領域カテゴリに占める検出対象カテゴリ（異常領域カテゴリ）の割合以上となる。つまり第１局所領域カテゴリ算出部２２ａにより異常領域カテゴリと算出された局所領域の第１集合は、第２局所領域カテゴリ算出部２２ｂにより異常領域カテゴリと算出された局所領域の第２集合の部分集合となる。
　第２局所領域カテゴリ算出部２２ｂは、異常領域カテゴリの確率値を、たとえば１０％上げる。この確率変更処理によれば、第２局所領域カテゴリ算出部２２ｂにおいて算出される（７，５）、（４，１０）、（７，８）における各カテゴリの確率は、以下のようになる。
　（７，５）の局所領域における各カテゴリの確率
・正常領域カテゴリ　２０％
・異常領域カテゴリ　８０％（＝７０％＋１０％）
・背景領域カテゴリ　１０％
　（４，１０）の局所領域における各カテゴリの確率
・正常領域カテゴリ　３０％
・異常領域カテゴリ　２０％（＝１０％＋１０％）
・背景領域カテゴリ　６０％
　（７，８）の局所領域における各カテゴリの確率
・正常領域カテゴリ　４６％
・異常領域カテゴリ　５４％（＝４４％＋１０％）
・背景領域カテゴリ　１０％
　したがって第２局所領域カテゴリ算出部２２ｂは、第２局所領域カテゴリを、以下のように算出する。
（７，５）の局所領域カテゴリ　：　異常領域カテゴリ
（４，１０）の局所領域カテゴリ　：　背景領域カテゴリ
（７，８）の局所領域カテゴリ　：　異常領域カテゴリ
　第１局所領域カテゴリ算出部２２ａにより算出された局所領域カテゴリと比較すると、（７，８）の局所領域カテゴリの算出結果が異なっている。つまり（７，８）の第１局所領域カテゴリは正常領域カテゴリであるのに対し、第２局所領域カテゴリは異常領域カテゴリとして算出されている。
　図６は、第１局所領域カテゴリ算出部２２ａにより算出された第１局所領域カテゴリの出力例を示す。なお図６に示す第１局所領域カテゴリの出力例は、図７に示す第２局所領域カテゴリの出力例と比較するためのものであり、実施形態の画像解析装置２０において、第１局所領域カテゴリが出力されることはない。
　第１局所領域カテゴリ算出部２２ａは、（３，５）、（３，６）、（３，７）、（４，５）、（４，６）、（４，７）、（７，４）、（７，５）、（７，６）、（８，４）、（８，５）、（８，６）の局所領域を、異常領域カテゴリに分類している。
　図７は、画像カテゴリ出力部２６による画像カテゴリの出力、および第２局所領域カテゴリ算出部２２ｂにより算出された第２局所領域カテゴリの出力例を示す。表示装置４０は、画像カテゴリをテキスト表示し、異常領域カテゴリの局所領域をマーキング処理により色づけして表示する。
　第２局所領域カテゴリ算出部２２ｂは、（３，５）、（３，６）、（３，７）、（４，５）、（４，６）、（４，７）、（６，９）、（７，４）、（７，５）、（７，６）、（７，８）、（８，４）、（８，５）、（８，６）、（９，４）、（９，５）、（９，６）の局所領域を、異常領域カテゴリに分類している。
　図６と図７を比較すると、第２局所領域カテゴリ算出部２２ｂは、第１局所領域カテゴリ算出部２２ａで算出された異常領域カテゴリの局所領域に加えて、（６，９）、（７，８）、（９，４）、（９，５）、（９，６）の局所領域を異常領域カテゴリに分類している。つまり第２局所領域カテゴリにおいては、より多くの局所領域が異常領域カテゴリに分類されている。ＣＮＮ１００により、正常領域か異常領域かを完璧に判断できない場合であっても、当該領域をマーキングして病理医に提示することで、病理医は、マーキングされた局所領域を慎重に観察でき、病理医の効率的な診断を支援できる。
　なお実施例１では、第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂにおいて、各カテゴリ確率の算出が同じ学習済のパラメータを設定されたＣＮＮ１００を用いて実行されてよいことを説明したが、第１局所領域カテゴリを決定する局所領域の大きさと、第２局所領域カテゴリを決定する局所領域の大きさは、異なっていてもよい。
　たとえば第２局所領域カテゴリ算出部２２ｂにより算出される第２局所領域カテゴリの解像度は、第１局所領域カテゴリ算出部２２ａにより算出される第１局所領域カテゴリの解像度よりも低くてよい。第２局所領域カテゴリ算出部２２ｂでは、第１局所領域カテゴリ算出部２２ａと比べて、ＣＮＮ１００のストライドを２倍にしてもよく、またＣＮＮ１００の出力データの解像度を変換してもよい。たとえば第２局所領域カテゴリ算出部２２ｂで分割する局所領域数は、第１局所領域カテゴリ算出部２２ａで分割する局所領域数の１／４倍であってもよい。
　画像解析装置２０ａにおいて、局所領域カテゴリ出力部２８は、異常領域カテゴリの局所領域の位置をマーキングした画像データを生成して表示装置４０に出力してよいが、画像データの生成は、別の処理ユニットで実行されてもよい。この場合、局所領域カテゴリ出力部２８は、第２局所領域カテゴリを当該処理ユニットに出力し、当該処理ユニットが画像データを生成して、表示装置４０に出力してもよい。また局所領域カテゴリ出力部２８は、算出された第２の局所領域カテゴリを、当該入力画像に関連づけるために、所定の記憶装置に出力してよい。記憶装置において、画像解析装置２０ａから出力された画像カテゴリおよび第２の局所領域カテゴリは、当該入力画像に関連づけられて記憶される。
　実施例１の画像解析装置２０ａによれば、２系統で局所領域カテゴリを算出することで、画像カテゴリを高精度に推定し、且つ、ユーザによる画像観察に有用な局所領域カテゴリを算出することが可能となる。
＜実施例２＞
　図８は、実施例２の画像解析装置２０ｂの構成を示す。画像解析装置２０ｂは、第１局所領域カテゴリ算出部２２ａ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｂおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ａは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｂは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。第１局所領域カテゴリ算出部２２ａおよび第２局所領域カテゴリ算出部２２ｂは、学習済のパラメータを設定されたＣＮＮ１００を含んで構成されてよい。
　実施例１の画像解析装置２０ａと比較すると、実施例２の画像解析装置２０ｂでは、画像カテゴリ算出部２４が算出した画像カテゴリが、局所領域カテゴリ出力部２８に対する制御情報として、局所領域カテゴリ出力部２８に供給される。算出される画像カテゴリは、正常画像カテゴリまたは異常画像カテゴリのいずれかであり、画像カテゴリ算出部２４が画像カテゴリを算出すると、画像カテゴリが局所領域カテゴリ出力部２８に供給される。
　画像カテゴリが異常画像カテゴリである場合、局所領域カテゴリ出力部２８は、第２局所領域カテゴリを出力する。第２局所領域カテゴリは、異常領域カテゴリの局所領域の位置を可視化した病理画像データとして出力されてよい。
　一方で、画像カテゴリが正常画像カテゴリである場合、局所領域カテゴリ出力部２８は、第２局所領域カテゴリを出力しない。正常画像カテゴリは、画像に異常が含まれていないことを示すが、局所領域カテゴリ出力部２８から出力される局所領域カテゴリに異常領域カテゴリが含まれていると、画像解析結果が整合していないことになる。そこで画像解析装置２０ｂでは、画像カテゴリが正常画像カテゴリである場合に、局所領域カテゴリ出力部２８が第２局所領域カテゴリを出力しないことで、ユーザに不整合な解析結果を提示する状況を回避する。
＜実施例３＞
　図９は、実施例３の画像解析装置２０ｃの構成を示す。画像解析装置２０ｃは、第１局所領域カテゴリ算出部２２ａ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｂおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ａは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｂは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。第１局所領域カテゴリ算出部２２ａおよび第２局所領域カテゴリ算出部２２ｂは、学習済のパラメータを設定されたＣＮＮ１００を含んで構成されてよい。
　実施例１の画像解析装置２０ａと比較すると、実施例３の画像解析装置２０ｃでは、画像カテゴリ算出部２４が算出した画像カテゴリが、第２局所領域カテゴリ算出部２２ｂに対する制御情報として、第２局所領域カテゴリ算出部２２ｂに供給される。算出される画像カテゴリは、正常画像カテゴリまたは異常画像カテゴリのいずれかであり、画像カテゴリ算出部２４が画像カテゴリを算出すると、画像カテゴリが第２局所領域カテゴリ算出部２２ｂに供給される。
　画像カテゴリが異常画像カテゴリである場合、第２局所領域カテゴリ算出部２２ｂは、第２局所領域カテゴリを算出する。算出した第２局所領域カテゴリは局所領域カテゴリ出力部２８に供給されて、画像カテゴリとともに、表示装置４０に出力される。
　一方で、画像カテゴリが正常画像カテゴリである場合、第２局所領域カテゴリ算出部２２ｂは、第２局所領域カテゴリを算出しない。正常画像カテゴリは、画像に異常が含まれていないことを示すが、第２局所領域カテゴリ算出部２２ｂが算出する局所領域カテゴリに異常領域カテゴリが含まれていると、画像解析結果が整合していないことになる。そこで画像カテゴリが正常画像カテゴリである場合には、第２局所領域カテゴリ算出部２２ｂに第２局所領域カテゴリを算出させないことで、ユーザに不整合な解析結果を提示する状況を回避し、また第２局所領域カテゴリ算出部２２ｂによる演算処理を停止する。
＜実施例４＞
　図１０は、実施例４の画像解析装置２０ｄの構成を示す。画像解析装置２０ｄは、局所領域カテゴリ確率算出部３０、第１局所領域カテゴリ算出部２２ｃ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｄおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ｃは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｄは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。
　実施例４の局所領域カテゴリ確率算出部３０は、実施例１における確率変更処理前の各カテゴリ確率の算出処理を実施する。実施例１では、第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂにおいて、確率変更処理前の各カテゴリ確率の算出をＣＮＮ１００を用いて実行することを説明したが、実施例４の局所領域カテゴリ確率算出部３０はＣＮＮ１００を用いて、確率変更処理前の各カテゴリの確率を算出する。
　実施例１では、第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂとが、重複して各カテゴリの確率を算出していたが、実施例４では、局所領域カテゴリ確率算出部３０が、代表して各カテゴリの確率を算出して、第１局所領域カテゴリ算出部２２ｃおよび第２局所領域カテゴリ算出部２２ｄの双方に供給する。これにより実施例１では重複していた各カテゴリ確率の算出処理が１回で済む。
　第１局所領域カテゴリ算出部２２ｃは、供給された各カテゴリの確率値に対して確率変更処理を実行し、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、第１の局所領域カテゴリとして算出する。同様に第２局所領域カテゴリ算出部２２ｄは、供給された各カテゴリの確率値に対して確率変更処理を実行し、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、第２の局所領域カテゴリとして算出する。第１局所領域カテゴリ算出部２２ｃによる確率変更処理、第２局所領域カテゴリ算出部２２ｄによる確率変更処理は、実施例１における第１局所領域カテゴリ算出部２２ａによる確率変更処理、第２局所領域カテゴリ算出部２２ｂによる確率変更処理と同じである。画像カテゴリ算出部２４、画像カテゴリ出力部２６、局所領域カテゴリ出力部２８の動作については、実施例１の画像カテゴリ算出部２４、画像カテゴリ出力部２６、局所領域カテゴリ出力部２８の動作と同じである。
　実施例４の画像解析装置２０ｄによれば、局所領域カテゴリ確率算出部３０が、局所領域におけるカテゴリ確率を算出することで、重複したカテゴリ確率の算出処理を回避できる。
＜実施例５＞
　図１１は、実施例５の画像解析装置２０ｅの構成を示す。画像解析装置２０ｅは、局所領域カテゴリ確率算出部３０、第１局所領域カテゴリ算出部２２ｃ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｄおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ｃは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｄは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。
　実施例４の画像解析装置２０ｄと比較すると、実施例５の画像解析装置２０ｅでは、画像カテゴリ算出部２４が算出した画像カテゴリが、局所領域カテゴリ出力部２８に対する制御情報として、局所領域カテゴリ出力部２８に供給される。算出される画像カテゴリは、正常画像カテゴリまたは異常画像カテゴリのいずれかであり、画像カテゴリ算出部２４が画像カテゴリを算出すると、画像カテゴリが局所領域カテゴリ出力部２８に供給される。
　画像カテゴリが異常画像カテゴリである場合、局所領域カテゴリ出力部２８は、第２局所領域カテゴリを出力する。第２局所領域カテゴリは、異常領域カテゴリの局所領域の位置を可視化した病理画像データとして出力されてよい。
　一方で、画像カテゴリが正常画像カテゴリである場合、局所領域カテゴリ出力部２８は、第２局所領域カテゴリを出力しない。正常画像カテゴリは、画像に異常が含まれていないことを示すが、局所領域カテゴリ出力部２８から出力される局所領域カテゴリに異常領域カテゴリが含まれていると、画像解析結果が整合していないことになる。そこで画像解析装置２０ｅでは、画像カテゴリが正常画像カテゴリである場合に、局所領域カテゴリ出力部２８が第２局所領域カテゴリを出力しないことで、ユーザに不整合な解析結果を提示する状況を回避する。
＜実施例６＞
　図１２は、実施例６の画像解析装置２０ｆの構成を示す。画像解析装置２０ｆは、局所領域カテゴリ確率算出部３０、第１局所領域カテゴリ算出部２２ｃ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｄおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ｃは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｄは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。
　実施例４の画像解析装置２０ｄと比較すると、実施例６の画像解析装置２０ｆでは、画像カテゴリ算出部２４が算出した画像カテゴリが、第２局所領域カテゴリ算出部２２ｄに対する制御情報として、第２局所領域カテゴリ算出部２２ｄに供給される。算出される画像カテゴリは、正常画像カテゴリまたは異常画像カテゴリのいずれかであり、画像カテゴリ算出部２４が画像カテゴリを算出すると、画像カテゴリが第２局所領域カテゴリ算出部２２ｄに供給される。
　画像カテゴリが異常画像カテゴリである場合、第２局所領域カテゴリ算出部２２ｄは、第２局所領域カテゴリを算出する。算出した第２局所領域カテゴリは局所領域カテゴリ出力部２８に供給されて、画像カテゴリとともに、表示装置４０に出力される。
　一方で、画像カテゴリが正常画像カテゴリである場合、第２局所領域カテゴリ算出部２２ｄは、第２局所領域カテゴリを算出しない。正常画像カテゴリは、画像に異常が含まれていないことを示すが、第２局所領域カテゴリ算出部２２ｄが算出する局所領域カテゴリに異常領域カテゴリが含まれていると、画像解析結果が整合していないことになる。そこで画像カテゴリが正常画像カテゴリである場合には、第２局所領域カテゴリ算出部２２ｄに第２局所領域カテゴリを算出させないことで、ユーザに不整合な解析結果を提示する状況を回避し、また第２局所領域カテゴリ算出部２２ｄによる演算処理を停止する。
＜実施例７＞
　図１３は、実施例７の画像解析装置２０ｇの構成を示す。画像解析装置２０ｇは、中間情報算出部３２、第１局所領域カテゴリ算出部２２ｅ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｆおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ｅは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｆは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。
　実施例７の中間情報算出部３２は、入力画像から、局所領域カテゴリを算出するための中間情報を局所領域ごとに算出して、第１局所領域カテゴリ算出部２２ｃおよび第２局所領域カテゴリ算出部２２ｄの双方に供給する。実施例７の中間情報算出部３２は、ＣＮＮ１００を用いて、中間情報を算出してよい。中間情報は、局所領域の画像特徴量、または局所領域の複数のカテゴリそれぞれの確率であってよい。
　中間情報が局所領域の画像特徴量である場合、第１局所領域カテゴリ算出部２２ｅは、中間情報から、局所領域の複数のカテゴリのそれぞれの確率を算出し、各カテゴリの確率値に対して確率変更処理を実行し、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、第１の局所領域カテゴリとして算出する。同様に第２局所領域カテゴリ算出部２２ｆは、中間情報から、局所領域の複数のカテゴリのそれぞれの確率を算出し、各カテゴリの確率値に対して確率変更処理を実行し、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、第２の局所領域カテゴリとして算出する。第１局所領域カテゴリ算出部２２ｅによる確率変更処理、第２局所領域カテゴリ算出部２２ｆによる確率変更処理は、実施例１における第１局所領域カテゴリ算出部２２ａによる確率変更処理、第２局所領域カテゴリ算出部２２ｂによる確率変更処理と同じである。画像カテゴリ算出部２４、画像カテゴリ出力部２６、局所領域カテゴリ出力部２８の動作については、実施例１の画像カテゴリ算出部２４、画像カテゴリ出力部２６、局所領域カテゴリ出力部２８の動作と同じである。
＜実施例８＞
　図１４は、実施例８の画像解析装置２０ｈの構成を示す。画像解析装置２０ｈは、局所領域カテゴリ確率算出部３０、第１局所領域カテゴリ算出部２２ｃ、第１画像カテゴリ算出部２４ａ、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｄ、局所領域カテゴリ出力部２８、第３局所領域カテゴリ算出部２２ｇ、第２画像カテゴリ算出部２４ｂ、画像セットカテゴリ算出部３４および画像セットカテゴリ出力部３６を備える。実施例８の画像解析装置２０ｈにおける局所領域カテゴリ確率算出部３０、第１局所領域カテゴリ算出部２２ｃ、第１画像カテゴリ算出部２４ａ、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｄ、局所領域カテゴリ出力部２８は、実施例６の画像解析装置２０ｆにおける局所領域カテゴリ確率算出部３０、第１局所領域カテゴリ算出部２２ｃ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｄ、局所領域カテゴリ出力部２８に対応する。
　画像解析システム１において、画像供給部１０は、１人の標本（患者）から取得されたＮ（Ｎは１以上）枚の組織切片の病理画像を１つの画像セットとして画像解析装置２０ｈに入力する。画像解析装置２０ｈは、画像セットが正常であるか、異常であるかを示す画像セットカテゴリと、画像セットが異常の場合には、Ｎ枚の画像がそれぞれ正常であるか、異常であるかを示すＮ個の画像カテゴリと、更に画像カテゴリが異常の画像に関し、画像の局所領域が異常であるか、異常でないかを表す局所領域カテゴリを出力する。
　局所領域カテゴリ確率算出部３０は、Ｎ枚の入力画像を入力されて、複数の入力画像のそれぞれに対応するＮ個の局所領域カテゴリ確率を算出する。１つの入力画像に対する局所領域カテゴリ確率算出部３０の処理は、図１０に示す実施例４の画像解析装置２０ｄにおける局所領域カテゴリ確率算出部３０の処理と同様である。実施例８の局所領域カテゴリ確率算出部３０は、ＣＮＮ１００を用いて、確率変更処理前の各カテゴリの確率を算出する。画像解析装置２０ｈの局所領域カテゴリ確率算出部３０は、Ｎ枚の入力画像のそれぞれの局所領域カテゴリ確率を算出する。
　第３局所領域カテゴリ算出部２２ｇは、複数の入力画像のそれぞれに対応する第３の局所領域カテゴリを算出する。具体的に第３局所領域カテゴリ算出部２２ｇは、供給された各カテゴリの確率値に対して確率変更処理を実行し、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、第３の局所領域カテゴリとして算出する。
　第２画像カテゴリ算出部２４ｂは、第３局所領域カテゴリ算出部２２ｇにより算出された各入力画像の複数の第３局所領域カテゴリから、それぞれの第３局所領域カテゴリに対応する画像カテゴリを算出する。実施例８の第２画像カテゴリ算出部２４ｂは、画像に含まれる全ての局所領域カテゴリを参照して、異常領域カテゴリが１つでも存在していれば、異常画像カテゴリを算出し、異常領域カテゴリが１つも存在していなければ、正常画像カテゴリを算出する。
　画像セットカテゴリ算出部３４は、複数の画像カテゴリから、画像セットカテゴリを算出する。具体的に画像セットカテゴリ算出部３４はＮ個の画像カテゴリを入力されて、全ての画像カテゴリのうち異常の画像カテゴリが１つでも含まれていた場合には画像セットカテゴリとして異常を判定し、異常の画像カテゴリが１つも含まれていない場合には画像カテゴリとして正常を判定して、画像セットカテゴリを出力する。
　実施例８では、第１局所領域カテゴリ、第２局所領域カテゴリ、第３局所領域カテゴリの利用目的の違いから、第１局所領域カテゴリ算出部２２ｃ、第２局所領域カテゴリ算出部２２ｄ、第３局所領域カテゴリ算出部２２ｇは、局所領域カテゴリ確率算出部３０が算出したカテゴリ確率に対して、異なる確率変更処理を実行する。なお第１局所領域カテゴリ算出部２２ｃによる確率変更処理、第２局所領域カテゴリ算出部２２ｄによる確率変更処理は、実施例１における第１局所領域カテゴリ算出部２２ａによる確率変更処理、第２局所領域カテゴリ算出部２２ｂによる確率変更処理と同じであってよい。
　第３局所領域カテゴリは、画像セットが正常であるか、異常であるかを示す画像セットカテゴリを算出するために利用される。画像セットが正常であるか、または異常であるかは、当該患者が病変を有していないか、または病変を有しているかと同義である。第３局所領域カテゴリ算出部２２ｇは、確率変更処理を実行して、画像セットカテゴリ算出用に各カテゴリ確率を最適化する。第３局所領域カテゴリ算出部２２ｇは、異常領域カテゴリの確率値を下げる確率変更処理を実行することで、異常を含まない画像セットを異常と誤判定する可能性を低減する。
　第３局所領域カテゴリ算出部２２ｇと第１局所領域カテゴリ算出部２２ｃの確率変更処理を比べると、第１局所領域カテゴリ算出部２２ｃが算出する複数の第１の局所領域カテゴリに占める検出対象カテゴリ（異常領域カテゴリ）の割合は、第３局所領域カテゴリ算出部２２ｇが算出する複数の第３の局所領域カテゴリに占める検出対象カテゴリ（異常領域カテゴリ）の割合以上となる。つまり第３局所領域カテゴリ算出部２２ｇにより異常領域カテゴリと算出された局所領域の第３集合は、第１局所領域カテゴリ算出部２２ｃにより異常領域カテゴリと算出された局所領域の第１集合の部分集合となる。
　第３局所領域カテゴリ算出部２２ｇは、異常領域カテゴリの確率値を、たとえば３０％下げる。この確率変更処理によれば、第３局所領域カテゴリ算出部２２ｇにおいて算出される（７，５）、（４，１０）、（７，８）における各カテゴリの確率は、以下のようになる。
　（７，５）の局所領域における各カテゴリの確率
・正常領域カテゴリ　２０％
・異常領域カテゴリ　４０％（＝７０％－３０％）
・背景領域カテゴリ　１０％
　（４，１０）の局所領域における各カテゴリの確率
・正常領域カテゴリ　３０％
・異常領域カテゴリ　－２０％（＝１０％－３０％）
・背景領域カテゴリ　６０％
　（７，８）の局所領域における各カテゴリの確率
・正常領域カテゴリ　４６％
・異常領域カテゴリ　１４％（＝４４％－３０％）
・背景領域カテゴリ　１０％
　したがって第１局所領域カテゴリ算出部２２ａは、第１局所領域のカテゴリを、以下のように算出する。
（７，５）の局所領域カテゴリ　：　異常領域カテゴリ
（４，１０）の局所領域カテゴリ　：　背景領域カテゴリ
（７，８）の局所領域カテゴリ　：　正常領域カテゴリ
　画像セットカテゴリ算出部３４は、１人の患者の画像セットに対して正常か異常かを表現する画像セットカテゴリを算出し、画像セットカテゴリが異常を示す場合に、第１局所領域カテゴリ算出部２２ｃが、Ｎ枚の入力画像の第１局所領域カテゴリを算出する。第１画像カテゴリ算出部２４ａが、各入力画像のそれぞれの画像カテゴリを算出すると、画像カテゴリが異常を示す画像について、第２局所領域カテゴリ算出部２２ｄが、局所領域のカテゴリを算出する。画像セットカテゴリ出力部３６は、画像セットカテゴリを出力し、画像カテゴリ出力部２６は、画像カテゴリを出力し、局所領域カテゴリ出力部２８は、局所領域カテゴリを出力する。実施例８の画像解析装置２０ｈによれば、１人の患者の画像セットを、効率的に解析できる。
　以上、本発明を実施形態および複数の実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　実施例においては、第１の局所領域カテゴリおよび第２の局所領域カテゴリは、ともに共通のグループに含まれるカテゴリの１つとして決定される。つまり実施例では、正常領域カテゴリ、異常領域カテゴリ、背景領域カテゴリの３つのカテゴリからなる局所領域カテゴリグループの中から、第１の局所領域カテゴリおよび第２の局所領域カテゴリが決定されている。
　変形例では、局所領域カテゴリの第１グループと第２グループとが用意され、第１の局所領域カテゴリが、第１グループに含まれるカテゴリの１つとして決定され、第２の局所領域カテゴリが、第２グループに含まれるカテゴリの１つとして決定されてよい。第１グループを構成するカテゴリ群と、第２グループを構成するカテゴリ群は、異なる。
　たとえば第１局所領域カテゴリは、異常領域を細分化したサブカテゴリを含む。異常領域が、胃癌に属する病変画像を含む場合に、管状腺癌の高分化カテゴリ、管状腺癌の中分化カテゴリ、低分化腺癌カテゴリの３つに細分化されてよい。つまり第１局所領域カテゴリ算出部２２ａ、２２ｃ、２２ｅは、局所領域ごとに、正常領域カテゴリ、管状腺癌の高分化カテゴリ、管状腺癌の中分化カテゴリ、低分化腺癌カテゴリ、背景領域カテゴリのいずれかに分類した第１の局所領域カテゴリを算出する。変形例で画像カテゴリ算出部２４は、管状腺癌の高分化カテゴリ、管状腺癌の中分化カテゴリ、低分化腺癌カテゴリを、異常領域カテゴリとして扱う。この変形例では、第１の局所領域カテゴリの異常を細分化したサブカテゴリに分類することにより、第１の局所領域カテゴリを高精度に解析できるという効果がある。このとき、第２の局所領域カテゴリは、サブカテゴリを含まず、実施例のカテゴリ群と同じであってよい。
　実施形態、実施例および変形例において、画像解析装置は、プロセッサと、メモリ等のストレージを含んでよい。ここでのプロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、あるいは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路およびアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシタ等）で構成することができる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、あるいはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを含んでよい。またプロセッサはＡＳＩＣ（application specific integrated circuit）又はＦＰＧＡ（field-programmable gate array）によるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、画像解析装置の各部の機能が実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
　また実施形態、実施例および変形例において、画像解析装置の各処理部は、例えば通信ネットワークのようなデジタルデータ通信の任意の型式または媒体によって接続されてもよい。通信ネットワークの例は、例えば、ＬＡＮと、ＷＡＮと、インターネットを形成するコンピュータおよびネットワークとを含む。
１・・・画像解析システム、２０，２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅ，２０ｆ，２０ｇ，２０ｈ・・・画像解析装置、２２ａ・・・第１局所領域カテゴリ算出部、２２ｂ・・・第２局所領域カテゴリ算出部、２２ｃ・・・第１局所領域カテゴリ算出部、２２ｄ・・・第２局所領域カテゴリ算出部、２２ｅ・・・第１局所領域カテゴリ算出部、２２ｆ・・・第２局所領域カテゴリ算出部、２２ｇ・・・第３局所領域カテゴリ算出部、２４・・・画像カテゴリ算出部、２４ａ・・・第１画像カテゴリ算出部、２４ｂ・・・第２画像カテゴリ算出部、２６・・・画像カテゴリ出力部、２８・・・局所領域カテゴリ出力部、３０・・・局所領域カテゴリ確率算出部、３２・・・中間情報算出部、３４・・・画像セットカテゴリ算出部、３６・・・画像セットカテゴリ出力部。
　本発明の画像解析技術は、病理画像、内視鏡画像、Ｘ線画像などの医療画像の診断支援や、工業製品の傷の検査などに利用できる。

Claims (16)

  1. 　入力画像の第１の局所領域カテゴリを算出する第１局所領域カテゴリ算出部と、
    　前記第１の局所領域カテゴリから、画像カテゴリを算出する画像カテゴリ算出部と、
    　前記画像カテゴリを出力する画像カテゴリ出力部と、
    　前記入力画像の第２の局所領域カテゴリを算出する第２局所領域カテゴリ算出部と、
    　前記第２の局所領域カテゴリを出力する局所領域カテゴリ出力部と、
    　を備えることを特徴とする画像解析装置。
  2. 　前記第１の局所領域カテゴリは出力されない、
    　ことを特徴とする請求項１に記載の画像解析装置。
  3. 　前記画像カテゴリが第１画像カテゴリである場合に、前記局所領域カテゴリ出力部は、前記第２の局所領域カテゴリを出力し、
    　前記画像カテゴリが第２画像カテゴリである場合に、前記局所領域カテゴリ出力部は、前記第２の局所領域カテゴリを出力しない、
    　ことを特徴とする請求項１または２に記載の画像解析装置。
  4. 　前記画像カテゴリが第１画像カテゴリである場合に、前記第２局所領域カテゴリ算出部は、前記第２の局所領域カテゴリを算出し、
    　前記画像カテゴリが第２画像カテゴリである場合に、前記第２局所領域カテゴリ算出部は、前記第２の局所領域カテゴリを算出しない、
    　ことを特徴とする請求項１から３のいずれかに記載の画像解析装置。
  5. 　前記第２局所領域カテゴリ算出部が算出する複数の前記第２の局所領域カテゴリに占める検出対象カテゴリの割合は、前記第１局所領域カテゴリ算出部が算出する複数の前記第１の局所領域カテゴリに占める検出対象カテゴリの割合以上である、
    　ことを特徴とする請求項１から４のいずれかに記載の画像解析装置。
  6. 　前記第１局所領域カテゴリ算出部により前記検出対象カテゴリと算出された局所領域の第１集合は、前記第２局所領域カテゴリ算出部により前記検出対象カテゴリと算出された局所領域の第２集合の部分集合である、
    　ことを特徴とする請求項５に記載の画像解析装置。
  7. 　前記入力画像は病理画像であり、前記検出対象カテゴリは病変であることを示すカテゴリである、
    　ことを特徴とする請求項５または６に記載の画像解析装置。
  8. 　前記入力画像から、局所領域カテゴリを算出するための中間情報を局所領域ごとに算出する中間情報算出部を、さらに備え、
    　前記第１局所領域カテゴリ算出部は前記中間情報を用いて前記第１の局所領域カテゴリを算出し、
    　前記第２局所領域カテゴリ算出部は前記中間情報を用いて前記第２の局所領域カテゴリを算出する、
    　ことを特徴とする請求項１から７のいずれかに記載の画像解析装置。
  9. 　前記中間情報は、局所領域の画像特徴量、または局所領域の複数のカテゴリそれぞれの確率である、
    　ことを特徴とする請求項８に記載の画像解析装置。
  10. 　前記第１の局所領域カテゴリは、第１グループに含まれるカテゴリの１つとして決定され、前記第２の局所領域カテゴリは、第２グループに含まれるカテゴリの１つとして決定されるものであって、
    　前記第１グループと前記第２グループは異なる、
    　ことを特徴とする請求項１から９のいずれかに記載の画像解析装置。
  11. 　前記第１の局所領域カテゴリを決定する局所領域の大きさと、前記第２の局所領域カテゴリを決定する局所領域の大きさは、異なる、
    　ことを特徴とする請求項１から１０のいずれかに記載の画像解析装置。
  12. 　複数の入力画像のそれぞれに対応する第３の局所領域カテゴリを算出する第３局所領域カテゴリ算出部と、
    　複数の第３の局所領域カテゴリから、それぞれの前記第３の局所領域カテゴリに対応する第２画像カテゴリを算出する第２画像カテゴリ算出部と、
    　複数の第２画像カテゴリから画像セットカテゴリを算出する画像セットカテゴリ算出部と、をさらに備える、
    　ことを特徴とする請求項１から１１のいずれかに記載の画像解析装置。
  13. 　前記第１局所領域カテゴリ算出部が算出する複数の前記第１の局所領域カテゴリに占める検出対象カテゴリの割合は、前記第３局所領域カテゴリ算出部が算出する複数の前記第３の局所領域カテゴリに占める検出対象カテゴリの割合以上である、
    　ことを特徴とする請求項１２に記載の画像解析装置。
  14. 　前記複数の入力画像は、１人の標本から取得された複数の病理画像である、
    　ことを特徴とする請求項１２または１３に記載の画像解析装置。
  15. 　入力画像の第１の局所領域カテゴリを算出するステップと、
    　前記第１の局所領域カテゴリから、画像カテゴリを算出するステップと、
    　前記画像カテゴリを出力するステップと、
    　前記入力画像の第２の局所領域カテゴリを算出するステップと、
    　前記第２の局所領域カテゴリを出力するステップと、
    　を備えることを特徴とする画像解析方法。
  16. 　コンピュータに、
    　入力画像の第１の局所領域カテゴリを算出する機能と、
    　前記第１の局所領域カテゴリから、画像カテゴリを算出する機能と、
    　前記画像カテゴリを出力する機能と、
    　前記入力画像の第２の局所領域カテゴリを算出する機能と、
    　前記第２の局所領域カテゴリを出力する機能と、
    　を実現させるためのプログラム。
PCT/JP2018/028664 2018-07-31 2018-07-31 画像解析装置および画像解析方法 WO2020026341A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880096075.0A CN112513926A (zh) 2018-07-31 2018-07-31 图像解析装置及图像解析方法
JP2020533937A JP6984020B2 (ja) 2018-07-31 2018-07-31 画像解析装置および画像解析方法
PCT/JP2018/028664 WO2020026341A1 (ja) 2018-07-31 2018-07-31 画像解析装置および画像解析方法
US17/159,299 US20210150712A1 (en) 2018-07-31 2021-01-27 Image analysis device and image analysis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/028664 WO2020026341A1 (ja) 2018-07-31 2018-07-31 画像解析装置および画像解析方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/159,299 Continuation US20210150712A1 (en) 2018-07-31 2021-01-27 Image analysis device and image analysis method

Publications (1)

Publication Number Publication Date
WO2020026341A1 true WO2020026341A1 (ja) 2020-02-06

Family

ID=69232138

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028664 WO2020026341A1 (ja) 2018-07-31 2018-07-31 画像解析装置および画像解析方法

Country Status (4)

Country Link
US (1) US20210150712A1 (ja)
JP (1) JP6984020B2 (ja)
CN (1) CN112513926A (ja)
WO (1) WO2020026341A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022049663A1 (ja) * 2020-09-02 2022-03-10

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0737056A (ja) * 1993-07-19 1995-02-07 Toshiba Corp 医用診断支援装置
JP2005301823A (ja) * 2004-04-14 2005-10-27 Olympus Corp 分類装置及び分類方法
JP2011010162A (ja) * 2009-06-29 2011-01-13 Canon Inc 画像処理装置及び画像処理方法並びにコンピュータプログラム
JP2011058926A (ja) * 2009-09-09 2011-03-24 Ricoh Elemex Corp 画像検査方法及び画像検査装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5281826B2 (ja) * 2008-06-05 2013-09-04 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5777380B2 (ja) * 2011-04-05 2015-09-09 キヤノン株式会社 画像認識装置、画像認識方法、及びプログラム
JP5401695B2 (ja) * 2011-05-23 2014-01-29 株式会社モルフォ 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
JP5668932B2 (ja) * 2011-05-23 2015-02-12 株式会社モルフォ 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
JP7054787B2 (ja) * 2016-12-22 2022-04-15 パナソニックＩｐマネジメント株式会社 制御方法、情報端末、及びプログラム
CN109583440B (zh) * 2017-09-28 2021-12-17 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN107680684B (zh) * 2017-10-12 2021-05-07 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
WO2019088121A1 (ja) * 2017-10-30 2019-05-09 公益財団法人がん研究会 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム
CN110335269A (zh) * 2018-05-16 2019-10-15 腾讯医疗健康(深圳)有限公司 眼底图像的类别识别方法和装置
CN111192285B (zh) * 2018-07-25 2022-11-04 腾讯医疗健康(深圳)有限公司 图像分割方法、装置、存储介质和计算机设备
CN110448270B (zh) * 2018-08-01 2022-07-19 冯世庆 人工智能腰椎间盘突出诊断及分型系统
CN109523535B (zh) * 2018-11-15 2023-11-17 首都医科大学附属北京友谊医院 一种病变图像的预处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0737056A (ja) * 1993-07-19 1995-02-07 Toshiba Corp 医用診断支援装置
JP2005301823A (ja) * 2004-04-14 2005-10-27 Olympus Corp 分類装置及び分類方法
JP2011010162A (ja) * 2009-06-29 2011-01-13 Canon Inc 画像処理装置及び画像処理方法並びにコンピュータプログラム
JP2011058926A (ja) * 2009-09-09 2011-03-24 Ricoh Elemex Corp 画像検査方法及び画像検査装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022049663A1 (ja) * 2020-09-02 2022-03-10
WO2022049663A1 (ja) * 2020-09-02 2022-03-10 オリンパス株式会社 プログラム、情報記憶媒体及び処理システム

Also Published As

Publication number Publication date
US20210150712A1 (en) 2021-05-20
JPWO2020026341A1 (ja) 2021-03-18
CN112513926A (zh) 2021-03-16
JP6984020B2 (ja) 2021-12-17

Similar Documents

Publication Publication Date Title
Guo et al. A retinal vessel detection approach using convolution neural network with reinforcement sample learning strategy
Graziani et al. Concept attribution: Explaining CNN decisions to physicians
US10853449B1 (en) Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
Goncharov et al. CT-Based COVID-19 triage: Deep multitask learning improves joint identification and severity quantification
US10499857B1 (en) Medical protocol change in real-time imaging
Krause et al. Grader variability and the importance of reference standards for evaluating machine learning models for diabetic retinopathy
Ayhan et al. Expert-validated estimation of diagnostic uncertainty for deep neural networks in diabetic retinopathy detection
Di et al. Hypergraph learning for identification of COVID-19 with CT imaging
Lieman-Sifry et al. FastVentricle: cardiac segmentation with ENet
KR101908680B1 (ko) 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
US10692602B1 (en) Structuring free text medical reports with forced taxonomies
Arafati et al. Artificial intelligence in pediatric and adult congenital cardiac MRI: an unmet clinical need
Mu et al. An attention residual u-net with differential preprocessing and geometric postprocessing: Learning how to segment vasculature including intracranial aneurysms
Playout et al. Focused attention in transformers for interpretable classification of retinal images
Shah et al. Pneumonia detection using convolutional neural networks
Li et al. MultiR-net: a novel joint learning network for COVID-19 segmentation and classification
Hanif et al. Applications of interpretability in deep learning models for ophthalmology
de Vente et al. Improving automated covid-19 grading with convolutional neural networks in computed tomography scans: An ablation study
KR20230139257A (ko) 기계 학습 모델 기반의 ct 영상을 분류 및 분할하기 위한 방법 및 장치
WO2020026341A1 (ja) 画像解析装置および画像解析方法
Reddy et al. OHGCNet: optimal feature selection-based hybrid graph convolutional network model for joint DR-DME classification
Kemenczky et al. Effect of head motion-induced artefacts on the reliability of deep learning-based whole-brain segmentation
Podgoršak et al. Use of a convolutional neural network for aneurysm identification in digital subtraction angiography
Bhati et al. An interpretable dual attention network for diabetic retinopathy grading: IDANet
Sushma et al. Classification of fetal heart ultrasound images for the detection of CHD

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18928753

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020533937

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18928753

Country of ref document: EP

Kind code of ref document: A1