WO2023008526A1 - 細胞画像解析方法 - Google Patents
細胞画像解析方法 Download PDFInfo
- Publication number
- WO2023008526A1 WO2023008526A1 PCT/JP2022/029117 JP2022029117W WO2023008526A1 WO 2023008526 A1 WO2023008526 A1 WO 2023008526A1 JP 2022029117 W JP2022029117 W JP 2022029117W WO 2023008526 A1 WO2023008526 A1 WO 2023008526A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- cell
- abnormal cell
- image
- area
- abnormal
- Prior art date
Links
- 238000003703 image analysis method Methods 0.000 title claims abstract description 44
- 230000002159 abnormal effect Effects 0.000 claims abstract description 550
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 210000004027 cell Anatomy 0.000 claims description 986
- 238000000034 method Methods 0.000 claims description 25
- 210000004748 cultured cell Anatomy 0.000 claims description 11
- 238000010191 image analysis Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 21
- 230000000052 comparative effect Effects 0.000 description 7
- 230000012447 hatching Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000001671 embryonic stem cell Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004263 induced pluripotent stem cell Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
- C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
- C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Definitions
- This invention relates to a cell image analysis method, and more particularly to a cell analysis method for analyzing cells using a learned model.
- International Publication No. 2019/171546 discloses a cell image analysis method for analyzing a cell image captured by an imaging device.
- the cell image analysis method disclosed in WO2019/171546 classifies normal cell regions and abnormal cell regions using the analysis results of a trained model.
- International Publication No. 2019/171546 discloses a configuration for classifying each pixel of a cell image into a normal cell region and an abnormal cell region by segmentation processing to determine which category each pixel belongs to. is disclosed.
- the index value of each pixel determines whether the pixel is a normal cell area or an abnormal cell area. That is, in each pixel, if the index value indicating normal cells is greater than the index value indicating abnormal cells and the index value indicating background, the pixel is classified as a normal cell region. Also, in each pixel, when the index value indicating the abnormal cell is larger than the index value indicating the normal cell and the index value indicating the background, the pixel is classified as the abnormal cell region. Therefore, even a region classified as a normal cell region may contain abnormal cells.
- the present invention has been made to solve the above-described problems, and one object of the present invention is to provide a cell image analysis method capable of grasping regions suspected of being abnormal cells in a cell image. is to provide
- a cell image analysis method comprises the steps of: obtaining a cell image showing cells; obtaining an index value obtained by analyzing the above, and obtaining an abnormal cell area, which is an area in which a first index value indicating that the cell is an abnormal cell that is not a normal cell is larger than a predetermined criterion value among the index values and identifiably displaying the abnormal cell area.
- the first index value indicating that the cell is an abnormal cell that is not a normal cell is a region larger than a predetermined criterion value.
- a step of obtaining an abnormal cell area is provided.
- a region where the first index value is greater than the predetermined criterion value is acquired as an abnormal cell region, so even when the first index value is smaller than other index values, it can be acquired as an abnormal cell region.
- the step of identifiably displaying the abnormal cell area is included.
- the criterion value is set to be small, the acquired abnormal cell area is displayed in an identifiable manner as an area suspected of being an abnormal cell. can be displayed in As a result, it is possible to provide a cell image analysis method capable of grasping regions suspected of being abnormal cells in a cell image.
- FIG. 1 is a schematic diagram showing the overall configuration of a cell image analysis device according to one embodiment;
- FIG. It is a schematic diagram for explaining a cell image.
- FIG. 4 is a schematic diagram for explaining a method of learning a learning model and a method of analyzing a cell image using a first learned learning model according to one embodiment;
- FIG. 4 is a schematic diagram for explaining a configuration in which an image processing unit according to one embodiment generates a label image based on index values output by a trained model;
- FIG. 4A to FIG. 4C are schematic diagrams (A) to (C) for explaining an abnormal cell label image, an enlarged view of the abnormal cell label image, and a graph of pixel values.
- FIG. 7A to 7E are schematic diagrams (A) to (E) for explaining abnormal cell label images when the determination reference value is changed.
- FIG. FIG. 4 is a schematic diagram for explaining a configuration in which an image processing unit according to one embodiment acquires a first abnormal cell area and a second abnormal cell area;
- FIG. 4 is a schematic diagram for explaining a cell area and a non-cell area;
- 4A and 4B are schematic diagrams (A) and (B) for explaining a superimposed cell image generated by a superimposed cell image generation unit according to an embodiment;
- FIG. 7A and 7B are schematic diagrams for explaining a superimposed cell image according to a comparative example;
- 4 is a schematic diagram for explaining a configuration in which an image processing unit according to an embodiment selects an abnormal cell region to be displayed in an identifiable manner.
- 4 is a flow chart for explaining processing for displaying a superimposed cell image by the cell image analysis device according to one embodiment.
- 4 is a flow chart for explaining a process of acquiring and displaying the number of abnormal cells by the cell image analysis device according to one embodiment.
- 4 is a flow chart for explaining a process of acquiring and displaying the ratio of the area of the first abnormal cell region to the area of the second abnormal cell region by the cell image analysis device according to one embodiment.
- the cell image analysis apparatus 100 includes an image acquisition unit 1, a processor 2, a storage unit 3, a display unit 4, and an input reception unit 5, as shown in FIG.
- the image acquisition unit 1 is configured to acquire a cell image 10.
- the cell image 10 is an image showing cells 90 (see FIG. 2).
- the cell image 10 is an image of cultured cells cultured in a container.
- the image acquiring unit 1 is configured to acquire the cell image 10 from a device for capturing the cell image 10, such as a microscope 7 with an imaging device attached.
- Image acquisition unit 1 includes, for example, an input/output interface.
- the processor 2 is configured to analyze the acquired cell image 10.
- the processor 2 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a GPU (Graphics Processing Unit), or an FPGA (Field-Programmable Gate Array) configured for image processing. contains.
- the processor 2 including a CPU as hardware includes, as functional blocks of software (programs), a control unit 2a, an image analysis unit 2b, an image processing unit 2c, and a superimposed cell image generation unit 2d. .
- the processor 2 functions as a control unit 2a, an image analysis unit 2b, an image processing unit 2c, and a superimposed cell image generation unit 2d.
- the control unit 2a, the image analysis unit 2b, the image processing unit 2c, and the superimposed cell image generation unit 2d may be individually configured by hardware by providing a dedicated processor (processing circuit).
- the control unit 2a is configured to control the cell image analysis device 100. Further, the control unit 2 a is configured to perform control to display the superimposed cell image 50 on the display unit 4 . Details of the superimposed cell image 50 will be described later.
- the image analysis unit 2b analyzes whether the cells 90 appearing in the cell image 10 are normal cells or abnormal cells. Specifically, the image analysis unit 2b analyzes the cell 90 shown in the cell image 10 using the trained model 6 that has learned the analysis of the cell 90 (see FIG. 2), and calculates the index value 21 (see FIG. 4). configured to obtain. Details of the index value 21, normal cells, and abnormal cells will be described later.
- the image processing unit 2c acquires the background labeled image 11 (see FIG. 4), the normal cell labeled image 12 (see FIG. 4), and the abnormal cell labeled image 13 (see FIG. 4) based on the index value 21. is configured to The details of the configuration in which the image processing unit 2c acquires each label image will be described later.
- the image processing unit 2c detects an abnormal cell region 91 (Fig. 6A reference).
- the superimposed cell image generation unit 2d is configured to generate a superimposed cell image 50 that allows the abnormal cell region 91 to be identified. The details of the configuration for generating the superimposed cell image 50 by the superimposed cell image generation unit 2d will be described later.
- the storage unit 3 is configured to store the cell image 10, the learned model 6, and the criterion value 20.
- the predetermined criterion values 20 include a first criterion value 20a and a second criterion value 20b lower than the first criterion value 20a. Details of the first criterion value 20a and the second criterion value 20b will be described later. Further, the storage unit 3 is configured to store various programs executed by the processor 2 .
- the storage unit 3 includes, for example, a storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
- the display unit 4 is configured to display the superimposed cell image 50 generated by the superimposed cell image generation unit 2d.
- Display unit 4 includes, for example, a display device such as a liquid crystal monitor.
- the input reception unit 5 is configured to be able to receive operation input by the operator.
- Input reception unit 5 includes an input device such as a mouse and a keyboard.
- the cell image 10 is an image showing cultured cells.
- the cell image 10 is an image obtained by photographing a cell 90 having differentiation potential as a cultured cell.
- the cells 90 include iPS cells (induced pluripotent stem cells), ES cells (embryonic stem cells), and the like.
- the image analysis unit 2b (see FIG. 1) is configured to analyze whether the cell 90 appearing in the cell image 10 is an undifferentiated cell or an undifferentiated deviant cell.
- an undifferentiated cell is a cell which has differentiation ability.
- undifferentiated deviant cells are cells that have started to differentiate into specific cells and do not have differentiation potential.
- undifferentiated cells are defined as normal cells.
- undifferentiated deviant cells are defined as abnormal cells.
- the incidence of abnormal cells is sufficiently low. In other words, abnormal cells are rare cells relative to all cultured cells.
- the cell image 10 may include an area (noise area 80) in which noise appears.
- the noise includes scratches on the culture vessel when the cells 90 are cultured.
- FIG. 10 Next, a method for analyzing the cell image 10 by the cell image analysis method according to this embodiment will be described with reference to FIG.
- the cell image analysis apparatus 100 analyzes the cell image 10 to determine whether the cell 90 appearing in the cell image 10 is a normal cell or an abnormal cell.
- the cell image analysis apparatus 100 analyzes the cell image 10 using the learned model 6 to determine whether the cell 90 appearing in the cell image 10 is normal or abnormal.
- the trained model 6 outputs an index value 21 when the cell image 10 is input.
- the index value 21 includes a first probability value 21a indicating the probability that the cell 90 is an abnormal cell, a second probability value 21b indicating the probability that the cell 90 is a normal cell, and a third probability value 21c indicating the probability that the cell 90 is background. and a fourth probability value 21d indicating the probability of being noise.
- the trained model 6 is trained to output the index value 21 for each pixel of the cell image 10 .
- the first probability value 21a is an example of the "first index value" in the claims.
- FIG. 3 is a block diagram showing the flow of image processing according to this embodiment. As shown in FIG. 3 , in this embodiment, the cell image analysis method is roughly divided into an image analysis method 101 and a learned model 6 generation method 102 .
- the method 102 for generating the trained model 6 generates the trained model 6 by making the learning model 6a learn to classify each pixel of the cell image 10 into normal cells, abnormal cells, and background. do. Specifically, the method 102 for generating the trained model 6 generates the trained model 6 by making the learning model 6a learn using the teacher cell image 30 and the teacher label image 31 . That is, the method 102 for generating the learned model 6 uses the cell image 10 as the teacher cell image 30 as input data, and the teacher label image 31 as the labeled image of normal cells and the labeled abnormal cells. The output data are an image, an image with labeled background, and an image with labeled noise. Thus, the method 102 for generating the trained model 6 causes the learning model 6a to learn whether each pixel of the input image is a normal cell, abnormal cell, background, or noise.
- the method 102 for generating the trained model 6 includes a step 102a of inputting the teacher cell image 30 to the learning model 6a, and making the learning model 6a learn to output the teacher label image 31. and step 102b.
- the trained model 6 is, for example, a convolutional neural network (CNN) shown in FIG. 3, or partly includes a convolutional neural network.
- the learned model 6 generated by learning the learning model 6a is stored in the storage unit 3 (FIG. 1) of the cell image analysis device 100.
- FIG. 1 probability value 21a is a probability value that the cell 90 appearing in the teacher cell image 30 is an abnormal cell.
- the second probability value 21b is a probability value that the cell 90 appearing in the teacher cell image 30 is a normal cell.
- the third probability value 21c is a probability value that the pixel of the teacher cell image 30 is the background.
- the trained model 6 uses the index values 21 for the input cell image 10 as a first probability value 21a indicating the probability of being a normal cell, a second probability value 21b indicating the probability of being an abnormal cell, A third probability value 21c indicating the probability of being background and a fourth probability value 21d indicating the probability of being noise are output.
- learning that the area is the noise area 80 learning is performed by using a teacher image in which the operator labels the noise area 80 in advance. This makes it possible to increase the number of classification classes to be discriminated compared to a configuration in which the three classification classes of normal cells, abnormal cells, and background are learned. Therefore, in the three classification classes, an abnormal cell classified in the background may slightly increase in likelihood of being an abnormal cell due to an increase in the noise classification class. As a result, the classification accuracy of the learned model 6 can be improved by suppressing the abnormal cells from being classified as background.
- An image analysis method 101 is an image analysis method for classifying cells 90 appearing in a cell image 10 acquired by the image acquisition unit 1 from a microscope 7 or the like into normal cells and abnormal cells.
- the image analysis method 101 according to the present embodiment includes steps of obtaining a cell image 10, obtaining an index value 21 of each pixel of the cell image 10, obtaining an abnormal cell region 91, and determining the abnormal cell region 91. and identifiably displaying. Detailed processing of each step of the image analysis method 101 will be described later.
- the step of acquiring the cell image 10 is performed by the image acquisition unit 1 as shown in FIG.
- An image acquisition unit 1 acquires a cell image 10 from an image capturing device such as a microscope 7 .
- the image acquisition unit 1 also outputs the acquired cell image 10 to the image analysis unit 2b.
- the step of analyzing the cell image 10 is performed by the image analysis unit 2b.
- the image analysis unit 2b acquires the index value 21 for each pixel of the input cell image 10.
- FIG. The image analysis unit 2b also outputs the acquired index value 21 to the image processing unit 2c.
- the image processing unit 2c acquires the abnormal cell region 91 from the cell image 10 based on the index value 21.
- the image processor 2c outputs the acquired abnormal cell region 91 to the superimposed cell image generator 2d.
- the superimposed cell image generation unit 2d generates a superimposed cell image 50 based on the abnormal cell region 91 and the cell image 10, and causes the display unit 4 to display it.
- the cell image analysis apparatus 100 displays the abnormal cell region 91 in a identifiable manner by displaying the superimposed cell image 50 . Details of the superimposed cell image 50 will be described later.
- the image processor 2c acquires the abnormal cell region 91 based on the index value 21 output by the learning model 6a. Specifically, as shown in FIG. 4, the image processing unit 2c acquires the abnormal cell region 91 by acquiring the labeled image based on the index value 21.
- FIG. 4 Label image acquisition processing
- the image analysis unit 2b acquires the index value 21 by inputting the cell image 10 to the trained model 6.
- the image analysis unit 2b acquires the index value 21 for each pixel of the cell image 10.
- the image processing unit 2c (see FIG. 1) generates a background labeled image 11, a normal cell labeled image 12, an abnormal cell labeled image 13, and a noise region labeled image (see FIG. 1) based on the index value 21 output by the trained model 6. not shown).
- the background label image 11 is an image whose pixel values are the values of the third probability values 21c that indicate the probability of being the background.
- the background label image 11 is an image in which the pixel value increases (blacker) as the value of the third probability value 21c increases, and the pixel value decreases (whiter) as the value of the third probability value 21c decreases. be.
- the darker the hatching the larger the pixel value.
- one hatching indicates that the probability value within a predetermined range is included.
- the black area in the background label image 11 means that the third probability value 21c indicating the probability of being background is greater than 80% and less than or equal to 100%.
- the normal cell label image 12 is an image whose pixel values are the values of the second probability values 21b that indicate the probability of being normal cells.
- the normal cell labeled image 12 is an image in which the pixel value increases (blacker) as the second probability value 21b increases, and the pixel value decreases (whiter) as the second probability value 21b decreases. is. Also, in the hatched portions, the darker the hatching, the larger the pixel value.
- the normal cell labeled image 12 also includes a predetermined range of probability values by adding one hatching as shown in Legend 8 .
- the black region in the normal cell label image 12 means that the first probability value 21a indicating the probability of being normal cells is greater than 80% and less than or equal to 100%.
- the abnormal cell label image 13 is an image in which the value of the first probability value 21a indicating the probability of being an abnormal cell is used as the pixel value. Specifically, the abnormal cell label image 13 is an image in which the pixel value is larger (blacker) as the value of the first probability value 21a is larger, and the pixel value is smaller (whiter) as the value of the first probability value 21a is smaller. is. Also, in the hatched portions, the darker the hatching, the larger the pixel value. It should be noted that the abnormal cell label image 13 also includes a predetermined range of probability values by adding one hatching, as shown in legend 8. FIG. For example, the black region in the abnormal cell label image 13 means that the second probability value 21b indicating the probability of being abnormal cells is greater than 80% and less than or equal to 100%.
- FIG. 5(A) is a schematic diagram showing an abnormal cell label image 13.
- FIG. 5(B) is an enlarged image 15 obtained by enlarging the region 14 of the abnormal cell labeled image 13 of FIG. 5(A).
- FIG. 5C is a graph 17 in which pixel values are plotted along a straight line 16 shown in the enlarged image 15.
- FIG. The graph 17 is a graph in which the vertical axis is the pixel value and the horizontal axis is the pixel position.
- the enlarged image 15 shown in FIG. 5(B) is an enlarged image of the area 14, which is an area with small pixel values, in the abnormal cell labeled image 13. As shown in graph 17 of FIG. 5(C), there is a small pixel value, so there is a possibility that the cell is an abnormal cell, albeit with a low probability.
- FIG. 1 when determining whether each pixel is a normal cell, an abnormal cell, or a background based on the order of magnitude of the index value 21 output by the trained model 6, FIG. There is a possibility that the region 14 of the abnormal cell label image 13 shown in , will not be identified as an abnormal cell. Specifically, when the first probability value 21a of the index values 21 of the same pixel as the region 14 is smaller than the second probability value 21b and the third probability value 21c, the cell is not determined to be an abnormal cell. However, if the first probability value 21a is not 0, there is even a slight possibility that the cell is an abnormal cell. Therefore, in the case of discrimination based on the magnitude of the index value 21, the operator may not be able to grasp the region of the cells 90 shown in the enlarged image 15 as the abnormal cell region 91. FIG.
- the image processing unit 2c is configured to acquire the abnormal cell region 91 based on the determination reference value 20 and the index value 21. Specifically, the image processing unit 2 c acquires the abnormal cell region 91 by performing so-called threshold processing on the index value 21 with the determination reference value 20 . In the present embodiment, the image processing unit 2c determines that the first index value (first probability value 21a), which indicates that the cell 90 is an abnormal cell rather than a normal cell, out of the index values 21 is higher than the predetermined criterion value 20. is configured to acquire an abnormal cell region 91, which is a large region.
- first index value first probability value 21a
- Schematic diagrams shown in FIGS. 6A to 6E are abnormal cell label images 13 when the criterion value 20 is changed.
- the criterion value 20 is set to a value greater than 0%, 10% or more, 20% or more, 30% or more, and 40% It is the abnormal cell label image 13 when changed above.
- the abnormal cell label images 13a to 13e shown in FIGS. 6A to 6E the abnormal cell region 91 is shown as a black region.
- areas other than the abnormal cell area 91 are shown as white areas.
- FIG. 6(A) is a schematic diagram showing an abnormal cell label image 13a when the criterion value 20 is set to a value greater than 0. That is, the abnormal cell labeled image 13a is a labeled image of the abnormal cell region 91 having the first probability value 21a greater than zero.
- FIG. 6(B) is a schematic diagram showing an abnormal cell label image 13b when the criterion value 20 is set to 10% or more. That is, the abnormal cell labeled image 13b is a labeled image of the abnormal cell region 91 with the first probability value 21a of 10% or more.
- the abnormal cell region 91 when the criterion value 20 is greater than 0 is indicated by a dashed line 70.
- the size of the abnormal cell region 91 becomes small.
- FIG. 6(C) is a schematic diagram showing an abnormal cell label image 13c when the criterion value 20 is set to a value of 20% or more. That is, the abnormal cell labeled image 13c is a labeled image of the abnormal cell region 91 having the first probability value 21a of 20% or more. Also in FIG. 6(C), the broken line 70 indicates the abnormal cell region 91 when the criterion value 20 is greater than zero. As shown in FIG. 6C, when the criterion value 20 is 20% or more, the size of the abnormal cell region 91 becomes smaller. Moreover, when comparing the abnormal cell label image 13b shown in FIG. 6B and the abnormal cell label image 13c shown in FIG. The cell area 91 is smaller than the abnormal cell area 91 shown in the abnormal cell label image 13b shown in FIG. 6(B).
- FIG. 6(D) is an abnormal cell label image 13d when the criterion value 20 is set to 30% or more. That is, the abnormal cell labeled image 13d is a labeled image of the abnormal cell region 91 having the first probability value 21a of 30% or more. Also in FIG. 6(D), the broken line 70 indicates the abnormal cell region 91 when the criterion value 20 is greater than zero. As shown in FIG. 6D, when the criterion value 20 is 30% or more, the size of the abnormal cell region 91 becomes smaller. Further, as shown in FIGS. 6B to 6D, as the value of the criterion value 20 increases, the abnormal cell region 91 appearing in the abnormal cell label image 13 becomes smaller.
- FIG. 6(E) is a schematic diagram showing an abnormal cell label image 13e when the criterion value 20 is set to 40% or more. That is, the abnormal cell labeled image 13e is a labeled image of the abnormal cell region 91 having the first probability value 21a of 40% or more. Also in FIG. 6(E), the broken line 70 indicates the abnormal cell region 91 when the criterion value 20 is greater than zero. As shown in FIG. 6(E), when the criterion value 20 is 40% or more, the size of the abnormal cell region 91 becomes smaller. Further, as shown in FIGS. 6B to 6E, as the value of the criterion value 20 increases, the abnormal cell region 91 appearing in the abnormal cell label image 13 becomes smaller.
- the size of the abnormal cell region 91 decreases.
- the smaller the criterion value 20 the larger the number and area of the regions acquired as the abnormal cell regions 91.
- FIG. it is more likely that regions that are not actually abnormal cells will be obtained. In other words, even a region that does not need to be identifiably displayed as the abnormal cell region 91 may be acquired as the abnormal cell region 91 .
- the larger the value of the criterion value 20 the higher the possibility that the cells 90 included in the acquired abnormal cell region 91 are abnormal cells. However, the number and area of the acquired abnormal cell regions 91 are reduced. That is, there is a case where the abnormal cell region 91 is not acquired.
- the image processing unit 2c is configured to acquire the abnormal cell region 91 using a plurality of determination reference values 20. Specifically, the image processing unit 2 c is configured to acquire the abnormal cell region 91 using two determination reference values 20 . In this embodiment, the image processing unit 2c is configured to acquire the abnormal cell region 91 using a first criterion value 20a and a second criterion value 20b lower than the first criterion value 20a. ing.
- the first determination reference value 20a is set to 10% or more
- the second determination reference value 20b is set to a value greater than zero.
- the image processing unit 2c like the abnormal cell region image 13f shown in FIG. to get as Specifically, the image processing unit 2c acquires the abnormal cell region 91 having the first probability value 21a larger than the first determination reference value 20a as the first abnormal cell region 91a. Further, the image processing unit 2c acquires an abnormal cell region 91 whose first index value is greater than the second determination reference value 20b as a second abnormal cell region 91b, such as the abnormal cell region image 13f shown in FIG. . Specifically, the image processing unit 2c acquires the abnormal cell region 91 having the first probability value 21a greater than the second determination reference value 20b as the second abnormal cell region 91b.
- the image processing unit 2c converts the index value 21 of each pixel of the cell region 93, which is the cell 90 shown in the cell image 10, into the first determination reference value 20a and It is determined whether or not it is greater than the second determination reference value 20b.
- the image processing unit 2c is configured to acquire a cell region 93 that is the region of the cells 90 and a region 94 other than the cells 90 based on the normal cell labeled image 12 and the abnormal cell labeled image 13.
- the image processing unit 2c obtains the cell region image 18 by adding the pixel values at the same position in the normal cell labeled image 12 and the abnormal cell labeled image 13, respectively.
- the cell region image 18 shown in FIG. 8 is a binary image in which the cell region 93 has a pixel value of 1 and the region 94 other than the cell 90 has a pixel value of 0.
- the area illustrated in white in the cell area image 18 is the area 94 other than the cell 90 .
- FIG. 9 shows an example in which the superimposed cell image generation unit 2d generates a superimposed cell image 50 shown in FIG. 9(B) from the cell image 10 shown in FIG. 9(A).
- the superimposed cell image generation unit 2d generates a superimposed cell image 50 by superimposing the abnormal cell region 91 on the cell image 10. Specifically, the superimposed cell image generation unit 2d generates a superimposed cell image 50 by superimposing the first abnormal cell region 91a and the second abnormal cell region 91b on the cell image 10.
- FIG. 1 The superimposed cell image generation unit 2d generates a superimposed cell image 50 by superimposing the first abnormal cell region 91a and the second abnormal cell region 91b on the cell image 10.
- the superimposed cell image generation unit 2d generates, as the superimposed cell image 50, an image that allows the abnormal cell region 91 to be identified. Specifically, the superimposed cell image generation unit 2d generates, as the superimposed cell image 50, an image in which the entirety of the first abnormal cell region 91a is displayed in a predetermined color.
- the superimposed cell image generator 2d displays, for example, the entirety of the first abnormal cell region 91a in red. In the example shown in FIG. 9B, the first abnormal cell region 91a is hatched to indicate that the entire first abnormal cell region 91a is displayed in a predetermined color.
- the superimposed cell image generation unit 2d generates, as the superimposed cell image 50, an image in which the frame line 91c surrounding the second abnormal cell region 91b is highlighted.
- the frame line 91c is emphasized by drawing the frame line 91c with a thick line.
- the frame line 91c is the outline of the second abnormal cell region 91b.
- the superimposed cell image generation unit 2d superimposes a thick line (frame line 91c) indicating the outline of the cell region 93 of the cell image 10, and then, in the abnormal cell region 91, the second probability value 21b is divided into two steps to generate a colored image in which each region corresponding to the second probability value 21b is dyed with two colors.
- the superimposed cell image generation unit 2d generates an image in which the normal cell region 92 is displayed in a color different from that of the abnormal cell region 91 as the superimposed cell image 50. That is, the superimposed cell image generation unit 2d displays the normal cell region 92 and the abnormal cell region 91 in different colors, displays the entire first abnormal cell region 91a in a predetermined color, and displays the second abnormal cell region 91a in a predetermined color. An image in which a frame line 91c surrounding 91b is highlighted is generated as a superimposed cell image 50. FIG. Abnormal cell region 91 For example, in this embodiment, the superimposed cell image generation unit 2d displays the normal cell region 92 in blue.
- FIG. 10 (Superimposed cell image by comparative example)
- a superimposed cell image 50 shown in FIG. 10B is obtained from the cell image 10 shown in FIG. 4 shows a comparative example to generate.
- the superimposed cell image 40 according to the comparative example is an image in which the normal cell region 96 and the abnormal cell region 95 are obtained based on the largest index value 21 for each pixel and superimposed on the cell image 10. Specifically, for each pixel, among the first probability value 21a, the second probability value 21b, and the third probability value 21c, the largest probability value is acquired, and the normal cell region 96 and the abnormal cell region 95 are obtained. and get. Therefore, when the first probability value 21a indicating the probability of being an abnormal cell is smaller than the second probability value 21b indicating the probability of being a normal cell and the third probability value 21c indicating the probability of being a background cell, the abnormal cell region It is not displayed as 91.
- the area of the abnormal cell region 95 appearing in the superimposed cell image 40 according to the comparative example is smaller than the area of the abnormal cell region 91 appearing in the superimposed cell image 50 according to the present embodiment. That is, in the superimposed cell image 40 according to the comparative example, it is difficult to grasp the abnormal cell region 95 at a glance.
- the superimposed cell image 50 according to the present embodiment displays more and wider abnormal cell regions 91 . Therefore, the operator can more accurately grasp the abnormal cell region 91 that may be abnormal cells.
- the image processing unit 2c is configured to acquire the number of abnormal cells appearing in the cell image 10.
- FIG. When counting the number of abnormal cells, if adjacent abnormal cells are individually counted, the ratio of abnormal cells to normal cells may become too large. Therefore, in this embodiment, the image processing unit 2c may preferably measure the abnormal cell region 91 as one abnormal cell instead of individually counting abnormal cells. Therefore, in the present embodiment, the image processing unit 2c is configured to obtain the number 60 of the second abnormal cell regions 91b appearing in the cell image 10 as the number of abnormal cells.
- the second abnormal cell region 91b is a region with a low possibility of being abnormal cells
- the first abnormal cell region 91a is a region with a high possibility of being abnormal cells.
- the image processing unit 2c is configured to acquire the ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b. Further, the image processing unit 2c is configured to display the obtained ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b on the display unit 4.
- the image processing unit 2c acquires the abnormal cell region 91 based on the first criterion value 20a and the second criterion value 20b.
- the image processing unit 2c is configured to select the abnormal cell region 91 to be displayed in an identifiable manner.
- a second abnormal cell region 91b including a first abnormal cell region 91a is shown as shown in the region 19a. Further, the abnormal cell label image 13g shows a second abnormal cell region 91b having an extremely small area, as shown in the region 19b. In addition, as shown in the area 19c, the abnormal cell label image 13g shows a second abnormal cell area 91b that does not include the first abnormal cell area 91a.
- the image processing unit 2c displays the second abnormal cell region 91b having an area equal to or less than a predetermined area among the second abnormal cell regions 91b so as to be distinguishable from the first abnormal cell region 91a. exclude.
- the image processing unit 2c excludes the second abnormal cell region 91b, which does not include the first abnormal cell region 91a inside, from targets to be displayed so as to be distinguishable from the first abnormal cell region 91a. That is, as in the abnormal cell labeled image 13h shown in FIG. 11, the image processing unit 2c converts only the second abnormal cell region 91b, which is larger than a predetermined area and includes the first abnormal cell region 91a inside, to the first abnormal cell region 91b. This area is to be displayed so as to be distinguishable from the cell area 91a.
- FIG. 12 shows an example of displaying a superimposed cell image 50, the number 60 of second abnormal cell regions 91b, and the ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b on the display unit 4. It is a schematic diagram showing.
- the image processing unit 2c causes the display unit 4 to display a superimposed cell image 50. Further, the image processing unit 2c causes the display unit 4 to display the number 60 of the second abnormal cell regions 91b. Further, the image processing unit 2c causes the display unit 4 to display the ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b. In this embodiment, the image processing unit 2c generates the superimposed cell image 50, the number 60 of the second abnormal cell regions 91b, and the ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b. and are displayed side by side.
- the image acquisition unit 1 acquires the cell image 10 in which the cell 90 is captured.
- the image analysis unit 2b acquires the index value 21 obtained by analyzing the cell 90 appearing in the cell image 10 using the trained model 6 that has learned the analysis of the cell 90. Specifically, in step 201, the image analysis unit 2b acquires a first probability value 21a indicating the probability that the cell 90 is an abnormal cell for each pixel of the cell image 10 as the first index value. More specifically, in step 201, the image analysis unit 2b acquires, as the index value 21, a first probability value 21a and a second probability value 21b indicating the probability that the cultured cells are normal cells. In this embodiment, the image analysis unit 2b acquires the index value 21 using the trained model 6 that has learned to determine the state of the cell 90 and whether or not it is the noise region 80. FIG.
- the image processing unit 2c acquires a cell area 93, which is the area of the cells 90, and an area 94 other than the cells 90.
- the image processing unit 2c acquires the abnormal cell area 91 whose first index value is greater than the first determination reference value 20a as the first abnormal cell area 91a. Specifically, the image processing unit 2c acquires the abnormal cell region 91 having the first probability value 21a larger than the first determination reference value 20a as the first abnormal cell region 91a. In step 203, the image processing unit 2c acquires a region in which the first probability value 21a for each pixel of the cell region 93 is greater than the first determination reference value 20a as the first abnormal cell region 91a. In step 203, even when the first probability value 21a is smaller than the second probability value 21b, if the first probability value 21a is larger than the first criterion value 20a, the image processing unit 2c Obtained as the abnormal cell region 91a.
- the image processing unit 2c determines the abnormal cell region, which is a region in which the first index value indicating that the cell 90 is an abnormal cell rather than a normal cell is greater than the predetermined determination reference value 20 among the index values 21. Get 91. Specifically, the image processing unit 2c acquires the abnormal cell region 91 whose first index value is greater than the second determination reference value 20b as the second abnormal cell region 91b. More specifically, the image processing unit 2c acquires the abnormal cell region 91 having the first probability value 21a greater than the second criterion value 20b as the second abnormal cell region 91b.
- the image processing unit 2c acquires a region where the first probability value 21a is greater than 0 as the second abnormal cell region 91b as the second determination reference value 20b. In addition, even when the first probability value 21a is smaller than the second probability value 21b, the image processing unit 2c detects the second abnormal cell region 91b when the first probability value 21a is larger than the second criterion value 20b. to get as Further, the image processing unit 2c acquires a region in which the first probability value 21a for each pixel of the cell region 93 is greater than the second determination reference value 20b as the second abnormal cell region 91b.
- the normal cell area 92 is obtained.
- the image processing unit 2c excludes the second abnormal cell region 91b having an area equal to or less than a predetermined area among the second abnormal cell regions 91b from the targets to be displayed so as to be distinguishable from the first abnormal cell region 91a. do.
- the image processing unit 2c excludes the second abnormal cell region 91b, which does not include the first abnormal cell region 91a, from the objects to be displayed so as to be distinguishable from the first abnormal cell region 91a.
- the superimposed cell image generation unit 2d generates a superimposed cell image 50 based on the cell image 10, the first abnormal cell region 91a, the second abnormal cell region 91b, and the normal cell region 92. Specifically, the superimposed cell image generation unit 2d superimposes the first abnormal cell region 91a, the second abnormal cell region 91b, and the normal cell region 92 on the cell image 10, thereby generating a superimposed cell image. Generate 50.
- the image processing unit 2c displays the superimposed cell image 50 on the display unit 4. That is, the image processing unit 2c displays the superimposed cell image 50 on the display unit 4 so that the abnormal cell region 91 can be identified. Further, the image processing unit 2c displays the superimposed cell image 50 on the display unit 4 so that the first abnormal cell region 91a and the second abnormal cell region 91b can be distinguished. Further, the image processing unit 2c displays the superimposed cell image 50 on the display unit 4 to display the entirety of the first abnormal cell region 91a in a predetermined color, and the frame line 91c surrounding the second abnormal cell region 91b. highlight.
- the image processing unit 2c displays the superimposed cell image 50 on the display unit 4 so that the first abnormal cell region 91a and the second abnormal cell region 91b are superimposed on the cell image 10. .
- the image processing unit 2c displays the superimposed cell image 50 on the display unit 4 so that the cell image 10 is divided into the first abnormal cell region 91a, the second abnormal cell region 91b, and the normal cell region. are superimposed and displayed. After that, the process ends.
- step 203 to step 205 may be performed from any step.
- step 206 and step 207 may be performed from either processing.
- the image processing unit 2c acquires the number 60 of the second abnormal cell regions 91b appearing in the cell image 10.
- the image processing unit 2c displays the acquired number 60 of the second abnormal cell regions 91b. After that, the process ends.
- the image processing unit 2c acquires and displays the ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b. It is started when there is an input to
- step 400 the area of the first abnormal cell region 91a is obtained.
- the area of the second abnormal cell region 91b is obtained.
- the image processing unit 2c acquires the ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b.
- the image processing unit 2c displays the ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b. After that, the process ends.
- the cell image analysis method includes the steps of acquiring the cell image 10 showing the cell 90, and using the learned model 6 that has learned the analysis of the cell 90. a step of obtaining an index value 21 by analyzing 90, and a region in which a first index value indicating that the cell 90 is an abnormal cell that is not a normal cell is larger than a predetermined criterion value 20 in the index value 21. It comprises a step of obtaining an abnormal cell area 91 and a step of displaying the abnormal cell area 91 in an identifiable manner.
- the step of obtaining the abnormal cell region 91 which is the region in which the first index value indicating that the cell 90 is an abnormal cell but not a normal cell is larger than the predetermined criterion value 20 among the index values 21.
- the region where the first index value is greater than the predetermined criterion value 20 is acquired as the abnormal cell region 91. Therefore, even if the first index value is smaller than the other index value 21, the abnormal cell region 91 can be obtained.
- the step of displaying the abnormal cell region 91 in a identifiable manner for example, when the determination reference value 20 is reduced, the acquired abnormal cell region 91 is a region suspected of being an abnormal cell.
- abnormal cell region 91 having even the slightest possibility of being abnormal cells can be visually displayed.
- a cell image analysis method capable of ascertaining areas suspected of being abnormal cells (abnormal cell areas 91) in the cell image 10.
- the predetermined criterion value 20 includes the first criterion value 20a and the second criterion value 20b lower than the first criterion value 20a, and the abnormal cell region
- the step of acquiring 91 includes a step of acquiring an abnormal cell region 91 whose first index value is greater than the first criterion value 20a as the first abnormal cell region 91a, and acquiring an abnormal cell region 91 larger than the second abnormal cell region 91b as a second abnormal cell region 91b; to be identifiable.
- the first abnormal cell region 91a is determined to be abnormal cells by the first determination reference value 20a
- the abnormal cell is determined to be abnormal cells by the second determination reference value 20b smaller than the first determination reference value 20a.
- the operator can grasp the second abnormal cell region 91b.
- the operator can distinguish between the second abnormal cell region 91b, which has even the slightest possibility of being abnormal cells, and the first abnormal cell region 91a, which has a higher possibility of being abnormal cells than the second abnormal cell region 91b. Therefore, the abnormal cell region 91 can be grasped more accurately.
- the first probability value 21a indicating the probability that the cell 90 is an abnormal cell is used as the first index value for each pixel of the cell image 10. and obtaining the first abnormal cell region 91a, the abnormal cell region 91 having the first probability value 21a larger than the first criterion value 20a is obtained as the first abnormal cell region 91a, and the second abnormal cell region 91a is obtained.
- the abnormal cell area 91b the abnormal cell area 91 for which the first probability value 21a is greater than the second criterion value 20b is obtained as the second abnormal cell area 91b. Accordingly, by comparing the first probability value 21a with the first determination reference value 20a and the second determination reference value 20b, it is possible to determine whether the cell 90 is the first abnormal cell region 91a or the second abnormal cell region 91b. can be easily determined.
- the cell image 10 is an image in which cultured cells are captured.
- the first probability value 21a is If it is larger than the first criterion value 20a, it is acquired as the first abnormal cell region 91a, and in the step of acquiring the second abnormal cell region 91b, if the first probability value 21a is smaller than the second probability value 21b However, if the first probability value 21a is greater than the second criterion value 20b, it is acquired as the second abnormal cell region 91b.
- the abnormal cell region 91 can be acquired regardless of the value of the first probability value 21a.
- the first probability value 21a is smaller than the second probability value 21b, it is possible to suppress acquisition of the abnormal cell region 92 as the normal cell region 92, so that the operator can accurately grasp the abnormal cell region 91. can be made
- the region with the first probability value 21a greater than 0 is used as the second criterion value 20b. 91b.
- the first probability value 21a is greater than 0, it can be acquired as the second abnormal cell region 91b.
- the present embodiment further includes the step of acquiring the cell region 93, which is the region of the cells 90, and the region 94 other than the cells 90, from the cell image 10, and the first abnormal cell region 91a.
- the obtaining step a region in which the first probability value 21a for each pixel of the cell region 93 is larger than the first determination reference value 20a is obtained as the first abnormal cell region 91a
- the second abnormal cell region 91b a region in which the first probability value 21a for each pixel of the cell region 93 is larger than the second criterion value 20b is acquired as the second abnormal cell region 91b.
- the entire first abnormal cell region 91a is displayed in a predetermined color, and the second abnormal cell region 91b is surrounded.
- the frame line 91c is highlighted. This makes it possible to easily distinguish between the first abnormal cell region 91a and the second abnormal cell region 91b at a glance.
- the first abnormal cell region 91a and the second abnormal cell region 91b are superimposed on the cell image 10. displayed.
- the first abnormal cell region 91a and the second abnormal cell region 91b can be easily distinguished.
- the operator can easily grasp the first abnormal cell region 91a that is strongly suspected to be abnormal cells and the second abnormal cell region 91b that is weakly suspected to be abnormal cells.
- the cell image 10 is displayed with the first abnormal cell region 91a, the second abnormal cell region 91b, and the normal cell region 91b. is superimposed on the area 92 of . This allows the operator to easily distinguish between normal cells and abnormal cells in the cell image 10 .
- the second abnormal cell regions 91b having an area equal to or less than a predetermined area are displayed so as to be distinguishable from the first abnormal cell regions 91a. further comprising the step of excluding from As a result, the area determined to be the second abnormal cell area 91b although not the abnormal cell because the second determination reference value 20b is low can be excluded from the targets to be identifiably displayed. As a result, it is possible to prevent the operator from recognizing a region other than abnormal cells as the abnormal cell region 91 .
- the step of excluding the second abnormal cell region 91b, which does not include the first abnormal cell region 91a inside, from the object to be displayed so as to be distinguishable from the first abnormal cell region 91a is further performed.
- the second abnormal cell region 91b regions that do not contain abnormal cells can be excluded from objects to be identifiably displayed.
- the step of obtaining the number 60 of the second abnormal cell regions 91b appearing in the cell image 10 and the step of displaying the obtained number 60 of the second abnormal cell regions 91b are performed. Prepare more. As a result, an area with even the slightest possibility of being an abnormal cell can be counted as one abnormal cell. As a result, it is possible to suppress an increase in the number of abnormal cells as compared with the case where abnormal cells are individually counted, so that an increase in the ratio of abnormal cells to normal cells can be suppressed. can.
- the step of acquiring the ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b, and displaying the ratio 61 of the area of the cell region 91a Accordingly, when the ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b is large, it can be determined that the cells are highly suspected to be abnormal cells. Also, when the ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b is low, it can be determined that the suspicion of being an abnormal cell is low. As a result, the operator can grasp the probability (possibility) of being an abnormal cell as a numerical value, and can easily grasp the probability of being an abnormal cell.
- the trained model 6 is further provided with the step of creating the trained model 6, and in the step of acquiring the index value 21, the trained model 6 learned to determine the state of the cell 90 and whether or not it is the noise region 80. is used to obtain the index value 21 .
- the learned model 6 it is possible to prevent the learned model 6 from estimating that the noise region 80 similar to the abnormal cell is the background region, thereby preventing the abnormal cell region 91 from being determined to be the background region.
- the estimation accuracy of the abnormal cell region 91 can be improved.
- the image processing unit 2c uses the first determination reference value 20a and the second determination reference value 20b to acquire the first abnormal cell region 91a and the second abnormal cell region 91b.
- the present invention is not limited to this.
- the image processor 2c may be configured to acquire the abnormal cell region 91 using one criterion value 20. FIG.
- the image processing unit 2c determines whether or not the abnormal cell region 91 is present based on the first probability value 21a and the second probability value 21b has been described.
- the invention is not limited to this.
- the image processor 2c may be configured to determine whether or not it is the abnormal cell region 91 based only on the first probability value 21a.
- the present invention is not limited to this.
- the first criterion value 20a is smaller than the second criterion value 20b, the first criterion value 20a and the second criterion value 20b can be set to arbitrary values.
- the image processing unit 2c determines whether or not each pixel of the cell region 93 is the abnormal cell region 91 is shown, but the present invention is not limited to this.
- the image processing unit 2c may be configured to determine whether or not all the pixels of the cell image 10 are the abnormal cell regions 91 or not.
- the superimposed cell image generation unit 2d displays the entirety of the first abnormal cell region 91a in a predetermined color, and the superimposed cell image in which the frame line 91c surrounding the second abnormal cell region 91b is highlighted. 50 is shown, the present invention is not limited to this.
- the superimposed cell image generation unit 2d may generate the superimposed cell image 50 in any manner as long as the first abnormal cell region 91a and the second abnormal cell region 91b can be distinguished.
- the superimposed cell image generation unit 2d generates an image in which the first abnormal cell region 91a is superimposed on the cell image 10, and an image in which the second abnormal cell region 91b is superimposed on the cell image 10. and may be configured to display those images side by side.
- the superimposed cell image generating unit 2d superimposes the first abnormal cell region 91a, the second abnormal cell region 91b, and the normal cell region 92 on the cell image 10 and displays them.
- the present invention is not limited to this.
- the superimposed cell image generation unit 2d may generate a superimposed cell image 50 in which the first abnormal cell region 91a and the second abnormal cell region 91b are superimposed on the cell image 10, and not necessarily normal cells. region 92 need not overlap.
- the image processing unit 2c excludes the second abnormal cell region 91b having an area equal to or less than a predetermined area from the objects to be displayed so as to be distinguishable from the first abnormal cell region 91a.
- the present invention is not limited to this.
- the image processing unit 2c does not have to exclude the second abnormal cell region 91b having an area equal to or less than a predetermined area from the targets to be displayed so as to be distinguishable from the first abnormal cell region 91a.
- the image processing unit 2c excludes the second abnormal cell region 91b, which does not include the first abnormal cell region 91a, from the objects to be displayed so as to be distinguishable from the first abnormal cell region 91a.
- the present invention is not limited to this.
- the image processing unit 2c does not need to exclude the second abnormal cell region 91b, which does not include the first abnormal cell region 91a, from the targets to be displayed so as to be distinguishable from the first abnormal cell region 91a.
- the image processing unit 2c acquires the number 60 of the second abnormal cell regions 91b appearing in the cell image 10 and displays it on the display unit 4.
- the present invention is not limited to this. Not limited.
- the image processing unit 2c may be configured to obtain the number of first abnormal cell regions 91a appearing in the cell image 10 and display it on the display unit 4. FIG.
- the image processing unit 2c acquires the number 60 of the second abnormal cell regions 91b appearing in the cell image 10 and displays it on the display unit 4.
- the present invention is not limited to this. Not limited.
- the image processing unit 2c does not need to acquire the number 60 of the second abnormal cell regions 91b appearing in the cell image 10.
- the image processing unit 2c acquires the ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b, and displays the acquired ratio 61 on the display unit 4.
- the image processor 2c does not need to acquire the ratio 61 of the area of the first abnormal cell region 91a to the area of the second abnormal cell region 91b.
- the image analysis unit 2b uses the trained model 6 generated by learning that the area that is similar to the abnormal cell but is recognized as the background portion is the noise area 80.
- the image analysis unit 2 b may be configured to acquire the index value 21 using a trained model that has not been trained to identify the noise region 80 .
- the image analysis unit 2b calculates the index value 21 using the trained model 6 generated by learning that the region that is similar to the abnormal cell but is recognized as the background portion is the noise region 80. It is preferably arranged to obtain.
- the image analysis unit 2b analyzes whether the cells 90 appearing in the cell image 10 are undifferentiated cells or undifferentiated deviant cells was shown. It is not limited to this.
- the image analysis unit 2b may be configured to analyze cancer cells and cells other than cancer cells. Cells analyzed by the image analysis unit 2b are not limited to undifferentiated cells and undifferentiated deviant cells.
- (Item 1) a step of obtaining a cell image showing cells; a step of obtaining an index value obtained by analyzing the cell appearing in the cell image using a trained model that has learned the analysis of the cell; obtaining an abnormal cell region, which is a region in which a first index value indicating that the cell is an abnormal cell, not a normal cell, is larger than a predetermined criterion value among the index values; and displaying the abnormal cell region in a identifiable manner.
- the predetermined criterion value includes a first criterion value and a second criterion value lower than the first criterion value
- the step of acquiring the abnormal cell area includes acquiring the abnormal cell area in which the first index value is greater than the first criterion value as the first abnormal cell area; obtaining the abnormal cell area larger than the 2 criterion value as a second abnormal cell area;
- the cell image analysis method according to item 1, wherein, in the step of identifiably displaying the abnormal cell area, the first abnormal cell area and the second abnormal cell area are identifiably displayed.
- Step 3 In the step of obtaining the index value, obtaining a first probability value indicating the probability that the cell is the abnormal cell for each pixel of the cell image as the first index value; In the step of obtaining the first abnormal cell area, obtaining the abnormal cell area for which the first probability value is greater than the first criterion value as the first abnormal cell area; The cell image according to item 2, wherein in the step of acquiring the second abnormal cell area, the abnormal cell area having the first probability value greater than the second criterion value is acquired as the second abnormal cell area. analysis method.
- the cell image is an image showing cultured cells, In the step of obtaining the index value, obtaining a second probability value indicating the probability that the cultured cells are the normal cells together with the first probability value as the index value; In the step of obtaining the first abnormal cell region, even if the first probability value is smaller than the second probability value, if the first probability value is larger than the first criterion value, the first Acquired as 1 abnormal cell area, In the step of acquiring the second abnormal cell region, even if the first probability value is smaller than the second probability value, if the first probability value is larger than the second criterion value, the 2.
- the cell image analysis method according to item 3 wherein the cell image is acquired as 2 abnormal cell regions.
- (Item 6) Further comprising the step of acquiring a cell area that is the area of the cell and an area other than the cell in the cell image, In the step of acquiring the first abnormal cell area, acquiring an area in which the first probability value for each pixel in the cell area is greater than the first criterion value as the first abnormal cell area, Items 3 to 5, wherein in the step of obtaining the second abnormal cell region, a region in which the first probability value for each pixel of the cell region is greater than the second criterion value is obtained as the second abnormal cell region.
- the cell image analysis method according to any one of .
- Items 7 to 9 further comprising the step of excluding, among the second abnormal cell regions, the second abnormal cell regions having an area equal to or smaller than a predetermined area from targets to be displayed so as to be distinguishable from the first abnormal cell regions.
- the cell image analysis method according to any one of .
- (Item 14) a step of creating the learned model by also learning that an area similar to the abnormal cell but recognized as a background portion is a noise area when learning to analyze the state of the cell; further prepared, Items 2 to 13, wherein in the step of obtaining the index value, the index value is obtained using the state of the cell and the trained model that has learned to determine whether or not it is in the noise region.
- the cell image analysis method according to any one of .
Landscapes
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Organic Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Zoology (AREA)
- Wood Science & Technology (AREA)
- Biotechnology (AREA)
- Microbiology (AREA)
- General Health & Medical Sciences (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Analytical Chemistry (AREA)
- Genetics & Genomics (AREA)
- General Engineering & Computer Science (AREA)
- Biochemistry (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Toxicology (AREA)
- Biophysics (AREA)
- Immunology (AREA)
- Medicinal Chemistry (AREA)
- Biomedical Technology (AREA)
- Sustainable Development (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
この細胞画像解析方法は、細胞(90)が写る細胞画像(10)を取得するステップと、細胞の解析を学習させた学習済みモデル(6)を用いて細胞を解析した指標値(21)を取得するステップと、指標値のうち、細胞が正常細胞ではない異常細胞であることを示す第1指標値が所定の判定基準値(20)よりも大きい領域である異常細胞領域(91)を取得するステップと、異常細胞領域を識別可能に表示するステップとを備える。
Description
この発明は、細胞画像解析方法に関し、特に、学習済みモデルによって細胞を解析する細胞解析方法に関する。
従来、学習済みモデルによって細胞を解析する細胞解析方法が知られている。このような細胞解析方法は、たとえば、国際公開第2019/171546号に開示されている。
国際公開第2019/171546号には、撮像装置によって撮像された細胞の画像を解析する細胞画像解析方法が開示されている。国際公開第2019/171546号に開示されている細胞画像の解析方法は、学習済みモデルの解析結果を用いて、正常細胞領域と異常細胞領域とを分類する。具体的には、国際公開第2019/171546号には、細胞画像の各画素に対して、各画素がどのカテゴリーに属するかを求めるセグメンテーション処理によって、正常細胞領域と異常細胞領域とを分類する構成が開示されている。
ここで、国際公開第2019/171546号には開示されていないが、学習済みモデルの解析結果(指標値)を用いて正常細胞領域と異常細胞領域とを分類する場合、各画素における指標値のうち、最も高い指標値によって、その画素が正常細胞領域であるか異常細胞領域であるかを決定する。すなわち、各画素において、正常細胞であることを示す指標値が、異常細胞を示す指標値および背景を示す指標値よりも大きい場合、正常細胞領域であると分類する。また、各画素において、異常細胞であることを示す指標値が、正常細胞である指標値および背景である指標値よりも大きい場合、異常細胞領域であると分類する。したがって、正常細胞領域に分類された領域であっても、異常細胞が含まれる可能性がある。そのため、国際公開第2019/171546号のようなセグメンテーション処理によって正常細胞領域と異常細胞領域とを分類する手法では、正常細胞領域に分類された領域において、異常細胞の疑いがあるか否かを把握することが困難である。そこで、細胞画像において、異常細胞の疑いがある領域を把握することが可能な細胞画像解析方法が望まれている。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、細胞画像において、異常細胞の疑いがある領域を把握することが可能な細胞画像解析方法を提供することである。
上記目的を達成するために、この発明の一の局面による細胞画像解析方法は、細胞が写る細胞画像を取得するステップと、細胞の解析を学習させた学習済みモデルを用いて細胞画像に写る細胞を解析した指標値を取得するステップと、指標値のうち、細胞が正常細胞ではない異常細胞であることを示す第1指標値が所定の判定基準値よりも大きい領域である異常細胞領域を取得するステップと、異常細胞領域を識別可能に表示するステップとを備える。
上記一の局面における細胞画像解析方法では、上記のように、指標値のうち、細胞が正常細胞ではない異常細胞であることを示す第1指標値が所定の判定基準値よりも大きい領域である異常細胞領域を取得するステップを備える。これにより、第1指標値が所定の判定基準値よりも大きい領域が異常細胞領域として取得されるので、第1指標値が他の指標値よりも小さい場合でも、異常細胞領域として取得することができる。また、上記のように、異常細胞領域を識別可能に表示するステップを備える。これにより、たとえば、判定基準値を小さくした場合に、取得した異常細胞領域が、異常細胞の疑いがある領域として識別可能に表示されるので、異常細胞の疑いがある異常細胞領域を、視認可能に表示することができる。これらの結果、細胞画像において、異常細胞の疑いがある領域を把握することが可能な細胞画像解析方法を提供することができる。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
図1を参照して、一実施形態による細胞画像解析装置100の構成について説明する。
(細胞画像解析装置の構成)
細胞画像解析装置100は、図1に示すように、画像取得部1と、プロセッサ2と、記憶部3と、表示部4と、入力受付部5と、を備える。
細胞画像解析装置100は、図1に示すように、画像取得部1と、プロセッサ2と、記憶部3と、表示部4と、入力受付部5と、を備える。
画像取得部1は、細胞画像10を取得するように構成されている。細胞画像10は、細胞90(図2参照)が写る画像である。具体的には、細胞画像10は、容器によって培養される培養細胞を撮影した画像である。本実施形態では、画像取得部1は、たとえば、撮像装置が取り付けられた顕微鏡7などの細胞画像10を撮影する装置から細胞画像10を取得するように構成されている。画像取得部1は、たとえば、入出力インターフェースを含む。
プロセッサ2は、取得した細胞画像10を解析するように構成されている。プロセッサ2は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、GPU(Graphics Processing Unit)、または、画像処理用に構成されたFPGA(Field-Programmable Gate Array)などを含んでいる。また、ハードウェアとしてのCPUなどからなるプロセッサ2は、ソフトウェア(プログラム)の機能ブロックとして、制御部2aと、画像解析部2bと、画像処理部2cと、重畳細胞画像生成部2dと、を含む。プロセッサ2は、記憶部3に記憶されたプログラムを実行することにより、制御部2a、画像解析部2b、画像処理部2c、および、重畳細胞画像生成部2dとして機能する。制御部2a、画像解析部2b、画像処理部2c、および、重畳細胞画像生成部2dは、専用のプロセッサ(処理回路)を設けてハードウェアにより個別に構成されていてもよい。
制御部2aは、細胞画像解析装置100の制御を行うように構成されている。また、制御部2aは、重畳細胞画像50を表示部4に表示させる制御を行うように構成されている。重畳細胞画像50の詳細については、後述する。
本実施形態では、画像解析部2bは、細胞画像10に写る細胞90が、正常細胞であるか異常細胞であるかを解析する。具体的には、画像解析部2bは、細胞90(図2参照)の解析を学習させた学習済みモデル6を用いて細胞画像10に写る細胞90を解析した指標値21(図4参照)を取得するように構成されている。なお、指標値21、正常細胞、および、異常細胞の詳細については、後述する。
画像処理部2cは、指標値21に基づいて、背景ラベル画像11(図4参照)、正常細胞ラベル画像12(図4参照)、および、異常細胞ラベル画像13(図4参照)を取得するように構成されている。画像処理部2cが各ラベル画像を取得する構成の詳細については、後述する。画像処理部2cは、指標値21のうち、細胞90が正常細胞ではない異常細胞であることを示す第1指標値が所定の判定基準値20よりも大きい領域である異常細胞領域91(図6A参照)を取得する。
重畳細胞画像生成部2dは、異常細胞領域91を識別可能な重畳細胞画像50を生成するように構成されている。重畳細胞画像生成部2dが重畳細胞画像50を生成する構成の詳細については、後述する。
記憶部3は、細胞画像10、学習済みモデル6、および、判定基準値20を記憶するように構成されている。所定の判定基準値20は、第1判定基準値20aと、第1判定基準値20aよりも低い第2判定基準値20bとを含む。第1判定基準値20aおよび第2判定基準値20bの詳細については、後述する。また、記憶部3は、プロセッサ2が実行する各種プログラムを記憶するように構成されている。記憶部3は、たとえば、HDD(Hard Disk Drive)、または、SSD(Solid State Drive)などの記憶装置を含む。
表示部4は、重畳細胞画像生成部2dによって生成された重畳細胞画像50などを表示するように構成されている。表示部4は、たとえば、液晶モニタなどの表示装置を含む。
入力受付部5は、操作者による操作入力を受け付け可能に構成されている。入力受付部5は、たとえば、マウス、キーボードなどの、入力デバイスを含む。
(細胞画像)
図2を参照して、細胞画像10について説明する。細胞画像10は、培養細胞が写る画像である。なお、本実施形態では、細胞画像10は、培養細胞として、分化能を有する細胞90を撮影した画像である。たとえば、細胞90は、iPS細胞(induced Pluripotent Stem Cell)、ES細胞(Embryonic Stem Cell)などを含む。画像解析部2b(図1参照)は、細胞画像10に写る細胞90が、未分化細胞であるか、未分化逸脱細胞であるかを解析するように構成されている。なお、未分化細胞とは、分化能を有している細胞である。また、未分化逸脱細胞とは、特定の細胞への分化が開始し、分化能を有していない細胞である。iPS細胞などの分化能を有する細胞は、未分化の状態のまま培養する。したがって、本実施形態では、未分化細胞を正常細胞とする。また、未分化逸脱細胞を、異常細胞とする。また、培養中は、未分化状態を維持するように培養環境がコントロールされるので、異常細胞の出現率は、十分に小さい。すなわち、培養細胞全体に対して異常細胞は、希少細胞である。
図2を参照して、細胞画像10について説明する。細胞画像10は、培養細胞が写る画像である。なお、本実施形態では、細胞画像10は、培養細胞として、分化能を有する細胞90を撮影した画像である。たとえば、細胞90は、iPS細胞(induced Pluripotent Stem Cell)、ES細胞(Embryonic Stem Cell)などを含む。画像解析部2b(図1参照)は、細胞画像10に写る細胞90が、未分化細胞であるか、未分化逸脱細胞であるかを解析するように構成されている。なお、未分化細胞とは、分化能を有している細胞である。また、未分化逸脱細胞とは、特定の細胞への分化が開始し、分化能を有していない細胞である。iPS細胞などの分化能を有する細胞は、未分化の状態のまま培養する。したがって、本実施形態では、未分化細胞を正常細胞とする。また、未分化逸脱細胞を、異常細胞とする。また、培養中は、未分化状態を維持するように培養環境がコントロールされるので、異常細胞の出現率は、十分に小さい。すなわち、培養細胞全体に対して異常細胞は、希少細胞である。
また、図2に示すように、細胞画像10には、ノイズが写る領域(ノイズ領域80)が含まれる場合がある。ノイズは、細胞90を培養する際に、培養容器についた傷などを含む。
(画像解析方法)
次に、図3を参照して、本実施形態による細胞画像解析方法によって、細胞画像10を解析する方法について説明する。なお、本実施形態では、細胞画像解析装置100が、細胞画像10を解析することにより、細胞画像10に写る細胞90が正常細胞であるか異常細胞であるかを解析する構成について説明する。本実施形態では、細胞画像解析装置100は、学習済みモデル6を用いて細胞画像10を解析することにより、細胞画像10に写る細胞90が正常細胞であるか異常細胞であるかを判定する。学習済みモデル6は、細胞画像10が入力されることにより、指標値21を出力する。指標値21は、細胞90が異常細胞である確率を示す第1確率値21aと、細胞90が正常細胞である確率を示す第2確率値21bと、背景である確率を示す第3確率値21cと、ノイズである確率を示す第4確率値21dとを含む。本実施形態では、学習済みモデル6は、細胞画像10の画素毎に、指標値21を出力するように学習されている。なお、第1確率値21aは、請求の範囲の「第1指標値」の一例である。
次に、図3を参照して、本実施形態による細胞画像解析方法によって、細胞画像10を解析する方法について説明する。なお、本実施形態では、細胞画像解析装置100が、細胞画像10を解析することにより、細胞画像10に写る細胞90が正常細胞であるか異常細胞であるかを解析する構成について説明する。本実施形態では、細胞画像解析装置100は、学習済みモデル6を用いて細胞画像10を解析することにより、細胞画像10に写る細胞90が正常細胞であるか異常細胞であるかを判定する。学習済みモデル6は、細胞画像10が入力されることにより、指標値21を出力する。指標値21は、細胞90が異常細胞である確率を示す第1確率値21aと、細胞90が正常細胞である確率を示す第2確率値21bと、背景である確率を示す第3確率値21cと、ノイズである確率を示す第4確率値21dとを含む。本実施形態では、学習済みモデル6は、細胞画像10の画素毎に、指標値21を出力するように学習されている。なお、第1確率値21aは、請求の範囲の「第1指標値」の一例である。
図3は、本実施形態による画像処理の流れを示したブロック図である。図3に示すように、本実施形態では、細胞画像解析方法は、大きく分けて、画像解析方法101と、学習済みモデル6の生成方法102と、を含む。
(学習モデル生成)
本実施形態による学習済みモデル6の生成方法102は、細胞画像10の各画素を、正常細胞と異常細胞と背景とに分類することを学習モデル6aに学習させることにより、学習済みモデル6を生成する。具体的には、学習済みモデル6の生成方法102は、教師用細胞画像30と、教師用ラベル画像31と、を用いて、学習モデル6aを学習させることにより、学習済みモデル6を生成する。すなわち、学習済みモデル6の生成方法102は、教師用細胞画像30としての細胞画像10を入力データとし、教師用ラベル画像31としての正常細胞にラベルを付した画像、異常細胞にラベルを付した画像、背景にラベルを付した画像、および、ノイズにラベルを付した画像を出力データとする。これより、学習済みモデル6の生成方法102は、入力された画像の各画素が、正常細胞、異常細胞、背景、および、ノイズのうちのいずれであるかを学習モデル6aに学習させる。
本実施形態による学習済みモデル6の生成方法102は、細胞画像10の各画素を、正常細胞と異常細胞と背景とに分類することを学習モデル6aに学習させることにより、学習済みモデル6を生成する。具体的には、学習済みモデル6の生成方法102は、教師用細胞画像30と、教師用ラベル画像31と、を用いて、学習モデル6aを学習させることにより、学習済みモデル6を生成する。すなわち、学習済みモデル6の生成方法102は、教師用細胞画像30としての細胞画像10を入力データとし、教師用ラベル画像31としての正常細胞にラベルを付した画像、異常細胞にラベルを付した画像、背景にラベルを付した画像、および、ノイズにラベルを付した画像を出力データとする。これより、学習済みモデル6の生成方法102は、入力された画像の各画素が、正常細胞、異常細胞、背景、および、ノイズのうちのいずれであるかを学習モデル6aに学習させる。
具体的には、学習済みモデル6の生成方法102は、学習モデル6aに教師用細胞画像30を入力するステップ102aと、学習モデル6aに対して、教師用ラベル画像31を出力させることを学習させるステップ102bとを含む。学習済みモデル6は、たとえば、図3に示す畳み込みニューラルネットワーク(Convolutional neural network;CNN)であるか、畳み込みニューラルネットワークを一部に含む。学習モデル6aを学習させることにより生成された学習済みモデル6は、細胞画像解析装置100の記憶部3(図1)に記憶される。なお、第1確率値21aは、教師用細胞画像30に写る細胞90が、異常細胞である確率値である。また、第2確率値21bは、教師用細胞画像30に写る細胞90が、正常細胞である確率値である。また、第3確率値21cは、教師用細胞画像30の画素が背景である確率値である。
また、本実施形態では、学習モデル6aに対して、教師用ラベル画像31を出力させることを学習させるステップ102bにおいて、細胞90の状態の解析を学習させる際に、異常細胞と類似するが、背景部分として認識される領域がノイズ領域80であることを併せて学習させることにより、学習済みモデル6を作成する。すなわち、本実施形態では、学習モデル6aに対して、正常細胞、異常細胞、背景、および、ノイズの4つの分類クラスを学習させる。これにより、学習済みモデル6は、入力された細胞画像10に対して、指標値21として、正常細胞である確率を示す第1確率値21a、異常細胞である確率を示す第2確率値21b、背景である確率を示す第3確率値21c、および、ノイズである確率を示す第4確率値21dを出力する。なお、ノイズ領域80であることを学習させる際には、予め操作者がノイズ領域80に対してラベルを付した教師用画像を用いることにより、学習を行う。これにより、正常細胞、異常細胞、および、背景の3つの分類クラスを学習させる構成と比較して、判別する分類クラスを増加させることができる。したがって、3つの分類クラスでは、背景に分類されていた異常細胞が、ノイズの分類クラスが増えることにより、異常細胞らしさがわずかに増加する場合がある。その結果、異常細胞が背景であると分類されることを抑制することにより、学習済みモデル6の分類の精度を向上させることができる。
(画像解析方法)
本実施形態による画像解析方法101は、画像取得部1が顕微鏡7などから取得した細胞画像10に写る細胞90を、正常細胞と異常細胞とに分類する画像解析方法である。本実施形態による画像解析方法101は、細胞画像10を取得するステップと、細胞画像10の各画素の指標値21を取得するステップと、異常細胞領域91を取得するステップと、異常細胞領域91を識別可能に表示するステップと、を含む。画像解析方法101の各ステップの詳細な処理については、後述する。
本実施形態による画像解析方法101は、画像取得部1が顕微鏡7などから取得した細胞画像10に写る細胞90を、正常細胞と異常細胞とに分類する画像解析方法である。本実施形態による画像解析方法101は、細胞画像10を取得するステップと、細胞画像10の各画素の指標値21を取得するステップと、異常細胞領域91を取得するステップと、異常細胞領域91を識別可能に表示するステップと、を含む。画像解析方法101の各ステップの詳細な処理については、後述する。
本実施形態では、図3に示すように、細胞画像10を取得するステップは、画像取得部1によって行われる。画像取得部1は、顕微鏡7などの画像撮影装置から細胞画像10を取得する。また、画像取得部1は、取得した細胞画像10を画像解析部2bに対して出力する。
また、本実施形態では、図3に示すように、細胞画像10を解析するステップは、画像解析部2bによって行われる。画像解析部2bは、学習済みモデル6に細胞画像10を入力することにより、入力された細胞画像10の各画素に対する指標値21を取得する。また、画像解析部2bは、取得した指標値21を、画像処理部2cに出力する。
画像処理部2cは、指標値21に基づいて、細胞画像10から異常細胞領域91を取得する。画像処理部2cは、取得した異常細胞領域91を、重畳細胞画像生成部2dに出力する。
重畳細胞画像生成部2dは、異常細胞領域91と細胞画像10とに基づいて、重畳細胞画像50を生成し、表示部4に表示させる。本実施形態では、細胞画像解析装置100は、重畳細胞画像50を表示することにより、異常細胞領域91を識別可能に表示する。なお、重畳細胞画像50の詳細については、後述する。
(ラベル画像取得処理)
本実施形態では、画像処理部2cは、学習モデル6aが出力した指標値21に基づいて、異常細胞領域91を取得する。具体的には、図4に示すように、画像処理部2cは、指標値21に基づいてラベル画像を取得することにより、異常細胞領域91を取得する。
本実施形態では、画像処理部2cは、学習モデル6aが出力した指標値21に基づいて、異常細胞領域91を取得する。具体的には、図4に示すように、画像処理部2cは、指標値21に基づいてラベル画像を取得することにより、異常細胞領域91を取得する。
図4に示すように、画像解析部2bは、細胞画像10を学習済みモデル6に入力することにより、指標値21を取得する。画像解析部2bは、細胞画像10の画素毎に、指標値21を取得する。本実施形態では、画像解析部2bは、指標値21として、第1確率値21a、第2確率値21b、第3確率値21c、および、第4確率値21dを出力する。
画像処理部2c(図1参照)は、学習済みモデル6が出力した指標値21に基づいて、背景ラベル画像11、正常細胞ラベル画像12、異常細胞ラベル画像13、および、ノイズ領域ラベル画像(図示せず)を取得する。
背景ラベル画像11は、背景である確率を示す第3確率値21cの値を画素値とした画像である。具体的には、背景ラベル画像11は、第3確率値21cの値が大きいほど、画素値が大きく(黒く)、第3確率値21cの値が小さいほど、画素値が小さい(白い)画像である。また、ハッチングを付した部分は、ハッチングが濃くなるほど、画素値が大きい部分である。なお、背景ラベル画像11では、凡例8に示すように、1つのハッチングを付すことにより、所定範囲の確率値を含むことを図示している。たとえば、背景ラベル画像11における黒い領域は、背景である確率を示す第3確率値21cが、80%より大きく、100%以下の確率値を意味している。
正常細胞ラベル画像12は、正常細胞である確率を示す第2確率値21bの値を画素値とした画像である。具体的には、正常細胞ラベル画像12は、第2確率値21bの値が大きいほど、画素値が大きく(黒く)、第2確率値21bの値が小さいほど、画素値が小さい(白い)画像である。また、ハッチングを付した部分は、ハッチングが濃くなるほど、画素値が大きい部分である。なお、正常細胞ラベル画像12においても、凡例8に示すように、1つのハッチングを付すことにより、所定範囲の確率値を含むことを図示している。たとえば、正常細胞ラベル画像12における黒い領域は、正常細胞である確率を示す第1確率値21aが、80%より大きく、100%以下の確率値を意味している。
異常細胞ラベル画像13は、異常細胞である確率を示す第1確率値21aの値を画素値とした画像である。具体的には、異常細胞ラベル画像13は、第1確率値21aの値が大きいほど、画素値が大きく(黒く)、第1確率値21aの値が小さいほど、画素値が小さい(白い)画像である。また、ハッチングを付した部分は、ハッチングが濃くなるほど、画素値が大きい部分である。なお、異常細胞ラベル画像13においても、凡例8に示すように、1つのハッチングを付すことにより、所定範囲の確率値を含むことを図示している。たとえば、異常細胞ラベル画像13における黒い領域は、異常細胞である確率を示す第2確率値21bが、80%より大きく、100%以下の確率値を意味している。
(異常細胞ラベル画像の画素値)
ここで、図5を参照して、異常細胞ラベル画像13の画素値の分布について説明する。
ここで、図5を参照して、異常細胞ラベル画像13の画素値の分布について説明する。
図5(A)は、異常細胞ラベル画像13を示す模式図である。また、図5(B)は、図5(A)の異常細胞ラベル画像13の領域14を拡大した拡大画像15である。また、図5(C)は、拡大画像15に示した直線16に沿って画素値をプロットしたグラフ17である。グラフ17は、縦軸が画素値であり、横軸が画素の位置であるグラフである。
図5(B)に示す拡大画像15は、異常細胞ラベル画像13のうち、画素値が小さい領域である領域14を拡大した画像である。図5(C)のグラフ17に示すように、小さいながらも画素値が存在しているため、低確率ではあるが、異常細胞である可能性がある。
ここで、学習済みモデル6によって出力された指標値21の大きさの順序に基づいて、各画素が正常細胞であるか異常細胞であるか背景であるかを判別する場合、図5(A)に示す異常細胞ラベル画像13の領域14は、異常細胞として判別されない可能性がある。具体的には、領域14と同一画素の指標値21のうち、第1確率値21aが、第2確率値21bおよび第3確率値21cよりも小さい場合、異常細胞であると判別されない。しかしながら、第1確率値21aが0でない場合、異常細胞である可能性をわずかでも有する。そのため、指標値21の大きさに基づく判別の場合、拡大画像15に示した細胞90の領域は、異常細胞領域91として操作者が把握できない場合がある。
そこで、本実施形態では、画像処理部2cは、判定基準値20と、指標値21とに基づいて、異常細胞領域91を取得するように構成されている。具体的には、画像処理部2cは、指標値21に対して判定基準値20によって、いわゆる閾値処理を行うことにより、異常細胞領域91を取得する。本実施形態では、画像処理部2cは、指標値21のうち、細胞90が正常細胞ではない異常細胞であることを示す第1指標値(第1確率値21a)が所定の判定基準値20よりも大きい領域である異常細胞領域91を取得するように構成されている。
(判定基準値の違いによる異常細胞ラベル画像の違い)
次に、図6を参照して、判定基準の違いよる異常細胞ラベル画像13の違いについて説明する。
次に、図6を参照して、判定基準の違いよる異常細胞ラベル画像13の違いについて説明する。
図6(A)~図6(E)に示す模式図は、判定基準値20を変更した場合における異常細胞ラベル画像13である。具体的には、図6(A)~図6(E)に示す模式図は、判定基準値20を0%よりも大きい値、10%以上、20%以上、30%以上、および、40%以上に変更した場合の異常細胞ラベル画像13である。また、図6(A)~図6(E)に示す異常細胞ラベル画像13a~異常細胞ラベル画像13eは、異常細胞領域91を黒い領域で図示している。また、図6(A)~図6(E)に示す異常細胞ラベル画像13a~異常細胞ラベル画像13eは、異常細胞領域91以外の領域を白い領域で図示している。
図6(A)は、判定基準値20を0よりも大きい値とした場合の異常細胞ラベル画像13aを示す模式図である。すなわち、異常細胞ラベル画像13aは、第1確率値21aが0よりも大きい異常細胞領域91を画像化したラベル画像である。
また、図6(B)は、判定基準値20を10%以上の値とした場合の異常細胞ラベル画像13bを示す模式図である。すなわち、異常細胞ラベル画像13bは、第1確率値21aが10%以上の異常細胞領域91を画像化したラベル画像である。なお、図6(B)において、判定基準値20が0よりも大きい値の場合の異常細胞領域91を、破線70によって図示している。図6(B)に示すように、判定基準値20を10%以上の値とした場合、異常細胞領域91の大きさが小さくなる。
また、図6(C)は、判定基準値20を20%以上の値とした場合の異常細胞ラベル画像13cを示す模式図である。すなわち、異常細胞ラベル画像13cは、第1確率値21aが20%以上の異常細胞領域91を画像化したラベル画像である。なお、図6(C)においても、判定基準値20が0よりも大きい値の場合の異常細胞領域91を、破線70によって図示している。図6(C)に示すように、判定基準値20を20%以上の値とした場合、異常細胞領域91の大きさが小さくなる。また、図6(B)に示した異常細胞ラベル画像13bと図6(C)に示した異常細胞ラベル画像13cとを比較した場合、図6(C)に示す異常細胞ラベル画像13cに写る異常細胞領域91の方が、図6(B)に示す異常細胞ラベル画像13bに写る異常細胞領域91よりも小さくなっている。
また、図6(D)は、判定基準値20を30%以上の値とした場合の異常細胞ラベル画像13dである。すなわち、異常細胞ラベル画像13dは、第1確率値21aが30%以上の異常細胞領域91を画像化したラベル画像である。なお、図6(D)においても、判定基準値20が0よりも大きい値の場合の異常細胞領域91を、破線70によって図示している。図6(D)に示すように、判定基準値20を30%以上の値とした場合、異常細胞領域91の大きさが小さくなる。また、図6(B)~図6(D)に示すように、判定基準値20の値が大きくなるにつれ、異常細胞ラベル画像13に写る異常細胞領域91が小さくなっている。
また、図6(E)は、判定基準値20を40%以上の値とした場合の異常細胞ラベル画像13eを示す模式図である。すなわち、異常細胞ラベル画像13eは、第1確率値21aが40%以上の異常細胞領域91を画像化したラベル画像である。なお、図6(E)においても、判定基準値20が0よりも大きい値の場合の異常細胞領域91を、破線70によって図示している。図6(E)に示すように、判定基準値20を40%以上の値とした場合、異常細胞領域91の大きさが小さくなる。また、図6(B)~図6(E)に示すように、判定基準値20の値が大きくなるにつれ、異常細胞ラベル画像13に写る異常細胞領域91が小さくなっている。
すなわち、図6(A)~図6(E)に示すように、判定基準値20の値が大きくなるにつれて、異常細胞領域91の大きさが小さくなる。言い換えると、判定基準値20の値が小さくなればなるほど、異常細胞領域91として取得される領域の数および面積が大きくなる。しかしながら、実際には異常細胞でない領域が取得される可能性が高くなる。すなわち、異常細胞領域91として識別可能に表示する必要のない領域まで異常細胞領域91として取得される場合がある。また、判定基準値20の値が大きくなればなるほど、取得される異常細胞領域91に含まれる細胞90が異常細胞である可能性が高くなる。しかしながら、取得される異常細胞領域91の数および面積が小さくなる。すなわち、異常細胞領域91の取得漏れが生じる場合がある。
そこで、本実施形態では、図7に示すように、画像処理部2cは、複数の判定基準値20を用いて、異常細胞領域91を取得するように構成されている。具体的には、画像処理部2cは、2つの判定基準値20を用いて、異常細胞領域91を取得するように構成されている。本実施形態では、画像処理部2cは、第1判定基準値20aと、第1判定基準値20aよりも低い第2判定基準値20bとを用いて、異常細胞領域91を取得するように構成されている。以下、本実施形態では、第1判定基準値20aを、10%以上とし、第2判定基準値20bを0よりも大きい値とする。
本実施形態では、画像処理部2cは、図7に示す異常細胞領域画像13fのように、第1指標値が第1判定基準値20aよりも大きい異常細胞領域91を、第1異常細胞領域91aとして取得する。具体的には、画像処理部2cは、第1確率値21aが第1判定基準値20aよりも大きい異常細胞領域91を、第1異常細胞領域91aとして取得する。また、画像処理部2cは、図7に示す異常細胞領域画像13fのように、第1指標値が第2判定基準値20bよりも大きい異常細胞領域91を、第2異常細胞領域91bとして取得する。具体的には、画像処理部2cは、第1確率値21aが第2判定基準値20bよりも大きい異常細胞領域91を、第2異常細胞領域91bとして取得する。
(細胞領域の取得)
ここで、細胞画像10の全ての画素の指標値21に対して、第1判定基準値20aおよび第2判定基準値20bよりも大きいか否かを判定する場合、画像処理部2cの処理負荷が増加する。そこで、図8に示すように、本実施形態では、画像処理部2cは、細胞画像10に写る細胞90である細胞領域93の各画素の指標値21に対して、第1判定基準値20aおよび第2判定基準値20bよりも大きいか否かを判定する。本実施形態では、画像処理部2cは、正常細胞ラベル画像12と、異常細胞ラベル画像13とに基づいて細胞90の領域である細胞領域93と細胞90以外の領域94とを取得するように構成されている。具体的には、画像処理部2cは、正常細胞ラベル画像12と異常細胞ラベル画像13との同一位置の画素値をそれぞれ加算することにより、細胞領域画像18を取得する。なお、図8に示す細胞領域画像18は、細胞領域93の画素値が1であり、細胞90以外の領域94の画素値が0の二値画像である。すなわち、細胞領域画像18において黒く図示した領域が、細胞領域93である。また、細胞領域画像18において白く図示した領域が、細胞90以外の領域94である。
ここで、細胞画像10の全ての画素の指標値21に対して、第1判定基準値20aおよび第2判定基準値20bよりも大きいか否かを判定する場合、画像処理部2cの処理負荷が増加する。そこで、図8に示すように、本実施形態では、画像処理部2cは、細胞画像10に写る細胞90である細胞領域93の各画素の指標値21に対して、第1判定基準値20aおよび第2判定基準値20bよりも大きいか否かを判定する。本実施形態では、画像処理部2cは、正常細胞ラベル画像12と、異常細胞ラベル画像13とに基づいて細胞90の領域である細胞領域93と細胞90以外の領域94とを取得するように構成されている。具体的には、画像処理部2cは、正常細胞ラベル画像12と異常細胞ラベル画像13との同一位置の画素値をそれぞれ加算することにより、細胞領域画像18を取得する。なお、図8に示す細胞領域画像18は、細胞領域93の画素値が1であり、細胞90以外の領域94の画素値が0の二値画像である。すなわち、細胞領域画像18において黒く図示した領域が、細胞領域93である。また、細胞領域画像18において白く図示した領域が、細胞90以外の領域94である。
(重畳細胞画像)
次に、図9を参照して、重畳細胞画像生成部2dが、重畳細胞画像50を生成する構成について説明する。図9は、重畳細胞画像生成部2dが、図9(A)に示す細胞画像10から、図9(B)に示す重畳細胞画像50を生成する例を示している。
次に、図9を参照して、重畳細胞画像生成部2dが、重畳細胞画像50を生成する構成について説明する。図9は、重畳細胞画像生成部2dが、図9(A)に示す細胞画像10から、図9(B)に示す重畳細胞画像50を生成する例を示している。
重畳細胞画像生成部2dは、細胞画像10に対して、異常細胞領域91を重畳させることにより、重畳細胞画像50を生成する。具体的には、重畳細胞画像生成部2dは、細胞画像10に対して第1異常細胞領域91aおよび第2異常細胞領域91bを重畳させることにより、重畳細胞画像50を生成する。
また、本実施形態では、重畳細胞画像生成部2dは、重畳細胞画像50として、異常細胞領域91を識別可能な画像を生成する。具体的には、重畳細胞画像生成部2dは、第1異常細胞領域91a内の全体を所定の色によって表示した画像を、重畳細胞画像50として生成する。重畳細胞画像生成部2dは、たとえば、第1異常細胞領域91a内の全体を、赤色に着色した状態で表示する。図9(B)に示す例では、第1異常細胞領域91aにハッチングを付すことにより、第1異常細胞領域91a内の全体を所定の色によって着色した状態で表示することを図示している。
また、重畳細胞画像生成部2dは、第2異常細胞領域91bを取り囲む枠線91cを強調表示した画像を、重畳細胞画像50として生成する。図9(B)に示す例では、枠線91cを太線で図示することにより、枠線91cを強調表示している。なお、枠線91cとは、第2異常細胞領域91bの輪郭線のことである。本実施形態では、重畳細胞画像生成部2dは、細胞画像10の細胞領域93の輪郭線を示す太線(枠線91c)を重畳した上で、異常細胞領域91にいては、第2確率値21bを2段階に分けて、第2確率値21bに応じた各領域を、2色で染色したような着色画像を生成する。
また、重畳細胞画像生成部2dは、正常細胞領域92を、異常細胞領域91とは異なる色によって表示した画像を、重畳細胞画像50として生成する。すなわち、重畳細胞画像生成部2dは、正常細胞領域92と異常細胞領域91とを異なる色で表示するとともに、第1異常細胞領域91a内の全体を所定の色で表示し、第2異常細胞領域91bを取り囲む枠線91cを強調表示した画像を、重畳細胞画像50として生成する。異常細胞領域91たとえば、本実施形態では、重畳細胞画像生成部2dは、正常細胞領域92を、青色で着色した状態で表示する。
(比較例による重畳細胞画像)
図10は、指標値21の大きさによって正常細胞領域92および異常細胞領域91を取得することにより、図10(A)に示す細胞画像10から、図10(B)に示す重畳細胞画像50を生成する比較例を示している。
図10は、指標値21の大きさによって正常細胞領域92および異常細胞領域91を取得することにより、図10(A)に示す細胞画像10から、図10(B)に示す重畳細胞画像50を生成する比較例を示している。
比較例による重畳細胞画像40は、画素毎において、最も大きい指標値21に基づいて、正常細胞領域96と異常細胞領域95とを取得し、細胞画像10に重畳した画像である。具体的には、各画素において、第1確率値21a、第2確率値21b、および、第3確率値21cのうち、最も値が大きい確率値を取得し、正常細胞領域96と異常細胞領域95とを取得する。したがって、異常細胞である確率を示す第1確率値21aが、正常細胞である確率を示す第2確率値21b、および、背景である確率を示す第3確率値21cよりも小さい場合、異常細胞領域91としては表示されない。そのため、比較例による重畳細胞画像40に写る異常細胞領域95の面積は、本実施形態による重畳細胞画像50に写る異常細胞領域91の面積と比較して、小さくなっている。すなわち、比較例による重畳細胞画像40では、異常細胞領域95が一見して把握しづらくなっている。
本実施形態による重畳細胞画像50と比較例による重畳細胞画像40とを比較した場合、本実施形態による重畳細胞画像50の方が、より多く、より広い異常細胞領域91が表示されている。そのため、操作者は、異常細胞である可能性がある異常細胞領域91をより正確に把握することができる。
(異常細胞の個数)
ここで、細胞画像10に写る細胞90のうち、異常細胞の個数を操作者が確認したい場合がある。そこで、本実施形態では、画像処理部2cは、細胞画像10に写る異常細胞の個数を取得するように構成されている。なお、異常細胞の個数を計数する場合、隣接する異常細胞を個々に計数すると、正常細胞に対する異常細胞の割合が多くなりすぎる場合がある。そこで、本実施形態では、画像処理部2cは、異常細胞を個々に計数するのではなく、異常細胞領域91を1つの異常細胞として計測することが好ましい場合もある。そこで、本実施形態では、画像処理部2cは、細胞画像10に写る第2異常細胞領域91bの個数60を、異常細胞の個数として取得するように構成されている。
ここで、細胞画像10に写る細胞90のうち、異常細胞の個数を操作者が確認したい場合がある。そこで、本実施形態では、画像処理部2cは、細胞画像10に写る異常細胞の個数を取得するように構成されている。なお、異常細胞の個数を計数する場合、隣接する異常細胞を個々に計数すると、正常細胞に対する異常細胞の割合が多くなりすぎる場合がある。そこで、本実施形態では、画像処理部2cは、異常細胞を個々に計数するのではなく、異常細胞領域91を1つの異常細胞として計測することが好ましい場合もある。そこで、本実施形態では、画像処理部2cは、細胞画像10に写る第2異常細胞領域91bの個数60を、異常細胞の個数として取得するように構成されている。
(第2異常細胞領域の面積に対する第1異常細胞領域の面積の比率)
第2異常細胞領域91bは、異常細胞である可能性が低い領域であり、第1異常細胞領域91aは、異常細胞である可能性が高い領域である。第2異常細胞領域91bに含まれる第1異常細胞領域91aの面積の比率が高いほど、異常細胞である可能性が高くなる。しかしながら、重畳細胞画像50を一見しただけでは、第2異常細胞領域91bに含まれる第1異常細胞領域91aの面積の比率を容易に把握することは困難である。
第2異常細胞領域91bは、異常細胞である可能性が低い領域であり、第1異常細胞領域91aは、異常細胞である可能性が高い領域である。第2異常細胞領域91bに含まれる第1異常細胞領域91aの面積の比率が高いほど、異常細胞である可能性が高くなる。しかしながら、重畳細胞画像50を一見しただけでは、第2異常細胞領域91bに含まれる第1異常細胞領域91aの面積の比率を容易に把握することは困難である。
そこで、本実施形態では、画像処理部2cは、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を取得するように構成されている。また、画像処理部2cは、取得した第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を、表示部4において表示させるように構成されている。
(識別可能に表示する異常細胞領域の選別)
次に、図11を参照して、画像処理部2cが識別可能に表示する異常細胞領域91の選別を行う構成について説明する。本実施形態では、画像処理部2cは、第1判定基準値20aと第2判定基準値20bとに基づいて、異常細胞領域91を取得する。ここで、異常細胞領域91である可能性が極端に低いものを表示すると、操作者が異常細胞領域91を確認する際に邪魔になる。そこで、本実施形態では、画像処理部2cは、識別可能に表示する異常細胞領域91を選別するように構成されている。
次に、図11を参照して、画像処理部2cが識別可能に表示する異常細胞領域91の選別を行う構成について説明する。本実施形態では、画像処理部2cは、第1判定基準値20aと第2判定基準値20bとに基づいて、異常細胞領域91を取得する。ここで、異常細胞領域91である可能性が極端に低いものを表示すると、操作者が異常細胞領域91を確認する際に邪魔になる。そこで、本実施形態では、画像処理部2cは、識別可能に表示する異常細胞領域91を選別するように構成されている。
図11に示す異常細胞ラベル画像13gには、領域19aに示すように、第1異常細胞領域91aを内側に含む第2異常細胞領域91bが写っている。また、異常細胞ラベル画像13gには、領域19bに示すように、面積が極端に小さい第2異常細胞領域91bが写っている。また、異常細胞ラベル画像13gには、領域19cに示すように、第1異常細胞領域91aを内側に含まない第2異常細胞領域91bが写っている。
本実施形態では、画像処理部2cは、第2異常細胞領域91bのうち、所定の面積以下の面積を有する第2異常細胞領域91bを、第1異常細胞領域91aと識別可能に表示する対象から除外する。
また、本実施形態では、画像処理部2cは、第1異常細胞領域91aを内側に含まない第2異常細胞領域91bを、第1異常細胞領域91aと識別可能に表示する対象から除外する。すなわち、図11に示す異常細胞ラベル画像13hのように、画像処理部2cは、所定の面積よりも大きく、第1異常細胞領域91aを内側に含む第2異常細胞領域91bのみを、第1異常細胞領域91aと識別可能に表示する対象とする。
図12は、表示部4において、重畳細胞画像50、第2異常細胞領域91bの個数60、および、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を表示した例を示す模式図である。
図12に示すように、画像処理部2cは、表示部4において、重畳細胞画像50を表示させる。また、画像処理部2cは、表示部4において、第2異常細胞領域91bの個数60を表示させる。また、画像処理部2cは、表示部4において、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を表示させる。なお、本実施形態では、画像処理部2cは、重畳細胞画像50と、第2異常細胞領域91bの個数60と、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61とを、並べた状態で表示する。
(重畳細胞画像表示処理)
次に、図13を参照して、細胞画像解析装置100が、重畳細胞画像50を表示する処理について説明する。
次に、図13を参照して、細胞画像解析装置100が、重畳細胞画像50を表示する処理について説明する。
ステップ200において、画像取得部1は、細胞90が写る細胞画像10を取得する。
ステップ201において、画像解析部2bは、細胞90の解析を学習させた学習済みモデル6を用いて細胞画像10に写る細胞90を解析した指標値21を取得する。具体的には、ステップ201において、画像解析部2bは、第1指標値として、細胞画像10の画素毎に、細胞90が異常細胞である確率を示す第1確率値21aを取得する。より具体的には、ステップ201において、画像解析部2bは、指標値21として、第1確率値21aとともに、培養細胞が正常細胞である確率を示す第2確率値21bを取得する。なお、本実施形態では、画像解析部2bは、細胞90の状態と、ノイズ領域80であるか否かを判定することを学習させた学習済みモデル6を用いて、指標値21を取得する。
ステップ202おいて、画像処理部2cは、細胞90の領域である細胞領域93と細胞90以外の領域94とを取得する。
ステップ203において、画像処理部2cは、第1指標値が第1判定基準値20aよりも大きい異常細胞領域91を、第1異常細胞領域91aとして取得する。具体的には、画像処理部2cは、第1確率値21aが第1判定基準値20aよりも大きい異常細胞領域91を、第1異常細胞領域91aとして取得する。なお、画像処理部2cは、ステップ203において、細胞領域93の画素毎の第1確率値21aが第1判定基準値20aよりも大きい領域を第1異常細胞領域91aとして取得する。また、ステップ203において、画像処理部2cは、第1確率値21aが第2確率値21bよりも小さい場合でも、第1確率値21aが第1判定基準値20aよりも大きい場合には、第1異常細胞領域91aとして取得する。
ステップ204において、画像処理部2cは、指標値21のうち、細胞90が正常細胞ではない異常細胞であることを示す第1指標値が所定の判定基準値20よりも大きい領域である異常細胞領域91を取得する。具体的には、画像処理部2cは、第1指標値が第2判定基準値20bよりも大きい異常細胞領域91を、第2異常細胞領域91bとして取得する。より具体的には、画像処理部2cは、第1確率値21aが第2判定基準値20bよりも大きい異常細胞領域91を、第2異常細胞領域91bとして取得する。本実施形態では、画像処理部2cは、第2判定基準値20bとして、第1確率値21aが0よりも大きい領域を、第2異常細胞領域91bとして取得する。また、画像処理部2cは、第1確率値21aが第2確率値21bよりも小さい場合でも、第1確率値21aが第2判定基準値20bよりも大きい場合には、第2異常細胞領域91bとして取得する。また、画像処理部2cは、細胞領域93の画素毎の第1確率値21aが第2判定基準値20bよりも大きい領域を第2異常細胞領域91bとして取得する。
ステップ205において、正常細胞領域92を取得する。
ステップ206において、画像処理部2cは、第2異常細胞領域91bのうち、所定の面積以下の面積を有する第2異常細胞領域91bを、第1異常細胞領域91aと識別可能に表示する対象から除外する。
ステップ207において、画像処理部2cは、第1異常細胞領域91aを内側に含まない第2異常細胞領域91bを、第1異常細胞領域91aと識別可能に表示する対象から除外する。
ステップ208において、重畳細胞画像生成部2dは、細胞画像10と、第1異常細胞領域91aと、第2異常細胞領域91bと、正常細胞領域92とに基づいて、重畳細胞画像50を生成する。具体的には、重畳細胞画像生成部2dは、細胞画像10に対して、第1異常細胞領域91aと、第2異常細胞領域91bと、正常細胞領域92とを重畳させることにより、重畳細胞画像50を生成する。
ステップ209において、画像処理部2cは、重畳細胞画像50を表示部4に表示する。すなわち、画像処理部2cは、重畳細胞画像50を表示部4に表示することにより、異常細胞領域91を識別可能に表示する。また、画像処理部2cは、重畳細胞画像50を表示部4に表示することにより、第1異常細胞領域91aと第2異常細胞領域91bとを識別可能に表示する。また、画像処理部2cは、重畳細胞画像50を表示部4に表示することにより、第1異常細胞領域91a内の全体を所定の色によって表示し、第2異常細胞領域91bを取り囲む枠線91cを強調表示する。また、画像処理部2cは、重畳細胞画像50を表示部4に表示することにより、細胞画像10に対して、第1異常細胞領域91aと、第2異常細胞領域91bとを重ね合わせて表示する。また、画像処理部2cは、重畳細胞画像50を表示部4に表示することにより、細胞画像10に対して、第1異常細胞領域91aと、第2異常細胞領域91bと、正常細胞の領域とを重ね合わせて表示する。その後、処理は、終了する。
なお、ステップ203からステップ205の処理は、どのステップから行ってもよい。また、ステップ206およびステップ207の処理は、どちらの処理から行ってもよい。
(異常細胞の個数表示処理)
次に、図14を参照して、画像処理部2cが第2異常細胞領域91bの個数60を取得し、表示する処理について説明する。なお、画像処理部2cが異常細胞の個数を取得する処理は、重畳細胞画像50を生成するステップ207が完了した後に行われる。
次に、図14を参照して、画像処理部2cが第2異常細胞領域91bの個数60を取得し、表示する処理について説明する。なお、画像処理部2cが異常細胞の個数を取得する処理は、重畳細胞画像50を生成するステップ207が完了した後に行われる。
ステップ300において、画像処理部2cは、細胞画像10に写る第2異常細胞領域91bの個数60を取得する。
ステップ301において、画像処理部2cは、取得した第2異常細胞領域91bの個数60を表示する。その後、処理は、終了する。
(第2異常細胞領域の面積に対する第1異常細胞領域の面積の比率の表示処理)
次に、図15を参照して、画像処理部2cが、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を取得し、表示する処理について説明する。なお、画像処理部2cが第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を取得し、表示する処理は、操作者が重畳細胞画像50において異常細胞領域91を選択する入力があった際に開始される。
次に、図15を参照して、画像処理部2cが、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を取得し、表示する処理について説明する。なお、画像処理部2cが第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を取得し、表示する処理は、操作者が重畳細胞画像50において異常細胞領域91を選択する入力があった際に開始される。
ステップ400において、第1異常細胞領域91aの面積を取得する。
ステップ401において、第2異常細胞領域91bの面積を取得する。
ステップ402において、画像処理部2cは、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を取得する。
ステップ403において、画像処理部2cは、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を表示する。その後、処理は、終了する。
(本実施形態の効果)
本実施形態では、以下のような効果を得ることができる。
本実施形態では、以下のような効果を得ることができる。
本実施形態では、上記のように、細胞画像解析方法は、細胞90が写る細胞画像10を取得するステップと、細胞90の解析を学習させた学習済みモデル6を用いて細胞画像10に写る細胞90を解析した指標値21を取得するステップと、指標値21のうち、細胞90が正常細胞ではない異常細胞であることを示す第1指標値が所定の判定基準値20よりも大きい領域である異常細胞領域91を取得するステップと、異常細胞領域91を識別可能に表示するステップとを備える。
上記のように、指標値21のうち、細胞90が正常細胞ではない異常細胞であることを示す第1指標値が所定の判定基準値20よりも大きい領域である異常細胞領域91を取得するステップを備えることにより、第1指標値が所定の判定基準値20よりも大きい領域が異常細胞領域91として取得されるので、第1指標値が他の指標値21よりも小さい場合でも、異常細胞領域91として取得することができる。また、上記のように、異常細胞領域91を識別可能に表示するステップを備えることにより、たとえば、判定基準値20を小さくした場合に、取得した異常細胞領域91が、異常細胞の疑いがある領域として識別可能に表示されるので、異常細胞である可能性をわずかでも有する異常細胞領域91を、視認可能に表示することができる。これらの結果、細胞画像10において、異常細胞の疑いがある領域(異常細胞領域91)を把握することが可能な細胞画像解析方法を提供することができる。
また、上記実施形態では、以下のように構成したことによって、下記のような更なる効果が得られる。
すなわち、本実施形態では、上記のように、所定の判定基準値20は、第1判定基準値20aと、第1判定基準値20aよりも低い第2判定基準値20bとを含み、異常細胞領域91を取得するステップは、第1指標値が第1判定基準値20aよりも大きい異常細胞領域91を、第1異常細胞領域91aとして取得するステップと、第1指標値が第2判定基準値20bよりも大きい異常細胞領域91を、第2異常細胞領域91bとして取得するステップとを含み、異常細胞領域91を識別可能に表示するステップにおいて、第1異常細胞領域91aと第2異常細胞領域91bとを識別可能に表示する。これにより、第1判定基準値20aによって異常細胞であると判定された第1異常細胞領域91aと、第1判定基準値20aよりも小さい第2判定基準値20bによって異常細胞であると判定された第2異常細胞領域91bとを操作者に把握させることができる。その結果、わずかでも異常細胞である可能性を有する第2異常細胞領域91bと、第2異常細胞領域91bよりも異常細胞である可能性が高い第1異常細胞領域91aとを操作者に識別可能に把握させることが可能となるので、異常細胞領域91をより正確に把握させることができる。
また、本実施形態では、上記のように、指標値21を取得するステップにおいて、第1指標値として、細胞画像10の画素毎に、細胞90が異常細胞である確率を示す第1確率値21aを取得し、第1異常細胞領域91aを取得するステップにおいて、第1確率値21aが第1判定基準値20aよりも大きい異常細胞領域91を、第1異常細胞領域91aとして取得し、第2異常細胞領域91bを取得するステップにおいて、第1確率値21aが第2判定基準値20bよりも大きい異常細胞領域91を、第2異常細胞領域91bとして取得する。これにより、第1確率値21aを、第1判定基準値20aおよび第2判定基準値20bと比較することにより、細胞90が第1異常細胞領域91aであるか第2異常細胞領域91bであるかを容易に判別することができる。
また、本実施形態では、上記のように、細胞画像10は、培養細胞が写る画像であり、指標値21を取得するステップにおいて、指標値21として、第1確率値21aとともに、培養細胞が正常細胞である確率を示す第2確率値21bを取得し、第1異常細胞領域91aを取得するステップにおいて、第1確率値21aが第2確率値21bよりも小さい場合でも、第1確率値21aが第1判定基準値20aよりも大きい場合には、第1異常細胞領域91aとして取得し、第2異常細胞領域91bを取得するステップにおいて、第1確率値21aが第2確率値21bよりも小さい場合でも、第1確率値21aが第2判定基準値20bよりも大きい場合には、第2異常細胞領域91bとして取得する。これにより、第1確率値21aが第2確率値21bよりも小さい場合でも、第1判定基準値20aまたは第2判定基準値20bよりも大きい場合に異常細胞領域91であると判定されるので、第1確率値21aの値の大きさによらず、異常細胞領域91を取得することができる。その結果、第1確率値21aが第2確率値21bよりも小さいことにより、正常細胞領域92として取得されることを抑制することが可能となるので、異常細胞領域91を操作者に正確に把握させることができる。
また、本実施形態では、上記のように、第2異常細胞領域91bを取得するステップにおいて、第2判定基準値20bとして、第1確率値21aが0よりも大きい領域を、第2異常細胞領域91bとして取得する。これにより、第1確率値21aが0よりも大きければ、第2異常細胞領域91bとして取得することができる。その結果、第2異常細胞領域91bの取得漏れを抑制することが可能となるので、異常細胞領域91を操作者により一層正確に把握させることができる。
また、本実施形態では、上記のように、細胞画像10のうち、細胞90の領域である細胞領域93と細胞90以外の領域94とを取得するステップをさらに備え、第1異常細胞領域91aを取得するステップにおいて、細胞領域93の画素毎の第1確率値21aが第1判定基準値20aよりも大きい領域を第1異常細胞領域91aとして取得し、第2異常細胞領域91bを取得するステップにおいて、細胞領域93の画素毎の第1確率値21aが第2判定基準値20bよりも大きい領域を第2異常細胞領域91bとして取得する。これにより、細胞領域93に対してのみ異常細胞であるか否かの判定を行うことが可能になる。その結果、たとえば、細胞画像10の全画素の指標値21に対して異常細胞であるか否かを判定する構成と比較して、処理負荷を軽減することができる。
また、本実施形態では、上記のように、異常細胞領域91を識別可能に表示するステップにおいて、第1異常細胞領域91a内の全体を所定の色によって表示し、第2異常細胞領域91bを取り囲む枠線91cを強調表示する。これにより、第1異常細胞領域91aと第2異常細胞領域91bとを一見して容易に識別することができる。
また、本実施形態では、上記のように、異常細胞領域91を識別可能に表示するステップにおいて、細胞画像10に対して、第1異常細胞領域91aと、第2異常細胞領域91bとを重ね合わせて表示する。これにより、細胞画像10において、第1異常細胞領域91aと第2異常細胞領域91bとを容易に識別することができる。その結果、細胞画像10において、異常細胞である疑いが強い第1異常細胞領域91aと、異常細胞である疑いが弱い第2異常細胞領域91bとを容易に操作者に把握させることができる。
また、本実施形態では、上記のように、異常細胞領域91を識別可能に表示するステップにおいて、細胞画像10に対して、第1異常細胞領域91aと、第2異常細胞領域91bと、正常細胞の領域92とを重ね合わせて表示する。これにより、細胞画像10において、正常細胞と異常細胞とを操作者に容易に識別させることができる。
また、本実施形態では、上記のように、第2異常細胞領域91bのうち、所定の面積以下の面積を有する第2異常細胞領域91bを、第1異常細胞領域91aと識別可能に表示する対象から除外するステップをさらに備える。これにより、第2判定基準値20bが低いため、異常細胞ではないが第2異常細胞領域91bと判定された領域を、識別可能に表示する対象から除外することができる。その結果、操作者が、異常細胞以外の領域を異常細胞領域91として認識することを抑制することができる。
また、本実施形態では、上記のように、第1異常細胞領域91aを内側に含まない第2異常細胞領域91bを、第1異常細胞領域91aと識別可能に表示する対象から除外するステップをさらに備える。これにより、第2異常細胞領域91bのうち、異常細胞を含まない領域を識別可能に表示する対象から除外することができる。その結果、操作者が、異常細胞を含まない第2異常細胞領域91bを異常細胞領域91であると認識することを抑制することができる。
また、本実施形態では、上記のように、細胞画像10に写る第2異常細胞領域91bの個数60を取得するステップと、取得した第2異常細胞領域91bの個数60を表示するステップと、をさらに備える。これにより、異常細胞である可能性をわずかでも有する領域を1つの異常細胞として計数することができる。その結果、異常細胞を個々に計数する場合と比較して、異常細胞の個数が多くなることを抑制することが可能となるので、正常細胞に対する異常細胞の割合が多くなることを抑制することができる。
また、本実施形態では、上記のように、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を取得するステップと、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を表示するステップと、をさらに備える。これにより、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61が大きい場合には、異常細胞である疑いが強いと判断することができる。また、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61が低い場合には、異常細胞である疑いが弱いと判断することができる。これらの結果、操作者は、異常細胞である確度(可能性)を、数値として把握することが可能となるので、異常細胞である確度を容易に把握することができる。
また、本実施形態では、上記のように、細胞90の状態の解析を学習させる際に、異常細胞と類似するが、背景部分として認識される領域がノイズ領域80であることを併せて学習させることにより、学習済みモデル6を作成するステップをさらに備え、指標値21を取得するステップにおいて、細胞90の状態と、ノイズ領域80であるか否かを判定することを学習させた学習済みモデル6を用いて、指標値21を取得する。これにより、異常細胞と類似するノイズ領域80が背景領域であると学習済みモデル6に推定されることにより、異常細胞領域91も背景領域であると判定されることを抑制することができる。その結果、異常細胞領域91の推定精度を向上させることができる。
[変形例]
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内での全ての変更(変形例)が含まれる。
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内での全ての変更(変形例)が含まれる。
たとえば、上記実施形態では、画像処理部2cが、第1判定基準値20aおよび第2判定基準値20bを用いて、第1異常細胞領域91aと第2異常細胞領域91bとを取得する構成の例を示したが、本発明はこれに限られない。たとえば、画像処理部2cは、1つの判定基準値20を用いて、異常細胞領域91を取得するように構成されていてもよい。
また、上記実施形態では、画像処理部2cが、第1確率値21aと第2確率値21bとに基づいて、異常細胞領域91であるか否かを判定する構成の例を示したが、本発明はこれに限られない。たとえば、画像処理部2cは、第1確率値21aのみにより、異常細胞領域91であるか否かを判定するように構成されていてもよい。
また、上記実施形態では、第1判定基準値20aが0よりも大きく、第2判定基準値20bが10%以上である構成の例を示したが、本発明はこれに限られない。第1判定基準値20aが第2判定基準値20bよりも小さい値であれば、第1判定基準値20aおよび第2判定基準値20bは、任意の値に設定し得る。
また、上記実施形態では、画像処理部2cが、細胞領域93の画素毎に異常細胞領域91であるか否かを判定する構成の例を示したが、本発明はこれに限られない。たとえば、画像処理部2cは、細胞画像10の全ての画素に対して、異常細胞領域91であるか否かを判定するように構成されていてもよい。
また、上記実施形態では、重畳細胞画像生成部2dが、第1異常細胞領域91a内の全体を所定の色によって表示し、第2異常細胞領域91bを取り囲む枠線91cを強調表示する重畳細胞画像50を生成する構成の例を示したが、本発明はこれに限られない。第1異常細胞領域91aと第2異常細胞領域91bとが識別可能であれば、重畳細胞画像生成部2dは、重畳細胞画像50をどのように生成してもよい。
また、上記実施形態では、重畳細胞画像生成部2dが、細胞画像10に対して、第1異常細胞領域91aと第2異常細胞領域91bとを重ね合わせて表示する構成の例を示したが、本発明はこれに限られない。たとえば、重畳細胞画像生成部2dは、細胞画像10に対して、第1異常細胞領域91aを重ね合わせた画像と、細胞画像10に対して第2異常細胞領域91bを重ね合わせた画像とを生成し、それらの画像を並べて表示するように構成されていてもよい。
また、上記実施形態では、重畳細胞画像生成部2dが、細胞画像10に対して、第1異常細胞領域91aと第2異常細胞領域91bと、正常細胞の領域92とを重ね合わせて表示する重畳細胞画像50を生成する構成の例を示したが、本発明はこれに限られない。たとえば、重畳細胞画像生成部2dは、細胞画像10に対して、第1異常細胞領域91aと第2異常細胞領域91bとを重ね合わせて表示する重畳細胞画像50を生成すればよく、必ずしも正常細胞の領域92を重ね合わせる必要ない。
また、上記実施形態では、画像処理部2cが、所定の面積以下の面積を有する第2異常細胞領域91bを、第1異常細胞領域91aと識別可能に表示する対象から除外する構成の例を示したが、本発明はこれに限られない。たとえば、画像処理部2cは、所定の面積以下の面積を有する第2異常細胞領域91bを、第1異常細胞領域91aと識別可能に表示する対象から除外しなくてもよい。
また、上記実施形態では、画像処理部2cが、第1異常細胞領域91aを内側に含まない第2異常細胞領域91bを第1異常細胞領域91aと識別可能に表示する対象から除外する構成の例を示したが、本発明はこれに限られない。たとえば、画像処理部2cは、第1異常細胞領域91aを内側に含まない第2異常細胞領域91bを第1異常細胞領域91aと識別可能に表示する対象から除外しなくてもよい。
また、上記実施形態では、画像処理部2cが、細胞画像10に写る第2異常細胞領域91bの個数60を取得し、表示部4に表示する構成の例を示したが、本発明はこれに限られない。たとえば、画像処理部2cは、細胞画像10に写る第1異常細胞領域91aの個数を取得し、表示部4に取得するように構成されていてもよい。
また、上記実施形態では、画像処理部2cが、細胞画像10に写る第2異常細胞領域91bの個数60を取得し、表示部4に表示する構成の例を示したが、本発明はこれに限られない。たとえば、画像処理部2cは、細胞画像10に写る第2異常細胞領域91bの個数60を取得しなくてもよい。
また、上記実施形態では、画像処理部2cが、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を取得し、取得した比率61を表示部4に表示する構成の例を示したが、本発明はこれに限られない。たとえば、画像処理部2cは、第2異常細胞領域91bの面積に対する第1異常細胞領域91aの面積の比率61を取得しなくてもよい。
また、上記実施形態では、画像解析部2bが、異常細胞と類似するが、背景部分として認識される領域がノイズ領域80であることを併せて学習させることにより生成された学習済みモデル6を用いて指標値21を取得する構成の例を示したが、本発明はこれに限られない。たとえば、画像解析部2bは、ノイズ領域80を識別することを学習させていない学習済みモデルを用いて、指標値21を取得するように構成されていてもよい。しかしながら、画像解析部2bがノイズ領域80を識別することを学習させていない学習済みモデルを用いて指標値21を取得する場合、異常細胞の推定精度が低下する。したがって、画像解析部2bは、異常細胞と類似するが、背景部分として認識される領域がノイズ領域80であることを併せて学習させることにより生成された学習済みモデル6を用いて指標値21を取得するように構成されることが好ましい。
また、上記実施形態では、画像解析部2bが、細胞画像10に写る細胞90として、未分化細胞であるか、未分化逸脱細胞であるかを解析する構成の例を示したが、本発明はこれに限られない。たとえば、画像解析部2bは、がん細胞とがん細胞以外の細胞とを解析するように構成されていてもよい。画像解析部2bが解析する細胞は、未分化細胞および未分化逸脱細胞に限定されない。
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
(項目1)
細胞が写る細胞画像を取得するステップと、
前記細胞の解析を学習させた学習済みモデルを用いて前記細胞画像に写る前記細胞を解析した指標値を取得するステップと、
前記指標値のうち、前記細胞が正常細胞ではない異常細胞であることを示す第1指標値が所定の判定基準値よりも大きい領域である異常細胞領域を取得するステップと、
前記異常細胞領域を識別可能に表示するステップとを備える、細胞画像解析方法。
細胞が写る細胞画像を取得するステップと、
前記細胞の解析を学習させた学習済みモデルを用いて前記細胞画像に写る前記細胞を解析した指標値を取得するステップと、
前記指標値のうち、前記細胞が正常細胞ではない異常細胞であることを示す第1指標値が所定の判定基準値よりも大きい領域である異常細胞領域を取得するステップと、
前記異常細胞領域を識別可能に表示するステップとを備える、細胞画像解析方法。
(項目2)
前記所定の判定基準値は、第1判定基準値と、前記第1判定基準値よりも低い第2判定基準値とを含み、
前記異常細胞領域を取得するステップは、前記第1指標値が前記第1判定基準値よりも大きい前記異常細胞領域を、第1異常細胞領域として取得するステップと、前記第1指標値が前記第2判定基準値よりも大きい前記異常細胞領域を、第2異常細胞領域として取得するステップとを含み、
前記異常細胞領域を識別可能に表示するステップにおいて、前記第1異常細胞領域と前記第2異常細胞領域とを識別可能に表示する、項目1に記載の細胞画像解析方法。
前記所定の判定基準値は、第1判定基準値と、前記第1判定基準値よりも低い第2判定基準値とを含み、
前記異常細胞領域を取得するステップは、前記第1指標値が前記第1判定基準値よりも大きい前記異常細胞領域を、第1異常細胞領域として取得するステップと、前記第1指標値が前記第2判定基準値よりも大きい前記異常細胞領域を、第2異常細胞領域として取得するステップとを含み、
前記異常細胞領域を識別可能に表示するステップにおいて、前記第1異常細胞領域と前記第2異常細胞領域とを識別可能に表示する、項目1に記載の細胞画像解析方法。
(項目3)
前記指標値を取得するステップにおいて、前記第1指標値として、前記細胞画像の画素毎に、前記細胞が前記異常細胞である確率を示す第1確率値を取得し、
前記第1異常細胞領域を取得するステップにおいて、前記第1確率値が前記第1判定基準値よりも大きい前記異常細胞領域を、前記第1異常細胞領域として取得し、
前記第2異常細胞領域を取得するステップにおいて、前記第1確率値が前記第2判定基準値よりも大きい前記異常細胞領域を、前記第2異常細胞領域として取得する、項目2に記載の細胞画像解析方法。
前記指標値を取得するステップにおいて、前記第1指標値として、前記細胞画像の画素毎に、前記細胞が前記異常細胞である確率を示す第1確率値を取得し、
前記第1異常細胞領域を取得するステップにおいて、前記第1確率値が前記第1判定基準値よりも大きい前記異常細胞領域を、前記第1異常細胞領域として取得し、
前記第2異常細胞領域を取得するステップにおいて、前記第1確率値が前記第2判定基準値よりも大きい前記異常細胞領域を、前記第2異常細胞領域として取得する、項目2に記載の細胞画像解析方法。
(項目4)
前記細胞画像は、培養細胞が写る画像であり、
前記指標値を取得するステップにおいて、前記指標値として、前記第1確率値とともに、前記培養細胞が前記正常細胞である確率を示す第2確率値を取得し、
前記第1異常細胞領域を取得するステップにおいて、前記第1確率値が前記第2確率値よりも小さい場合でも、前記第1確率値が前記第1判定基準値よりも大きい場合には、前記第1異常細胞領域として取得し、
前記第2異常細胞領域を取得するステップにおいて、前記第1確率値が前記第2確率値よりも小さい場合でも、前記第1確率値が前記第2判定基準値よりも大きい場合には、前記第2異常細胞領域として取得する、項目3に記載の細胞画像解析方法。
前記細胞画像は、培養細胞が写る画像であり、
前記指標値を取得するステップにおいて、前記指標値として、前記第1確率値とともに、前記培養細胞が前記正常細胞である確率を示す第2確率値を取得し、
前記第1異常細胞領域を取得するステップにおいて、前記第1確率値が前記第2確率値よりも小さい場合でも、前記第1確率値が前記第1判定基準値よりも大きい場合には、前記第1異常細胞領域として取得し、
前記第2異常細胞領域を取得するステップにおいて、前記第1確率値が前記第2確率値よりも小さい場合でも、前記第1確率値が前記第2判定基準値よりも大きい場合には、前記第2異常細胞領域として取得する、項目3に記載の細胞画像解析方法。
(項目5)
前記第2異常細胞領域を取得するステップにおいて、前記第2判定基準値として、前記第1確率値が0よりも大きい領域を、前記第2異常細胞領域として取得する、項目3または4に記載の細胞画像解析方法。
前記第2異常細胞領域を取得するステップにおいて、前記第2判定基準値として、前記第1確率値が0よりも大きい領域を、前記第2異常細胞領域として取得する、項目3または4に記載の細胞画像解析方法。
(項目6)
前記細胞画像のうち、前記細胞の領域である細胞領域と前記細胞以外の領域とを取得するステップをさらに備え、
前記第1異常細胞領域を取得するステップにおいて、前記細胞領域の画素毎の前記第1確率値が前記第1判定基準値よりも大きい領域を前記第1異常細胞領域として取得し、
前記第2異常細胞領域を取得するステップにおいて、前記細胞領域の画素毎の前記第1確率値が前記第2判定基準値よりも大きい領域を前記第2異常細胞領域として取得する、項目3~5のいずれか1項に記載の細胞画像解析方法。
前記細胞画像のうち、前記細胞の領域である細胞領域と前記細胞以外の領域とを取得するステップをさらに備え、
前記第1異常細胞領域を取得するステップにおいて、前記細胞領域の画素毎の前記第1確率値が前記第1判定基準値よりも大きい領域を前記第1異常細胞領域として取得し、
前記第2異常細胞領域を取得するステップにおいて、前記細胞領域の画素毎の前記第1確率値が前記第2判定基準値よりも大きい領域を前記第2異常細胞領域として取得する、項目3~5のいずれか1項に記載の細胞画像解析方法。
(項目7)
前記異常細胞領域を識別可能に表示するステップにおいて、前記第1異常細胞領域内の全体を所定の色によって表示し、前記第2異常細胞領域を取り囲む枠線を強調表示する、項目2~6のいずれか1項に記載の細胞画像解析方法。
前記異常細胞領域を識別可能に表示するステップにおいて、前記第1異常細胞領域内の全体を所定の色によって表示し、前記第2異常細胞領域を取り囲む枠線を強調表示する、項目2~6のいずれか1項に記載の細胞画像解析方法。
(項目8)
前記異常細胞領域を識別可能に表示するステップにおいて、前記細胞画像に対して、前記第1異常細胞領域と、前記第2異常細胞領域とを重ね合わせて表示する、項目7に記載の細胞画像解析方法。
前記異常細胞領域を識別可能に表示するステップにおいて、前記細胞画像に対して、前記第1異常細胞領域と、前記第2異常細胞領域とを重ね合わせて表示する、項目7に記載の細胞画像解析方法。
(項目9)
前記異常細胞領域を識別可能に表示するステップにおいて、前記細胞画像に対して、前記第1異常細胞領域と、前記第2異常細胞領域と、前記正常細胞の領域とを重ね合わせて表示する、項目8に記載の細胞画像解析方法。
前記異常細胞領域を識別可能に表示するステップにおいて、前記細胞画像に対して、前記第1異常細胞領域と、前記第2異常細胞領域と、前記正常細胞の領域とを重ね合わせて表示する、項目8に記載の細胞画像解析方法。
(項目10)
前記第2異常細胞領域のうち、所定の面積以下の面積を有する前記第2異常細胞領域を、前記第1異常細胞領域と識別可能に表示する対象から除外するステップをさらに備える、項目7~9のいずれか1項に記載の細胞画像解析方法。
前記第2異常細胞領域のうち、所定の面積以下の面積を有する前記第2異常細胞領域を、前記第1異常細胞領域と識別可能に表示する対象から除外するステップをさらに備える、項目7~9のいずれか1項に記載の細胞画像解析方法。
(項目11)
前記第1異常細胞領域を内側に含まない前記第2異常細胞領域を、前記第1異常細胞領域と識別可能に表示する対象から除外するステップをさらに備える、項目7~10のいずれか1項に記載の細胞画像解析方法。
前記第1異常細胞領域を内側に含まない前記第2異常細胞領域を、前記第1異常細胞領域と識別可能に表示する対象から除外するステップをさらに備える、項目7~10のいずれか1項に記載の細胞画像解析方法。
(項目12)
前記細胞画像に写る前記第2異常細胞領域の個数を取得するステップと、
取得した前記第2異常細胞領域の個数を表示するステップと、をさらに備える、項目2~11のいずれか1項に記載の細胞画像解析方法。
前記細胞画像に写る前記第2異常細胞領域の個数を取得するステップと、
取得した前記第2異常細胞領域の個数を表示するステップと、をさらに備える、項目2~11のいずれか1項に記載の細胞画像解析方法。
(項目13)
前記第2異常細胞領域の面積に対する前記第1異常細胞領域の面積の比率を取得するステップと、
前記第2異常細胞領域の面積に対する前記第1異常細胞領域の面積の比率を表示するステップと、をさらに備える、項目2~12のいずれか1項に記載の細胞画像解析方法。
前記第2異常細胞領域の面積に対する前記第1異常細胞領域の面積の比率を取得するステップと、
前記第2異常細胞領域の面積に対する前記第1異常細胞領域の面積の比率を表示するステップと、をさらに備える、項目2~12のいずれか1項に記載の細胞画像解析方法。
(項目14)
前記細胞の状態の解析を学習させる際に、前記異常細胞と類似するが、背景部分として認識される領域がノイズ領域であることを併せて学習させることにより、前記学習済みモデルを作成するステップをさらに備え、
前記指標値を取得するステップにおいて、前記細胞の状態と、前記ノイズ領域であるか否かを判定することを学習させた前記学習済みモデルを用いて、前記指標値を取得する、項目2~13のいずれか1項に記載の細胞画像解析方法。
前記細胞の状態の解析を学習させる際に、前記異常細胞と類似するが、背景部分として認識される領域がノイズ領域であることを併せて学習させることにより、前記学習済みモデルを作成するステップをさらに備え、
前記指標値を取得するステップにおいて、前記細胞の状態と、前記ノイズ領域であるか否かを判定することを学習させた前記学習済みモデルを用いて、前記指標値を取得する、項目2~13のいずれか1項に記載の細胞画像解析方法。
6 学習済みモデル
10 細胞画像
20 判定基準値
20a 第1判定基準値
20b 第2判定基準値
21 指標値
21a 第1確率値(第1指標値)
21b 第2確率値
50 重畳画像
60 第2異常細胞領域の個数
61 第2異常細胞領域の面積に対する第1異常細胞領域の面積の比率
80 ノイズ領域
90 細胞(培養細胞)
91 異常細胞領域
91a 第1異常細胞領域
91b 第2異常細胞領域
91c 枠線(第2異常細胞領域を取り囲む枠線)
92 正常細胞領域
93 細胞領域
94 細胞以外の領域
10 細胞画像
20 判定基準値
20a 第1判定基準値
20b 第2判定基準値
21 指標値
21a 第1確率値(第1指標値)
21b 第2確率値
50 重畳画像
60 第2異常細胞領域の個数
61 第2異常細胞領域の面積に対する第1異常細胞領域の面積の比率
80 ノイズ領域
90 細胞(培養細胞)
91 異常細胞領域
91a 第1異常細胞領域
91b 第2異常細胞領域
91c 枠線(第2異常細胞領域を取り囲む枠線)
92 正常細胞領域
93 細胞領域
94 細胞以外の領域
Claims (14)
- 細胞が写る細胞画像を取得するステップと、
前記細胞の解析を学習させた学習済みモデルを用いて前記細胞画像に写る前記細胞を解析した指標値を取得するステップと、
前記指標値のうち、前記細胞が正常細胞ではない異常細胞であることを示す第1指標値が所定の判定基準値よりも大きい領域である異常細胞領域を取得するステップと、
前記異常細胞領域を識別可能に表示するステップとを備える、細胞画像解析方法。 - 前記所定の判定基準値は、第1判定基準値と、前記第1判定基準値よりも低い第2判定基準値とを含み、
前記異常細胞領域を取得するステップは、前記第1指標値が前記第1判定基準値よりも大きい前記異常細胞領域を、第1異常細胞領域として取得するステップと、前記第1指標値が前記第2判定基準値よりも大きい前記異常細胞領域を、第2異常細胞領域として取得するステップとを含み、
前記異常細胞領域を識別可能に表示するステップにおいて、前記第1異常細胞領域と前記第2異常細胞領域とを識別可能に表示する、請求項1に記載の細胞画像解析方法。 - 前記指標値を取得するステップにおいて、前記第1指標値として、前記細胞画像の画素毎に、前記細胞が前記異常細胞である確率を示す第1確率値を取得し、
前記第1異常細胞領域を取得するステップにおいて、前記第1確率値が前記第1判定基準値よりも大きい前記異常細胞領域を、前記第1異常細胞領域として取得し、
前記第2異常細胞領域を取得するステップにおいて、前記第1確率値が前記第2判定基準値よりも大きい前記異常細胞領域を、前記第2異常細胞領域として取得する、請求項2に記載の細胞画像解析方法。 - 前記細胞画像は、培養細胞が写る画像であり、
前記指標値を取得するステップにおいて、前記指標値として、前記第1確率値とともに、前記培養細胞が前記正常細胞である確率を示す第2確率値を取得し、
前記第1異常細胞領域を取得するステップにおいて、前記第1確率値が前記第2確率値よりも小さい場合でも、前記第1確率値が前記第1判定基準値よりも大きい場合には、前記第1異常細胞領域として取得し、
前記第2異常細胞領域を取得するステップにおいて、前記第1確率値が前記第2確率値よりも小さい場合でも、前記第1確率値が前記第2判定基準値よりも大きい場合には、前記第2異常細胞領域として取得する、請求項3に記載の細胞画像解析方法。 - 前記第2異常細胞領域を取得するステップにおいて、前記第2判定基準値として、前記第1確率値が0よりも大きい領域を、前記第2異常細胞領域として取得する、請求項3に記載の細胞画像解析方法。
- 前記細胞画像のうち、前記細胞の領域である細胞領域と前記細胞以外の領域とを取得するステップをさらに備え、
前記第1異常細胞領域を取得するステップにおいて、前記細胞領域の画素毎の前記第1確率値が前記第1判定基準値よりも大きい領域を前記第1異常細胞領域として取得し、
前記第2異常細胞領域を取得するステップにおいて、前記細胞領域の画素毎の前記第1確率値が前記第2判定基準値よりも大きい領域を前記第2異常細胞領域として取得する、請求項3に記載の細胞画像解析方法。 - 前記異常細胞領域を識別可能に表示するステップにおいて、前記第1異常細胞領域内の全体を所定の色によって表示し、前記第2異常細胞領域を取り囲む枠線を強調表示する、請求項2に記載の細胞画像解析方法。
- 前記異常細胞領域を識別可能に表示するステップにおいて、前記細胞画像に対して、前記第1異常細胞領域と、前記第2異常細胞領域とを重ね合わせて表示する、請求項7に記載の細胞画像解析方法。
- 前記異常細胞領域を識別可能に表示するステップにおいて、前記細胞画像に対して、前記第1異常細胞領域と、前記第2異常細胞領域と、前記正常細胞の領域とを重ね合わせて表示する、請求項8に記載の細胞画像解析方法。
- 前記第2異常細胞領域のうち、所定の面積以下の面積を有する前記第2異常細胞領域を、前記第1異常細胞領域と識別可能に表示する対象から除外するステップをさらに備える、請求項7に記載の細胞画像解析方法。
- 前記第1異常細胞領域を内側に含まない前記第2異常細胞領域を、前記第1異常細胞領域と識別可能に表示する対象から除外するステップをさらに備える、請求項7に記載の細胞画像解析方法。
- 前記細胞画像に写る前記第2異常細胞領域の個数を取得するステップと、
取得した前記第2異常細胞領域の個数を表示するステップと、をさらに備える、請求項2に記載の細胞画像解析方法。 - 前記第2異常細胞領域の面積に対する前記第1異常細胞領域の面積の比率を取得するステップと、
前記第2異常細胞領域の面積に対する前記第1異常細胞領域の面積の比率を表示するステップと、をさらに備える、請求項2に記載の細胞画像解析方法。 - 前記細胞の状態の解析を学習させる際に、前記異常細胞と類似するが、背景部分として認識される領域がノイズ領域であることを併せて学習させることにより、前記学習済みモデルを作成するステップをさらに備え、
前記指標値を取得するステップにおいて、前記細胞の状態と、前記ノイズ領域であるか否かを判定することを学習させた前記学習済みモデルを用いて、前記指標値を取得する、請求項2に記載の細胞画像解析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023538619A JPWO2023008526A1 (ja) | 2021-07-29 | 2022-07-28 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-124762 | 2021-07-29 | ||
JP2021124762 | 2021-07-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023008526A1 true WO2023008526A1 (ja) | 2023-02-02 |
Family
ID=85086995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/029117 WO2023008526A1 (ja) | 2021-07-29 | 2022-07-28 | 細胞画像解析方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2023008526A1 (ja) |
WO (1) | WO2023008526A1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017102898A (ja) * | 2015-09-30 | 2017-06-08 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | 細胞解析を向上させるための方法及びシステム |
JP2018503906A (ja) * | 2014-12-30 | 2018-02-08 | ベンタナ メディカル システムズ, インコーポレイテッド | イムノスコア計算における共発現解析のためのシステム及び方法 |
JP2021006037A (ja) * | 2014-09-03 | 2021-01-21 | ヴェンタナ メディカル システムズ, インク. | 免疫スコアを計算するためのシステム及び方法 |
JP2021503666A (ja) * | 2017-11-16 | 2021-02-12 | グローバル・ライフ・サイエンシズ・ソリューションズ・ユーエスエー・エルエルシー | 単一チャネル全細胞セグメンテーションのためのシステム及び方法 |
JP2021018531A (ja) * | 2019-07-18 | 2021-02-15 | 富士フイルム株式会社 | 機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラム |
JP2021064115A (ja) * | 2019-10-11 | 2021-04-22 | 株式会社島津製作所 | 細胞画像解析方法及び細胞解析装置 |
JP2021515240A (ja) * | 2018-04-12 | 2021-06-17 | グーグル エルエルシーGoogle LLC | 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡 |
JP2021152692A (ja) * | 2020-03-24 | 2021-09-30 | 国立大学法人埼玉大学 | 教師データ生成装置、教師データ生成用プログラム、画像認識装置、及び画像認識用プログラム |
-
2022
- 2022-07-28 JP JP2023538619A patent/JPWO2023008526A1/ja active Pending
- 2022-07-28 WO PCT/JP2022/029117 patent/WO2023008526A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021006037A (ja) * | 2014-09-03 | 2021-01-21 | ヴェンタナ メディカル システムズ, インク. | 免疫スコアを計算するためのシステム及び方法 |
JP2018503906A (ja) * | 2014-12-30 | 2018-02-08 | ベンタナ メディカル システムズ, インコーポレイテッド | イムノスコア計算における共発現解析のためのシステム及び方法 |
JP2017102898A (ja) * | 2015-09-30 | 2017-06-08 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | 細胞解析を向上させるための方法及びシステム |
JP2021503666A (ja) * | 2017-11-16 | 2021-02-12 | グローバル・ライフ・サイエンシズ・ソリューションズ・ユーエスエー・エルエルシー | 単一チャネル全細胞セグメンテーションのためのシステム及び方法 |
JP2021515240A (ja) * | 2018-04-12 | 2021-06-17 | グーグル エルエルシーGoogle LLC | 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡 |
JP2021018531A (ja) * | 2019-07-18 | 2021-02-15 | 富士フイルム株式会社 | 機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラム |
JP2021064115A (ja) * | 2019-10-11 | 2021-04-22 | 株式会社島津製作所 | 細胞画像解析方法及び細胞解析装置 |
JP2021152692A (ja) * | 2020-03-24 | 2021-09-30 | 国立大学法人埼玉大学 | 教師データ生成装置、教師データ生成用プログラム、画像認識装置、及び画像認識用プログラム |
Non-Patent Citations (1)
Title |
---|
BOGACHEV MIKHAIL I.; VOLKOV VLADIMIR YU; KOLAEV GLEB; CHERNOVA LILIYA; VISHNYAKOV INNOKENTII; KAYUMOV AIRAT: "Selection and Quantification of Objects in Microscopic Images: from Multi-Criteria to Multi-Threshold Analysis", BIONANOSCIENCE, vol. 9, no. 1, 18 December 2018 (2018-12-18), Boston , pages 59 - 65, XP036751329, ISSN: 2191-1630, DOI: 10.1007/s12668-018-0588-2 * |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023008526A1 (ja) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7149360B2 (ja) | プレート培地上にストリークされた試料からの自動化された微生物コロニーカウントのための方法及びシステム | |
JP7428994B2 (ja) | 測定システム | |
CN105849274B (zh) | 用于显微图像中的单独细胞的分类和识别的方法和系统 | |
WO2021093451A1 (zh) | 病理切片图像的处理方法、装置、系统及存储介质 | |
US8625906B2 (en) | Image classification standard update method, program, and image classification device | |
EP3088511B1 (en) | Image processing device, program, information storage medium, and image processing method | |
JP2019533805A (ja) | 視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー | |
US10007834B2 (en) | Detection control device, detection system, non-transitory storage medium, and detection control method | |
US10089518B2 (en) | Graphical user interface for analysis of red blood cells | |
US20170330315A1 (en) | Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program | |
JP5718781B2 (ja) | 画像分類装置および画像分類方法 | |
EP3859304B1 (en) | Method for generating data for particle analysis, program for generating data for particle analysis, and device for generating data for particle analysis | |
US11615520B2 (en) | Information processing apparatus, information processing method of information processing apparatus, and storage medium | |
CN102227624B (zh) | 用于显示三维物体散点图的系统和方法 | |
EP3438987B1 (en) | Tool that analyzes image data and generates and displays a confidence indicator along with a cancer score | |
WO2023008526A1 (ja) | 細胞画像解析方法 | |
WO2016092783A1 (en) | Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program | |
WO2023008525A1 (ja) | 細胞画像解析方法 | |
US20220309832A1 (en) | Method for detecting opening and closing of eye, device for detecting opening and closing of eye, and non-transitory computer-readable recording medium recording program for detecting opening and closing of eye | |
US20230080978A1 (en) | Machine learning method and information processing apparatus for machine learning | |
JP2019091308A (ja) | 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ | |
WO2023008428A1 (ja) | 細胞画像解析方法 | |
WO2023276853A1 (ja) | 画像処理装置、方法及び画像処理システム | |
WO2013008531A1 (ja) | 走査電子顕微鏡、欠陥検査システム、および欠陥検査装置 | |
KR101504248B1 (ko) | 이미지 분석을 이용한 결핵검사 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22849587 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2023538619 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 22849587 Country of ref document: EP Kind code of ref document: A1 |