WO2021215069A1 - 細胞画像解析装置 - Google Patents

細胞画像解析装置 Download PDF

Info

Publication number
WO2021215069A1
WO2021215069A1 PCT/JP2021/003946 JP2021003946W WO2021215069A1 WO 2021215069 A1 WO2021215069 A1 WO 2021215069A1 JP 2021003946 W JP2021003946 W JP 2021003946W WO 2021215069 A1 WO2021215069 A1 WO 2021215069A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
cell image
cell
classifier
Prior art date
Application number
PCT/JP2021/003946
Other languages
English (en)
French (fr)
Inventor
周平 山本
隆二 澤田
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to US17/919,422 priority Critical patent/US20230160874A1/en
Priority to JP2022516851A priority patent/JP7409490B2/ja
Priority to CN202180039977.2A priority patent/CN115699085A/zh
Priority to EP21791950.5A priority patent/EP4138035A4/en
Publication of WO2021215069A1 publication Critical patent/WO2021215069A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486—Counting the particles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an apparatus for analyzing cell images.
  • pluripotent stem cells such as iPS cells, ES cells, and mesenchymal stem cells
  • observe the cells being cultured at an appropriate time point and observe the state (there is no change in cell proliferation rate, no morphological change, or undifferentiated cells.
  • phase contrast microscope Since cells are usually thin and transparent and absorb less light, it is difficult to distinguish between the medium and the cells in the cell image obtained by an optical microscope. Therefore, a phase contrast microscope is widely used for observing cells. Since the phase contrast microscope images the amount of phase change when light passes through an object, it is possible to identify thin and transparent cells from the medium and obtain a visualized image (phase image).
  • Non-Patent Document 1 image processing software is used to extract a "cell nucleus region” and a "region occupied by one cell” included in a phase image as a region of interest, and the number of cells and cell morphology are extracted from the region of interest. It has been proposed to analyze the changes in. Various algorithms for removing noise and background are registered in such image processing software. The user selects an appropriate algorithm from them to remove noise and background, then binarizes the intensity of each pixel to identify the cell position, and analyzes the number and shape of the cells.
  • the shape of the cell differs depending on the type of cell and the number of days of culture.
  • the background state of the phase image (for example, variation in brightness) differs depending on the type of medium. Therefore, skill in the image analysis algorithm is required to determine which algorithm is suitable for processing the phase image to be analyzed.
  • phase image of the cell and the analyzed image in which the region of interest of the phase image is specified in advance (for example, "an image obtained by staining a specific protein in the cell in the phase image” or the like. , "Any region designated by the observer as having an abnormal cell morphology among the cells in the phase image") is prepared as a plurality of sets, learning data, and verification data, respectively.
  • a learning model is constructed by machine learning using the learning data.
  • the parameters of the learning model are adjusted using the verification data.
  • the learning model thus created is provided as a discriminator for analyzing an actual phase image.
  • the accuracy of the phase image analysis depends on whether or not the learning model used as the basis of the classifier used for the analysis has learned a phase image having characteristics close to those of the actual phase image to be analyzed.
  • the construction of a learning model by machine learning is performed by a software engineer, and a discriminator using such a learning model is generally preliminarily incorporated in analysis software and provided to the user. Therefore, there is a problem that the user cannot confirm the suitability of the classifier for the image to be analyzed by himself / herself.
  • the problem to be solved by the present invention is to provide a cell image analysis device that allows the user to confirm the suitability of the classifier for the image to be analyzed by himself / herself.
  • the cell image analysis apparatus which has been made to solve the above problems, is Display and A cell created using training data, which is a set of data of a cell image and data of an analyzed image in which a region of interest contained in the cell image is specified, and a learning model constructed by machine learning using the training data.
  • An evaluation result storage unit that stores the evaluation result by the classifier evaluation unit and the evaluation data including the test data used for the evaluation in the storage unit in association with the classifier, and the evaluation result storage unit. It is provided with a display processing unit that displays the learning data associated with the classifier and / or the evaluation result on the screen of the display unit in response to a predetermined input for selecting the classifier stored in the storage unit. ..
  • the cell image analysis device includes a display unit and a storage unit.
  • learning data which is a set of data of the cell image and data of the analyzed image in which the region of interest included in the cell image is specified, is stored.
  • the classifier that outputs is also stored.
  • the number of classifiers stored in the storage unit may be one or multiple. When a plurality of classifiers are stored, each classifier is associated with the learning data used for machine learning of the learning model constituting the classifier.
  • the test data is used for identification.
  • the vessel is evaluated and saved with the test data.
  • the user makes a predetermined input for selecting the classifier to display the learning data associated with the classifier on the screen of the display unit.
  • the user can confirm the suitability of the discriminator for the analysis of the real cell image from the similarity between the learning data displayed on the screen and the cell image (real cell image) to be actually analyzed.
  • FIG. 6 is a configuration diagram of a main part of a cell image observation system in which an embodiment of the cell image observation device according to the present invention and a microscopic observation unit are combined.
  • FIG. 1 is a configuration diagram of a main part of the cell image analysis system 1 including the cell image analysis device 20 of this embodiment.
  • the cell image analysis system 1 of this embodiment is roughly classified into a microscopic observation unit 10 and a cell image analysis device 20.
  • the microscopic observation unit 10 of this embodiment is a phase-contrast microscope, and can acquire a phase image of cells in a culture plate.
  • the cell image analysis device 20 is composed of an analysis / processing unit 30, an input unit 51 and a display unit 52 connected to the analysis / processing unit 30.
  • the analysis / processing unit 30 has a cell image input reception unit 32, a pre-processing and post-processing execution unit 33, a classifier creation unit 34, a classifier registration unit 35, a test data input reception unit 36, and identification as functional blocks. It includes an instrument evaluation unit 37, an evaluation result storage unit 38, a display processing unit 39, an analysis execution unit 40, and an algorithm registration unit 41.
  • the pre-processing and post-processing execution unit 33 includes a pre-processing execution unit 331 and a post-processing execution unit 332.
  • the analysis / processing unit 30 is composed of a personal computer or a workstation, and each of the above functional blocks is embodied by executing a pre-installed cell image analysis program.
  • the storage unit 31 is provided with a classifier storage unit 311.
  • the classifier storage unit 311 stores a plurality of classifiers that differ depending on the type of cell to be analyzed and the content of analysis.
  • the cell types are, for example, iPS cells, ES cells, and cancer cells.
  • the contents of the analysis are, for example, determination of the number of cells, determination of cell coverage, determination of the number of differentiated cells.
  • the storage unit 31 is provided with a learning data storage unit 312, a verification data storage unit 313, an evaluation data storage unit 314, and an algorithm storage unit 315.
  • the learning data storage unit 312 contains training data that is a set of cell phase image data and analyzed image data of the phase image (for example, an image obtained by staining a specific intracellular protein that is a region of interest contained in the cell image). Many are preserved.
  • Culture information (cell type, culture conditions, type of dyeing substance at the time of creating an analyzed image, etc.) is associated with the learning data.
  • the culture conditions include the type of medium and the number of days of culture.
  • the verification data storage unit 313 stores a set of cell phase image data and analyzed image data of the phase image, which is different from the training data.
  • the evaluation data storage unit 3114 test data which is a set of the phase image data of the cell and the analyzed image data of the phase image, which is different from the training data and the verification data, and the evaluation of the classifier using the test data are performed. The resulting data is saved. Culture information is also associated with the verification data and the test data.
  • the algorithm storage unit 315 stores information on an algorithm (preprocessing algorithm) related to preprocessing of a phase image and a stained image, and a postprocessing algorithm (postprocessing algorithm) to be used after identifying an area of interest by a classifier. .. Different pretreatment algorithms are stored for each cell type and culture conditions.
  • the preprocessing algorithm is used, for example, for aligning the phase image and the stained image, removing noise from the phase image and the stained image, removing the background from the phase image and the stained image, and binarizing the stained image.
  • a linear filter, a median filter, or the like can be used to remove noise.
  • an average value filter or the like can be used for removing the background.
  • the post-processing algorithm includes analysis contents (for example, calculation of morphological features estimated by a discriminator, correlation evaluation of morphological features, graphing of changes in morphological features over time, and morphology for culture conditions. Different features are stored according to the graphing of the features and the calculation of the ratio between the region of interest and the background region).
  • the morphological feature amount of the region of interest is, for example, the number of regions of interest, the area, the roundness, the aspect ratio, the peripheral length, the lengths of the long and short sides of the rectangle outlined in the region of interest, and the position of the center of gravity.
  • the user can use a file in which image information of cells is described in advance, and data of observation images of cells (for example, a phase image acquired by a phase contrast microscope and a stained image obtained by performing a staining process after acquiring the phase image and acquired by an optical microscope. ) Are saved in one folder.
  • the image information includes the project name, the person in charge name, the plate name, and the type of well in addition to the culture information.
  • the classifier creation unit 34 operates each functional block as follows.
  • the cell image input receiving unit 32 causes the display unit 52 to display a screen that allows the user to specify the location where the data used for constructing the learning model is stored.
  • the cell image input reception unit 32 reads the image information and image data stored in that location and displays the image on the screen of the display unit 52.
  • FIG. 2 is an example of the display, and a project selection field, a plate selection field, a data selection field, and an image display field are provided in order from the left side.
  • a project and plate when a project and plate are selected, the data acquired by the selected project and plate is displayed in a tree.
  • the user checks the check box displayed together with the name of the image data, the corresponding image is displayed in the image display field. The user confirms the image displayed in the image display field and determines the image to be used for creating the classifier.
  • the phase image is displayed in the image display field in FIG. 2, the display of the phase image and the dyed image can be switched.
  • the preprocessing execution unit 331 receives the image of the image data determined by the user from the algorithm storage unit 315. Read the pretreatment algorithm corresponding to the culture conditions included in the conditions.
  • the preprocessing execution unit 331 first detects the positions of a plurality of reference points included in the phase image and the dyed image, and aligns the phase image and the dyed image based on them. When the enlargement ratios of the phase image and the stained image are different, the enlargement ratios of both are matched. Subsequently, the read preprocessing algorithm is used to remove noise and background from the phase and stained images. Further, the brightness of each pixel is binarized based on the brightness value of each pixel in the dyed image and the binarization reference value preset in the preprocessing algorithm.
  • the preprocessed stained image (binarized image) is also referred to as an analyzed image.
  • the cell image input receiving unit 32 displays the data distribution setting screen on the display unit 52.
  • the data distribution setting screen sets the ratio of the set of image data to be imported into training data, verification data, and test data.
  • training data: verification data: test data 6: 3
  • the ratio of: 1 is set. The user can change this ratio as appropriate, but even in that case, it is preferable to allocate at least 10% as test data.
  • a set of a plurality of image data selected by the user is distributed to training data, verification data, and test data at this ratio, and each is a training data storage unit. It is stored in 312, the verification data storage unit 313, and the evaluation data storage unit 314.
  • a set of image data is sorted according to the changed ratio and stored in the learning data storage unit 312, the verification data storage unit 313, and the evaluation data storage unit 314, respectively. ..
  • the characteristics of the image data distributed as the training data may be biased.
  • learning data only those with a short (or long) culture days (a set of image data with biased culture conditions) may be sorted. In that case, a discriminator is created by a learning model that has not learned a phase image having a long (or short) culture time, and it may not be possible to correctly discriminate cells having a long (or short) culture time.
  • the classifier creation unit 34 reads out the unlearned machine learning model stored in advance in the storage unit 31.
  • this machine learning model for example, one that performs deep learning can be used.
  • SVM Support Vector Machine
  • the classifier creation unit 34 causes the unlearned learning model to perform machine learning using the phase image data of the training data as input data and the analyzed image as correct output data. In addition, the parameter values of the learning model are adjusted using the verification data. Then, a classifier is created from the created learning model, and evaluation is performed using test data.
  • region A the region where cells are actually present and presumed to be present
  • region B the region where cells are not actually present but are presumed to be present
  • region D the region where cells are not actually present and are presumed to be non-existent. It is calculated by the following formula. Which index is used for the evaluation of the discriminator may be decided in advance, and the user may be allowed to select each time.
  • Accuracy A + D / All areas
  • Precision A / A + C
  • IoC A / A + B + C
  • the discriminator creation unit 34 creates a discriminator from the learning model and stores it in the discriminator storage unit 311.
  • the learning data and verification data used for constructing the learning model, and the test data and evaluation results used for evaluation are associated with the classifier. The classifier thus created is then used for analysis of the actual cell image.
  • the classifier stored in the classifier storage unit 311 can be improved.
  • the user instead of reading the unlearned learning model, the user is made to select the discriminator stored in the discriminator storage unit 311, and then the learning model constituting the discriminator is performed by the same procedure as described above.
  • Machine learning should be done.
  • the classifier created based on the image data of iPS cells colony cells
  • it can be applied to the analysis of mesenchymal stem cells (non-colony cells). all right.
  • the cell image analysis system 1 of this embodiment it is possible to further import the classifier from another cell image analysis device and export the classifier for use in another cell image analysis device.
  • the classifier registration unit 35 displays on the display unit 52 a screen for allowing the user to specify the classifier to be exported and the location of the export destination (save destination).
  • the classifier registration unit 35 is associated with the classifier from the learning data storage unit 312, the verification data storage unit 313, and the evaluation data storage unit 314, respectively.
  • the training data, the verification data, the test data, and the evaluation result are read out (that is, used for creating and evaluating the classifier). Then, the data file of the classifier, the training data, the verification data, and the test data file, and the evaluation result data file are output to the designated storage location.
  • the classifier registration unit 35 displays a screen on the display unit 52 for the user to specify the storage location of the data to be imported.
  • the discriminator registration unit 35 reads the discriminator data file, the training data, the verification data, the test data file, and the evaluation result data file from the discriminator registration unit 35. Then, the data file of the classifier is stored in the classifier storage unit 311, the training data file is stored in the training data storage unit 312, the verification data file is stored in the verification data storage unit 313, and the test data file and the evaluation result data file are stored in the training data storage unit 312. Each is stored in the evaluation data storage unit 314.
  • the actual cell image may be analyzed using the classifier.
  • the training data and the verification data used for constructing the learning model used for creating the classifier can confirm the test data and the evaluation result.
  • a phase image having characteristics similar to the cell image to be analyzed a phase image having the same or similar cell type and medium type
  • an analyzed image of the phase image are used as test data for identification. Can evaluate the vessel. The procedure for such work will be described below.
  • the display processing unit 39 learns the learning data associated with the selected classifier.
  • the verification data is read from the data storage unit 312, the test data and the evaluation result are read from the verification data storage unit 313, and the evaluation results are read from the evaluation data storage unit 314, respectively, and displayed on the screen of the display unit 52.
  • the user can confirm the similarity between the displayed learning data and the verification data and the characteristics of the phase image to be actually analyzed, and examine the suitability of the classifier. Further, based on the similarity between the displayed test data and the characteristics of the phase image to be actually analyzed, the reliability of the evaluation result for the analysis of the phase image to be performed can be confirmed.
  • the discriminator evaluation unit 37 operates each functional block as follows.
  • the test data input receiving unit 36 displays a screen prompting the input of test data on the display unit 52.
  • the test data is a data set including a plurality of sets of a phase image and an analyzed image.
  • the test data can be input in the same procedure as the above-mentioned input of the learning data and the like. That is, the phase image and the stained image are stored in the same folder in advance together with the cell culture information, and first, by designating the folder, the test data input receiving unit 36 is made to read the information. Then, the preprocessing execution unit 331 performs preprocessing such as removing noise from the phase image and the dyed image to create test data.
  • preprocessing such as removing noise from the phase image and the dyed image
  • the discriminator evaluation unit 37 inputs the phase images included in the test data to the discriminator selected by the user in order. Then, the image output from the classifier (the image in which the region of interest is estimated) is compared with the analyzed image of the test data and evaluated. As the index of this evaluation, the above-mentioned Accuracy, Precision, Recall, and IoU can be used.
  • the evaluation result storage unit 38 associates the evaluation data of the classifier and the evaluation data including the test data used for the evaluation with the classifier and the evaluation data. It is stored in the storage unit 314.
  • the display processing unit 39 displays the result on the screen of the display unit 52.
  • FIG. 4 shows an example of display regarding the evaluation result of the classifier.
  • the screen showing the evaluation result of the classifier shows the phase image, the analyzed image (correct image which is the stained image after preprocessing), and the deviation between the image of the estimation result by the classifier and the correct image.
  • the image (analysis result) and the evaluation value are displayed.
  • the drawing is displayed in monochrome in FIG. 4, a colored image is actually displayed to improve visibility.
  • FIG. 4 is a display example of the result of evaluating the classifier using one set of phase images and a set of stained images as test data, but the classifier can also be evaluated using a plurality of sets of phase images and stained images as test data. .. In that case, the plurality of sets of image data are displayed in the same manner as in FIG. 4, and the evaluation value for each image data and the evaluation value for the entire plurality of sets of image data (for example, the average of the evaluation values for each image data). ) Is displayed.
  • the user can evaluate the discriminator by himself / herself using the phase image and the stained image that he / she has.
  • the user sets the culture plate containing the cells to be analyzed at a predetermined position of the microscopic observation unit 10, and performs a predetermined operation on the input unit 51.
  • the microscopic observation unit 10 photographs the sample (cells in the culture plate) and generates phase image data.
  • the user performs the same processing on all the culture plates in which the cells to be analyzed are cultured, acquires phase image data, and stores the data in a predetermined folder.
  • the phase image is acquired by using the microscopic observation unit 10 has been described, but the data of the phase image acquired in advance may be saved in a predetermined folder.
  • the user also saves a file containing image information including culture information of the cells to be analyzed in the same folder as the phase image data.
  • the analysis execution unit 40 operates each functional block as follows.
  • the cell image input receiving unit 32 reads out the phase image data and the culture information included in the image information from the designated folder. Subsequently, the analysis execution unit 40 displays a screen for allowing the user to specify the analysis content.
  • the contents of the analysis may include, for example, determination of the number of cells, determination of cell coverage, and determination of the number of differentiated cells.
  • the analysis processing unit reads out the culture information read out and the classifier corresponding to the analysis content from the classifier storage unit 311.
  • the pre-processing algorithm and the post-processing algorithm corresponding to the read culture information are read from the algorithm storage unit 315.
  • the analysis execution unit 40 displays the read classifier, the pre-processing algorithm, and the post-processing algorithm on the screen of the display unit 52.
  • the sequence of image analysis processing is determined. If a plurality of classifiers, pre-processing algorithms, and post-processing algorithms corresponding to the culture information and analysis contents are stored, all of them are displayed on the screen of the display unit 52. In this case, the user is asked to specify one pre-processing algorithm and one or more combinations of classifiers and post-processing algorithms. For example, when analyzing both the number of cells and the cell coverage, the user may specify a set of a classifier and a post-processing algorithm corresponding to each analysis. When the user specifies a plurality of pairs of a classifier and a post-processing algorithm, an analysis sequence for executing the plurality of processes in succession is determined.
  • the preprocessing execution unit 331 collectively performs preprocessing based on the preprocessing algorithm for all the imported phase images.
  • the analysis execution unit 40 inputs the preprocessed phase image data to the classifier, and outputs the image data for which the region of interest is specified. For example, when the analysis content is the determination of the number of cells, the data of the image specifying the cell nucleus included in the phase image is output, and when the analysis content is the determination of the cell coverage, the cells of each cell. Image data that identifies the entire skeletal region is output.
  • the post-processing execution unit 332 executes the analysis by the post-processing algorithm. For example, when the analysis content is to determine the number of cells, the number of cell nuclei included in the image data output from the discriminator is obtained and output as the analysis result. When the analysis content is to determine the cell coverage, the ratio of the cytoskeleton region to the total region of the image data output from the discriminator is obtained and output as the analysis result.
  • the discriminator, the pretreatment algorithm, and the posttreatment algorithm corresponding to the culture conditions for the cells to be analyzed are stored in the discriminator storage unit 311 and the algorithm storage unit 315, respectively.
  • the classifier, pretreatment algorithm, and posttreatment algorithm corresponding to the culture information may not be saved. ..
  • the corresponding classifier and post-processing algorithm may not be saved.
  • the algorithm registration unit 41 causes the user to specify whether to register the pre-processing algorithm or the post-processing algorithm.
  • the culture information of the cells using the pretreatment algorithm is further input, and the user is asked to specify the storage location of the pretreatment algorithm.
  • the file in which the pretreatment algorithm is described is imported from the storage location and saved in the algorithm storage unit 315 in association with the culture conditions. ..
  • the user specifies the addition of a post-processing algorithm, further input the culture information of the cells that use the post-processing algorithm and the content of the analysis performed by the algorithm, and use the storage location of the post-processing algorithm. Let the person specify.
  • the user inputs the cell culture information and analysis contents and specifies the storage location of the post-processing algorithm, the file in which the post-processing algorithm is described is imported from the storage location, and the algorithm storage unit 315 is associated with the culture conditions. Save to.
  • the cell image analysis system 1 of the present embodiment even when analyzing an image of a cell cultured using a new type of cell or a medium, or when performing an analysis of contents that has not been performed conventionally. , Corresponding pre-processing algorithms and post-processing algorithms, and classifiers can be added as appropriate.
  • the discriminator can be created and improved by using the cell image data and the stained image data possessed by the user. Therefore, it is not necessary to provide the cell image to an external software engineer in order to create the classifier, and therefore, the confidentiality of the cell image and its analysis can be maintained.
  • the cell image analysis device 20 can be configured as a cloud server and can be configured to be accessible from a plurality of research bases.
  • a cloud server can be configured to be accessible from a plurality of research bases.
  • the above embodiment is an example and can be appropriately modified according to the gist of the present invention.
  • the case where the cultured cells are observed with a phase microscope to acquire and analyze a phase image has been described, but the same configuration as that of the above example is also used for the analysis of the images observed with other types of microscopes. be able to.
  • a plurality of classifiers corresponding to the same culture information and analysis contents may be stored in the classifier storage unit 311.
  • a simple classifier capable of identifying the region of interest in a short time although the discrimination accuracy is not so high and a high-precision classifier having a high discrimination accuracy although it takes time to identify the region of interest.
  • a simple classifier is used when narrowing down the phase image of cultured cells by screening, and a high-precision classifier is used when analyzing the phase image after narrowing down in detail. Is possible, and the analysis efficiency can be improved.
  • the cell image analyzer is Display and A cell created using training data, which is a set of data of a cell image and data of an analyzed image in which a region of interest contained in the cell image is specified, and a learning model constructed by machine learning using the training data.
  • An evaluation result storage unit that stores the evaluation result by the classifier evaluation unit and the evaluation data including the test data used for the evaluation in the storage unit in association with the classifier, and the evaluation result storage unit. It is provided with a display processing unit that displays the learning data associated with the classifier and / or the evaluation result on the screen of the display unit in response to a predetermined input for selecting the classifier stored in the storage unit. ..
  • the test data when the user inputs test data which is a set of cell image data different from the training data and the analyzed image data of the cell image, the test data is used.
  • the classifier is evaluated and stored with the test data.
  • the learning data associated with the classifier and / or the content of the evaluation by the classifier evaluation unit is displayed on the screen of the display unit.
  • the user can confirm the suitability of the discriminator for the analysis of the real cell image from the similarity between the learning data displayed on the screen and the cell image (real cell image) to be actually analyzed. Further, from the evaluation result of the discriminator using the test data similar to the real cell image, it is possible to confirm the suitability of the analysis of the real cell image using the discriminator.
  • an appropriate classifier can be selected from a plurality of classifiers according to the image to be analyzed and the purpose of analysis.
  • the cell image analyzer according to item 3 can analyze a cell image using a discriminator suitable for the cell type and / or culture conditions.
  • the display processing unit displays a cell image and an analyzed image of the test data, and an image showing a deviation between the analyzed image and an image output from the discriminator.
  • the evaluation result of the discriminator can be visually confirmed.
  • (Section 5) In the cell image analyzer according to any one of items 1 to 4, further It accepts input of information on culture conditions related to a plurality of cell image data, a set of analyzed image data in which a region of interest contained in the cell image is specified, and data of the plurality of sets of images, and supports them. It is provided with a cell image input receiving unit to be attached and stored in the storage unit.
  • the cell image analysis device can manage a set of cell image data and analyzed image data possessed by the user in association with information on cell culture conditions.
  • the user can create a discriminator by himself / herself.
  • the cell image input receiving unit creates training data and verification data by distributing a plurality of sets of image data received by the cell image input receiving unit at a predetermined ratio.
  • the classifier creating unit executes the machine learning using the learning data and the verification data distributed by the cell image input receiving unit to construct a learning model.
  • the classifier can be easily created.
  • a classifier created by another cell image analyzer is used as a set and culture of cell image data corresponding to the classifier and analyzed image data of the cell image. Can be imported with conditions.
  • the classifier created by the device is used with other cells together with a set of cell image data corresponding to the classifier, data of the analyzed image of the cell image, and culture conditions. It can be exported to an image analyzer.
  • the pretreatment execution unit performs at least one of alignment, noise removal, and background removal of the cell image data and the analyzed image data, and binarization of the brightness of the analyzed image data. It executes the process.
  • the cell image analyzer according to the tenth and eleventh items can easily preprocess the cell image data and the analyzed image data.
  • a post-processing algorithm storage unit that stores a post-processing algorithm that performs post-processing of image data output from the classifier, and It includes a post-processing execution unit that performs post-processing of image data output from the classifier using the post-processing algorithm stored in the post-processing algorithm storage unit.
  • the post-processing execution unit estimates the morphological features of the region of interest (number of regions of interest, area, roundness, aspect ratio, peripheral length, and circumscribing rectangle. Calculation of long side and short side length, position of center of gravity), correlation evaluation of morphological features, graphing of changes in morphological features over time, graphing of morphological features for culture conditions, region of interest and background Ratio calculation, It executes at least one of the processes.
  • the cell image analysis apparatus can easily post-process the image data output from the classifier.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Analytical Chemistry (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Immunology (AREA)
  • General Engineering & Computer Science (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dispersion Chemistry (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biotechnology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)

Abstract

表示部５２と、細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組である学習データと、該学習データを用いた機械学習により構築された学習モデルを用いて作成された識別器とが保存された記憶部３１と、テストデータの入力を受け付けるテストデータ入力受付部３６と、テストデータを用いて識別器を評価する識別器評価部３７と、識別器の評価結果及び該評価に用いられたテストデータを含む評価データを識別器に対応付けて保存する評価結果保存部３８と、識別器を選択する所定の入力に応じて該識別器に対応付けられた学習データ及び／又は評価結果を表示部の画面に表示する表示処理部３９とを備える細胞画像解析装置２。

Description

細胞画像解析装置
　本発明は、細胞画像を解析する装置に関する。
　再生医療の分野では、近年、iPS細胞、ES細胞、間葉系幹細胞等の多能性幹細胞を用いた研究が行われている。こうした多能性幹細胞を使用した再生医療の研究・開発においては、細胞を大量に培養する必要がある。再生医療に用いる細胞を大量に培養する際には、適宜の時点で培養中の細胞を観察し、その状態（細胞の増殖率に変化がないか、形態的な変化はないか、未分化の状態が維持されているか、菌類等のコンタミネーションが生じていないか等）を確認する。この場合には観察後の細胞を引き続き培養するため、非破壊及び非侵襲で細胞の状態を確認する必要がある。非破壊及び非侵襲での細胞の状態の確認は、多くの場合、当該細胞の画像を用いて行われる。
　細胞は通常、薄く透明であり光の吸収が少ないため、光学顕微鏡により得られる細胞画像では培地と細胞を識別することが難しい。そのため、細胞の観察には位相差顕微鏡が広く利用されている。位相差顕微鏡では光が対象物を通過する際の位相の変化量を画像化するため、薄く透明な細胞についても細胞を培地から識別し、可視化した画像（位相画像）を得ることができる。
　非特許文献１には、画像処理ソフトウェアを用いて位相画像に含まれる「細胞核の領域」や「細胞１個が占有する領域」を関心領域として抽出し、その関心領域から細胞の数や細胞形態の変化を解析することが提案されている。こうした画像処理ソフトウェアには、ノイズやバックグラウンドを除去するための様々なアルゴリズムが登録されている。使用者は、それらの中から適宜のアルゴリズムを選択してノイズ及びバックグランドを除去した後、各画素の強度を二値化して細胞の位置を特定し、細胞の数や形を解析する。
　細胞の形状は、細胞の種類や培養日数によって異なる。また、位相画像のバックグラウンドの状態（例えば輝度のばらつき）は培地の種類によって異なる。そのため、解析しようとする位相画像の処理にどのアルゴリズムが適しているかを判断するには画像解析のアルゴリズムに関する熟練を要する。
　そこで、近年、機械学習により作成された識別器を用いて位相画像を解析することが提案されている（例えば非特許文献２、３）。機械学習を用いた位相画像の解析では、予め、細胞の位相画像と、該位相画像の関心領域を特定した解析済画像（例えば「位相画像中の細胞内の特定のたんぱく質を染色した画像」や、「位相画像中の細胞のうち、観察者が異常な細胞形態を持つと判断して指定した任意の領域」）の組を複数組、学習データ、検証データとしてそれぞれ用意しておく。そして、学習データを用いた機械学習により学習モデルを構築する。その後、検証データを用いて学習モデルのパラメータを調整する。こうして作成された学習モデルが、実際の位相画像を解析するための識別器として提供される。使用者は、こうして提供される識別器を使用することにより、該使用者の熟練度を問わず細胞画像を解析することができる。
三浦耕太、塚田祐基著, 「ImageJではじめる生物画像解析」, 学研メディカル秀潤社, 2016年4月, ISBN：9784780909364 Fully Convolutional Networks for Semantic Segmentation. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 3431-3440 U-Net: Convolutional Networks for Biomedical Image Segmentation. Computer Vision and Pattern Recognition (cs.CV) arXiv:1505.04597 [cs.CV]
　位相画像の解析の精度は、該解析に用いる識別器の元になる学習モデルが、実際の解析対象の位相画像に近い特性を有する位相画像を学習したものであるか否かに依存する。しかし、機械学習による学習モデルの構築はソフトウェア技術者によって行われ、そうした学習モデルを用いた識別器は解析ソフトウェアに予め組み込まれて使用者に提供されることが一般的である。そのため、使用者が解析対象の画像に対する識別器の適否を自ら確認することができないという問題があった。
　本発明が解決しようとする課題は、使用者が自ら、解析対象の画像に対する識別器の適否を確認することができる細胞画像解析装置を提供することである。
　上記課題を解決するために成された本発明に係る細胞画像解析装置は、
　表示部と、
　細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組である学習データと、該学習データを用いた機械学習により構築された学習モデルを用いて作成され細胞画像のデータの入力に応じて該細胞画像に含まれる関心領域を推定した画像のデータを出力する識別器とが保存された記憶部と、
　前記学習データとは別の細胞画像のデータと該細胞画像の解析済画像のデータの組であるテストデータの入力を受け付けるテストデータ入力受付部と、
　前記テストデータの細胞画像のデータの入力に対して前記識別器から出力される画像のデータを、該テストデータの解析済画像のデータと比較することにより該識別器を評価する識別器評価部と、
　前記識別器評価部による評価結果及び該評価に用いられたテストデータを含む評価データを前記識別器に対応付けて前記記憶部に保存する評価結果保存部と、
　前記記憶部に保存された識別器を選択する所定の入力に応じて、該識別器に対応付けられた学習データ及び／又は前記評価結果を前記表示部の画面に表示する表示処理部と
　を備える。
　本発明に係る細胞画像解析装置は、表示部と記憶部を備えている。記憶部には、細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組である学習データが保存されている。また、記憶部には、該学習データを用いた機械学習により構築された学習モデルを用いて作成され、細胞画像のデータの入力に応じて該細胞画像に含まれる関心領域を推定した画像のデータを出力する識別器も保存されている。記憶部に保存される識別器は1つであってもよく複数であってもよい。複数の識別器が保存される場合には、各識別器と、当該識別器を構成する学習モデルの機械学習に用いられた学習データが対応付けられる。
　本発明に係る細胞画像解析装置では、使用者が学習データとは別の細胞画像のデータと該細胞画像の解析済画像のデータの組であるテストデータを入力すると、該テストデータを用いて識別器が評価され、テストデータとともに保存される。その後、使用者は、識別器を選択する所定の入力を行うことにより、識別器に対応付けられた学習データを表示部の画面に表示させる。使用者は、画面に表示された学習データと、実際に解析しようとする細胞画像（実細胞画像）の類似性から、該実細胞画像の解析への識別器の適否を確認することができる。また、使用者が自らテストデータを入力して行った評価結果を表示部の画面に表示させて、当該識別器を用いた実細胞画像の解析の適否を確認することもできる。
本発明に係る細胞画像観察装置の一実施例と顕微観察部を組み合わせた細胞画像観察システムの要部構成図。 本実施例の細胞画像観察システムにおいて細胞画像をインポートする際の一画面例。 本実施例の細胞画像観察システムにおける識別器の評価の指標に関する説明図。 本実施例の細胞画像観察システムにおける識別器の評価結果の一表示例。
　本発明に係る細胞画像解析装置の一実施例について、以下、図面を参照して説明する。図１は、本実施例の細胞画像解析装置２０を含む細胞画像解析システム１の要部構成図である。
　本実施例の細胞画像解析システム１は、大別して顕微観察部１０と細胞画像解析装置２０から構成される。本実施例の顕微観察部１０は位相差顕微鏡であり、培養プレート内の細胞の位相画像を取得することができる。
　細胞画像解析装置２０は、解析・処理部３０と、該解析・処理部３０に接続された入力部５１及び表示部５２で構成されている。解析・処理部３０は、記憶部３１の他に、機能ブロックとして細胞画像入力受付部３２、前後処理実行部３３、識別器作成部３４、識別器登録部３５、テストデータ入力受付部３６、識別器評価部３７、評価結果保存部３８、表示処理部３９、解析実行部４０、及びアルゴリズム登録部４１を備えている。前後処理実行部３３は、前処理実行部３３１と後処理実行部３３２を有している。解析・処理部３０はパーソナルコンピュータやワークステーションから構成され、予めインストールされた細胞画像解析プログラムを実行することにより上記の各機能ブロックが具現化される。
　記憶部３１には、識別器記憶部３１１が設けられている。識別器記憶部３１１には、解析対象の細胞の種類や解析内容に応じて異なる複数の識別器が保存されている。細胞の種類は、例えばiPS細胞、ES細胞、がん細胞である。解析内容は、例えば細胞数の決定、細胞被覆率の決定、分化細胞数の決定である。
　また、記憶部３１には、学習データ記憶部３１２、検証データ記憶部３１３、評価データ記憶部３１４、及びアルゴリズム記憶部３１５が設けられている。学習データ記憶部３１２には、細胞の位相画像データと、該位相画像の解析済画像（例えば細胞画像に含まれる関心領域である特定の細胞内たんぱく質を染色した画像）データの組である学習データが多数、保存されている。学習データには、培養情報（細胞の種類、培養条件、解析済画像作成時の染色物質の種類等）が対応付けられている。培養条件には、培地の種類や培養日数が含まれる。
　検証データ記憶部３１３には、学習データとは別の、細胞の位相画像データと該位相画像の解析済画像データの組が保存される。評価データ記憶部３１４には、学習データ及び検証データとは別の、細胞の位相画像データと該位相画像の解析済画像データの組であるテストデータと、該テストデータを用いた識別器の評価結果のデータが保存される。検証データ及びテストデータにも、培養情報が対応付けられている。
　アルゴリズム記憶部３１５には、位相画像及び染色画像の前処理に係るアルゴリズム（前処理アルゴリズム）、及び識別器による関心領域の特定後に使用する後処理アルゴリズム（後処理アルゴリズム）に関する情報が保存されている。細胞の種類及び培養条件毎にそれぞれ異なる前処理アルゴリズムが保存されている。
　前処理アルゴリズムは、例えば、位相画像と染色画像の位置合わせ、位相画像と染色画像からのノイズ除去、位相画像と染色画像からのバックグラウンド除去、及び染色画像の二値化処理に用いられる。例えば、ノイズの除去には、線形フィルタ、メディアンフィルタ等を用いることができる。また、バックグラウンドの除去には、例えば平均値フィルタ等を用いることができる。
　後処理アルゴリズムとしては、解析の内容（例えば、識別器によって推定された関心領域の形態特徴量の算出、形態特徴量の相関性評価、形態特徴量の経時的変化のグラフ化、培養条件に対する形態特徴量のグラフ化、及び関心領域と背景領域の割合算出）に応じて異なるものがそれぞれ、保存されている。関心領域の形態特徴量とは、例えば、関心領域の数、面積、真円度、アスペクト比、周囲長、関心領域に概説する長方形の長辺及び短辺の長さ、重心位置である。
　次に、本実施例の細胞画像解析システム１を用いて各種作業の手順を説明する。
　使用者が学習モデルを構築して識別器を作成する手順を説明する。使用者は、予め、細胞の画像情報を記載したファイルと、細胞の観察画像のデータ（例えば位相差顕微鏡で取得した位相画像と、位相画像取得後に染色処理を施して光学顕微鏡で取得した染色画像）を1つのフォルダにまとめて保存しておく。画像情報には、上記培養情報に加えてプロジェクト名、担当者名、プレート名、及びウェルの種類が含まれる。
　使用者が、識別器の作成を指示する所定の入力を行うと、識別器作成部３４は以下のように各機能ブロックを動作させる。
　まず、細胞画像入力受付部３２が、学習モデルの構築に使用するデータが保存されている場所を使用者に指定させる画面を表示部５２に表示させる。使用者が画像データ等の保存場所を指定すると、細胞画像入力受付部３２は、その場所に保存されている画像情報と画像データを読み込み、表示部５２の画面に画像を表示する。
　図２はその一表示例であり、左側から順に、プロジェクト選択欄、プレート選択欄、データ選択欄、及び画像表示欄が設けられている。この例では、プロジェクト及びプレートを選択すると、選択されたプロジェクト及びプレートで取得されたデータがツリー表示される。使用者が画像データの名称とともに表示されるチェックボックスにチェックを入れると、対応する画像が画像表示欄に表示される。使用者は、画像表示欄に表示される画像を確認し、識別器の作成に用いる画像を決定する。なお、図２では画像表示欄に位相画像を表示しているが、位相画像と染色画像の表示を切り替え可能となっている。
　使用者が、表示した位相画像（あるいは染色画像）の中から学習モデルの構築に使用するデータを決定すると、前処理実行部３３１は、アルゴリズム記憶部３１５から、使用者が決定した画像データの画像条件に含まれる培養条件に対応した前処理アルゴリズムを読み出す。
　前処理実行部３３１は、最初に、位相画像及び染色画像に含まれる複数の基準点の位置を検出し、それらに基づいて位相画像と染色画像を位置合わせする。また、位相画像と染色画像の拡大率が異なる場合は併せて両者の拡大率を一致させる。続いて、読み出した前処理アルゴリズムを用いて位相画像及び染色画像からノイズ及びバックグラウンドを除去する。さらに、染色画像における各画素の輝度値、及び前処理アルゴリズムに予め設定された二値化の基準値に基づいて各画素の輝度を二値化する。以下、前処理済みの染色画像（二値化画像）を解析済画像とも呼ぶ。
　位相画像と染色画像の前処理が完了すると、細胞画像入力受付部３２はデータ振り分け設定画面を表示部５２に表示させる。データ振り分け設定画面は、インポートする画像データの組をどの割合で学習データ、検証データ、及びテストデータに振り分けるかを設定するものであり、初期値として学習データ：検証データ：テストデータ＝6：3：1という比率が設定されている。使用者は、この比率を適宜に変更することが可能であるが、その場合でもテストデータとして少なくとも10%を割り当てておくことが好ましい。
　使用者が決定ボタンを押す等の所定の操作を行うと、使用者により選択された複数の画像データの組がこの比率で学習データ、検証データ、及びテストデータに振り分けられ、それぞれ学習データ記憶部３１２、検証データ記憶部３１３、及び評価データ記憶部３１４に保存される。使用者が上記比率を変更した場合には、変更後の比率に応じて画像データの組が振り分けられ、それぞれ学習データ記憶部３１２、検証データ記憶部３１３、及び評価データ記憶部３１４に保存される。なお、画像データの組の数によっては上記比率通りに振り分けられない場合がある。その場合には、テストデータ、学習データ、検証データの順に画像データの組を優先して振り分けるとよい。例えば、画像データの組の数が48である場合には、テストデータとして5組（48の1/10である4.8を切り上げ）、学習データとして29組（テストデータ振り分け後の組数である43の2/3である28.7を切り上げ）、検証データとして14組（残数）を割り当てるとよい。
　また、画像データの組を振り分ける際には、上記比率に応じた数の画像データの組をランダムに振り分けることが好ましい。これは、例えば画像データの組をファイル名の順に、上記比率に応じた数だけ振り分けていくと、学習データとして振り分けられる画像データの特性に偏りが生じる場合があるためである。例えば、学習データとして培養日数が短い（あるいは長い）もの（培養条件が偏った画像データの組）のみが振り分けられる可能性がある。その場合、培養日数が長い（あるいは短い）位相画像を学習していない学習モデルによって識別器が作成され、培養日数が長い（あるいは短い）細胞を正しく識別できない可能性があるためである。
　次に、識別器作成部３４は、記憶部３１に予め保存されている未学習の機械学習モデルを読み出す。この機械学習モデルには、例えば深層学習（ディープラーニング）を行うものを用いることができる。あるいは、サポートベクターマシン（SVM: Support Vector Machine）やランダムフォレストなど含めた複数種類の機械学習モデルを用意しておき、その中から識別器の作成に使用するものを使用者に選択させるようにしてもよい。
　識別器作成部３４は、未学習の学習モデルに対し、学習データの位相画像のデータを入力データとし、解析済画像を正解の出力データとする機械学習を実行させる。また、検証データを用いて学習モデルのパラメータ値を調整する。そして、作成した学習モデルから識別器を作成し、テストデータを用いた評価を行う。
　例えば、位相画像から関心領域を推定する識別器の場合、評価の指標として、Accuracy、Precision、Recall、及びIoU(Intersection over Union)と呼ばれるものが知られている。図３に概念的に示すように、実際に細胞が存在し、また細胞が存在すると推定された領域を領域Ａ、実際には細胞が存在するが、細胞が存在すると推定されなかった領域を領域Ｂ、実際には細胞が存在しないが細胞が存在すると推定された領域を領域Ｃ、実際に細胞が存在せず、また細胞が存在しないと推定された領域を領域Ｄとすると、これらの指標は以下の計算式で求められる。識別器の評価にいずれの指標を用いるかは予め決めておいても良く、都度、使用者に選択させてもよい。
　Accuracy＝A+D／全領域
　Precision＝A／A+C
　Recall＝A／A+B
　IoC＝A／A+B+C
　テストデータを用いた評価において上記指標値が予め決められた基準値に達するまで、学習データを用いた機械学習と検証データを用いたパラメータ値の調整が繰り返される。テストデータを用いた評価において上記指標値が予め決められた基準値に達すると、識別器作成部３４は、その学習モデルから識別器を作成し、識別器記憶部３１１に保存する。また、その識別器に、学習モデルの構築に使用された学習データと検証データ、評価に用いられたテストデータと評価結果が対応付ける。こうして作成された識別器は、その後、実際の細胞画像の解析に用いられる。
　本実施例の細胞画像解析システム１では、新たに識別器を作成するだけでなく、識別器記憶部３１１に保存されている識別器を改良することもできる。その場合には、未学習の学習モデルを読み出す代わりに、識別器記憶部３１１に保存されている識別器を使用者に選択させ、その後、上記同様の手順で当該識別器を構成する学習モデルに機械学習を行わせればよい。発明者が検証したところ、例えば、iPS細胞（コロニー性細胞）の画像データに基づいて作成された識別器を改良することにより、間葉系幹細胞（非コロニー性細胞）の解析にも適用できることがわかった。
　本実施例の細胞画像解析システム１では、さらに、他の細胞画像解析装置から識別器をインポートしたり、他の細胞画像解析装置で使用するために識別器をエクスポートしたりすることができる。
　使用者が識別器のエクスポートを指示すると、識別器登録部３５は、エクスポートする識別器と、エクスポート先（保存先）の場所を使用者に指定させる画面を表示部５２に表示する。使用者がエクスポートする識別器と保存先を指定すると、識別器登録部３５は、学習データ記憶部３１２、検証データ記憶部３１３、及び評価データ記憶部３１４から、それぞれ、当該識別器に対応付けられている（即ち、該識別器の作成や評価に使用された）学習データ、検証データ、及びテストデータ並びに評価結果を読み出す。そして、指定された保存場所に、識別器のデータファイルと、学習データ、検証データ、及びテストデータのファイルと、評価結果のデータファイルとを出力する。
　また、使用者が識別器のインポートを指示すると、識別器登録部３５は、インポートするデータの保存場所を使用者に指定させる画面を表示部５２に表示する。使用者が保存先を指定すると、識別器登録部３５は、そこから、識別器のデータファイル、学習データ、検証データ、及びテストデータのファイル並びに評価結果のデータファイルを読み込む。そして、識別器のデータファイルを識別器記憶部３１１に、学習データのファイルを学習データ記憶部３１２に、検証データのファイルを検証データ記憶部３１３に、テストデータのファイル及び評価結果のデータファイルを評価データ記憶部３１４に、それぞれ保存する。
　上記のように使用者が自ら識別器を作成又は改良する場合には、当該識別器を用いて実際の細胞画像を解析すればよい。しかし、予め保存されている識別器を用いて実際の細胞画像を解析する際には、識別器記憶部３１１に保存されているどの識別器が当該解析に適したものであるかを確認する必要がある。
　本実施例の細胞画像解析システム１では、識別器記憶部３１１に保存されている識別器のそれぞれについて、当該識別器の作成に用いられた学習モデルの構築に使用された学習データ及び検証データ、並びにテストデータ及び評価結果を使用者が確認することができる。また、これから解析しようとしている細胞画像と類似した特性を有する位相画像（細胞の種類や培地の種類などが同一又は近似した位相画像）及び該位相画像の解析済画像をテストデータとして使用して識別器の評価を行うことができる。こうした作業の手順を以下に説明する。
  使用者が識別器記憶部３１１に保存されている識別器の1つを選択する所定の入力操作を行うと、表示処理部３９は、選択された識別器に対応付けられている学習データを学習データ記憶部３１２から、検証データを検証データ記憶部３１３から、テストデータ及び評価結果を評価データ記憶部３１４からそれぞれ読み出して表示部５２の画面に表示する。使用者は、表示された学習データや検証データと、実際に解析を行おうとする位相画像の特性の類似性を確認し、当該識別器の適否を検討することができる。また、表示されたテストデータと実際に解析を行おうとする位相画像の特性の類似性に基づいて、これから行おうとする位相画像の解析に対する評価結果の信頼性を確認することができる。
　また、使用者が識別器記憶部３１１から選択した識別器の評価の実行を指示する所定の入力操作を行うと、識別器評価部３７は以下のように各機能ブロックを動作させる。
　まず、テストデータ入力受付部３６は、テストデータの入力を促す画面を表示部５２に表示する。テストデータは、位相画像と解析済画像の組を複数組含んだデータセットである。テストデータの入力は、上述した学習データ等の入力と同様の手順で行うことができる。即ち、予め細胞の培養情報とともに、位相画像と染色画像を同じフォルダ内に保存しておき、まず、該フォルダを指定することによりテストデータ入力受付部３６にそれらの情報を読み取らせる。そして、前処理実行部３３１により位相画像と染色画像からノイズを除去する等の前処理を施して、テストデータを作成する。もちろん、こうした前処理が既に施された位相画像と解析済画像の組を入力してもよい。
　テストデータが入力（あるいは作成）されると、識別器評価部３７は、テストデータに含まれる位相画像を順に、使用者が選択した識別器に入力する。そして、識別器から出力される画像（関心領域を推定した画像）をテストデータの解析済画像と比較して評価する。この評価の指標には、上述したAccuracy、、Precision、Recall、及びIoUを用いることができる。
　識別器評価部３７による識別器の評価が完了すると、評価結果保存部３８は、識別器の評価結果及び該評価に用いられたテストデータを含む評価データを、識別器に対応付けて前記評価データ記憶部３１４に保存する。また、表示処理部３９は、その結果を表示部５２の画面に表示する。図４に識別器の評価結果に関する一表示例を示す。この表示例では、識別器の評価結果を示す画面には、位相画像、解析済画像（前処理後の染色画像である正解画像）、及び識別器による推定結果の画像と正解画像のずれを示す画像（解析結果）、並びに評価値を表示している。図４はモノクロで図面を表示しているが、実際には着色画像を表示し視認性を高めている。
　例えば、細胞が正しく推定された領域を白（図３における領域Ａに相当）、背景が正しく推定された領域を黒（図３における領域Ｄに相当）、実際には細胞が存在するが細胞が存在すると推定されなかった領域を赤（図３における領域Ｂに相当）、実際には細胞が存在しないが細胞が存在すると推定された領域を緑（図３における領域Ｃに相当）で表示することができる。図４は1組の位相画像と染色画像の組をテストデータとして識別器を評価した結果の表示例であるが、複数組の位相画像と染色画像をテストデータとして識別器を評価することもできる。その場合には、該複数組の画像データがそれぞれ図４と同様に表示され、画像データ毎の評価値と、複数組の画像データの全体に係る評価値（例えば画像データごとの評価値の平均）が表示される。
　このように、本実施例の細胞画像解析装置では、使用者が、自身が有する位相画像及び染色画像を用いて自ら識別器の評価を行うことができる。
　次に、使用者が、実際の解析対象である細胞画像の解析を実行する手順を説明する。
　使用者は、解析対象の細胞を含む培養プレートを顕微観察部１０の所定位置にセットし、入力部５１で所定の操作を行う。これにより、顕微観察部１０が試料（培養プレート中の細胞）の撮影を実施して位相画像のデータを生成する。使用者は、解析対象の細胞を培養した培養プレートの全てについて同様の処理を行って位相画像のデータを取得し、予め決められたフォルダに保存する。ここでは顕微観察部１０を用いて位相画像を取得する場合を説明したが、予め取得済みの位相画像のデータを予め決められたフォルダに保存しておいてもよい。使用者は、また、解析対象の細胞の培養情報を含む画像情報記載したファイルを位相画像のデータと同じフォルダに保存しておく。
　その後、使用者が上記フォルダを指定して細胞の位相画像の解析実行を指示すると、解析実行部４０は、以下のように各機能ブロックを動作させる。
　まず、細胞画像入力受付部３２が、指定されたフォルダから位相画像のデータと、画像情報に含まれる培養情報を読み出す。続いて、解析実行部４０は、使用者に解析内容を指定させる画面を表示する。解析内容には、例えば、細胞数の決定、細胞被覆率の決定、及び分化細胞数の決定が含まれうる。使用者が解析内容を指定すると、解析処理部は、識別器記憶部３１１から、読み出した培養情報及び解析内容に対応する識別器を読み出す。また、アルゴリズム記憶部３１５から、読み出された培養情報に対応する前処理アルゴリズム及び後処理アルゴリズムを読み出す。解析実行部４０は、読み出した識別器、前処理アルゴリズム、及び後処理アルゴリズムを表示部５２の画面に表示する。
　表示された識別器、前処理アルゴリズム、及び後処理アルゴリズムを使用者が確認し、決定ボタンを押す等の所定の操作を行うと、画像解析処理のシーケンスが決定する。なお、培養情報や解析内容に対応する識別器、前処理アルゴリズム、及び後処理アルゴリズムが複数保存されている場合には、それらを全て表示部５２の画面に表示する。この場合には、使用者に、1つの前処理アルゴリズムと、1乃至複数の、識別器と後処理アルゴリズムの組み合わせとを指定させる。例えば、細胞数と細胞被覆率の両方を解析する場合、使用者はそれぞれの解析に対応する識別器と後処理アルゴリズムの組を指定すればよい。使用者が識別器と後処理アルゴリズムの組を複数指定した場合には、該複数の処理を続けて実行する解析シーケンスが決定する。
　解析シーケンスが決定すると、前処理実行部３３１は、インポートした位相画像全てに対し、前処理アルゴリズムに基づく前処理を一括して行う。次に、解析実行部４０は、前処理済みの位相画像のデータを識別器に入力し、関心領域を特定した画像のデータを出力させる。例えば解析内容が細胞数の決定である場合には、位相画像に含まれる細胞の核を特定した画像のデータが出力され、解析内容が細胞被覆率の決定である場合には、各細胞の細胞骨格領域全体を特定した画像のデータが出力される。
　識別器から画像データが出力されると、後処理実行部３３２は、後処理アルゴリズムによる解析を実行する。例えば解析内容が細胞数の決定である場合には、識別器から出力された画像データに含まれる細胞の核の数が求められ、解析結果として出力される。また、解析内容が細胞被覆率の決定である場合には、識別器から出力された画像データの全領域に占める細胞骨格領域の割合が求められ、解析結果として出力される。
　上記では、解析の対象となる細胞に関する培養条件に対応する識別器、前処理アルゴリズム、及び後処理アルゴリズムがそれぞれ、識別器記憶部３１１及びアルゴリズム記憶部３１５に保存されている場合を例に説明したが、新たな種類の細胞や培地を使用して培養した細胞の画像を解析する場合には、その培養情報に対応する識別器、前処理アルゴリズム、及び後処理アルゴリズムが保存されていない場合がある。また、従来行っていない内容の解析を実行する場合には、対応する識別器や後処理アルゴリズムが保存されていない場合がある。
　新たな識別器の作成やインポートは、上述した識別器作成部３４や識別器登録部３５による処理と同様の手順で行うことができるため説明を省略する。以下、新たな前処理アルゴリズム及び／又は後処理アルゴリズムを追加する手順について説明する。
　使用者がアルゴリズムの追加を指示する所定の入力操作を行うと、アルゴリズム登録部４１は、前処理アルゴリズムと後処理アルゴリズムのいずれを登録するかを使用者に指定させる。使用者が前処理アルゴリズムの追加を指定した場合には、さらに、当該前処理アルゴリズムを使用する細胞の培養情報を入力させ、前処理アルゴリズムの保存場所を使用者に指定させる。使用者が細胞の培養情報を入力し、前処理アルゴリズムの保存場所を指定すると、該保存場所から前処理アルゴリズムが記載されたファイルをインポートし、培養条件と対応付けてアルゴリズム記憶部３１５に保存する。
　使用者が後処理アルゴリズムの追加を指定した場合には、さらに、当該後処理アルゴリズムを使用する細胞の培養情報、及び当該アルゴリズムにより行われる解析の内容を入力させ、後処理アルゴリズムの保存場所を使用者に指定させる。使用者が細胞の培養情報及び解析内容を入力し、後処理アルゴリズムの保存場所を指定すると、該保存場所から後処理アルゴリズムが記載されたファイルをインポートし、培養条件と対応付けてアルゴリズム記憶部３１５に保存する。
　このように、本実施例の細胞画像解析システム１では、新たな種類の細胞や培地を使用して培養した細胞の画像を解析する場合や、従来行っていない内容の解析を実行する場合にも、それに対応した前処理アルゴリズム及び後処理アルゴリズム、並びに識別器を適宜に追加することができる。
　上記実施例の細胞画像解析システム１では、使用者が自ら所持する細胞画像のデータ及び染色画像のデータを用いて識別器を作成及び改良することができる。そのため、識別器を作成するために細胞画像を外部のソフトウェア技術者に提供する必要がなく、従って、細胞画像及びその解析に係る秘匿性を保持することができる。
　また、上記実施例の細胞画像解析システム１は、細胞画像解析装置２０をクラウドサーバとして構成し、複数の研究拠点からアクセス可能に構成することもできる。このような構成を採ることにより、複数の研究拠点で得られた細胞画像及びその解析済データ、並びに様々な種類の細胞と培養条件、解析内容に対応した識別器が多数、収録されたデータベースとして活用することができる。
　上記実施例は一例であって、本発明の趣旨に沿って適宜に変更することができる。上記実施例では、培養した細胞を位相顕微鏡で観察して位相画像を取得し解析する場合を説明したが、他の種類の顕微鏡で観察した画像の解析にも上記実施例と同様の構成を用いることができる。
　上記実施例の細胞画像解析装置において、同一の培養情報及び解析内容に対応する複数の識別器を識別器記憶部３１１に保存しておいてもよい。その場合、例えば識別精度はそれほど高くないものの短時間で関心領域を特定可能な簡易識別器と、関心領域の特定に時間はかかるものの識別精度が高い高精度識別器を保存しておくとよい。これにより、例えば、培養した細胞の位相画像をスクリーニングにより絞り込む作業を行う場合には簡易識別器を使用し、絞り込んだ後の位相画像を詳細に解析する場合には高精度識別器を用いるといった使い分けが可能となり、解析効率を高めることができる。
［態様］
　上述した複数の例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
（第１項）
　一態様に係る細胞画像解析装置は、
　表示部と、
　細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組である学習データと、該学習データを用いた機械学習により構築された学習モデルを用いて作成され細胞画像のデータの入力に応じて該細胞画像に含まれる関心領域を推定した画像データを出力する識別器とが保存された記憶部と、
　前記学習データとは別の細胞画像のデータと該細胞画像の解析済画像のデータの組であるテストデータの入力を受け付けるテストデータ入力受付部と、
　前記テストデータの細胞画像のデータの入力に対して前記識別器から出力される画像のデータを、該テストデータの解析済画像のデータと比較することにより該識別器を評価する識別器評価部と、
　前記識別器評価部による評価結果及び該評価に用いられたテストデータを含む評価データを前記識別器に対応付けて前記記憶部に保存する評価結果保存部と、
　前記記憶部に保存された識別器を選択する所定の入力に応じて、該識別器に対応付けられた学習データ及び／又は前記評価結果を前記表示部の画面に表示する表示処理部と
　を備える。
　第１項に記載の細胞画像解析装置では、使用者が学習データとは別の細胞画像のデータと該細胞画像の解析済画像のデータの組であるテストデータを入力すると、該テストデータを用いて識別器が評価され、テストデータとともに保存される。その後、使用者が識別器を選択する所定の入力を行うと、識別器に対応付けられた学習データ及び／又は識別器評価部による評価の内容が表示部の画面に表示される。使用者は、画面に表示された学習データと、実際に解析しようとする細胞画像（実細胞画像）の類似性から、該実細胞画像の解析への識別器の適否を確認することができる。また、実細胞画像と類似したテストデータを用いた識別器の評価結果から、当該識別器を用いた実細胞画像の解析の適否を確認することができる。
（第２項）
　第１項に記載の細胞画像解析装置において、
　前記記憶部に複数の識別器が保存されており、識別器毎に、当該識別器の作成に用いられた学習データが対応付けられている。
　第２項に記載の細胞画像解析装置では、複数の識別器の中から解析対象の画像や解析の目的に応じて適宜の識別器を選択することができる。
（第３項）
　第１項又は第２項に記載の細胞画像解析装置において、
　細胞の種類及び／又は培養条件に応じて異なる識別器が前記記憶部に保存されている。
　第３項に記載の細胞画像解析装置では、細胞の種類及び／又は培養条件に適した識別器を用いて細胞画像を解析することができる。
（第４項）
　第１項から第３項のいずれかに記載の細胞画像解析装置において、
　前記表示処理部が、前記評価結果として、前記テストデータの細胞画像及び解析済画像と、該解析済画像と前記識別器から出力される画像のずれを示す画像を表示する。
　第４項に記載の細胞画像解析装置では、識別器の評価結果を視覚的に確認することができる。
（第５項）
　第１項から第４項のいずれかに記載の細胞画像解析装置において、さらに、
　複数の、細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組と、該複数の組の画像のデータに関する培養条件の情報の入力を受け付け、それらを対応付けて前記記憶部に保存する細胞画像入力受付部
　を備える。
　第５項に記載の細胞画像解析装置では、使用者が所持する細胞画像のデータと解析済画像のデータの組を、細胞の培養条件の情報と対応付けて管理することができる。
（第６項）
　第５項に記載の細胞画像解析装置において、さらに、
　前記細胞画像入力受付部により受け付けられた複数の組の画像のデータを用いた機械学習により学習モデルを構築して識別器を作成する識別器作成部
　を備える。
　第６項に記載の細胞画像解析装置では、使用者が自ら識別器を作成することができる。
（第７項）
　第６項に記載の細胞画像解析装置において、
　前記細胞画像入力受付部が、前記細胞画像入力受付部により受け付けられた複数の組の画像のデータを予め決められた比率で振り分けることにより学習データ及び検証データを作成し、
　前記識別器作成部が、前記細胞画像入力受付部により振り分けられた前記学習データ及び検証データを用いて前記機械学習を実行して学習モデルを構築する。
　第７項に記載の細胞画像解析装置では、細胞画像のデータと解析済画像のデータの組から自動的に学習データ及び検証データが作成されるため、簡便に識別器を作成することができる。
（第８項）
　第５項から第７項のいずれかに記載の細胞画像解析装置において、さらに、
　前記記憶部に保存された識別器と、該識別器に対応づけられた細胞画像のデータ及び該細胞画像の解析済画像のデータの組並びに培養条件の入力を受け付け、前記記憶部に保存する識別器登録部
　を備える。
　第８項に記載の細胞画像解析装置では、他の細胞画像解析装置で作成された識別器を、該識別器に対応する細胞画像のデータ及び該細胞画像の解析済画像のデータの組並びに培養条件とともにインポートすることができる。
（第９項）
　第５項から第８項のいずれかに記載の細胞画像解析装置において、さらに、
　前記記憶部に保存された識別器を、該識別器に対応づけられた細胞画像のデータ及び該細胞画像の解析済画像のデータの組並びに培養条件とともに出力する識別器出力部
　を備える。
　第９項に記載の細胞画像解析装置では、該装置で作成した識別器を、該識別器に対応する細胞画像のデータ及び該細胞画像の解析済画像のデータの組並びに培養条件とともに他の細胞画像解析装置にエクスポートすることができる。
（第１０項）
　第１項から第９項のいずれかに記載の細胞画像解析装置において、さらに、
　前記細胞画像のデータ及び前記解析済画像のデータの前処理を行う前処理アルゴリズムが保存された前処理アルゴリズム記憶部と、
　前記前処理アルゴリズム記憶部に保存された前処理アルゴリズムを用いて前記細胞画像のデータ及び前記解析済画像のデータの前処理を行う前処理実行部と
　を備える。
（第１１項）
　第１０項に記載の細胞画像解析装置において、
　前記前処理実行部が、前記細胞画像のデータ及び前記解析済画像のデータの位置合わせ、ノイズ除去、及びバックグラウンド除去、並びに前記解析済画像のデータの輝度の二値化のうちの少なくとも1つの処理を実行するものである。
　第１０項及び第１１項に記載の細胞画像解析装置では、細胞画像のデータと解析済み画像のデータを簡便に前処理することができる。
（第１２項）
　第１項から第１１項のいずれかに記載の細胞画像解析装置において、さらに、
　前記識別器から出力される画像のデータの後処理を行う後処理アルゴリズムが保存された後処理アルゴリズム記憶部と、
　前記後処理アルゴリズム記憶部に保存された後処理アルゴリズムを用いて前記識別器から出力される画像のデータの後処理を行う後処理実行部と
　を備える。
（第１３項）
　第１２項に記載の細胞画像解析装置において、
　前記後処理実行部が、前記識別器から出力される画像のデータにおいて、推定された関心領域の形態特徴量（関心領域の数、面積、真円度、アスペクト比、周囲長、外接する長方形の長辺および短辺の長さ、重心位置）の算出、形態特徴量の相関性評価、形態特徴量の経時的変化のグラフ化、培養条件に対する形態特徴量のグラフ化、関心領域と背景領域の割合算出、
のうちの少なくとも1つの処理を実行するものである。
　第１２項及び第１３項に記載の細胞画像解析装置では、前記識別器から出力される画像のデータを簡便に後処理することができる。
１…細胞画像解析システム
１０…顕微観察部
２０…細胞画像解析装置
３０…解析・処理部
　３１…記憶部
　　３１１…識別器記憶部
　　３１２…学習データ記憶部
　　３１３…検証データ記憶部
　　３１４…評価データ記憶部
　　３１５…アルゴリズム記憶部
　３２…細胞画像入力受付部
　３３…前後処理実行部
　　３３１…前処理実行部
　　３３２…後処理実行部
　３４…識別器作成部
　３５…識別器登録部
　３６…テストデータ入力受付部
　３７…識別器評価部
　３８…評価結果保存部
　３９…表示処理部
　４０…解析実行部
　４１…アルゴリズム登録部
５１…入力部
５２…表示部

Claims (13)

  1. 　表示部と、
    　細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組である学習データと、該学習データを用いた機械学習により構築された学習モデルを用いて作成され細胞画像のデータの入力に応じて該細胞画像に含まれる関心領域を推定した画像のデータを出力する識別器とが保存された記憶部と、
    　前記学習データとは別の細胞画像のデータと該細胞画像の解析済画像のデータの組であるテストデータの入力を受け付けるテストデータ入力受付部と、
    　前記テストデータの細胞画像のデータの入力に対して前記識別器から出力される画像のデータを、該テストデータの解析済画像のデータと比較することにより該識別器を評価する識別器評価部と、
    　前記識別器評価部による評価結果及び該評価に用いられたテストデータを含む評価データを前記識別器に対応付けて前記記憶部に保存する評価結果保存部と、
    　前記記憶部に保存された識別器を選択する所定の入力に応じて、該識別器に対応付けられた学習データ及び／又は前記評価結果を前記表示部の画面に表示する表示処理部と
    　を備える、細胞画像解析装置。
  2. 　前記記憶部に複数の識別器が保存されており、識別器毎に、当該識別器の作成に用いられた学習データが対応付けられている、請求項１に記載の細胞画像解析装置。
  3. 　細胞の種類及び／又は培養条件に応じて異なる識別器が前記記憶部に保存されている、請求項１に記載の細胞画像解析装置。
  4. 　前記表示処理部が、前記評価結果として、前記テストデータの細胞画像及び解析済画像と、該解析済画像と前記識別器から出力される画像のずれを示す画像を表示する、請求項１に記載の細胞画像解析装置。
  5. 　さらに、
    　複数の、細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組と、該複数の組の画像のデータに関する培養条件の情報の入力を受け付け、それらを対応付けて前記記憶部に保存する細胞画像入力受付部
    　を備える、請求項１に記載の細胞画像解析装置。
  6. 　さらに、
    　前記細胞画像入力受付部により受け付けられた複数の組の画像のデータを用いた機械学習により学習モデルを構築して識別器を作成する識別器作成部
    　を備える、請求項５に記載の細胞画像解析装置。
  7. 　前記細胞画像入力受付部が、前記細胞画像入力受付部により受け付けられた複数の組の画像のデータを予め決められた比率で振り分けることにより学習データ及び検証データを作成し、
    　前記識別器作成部が、前記細胞画像入力受付部により振り分けられた前記学習データ及び検証データを用いて前記機械学習を実行して学習モデルを構築する、請求項６に記載の細胞画像解析装置。
  8. 　さらに、
    　前記記憶部に保存された識別器と、該識別器に対応づけられた細胞画像のデータ及び該細胞画像の解析済画像のデータの組並びに培養条件の入力を受け付け、前記記憶部に保存する識別器登録部
    　を備える、請求項５に記載の細胞画像解析装置。
  9. 　さらに、
    　前記記憶部に保存された識別器を、該識別器に対応づけられた細胞画像のデータ及び該細胞画像の解析済画像のデータの組並びに培養条件とともに出力する識別器出力部
    　を備える、請求項５に記載の細胞画像解析装置。
  10. 　さらに、
    　前記細胞画像のデータ及び前記解析済画像のデータの前処理を行う前処理アルゴリズムが保存されたアルゴリズム記憶部と、
    　前記アルゴリズム記憶部に保存された前処理アルゴリズムを用いて前記細胞画像のデータ及び前記解析済画像のデータの前処理を行う前処理実行部と
    　を備える、請求項１に記載の細胞画像解析装置。
  11. 　前記前処理実行部が、前記細胞画像のデータ及び前記解析済画像のデータの位置合わせ、ノイズ除去、及びバックグラウンド除去、並びに前記解析済画像のデータの輝度の二値化のうちの少なくとも1つの処理を実行するものである、請求項１０に記載の細胞画像解析装置。
  12. 　さらに、
    　前記識別器から出力される画像のデータの後処理を行う後処理アルゴリズムが保存されたアルゴリズム記憶部と、
    　前記アルゴリズム記憶部に保存された後処理アルゴリズムを用いて前記識別器から出力される画像のデータの後処理を行う後処理実行部と
    　を備える、請求項１に記載の細胞画像解析装置。
  13. 　前記後処理実行部が、前記識別器から出力される画像のデータにおいて、推定された関心領域の形態特徴量の算出、形態特徴量の相関性評価、形態特徴量の経時的変化のグラフ化、培養条件に対する形態特徴量のグラフ化、関心領域と背景領域の割合算出、のうちの少なくとも1つの処理を実行するものである、請求項１２に記載の細胞画像解析装置。
PCT/JP2021/003946 2020-04-21 2021-02-03 細胞画像解析装置 WO2021215069A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/919,422 US20230160874A1 (en) 2020-04-21 2021-02-03 Cell image analyzer
JP2022516851A JP7409490B2 (ja) 2020-04-21 2021-02-03 細胞画像解析装置
CN202180039977.2A CN115699085A (zh) 2020-04-21 2021-02-03 细胞图像解析装置
EP21791950.5A EP4138035A4 (en) 2020-04-21 2021-02-03 CELL IMAGE ANALYZER

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020075277 2020-04-21
JP2020-075277 2020-04-21

Publications (1)

Publication Number Publication Date
WO2021215069A1 true WO2021215069A1 (ja) 2021-10-28

Family

ID=78270462

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/003946 WO2021215069A1 (ja) 2020-04-21 2021-02-03 細胞画像解析装置

Country Status (5)

Country Link
US (1) US20230160874A1 (ja)
EP (1) EP4138035A4 (ja)
JP (1) JP7409490B2 (ja)
CN (1) CN115699085A (ja)
WO (1) WO2021215069A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019109553A (ja) * 2017-12-15 2019-07-04 コニカミノルタ株式会社 情報処理装置及び情報処理方法
JP2019211468A (ja) * 2018-06-01 2019-12-12 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7198577B2 (ja) * 2017-11-17 2023-01-04 シスメックス株式会社 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
JP6992475B2 (ja) * 2017-12-14 2022-01-13 オムロン株式会社 情報処理装置、識別システム、設定方法及びプログラム
JP6573226B2 (ja) * 2017-12-15 2019-09-11 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
CA3100642A1 (en) * 2018-05-21 2019-11-28 Corista, LLC Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019109553A (ja) * 2017-12-15 2019-07-04 コニカミノルタ株式会社 情報処理装置及び情報処理方法
JP2019211468A (ja) * 2018-06-01 2019-12-12 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Fully Convolutional Networks for Semantic Segmentation", THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR, 2015, pages 3431 - 3440
"U-Net: Convolutional Networks for Biomedical Image Segmentation. Computer Vision and Pattern Recognition (cs.CV", ARXIV: 1505.04597
KOTA MIURAYUKI TSUKADA: "Starting biological image analysis with ImageJ", April 2016, GAKKEN MEDICAL SHUJUNSHA CO., LTD.
See also references of EP4138035A4

Also Published As

Publication number Publication date
US20230160874A1 (en) 2023-05-25
EP4138035A4 (en) 2023-10-25
CN115699085A (zh) 2023-02-03
JP7409490B2 (ja) 2024-01-09
JPWO2021215069A1 (ja) 2021-10-28
EP4138035A1 (en) 2023-02-22

Similar Documents

Publication Publication Date Title
CN113454733B (zh) 用于预后组织模式识别的多实例学习器
EP3486836B1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
Chen et al. The Allen Cell and Structure Segmenter: a new open source toolkit for segmenting 3D intracellular structures in fluorescence microscopy images
Dong et al. Deep learning for automatic cell detection in wide-field microscopy zebrafish images
AU2019369516B2 (en) Segmenting 3D intracellular structures in microscopy images using an iterative deep learning workflow that incorporates human contributions
CN113574534A (zh) 使用基于距离的相似性标签的机器学习
CN110705403A (zh) 细胞分类方法、装置、介质及电子设备
US20150186755A1 (en) Systems and Methods for Object Identification
WO2014087689A1 (ja) 画像処理装置、画像処理システム及びプログラム
JP6882329B2 (ja) Ｉｈｃ画像解析のための空間インデックス作成
US20220390735A1 (en) Method and device for capturing microscopy objects in image data
Ryabchykov et al. Leukocyte subtypes classification by means of image processing
Alférez et al. Characterization and automatic screening of reactive and abnormal neoplastic B lymphoid cells from peripheral blood
WO2021215069A1 (ja) 細胞画像解析装置
US11222194B2 (en) Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen
Alvarez-Ramos et al. Automatic classification of Nosema pathogenic agents through machine vision techniques and kernel-based vector machines
Amitha et al. Developement of computer aided system for detection and classification of mitosis using SVM
Štěpka et al. Automatic detection and segmentation of exosomes in transmission electron microscopy
EP4379676A1 (en) Detection system, detection apparatus, learning apparatus, detection method, learning method and program
Dave A Multiple Input Multiple Output Framework for the Automatic OpticalFractionator-Based Cell Counting in Z-Stacks Using Deep Learning
TR201919929A2 (tr) Makine öğrenimi kullanılarak flüorışıma mikroskopi resimlerinde otomatikleştirilmiş miyelin algılamasına yönelik yöntem ve sistem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21791950

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022516851

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021791950

Country of ref document: EP

Effective date: 20221121