WO2019180848A1 - 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法 - Google Patents

細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法 Download PDF

Info

Publication number
WO2019180848A1
WO2019180848A1 PCT/JP2018/011195 JP2018011195W WO2019180848A1 WO 2019180848 A1 WO2019180848 A1 WO 2019180848A1 JP 2018011195 W JP2018011195 W JP 2018011195W WO 2019180848 A1 WO2019180848 A1 WO 2019180848A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
cell image
cell
learning
removal
Prior art date
Application number
PCT/JP2018/011195
Other languages
English (en)
French (fr)
Inventor
高橋　渉
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to CN201880091367.5A priority Critical patent/CN111919117B/zh
Priority to JP2020507194A priority patent/JP6981533B2/ja
Priority to PCT/JP2018/011195 priority patent/WO2019180848A1/ja
Priority to US16/981,637 priority patent/US11686721B2/en
Publication of WO2019180848A1 publication Critical patent/WO2019180848A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • This disclosure relates to a technique for automatically generating teacher data used for machine learning.
  • pluripotent stem cells such as iPS (Induced Pluripotent Stem) cells and ES (Embryonic Stem) cells has been actively conducted in recent years.
  • iPS Induced Pluripotent Stem
  • ES Embryonic Stem
  • undifferentiated deviant cells cells that have already differentiated or are likely to differentiate, hereinafter referred to as “undifferentiated deviant cells”.
  • pluripotent stem cells are maintained in an undifferentiated state can be reliably determined by staining with an undifferentiated marker.
  • undifferentiated marker staining cannot be performed for determination of pluripotent stem cells for regenerative medicine.
  • it is determined whether or not the observer is an undifferentiated cell based on the morphological observation of the cell using a phase contrast microscope.
  • the phase contrast microscope is used because cells are generally transparent and difficult to observe with a normal optical microscope.
  • Non-Patent Document 1 recently, an apparatus for acquiring an observation image of a cell using a holographic technique has been put into practical use. As disclosed in Patent Documents 1 to 4 and the like, this apparatus performs clear data processing such as phase recovery and image reconstruction on hologram data obtained with a digital holographic microscope, thereby observing cells clearly.
  • a phase image (hereinafter referred to as “IHM phase image” since an in-line holographic microscope (IHM) is used) is created.
  • IHM phase image since an in-line holographic microscope (IHM) is used) is created.
  • phase information at an arbitrary distance can be calculated at the stage of calculation processing after acquiring hologram data, so that it is not necessary to perform focusing every time during shooting, and the measurement time can be shortened. There is an advantage.
  • a texture feature amount of a cell internal structure is calculated from a plurality of cell observation images acquired at predetermined time intervals, and a difference or correlation value of the texture feature amount with respect to the plurality of cell observation images is calculated.
  • a method for discriminating cell activity based on the time-series change is described. In this method, for example, when the difference value of the texture feature amount with time elapses, it can be determined that the activity of the cell is decreasing.
  • Patent Document 6 describes a method for predicting cell quality such as a proliferation rate by performing fuzzy neural network (FNN) analysis using a plurality of index values acquired from a cell observation image. This document also describes that a texture feature amount obtained by image processing on a cell observation image is used as an index value.
  • FNN fuzzy neural network
  • Non-Patent Document 2 discloses a learning method related to a full-layer convolutional neural network FCN (Fully Convolutional Networks).
  • Non-Patent Document 3 discloses a technique for applying FCN to cell biology.
  • Non-Patent Document 4 discloses a learning method related to transfer learning.
  • the observer In order to maintain an appropriate culture environment, the observer needs to remove removal objects such as undifferentiated cells and impurities from the observation object. It is desired that such a removal target is learned by machine learning, and the removal target is automatically identified from an image obtained by photographing the observation target with a microscope (hereinafter also referred to as “cell image”). ing. In order to realize this machine learning, the designer needs to manually label a region where the removal target object is reflected on a large amount of cell images and prepare the labeling result as teacher data. Since labeling a large amount of cell images is very laborious, it is desired to reduce the labor of labeling.
  • a cell image analysis device capable of generating teacher data used for machine learning is an image obtained from a microscope for observing cells, and includes a removal object.
  • an image acquisition unit for acquiring a one-cell image and predetermined image processing, a removal target region in which the removal target object is reflected is identified from the first cell image, and the first
  • a teacher data generation unit for generating a label image representing the location of the region to be removed in the cell image as teacher data for the machine learning, and a set of the first cell image and the label image for the machine learning.
  • a learning data set generation unit for generating a learning data set to be used.
  • the cell image analysis device automatically generates a learning data set of a label image as teacher data and a cell image from which the label image is generated. Providing such a mechanism eliminates the need for the designer to label cell images when collecting learning data.
  • the image acquisition unit further acquires a second cell image obtained from the microscope after the removal target is removed.
  • the predetermined image processing includes specifying the removal target region from a comparison result between the first cell image and the second cell image.
  • the cell image analysis apparatus can more accurately specify the removal target region in which the removal target object is shown by comparing the images before and after the removal target object is removed.
  • the predetermined image processing includes specifying the removal target region based on a difference image obtained by subtracting the second cell image from the first cell image.
  • the cell image analysis apparatus can more accurately specify the removal target region in which the removal target object is captured by using the difference image between the images before and after the removal target object is removed.
  • the cell image analysis device further includes a removal mechanism configured to remove an object that appears in a predetermined region in the first cell image.
  • the predetermined image processing includes specifying the predetermined area in the first cell image as the removal target area.
  • the cell image analysis apparatus can specify the removal target region in which the removal target object is reflected by a simpler method.
  • the cell image analysis apparatus performs machine learning using a plurality of learning data sets generated by the learning data set generation unit, and learns to identify the removal target from within an image.
  • a learning model generation unit that generates a model, and a detection unit that detects the removal target region from an input image input to the cell image analysis device based on the learning model.
  • the removal target region is automatically detected from the input image by using the learning model generated from the collected learning data set.
  • the machine learning executed by the learning model generation unit includes transfer learning using a part or all of a learning model learned in advance as an initial model.
  • the cell image analyzer can converge various parameters in the learning model at an early stage.
  • the cell image analysis device receives a storage device for storing a plurality of learning models generated by the learning model generation unit and an operation for selecting one learning model from the plurality of learning models. And an input unit.
  • the detection unit detects the removal target region from the input image based on the learning model selected by the selection operation.
  • the observer can switch the learning model in accordance with the type and usage of the removal target.
  • the cell image analysis device further includes a display unit, and a display processing unit configured to superimpose the removal target area detected by the detection unit on the input image and display the input image on the display unit. Prepare.
  • the observer can easily confirm the location of the removal target area in the input image.
  • the cell image analysis device includes a removal mechanism control unit configured to cause the removal mechanism of the microscope to remove the removal target based on the detection result of the removal target region detected by the detection unit. Is provided.
  • the trouble of searching for the removal target is saved, and it is not necessary to perform the removal operation.
  • a cell image analysis system capable of generating teacher data used for machine learning includes a server and a plurality of cell image analysis devices configured to be able to communicate with the server.
  • Each of the plurality of cell image analyzers is an image obtained from a microscope for observing a cell, and an image obtaining unit for obtaining a cell image in which a removal target is reflected, and a predetermined number
  • the server can collect a learning data set of a label image as teacher data and a cell image from which the label image is generated from each cell image analysis device.
  • the designer can easily collect a large amount of learning data sets.
  • a method receives a cell image and a label image representing a location of a region to be removed in the cell image, and a machine using the received cell image and the label image.
  • the method includes a step of generating a learning model using the cell image as an input image, and an image representing the location of the removal target region in the input image as an output image, and transmitting the generated learning model.
  • a learning model for automatically detecting a removal target region from an input image is generated.
  • a method for generating teacher data used for machine learning is an image obtained from a microscope for observing cells, and a step of acquiring a cell image in which a removal target is shown; Then, by executing predetermined image processing, a removal target region in which the removal target object is shown in the cell image is identified, and a label image representing the location of the removal target region in the cell image is displayed.
  • a learning data set of a label image as teacher data and a cell image from which the label image is generated is automatically generated.
  • the designer does not need to label the cell image when generating learning data.
  • a program for generating teacher data used for machine learning obtains, on a computer, an image obtained from a microscope for observing a cell, and a cell image showing a removal object. And performing a predetermined image processing to identify a removal target region in which the removal target object is shown in the cell image, and to represent the location of the removal target region in the cell image.
  • a step of generating a label image as the machine learning teacher data and a step of generating a set of the cell image and the label image as a learning data set used for the machine learning are executed.
  • a learning data set of a label image as teacher data and a cell image from which the label image is generated is automatically generated.
  • the designer does not need to label the cell image when generating learning data.
  • a method for producing teacher data used for machine learning is an image obtained from a microscope for observing cells, and a step of acquiring a cell image in which an object to be removed is shown. Then, by executing predetermined image processing, a removal target region in which the removal target object is shown in the cell image is identified, and a label image representing the location of the removal target region in the cell image is displayed. Generating the machine learning teacher data, and generating a set of the cell image and the label image as a learning data set used for the machine learning.
  • a learning data set of a label image as teacher data and a cell image from which the label image is generated is automatically generated.
  • the designer does not need to label the cell image when generating learning data.
  • the observer needs to remove removal objects such as undifferentiated cells and impurities from the observation object.
  • the designer prepares a large number of cell images showing the object to be removed, and also includes an area to be removed in each cell image. It is necessary to prepare a label image labeled with as learning data.
  • the cell image analysis apparatus 1 (see FIG. 2) according to the present embodiment automatically generates such a label image as teacher data, and outputs a learning data set of the label image and the cell image.
  • the cell image analysis apparatus 1 performs a predetermined image process for specifying a removal target region on the cell image (first cell image), thereby removing the cell image from the cell image.
  • a target region is specified, and a label image representing the location of the removal target region in the cell image is generated.
  • the cell image analysis device 1 outputs a set of the cell image and the label image as a learning data set used for machine learning. By automatically generating the label image in this way, it is not necessary to manually label the cell image.
  • FIG. 1 is a conceptual diagram schematically showing a generation process of a learning data set.
  • FIG. 1 shows cell images 30 and 35 obtained by photographing an observation object such as a cell with a microscope.
  • the cell image 30 (first cell image) is an image obtained by photographing the observation object before the removal object 31 is removed.
  • the cell image 35 (second cell image) is an image obtained by photographing the observation object after the removal object 31 is removed.
  • the cell image analysis apparatus 1 performs predetermined image processing on the cell images 30 and 35 and specifies a removal target area representing the removal target 31.
  • the predetermined image processing for specifying the removal target region specifies the removal target region from the comparison result between the cell image 30 before the removal target 31 is removed and the cell image 35 after the removal target 31 is removed. Including that.
  • the cell image analysis apparatus 1 specifies a removal target region based on a difference image obtained by subtracting the cell image 35 from the cell image 30. More specifically, the cell image analysis apparatus 1 generates a difference image 37 by subtracting the cell image 35 from the cell image 30. Each pixel value of the difference image 37 corresponds to a difference value between pixel values at the same coordinates in the cell images 30 and 35. By subtracting the cell image 35 after removal of the removal object 31 from the cell image 30 before removal of the removal object 31, only the removal object 31 is extracted in the difference image 37.
  • the cell image analysis device 1 binarizes the difference image 37 based on a predetermined threshold value.
  • the cell image analysis apparatus 1 assigns a first value (for example, 255) to a pixel whose pixel value exceeds a predetermined threshold, and sets the first value for a pixel whose pixel value is equal to or less than the predetermined threshold. Assign a binary value (eg, 0).
  • a label image 40 in which the removal target area 40A and the non-removal target area 40B are labeled is generated.
  • the size of the label image 40 is equal to the size of the cell image 30, and each pixel value of the label image 40 indicates whether or not the corresponding pixel (same pixel) of the cell image 30 is a removal target region. .
  • the cell image analysis apparatus 1 associates the label image 40 representing the location of the removal target 31 in the cell image 30 with the cell image 30 from which the label image 40 is generated, and generates these images as a learning data set 45. To do.
  • the learning data set 45 is accumulated by sequentially generating such learning data set 45.
  • the cell image analysis apparatus 1 identifies and removes the removal target region 40A based on the cell image 30 before the removal target 31 is removed and the cell image 35 after the removal target 31 is removed.
  • a label image 40 representing the location of the target area 40A is generated as teacher data. By automatically generating such a label image 40, the designer can collect a large amount of teacher data without labeling the cell image.
  • the label image 40 is described on the assumption that it is a binarized image.
  • the label image 40 is not necessarily a binarized image.
  • the label image 40 may be labeled according to the type of the removal target. More specifically, a predetermined pixel value (number) is assigned to each type of removal object, and the designer specifies the type of removal object for the extracted removal target area 40A. Thus, a pixel value corresponding to the designated type is assigned to the removal target area 40A. In such a case, each pixel value of the label image 40 indicates the type of the removal target 31.
  • the specifying process of the removal target area 40A is not limited to this.
  • the specifying process of the removal target region 40A may specify a predetermined region in the cell image 35 before the removal target 31 is removed as the removal target region 40A.
  • some types of microscopes are provided with a removal mechanism (for example, a removal mechanism 17 described later).
  • a removal mechanism for example, a removal mechanism 17 described later.
  • the observer searches for an object to be removed from the observation object while confirming a cell image captured as a through image.
  • the observer finds the removal object, the observer moves the observation object or the imaging unit so that the removal object appears in a predetermined region (for example, the middle) of the cell image, and then the cell image analyzer 1 is removed.
  • the removal mechanism removes an object located in a predetermined region of the cell image based on receiving the removal operation. When such a microscope is used, the place where the removal target is reflected does not change for each image.
  • the cell image analysis apparatus 1 acquires the cell image 35 photographed immediately before or after the removal operation is accepted, and a predetermined region of the cell image 35 is set as the removal target region 40A. Identify. ⁇ 2. Configuration of Cell Image Analysis Apparatus 1>
  • FIG. 2 is a diagram showing a schematic configuration of cell image analysis apparatus 1 according to the present embodiment.
  • the cell image analysis apparatus 1 of the present embodiment includes a microscope 10, a control device 20, an input unit 25 that is a user interface, a display unit 26, and a model generation device 50.
  • the microscope 10 is an in-line holographic microscope (IHM), and includes a light source unit 11 including a laser diode, an image sensor 12, and a removal mechanism 17.
  • a culture plate 13 including a cell colony (or a single cell) 14 is disposed between the light source unit 11 and the image sensor 12.
  • the control device 20 controls the operation of the microscope 10 and processes data acquired by the microscope 10, and includes an imaging control unit 21, a hologram data storage unit 22, a phase information calculation unit 23, and image creation.
  • the unit 24 and the cell image analysis unit 60 are provided as functional blocks.
  • the substance of the control device 20 is a computer system including a personal computer in which predetermined software is installed, a higher-performance workstation, or a high-performance computer connected to such a computer via a communication line. That is, the function of each block included in the control device 20 is implemented by executing software installed in a computer system including a single computer or a plurality of computers, and various types stored in the computer or computer system. It can be embodied by processing using data.
  • the entity of the model generation device 50 is a personal computer in which predetermined software is installed or a workstation with higher performance.
  • This ordinary computer is a computer different from the control device 20, but may be the same. That is, the function of the model generation device 50 can be given to the control device 20.
  • the imaging control unit 21 controls the microscope 10 to acquire hologram data as follows. .
  • the light source unit 11 irradiates a predetermined region of the culture plate 13 with coherent light having a small angle spread of about 10 °.
  • the coherent light (object light 16) that has passed through the culture plate 13 and the cell colony 14 reaches the image sensor 12 while interfering with the light (reference light 15) that has passed through the area close to the cell colony 14 on the culture plate 13.
  • the object light 16 is light whose phase has changed when it passes through the cell colony 14, while the reference light 15 is light that does not pass through the cell colony 14 and therefore does not receive a phase change caused by the colony 14. Therefore, an image is formed on the detection surface (image surface) of the image sensor 12 by interference fringes between the object light 16 whose phase has been changed by the cell colony 14 and the reference light 15 whose phase has not changed.
  • the light source unit 11 and the image sensor 12 are sequentially moved in the X-axis direction and the Y-axis direction by a moving mechanism (not shown). Thereby, the irradiation area (observation area) of the coherent light emitted from the light source unit 11 is moved on the culture plate 13, and hologram data over a wide two-dimensional area (two holograms formed on the detection surface of the image sensor 12). Dimensional light intensity distribution data) can be acquired.
  • the hologram data obtained by the microscope 10 is sequentially sent to the control device 20 and stored in the hologram data storage unit 22.
  • the phase information calculation unit 23 reads out the hologram data from the hologram data storage unit 22 and executes predetermined calculation processing for phase recovery to calculate phase information of the entire observation region (imaging region).
  • the image creation unit 24 creates an IHM phase image based on the calculated phase information.
  • a known algorithm disclosed in Patent Documents 3 and 4 may be used.
  • the phase information calculation unit 23 calculates not only the phase information but also intensity information, pseudo phase information, and the like based on the hologram data, and the image creation unit 24 calculates a reproduced image based on these information, that is, an intensity image, A pseudo phase image may be created.
  • FIG. 3 An example of an IHM phase image targeting undifferentiated departure cell colonies in iPS cells is shown in FIG. It is known that a typical characteristic of undifferentiated cells is “thinly spreading”, and in FIG. 3, it is possible to visually recognize the area of undifferentiated cells and the area of undifferentiated cells. it can. An operator having a certain degree of experience can distinguish between an undifferentiated cell region and an undifferentiated departure cell region by looking at such an image, but a large amount of IHM phase images can be visually checked one by one. Once identified, the work is quite burdensome. In addition, in an image that is more difficult to identify, the identification result often varies depending on the operator.
  • undifferentiated cell regions and undifferentiated departure cells are obtained by performing segmentation on the IHM phase image using a full-layer convolutional neural network that is one of machine learning methods. Identification with a region can be performed automatically. Details of the full-layer convolutional neural network will be described later.
  • the removal mechanism 17 removes an object located in a predetermined region on the culture plate 13 in accordance with a control instruction from the control device 20.
  • the removal mechanism 17 may be a laser mechanism that removes the removal target by laser irradiation, or may be a suction mechanism that removes the removal target by suction.
  • the removal mechanism 17 as a laser mechanism removes a removal target object by irradiating a near infrared laser, and peeling the cell of an irradiation part.
  • the removal mechanism 17 as a suction mechanism has a pipette called a tip. An observer of the microscope 10 moves the culture plate 13 or the pipette so that the removal object is positioned on the center of the image sensor 12, and sucks the removal object thereon. ⁇ 3. Functional configuration for machine learning>
  • FIG. 4 is a diagram illustrating an example of a functional configuration for realizing machine learning.
  • the cell image analysis apparatus 1 includes a control device 20 and a model generation device 50.
  • the control device 20 includes a cell image analysis unit 60 that is a functional module and a storage device 120 that is hardware.
  • the model generation device 50 includes a learning processing unit 51 that is a functional module and a storage device 220 that is hardware.
  • the learning processing unit 51 includes an image acquisition unit 511, a teacher data generation unit 512, a learning data set generation unit 513, and a learning model generation unit 514 as functional modules.
  • the cell image analysis unit 60 includes a setting unit 601, a detection unit 602, a display processing unit 603, and a removal mechanism control unit 604.
  • the image acquisition unit 511 acquires at least the cell image 30 before removal of the removal target from the above-described image creation unit 24 (see FIG. 2). Preferably, the image acquisition unit 511 further acquires the cell image 35 after the removal target is removed.
  • FIG. 5 is a diagram showing the removal process of the object to be removed. More specifically, FIG. 5 shows a cell image 30 obtained before removal of the removal object 31, a cell image 33 obtained during removal of the removal object 31 by the removal mechanism 17, and a removal object 31. A cell image 35 obtained after the removal is shown. Of these images, the image acquisition unit 511 acquires the cell images 30 and 35 before and after the removal of the removal target.
  • the image acquisition unit 511 acquires an image obtained when the above-described input unit 25 (see FIG. 2) receives a removal operation as the cell image 30 before removal. Or the image acquisition part 511 acquires the image obtained within the predetermined time (for example, 1 second) immediately before the input part 25 received removal operation as the cell image 30 before removal.
  • the image acquisition unit 511 acquires an image obtained when a signal indicating that the removal process by the removal mechanism 17 is completed is received from the removal mechanism control unit 604 as the cell image 30 after removal.
  • the image acquisition unit 511 removes an image obtained within a predetermined time (for example, 1 second) immediately after receiving a signal indicating that the removal process by the removal mechanism 17 is completed from the removal mechanism control unit 604. Acquired as an image 30.
  • the image acquisition unit 511 outputs the cell images 30 and 35 before and after removal of the removal target to the teacher data generation unit 512 and outputs the cell image 30 before removal of the removal target to the learning data set generation unit 513.
  • the acquisition method of the cell images 30 and 35 before and after the removal target is removed is not limited to the above-described method.
  • the cell images 30 and 35 before and after removal of the removal target may be selected by a user operation.
  • the cell images 30 and 35 before and after the removal of the removal target are acquired by selecting two cell images from the cell images displayed in time series.
  • the teacher data generation unit 512 performs a predetermined image process on the cell image 30 received from the image acquisition unit 511, thereby specifying a removal target region in which the removal target object is shown in the cell image 30.
  • the label image 40 showing the position of the removal target area is generated as teacher data. Since the generation method of the label image 40 is as described in FIG. 1, the description thereof will not be repeated.
  • a removal target area and a non-removal target area are classified.
  • a pixel indicating a removal target region is assigned a first value (for example, any one of 1 to 255) as a pixel value.
  • a pixel indicating a non-removal target region is assigned a second value (for example, 0) as a pixel value.
  • a pixel value corresponding to the type of the removal target is assigned to the pixel indicating the removal target region. More specifically, a predetermined pixel value (number) is assigned to each type of removal object, and the designer designates the type of removal object for the removal target region, thereby specifying the removal target area. Pixel values corresponding to the types thus assigned are assigned to the removal target area.
  • teacher data indicating the type of object to be removed.
  • the label image 40 generated by the teacher data generation unit 512 is output to the learning data set generation unit 513.
  • (3.3. Learning Data Set Generation Unit 513) Next, the function of the learning data set generation unit 513 shown in FIG. 4 will be described.
  • the learning data set generation unit 513 associates the cell image 30 acquired by the image acquisition unit 511 with the label image 40 as teacher data generated from the cell image 30, and generates these as a learning data set 45.
  • the generated learning data set 45 is stored in the storage device 220 every time it is generated. Thereby, the learning data set 45 is accumulated in the storage device 220.
  • the learning data set generation unit 513 displays a confirmation screen for confirming whether or not the learning data set 45 is stored in the storage device 220 before the learning data set 45 is stored in the storage device 220.
  • the learning data set generation unit 513 stores the learning data set 45 in the storage device 220 based on an instruction to store the learning data set 45 being given to the confirmation screen. Otherwise, the learning data set generation unit 513 discards the learning data set 45. (3.4. Learning model generation unit 514)
  • the function of the learning model generation unit 514 shown in FIG. 4 will be described.
  • the learning model generation unit 514 executes machine learning using the plurality of learning data sets 45 generated by the learning data set generation unit 513, and generates a learning model for identifying the removal target from the cell image.
  • the learning method employed in the learning model generation unit 514 is not particularly limited. For example, various machine learning methods such as deep learning including a full-layer convolutional neural network (FCN) and a support vector machine may be employed. .
  • FIG. 6 is a conceptual diagram of the structure of an all-layer convolutional neural network. Details of the structure and processing of the full-layer convolutional neural network are described in detail in many documents including Non-Patent Document 2. In addition, implementation using commercially available or free software such as "MATLAB” provided by US MathWorks is also possible. Therefore, it will be schematically described here.
  • the full-layer convolutional neural network includes, for example, a multilayer network 70 in which repetitions of the convolutional layer and the pooling layer are multilayered, and a convolutional layer 71 corresponding to the total connection layer in the convolutional neural network.
  • the multi-layer network 70 repeats convolution processing using a filter (kernel) of a predetermined size and pooling processing for extracting effective values by reducing the convolution result two-dimensionally.
  • the multilayer network 70 may include only a convolution layer without a pooling layer.
  • the final convolution layer 71 performs local convolution and deconvolution while sliding a filter of a predetermined size in the input image.
  • this full-layer convolutional neural network by performing segmentation on the cell image 30 such as an IHM phase image, it is possible to output a label image 39 in which the removal target region and the non-removal target region are labeled.
  • the multilayer network 70 and the convolutional layer 71 are designed so that the input IHM phase image is labeled in units of pixels in order to identify very small foreign matters such as dust mixed during cell culture. . That is, the minimum unit of one area labeled in the label image 39 as the output image is one pixel on the IHM phase image. Therefore, for example, even when a foreign object having a size of about one pixel is observed on the IHM phase image, the foreign object is detected as one region in the label image 39, and information on where the foreign substance exists is accurately indicated to the operator. Can be provided.
  • the learning model generation unit 514 inputs the cell image 30 included in the learning data set 45 to the full-layer convolutional neural network, and uses the label image 39 output as a result as a label as teacher data associated with the cell image 30. Compare with image 40.
  • the learning model generation unit 514 updates various parameters in the multilayer network 70 and the convolutional layer 71 so that the label image 39 as an output result approaches the label image 40 as teacher data. Such update processing is repeated for all learning data sets 45, so that various parameters in the multilayer network 70 and the convolutional layer 71 are optimized.
  • the optimized various parameters are output as a learning model 28 to the control device 20.
  • the various parameters include, for example, the value and weight of each filter applied in the convolutional layer of the multilayer network 70.
  • the generated learning model 28 is stored in the database 27 in the storage device 120 of the control device 20.
  • FIG. 7 is a diagram illustrating an example of the data structure of the database 27.
  • the database 27 includes identification information 27A for identifying a learning model, learning model creation date and time information 27B, identification information 27C for identifying a learning data set from which a learning model is generated, and an identification target by the learning model. Including identification target information 27D that defines
  • the learning model identification information 27A is defined by, for example, a learning model name or ID (Identification).
  • the learning data set identification information 27C is defined by, for example, the name of the learning data set and the path to the folder in which the learning data set is stored.
  • the identification target information 27D is defined by a cell name, a foreign substance name, and the like.
  • Transfer learning using part or all of other learning models learned in another environment as an initial model may be used for the machine learning executed by the learning model generation unit 514.
  • Transfer learning is a technique for adapting a learning model learned in one environment to another environment.
  • the learning model generation unit 514 applies part or all of other learning models learned in another environment as initial values of various parameters in the multilayer network 70 and the convolution layer 71, and The above machine learning is executed.
  • various parameters in the multilayer network 70 and the convolutional layer 71 converge at an early stage.
  • a learning model with high identification accuracy is generated.
  • the setting unit 601 sets one learning model selected from the learning models defined in the database 27 in the detection unit 602.
  • the learning model selection operation is performed using, for example, the input unit 25 described above.
  • the observer calls a learning model setting screen and causes the display unit 26 of the cell image analysis apparatus 1 to display the setting screen.
  • a list of learning models included in the database 27 is displayed.
  • various types of information defined in the database 27 are displayed side by side on each learning model.
  • the various types of information include, for example, learning model identification information 27A (see FIG. 7), learning model creation date and time information 27B (see FIG. 7), and learning data set identification information 27C (see FIG. 7).
  • identification target information 27D see FIG. 7) based on the learning model.
  • the designer operates the input unit 25 to select one learning model from the learning models displayed in the list.
  • the setting unit 601 sets the selected learning model in the detection unit 602 based on the selection of the learning model.
  • the observer can select any learning model defined in the database 27. Thereby, the observer can switch a learning model according to the kind and use of a removal target object. (3.6. Detection Unit 602) Next, the function of the detection unit 602 shown in FIG. 4 will be described.
  • the detection unit 602 detects the removal target region from the input image newly input to the cell image analysis device 1 based on the learning model 28 set by the setting unit 601.
  • the detection unit 602 may perform detection processing on the cell images sequentially obtained from the image creation unit 24 each time, or may perform detection processing on each part of the input image by scanning the input image.
  • the detection unit 602 outputs a label image in which the removal target area and the non-removal target area are distinguished as detection results.
  • the meaning indicated by each pixel value of the label image as the detection result varies depending on the learning model to be set.
  • each pixel value of the label image as a detection result is represented by a binary value.
  • a pixel whose pixel value is “255 (or 1)” is regarded as a removal target region
  • a pixel whose pixel value is “0” is regarded as a non-removal target region.
  • each pixel value of the label image as the detection result is the number of classes to be identified. It is expressed with a value according to. That is, each pixel value of the label image as a detection result indicates a class type. The relationship between each class and the pixel value is defined in advance.
  • the detection result by the detection unit 602 is output to the display processing unit 603 and the removal mechanism control unit 604, respectively. (3.7. Display Processing Unit 603) Next, the function of the display processing unit 603 shown in FIG. 4 will be described.
  • the display processing unit 603 displays the removal target area detected by the detection unit 602 on the display unit 26 of the cell image analysis apparatus 1.
  • FIG. 8 is a diagram illustrating an example of a display result by the display processing unit 603.
  • FIG. 8A shows a display result 80 in the case where a 2-class classification learning model for identifying a removal target region and a non-removal target region is applied to an input image.
  • the detected removal target area is indicated by a marker 81.
  • the display processing unit 603 causes the display unit 26 to display the removal target region detected by the detection unit 602 on the input image.
  • FIG. 8B shows a label image 84 as a display result 85 in the case where a three-class classification learning model for identifying the background, undifferentiated departure cells, and undifferentiated cells is applied to the input image.
  • an image area 86 representing a background an image area 87 representing an undifferentiated departure cell, and an image area 88 representing an undifferentiated cell are color-coded.
  • An image region 87 representing undifferentiated departure cells is shown as a removal target region, and image regions 86 and 88 representing background and undifferentiated departure cells are shown as non-removal target regions.
  • the display mode of the display result by the display processing unit 603 is not limited to the example of FIG.
  • the display processing unit 603 may superimpose and display a message indicating that the removal target area exists on the input image. (3.8. Removal Mechanism Control Unit 604)
  • the function of the removal mechanism control unit 604 shown in FIG. 4 will be described.
  • the removal mechanism control unit 604 causes the removal mechanism 17 to remove the removal target based on the detection result of the removal target region detected by the detection unit 602. More specifically, the removal mechanism control unit 604 converts the removal target region indicated by the microscope reference coordinate system into the coordinates indicated by the world coordinate system based on the detection target region detected by the detection unit 602. Convert. The transformation matrix from the microscope reference coordinate system to the world coordinate system is defined in advance. The removal mechanism control unit 604 drives the removal mechanism 17 to move to the removal position converted into the world coordinate system, and then sends a removal instruction to the removal mechanism 17. The removal mechanism 17 starts the removal process based on receiving the removal instruction.
  • the removal mechanism control unit 604 causes the removal mechanism 17 to automatically remove the removal target based on the detection result of the removal target region detected by the detection unit 602. This saves the trouble of searching for the object to be removed and eliminates the need for a removal operation. Furthermore, by providing such a mechanism for automatic removal, quality control during cell culture can be automated. ⁇ 4. Hardware configuration>
  • control apparatus 20 With reference to FIG. 9 and FIG. 10, the hardware of the control apparatus 20 and the model generation apparatus 50 which are comprised in the cell image analysis apparatus 1 is demonstrated in order. (4.1. Hardware configuration of control device 20)
  • FIG. 9 is a block diagram illustrating a main hardware configuration of the control device 20.
  • the control device 20 includes a processor 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a communication interface 104, an input interface 105, a display interface 106, a microscope interface 107, and a storage device 120. Including.
  • the processor 101 is configured by at least one integrated circuit, for example.
  • the integrated circuit includes, for example, at least one CPU (Central Processing Unit), at least one ASIC (Application Specific Integrated Circuit), at least one FPGA (Field Programmable Gate Array), or a combination thereof.
  • CPU Central Processing Unit
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the processor 101 controls the operation of the control device 20 by executing various programs such as the control program 122 of the microscope 10.
  • the processor 101 reads the control program 122 from the storage device 120 to the ROM 102 based on receiving the execution instruction of the control program 122.
  • the RAM 103 functions as a working memory and temporarily stores various data necessary for executing the control program 122.
  • the communication interface 104 is connected to a LAN or an antenna.
  • the control device 20 exchanges data with an external communication device via the communication interface 104.
  • External communication devices include, for example, a server (for example, a server 300 described later), other communication terminals, and the like.
  • the control device 20 may be configured to download the control program 122 from the server.
  • the input interface 105 is, for example, a USB (Universal Serial Bus) terminal and is connected to the input unit 25.
  • the input interface 105 receives a signal indicating a user operation from the input unit 25.
  • the input unit 25 is, for example, a mouse, a keyboard, a touch panel, or other input devices that can accept user operations.
  • the display interface 106 is connected to the display unit 26 and sends an image signal for displaying an image to the display unit 26 in accordance with a command from the processor 101 or the like.
  • the display unit 26 is, for example, a liquid crystal display, an organic EL display, or other display devices.
  • the display unit 26 displays, for example, the detection result of the removal target region of the cell image analysis device 1, various setting screens for the cell image analysis device 1, and the like.
  • the storage device 120 is a storage medium such as a hard disk or a flash memory.
  • the storage device 120 stores the learning model 28 generated by the model generation device 50, the control program 122 of the microscope 10, and the like.
  • the storage location of the learning model 28 and the control program 122 is not limited to the storage device 120, but is stored in a storage area (for example, a cache memory) of the processor 101, the ROM 102, the RAM 103, an external device (for example, a server) or the like. It may be. (4.2. Hardware Configuration of Model Generation Device 50)
  • FIG. 10 is a block diagram illustrating a main hardware configuration of the model generation device 50.
  • the model generation device 50 includes a processor 201, a ROM 202, a RAM 203, a communication interface 204, an input interface 205, a display interface 206, a microscope interface 207, and a storage device 220. These hardware is the same as the various hardware of the control device 20 and is as described with reference to FIG. 9 described above, so only the parts different from the control device 20 will be described below.
  • the storage device 220 is, for example, a storage medium such as a hard disk or a flash memory.
  • the storage device 220 stores a learning data set 45 collected for generating a learning model, an image analysis program 222 for realizing various processes related to the learning process, and the like.
  • the image analysis program 222 includes a generation program for generating a learning data set.
  • the storage locations of the learning data set 45 and the image analysis program 222 are not limited to the storage device 220, but are stored in a storage area (for example, a cache memory) of the processor 201, a ROM 202, a RAM 203, an external device (for example, a server), or the like. It may be.
  • the image analysis program 222 may be provided by being incorporated in a part of an arbitrary program, not as a single program. In this case, the processing according to the present embodiment is realized in cooperation with an arbitrary program. Even such a program that does not include some modules does not depart from the spirit of the image analysis program 222 according to the present embodiment. Furthermore, some or all of the functions provided by the image analysis program 222 may be realized by dedicated hardware. Further, the control device 20 and the model generation device 50 may be configured to execute the image analysis program 222 in cooperation. ⁇ 5. Control structure>
  • the main processes related to the learning process executed by the cell image analysis device 1 are generated by (a) a learning data set collection process, (b) a learning process using the collected learning data set, and (c) a learning process. And a detection process for detecting a removal target region from the input image based on the learned model.
  • FIG. 11 is a flowchart showing a learning data set collection process.
  • the collection process illustrated in FIG. 11 is realized by the processor 201 of the model generation device 50, for example.
  • step S110 the processor 201 determines whether or not the operation mode of the model generation device 50 is set to the automatic collection mode of the learning data set.
  • the automatic collection mode is set according to user operation, for example.
  • the processor 201 determines that the operation mode of the model generation device 50 is set to the automatic collection mode (YES in step S110)
  • the processor 201 switches the control to step S120. Otherwise (NO in step S110), processor 201 ends the collection process shown in FIG.
  • step S120 the processor 201 determines whether or not a removal operation on the microscope 10 is detected. The removal operation is determined based on a user operation on the input unit 25 (see FIG. 2). If processor 201 determines that a removal operation on microscope 10 has been detected (YES in step S120), it switches control to step S122. Otherwise (NO in step S120), processor 201 returns control to step S110.
  • step S122 the processor 201 acquires, as the above-described image acquisition unit 511 (see FIG. 4), the cell image 30 before the removal target is removed and the cell image 35 after the removal target is removed.
  • the method for acquiring the cell images 30 and 35 is as described in “3.1. Image Acquisition Unit 511”, and therefore the description thereof will not be repeated.
  • step S124 the processor 201 specifies the removal target region 40A from the cell images 30 and 35 acquired in step S122 as the teacher data generation unit 512 (see FIG. 4), and the removal target region 40A in the cell image is identified.
  • a label image 40 representing a place is generated as teacher data.
  • the method for generating the label image 40 is as described in “3.2. Teacher Data Generation Unit 512”, and therefore the description thereof will not be repeated.
  • step S126 the processor 201 uses the cell image 30 acquired in step S122 and the label image 40 generated in step S124 for machine learning as the learning data set generation unit 513 (see FIG. 4). Generate as set 45.
  • the method for generating the learning data set 45 is the same as described in “3.2. Teacher Data Generation Unit 512”, and the description thereof will not be repeated.
  • the removal target area 40A is specified from the cell images 30 and 35 acquired in step S122, and a label image 40 representing the location of the removal target area 40A in the cell image is generated as teacher data.
  • the method of generating the label image 40 is as described in “3.3. Learning data set generation unit 513” above, and therefore the description thereof will not be repeated.
  • the learning data set is accumulated by repeating the processing of each step shown in FIG. (5.2. Learning process)
  • FIG. 12 is a flowchart showing the learning process of the collected learning data set.
  • the learning process shown in FIG. 12 is realized by the processor 201 of the model generation device 50, for example.
  • step S210 the processor 201 determines whether a learning process has been executed. When processor 201 determines that the learning process has been executed (YES in step S210), it switches control to step S212. Otherwise (NO in step S210), processor 201 performs the process of step S210 again.
  • step S212 the processor 201 acquires one or a plurality of unlearned learning data sets 45 from a plurality of learning data sets stored in the storage device 220.
  • step S214 the processor 201 applies the cell image 30 included in the learning data set 45 obtained in step S212 to the current learning model as the learning model generation unit 514 (see FIG. 4).
  • step S216 the processor 201 includes the label image 39 obtained from the current learning model as the application result in step S214 as the learning model generation unit 514 and the learning data set 45 obtained in step S212.
  • the label image 40 as teacher data is compared.
  • the processor 201 updates various parameters in the current learning model so that the label image 39 as the application result approaches the label image 40 as the teacher data.
  • step S220 the processor 201 determines whether or not an unlearned learning data set exists in the learning data sets stored in the storage device 220.
  • processor 201 determines that there is an unlearned learning data set (YES in step S220), it ends the learning process shown in FIG. Otherwise (NO in step S220), processor 201 returns control to step S212.
  • FIG. 13 is a flowchart showing a detection process for detecting a removal target region from an input image.
  • the detection process shown in FIG. 13 is realized by the processor 101 of the control device 20, for example.
  • step S310 the processor 101 determines whether or not the operation mode of the control device 20 is set to the automatic removal mode.
  • the automatic removal mode is set according to user operation, for example.
  • processor 101 determines that the operation mode of control device 20 is set to the automatic removal mode (YES in step S310)
  • processor 201 ends the detection process shown in FIG.
  • step S312 the processor 101 performs imaging of an inspection target such as a cell, and acquires an input image as an IHM phase image from the image creation unit 24 (see FIG. 2).
  • step S314 the processor 101 applies the learning model obtained by the learning process of FIG. 12 described above to the input image obtained in step S312, and acquires the label image 84 as a detection result.
  • step S316 the processor 101 specifies the removal target region based on the label image 84 obtained in step S314 as the above-described detection unit 602 (see FIG. 4).
  • the processor 101 groups a set of pixels having pixel values indicating a removal target region, and calculates an area (for example, the number of pixels) for each group.
  • the processor 101 determines that there is a removal target region in the input image when there is a group whose area is a predetermined value or more.
  • step S320 if the processor 101 determines that a region to be removed exists in the input image (YES in step S320), the control is switched to step S322. Otherwise (NO in step S320), processor 201 returns control to step S310.
  • step S322 the processor 101 causes the display unit 26 to superimpose the removal target area detected in step S316 on the input image as the above-described display processing unit 603 (see FIG. 4).
  • the display method of the removal target area is as described in the above “3.7. Display processing unit 603”, and therefore the description thereof will not be repeated.
  • step S330 the processor 101 determines whether a removal instruction has been received for the detected removal target area.
  • the removal command is issued based on, for example, a user operation on the input unit 25 described above.
  • processor 101 determines that a removal command has been received for the detected removal target region (YES in step S330)
  • it switches control to step S332. Otherwise (NO in step S330), processor 201 returns control to step S310.
  • step S332 the processor 101 drives the removal mechanism 17 of the microscope 10 based on the position (coordinate value) of the removal target region detected in step S316 as the above-described removal mechanism control unit 604 (see FIG. 4). Then, the removal mechanism 17 is made to remove the removal object. Since the removal method is as described in “3.8. Removal Mechanism Control Unit 604”, the description thereof will not be repeated. ⁇ 6. Summary of First Embodiment>
  • the cell image analysis apparatus 1 specifies the removal target region 40A from the cell image 30 in which the removal target is shown, and displays the location of the removal target region 40A in the cell image 30.
  • the generated label image 40 is generated as teacher data.
  • the cell image analysis device 1 generates the generated label image 40 and the generation source cell image 30 as a learning data set 45 used for machine learning.
  • the label image 40 as the teacher data is automatically generated, so that the designer does not need to label the cell image 30.
  • the time for collecting learning data is greatly reduced.
  • the designer can easily collect a large amount of learning data sets.
  • a learning data set collection function and a collected learning data set learning function are implemented in the cell image analysis apparatus 1.
  • these functions are mounted on the server.
  • FIG. 14 shows an example of a system configuration of cell image analysis system 500 according to the second embodiment.
  • the cell image analysis system 500 includes a plurality of cell image analysis apparatuses 1 and one or more servers 300. Each of the cell image analysis apparatuses 1 and the server 300 are configured to be able to communicate with each other.
  • Each of the cell image analysis devices 1 generates the learning data set 45 by the above-described method described in the “first embodiment”.
  • the generated learning data set 45 is transmitted to the server 300.
  • the server 300 accumulates the learning data set 45 received from each of the cell image analysis devices 1. And the server 300 performs the above-mentioned machine learning with respect to the collected learning data set 45, and produces
  • the generated learning model is distributed to each of the cell image analysis apparatuses 1.
  • the cell image analysis system 500 includes three cell image analysis apparatuses 1 is shown. However, the cell image analysis system 500 includes one or more cell image analysis apparatuses 1. It may be configured with. In the example of FIG. 14, an example in which the cell image analysis system 500 is configured by one server 300 is illustrated, but the cell image analysis system 500 may be configured by a plurality of servers 300. ⁇ 9. Functional configuration>
  • FIG. 15 is a diagram illustrating an example of a functional configuration of the cell image analysis system 500.
  • the cell image analysis system 500 includes a plurality of cell image analysis apparatuses 1 and a server 300.
  • the cell image analysis apparatus 1 includes an image acquisition unit 511, a teacher data generation unit 512, a learning data set generation unit 513, a communication unit 515, a setting unit 601, a detection unit 602, and a display processing unit as functional modules. 603 and a removal mechanism control unit 604.
  • the server 300 includes a learning model generation unit 514 and a communication unit 516 as functional modules.
  • the communication unit 515 of the cell image analysis apparatus 1 is a communication driver for controlling the communication interface 104 (or the communication interface 204). Communication with the server 300 is realized by the communication unit 515.
  • the communication unit 515 sends the learning data set 45 stored in the storage device 220 to the server 300.
  • the learning data set 45 may be transmitted to the server 300 every time it is generated, may be transmitted to the server 300 based on the accumulation of a predetermined number of learning data sets 45, or may be operated by a user operation. May be transmitted to the server 300 based on
  • the learning data set 45 is transmitted to the server 300 after being selected by an observer. More specifically, the cell image analysis apparatus 1 displays the collected learning data set 45 as a list. The observer confirms the learning data set 45 displayed in a list, selects the learning data set 45 to be transmitted, and then performs a transmission execution operation. The communication unit 515 of the cell image analysis apparatus 1 transmits the selected learning data set 45 to the server 300 based on the reception of the transmission execution operation.
  • the communication unit 516 of the server 300 is a communication driver for controlling a communication interface 304 (see FIG. 16) described later.
  • the communication unit 516 receives the learning data set 45 from each of the cell image analysis apparatuses 1 and sequentially stores the received learning data set 45 in the storage device 320. Thereafter, the learning model generation unit 514 executes machine learning using the learning data set 45 collected from each of the cell image analysis devices 1.
  • the generated learning model is stored in the database 27 in the storage device 320.
  • the communication unit 516 of the server 300 acquires the learning model 28 designated for download from the database 27 based on the reception of the download instruction for the learning model 28 from the cell image analysis apparatus 1. Thereafter, the communication unit 516 of the server 300 transmits the acquired learning model 28 to the cell image analysis apparatus 1 that is the transmission source of the download command.
  • the communication unit 515 of the cell image analysis device 1 stores the learning model 28 received from the server 300 in the storage device 120.
  • each functional module is not limited to the example shown in FIG.
  • the teacher data generation unit 512 and the learning data set generation unit 513 may be implemented in the server 300 instead of the cell image analysis device 1. ⁇ 10. Hardware configuration of server 300>
  • FIG. 16 is a block diagram illustrating a main hardware configuration of the server 300.
  • the server 300 includes a processor 301, a ROM 302, a RAM 303, a communication interface 304, an input interface 305, a display interface 306, a microscope interface 307, and a storage device 320.
  • These hardware is the same as the various hardware of the control device 20 and is as described with reference to FIG. 9 described above, so only the parts different from the control device 20 will be described below.
  • the storage device 320 is a storage medium such as a hard disk or a flash memory.
  • the storage device 320 stores a learning data set 45 collected from the cell image analysis device 1, a learning model 28 generated from the learning data set 45, an image analysis program 322 for realizing various processes related to learning processing, and the like.
  • the image analysis program 322 includes a generation program for generating a learning data set.
  • the image analysis program 322 may be provided as a part of an arbitrary program, not as a single program. In this case, the processing according to the present embodiment is realized in cooperation with an arbitrary program. Even such a program that does not include some modules does not depart from the spirit of the image analysis program 322 according to the present embodiment. Furthermore, some or all of the functions provided by the image analysis program 322 may be realized by dedicated hardware. Furthermore, the cell image analysis apparatus 1 and the server 300 may be configured to cooperate to execute the image analysis program 322. ⁇ 11. Summary of Second Embodiment>
  • the server 300 collects the learning data set 45 from each of the cell image analysis apparatuses 1 and generates a learning model using the collected learning data set 45.
  • the learning data set 45 is easily collected in large quantities.
  • a high-spec PC is usually required to perform machine learning, but the server 300 is equipped with a function for performing machine learning, thereby reducing the cost of the user-side cell image analyzer 1. Can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Food Science & Technology (AREA)
  • Immunology (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

教師データの生成のためのラベリングの手間を従来よりも軽減することができる細胞画像解析装置を提供する。細胞画像解析装置は、細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像（３９）を取得するための画像取得部と、予め定められた画像処理を実行することで、上記細胞画像内から上記除去対象物（３１）が写っている除去対象領域を特定し、上記細胞画像内の上記除去対象領域の場所を表したラベル画像（４０）を上記機械学習の教師データとして生成するための教師データ生成部と、上記細胞画像（３０）と上記ラベル画像（４０）とのセットを上記機械学習に用いる学習データセット（４５）として生成するための学習データセット生成部とを備える。

Description

細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法
　本開示は、機械学習に用いられる教師データを自動で生成するための技術に関する。
　再生医療分野では、近年、ｉＰＳ（Induced Pluripotent Stem）細胞やＥＳ（Embryonic Stem）細胞等の多能性幹細胞を用いた研究が盛んに行われている。こうした多能性幹細胞を利用した再生医療の研究・開発においては、多能性を維持した状態の未分化の細胞を大量に培養する必要がある。そのため、適切な培養環境の選択と環境の安定的な制御が必要であるとともに、培養中の細胞の状態を高い頻度で確認する必要がある。たとえば、細胞コロニー内の細胞が未分化状態から逸脱すると、この場合、細胞コロニー内にある全ての細胞は分化する能力を有しているために、最終的にはコロニー内の細胞全てが未分化逸脱状態に遷移してしまう。そのため、観察者は培養している細胞中に未分化状態を逸脱した細胞（すでに分化した細胞や分化しそうな細胞、以下「未分化逸脱細胞」という）が発生していないかを日々確認し、未分化逸脱細胞を見つけた場合にはこれを迅速に除去する必要がある。
　多能性幹細胞が未分化状態を維持しているか否かの判定は、未分化マーカーによる染色を行うことで確実に行うことができる。しかしながら、染色を行った細胞は死滅するため、再生医療用の多能性幹細胞の判定には未分化マーカー染色を実施することができない。そこで、現在の再生医療用細胞培養の現場では、位相差顕微鏡を用いた細胞の形態的観察に基づいて、観察者が未分化細胞であるか否かを判定するようにしている。位相差顕微鏡を用いるのは、一般に細胞は透明であって通常の光学顕微鏡では観察しにくいためである。
　また、非特許文献１に開示されているように、最近では、ホログラフィ技術を用いて細胞の観察画像を取得する装置も実用化されている。この装置は、特許文献１～４等に開示されているように、デジタルホログラフィック顕微鏡で得られたホログラムデータに対し位相回復や画像再構成等のデータ処理を行うことで、細胞が鮮明に観察し易い位相像（インライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）を用いていることから、以下「ＩＨＭ位相像」という）を作成するものである。デジタルホログラフィック顕微鏡では、ホログラムデータを取得したあとの演算処理の段階で任意の距離における位相情報を算出することができるため、撮影時にいちいち焦点合わせを行う必要がなく測定時間を短くすることができるという利点がある。
　しかしながら、位相差顕微画像やＩＨＭ位相画像において細胞が或る程度鮮明に観察可能であるとしても、観察者が目視で未分化細胞等を正確に判定するには熟練が必要である。また、人間の判断に基づくために判定にばらつきが生じることは避けられない。そのため、こうした従来の手法は多能性幹細胞を工業的に大量生産するのには適さない。
　上記課題に対し、細胞の観察画像を画像処理することで細胞の状態を評価する種々の技術が従来提案されている。
　たとえば、特許文献５には、所定時間隔てて取得された複数の細胞観察画像からそれぞれ細胞内部構造のテクスチャ特徴量を算出し、その複数の細胞観察画像に対するテクスチャ特徴量の差分や相関値を計算してその時系列変化に基づいて細胞の活性度を判別する方法が記載されている。この方法ではたとえば、時間経過に伴うテクスチャ特徴量の差分値が減少傾向である場合に、その細胞の活性度は減少している等と判断することができる。
　特許文献６には、細胞観察画像から取得した複数の指標値を用いてファジィニューラルネットワーク（ＦＮＮ）解析を実施し、増殖率などの細胞の品質を予測する方法が記載されている。該文献には、細胞観察画像に対する画像処理により求まるテクスチャ特徴量を指標値として利用することも記載されている。
　ＦＮＮ解析の他にも、様々な学習手法を細胞生物学に応用することが提案されている。たとえば、非特許文献２は、全層畳み込みニューラルネットワークＦＣＮ（Fully Convolutional Networks）に関する学習手法を開示している。非特許文献３は、ＦＣＮを細胞生物学に応用するための手法を開示している。また、非特許文献４は、転移学習に関する学習手法を開示している。
国際特許公開第２０１７／２０３７１８号 国際特許公開第２０１７／２０４０１３号 国際特許公開第２０１６／０８４４２０号 特開平１０－２６８７４０号公報 特開２０１０－０２２３１８号公報 特開２００９－０４４９７４号公報
「細胞培養解析装置 CultureScanner CS-1」、［online］、株式会社島津製作所、［平成３０年３月１４日検索］、インターネット＜URL: https://www.an.shimadzu.co.jp/bio/cell/cs1/index.htm＞ ジョナサン・ロング（Jonathan Long）、ほか２名、「フーリー・コンボリューショナル・ネットワークス・フォー・セマンティック・セグメンテーション（Fully Convolutional Networks for Semantic Segmentation）」、ザ・アイトリプルイー・カンファレンス・オン・コンピュータ・ビジョン・アンド・パターン・リコグニション（The IEEE Conference on Computer Vision and Pattern Recognition）、2015年、pp.3431-3440、（インターネット＜URL: https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf＞） Olaf Ronneberger, Philipp Fischer, Thomas Brox、「Convolutional Networks for Biomedical Image Segmentation」、U-Net、［平成３０年３月１４日検索］、（インターネット＜URL: https://arxiv.org/abs/1505.04597＞） 神嶌 敏弘、「転移学習」、人工知能学会誌、２５巻４号、２０１０年７月（インターネット＜URL: https://jsai.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=7632&file_id=22&file_no=1＞）
　観察者は、適切な培養環境を維持するために、未分化逸脱細胞や不純物などの除去対象物を観察対象から除去する必要がある。このような除去対象物を機械学習により学習し、顕微鏡が観察対象物を撮影して得られた画像（以下、「細胞画像」ともいう。）から除去対象物を自動で識別することが望まれている。この機械学習を実現するためには、設計者は、大量の細胞画像に対して除去対象物が写っている領域を手動でラベリングし、ラベリング結果を教師データとして準備する必要がある。大量の細胞画像に対するラベリングは大変手間であるため、ラベリングの手間を軽減することが望まれている。
　本開示の一例では、機械学習に用いられる教師データを生成することが可能な細胞画像解析装置は、細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている第１細胞画像を取得するための画像取得部と、予め定められた画像処理を実行することで、上記第１細胞画像内から上記除去対象物が写っている除去対象領域を特定し、上記第１細胞画像内の上記除去対象領域の場所を表したラベル画像を上記機械学習の教師データとして生成するための教師データ生成部と、上記第１細胞画像と上記ラベル画像とのセットを上記機械学習に用いる学習データセットとして生成するための学習データセット生成部とを備える。
　この開示によれば、細胞画像解析装置は、教師データとしてのラベル画像と、当該ラベル画像の生成元の細胞画像との学習データセットを自動で生成する。このような仕組みが提供されることで、設計者は、学習データを収集する際に細胞画像に対するラベリングを行う必要がなくなる。
　本開示の一例では、上記画像取得部は、上記除去対象物の除去後に上記顕微鏡から得られた第２細胞画像をさらに取得する。上記予め定められた画像処理は、上記第１細胞画像と上記第２細胞画像との比較結果から上記除去対象領域を特定することを含む。
　この開示によれば、細胞画像解析装置は、除去対象物の除去前後の画像が比較されることで、除去対象物が写っている除去対象領域をより正確に特定することができる。
　本開示の一例では、上記予め定められた画像処理は、上記第１細胞画像から上記第２細胞画像を差分した差分画像に基づいて、上記除去対象領域を特定することを含む。
　この開示によれば、細胞画像解析装置は、除去対象物の除去前後の画像の差分画像が用いられることで、除去対象物が写っている除去対象領域をさらに正確に特定することができる。
　本開示の一例では、上記細胞画像解析装置は、上記第１細胞画像内の予め定められた領域に写る物体を除去するように構成された除去機構をさらに含む。上記予め定められた画像処理は、上記第１細胞画像内の上記予め定められた領域を上記除去対象領域として特定することを含む。
　この開示によれば、細胞画像解析装置は、より簡易な方法で、除去対象物が写っている除去対象領域を特定することができる。
　本開示の一例では、上記細胞画像解析装置は、上記学習データセット生成部によって生成された複数の学習データセットを用いた機械学習を実行し、画像内から上記除去対象物を識別するための学習モデルを生成する学習モデル生成部と、上記学習モデルに基づいて、上記細胞画像解析装置に入力された入力画像から上記除去対象領域を検出するための検出部とを備える。
　この開示によれば、収集された学習データセットから生成された学習モデルが用いられることで、入力画像から除去対象領域が自動で検出される。
　本開示の一例では、上記学習モデル生成部によって実行される機械学習は、予め学習された学習モデルの一部または全部を初期モデルとして用いる転移学習を含む。
　この開示によれば、細胞画像解析装置は、学習モデル内の各種パラメータを早期に収束させることができる。
　本開示の一例では、上記細胞画像解析装置は、上記学習モデル生成部によって生成された複数の学習モデルを格納するための記憶装置と、上記複数の学習モデルから一の学習モデルの選択操作を受け付けるための入力部とをさらに備える。上記検出部は、上記選択操作によって選択された学習モデルに基づいて、上記入力画像から上記除去対象領域を検出する。
　この開示によれば、観察者は、除去対象物の種類や用途に合わせて学習モデルを切り替えることができる。
　本開示の一例では、上記細胞画像解析装置は、表示部と、上記検出部によって検出された上記除去対象領域を上記入力画像に重畳して上記表示部に表示させるための表示処理部とをさらに備える。
　この開示によれば、観察者は、入力画像内における除去対象領域の場所を容易に確認することができる。
　本開示の一例では、上記細胞画像解析装置は、上記検出部によって検出された上記除去対象領域の検出結果に基づいて、上記除去対象物を上記顕微鏡の除去機構に除去させるための除去機構制御部を備える。
　この開示によれば、除去対象物を探す手間が省かれ、また、除去操作を行う必要がなくなる。
　本開示の他の例では、機械学習に用いられる教師データを生成することが可能な細胞画像解析システムは、サーバと、上記サーバと通信可能に構成されている複数の細胞画像解析装置とを備える。上記複数の細胞画像解析装置は、それぞれ、細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像を取得するための画像取得部と、予め定められた画像処理を実行することで、上記細胞画像内から上記除去対象物が写っている除去対象領域を特定し、上記細胞画像内の上記除去対象領域の場所を表したラベル画像を上記機械学習の教師データとして生成するための教師データ生成部と、上記細胞画像と上記ラベル画像とのセットを上記機械学習に用いる学習データセットとして生成するための学習データセット生成部と、上記学習データセットを上記サーバに送信するための通信部とを含む。
　この開示によれば、サーバは、教師データとしてのラベル画像と、当該ラベル画像の生成元の細胞画像との学習データセットを各細胞画像解析装置から収集することができる。このような仕組みが提供されることで、設計者は、容易かつ大量に学習データセットを収集することができる。
　本開示の他の例では、方法は、細胞画像と上記細胞画像内の除去対象領域の場所を表したラベル画像とを受信するステップと、受信した上記細胞画像と上記ラベル画像とを用いて機械学習を行うことにより、細胞画像を入力画像とし、上記入力画像内の除去対象領域の場所を表す画像を出力画像とする学習モデルを生成するステップと、生成した学習モデルを送信するステップとを備える。
　この開示によれば、入力画像から除去対象領域を自動で検出するための学習モデルが生成される。
　本開示の他の例では、機械学習に用いられる教師データの生成方法は、細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像を取得するステップと、予め定められた画像処理を実行することで、上記細胞画像内から上記除去対象物が写っている除去対象領域を特定し、上記細胞画像内の上記除去対象領域の場所を表したラベル画像を上記機械学習の教師データとして生成するステップと、上記細胞画像と上記ラベル画像とのセットを上記機械学習に用いる学習データセットとして生成するステップとを備える。
　この開示によれば、教師データとしてのラベル画像と、当該ラベル画像の生成元の細胞画像との学習データセットが自動で生成される。このような仕組みが提供されることで、設計者は、学習データを生成する際に細胞画像に対するラベリングを行う必要がなくなる。
　本開示の他の例では、機械学習に用いられる教師データの生成プログラムは、コンピュータに、細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像を取得するステップと、予め定められた画像処理を実行することで、上記細胞画像内から上記除去対象物が写っている除去対象領域を特定し、上記細胞画像内の上記除去対象領域の場所を表したラベル画像を上記機械学習の教師データとして生成するステップと、上記細胞画像と上記ラベル画像とのセットを上記機械学習に用いる学習データセットとして生成するステップとを実行させる。
　この開示によれば、教師データとしてのラベル画像と、当該ラベル画像の生成元の細胞画像との学習データセットが自動で生成される。このような仕組みが提供されることで、設計者は、学習データを生成する際に細胞画像に対するラベリングを行う必要がなくなる。
　本開示の他の例では、機械学習に用いられる教師データの製造方法は、細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像を取得する工程と、予め定められた画像処理を実行することで、上記細胞画像内から上記除去対象物が写っている除去対象領域を特定し、上記細胞画像内の上記除去対象領域の場所を表したラベル画像を上記機械学習の教師データとして生成する工程と、上記細胞画像と上記ラベル画像とのセットを上記機械学習に用いる学習データセットとして生成する工程とを備える。
　この開示によれば、教師データとしてのラベル画像と、当該ラベル画像の生成元の細胞画像との学習データセットが自動で生成される。このような仕組みが提供されることで、設計者は、学習データを生成する際に細胞画像に対するラベリングを行う必要がなくなる。
第１の実施の形態における学習データセットの生成過程を概略的に表した概念図である。 第１の実施の形態に従う細胞画像解析装置の概略構成を示す図である。 ＩＨＭ位相像の一例（未分化逸脱細胞コロニー）を示す図である。 第１の実施の形態における機械学習を実現するための機能構成の一例を示す図である。 第１の実施の形態における除去対象物の除去過程を表わす図である。 全層畳み込みニューラルネットワークの構造を表わす概念図である。 学習モデルのデーターベースのデータ構造の一例を示す図である。 表示処理部による表示結果の一例を示す図である。 第１の実施の形態に従う制御装置の主要なハードウェア構成を示すブロック図である。 第１の実施の形態に従うモデル生成装置の主要なハードウェア構成を示すブロック図である。 学習データセットの収集処理を表わすフローチャートである。 収集された学習データセットの学習処理を表わすフローチャートである。 入力画像から除去対象領域を検出する検出処理を表わすフローチャートである。 第２の実施の形態に従う細胞画像解析システムのシステム構成の一例を表わす図である。 第２の実施の形態に従う細胞画像解析システムの機能構成の一例を示す図である。 第２の実施の形態に従うサーバの主要なハードウェア構成を示すブロック図である。
　以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。
　なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
　［第１の実施の形態］
　＜１．概要＞
　観察者は、適切な培養環境を維持するために、未分化逸脱細胞や不純物などの除去対象物を観察対象から除去する必要がある。このような除去対象物を自動で識別するための学習モデルを生成するためには、設計者は、除去対象物が写っている大量の細胞画像を準備するとともに、各細胞画像内の除去対象領域をラベリングしたラベル画像を学習データとして準備する必要がある。本実施の形態に従う細胞画像解析装置１（図２参照）は、このようなラベル画像を教師データとして自動で生成し、当該ラベル画像と細胞画像との学習データセットを出力する。
　より具体的には、細胞画像解析装置１は、除去対象領域を特定するための予め定められた画像処理を細胞画像（第１細胞画像）に対して実行することで、当該細胞画像内から除去対象領域を特定し、当該細胞画像内における除去対象領域の場所を表したラベル画像を生成する。その後、細胞画像解析装置１は、当該細胞画像と当該ラベル画像とのセットを機械学習に用いる学習データセットとして出力する。このようにラベル画像が自動で生成されることで、細胞画像に対してラベリングを手動で行う必要が無くなる。
　以下では、図１を参照して、学習データセットの生成方法を具体的に説明する。図１は、学習データセットの生成過程を概略的に表した概念図である。
　図１には、顕微鏡が細胞などの観察対象物を撮影して得られた細胞画像３０，３５が示されている。細胞画像３０（第１細胞画像）は、除去対象物３１の除去前に観察対象物を撮影して得られた画像である。細胞画像３５（第２細胞画像）は、除去対象物３１の除去後に観察対象物を撮影して得られた画像である。
　細胞画像解析装置１は、細胞画像３０，３５に対して予め定められた画像処理を実行し、除去対象物３１を表わしている除去対象領域を特定する。除去対象領域を特定するための予め定められた画像処理は、除去対象物３１の除去前の細胞画像３０と除去対象物３１の除去後の細胞画像３５との比較結果から除去対象領域を特定することを含む。
　一例として、細胞画像解析装置１は、細胞画像３０から細胞画像３５を差分した差分画像に基づいて、除去対象領域を特定する。より具体的には、細胞画像解析装置１は、細胞画像３０から細胞画像３５を差分し、差分画像３７を生成する。差分画像３７の各画素値は、細胞画像３０，３５の同一座標の画素値間の差分値に相当する。除去対象物３１の除去前の細胞画像３０から除去対象物３１の除去後の細胞画像３５を差分することで、除去対象物３１のみが差分画像３７において抽出される。
　その後、細胞画像解析装置１は、予め定められた閾値に基づいて、差分画像３７を二値化処理する。一例として、細胞画像解析装置１は、画素値が予め定められた閾値を超える画素に対して第１値（たとえば、２５５）を割り当て、画素値が予め定められた閾値以下の画素に対して第２値（たとえば、０）を割り当てる。このような二値化処理により、除去対象領域４０Ａおよび非除去対象領域４０Ｂをラベリングしたラベル画像４０が生成される。典型的には、ラベル画像４０のサイズは、細胞画像３０のサイズと等しく、ラベル画像４０の各画素値は、細胞画像３０の対応画素（同一画素）が除去対象領域であるか否かを示す。
　細胞画像解析装置１は、細胞画像３０内の除去対象物３１の場所を表したラベル画像４０と、ラベル画像４０の生成元の細胞画像３０とを関連付け、これらの画像を学習データセット４５として生成する。このような学習データセット４５が順次生成されることで、学習データセット４５が蓄積される。
　以上のように、細胞画像解析装置１は、除去対象物３１の除去前の細胞画像３０と、除去対象物３１の除去後の細胞画像３５とに基づいて、除去対象領域４０Ａを特定し、除去対象領域４０Ａの場所を表したラベル画像４０を教師データとして生成する。このようなラベル画像４０が自動で生成されることで、設計者は、細胞画像に対するラベリングを行わずに教師データを大量に収集することができる。
　なお、上述では、ラベル画像４０が二値化画像である前提で説明を行ったが、ラベル画像４０は、必ずしも二値化画像である必要はない。一例として、ラベル画像４０は、除去対象物の種類に応じてラベリングされてもよい。より具体的には、除去対象物の種類ごとに予め定められた画素値（番号）が割り当てられており、抽出された除去対象領域４０Ａに対して設計者が除去対象物の種類を指定することにより、当該指定された種類に応じた画素値が除去対象領域４０Ａに割り当てられる。このような場合には、ラベル画像４０の各画素値は、除去対象物３１の種別を示すこととなる。
　また、上述では、除去対象物３１の除去前の細胞画像３０と、除去対象物３１の除去後の細胞画像３５との差分画像３７から除去対象領域４０Ａを特定する例について説明を行ったが、除去対象領域４０Ａの特定処理は、これに限定されない。一例として、除去対象領域４０Ａの特定処理は、除去対象物３１の除去前の細胞画像３５内の予め定められた領域を除去対象領域４０Ａとして特定してもよい。
　より具体的には、顕微鏡の種類によっては、除去機構（たとえば、後述の除去機構１７）が設けられているものがある。除去機構の利用態様の一例として、観察者は、スルー画像として写る細胞画像を確認しながら観察対象から除去対象物を探す。観察者は、除去対象物を発見した場合、除去対象物が細胞画像の予め定められた領域（たとえば、真ん中）に写るように観察対象または撮影部を移動し、その上で、細胞画像解析装置１に対して除去操作を行う。除去機構は、除去操作を受け付けたことに基づいて、細胞画像の予め定められた領域に位置する物体を除去する。このような顕微鏡が用いられる場合、除去対象物が写っている場所は、画像ごとに変わらない。この点に着目して、細胞画像解析装置１は、除去操作の受け付けた時またはその直前において撮影された細胞画像３５を取得し、その細胞画像３５の予め定められた領域を除去対象領域４０Ａとして特定する。
　＜２．細胞画像解析装置１の構成＞
　図２を参照して、本実施の形態に従う細胞画像解析装置１の構成について説明する。図２は、本実施の形態に従う細胞画像解析装置１の概略構成を示す図である。
　本実施例の細胞画像解析装置１は、顕微鏡１０、制御装置２０、ユーザーインターフェイスである入力部２５、表示部２６、およびモデル生成装置５０を備える。
　顕微鏡１０は、インライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）であり、レーザダイオードなどを含む光源部１１とイメージセンサ１２と、除去機構１７とを備える。光源部１１とイメージセンサ１２との間に、細胞コロニー（又は細胞単体）１４を含む培養プレート１３が配置される。
　制御装置２０は、顕微鏡１０の動作を制御するとともに顕微鏡１０で取得されたデータを処理するものであって、撮影制御部２１と、ホログラムデータ記憶部２２と、位相情報算出部２３と、画像作成部２４と、細胞画像解析部６０と、を機能ブロックとして備える。
　通常、制御装置２０の実体は、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーション、あるいは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムである。即ち、制御装置２０に含まれる各ブロックの機能は、コンピュータ単体又は複数のコンピュータを含むコンピュータシステムに搭載されているソフトウェアを実行することで実施される、該コンピュータ又はコンピュータシステムに記憶されている各種データを用いた処理によって具現化されるものとすることができる。
　また、モデル生成装置５０の実体も、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーションである。通常のこのコンピュータは、制御装置２０とは異なるコンピュータであるが、同じであってもよい。つまり、モデル生成装置５０の機能を制御装置２０に持たせることもできる。
　まず、本実施例の細胞画像解析装置１において、細胞に関するセグメンテーションを実施する際に使用される観察画像であるＩＨＭ位相像を作成するまでの作業及び処理について述べる。
　作業者が細胞コロニー１４を含む培養プレート１３を所定位置にセットして入力部２５で所定の操作を行うと、撮影制御部２１は、顕微鏡１０を制御して以下のようにホログラムデータを取得する。
　即ち、光源部１１は、１０°程度の微小角度の広がりを持つコヒーレント光を培養プレート１３の所定の領域に照射する。培養プレート１３及び細胞コロニー１４を透過したコヒーレント光（物体光１６）は、培養プレート１３上で細胞コロニー１４に近接する領域を透過した光（参照光１５）と干渉しつつイメージセンサ１２に到達する。物体光１６は、細胞コロニー１４を透過する際に位相が変化した光であり、他方、参照光１５は、細胞コロニー１４を透過しないので該コロニー１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞コロニー１４により位相が変化した物体光１６と位相が変化していない参照光１５との干渉縞による像が形成される。
　なお、光源部１１及びイメージセンサ１２は、図示しない移動機構によってＸ軸方向及びＹ軸方向に順次移動される。これにより、光源部１１から発せられたコヒーレント光の照射領域（観察領域）を培養プレート１３上で移動させ、広い２次元領域に亘るホログラムデータ（イメージセンサ１２の検出面で形成されたホログラムの２次元的な光強度分布データ）を取得することができる。
　上述したように顕微鏡１０で得られたホログラムデータは、逐次、制御装置２０に送られ、ホログラムデータ記憶部２２に格納される。制御装置２０において、位相情報算出部２３は、ホログラムデータ記憶部２２からホログラムデータを読み出し、位相回復のための所定の演算処理を実行することで観察領域（撮影領域）全体の位相情報を算出する。画像作成部２４は、算出された位相情報に基づいてＩＨＭ位相像を作成する。こうした位相情報の算出やＩＨＭ位相像の作成の際には、特許文献３、４等に開示されている周知のアルゴリズムを用いればよい。なお、位相情報算出部２３は、ホログラムデータに基づいて位相情報のほかに、強度情報、擬似位相情報なども併せて算出し、画像作成部２４は、これら情報に基づく再生像、つまり強度像や擬似位相像を作成してもよい。
　ｉＰＳ細胞における未分化逸脱細胞コロニーを対象とするＩＨＭ位相像の一例を図３に示す。典型的な未分化逸脱細胞の特徴は、「薄く広がる」ことであることが知られており、図３でもこの特徴から、未分化細胞の領域と未分化逸脱細胞の領域とを視認することができる。或る程度の経験を有する作業者であれば、こうした画像を見て未分化細胞の領域と未分化逸脱細胞の領域とを識別することができるものの、大量のＩＨＭ位相像について一つずつ目視で識別を行うと、その作業はかなり負担である。また、より識別が難しい画像では、作業者によって識別結果が異なる場合もよくある。これに対し、本実施の形態に従う細胞画像解析装置１では、機械学習法の一つである全層畳み込みニューラルネットワークを用いてＩＨＭ位相像に対するセグメンテーションを行うことで未分化細胞領域と未分化逸脱細胞領域との識別を自動的に行うことができる。全層畳み込みニューラルネットワークの詳細については後述する。
　除去機構１７は、制御装置２０からの制御指示に従って、培養プレート１３上の予め定められた領域に位置する物体を除去する。除去機構１７は、レーザー照射により除去対象物を除去するレーザー機構であってもよいし、吸引により除去対象物を除去する吸引機構であってもよい。レーザー機構としての除去機構１７は、近赤外線レーザーを照射し、照射部分の細胞を剥離させることで除去対象物を除去する。吸引機構としての除去機構１７は、チップと称されるピペットを有する。顕微鏡１０の観察者は、イメージセンサ１２の中心上に除去対象物が位置するように培養プレート１３またはピペットを移動し、その上で除去対象物を吸引する。
　＜３．機械学習を実現するための機能構成＞
　図４～図８を参照して、機械学習を実現するための主要な機能構成について説明する。図４は、機械学習を実現するための機能構成の一例を示す図である。
　図４に示されるように、細胞画像解析装置１は、制御装置２０と、モデル生成装置５０とを含む。制御装置２０は、機能モジュールである細胞画像解析部６０と、ハードウェアである記憶装置１２０とを含む。モデル生成装置５０は、機能モジュールである学習処理部５１と、ハードウェアである記憶装置２２０とを含む。
　学習処理部５１は、機能モジュールとして、画像取得部５１１と、教師データ生成部５１２と、学習データセット生成部５１３と、学習モデル生成部５１４とを含む。細胞画像解析部６０は、設定部６０１と、検出部６０２と、表示処理部６０３と、除去機構制御部６０４とを含む。
　以下では、学習処理部５１および細胞画像解析部６０の各機能モジュールの機能について順に説明する。
　　（３．１．画像取得部５１１）
　まず、画像取得部５１１の機能について説明する。
　画像取得部５１１は、上述の画像作成部２４（図２参照）から、少なくとも除去対象物の除去前の細胞画像３０を取得する。好ましくは、画像取得部５１１は、さらに、除去対象物の除去後の細胞画像３５を取得する。
　図５は、除去対象物の除去過程を表わす図である。より詳細には、図５には、除去対象物３１の除去前に得られた細胞画像３０と、除去機構１７による除去対象物３１の除去中に得られた細胞画像３３と、除去対象物３１の除去後に得られた細胞画像３５とが示されている。画像取得部５１１は、これらの画像の内の、除去対象物の除去前後の細胞画像３０，３５を取得する。
　除去対象物３１の除去前であるか否かは、たとえば、観察者が上述の入力部２５に対して除去操作を行ったか否かに基づいて判断される。より具体的には、画像取得部５１１は、上述の入力部２５（図２参照）が除去操作を受け付けた時に得られる画像を除去前の細胞画像３０として取得する。あるいは、画像取得部５１１は、入力部２５が除去操作を受け付けた直前の所定時間（たとえば、１秒）内に得られる画像を除去前の細胞画像３０として取得する。
　除去対象物３１の除去後であるか否かは、たとえば、除去機構１７による除去処理が完了したか否かに基づいて判断される。より具体的には、画像取得部５１１は、除去機構１７による除去処理が完了したことを示す信号を除去機構制御部６０４から受け付けた時に得られる画像を除去後の細胞画像３０として取得する。あるいは、画像取得部５１１は、除去機構１７による除去処理が完了したことを示す信号を除去機構制御部６０４から受け付けた直後の所定時間（たとえば、１秒）内に得られる画像を除去後の細胞画像３０として取得する。
　画像取得部５１１は、除去対象物の除去前後の細胞画像３０，３５を教師データ生成部５１２に出力するとともに、除去対象物の除去前の細胞画像３０を学習データセット生成部５１３に出力する。
　なお、除去対象物の除去前後の細胞画像３０，３５の取得方法は、上述の方法に限定されない。たとえば、除去対象物の除去前後の細胞画像３０，３５は、ユーザー操作によって選択されてもよい。この場合、時系列に並べて表示される細胞画像の中から２つの細胞画像が観察者によって選択されることで、除去対象物の除去前後の細胞画像３０，３５が取得される。
　　（３．２．教師データ生成部５１２）
　次に、図４に示される教師データ生成部５１２の機能について説明する。
　教師データ生成部５１２は、画像取得部５１１から受けた細胞画像３０に対して予め定められた画像処理を実行することで、細胞画像３０内から除去対象物が写っている除去対象領域を特定し、当該除去対象領域の位置を表したラベル画像４０を教師データとして生成する。ラベル画像４０の生成方法については図１で説明した通りであるので、その説明については繰り返さない。
　ラベル画像４０においては、少なくとも、除去対象領域と、非除去対象領域とが区分される。一例として、除去対象領域を示す画素には、画素値として第１値（たとえば、１～２５５のいずれか）が割り当てられる。非除去対象領域を示す画素には、画素値として第２値（たとえば、０）が割り当てられる。
　好ましくは、除去対象領域を示す画素には、除去対象物の種類に応じた画素値が割り当てられる。より具体的には、除去対象物の種類ごとに予め定められた画素値（番号）が割り当てられており、設計者が除去対象領域に対して除去対象物の種類を指定することにより、当該指定された種類に応じた画素値が除去対象領域に割り当てる。
　これにより、除去対象物の種類を示した教師データが生成される。このような教師データが機械学習に用いられることにより、除去対象領域の場所を特定するだけでなく、除去対象物の種類を識別することが可能な学習モデルが生成され得る。
　教師データ生成部５１２によって生成されたラベル画像４０は、学習データセット生成部５１３に出力される。
　　（３．３．学習データセット生成部５１３）
　次に、図４に示される学習データセット生成部５１３の機能について説明する。
　学習データセット生成部５１３は、画像取得部５１１によって取得された細胞画像３０と、当該細胞画像３０から生成された教師データとしてのラベル画像４０とを関連付け、これらを学習データセット４５として生成する。生成された学習データセット４５は、生成される度に記憶装置２２０に格納される。これにより、学習データセット４５が記憶装置２２０に蓄積される。
　好ましくは、学習データセット生成部５１３は、学習データセット４５を記憶装置２２０に格納する前に、学習データセット４５を記憶装置２２０に格納するか否かを確認するための確認画面を表示する。学習データセット生成部５１３は、学習データセット４５を格納する指示を当該確認画面に対して行われたことに基づいて、学習データセット４５を記憶装置２２０に格納する。そうでない場合には、学習データセット生成部５１３は、学習データセット４５を破棄する。
　　（３．４．学習モデル生成部５１４)
　次に、図４に示される学習モデル生成部５１４の機能について説明する。
　学習モデル生成部５１４は、学習データセット生成部５１３によって生成された複数の学習データセット４５を用いた機械学習を実行し、細胞画像内から除去対象物を識別するための学習モデルを生成する。学習モデル生成部５１４に採用される学習手法は、特に限定されず、たとえば、全層畳み込みニューラルネットワーク（ＦＣＮ）を含むディープラーニング（深層学習）、サポートベクターマシンなどの種々の機械学習が採用され得る。
　以下では、図６を参照して、学習手法の一例として、全層畳み込みニューラルネットワークについて説明する。図６は、全層畳み込みニューラルネットワークの構造の概念図である。全層畳み込みニューラルネットワークの構造や処理の詳細は、非特許文献２を始めとする多くの文献に詳しく説明されている。また、米国マスワークス（MathWorks）社が提供している「MATLAB」などの市販のあるいはフリーのソフトウェアを利用した実装も可能である。そのため、ここでは概略的に説明する。
　図６に示すように、全層畳み込みニューラルネットワークは、たとえば畳み込み層とプーリング層との繰り返しが多層化された多層ネットワーク７０と、畳み込みニューラルネットワークにおける全結合層に相当する畳み込み層７１と、を含む。この場合、多層ネットワーク７０では、所定のサイズのフィルタ（カーネル）を用いた畳み込み処理と、畳み込み結果を２次元的に縮小して有効値を抽出するプーリング処理とを繰り返す。但し、多層ネットワーク７０は、プーリング層がなく畳み込み層のみで構成されていてもよい。また、最終段の畳み込み層７１では、所定のサイズのフィルタを入力画像内でスライドさせつつ局所的な畳み込みおよび逆畳み込みを行う。この全層畳み込みニューラルネットワークでは、ＩＨＭ位相像などの細胞画像３０に対してセグメンテーションを行うことで、除去対象領域および非除去対象領域などをそれぞれラベル付けしたラベル画像３９を出力することができる。
　ここでは、細胞の培養中に混入する塵埃などのごく微小な異物を識別するために、入力されるＩＨＭ位相像の画素単位でのラベル化を行うように多層ネットワーク７０および畳み込み層７１を設計する。即ち、出力画像であるラベル画像３９においてラベル付けされる一つの領域の最小単位は、ＩＨＭ位相像上の一つの画素である。そのため、たとえばＩＨＭ位相像上で１画素程度の大きさの異物が観測された場合でも、ラベル画像３９においてその異物は一つの領域として検出され、どこに異物が存在するのかの情報を作業者に正確に提供することができる。
　学習モデル生成部５１４は、学習データセット４５に含まれる細胞画像３０を全層畳み込みニューラルネットワークに入力し、その結果出力されるラベル画像３９を、細胞画像３０に関連付けられている教師データとしてのラベル画像４０と比較する。学習モデル生成部５１４は、出力結果としてのラベル画像３９が教師データとしてのラベル画像４０に近付くように、多層ネットワーク７０および畳み込み層７１内の各種パラメータを更新する。このような更新処理が全ての学習データセット４５について繰り返されることで、多層ネットワーク７０および畳み込み層７１内の各種パラメータが最適化される。当該最適化された各種パラメータは、学習モデル２８として制御装置２０に出力される。当該各種パラメータは、たとえば、多層ネットワーク７０の畳み込み層で適用される各フィルタの値や重みなどを含む。
　生成された学習モデル２８は、制御装置２０の記憶装置１２０内のデーターベース２７に蓄積される。図７は、データーベース２７のデータ構造の一例を示す図である。
　データーベース２７は、学習モデルを識別するための識別情報２７Ａと、学習モデルの作成日時情報２７Ｂと、学習モデルの生成元の学習データセットを識別するための識別情報２７Ｃと、学習モデルによる識別対象を規定する識別対象情報２７Ｄなどを含む。
　学習モデルの識別情報２７Ａは、たとえば、学習モデル名やＩＤ（Identification）で規定される。学習データセットの識別情報２７Ｃは、たとえば、学習データセットの名前や、学習データセットが格納されているフォルダへのパスなどで規定される。識別対象情報２７Ｄは、細胞名、異物名などで規定される。
　なお、学習モデル生成部５１４によって実行される機械学習には、別の環境で学習された他の学習モデルの一部または全部を初期モデルとして用いる転移学習が用いられてもよい。転移学習とは、ある環境で学習させた学習モデルを、別の環境に適応させるための技術である。
　より具体的には、学習モデル生成部５１４は、別の環境で学習された他の学習モデルの一部または全部を多層ネットワーク７０および畳み込み層７１内の各種パラメータの初期値として適用し、その上で上述の機械学習を実行する。このような転移学習により、多層ネットワーク７０および畳み込み層７１内の各種パラメータが早期に収束する。また、学習データセット４５が少数である場合であっても、識別精度が高い学習モデルが生成される。
　　（３．５．設定部６０１）
　次に、図４に示される設定部６０１の機能について説明する。
　設定部６０１は、データーベース２７に規定される学習モデルの中から選択された一の学習モデルを検出部６０２に設定する。学習モデルの選択操作は、たとえば、上述の入力部２５を用いて行われる。
　より具体的には、観察者は、学習モデルの設定画面を呼出し、当該設定画面を細胞画像解析装置１の表示部２６に表示させる。当該設定画面には、データーベース２７に含まれている学習モデルが一覧で表示される。このとき、データーベース２７に規定される各種情報が各学習モデルに並べて表示される。当該各種情報は、たとえば、学習モデルの識別情報２７Ａ（図７参照）、学習モデルの作成日時情報２７Ｂ（図７参照）、学習モデルの生成元の学習データセットの識別情報２７Ｃ（図７参照）と、学習モデルによる識別対象情報２７Ｄ（図７参照）とを含む。
　設計者は、入力部２５を操作することにより、一覧表示されている学習モデルの中から一の学習モデルを選択する。設定部６０１は、学習モデルが選択されたことに基づいて、選択された学習モデルを検出部６０２に設定する。
　このように、観察者は、データーベース２７に規定される任意の学習モデルを選択することができる。これにより、観察者は、除去対象物の種類や用途に合わせて学習モデルを切り替えることができる。
　　（３．６．検出部６０２）
　次に、図４に示される検出部６０２の機能について説明する。
　検出部６０２は、設定部６０１によって設定された学習モデル２８に基づいて、細胞画像解析装置１に新たに入力された入力画像から除去対象領域を検出する。検出部６０２は、画像作成部２４から順次得られる細胞画像に対して検出処理を都度行ってもよいし、入力画像を走査することで入力画像の各部分について検出処理を行ってもよい。
　検出部６０２は、検出結果として、除去対象領域と非除去対象領域とを区別したラベル画像を出力する。検出結果としてのラベル画像の各画素値が示す意味合いは、設定される学習モデルに応じて変わる。
　一例として、除去対象領域および非除去対象領域の２クラスを識別する学習モデルが設定されている場合、検出結果としてのラベル画像の各画素値は、二値で表される。一例として、画素値が「２５５（または１）」である画素は、除去対象領域としてみなされ、画素値が「０」である画素は、非除去対象領域としてみなされる。
　他の例として、除去対象物の種別や非除去対象物の種別など３クラス以上を識別する学習モデルが設定されている場合、検出結果としてのラベル画像の各画素値は、識別されるクラス数に応じた値で表される。すなわち、検出結果としてのラベル画像の各画素値は、クラスの種別を示すこととなる。各クラスと画素値との関係は、予め規定されている。
　検出部６０２による検出結果は、表示処理部６０３および除去機構制御部６０４にそれぞれ出力される。
　　（３．７．表示処理部６０３）
　次に、図４に示される表示処理部６０３の機能について説明する。
　表示処理部６０３は、検出部６０２によって検出された除去対象領域を細胞画像解析装置１の表示部２６に表示する。図８は、表示処理部６０３による表示結果の一例を示す図である。
　図８（Ａ）には、除去対象領域、非除去対象領域を識別する２クラス分類の学習モデルを入力画像に適用した場合における表示結果８０が示されている。表示結果８０においては、検出された除去対象領域がマーカー８１によって示されている。このように、表示処理部６０３は、検出部６０２によって検出された除去対象領域を入力画像に重畳して表示部２６に表示させる。
　図８（Ｂ）には、背景、未分化逸脱細胞、未分化細胞を識別する３クラス分類の学習モデルを入力画像に適用した場合におけるラベル画像８４が表示結果８５として示されている。表示結果８５においては、背景を表わす画像領域８６と、未分化逸脱細胞を表わす画像領域８７と、未分化細胞を表わす画像領域８８とが色分けされている。未分化逸脱細胞を表わす画像領域８７が除去対象領域として示され、背景および未分化逸脱細胞を表わす画像領域８６，８８が非除去対象領域として示される。
　なお、表示処理部６０３による表示結果の表示態様は、図８の例に限定されない。たとえば、表示処理部６０３は、除去対象領域が存在することを示すメッセージを入力画像に重畳させて表示してもよい。
　　（３．８．除去機構制御部６０４）
　次に、図４に示される除去機構制御部６０４の機能について説明する。
　除去機構制御部６０４は、検出部６０２によって検出された除去対象領域の検出結果に基づいて、除去機構１７に除去対象物を除去させる。より具体的には、除去機構制御部６０４は、検出部６０２によって除去対象領域が検出されたことに基づいて、顕微鏡基準の座標系で示される除去対象領域を、ワールド座標系で示される座標に変換する。顕微鏡基準の座標系からワールド座標系への変換行列は、予め規定されている。除去機構制御部６０４は、ワールド座標系に変換された除去位置に移動するように除去機構１７を駆動し、その上で除去指示を除去機構１７に送る。除去機構１７は、除去指示を受け付けたことに基づいて、除去処理を開始する。
　このように、除去機構制御部６０４は、検出部６０２によって検出された除去対象領域の検出結果に基づいて、除去機構１７に除去対象物を自動で除去させる。これにより、除去対象物を探す手間が省かれ、また、除去操作を行う必要がなくなる。さらに、このような自動除去の仕組みが提供されることで、細胞の培養時の品質管理を自動化することができる。
　＜４．ハードウェア構成＞
　図９および図１０を参照して、細胞画像解析装置１に構成する制御装置２０およびモデル生成装置５０のハードウェアについて順に説明する。
　　（４．１．制御装置２０のハードウェア構成）
　まず、図９を参照して、制御装置２０のハードウェア構成の一例について説明する。図９は、制御装置２０の主要なハードウェア構成を示すブロック図である。
　制御装置２０は、プロセッサ１０１と、ＲＯＭ（Read　Only　Memory）１０２と、ＲＡＭ（Random　Access　Memory）１０３と、通信インターフェイス１０４と、入力インターフェイス１０５と、表示インターフェイス１０６と、顕微鏡インターフェイス１０７と、記憶装置１２０とを含む。
　プロセッサ１０１は、たとえば、少なくとも１つの集積回路によって構成される。集積回路は、たとえば、少なくとも１つのＣＰＵ（Central　Processing　Unit）、少なくとも１つのＡＳＩＣ（Application　Specific　Integrated　Circuit）、少なくとも１つのＦＰＧＡ（Field　Programmable　Gate　Array）、またはそれらの組み合わせなどによって構成される。
　プロセッサ１０１は、顕微鏡１０の制御プログラム１２２など各種プログラムを実行することで制御装置２０の動作を制御する。プロセッサ１０１は、制御プログラム１２２の実行命令を受け付けたことに基づいて、記憶装置１２０からＲＯＭ１０２に制御プログラム１２２を読み出す。ＲＡＭ１０３は、ワーキングメモリとして機能し、制御プログラム１２２の実行に必要な各種データを一時的に格納する。
　通信インターフェイス１０４には、ＬＡＮやアンテナなどが接続される。制御装置２０は、通信インターフェイス１０４を介して、外部の通信機器との間でデータをやり取りする。外部の通信機器は、たとえば、サーバ（たとえば、後述のサーバ３００）、その他の通信端末などを含む。制御装置２０は、サーバから制御プログラム１２２をダウンロードできるように構成されてもよい。
　入力インターフェイス１０５は、たとえば、ＵＳＢ（Universal　Serial　Bus）端子であり、入力部２５に接続される。入力インターフェイス１０５は、入力部２５からのユーザー操作を示す信号を受け付ける。入力部２５は、たとえば、マウス、キーボード、タッチパネル、またはユーザーの操作を受け付けることが可能なその他の入力デバイスである。
　表示インターフェイス１０６は、表示部２６と接続され、プロセッサ１０１などからの指令に従って、表示部２６に対して、画像を表示するための画像信号を送出する。表示部２６は、たとえば、液晶ディスプレイ、有機ＥＬディスプレイ、またはその他の表示機器である。表示部２６には、たとえば、細胞画像解析装置１の除去対象領域の検出結果、細胞画像解析装置１に対する各種設定画面などが表示される。
　記憶装置１２０は、たとえば、ハードディスクやフラッシュメモリなどの記憶媒体である。記憶装置１２０は、モデル生成装置５０によって生成された学習モデル２８、顕微鏡１０の制御プログラム１２２などを格納する。なお、学習モデル２８および制御プログラム１２２の格納場所は、記憶装置１２０に限定されず、プロセッサ１０１の記憶領域（たとえば、キャッシュメモリなど）、ＲＯＭ１０２、ＲＡＭ１０３、外部機器（たとえば、サーバ）などに格納されていてもよい。
　　（４．２．モデル生成装置５０のハードウェア構成）
　次に、図１０を参照して、モデル生成装置５０のハードウェア構成の一例について説明する。図１０は、モデル生成装置５０の主要なハードウェア構成を示すブロック図である。
　モデル生成装置５０は、プロセッサ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、通信インターフェイス２０４と、入力インターフェイス２０５と、表示インターフェイス２０６と、顕微鏡インターフェイス２０７と、記憶装置２２０とを含む。これらのハードウェアは、制御装置２０の各種ハードウェアと同じであり、上述の図９で説明した通りであるので、以下では、制御装置２０と異なる部分についてのみ説明を行う。
　記憶装置２２０は、たとえば、ハードディスクやフラッシュメモリなどの記憶媒体である。記憶装置２２０は、学習モデル生成のために収集された学習データセット４５、学習処理に関する各種処理を実現するための画像解析プログラム２２２などを格納する。画像解析プログラム２２２は、学習データセットを生成するための生成プログラムなどを含む。学習データセット４５および画像解析プログラム２２２の格納場所は、記憶装置２２０に限定されず、プロセッサ２０１の記憶領域（たとえば、キャッシュメモリなど）、ＲＯＭ２０２、ＲＡＭ２０３、外部機器（たとえば、サーバ）などに格納されていてもよい。
　なお、画像解析プログラム２２２は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、本実施の形態に従う処理は、任意のプログラムと協働して実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う画像解析プログラム２２２の趣旨を逸脱するものではない。さらに、画像解析プログラム２２２によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、制御装置２０とモデル生成装置５０とが協働して、画像解析プログラム２２２を実行するように構成されてもよい。
　＜５．制御構造＞
　細胞画像解析装置１が実行する学習処理に関する主な処理は、（ａ）学習データセットの収集処理と、（ｂ）収集した学習データセットを用いた学習処理と、（ｃ）学習処理により生成された学習モデルに基づいて、入力画像から除去対象領域を検出する検出処理とを含む。
　これらの処理（ａ）～（ｃ）は、制御装置２０のプロセッサ１０１やモデル生成装置５０のプロセッサ２０１がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
　以下では、図１１～図１３を参照して、上記処理（ａ）～（ｃ）について順に説明する。
　　（５．１．学習データセットの収集処理）
　まず、図１１を参照して、学習データセットの収集処理のフローについて説明する。図１１は、学習データセットの収集処理を表わすフローチャートである。図１１に示される収集処理は、たとえば、モデル生成装置５０のプロセッサ２０１によって実現される。
　ステップＳ１１０において、プロセッサ２０１は、モデル生成装置５０の動作モードが学習データセットの自動収集モードに設定されたか否かを判断する。当該自動収集モードは、たとえば、ユーザー操作に応じて設定される。プロセッサ２０１は、モデル生成装置５０の動作モードが自動収集モードに設定されたと判断した場合（ステップＳ１１０においてＹＥＳ）、制御をステップＳ１２０に切り替える。そうでない場合には（ステップＳ１１０においてＮＯ）、プロセッサ２０１は、図１１に示される収取処理を終了する。
　ステップＳ１２０において、プロセッサ２０１は、顕微鏡１０に対する除去操作を検知したか否かを判断する。当該除去操作は、上述の入力部２５（図２参照）に対するユーザ操作に基づいて判別される。プロセッサ２０１は、顕微鏡１０に対する除去操作を検知したと判断した場合（ステップＳ１２０においてＹＥＳ）、制御をステップＳ１２２に切り替える。そうでない場合には（ステップＳ１２０においてＮＯ）、プロセッサ２０１は、制御をステップＳ１１０に戻す。
　ステップＳ１２２において、プロセッサ２０１は、上述の画像取得部５１１（図４参照）として、除去対象物の除去前の細胞画像３０と、除去対象物の除去後の細胞画像３５とを取得する。細胞画像３０，３５の取得方法については、上記「３．１．画像取得部５１１」で説明した通りであるので、その説明については繰り返さない。
　ステップＳ１２４において、プロセッサ２０１は、上述の教師データ生成部５１２（図４参照）として、ステップＳ１２２で取得した細胞画像３０，３５から除去対象領域４０Ａを特定し、細胞画像内において除去対象領域４０Ａの場所を表したラベル画像４０を教師データとして生成する。ラベル画像４０の生成方法については、上記「３．２．教師データ生成部５１２」で説明した通りであるので、その説明については繰り返さない。
　ステップＳ１２６において、プロセッサ２０１は、上述の学習データセット生成部５１３（図４参照）として、ステップＳ１２２で取得した細胞画像３０と、ステップＳ１２４で生成されたラベル画像４０とを機械学習に用いる学習データセット４５として生成する。学習データセット４５の生成方法については、上記「３．２．教師データ生成部５１２」で説明した通りであるので、その説明については繰り返さない。
　ステップＳ１２２で取得した細胞画像３０，３５から除去対象領域４０Ａを特定し、細胞画像内において除去対象領域４０Ａの場所を表したラベル画像４０を教師データとして生成する。ラベル画像４０の生成方法については、上記「３．３．学習データセット生成部５１３」で説明した通りであるので、その説明については繰り返さない。
　以上のように、図１１に示される各ステップの処理が繰り返されることで、学習データセットが蓄積される。
　　（５．２．学習処理）
　次に、図１２を参照して、上述の収集処理により収集された学習データセットを学習する処理について説明する。図１２は、収集された学習データセットの学習処理を表わすフローチャートである。図１２に示される学習処理は、たとえば、モデル生成装置５０のプロセッサ２０１によって実現される。
　ステップＳ２１０において、プロセッサ２０１は、学習処理が実行されたか否かを判断する。プロセッサ２０１は、学習処理が実行されたと判断した場合（ステップＳ２１０においてＹＥＳ）、制御をステップＳ２１２に切り替える。そうでない場合には（ステップＳ２１０においてＮＯ）、プロセッサ２０１は、ステップＳ２１０の処理を再び実行する。
　ステップＳ２１２において、プロセッサ２０１は、記憶装置２２０に格納されている複数の学習データセットの内から、未学習の学習データセット４５を１つまたは複数取得する。
　ステップＳ２１４において、プロセッサ２０１は、上述の学習モデル生成部５１４（図４参照）として、ステップＳ２１２で得られた学習データセット４５に含まれる細胞画像３０を現在の学習モデルに適用する。
　ステップＳ２１６において、プロセッサ２０１は、上述の学習モデル生成部５１４として、ステップＳ２１４での適用結果として現在の学習モデルから得られたラベル画像３９と、ステップＳ２１２で得られた学習データセット４５に含まれる教師データとしてのラベル画像４０とを比較する。そして、プロセッサ２０１は、適用結果としてのラベル画像３９が教師データとしてのラベル画像４０に近付くように、現在の学習モデル内の各種パラメータを更新する。
　ステップＳ２２０において、プロセッサ２０１は、記憶装置２２０に格納されている学習データセットの中に、未学習の学習データセットが存在するか否かについて判断する。プロセッサ２０１は、未学習の学習データセットが存在すると判断した場合（ステップＳ２２０においてＹＥＳ）、図１２に示される学習処理を終了する。そうでない場合には（ステップＳ２２０においてＮＯ）、プロセッサ２０１は、制御をステップＳ２１２に戻す。
　以上のように、図１２に示されるステップＳ２１２，Ｓ２１４，Ｓ２１６，Ｓ２２０が繰り返されることで、学習モデルを規定する各種パラメータが教師データに合わせて逐次的に更新される。
　　（５．３．検出処理）
　次に、図１３を参照して、上述の学習処理により生成された学習モデルに基づいて、入力画像から除去対象領域を検出する処理について説明する。図１３は、入力画像から除去対象領域を検出する検出処理を表わすフローチャートである。図１３に示される検出処理は、たとえば、制御装置２０のプロセッサ１０１によって実現される。
　ステップＳ３１０において、プロセッサ１０１は、制御装置２０の動作モードが自動除去モードに設定されたか否かを判断する。当該自動除去モードは、たとえば、ユーザー操作に応じて設定される。プロセッサ１０１は、制御装置２０の動作モードが自動除去モードに設定されたと判断した場合（ステップＳ３１０においてＹＥＳ）、制御をステップＳ３１２に切り替える。そうでない場合には（ステップＳ３１０においてＮＯ）、プロセッサ２０１は、図１３に示される検出処理を終了する。
　ステップＳ３１２において、プロセッサ１０１は、細胞などの検査対象の撮影を実行し、ＩＨＭ位相像としての入力画像を画像作成部２４（図２参照）から取得する。
　ステップＳ３１４において、プロセッサ１０１は、ステップＳ３１２で得られた入力画像に対して、上述の図１２の学習処理により得られた学習モデルを適用し、検出結果としてのラベル画像８４を取得する。
　ステップＳ３１６において、プロセッサ１０１は、上述の検出部６０２（図４参照）として、ステップＳ３１４で得られたラベル画像８４に基づいて、除去対象領域を特定する。一例として、プロセッサ１０１は、除去対象領域を示す画素値を有する画素の集合をグルーピングし、各グループについて面積（たとえば、画素数）を算出する。プロセッサ１０１は、当該面積が所定値以上であるグループが存在する場合、入力画像内に除去対象領域が存在すると判断する。
　ステップＳ３２０において、プロセッサ１０１は、入力画像内において除去対象領域が存在すると判断した場合（ステップＳ３２０においてＹＥＳ）、制御をステップＳ３２２に切り替える。そうでない場合には（ステップＳ３２０においてＮＯ）、プロセッサ２０１は、制御をステップＳ３１０に戻す。
　ステップＳ３２２において、プロセッサ１０１は、上述の表示処理部６０３（図４参照）として、ステップＳ３１６で検出された除去対象領域を入力画像に重畳させて表示部２６に表示する。除去対象領域の表示方法については、上記「３．７．表示処理部６０３」で説明した通りであるので、その説明については繰り返さない。
　ステップＳ３３０において、プロセッサ１０１は、検出された除去対象領域について除去命令を受け付けたか否かを判断する。除去命令は、たとえば、上述の入力部２５に対するユーザー操作に基づいて発せられる。プロセッサ１０１は、検出された除去対象領域について除去命令を受け付けたと判断した場合（ステップＳ３３０においてＹＥＳ）、制御をステップＳ３３２に切り替える。そうでない場合には（ステップＳ３３０においてＮＯ）、プロセッサ２０１は、制御をステップＳ３１０に戻す。
　ステップＳ３３２において、プロセッサ１０１は、上述の除去機構制御部６０４（図４参照）として、ステップＳ３１６で検出された除去対象領域の位置（座標値）に基づいて、顕微鏡１０の除去機構１７を駆動し、除去機構１７に除去対象物を除去させる。当該除去方法については、上記「３．８．除去機構制御部６０４」で説明した通りであるので、その説明については繰り返さない。
　＜６．第１の実施の形態のまとめ＞
　以上のようにして、本実施の形態に従う細胞画像解析装置１は、除去対象物が写っている細胞画像３０から除去対象領域４０Ａを特定し、細胞画像３０内において除去対象領域４０Ａの場所を表したラベル画像４０を教師データとして生成する。そして、細胞画像解析装置１は、生成したラベル画像４０と、生成元の細胞画像３０とを機械学習に用いる学習データセット４５として生成する。
　このように、教師データとしてのラベル画像４０が自動で生成されることで、設計者は、細胞画像３０に対してラベリングを行う必要がなくなる。結果として、学習データを収集するための時間が大幅に削減される。また、このような学習データセットを自動生成するための仕組みが提供されることで、設計者は、学習データセットを容易かつ大量に収集することができる。
　［第２の実施の形態］
　＜７．概要＞
　上述の第１の実施の形態においては、学習データセットの収集機能と、収集された学習データセットの学習機能とが細胞画像解析装置１に実装されていた。これに対して、第２の実施の形態においては、これらの機能がサーバ上に実装される。
　細胞画像解析装置１のハードウェア構成などその他の点については上述の第１の実施の形態で説明した通りであるので、以下では、それらの説明については繰り返さない。
　＜８．システム構成＞
　図１４を参照して、第２の実施の形態に従う細胞画像解析システム５００のシステム構成について説明する。図１４は、第２の実施の形態に従う細胞画像解析システム５００のシステム構成の一例を表わす図である。
　図１４に示されるように、細胞画像解析システム５００は、複数の細胞画像解析装置１と、１つ以上のサーバ３００とを含む。細胞画像解析装置１の各々と、サーバ３００とは、互いに通信可能に構成されている。
　細胞画像解析装置１の各々は、「第１の実施の形態」で説明した上述の方法により学習データセット４５を生成する。生成された学習データセット４５は、サーバ３００に送信される。サーバ３００は、細胞画像解析装置１の各々から受信した学習データセット４５を蓄積する。そして、サーバ３００は、収集した学習データセット４５に対して上述の機械学習を実行し、学習モデルを生成する。生成された学習モデルは、細胞画像解析装置１の各々に配布される。
　なお、図１４の例では、細胞画像解析システム５００が３つの細胞画像解析装置１で構成されている例が示されているが、細胞画像解析システム５００は、１つ以上の細胞画像解析装置１で構成さればよい。また、図１４の例では、細胞画像解析システム５００が１つのサーバ３００で構成されている例が示されているが、細胞画像解析システム５００は、複数のサーバ３００で構成されてもよい。
　＜９．機能構成＞
　図１５を参照して、細胞画像解析システム５００の機能構成について説明する。図１５は、細胞画像解析システム５００の機能構成の一例を示す図である。
　図１５に示されるように、細胞画像解析システム５００は、複数の細胞画像解析装置１と、サーバ３００とを含む。
　細胞画像解析装置１は、機能モジュールとして、画像取得部５１１と、教師データ生成部５１２と、学習データセット生成部５１３と、通信部５１５と、設定部６０１と、検出部６０２と、表示処理部６０３と、除去機構制御部６０４とを含む。サーバ３００は、機能モジュールとして、学習モデル生成部５１４と、通信部５１６とを含む。
　通信部５１５，５１６以外の機能構成については図４で説明した通りであるので、以下ではそれらの説明については繰り返さない。
　細胞画像解析装置１の通信部５１５は、上述の通信インターフェイス１０４（または通信インターフェイス２０４）を制御するための通信ドライバである。通信部５１５により、サーバ３００との通信が実現される。通信部５１５は、記憶装置２２０に蓄積された学習データセット４５をサーバ３００に送る。なお、学習データセット４５は、生成される度にサーバ３００に送信されてもよいし、所定数の学習データセット４５が蓄積されたことに基づいてサーバ３００に送信されてもよいし、ユーザ操作に基づいてサーバ３００に送信されてもよい。
　好ましくは、学習データセット４５は、観察者によって選択された上でサーバ３００に送信される。より具体的には、細胞画像解析装置１は、収集した学習データセット４５を一覧表示する。観察者は、一覧表示された学習データセット４５を確認し、送信対象の学習データセット４５を選択し、その上で送信実行操作を行う。細胞画像解析装置１の通信部５１５は、送信実行操作を受け付けたことに基づいて、選択された学習データセット４５をサーバ３００に送信する。
　サーバ３００の通信部５１６は、後述の通信インターフェイス３０４（図１６参照）を制御するための通信ドライバである。通信部５１６は、細胞画像解析装置１の各々から学習データセット４５を受信し、受信した学習データセット４５を記憶装置３２０に順次格納する。その後、学習モデル生成部５１４は、細胞画像解析装置１の各々から収集した学習データセット４５を用いて機械学習を実行する。生成された学習モデルは、記憶装置３２０内のデーターベース２７に保存される。
　サーバ３００の通信部５１６は、細胞画像解析装置１から学習モデル２８のダウンロード命令を受信したことに基づいて、データーベース２７からダウンロード指定された学習モデル２８を取得する。その後、サーバ３００の通信部５１６は、取得した学習モデル２８をダウンロード命令の送信元の細胞画像解析装置１に送信する。
　細胞画像解析装置１の通信部５１５は、サーバ３００から受信した学習モデル２８を記憶装置１２０に格納する。
　なお、各機能モジュールの実装形態は、図１５に示される例に限定されない。一例として、教師データ生成部５１２および学習データセット生成部５１３は、細胞画像解析装置１ではなく、サーバ３００に実装されてもよい。
　＜１０．サーバ３００のハードウェア構成＞
　図１６を参照して、サーバ３００のハードウェア構成の一例について説明する。図１６は、サーバ３００の主要なハードウェア構成を示すブロック図である。
　サーバ３００は、プロセッサ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、通信インターフェイス３０４と、入力インターフェイス３０５と、表示インターフェイス３０６と、顕微鏡インターフェイス３０７と、記憶装置３２０とを含む。これらのハードウェアは、制御装置２０の各種ハードウェアと同じであり、上述の図９で説明した通りであるので、以下では、制御装置２０と異なる部分についてのみ説明を行う。
　記憶装置３２０は、たとえば、ハードディスクやフラッシュメモリなどの記憶媒体である。記憶装置３２０は、細胞画像解析装置１から収集された学習データセット４５、学習データセット４５から生成された学習モデル２８、学習処理に関する各種処理を実現するための画像解析プログラム３２２などを格納する。画像解析プログラム３２２は、学習データセットを生成するための生成プログラムなどを含む。
　画像解析プログラム３２２は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、本実施の形態に従う処理は、任意のプログラムと協働して実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う画像解析プログラム３２２の趣旨を逸脱するものではない。さらに、画像解析プログラム３２２によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、細胞画像解析装置１とサーバ３００とが協働して、画像解析プログラム３２２を実行するように構成されてもよい。
　＜１１．第２の実施の形態のまとめ＞
　以上のようにして、第２の実施の形態においては、サーバ３００が細胞画像解析装置１の各々から学習データセット４５を収集し、収集した学習データセット４５を用いて学習モデルを生成する。サーバ３００が細胞画像解析装置１の各々から学習データセット４５を収集する仕組みが提供されることで、学習データセット４５が容易かつ大量に収集される。
　また、通常、機械学習を行うためには高スペックのＰＣが必要であるが、機械学習を行う機能がサーバ３００に搭載されることで、ユーザサイドの細胞画像解析装置１を低コスト化することができる。
　今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
　１　細胞画像解析装置、１０　顕微鏡、１１　光源部、１２　イメージセンサ、１３　培養プレート、１４　細胞コロニー、１５　参照光、１６　物体光、１７　除去機構、２０　制御装置、２１　撮影制御部、２２　ホログラムデータ記憶部、２３　位相情報算出部、２４　画像作成部、２５　入力部、２６　表示部、２７　データーベース、２７Ａ，２７Ｃ　識別情報、２７Ｂ　作成日時情報、２７Ｄ　識別対象情報、２８　学習モデル、３０，３３，３５　細胞画像、３１　除去対象物、３７　差分画像、３９，４０，８４　ラベル画像、４０Ａ　除去対象領域、４０Ｂ　非除去対象領域、４５　学習データセット、５０　モデル生成装置、５１　学習処理部、６０　細胞画像解析部、７０　多層ネットワーク、７１　畳み込み層層、８０，８５　表示結果、８１　マーカー、８６，８７，８８　画像領域、１０１，２０１，３０１　プロセッサ、１０２，２０２，３０２　ＲＯＭ、１０３，２０３，３０３　ＲＡＭ、１０４，２０４，３０４　通信インターフェイス、１０５，２０５，３０５　入力インターフェイス、１０６，２０６，３０６　表示インターフェイス、１０７，２０７，３０７　顕微鏡インターフェイス、１２０，２２０，３２０　記憶装置、１２２　制御プログラム、２２２，３２２　画像解析プログラム、３００　サーバ、５００　細胞画像解析システム、５１１　画像取得部、５１２　教師データ生成部、５１３　学習データセット生成部、５１４　学習モデル生成部、５１５，５１６　通信部、６０１　設定部、６０２　検出部、６０３　表示処理部、６０４　除去機構制御部。

Claims (14)

  1. 　機械学習に用いられる教師データを生成することが可能な細胞画像解析装置であって、
    　細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている第１細胞画像を取得するための画像取得部と、
    　予め定められた画像処理を実行することで、前記第１細胞画像内から前記除去対象物が写っている除去対象領域を特定し、前記第１細胞画像内の前記除去対象領域の場所を表したラベル画像を前記機械学習の教師データとして生成するための教師データ生成部と、
    　前記第１細胞画像と前記ラベル画像とのセットを前記機械学習に用いる学習データセットとして生成するための学習データセット生成部とを備える、細胞画像解析装置。
  2. 　前記画像取得部は、前記除去対象物の除去後に前記顕微鏡から得られた第２細胞画像をさらに取得し、
    　前記予め定められた画像処理は、前記第１細胞画像と前記第２細胞画像との比較結果から前記除去対象領域を特定することを含む、請求項１に記載の細胞画像解析装置。
  3. 　前記予め定められた画像処理は、前記第１細胞画像から前記第２細胞画像を差分した差分画像に基づいて、前記除去対象領域を特定することを含む、請求項２に記載の細胞画像解析装置。
  4. 　前記細胞画像解析装置は、前記第１細胞画像内の予め定められた領域に写る物体を除去するように構成された除去機構をさらに含み、
    　前記予め定められた画像処理は、前記第１細胞画像内の前記予め定められた領域を前記除去対象領域として特定することを含む、請求項１に記載の細胞画像解析装置。
  5. 　前記細胞画像解析装置は、
    　　前記学習データセット生成部によって生成された複数の学習データセットを用いた機械学習を実行し、画像内から前記除去対象物を識別するための学習モデルを生成する学習モデル生成部と、
    　　前記学習モデルに基づいて、前記細胞画像解析装置に入力された入力画像から前記除去対象領域を検出するための検出部とを備える、請求項１～４のいずれか１項に記載の細胞画像解析装置。
  6. 　前記学習モデル生成部によって実行される機械学習は、予め学習された学習モデルの一部または全部を初期モデルとして用いる転移学習を含む、請求項５に記載の細胞画像解析装置。
  7. 　前記細胞画像解析装置は、
    　　前記学習モデル生成部によって生成された複数の学習モデルを格納するための記憶装置と、
    　　前記複数の学習モデルから一の学習モデルの選択操作を受け付けるための入力部とをさらに備え、
    　前記検出部は、前記選択操作によって選択された学習モデルに基づいて、前記入力画像から前記除去対象領域を検出する、請求項５または６に記載の細胞画像解析装置。
  8. 　前記細胞画像解析装置は、
    　　表示部と、
    　　前記検出部によって検出された前記除去対象領域を前記入力画像に重畳して前記表示部に表示させるための表示処理部とをさらに備える、請求項５～７のいずれか１項に記載の細胞画像解析装置。
  9. 　前記細胞画像解析装置は、前記検出部によって検出された前記除去対象領域の検出結果に基づいて、前記除去対象物を前記顕微鏡の除去機構に除去させるための除去機構制御部を備える、請求項５～８のいずれか１項に記載の細胞画像解析装置。
  10. 　機械学習に用いられる教師データを生成することが可能な細胞画像解析システムであって、
    　サーバと、
    　前記サーバと通信可能に構成されている複数の細胞画像解析装置とを備え、
    　前記複数の細胞画像解析装置は、それぞれ、
    　　細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像を取得するための画像取得部と、
    　　予め定められた画像処理を実行することで、前記細胞画像内から前記除去対象物が写っている除去対象領域を特定し、前記細胞画像内の前記除去対象領域の場所を表したラベル画像を前記機械学習の教師データとして生成するための教師データ生成部と、
    　　前記細胞画像と前記ラベル画像とのセットを前記機械学習に用いる学習データセットとして生成するための学習データセット生成部と、
    　　前記学習データセットを前記サーバに送信するための通信部とを含む、細胞画像解析システム。
  11. 　細胞画像と前記細胞画像内の除去対象領域の場所を表したラベル画像とを受信するステップと、
    　受信した前記細胞画像と前記ラベル画像とを用いて機械学習を行うことにより、細胞画像を入力画像とし、前記入力画像内の除去対象領域の場所を表す画像を出力画像とする学習モデルを生成するステップと、
    　生成した学習モデルを送信するステップとを備えた、方法。
  12. 　機械学習に用いられる教師データの生成方法であって、
    　細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像を取得するステップと、
    　予め定められた画像処理を実行することで、前記細胞画像内から前記除去対象物が写っている除去対象領域を特定し、前記細胞画像内の前記除去対象領域の場所を表したラベル画像を前記機械学習の教師データとして生成するステップと、
    　前記細胞画像と前記ラベル画像とのセットを前記機械学習に用いる学習データセットとして生成するステップとを備える、学習データの生成方法。
  13. 　機械学習に用いられる教師データの生成プログラムであって、
    　前記生成プログラムは、コンピュータに、
    　　細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像を取得するステップと、
    　　予め定められた画像処理を実行することで、前記細胞画像内から前記除去対象物が写っている除去対象領域を特定し、前記細胞画像内の前記除去対象領域の場所を表したラベル画像を前記機械学習の教師データとして生成するステップと、
    　　前記細胞画像と前記ラベル画像とのセットを前記機械学習に用いる学習データセットとして生成するステップとを実行させる、学習データの生成プログラム。
  14. 　機械学習に用いられる教師データの製造方法であって、
    　細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像を取得する工程と、
    　予め定められた画像処理を実行することで、前記細胞画像内から前記除去対象物が写っている除去対象領域を特定し、前記細胞画像内の前記除去対象領域の場所を表したラベル画像を前記機械学習の教師データとして生成する工程と、
    　前記細胞画像と前記ラベル画像とのセットを前記機械学習に用いる学習データセットとして生成する工程とを備える、学習データの製造方法。
PCT/JP2018/011195 2018-03-20 2018-03-20 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法 WO2019180848A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880091367.5A CN111919117B (zh) 2018-03-20 2018-03-20 细胞图像解析装置、系统、学习数据生成方法及程序、制造方法、学习模型生成方法
JP2020507194A JP6981533B2 (ja) 2018-03-20 2018-03-20 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法
PCT/JP2018/011195 WO2019180848A1 (ja) 2018-03-20 2018-03-20 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法
US16/981,637 US11686721B2 (en) 2018-03-20 2018-03-20 Cell image analysis apparatus, cell image analysis system, method of generating training data, method of generating trained model, training data generation program, and method of producing training data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/011195 WO2019180848A1 (ja) 2018-03-20 2018-03-20 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法

Publications (1)

Publication Number Publication Date
WO2019180848A1 true WO2019180848A1 (ja) 2019-09-26

Family

ID=67988409

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011195 WO2019180848A1 (ja) 2018-03-20 2018-03-20 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法

Country Status (4)

Country Link
US (1) US11686721B2 (ja)
JP (1) JP6981533B2 (ja)
CN (1) CN111919117B (ja)
WO (1) WO2019180848A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210019499A1 (en) * 2018-03-20 2021-01-21 Shimadzu Corporation Cell Image Analysis Apparatus, Cell Image Analysis System, Method of Generating Training Data, Method of Generating Trained Model, Training Data Generation Program, and Method of Producing Training Data
WO2021076075A3 (en) * 2019-10-14 2021-06-17 İzmi̇r Yüksek Teknoloji̇ Ensti̇tüsü Cell viability analysis and counting from holograms by using deep learning and appropriate lensless holographic microscope
JP6908806B1 (ja) * 2020-09-16 2021-07-28 ＢｏｎＢｏｎ株式会社 プログラム、情報処理装置、方法
JP2021140739A (ja) * 2020-02-28 2021-09-16 株式会社Pros Cons プログラム、学習済みモデルの生成方法、情報処理方法及び情報処理装置
JP2021157235A (ja) * 2020-03-25 2021-10-07 日東電工株式会社 画像分類プログラムの製造方法、及び画像分類プログラム
WO2022019110A1 (ja) * 2020-07-21 2022-01-27 株式会社シバサキ プログラム、情報処理装置、情報処理方法及びモデル生成方法
JP2022103149A (ja) * 2020-12-25 2022-07-07 日本電気株式会社 画像処理方法及びコンピューティングデバイス
WO2023032730A1 (ja) * 2021-08-30 2023-03-09 株式会社島津製作所 細胞画像解析システム、細胞画像解析装置、および、細胞画像解析方法
JP7383982B2 (ja) 2019-10-30 2023-11-21 株式会社ジェイテクト 工具寿命予測システム
EP4163360A4 (en) * 2020-06-22 2024-05-01 Kataoka Corporation CELL PROCESSING DEVICE, LEARNING DEVICE AND LEARNED MODEL PROPOSAL DEVICE

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7210355B2 (ja) * 2019-03-27 2023-01-23 株式会社エビデント 細胞観察システム、コロニー生成位置推定方法、推論モデル生成方法、およびプログラム
US20210407051A1 (en) * 2020-06-26 2021-12-30 Nvidia Corporation Image generation using one or more neural networks
WO2023019559A1 (zh) * 2021-08-20 2023-02-23 深圳先进技术研究院 一种自动化干细胞检测方法、系统、终端以及存储介质
WO2023221951A2 (zh) * 2022-05-14 2023-11-23 北京大学 基于细胞动态图像机器学习的细胞分化
CN116664966B (zh) * 2023-03-27 2024-02-20 北京鹰之眼智能健康科技有限公司 一种红外图像处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006517292A (ja) * 2003-02-05 2006-07-20 エボテック・テヒノロギーズ・ゲーエムベーハー マルチパラメトリック細胞同定・選別法および対応の装置
JP2009044974A (ja) * 2007-08-16 2009-03-05 Univ Nagoya 細胞の品質を予測する予測モデルの構築法、予測モデルの構築用ブログラム、該プログラムを記録した記録媒体、予測モデルの構築用装置
JP2014044050A (ja) * 2012-08-24 2014-03-13 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
JP2015210212A (ja) * 2014-04-28 2015-11-24 横河電機株式会社 細胞生死判定システム、細胞生死判定方法
JP2017120229A (ja) * 2015-12-28 2017-07-06 シスメックス株式会社 細胞領域決定方法、細胞撮像システム、細胞画像の処理装置及びコンピュータプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3364323B2 (ja) * 1994-05-17 2003-01-08 謙 石原 非侵襲血液分析装置
JP3471556B2 (ja) 1997-03-27 2003-12-02 理化学研究所 位相シフトディジタルホログラフィ装置
US8346483B2 (en) * 2002-09-13 2013-01-01 Life Technologies Corporation Interactive and automated tissue image analysis with global training database and variable-abstraction processing in cytological specimen classification and laser capture microdissection applications
US7796815B2 (en) * 2005-06-10 2010-09-14 The Cleveland Clinic Foundation Image analysis of biological objects
EP2064310B1 (de) * 2006-09-22 2017-04-26 ALS Automated Lab Solutions GmbH Verfahren und vorrichtung zur automatisierten entnahme von zellen und/oder zellkolonien
JP4968595B2 (ja) 2008-07-23 2012-07-04 株式会社ニコン 細胞の状態判別手法及び細胞観察の画像処理装置
US8935136B2 (en) * 2011-09-22 2015-01-13 Microsoft Corporation Multi-component model engineering
JP5376024B1 (ja) * 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
US9858469B2 (en) * 2013-12-30 2018-01-02 Ge Healthcare Bio-Sciences Corp. Modular image analysis system and method
WO2016084420A1 (ja) 2014-11-27 2016-06-02 株式会社島津製作所 ディジタルホログラフィ装置及びディジタルホログラム生成方法
JP6720756B2 (ja) * 2015-10-08 2020-07-08 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
US10572828B2 (en) * 2015-10-28 2020-02-25 Qomplx, Inc. Transfer learning and domain adaptation using distributable data models
WO2017203718A1 (ja) 2016-05-27 2017-11-30 株式会社島津製作所 ホログラフィ観察方法及び装置
CA3037366A1 (en) * 2016-09-29 2018-04-05 Myriad Women's Health, Inc. Noninvasive prenatal screening using dynamic iterative depth optimization
CN107169556A (zh) * 2017-05-15 2017-09-15 电子科技大学 基于深度学习的干细胞自动计数方法
WO2019039035A1 (ja) * 2017-08-25 2019-02-28 富士フイルム株式会社 判別器の学習装置、方法およびプログラム、並びに判別器
WO2019151307A1 (ja) * 2018-01-30 2019-08-08 国立研究開発法人理化学研究所 マスク構造最適化装置、マスク構造最適化方法およびプログラム
CN111837157A (zh) * 2018-03-08 2020-10-27 株式会社岛津制作所 细胞图像解析方法、细胞图像解析装置、及学习模型创建方法
CN111919117B (zh) * 2018-03-20 2023-01-24 株式会社岛津制作所 细胞图像解析装置、系统、学习数据生成方法及程序、制造方法、学习模型生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006517292A (ja) * 2003-02-05 2006-07-20 エボテック・テヒノロギーズ・ゲーエムベーハー マルチパラメトリック細胞同定・選別法および対応の装置
JP2009044974A (ja) * 2007-08-16 2009-03-05 Univ Nagoya 細胞の品質を予測する予測モデルの構築法、予測モデルの構築用ブログラム、該プログラムを記録した記録媒体、予測モデルの構築用装置
JP2014044050A (ja) * 2012-08-24 2014-03-13 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
JP2015210212A (ja) * 2014-04-28 2015-11-24 横河電機株式会社 細胞生死判定システム、細胞生死判定方法
JP2017120229A (ja) * 2015-12-28 2017-07-06 シスメックス株式会社 細胞領域決定方法、細胞撮像システム、細胞画像の処理装置及びコンピュータプログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210019499A1 (en) * 2018-03-20 2021-01-21 Shimadzu Corporation Cell Image Analysis Apparatus, Cell Image Analysis System, Method of Generating Training Data, Method of Generating Trained Model, Training Data Generation Program, and Method of Producing Training Data
US11686721B2 (en) * 2018-03-20 2023-06-27 Shimadzu Corporation Cell image analysis apparatus, cell image analysis system, method of generating training data, method of generating trained model, training data generation program, and method of producing training data
WO2021076075A3 (en) * 2019-10-14 2021-06-17 İzmi̇r Yüksek Teknoloji̇ Ensti̇tüsü Cell viability analysis and counting from holograms by using deep learning and appropriate lensless holographic microscope
JP7383982B2 (ja) 2019-10-30 2023-11-21 株式会社ジェイテクト 工具寿命予測システム
JP2021140739A (ja) * 2020-02-28 2021-09-16 株式会社Pros Cons プログラム、学習済みモデルの生成方法、情報処理方法及び情報処理装置
JP7289427B2 (ja) 2020-02-28 2023-06-12 株式会社Pros Cons プログラム、情報処理方法及び情報処理装置
JP2021157235A (ja) * 2020-03-25 2021-10-07 日東電工株式会社 画像分類プログラムの製造方法、及び画像分類プログラム
JP7045410B2 (ja) 2020-03-25 2022-03-31 日東電工株式会社 画像分類プログラムの組換方法
EP4163360A4 (en) * 2020-06-22 2024-05-01 Kataoka Corporation CELL PROCESSING DEVICE, LEARNING DEVICE AND LEARNED MODEL PROPOSAL DEVICE
WO2022019110A1 (ja) * 2020-07-21 2022-01-27 株式会社シバサキ プログラム、情報処理装置、情報処理方法及びモデル生成方法
JP7391285B2 (ja) 2020-07-21 2023-12-05 株式会社シバサキ プログラム、情報処理装置、情報処理方法及びモデル生成方法
JP2022049586A (ja) * 2020-09-16 2022-03-29 ＢｏｎＢｏｎ株式会社 プログラム、情報処理装置、方法
JP6908806B1 (ja) * 2020-09-16 2021-07-28 ＢｏｎＢｏｎ株式会社 プログラム、情報処理装置、方法
JP2022103149A (ja) * 2020-12-25 2022-07-07 日本電気株式会社 画像処理方法及びコンピューティングデバイス
JP7347492B2 (ja) 2020-12-25 2023-09-20 日本電気株式会社 画像処理方法及びコンピューティングデバイス
WO2023032730A1 (ja) * 2021-08-30 2023-03-09 株式会社島津製作所 細胞画像解析システム、細胞画像解析装置、および、細胞画像解析方法

Also Published As

Publication number Publication date
JP6981533B2 (ja) 2021-12-15
US20210019499A1 (en) 2021-01-21
CN111919117B (zh) 2023-01-24
CN111919117A (zh) 2020-11-10
US11686721B2 (en) 2023-06-27
JPWO2019180848A1 (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
WO2019180848A1 (ja) 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法
CN111051955B (zh) 通过使用卷积神经网络来标识利用数字全息显微镜所获取的细胞图像的品质
JP7163955B2 (ja) 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
KR20210113236A (ko) 병리학 시료의 자동화된 이미징 및 분석을 위한 컴퓨터 사용 현미경 검사 기반의 시스템 및 방법
US20210110536A1 (en) Cell image analysis method and cell image analysis device
Arora et al. A review of metaphase chromosome image selection techniques for automatic karyotype generation
JP2011158373A (ja) 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
JP7398432B2 (ja) 半導体検査における多モードの欠陥分類
WO2016189469A1 (en) A method for medical screening and a system therefor
CN114127307A (zh) 细胞图像解析方法和细胞图像解析装置
JP2021508127A (ja) 自律顕微鏡システムの制御方法、顕微鏡システム、および、コンピュータ可読記憶媒体
Kovalev et al. Deep learning in big image data: Histology image classification for breast cancer diagnosis
JPWO2019171453A1 (ja) 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
JP2021078356A (ja) 細胞解析装置
US20140192178A1 (en) Method and system for tracking motion of microscopic objects within a three-dimensional volume
JP7006833B2 (ja) 細胞解析装置
JP7248139B2 (ja) 細胞画像解析方法及び細胞解析装置
Gagula-Palalic et al. Automatic segmentation of human chromosomes
WO2021070372A1 (ja) 細胞画像解析方法及び細胞解析装置
Bakker Automatic characterization of network-like structures in high-throughput microscopy images
Palanisamy et al. Algorithms for Automatic Identification and Analysis of Sri Lankan Anopheles Mosquito Species
Chaudhari et al. Machine-learning-based classification of co-cultured cells from the phase images in digital holographic microscopy
Han Towards accurate and efficient live cell imaging data analysis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18911176

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020507194

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18911176

Country of ref document: EP

Kind code of ref document: A1