WO2017082048A1 - 分類器構成方法およびこれを用いた細胞の生死判定方法 - Google Patents

分類器構成方法およびこれを用いた細胞の生死判定方法 Download PDF

Info

Publication number
WO2017082048A1
WO2017082048A1 PCT/JP2016/081669 JP2016081669W WO2017082048A1 WO 2017082048 A1 WO2017082048 A1 WO 2017082048A1 JP 2016081669 W JP2016081669 W JP 2016081669W WO 2017082048 A1 WO2017082048 A1 WO 2017082048A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
cell
cells
fluorescent
dead
Prior art date
Application number
PCT/JP2016/081669
Other languages
English (en)
French (fr)
Inventor
藤本　博己
小林　正嘉
隆造 佐々木
Original Assignee
株式会社Ｓｃｒｅｅｎホールディングス
株式会社フロンティアファーマ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｓｃｒｅｅｎホールディングス, 株式会社フロンティアファーマ filed Critical 株式会社Ｓｃｒｅｅｎホールディングス
Priority to EP16864012.6A priority Critical patent/EP3375859B1/en
Priority to CN201680065837.1A priority patent/CN108350410A/zh
Priority to US15/774,567 priority patent/US10803290B2/en
Publication of WO2017082048A1 publication Critical patent/WO2017082048A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1488—Methods for deciding

Definitions

  • the present invention relates to a technique for determining whether a cell is alive based on an image of the cell.
  • a compound is added at various concentrations to a sample containing cultured cells, and cell viability is determined at a predetermined timing.
  • a life / death determination of a cell has been made by an expert who makes a visual determination through microscopic observation.
  • a technology has been developed that automatically detects a cell and determines whether it is alive or not by image analysis using an image of a sample. .
  • the present invention has been made in view of the above problems, and provides a technique that can automatically and accurately determine the life and death of cells in a sample prepared without using labeling, without depending on the subjectivity of the judge.
  • the purpose is to provide.
  • the image object located at the position corresponding to the position of the living cell specified in the third step is regarded as a living cell object, and the image object located at the position corresponding to the position of the dead cell identified in the third step is dead.
  • a fourth step of extracting each as a cell object, and each of the image objects extracted as the live cell object and the dead cell object Calculated feature vectors, and a fifth step which constitutes the classifier by machine learning using teacher data including the feature vector, a classifier construction method for determining the viability of the cells.
  • the classifier obtained by the invention thus configured makes it possible to automatically determine the viability of cells in a sample prepared without labeling. That is, by classifying an image of a cell in a sample using the classifier constructed according to the present invention, it is possible to more characterize either a living cell that is a living cell or a dead cell that is a dead cell. It is automatically asked if you have a strong one.
  • the positions of the living cells and the dead cells are specified from the fluorescence image obtained by fluorescence imaging of the fluorescent specimen including both the living cells and the dead cells.
  • the fluorescence image since live cells and dead cells each emit specific fluorescence, it is relatively easy to specify the position in the image.
  • cell shape and texture are often unclear.
  • a bright field image can clearly express the shape and texture of a cell, but careful observation is necessary to distinguish between a living cell and a dead cell.
  • the present invention among the image objects in the bright field image, those in the position corresponding to the position of the living cell in the fluorescence image are extracted as the image object representing the living cell. Further, an object at a position corresponding to the position of the dead cell is an image object representing the dead cell. Thus, image objects corresponding to live cells and dead cells are specified in the bright field image.
  • a classifier for discriminating live cells and dead cells based on image features can be obtained.
  • the classifier obtained in this way is effective for classifying unknown cell images into either live or dead cell categories. That is, by performing classification using this classifier, it is possible to automatically and accurately determine whether a cell is alive without depending on the subjectivity of the determiner.
  • Another aspect of the present invention includes a step of acquiring a processing target image obtained by performing bright field imaging of a sample including cells, a step of detecting an image object corresponding to the cell from the processing target image, and the detected image Classifying an object using a classifier configured by the classifier configuration method according to any one of claims 1 to 5, and determining whether the cell corresponding to the image object is alive based on a classification result; A method for determining whether a cell is alive or dead.
  • the image object in the original image obtained by imaging the sample is classified using the classifier configured as described above. Thereby, it can be determined automatically and accurately whether the image object corresponds to a living cell or a dead cell without depending on the subjectivity of the determiner.
  • a classifier useful for automatically and accurately obtaining the life and death of cells in a sample prepared without using labeling is configured.
  • cell viability determination method of the present invention using the classifier configured as described above cell viability in a sample prepared without using labeling is automatically and accurately obtained.
  • FIG. 1 is a diagram showing a schematic configuration of an imaging apparatus to which the present invention can be applied.
  • the imaging apparatus 1 is an apparatus that images cells or cell colonies that are cultured in a liquid injected into a recess called a well W formed on the upper surface of a well plate WP.
  • the vertical direction in FIG. 1 represents the vertical direction, and the downward direction is the vertical downward direction.
  • the horizontal direction in FIG. 1 is the horizontal direction and the direction perpendicular to the paper surface of FIG.
  • the well plate WP is generally used in the fields of drug discovery and biological science.
  • the well plate WP is formed in a cylindrical shape with a substantially circular cross section on the top surface of a flat plate, and the bottom surface is transparent and flat. Are provided.
  • the number of wells W in one well plate WP is arbitrary, for example, 96 (12 ⁇ 8 matrix arrangement) can be used.
  • the diameter and depth of each well W is typically about several mm.
  • the size of the well plate and the number of wells targeted by the imaging apparatus 1 are not limited to these, and are arbitrary, for example, those having 6 to 384 holes are generally used.
  • the imaging apparatus 1 can be used not only for imaging a well plate having a plurality of wells but also for imaging cells or the like cultured in a flat container called a dish.
  • a predetermined amount of a liquid as the medium M is injected into each well W of the well plate WP, and cells cultured under a predetermined culture condition in the liquid are imaging objects of the imaging apparatus 1.
  • the medium may be one to which an appropriate reagent has been added, or it may be in a liquid state and gelled after being placed in the well W.
  • cells cultured on the inner bottom surface of the well W can be targeted for imaging.
  • Commonly used liquid amounts vary depending on the plate specifications. For example, 96 wells are about 100 to 200 microliters, and 384 wells are about 25 to 75 microliters.
  • the imaging apparatus 1 includes a holder 11 that holds a well plate WP, an illumination unit 12 that illuminates a well W of the well plate WP, an imaging unit 13 that is disposed below the holder 11, and a CPU 141 that controls operations of these units.
  • the control part 14 which has these.
  • the holder 11 is brought into contact with the peripheral edge of the lower surface of the well plate WP carrying the sample together with the culture medium M to hold the well plate WP in a substantially horizontal posture.
  • An imaging unit 13 is provided below the well plate WP held by the holder 11.
  • an imaging optical system is disposed immediately below the well plate WP, and the optical axis of the imaging optical system is oriented in the vertical direction.
  • the cell etc. in the well W are imaged by the imaging unit 13.
  • the light emitted from the illumination unit 12 and incident on the well W illuminates the imaging target, and the light emitted downward from the bottom surface of the well W includes an imaging optical system including the objective lens 131 of the imaging unit 13.
  • the imaging element 132 is a linear image sensor having a one-dimensional light receiving surface or an area image sensor having a two-dimensional light receiving surface, and for example, a CCD sensor or a CMOS sensor can be used.
  • a CCD sensor or a CMOS sensor can be used as the image sensor 132.
  • the illumination unit 12 includes a first light source 121 disposed above the well plate WP and a second light source 122 disposed below the well plate WP.
  • the first light source 121 has, for example, a white LED (Light Emitting Diode) as an illumination light source, and emits white light as visible illumination light for illuminating cells in the well W downward.
  • the second light source 122 has a fluorescence excitation light source and emits strong monochromatic light in a substantially horizontal direction on the bottom surface side of the well plate WP.
  • the wavelength of the light emitted from the second light source 122 is selected according to the fluorescent reagent used. For example, when GFP (Green Fluorescent Protein) and PI (Propidium Iodide) described later are simultaneously observed, blue light having a wavelength of 470 nm can be suitably used.
  • the illumination unit 12 also includes a fluorescent mirror unit 123 disposed below the well plate WP.
  • the fluorescent mirror unit 123 is disposed at approximately the same position as the first light source 121 in the horizontal direction and approximately at the same position as the second light source 122 in the vertical direction.
  • the second light source 122 and the fluorescent mirror unit 123 are provided in the same housing as the imaging unit 13.
  • the fluorescent mirror unit 123 is disposed between the imaging optical system of the imaging unit 13 and the imaging element 132. As will be described below, light selectively emitted from the first light source 121 and the second light source 122 enters the fluorescent mirror unit 123.
  • the fluorescent mirror unit is, for example, a dichroic mirror.
  • FIG. 2A and 2B are diagrams illustrating the operation of the illumination unit. More specifically, FIG. 2A shows an optical path diagram of light emitted from the first light source 121. FIG. 2B shows an optical path diagram of light emitted from the second light source 122.
  • the light L1 emitted downward from the first light source 121 is incident on the medium M in the well W from above and illuminates the cells C in the medium M, which is the imaging object, with bright field illumination.
  • the light L1 is emitted downward from the transparent bottom surface of the well W and enters the fluorescent mirror unit 123 through the objective lens 131.
  • the fluorescent mirror unit 123 transmits the light L1 downward and makes it incident on the image sensor 132 disposed below.
  • the relatively short-wavelength excitation light L2 emitted from the second light source 122 is reflected upward by the fluorescent mirror unit 123 and passes through the objective lens 131 and the bottom surface of the well W.
  • the light enters the cell C in the medium M.
  • fluorescence is emitted from the cell C by the incident excitation light L2.
  • the fluorescence L3 emitted from the cell C and having a wavelength longer than that of the excitation light passes through the objective lens 131 and the fluorescence mirror unit 123 and enters the image sensor 132.
  • the first light source 121 and the second light source 122 that selectively emit light together with the fluorescent mirror unit 123 constitute an illumination optical system that realizes coaxial illumination for the cell C.
  • the image captured by the imaging unit 13 is a bright field image of the well W.
  • the image captured by the imaging unit 13 is the fluorescence of the well W where the image of the fluorescence L3 excited by the excitation light L2 is captured. It becomes an image.
  • the excitation light L2 does not directly enter the image sensor 132. In both imaging operations, the positional relationship between the well W and the imaging unit 13 does not change, and the imaging field of view is the same.
  • the imaging unit 13 can be moved in the horizontal direction and the vertical direction by a mechanical control unit 146 provided in the control unit 14. Specifically, the mechanical control unit 146 operates the drive mechanism 15 based on a control command from the CPU 141. When the drive mechanism 15 moves the imaging unit 13 in the horizontal direction, the imaging unit 13 moves in the horizontal direction with respect to the well W. Further, focus adjustment is performed by moving the imaging unit 13 in the vertical direction.
  • the illumination unit 12 (the first and second light sources 121 and 122 and the fluorescent mirror unit 123) is moved as shown by a dotted arrow in FIG. Move integrally with the imaging unit 13. That is, the illuminating unit 12 is arranged so that the optical center thereof substantially coincides with the optical axis of the imaging unit 13, and moves in conjunction with the imaging unit 13 when moving in the horizontal direction.
  • the mechanical control unit 146 positions the imaging unit 13 in the horizontal direction so that the optical axis matches the center of the well W as much as possible. Thereby, no matter which well W is imaged, the center of the well W and the light center of the illumination unit 12 are always located on the optical axis of the imaging unit 13. Therefore, it is possible to maintain the imaging condition favorably while keeping the illumination condition for each well W constant.
  • the well size is larger than the imaging field, the whole well is covered by dividing the well into a plurality of imaging fields and capturing images with an appropriate size so that the imaging fields overlap each other. By combining these images, an image of the entire well is acquired.
  • the imaging is performed while moving the imaging unit 13 in the horizontal direction. That is, the mechanical control unit 146 horizontally moves the illumination unit 12 and the imaging unit 13 at a constant speed to realize scanning movement, and the imaging unit 13 periodically captures images to capture a wide range.
  • the imaging unit 13 in a configuration having a linear image sensor as the imaging element 132, a two-dimensional image of the imaging target is acquired by such scanning movement of the imaging unit 13 with respect to the imaging target.
  • the image signal output from the imaging device 132 of the imaging unit 13 is sent to the control unit 14. That is, the image signal is input to an AD converter (A / D) 143 provided in the control unit 14 and converted into digital image data.
  • the CPU 141 executes image processing as appropriate based on the received image data.
  • the control unit 14 further includes an image memory 144 for storing and storing image data, and a memory 145 for storing and storing programs to be executed by the CPU 141 and data generated by the CPU 141. It may be integral.
  • the CPU 141 executes various control processes described later by executing a control program stored in the memory 145.
  • control unit 14 is provided with an interface (IF) unit 142.
  • the interface unit 142 accepts operation input from the user and presents information such as processing results to the user, and exchanges data with an external device connected via a communication line. It has a function.
  • the interface unit 142 is connected to an input receiving unit 147 that receives an operation input from the user and a display unit 148 that displays and outputs a message to the user, a processing result, and the like.
  • control unit 14 includes an illumination control unit 149 that performs lighting control of the first light source 121 and the second light source 122.
  • the control unit 14 may be a dedicated device equipped with the hardware described above, and a control program for realizing processing functions to be described later is incorporated into a general-purpose processing device such as a personal computer or a workstation. It may be. That is, a general-purpose computer device can be used as the control unit 14 of the imaging device 1. When a general-purpose processing device is used, it is sufficient that the imaging device 1 has a minimum control function for operating each unit such as the imaging unit 13.
  • the imaging apparatus 1 configured as described above determines whether the cells cultured in the well W are viable from the image obtained by imaging the inside of the well W, and determines the number of the determined live cells and dead cells. Has the function of counting.
  • the operation of the imaging apparatus 1 will be described. The following operation is realized by the CPU 141 executing a control program stored in advance in the memory 145 and causing each unit of the device to execute a predetermined operation defined in the control program.
  • FIG. 3 is a flowchart showing a cell counting process in this imaging apparatus.
  • the counting of cells is performed individually for each of the plurality of wells W provided in the well plate WP.
  • the description will be made focusing on the operation for one well W.
  • the inside of the well W is imaged by the imaging unit 13 (step S101). Thereby, a bright field image of the well W is obtained. Imaging may be performed individually for each well W, or may be performed for a plurality of wells W at once.
  • the subsequent processing is executed individually for each well W.
  • an image obtained by imaging one well W and the inside thereof as a processing target image an image object having a cell shape is detected from the inside of the well W of the processing target image (step S102).
  • Various known techniques can be applied to the detection of the image object. For example, it is possible to apply a method of extracting a region in which pixels having pixel values larger (or smaller) than an appropriately determined threshold value are continuous.
  • an adaptive threshold method that dynamically sets the threshold according to the brightness of the background can be used. Image objects that are clearly considered not to be cells from the shape may be excluded.
  • a plurality of types of feature amounts representing the morphological features of the detected image object by numerical values are obtained, and feature vectors having these feature amounts as elements are obtained (step S103).
  • the image objects are classified using the feature vector thus obtained and a classifier based on an appropriate classification algorithm created in advance by a method described later (step S104).
  • This classifier has a function of classifying an image object into one of a plurality of classification categories including a “live cell” category and a “dead cell” category based on the feature vector.
  • the detected image object may include a cell whose life or death is unknown or a cell that is not a cell (for example, a bubble), and therefore classification categories corresponding to these may be prepared.
  • the life / death of the cell is determined based on the classification result (step S105). Specifically, among the detected image objects, those classified into the “live cell” category are determined as live cells, that is, live cells. An image object classified in the “dead cell” category is determined as a dead cell, that is, a dead cell. When life / death is determined for each cell in this way, the number of image objects determined to be live cells and image objects determined to be dead cells is further counted (step S106).
  • FIG. 4 is a flowchart showing a method of configuring the classifier in this embodiment.
  • a fluorescent specimen is prepared for obtaining an image sample when GFP (corresponding to live cells) and PI staining (corresponding to dead cells) are used (step S201).
  • the fluorescent specimen a cell having the same kind of cell as the subject of life / death determination and a label that has different fluorescence generation modes with respect to excitation light depending on the life / death is used.
  • the specimen must contain both live and dead cells.
  • cells in which cells expressing, for example, green fluorescent protein (GFP) as a fluorescent protein are grown in the well W of the well plate WP are used.
  • a predetermined sample is added thereto, and a fluorescent sample is added with, for example, propidium iodide (PI) as a fluorescent dye after a predetermined period.
  • PI propidium iodide
  • GFP emits green fluorescence with respect to short-wavelength excitation light if cells incorporating the GFP are alive.
  • PI is used as a dead cell staining reagent, and binds with dead cell DNA to emit red fluorescence with respect to excitation light.
  • Fluorescent specimens that have been partially killed by the addition of drugs contain both living and dead cells.
  • blue light having a wavelength of 470 nm, for example, is incident on the fluorescent specimen as excitation light, living cells emit green fluorescence due to GFP, and dead cells emit red fluorescence due to PI. Thereby, live cells and dead cells can be clearly identified in the fluorescence image.
  • the well plate WP from which the fluorescent specimen has been prepared is set in the imaging device 1 (step S202). Then, imaging is performed by the imaging unit 13 under the irradiation of excitation light from the second light source 122, and a fluorescence image is acquired (step S203). In addition, imaging by the imaging unit 13 is performed under irradiation of illumination light from the first light source 121, and a bright field image is acquired (step S204).
  • the order of capturing the fluorescent image and capturing the bright field image is arbitrary, but it is preferable that the time interval between the two is short so that cell movement and state change do not occur. In the configuration of the present embodiment in which excitation light and illumination light are selectively irradiated by the coaxial illumination optical system, this time interval can be sufficiently reduced.
  • the fluorescent image is taken as a color image.
  • the obtained fluorescent image is separated for each RGB color component (step S205).
  • a color image is necessary when feature values relating to color are used in post-processing, but color information can be complicated if not so.
  • FIG. 5 is a diagram showing an example of a captured image and various images derived therefrom.
  • the shape and outline of the cell C appear relatively clearly, but in order to determine whether the cell is alive or not, the individual cell C must be observed in detail.
  • the fluorescence image If, a green image Cg caused by GFP appears at the position of the living cell, and a red image Cr caused by PI appears at the position of the dead cell. Therefore, in the G (green) monochromatic image Ifg obtained by separating the fluorescence image If, the image Cg appears at the position of the living cell, and in the R (red) monochromatic image Ifr, the image Cr appears at the position of the dead cell.
  • each of the RGB color components may have a component value. Even in that case, it is possible to specify a region having the color by using a known color image processing method.
  • the positions of live cells and dead cells are specified from the G monochrome image and the R monochrome image obtained by separating the fluorescence images (steps S206 and S207).
  • An image object corresponding to fluorescence by GFP appears in the G single color image separated from the fluorescence image. Therefore, for example, by setting an appropriate threshold value for the luminance value of the G color component and binarizing the image, the distribution of objects corresponding to the living cells in the image can be obtained.
  • the position of the living cell can be represented by, for example, the position of the center of gravity of each object in the binarized image.
  • the position of the object corresponding to the fluorescence by PI is specified by binarizing the image.
  • the positions of live cells and dead cells in the fluorescence image are specified.
  • an image object included in the bright field image is detected (step S208).
  • the detection of the image object can be performed using an appropriate one of known detection methods.
  • the above-described adaptive threshold method and various region division methods can be used.
  • Image objects detected in this manner can include living cells, dead cells, and none of them.
  • an image object at a position corresponding to the position of the live cell and the dead cell in the fluorescence image is extracted (step S209).
  • the bright field image and the fluorescence image are captured in the same imaging field by the same imaging unit 13.
  • the image objects in the bright field image Ib that correspond to the living cells or dead cells are the image objects in the fluorescence image If. Overlap.
  • the ones that include the center of gravity of the live cells or dead cells detected in the fluorescence image If are image objects corresponding to the live cells or dead cells, respectively. Estimated with high probability.
  • An image object estimated as a living cell may be hereinafter referred to as a “live cell object”.
  • an image object that is estimated to be a dead cell may be referred to as a “dead cell object”.
  • a live cell object can be used as a typical example of a live cell image
  • a dead cell object can be used as a typical example of a dead cell image.
  • those corresponding to bubbles that are neither live cells nor dead cells can be distinguished as foreign objects that are not cells because there is no corresponding image object in the fluorescence image.
  • a feature vector is obtained for each of the image object corresponding to the live cell and the image object corresponding to the dead cell thus extracted (step S210).
  • a classifier is configured by executing an appropriate supervised machine learning algorithm using, as teacher data, a label indicating whether each object is a live cell or a dead cell and a feature vector (step S211).
  • the configured classifier includes a “live cell” category and a “dead cell” category as classification categories, and has a function of classifying unclassified image objects into one of these categories.
  • the classifier thus configured is used in the cell counting process (step S105) shown in FIG.
  • a classification category as “non-cellular material” is separately provided. It is preferable to be provided. That is, a feature vector is also derived for such an image object (step S210), and used as learning data as teacher data. In this way, the image object that is not a cell is classified as a non-cellular object in the determination process shown in FIG. 3, and such an object may be erroneously determined as a live cell or a dead cell. Avoided. Image objects that are not cells may be further subdivided into a plurality of classification categories.
  • classification categories in the classifier may be prepared in advance prior to the execution of machine learning. Moreover, the expert may give afterwards to the cluster formed automatically by the self-organizing learning algorithm.
  • a known feature quantity that quantitatively represents the morphological feature that appears in the cell in the visible image can be appropriately selected.
  • an outline feature amount representing an external feature of a cell and a texture feature amount representing a texture inside the cell are effective, and they are combined. In some cases, an excellent effect can be obtained.
  • the contour feature quantity for example, a normal angle histogram obtained by statistically processing the direction indicated by the normal of the contour line of the object for each pixel on the contour line can be used.
  • a high-order local auto-correlation feature (HLAC) for the inside of the cell surrounded by the outline can be used.
  • FIG. 6 is a diagram illustrating clusters in the feature space formed by learning. Each image object extracted from the bright field image is mapped to one point specified by the feature vector in the feature space constituted by a plurality of feature amount axes. By machine learning based on teacher data, each image object is clustered for each classification category in the feature space.
  • FIG. 6 schematically shows an example thereof.
  • the cluster Ca corresponding to the “live cell” category
  • the cluster Cb corresponding to the “dead cell” category
  • the cluster Cc corresponding to the “non-cell” category.
  • the three clusters are illustrated.
  • the feature vector Vu corresponding to the unclassified image object is classified into a classification category corresponding to one of the clusters having the smallest distance in the feature space. In this way, it is determined whether or not an unknown image object extracted from the bright field image corresponds to a cell, and if it corresponds to a cell, its life or death is determined.
  • FIGS. 7A to 7E are diagrams showing comparison results between the determination method of the present embodiment and the existing determination method.
  • the inventor of the present application conducted a comparison experiment between an ATP assay and an MTT assay, which are existing life-death determination methods that have a certain track record in determination accuracy. went. Specifically, a sample was prepared in which a drug MG132 as an anticancer agent was allowed to act on a cancer obtained by introducing a Ras gene into NIH3T3 cells. And the viability (viability) and 50% inhibitory concentration (IC50) of the cell after predetermined time progress were measured in each of ATP assay, MTT assay, and this embodiment, and the result was compared.
  • FIG. 7A to FIG. 7C show the viability values measured with various combinations of cell seeding numbers and drug dilution concentrations.
  • FIG. 7A shows the result by ATP assay
  • FIG. 7B shows the result by MTT assay
  • FIG. 7C shows the result by this embodiment.
  • Viability numbers determined by existing ATP and MTT assays are expressed as the ratio of the “amount” of living cells to the cells in the sample.
  • the viability numerical values were obtained as follows. First, in each of the sample to which the drug has been added and the sample to which no drug has been added, the count value of the live cells immediately before the drug administration is subtracted from the count value of the counted live cells. A viability value was obtained by expressing the ratio of the number of living cells in the sample to which the drug was added divided by the number of living cells in the sample to which the drug was not added as a percentage. It can be seen from FIGS. 7A to 7C that similar measurement results are obtained by the three methods.
  • IC50 value is obtained from these graphs. Specifically, by performing fitting with a sigmoid function from a plurality of data points sandwiching 50% in the viability value, the drug concentration at which the viability value is 50% is obtained, and the value is set to IC50. . If the numerical values are compared and one is in the range of 0.5 to 2 times the other, it can be considered that a sufficient correlation is obtained. As shown in FIG. 7D, extremely close numerical values are obtained by the respective determination methods.
  • FIG. 7E shows the degree of correlation between IC50 values between the determination method according to the present embodiment, the ATP assay, and the MTT assay. It can be seen that an extremely high correlation is obtained between these existing methods and the determination method according to the present embodiment.
  • a fluorescent image and a bright field image in a fluorescent sample that has been previously labeled in order to configure a classifier that distinguishes live cells and dead cells from image objects included in the bright field image.
  • the correspondence between image objects is used.
  • the fluorescent specimen is produced so that live cells and dead cells emit different fluorescence in the fluorescence image, and the positions of live cells and dead cells are specified from the fluorescence image obtained by capturing the fluorescence.
  • the object at the position where the live cell is detected in the fluorescence image is regarded as an object corresponding to the live cell (live cell object), and the dead cell is detected.
  • An object at a position is regarded as an object corresponding to a dead cell (dead cell object).
  • Bright field images can be obtained by classifying an unclassified image object detected from an image obtained by imaging a sample containing cells to be processed for life / death determination using the classifier configured as described above. Life / death determination can be performed based on a feature vector that can be derived from the appearance of the object inside. Therefore, once a classifier is created, it is not necessary to label an unknown sample in advance, and it is avoided that the labeling treatment affects the cells in the sample. In addition, the cost and labor required for the labeling work can be reduced. In particular, it is very beneficial that no labeling is required in screening experiments where a large number of samples need to be evaluated.
  • steps S203, S204, S206 to S207, S208 to S209, and S210 to S211 are the “first step”, “ This corresponds to “second step”, “third step”, “fourth step”, and “fifth step”.
  • the imaging unit 13 functions as the “imaging unit” of the present invention.
  • steps S101, S102, and S103 to S105 are respectively the “process for acquiring a process target image”, “process for detecting an image object”, “life and death” of the present invention. This corresponds to the “determination step”.
  • the processing in steps S101 to S105 as a whole corresponds to the “life / death determination method” of the present invention.
  • the present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention.
  • the labeling method of the fluorescent specimen and the selection of the feature amount in the above embodiment are just examples, and are not limited to the above.
  • the imaging apparatus 1 of the above embodiment has both a function of imaging a fluorescent sample prepared in advance and configuring a classifier, and a function of imaging an unknown sample and determining whether a cell is alive or dead.
  • the process of imaging a fluorescent specimen, the process of configuring a classifier using this, the process of imaging an unknown sample, and the process of determining cell viability from the image are independent of each other. Therefore, it is not always necessary that these are executed by an integrated apparatus.
  • the process of imaging a fluorescent specimen to form a classifier and the process of imaging an unknown sample and determining cell viability may be executed by different devices.
  • the apparatus for imaging the fluorescent specimen and the sample and the apparatus for determining the classifier and the unknown sample using the captured image may be configured separately.
  • the difference in appearance characteristics between live cells and dead cells is determined by the type of cell and the type of drug, and does not depend on the configuration of an image capturing apparatus or the contents of image processing. Therefore, for example, when a plurality of environments for determining whether a cell is viable or dead is provided, the classifiers prepared for the cells by the above method can be used in common in the plurality of environments. In these cases, a configuration for performing fluorescence imaging is not essential for an imaging apparatus that performs imaging of an unknown sample.
  • the excitation light source for fluorescence imaging and the illumination light source for bright field imaging form coaxial illumination, and both imaging are executed by the same imaging unit 13 in the same imaging field.
  • both imaging are executed by the same imaging unit 13 in the same imaging field.
  • the imaging unit images the fluorescent specimen irradiated with excitation light that excites fluorescence, while the second step.
  • the fluorescent sample irradiated with visible light as illumination light may be configured to image with the same imaging means and the same imaging field as in the first step. According to such a configuration, it is not necessary to move the fluorescent specimen between the fluorescence imaging and the bright field imaging, and it is possible to avoid the change of the cell state between the two imaging.
  • the same cell image appears at the same position between the fluorescent image and the bright field image, the positional relationship between the two is very clear.
  • a cell prepared by introducing green fluorescent protein and cultured with a red fluorescent dye as a dead cell staining reagent can be used as a fluorescent specimen.
  • a color image of the fluorescent specimen is acquired
  • an area having a predetermined luminance or higher in the G (green) monochromatic image obtained by separating the color image is regarded as a living cell
  • the R (red) monochromatic image obtained by separating the color image may be configured such that a region having a luminance of a predetermined level or more is a dead cell.
  • an image object appears only at the position of the living cell in the G monochromatic image, and an image object appears only at the position of the dead cell in the R monochromatic image. For this reason, the position of each of living cells and dead cells can be specified easily and reliably. In addition, since image objects different from cells can be excluded, erroneous determination can be avoided and the accuracy of the classifier configured can be further improved.
  • the feature vector may include at least one of an outline feature amount related to the shape of the outline of the image object and a texture feature amount related to the texture in the image object as an element.
  • the texture feature amount may include, for example, a feature amount related to a higher-order local autocorrelation feature. According to the knowledge of the inventor of the present application, these feature quantities can be suitably used for the purpose of accurately determining whether a cell is alive or dead.
  • the present invention can be suitably applied for the purpose of objectively and quantitatively evaluating cell viability. For example, it can be used to quantitatively evaluate the drug efficacy of a compound that has acted on cells for the purpose of drug discovery screening. Further, for example, it can be suitably used when evaluating the effectiveness of a regenerative medical technique using pluripotent stem cells such as iPS cells and ES cells.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Organic Chemistry (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biotechnology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Microbiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Sustainable Development (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Dispersion Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Signal Processing (AREA)
  • Cell Biology (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Biophysics (AREA)
  • Food Science & Technology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

ラベリングを用いずに作製された試料中の細胞の生死を、判定者の主観に依存せず自動的に、かつ精度よく求める。生細胞と死細胞とで励起光に対する蛍光の発生態様が互いに異なる蛍光標本を準備し（Ｓ２０１）、蛍光標本を蛍光撮像する（Ｓ２０３）。蛍光標本を明視野撮像し（Ｓ２０４）、蛍光画像から生細胞および死細胞それぞれの位置を特定する（Ｓ２０６、Ｓ２０７）。特定された生細胞および死細胞の位置に対応する位置にある明視野画像中の画像オブジェクトをそれぞれ生細胞オブジェクトおよび死細胞オブジェクトとして抽出し（Ｓ２０９）、抽出されたオブジェクト各々の特徴ベクトルを含む教師データを用いた機械学習により分類器を構成する（Ｓ２１０、Ｓ２１１）。

Description

分類器構成方法およびこれを用いた細胞の生死判定方法
　この発明は、細胞を撮像した画像に基づき細胞の生死を判定する技術に関するものである。
　例えば創薬を目的として、化合物が細胞に及ぼす影響を調べるためのスクリーニング実験が行われる。このような実験では、培養された細胞を含む試料に種々の濃度で化合物が添加され、所定のタイミングで細胞の生死が判定される。従来、このような細胞の生死判定は熟練者が顕微鏡観察により目視で判定することによりなされてきた。近年では、より簡単にかつ判定者の主観に頼らない安定した判定を行うために、試料を撮像した画像を用いた画像解析により自動的に細胞の検出および生死判定を行う技術が開発されている。
　例えば特許文献１に記載の技術では、生きている細胞（生存細胞）および死んでいる細胞（非生存細胞）の一方に対して選択的に染色することのできる染色方法を用いて試料が染色され、染色された試料が観察される。このように、細胞に遺伝子操作や試薬添加を施して、その種類や状態に応じた選択的な着色などの標識を与える処理は、「ラベリング」と称される。
特表２０１５－５２１０３７号公報
　例えば医薬品の候補としての化合物のスクリーニングにおいては、化合物が病変に対し有効に作用するか否かだけでなく、正常な細胞に悪影響がないことの確認も必要となる。このような目的のためには、試料中の細胞に影響を及ぼすようなラベリングを用いることはできない。またラベリングには特殊な材料や作業が必要となり、大きなコストおよび手間がかかるという問題もある。これらのことから、ラベリングを行わずに細胞の生死を判定する技術の確立が求められる。しかしながら、ラベリングを用いずに撮像された画像から細胞の生死を自動的に、かつ精度よく求める技術は確立されるに至っていない。
　この発明は上記課題に鑑みなされたものであり、ラベリングを用いずに作製された試料中の細胞の生死を、判定者の主観に依存せず自動的に、かつ精度よく求めることのできる技術を提供することを目的とする。
　この発明の一の態様は、上記目的を達成するため、励起光に対する蛍光の発生態様が互いに異なる生細胞および死細胞を含む蛍光標本が蛍光撮像された蛍光画像を取得する第１工程と、前記蛍光標本が明視野撮像された明視野画像を取得する第２工程と、前記蛍光画像から前記蛍光標本中の生細胞および死細胞それぞれの位置を特定する第３工程と、前記明視野画像中で、前記第３工程において特定された生細胞の位置に対応する位置にある画像オブジェクトを生細胞オブジェクトとして、また前記第３工程において特定された死細胞の位置に対応する位置にある画像オブジェクトを死細胞オブジェクトとしてそれぞれ抽出する第４工程と、前記生細胞オブジェクトおよび前記死細胞オブジェクトとして抽出された前記画像オブジェクト各々の特徴ベクトルを求め、前記特徴ベクトルを含む教師データを用いた機械学習により分類器を構成する第５工程とを備える、細胞の生死判定のための分類器構成方法である。
　このように構成された発明により得られる分類器は、ラベリングを行わずに作製された試料中の細胞の生死を自動的に判定することを可能とするものである。すなわち、本発明により構成された分類器を用いて試料中の細胞の画像を分類することにより、当該細胞が生きている細胞である生細胞、死んだ細胞である死細胞のいずれの特徴をより強く有しているかが自動的に求められる。
　この目的のために、本発明では、生細胞および死細胞の両方を含む蛍光標本が蛍光撮像された蛍光画像から、生細胞および死細胞それぞれの位置が特定される。蛍光画像では、生細胞および死細胞がそれぞれ特有の蛍光を発することから、それらの画像内における位置の特定は比較的容易である。ただし細胞の形状やテクスチャーは不鮮明な場合が多い。一方、明視野画像では細胞の形状やテクスチャーを鮮明に表現することができるが、生きている細胞と死んだ細胞との判別には注意深い観察が必要となる。
　そこで本発明では、明視野画像中の画像オブジェクトのうち、蛍光画像中の生細胞の位置と対応する位置にあるものが、生細胞を表す画像オブジェクトとして抽出される。また死細胞の位置と対応する位置にあるものが、死細胞を表す画像オブジェクトとされる。こうして明視野画像中で生細胞および死細胞に対応する画像オブジェクトが特定される。それらの特徴ベクトルを教師データとする機械学習により分類器が構成されることで、生細胞と死細胞とを画像特徴に基づき判別するための分類器が得られる。こうして得られた分類器は、未知の細胞画像を生細胞または死細胞のいずれかのカテゴリに分類するために有効なものとなる。すなわち、この分類器を用いた分類を行うことで、判定者の主観に依存せず自動的に、かつ精度よく細胞の生死を判定することができる。
　本発明の他の態様は、細胞を含む試料が明視野撮像された処理対象画像を取得する工程と、前記処理対象画像から前記細胞に対応する画像オブジェクトを検出する工程と、検出された前記画像オブジェクトを、請求項１ないし５のいずれかに記載の分類器構成方法により構成された分類器を用いて分類し、分類結果に基づいて当該画像オブジェクトに対応する前記細胞の生死を判定する工程とを備える細胞の生死判定方法である。この発明によれば、試料を撮像した原画像中の画像オブジェクトが、上記のようにして構成された分類器を用いて分類される。これにより、当該画像オブジェクトが生細胞に対応するものか死細胞に対応するものかを判定者の主観に依存せず自動的に、かつ精度よく判定することができる。
　本発明の分類器構成方法によれば、ラベリングを用いずに作製された試料中の細胞の生死を、自動的にかつ精度よく求めるために有用な分類器が構成される。また、このように構成された分類器を用いる本発明の細胞の生死判定方法によれば、ラベリングを用いずに作製された試料中の細胞の生死が、自動的にかつ精度よく求められる。
　この発明の前記ならびにその他の目的と新規な特徴は、添付図面を参照しながら次の詳細な説明を読めば、より完全に明らかとなるであろう。ただし、図面は専ら解説のためのものであって、この発明の範囲を限定するものではない。
本発明を適用可能な撮像装置の概略構成を示す図である。 照明部の動作を示す第１の図である。 照明部の動作を示す第２の図である。 この撮像装置における細胞計数処理を示すフローチャートである。 この実施形態における分類器の構成方法を示すフローチャートである。 撮像された画像およびそれから派生する各種画像の例を示す図である。 学習により形成される特徴空間内のクラスタを例示する図である。 本実施形態と既存の判定方法との比較結果を示す第１の図である。 本実施形態と既存の判定方法との比較結果を示す第２の図である。 本実施形態と既存の判定方法との比較結果を示す第３の図である。 本実施形態と既存の判定方法との比較結果を示す第４の図である。 本実施形態と既存の判定方法との比較結果を示す第５の図である。
　図１は本発明を適用可能な撮像装置の概略構成を示す図である。この撮像装置１は、ウェルプレートＷＰの上面に形成されたウェルＷと称される凹部に注入された液体中で培養される、細胞あるいは細胞コロニーを撮像する装置である。図１における上下方向が鉛直方向を表し、下向きが鉛直下向き方向である。また図１における左右方向および図１紙面に垂直な方向が水平方向である。
　ウェルプレートＷＰは、創薬や生物科学の分野において一般的に使用されているものであり、平板状のプレートの上面に、断面が略円形の筒状に形成され底面が透明で平坦なウェルＷが複数設けられている。１つのウェルプレートＷＰにおけるウェルＷの数は任意であるが、例えば９６個（１２×８のマトリクス配列）のものを用いることができる。各ウェルＷの直径および深さは代表的には数ｍｍ程度である。なお、この撮像装置１が対象とするウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意であり、例えば６ないし３８４穴のものが一般的に使用されている。また、複数ウェルを有するウェルプレートに限らず、例えばディッシュと呼ばれる平型の容器で培養された細胞等の撮像にも、この撮像装置１を使用することが可能である。
　ウェルプレートＷＰの各ウェルＷには、培地Ｍとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞が、この撮像装置１の撮像対象物となる。培地は適宜の試薬が添加されたものでもよく、また液状でウェルＷに投入された後ゲル化するものであってもよい。後述するように、この撮像装置１では、例えばウェルＷの内底面で培養された細胞等を撮像対象とすることができる。常用される一般的な液量はプレートの仕様により様々であるが、例えば９６ウェルでは１００ないし２００マイクロリットル程度、３８４ウェルでは２５ないし７５マイクロリットル程度である。
　撮像装置１は、ウェルプレートＷＰを保持するホルダ１１と、ウェルプレートＷＰのウェルＷを照明する照明部１２と、ホルダ１１の下方に配置される撮像部１３と、これら各部の動作を制御するＣＰＵ１４１を有する制御部１４とを備えている。ホルダ１１は、試料を培地Ｍとともに各ウェルＷに担持するウェルプレートＷＰの下面周縁部に当接して、ウェルプレートＷＰを略水平姿勢に保持する。
　ホルダ１１により保持されたウェルプレートＷＰの下方に、撮像部１３が設けられる。撮像部１３には、ウェルプレートＷＰの直下位置に撮像光学系が配置されており、撮像光学系の光軸は鉛直方向に向けられている。
　撮像部１３により、ウェルＷ内の細胞等が撮像される。具体的には、照明部１２から出射されウェルＷに入射した光が撮像対象物を照明し、ウェルＷ底面から下方へ出射される光が、撮像部１３の対物レンズ１３１を含む撮像光学系を介して撮像素子１３２の受光面に入射する。撮像光学系により撮像素子１３２の受光面に結像する撮像対象物の像が、撮像素子１３２により撮像される。撮像素子１３２は、一次元の受光面を有するリニアイメージセンサまたは二次元の受光面を有するエリアイメージセンサであり、例えばＣＣＤセンサまたはＣＭＯＳセンサを用いることができる。なお撮像素子１３２としてはカラー画像を撮像可能なものが用いられる。
　照明部１２は、ウェルプレートＷＰの上方に配置された第１の光源１２１と、ウェルプレートＷＰの下方に配置された第２の光源１２２とを備えている。第１の光源１２１は、照明用光源としての例えば白色ＬＥＤ（Light Emitting Diode）を有し、ウェルＷ内の細胞を照明する可視照明光としての白色光を下向きに出射する。一方、第２の光源１２２は、蛍光励起用光源を有し、ウェルプレートＷＰの底面側で略水平方向に強い単色光を出射する。第２の光源１２２の出射する光の波長は、使用される蛍光試薬に応じて選択される。例えば後述するＧＦＰ（Green Fluorescent Protein）とＰＩ（Propidium Iodide）とを同時観察する場合、波長４７０ｎｍの青色光が好適に使用可能である。
　照明部１２はまた、ウェルプレートＷＰの下方に配置された蛍光用ミラーユニット１２３を備えている。蛍光用ミラーユニット１２３は、水平方向には第１の光源１２１と略同一位置に、鉛直方向には第２の光源１２２と略同一位置に配置されている。照明部１２のうち第２の光源１２２および蛍光用ミラーユニット１２３は、撮像部１３と同一筐体に設けられている。そして、蛍光用ミラーユニット１２３は、撮像部１３の撮像光学系と撮像素子１３２との間に配置されている。以下に説明するように、第１の光源１２１、第２の光源１２２から選択的に出射される光が蛍光用ミラーユニット１２３に入射する。蛍光用ミラーユニットは、例えばダイクロイックミラーである。
　図２Ａおよび図２Ｂは照明部の動作を示す図である。より詳しくは、図２Ａは第１の光源１２１から出射される光の光路図を示す。また、図２Ｂは第２の光源１２２から出射される光の光路図を示す。図２Ａに示すように、第１の光源１２１から下向きに出射される光Ｌ１は、ウェルＷ内の培地Ｍに上方から入射して撮像対象物である培地Ｍ内の細胞Ｃを明視野照明する。光Ｌ１はウェルＷの透明な底面から下方へ出射され、対物レンズ１３１を介して蛍光用ミラーユニット１２３に入射する。蛍光用ミラーユニット１２３は光Ｌ１を下方へ透過させ、下方に配置された撮像素子１３２に入射させる。
　一方、図２Ｂに示すように、第２の光源１２２から出射される比較的短波長の励起光Ｌ２は、蛍光用ミラーユニット１２３により上方へ反射され、対物レンズ１３１およびウェルＷの底面を介して培地Ｍ中の細胞Ｃに入射する。後述するように、細胞Ｃが励起光により蛍光を発生する性質を付与されている場合、入射した励起光Ｌ２によって細胞Ｃから蛍光が発せられる。細胞Ｃから出射される、励起光よりも長波長の蛍光Ｌ３は対物レンズ１３１および蛍光用ミラーユニット１２３を透過して撮像素子１３２に入射する。このように、選択的に光を出射する第１の光源１２１および第２の光源１２２は、蛍光用ミラーユニット１２３と共に、細胞Ｃに対する同軸照明を実現する照明光学系を構成している。
　照明部１２において第１の光源１２１から照明光Ｌ１がウェルＷに照射された状態では、撮像部１３により撮像される画像はウェルＷの明視野画像となる。一方、第２の光源１２２から励起光Ｌ２がウェルＷに照射された状態では、撮像部１３により撮像される画像は、励起光Ｌ２により励起される蛍光Ｌ３の像が撮像されたウェルＷの蛍光画像となる。励起光Ｌ２は撮像素子１３２に直接入射しない。両撮像においてウェルＷと撮像部１３との位置関係は変化せず、撮像視野は互いに同一である。
　撮像部１３は、制御部１４に設けられたメカ制御部１４６により水平方向および鉛直方向に移動可能となっている。具体的には、メカ制御部１４６がＣＰＵ１４１からの制御指令に基づき駆動機構１５を作動させる。駆動機構１５が撮像部１３を水平方向に移動させることにより、撮像部１３がウェルＷに対し水平方向に移動する。また撮像部１３の鉛直方向への移動によりフォーカス調整がなされる。
　また、駆動機構１５は、撮像部１３を水平方向に移動させる際、図１において点線矢印で示すように、照明部１２（第１および第２の光源１２１，１２２、蛍光用ミラーユニット１２３）を撮像部１３と一体的に移動させる。すなわち、照明部１２は、その光中心が撮像部１３の光軸と略一致するように配置されており、撮像部１３が水平方向に移動するとき、これと連動して移動する。
　１つのウェルＷについて詳細な画像が必要とされるとき、撮像視野内に１つのウェルＷの全体が収められた状態で撮像が行われる。このとき、メカ制御部１４６は、可能な限り光軸が当該ウェルＷの中心と一致するように、撮像部１３を水平方向に位置決めする。これにより、どのウェルＷが撮像される場合でも、当該ウェルＷの中心および照明部１２の光中心が常に撮像部１３の光軸上に位置することとなる。したがって、各ウェルＷに対する照明条件を一定にして、撮像条件を良好に維持することができる。ウェルサイズが撮像視野より大きい場合には、ウェルを複数の撮像視野に分割して、かつ適切なサイズで撮像視野を互いにオーバーラップさせながら撮像することで、ウェル全体がカバーされる。それらの画像を結合することで、ウェル全体の画像が取得される。
　一方、複数のウェルＷについてより高速に撮像することが必要とされるときには、水平方向に撮像部１３を走査移動させながら撮像が行われる。すなわち、メカ制御部１４６が照明部１２および撮像部１３を一体的に一定速度で水平移動させることで走査移動が実現され、撮像部１３が定期的に撮像を行うことで広範囲が撮像される。特に撮像素子１３２としてのリニアイメージセンサを有する構成においては、このような撮像対象物に対する撮像部１３の走査移動により、撮像対象物の二次元画像が取得される。
　撮像部１３の撮像素子１３２から出力される画像信号は、制御部１４に送られる。すなわち、画像信号は制御部１４に設けられたＡＤコンバータ（Ａ／Ｄ）１４３に入力されてデジタル画像データに変換される。ＣＰＵ１４１は、受信した画像データに基づき適宜画像処理を実行する。制御部１４はさらに、画像データを記憶保存するための画像メモリ１４４と、ＣＰＵ１４１が実行すべきプログラムやＣＰＵ１４１により生成されるデータを記憶保存するためのメモリ１４５とを有しているが、これらは一体のものであってもよい。ＣＰＵ１４１は、メモリ１４５に記憶された制御プログラムを実行することにより、後述する各種の演算処理を行う。
　その他に、制御部１４には、インターフェース（ＩＦ）部１４２が設けられている。インターフェース部１４２は、ユーザからの操作入力の受け付けや、ユーザへの処理結果等の情報提示を行うユーザインターフェース機能のほか、通信回線を介して接続された外部装置との間でのデータ交換を行う機能を有する。ユーザインターフェース機能を実現するために、インターフェース部１４２には、ユーザからの操作入力を受け付ける入力受付部１４７と、ユーザへのメッセージや処理結果などを表示出力する表示部１４８とが接続されている。さらに、制御部１４は、第１の光源１２１および第２の光源１２２の点灯制御を行う照明制御部１４９を備えている。
　なお、制御部１４は、上記したハードウェアを備えた専用装置であってもよく、またパーソナルコンピュータやワークステーション等の汎用処理装置に、後述する処理機能を実現するための制御プログラムを組み込んだものであってもよい。すなわち、この撮像装置１の制御部１４として、汎用のコンピュータ装置を利用することが可能である。汎用処理装置が用いられる場合、撮像装置１には、撮像部１３等の各部を動作させるために必要最小限の制御機能が備わっていれば足りる。
　上記のように構成された撮像装置１は、ウェルＷ内を撮像して得た画像から、ウェルＷ内で培養された細胞の生死を判定し、判定された生細胞および死細胞それぞれの数を計数する機能を有している。以下、この撮像装置１の動作について説明する。下記の動作は、ＣＰＵ１４１がメモリ１４５に予め記憶されている制御プログラムを実行し、装置各部に該制御プログラムに規定された所定の動作を実行させることにより実現される。
　図３はこの撮像装置における細胞計数処理を示すフローチャートである。細胞の計数は、ウェルプレートＷＰに設けられた複数のウェルＷそれぞれについて個別に実行されるが、ここでは１つのウェルＷに対する動作に着目して説明する。最初に、照明部１２の第１の光源１２１から照明光Ｌ１がウェルＷに照射された状態で、撮像部１３によりウェルＷ内が明視野撮像される（ステップＳ１０１）。これによりウェルＷの明視野画像が得られる。撮像はウェルＷごとに個別に行われてもよく、複数のウェルＷについて一括して行われてもよい。
　以降の処理はウェルＷごとに個別に実行される。１つのウェルＷおよびその内部を撮像した画像を処理対象画像として、当該処理対象画像のウェルＷ内部から、細胞の形態を有する画像オブジェクトが検出される（ステップＳ１０２）。画像オブジェクトの検出には種々の公知技術を適用することが可能である。例えば、適宜に定められた閾値より大きな（または小さな）画素値を有する画素が連続する領域を抽出する方法を適用することができる。閾値の設定には、例えば背景の明るさに応じて動的に閾値を設定する適応的閾値法を用いることができる。形状から明らかに細胞ではないとみなせる画像オブジェクトは除外されるようにしてもよい。
　次に、検出された画像オブジェクトの形態的特徴を数値により表した特徴量が複数種求められ、それらの特徴量を要素とする特徴ベクトルが求められる（ステップＳ１０３）。こうして求められた特徴ベクトルと、後述する方法により予め作成された適宜の分類アルゴリズムに基づく分類器とを用いて、画像オブジェクトが分類される（ステップＳ１０４）。この分類器は、画像オブジェクトを、その特徴ベクトルに基づき、「生細胞」カテゴリと「死細胞」カテゴリとを含む複数の分類カテゴリのいずれかに分類する機能を有する。なお、検出される画像オブジェクトとしては生死不明の細胞や細胞でないもの（例えば気泡）も含まれ得るので、これらに対応する分類カテゴリが用意されていてもよい。
　分類結果に基づき細胞の生死が判定される（ステップＳ１０５）。具体的には、検出された画像オブジェクトのうち「生細胞」カテゴリに分類されたものは生細胞、すなわち生きている細胞と判定される。また「死細胞」カテゴリに分類された画像オブジェクトは死細胞、すなわち死んだ細胞と判定される。こうして個々の細胞について生死が判定されると、さらに生細胞と判定された画像オブジェクトおよび死細胞と判定された画像オブジェクトそれぞれの個数が計数される（ステップＳ１０６）。
　次に、上記判定処理に使用される分類器の構成方法について説明する。適宜の学習アルゴリズムに基づいて分類器を構成し細胞の生死を分類するために、生細胞および死細胞の典型例となるような画像サンプルが必要である。熟練者の目視判断によりこのような画像サンプルを用意することは可能である。しかしながら、典型例を収集するという目的から誤判定のない多数の画像サンプルが必要であり、目視判断に頼る作業は現実的でない。以下、目視判断によらない典型例の収集、およびそれを教師に用いた機械学習による分類器の構成方法の具体例について説明する。
　図４はこの実施形態における分類器の構成方法を示すフローチャートである。最初に、ＧＦＰ（生細胞に対応）とＰＩ染色（死細胞に対応）とを用いた場合の画像サンプルを取得するための蛍光標本が準備される（ステップＳ２０１）。蛍光標本としては、生死判定の対象とされる細胞と同種の細胞に対し、その生死に応じて励起光に対する蛍光の発生態様が異なるような標識が付与されたものが用いられる。標本には生細胞と死細胞との双方が含まれることが必要である。ここでは生細胞と死細胞とを共に含む標本を作製する方法を説明するが、両者が１つの標本をなす必要はなく、主に生細胞を含む標本と主に死細胞を含む標本とが個別に準備されてもよい。
　この実施形態では、蛍光タンパク質としての例えば緑色蛍光タンパク質（Green Fluorescent Protein；ＧＦＰ）を発現する細胞を、ウェルプレートＷＰのウェルＷ内で増殖させたものが用いられる。これに所定の薬剤を添加し、所定期間の経過後に蛍光色素としての例えばヨウ化プロピジウム（Propidium Iodide；ＰＩ）を添加したものが蛍光標本とされる。ＧＦＰは、これを組み込んだ細胞が生きていれば短波長の励起光に対して緑色の蛍光を発する。一方、ＰＩは死細胞染色試薬として用いられるものであり、死んだ細胞のＤＮＡと結合して、励起光に対し赤色の蛍光を発する。
　薬剤を添加して一部を死滅させた蛍光標本では、生細胞と死細胞とが混在している。この蛍光標本に励起光として例えば波長４７０ｎｍの青色光を入射させると、生細胞はＧＦＰに起因する緑色の蛍光を、死細胞はＰＩに起因する赤色の蛍光をそれぞれ発する。これにより、蛍光画像では生細胞と死細胞とが明確に識別可能になる。
　蛍光標本が作製されたウェルプレートＷＰは撮像装置１にセットされる（ステップＳ２０２）。そして、第２の光源１２２からの励起光の照射下で撮像部１３による撮像が行われ、蛍光画像が取得される（ステップＳ２０３）。また、第１の光源１２１からの照明光の照射下で撮像部１３による撮像が行われ、明視野画像が取得される（ステップＳ２０４）。蛍光画像の撮像および明視野画像の撮像の順序は任意であるが、細胞の移動や状態変化が起こらないように、両者の時間間隔は短いことが好ましい。励起光と照明光とが同軸照明光学系により選択的に照射される本実施形態の構成では、この時間間隔を十分に小さくすることができる。
　ＧＦＰによる緑色成分とＰＩによる赤色成分とを識別するために、蛍光画像はカラー画像として撮像される。得られた蛍光画像はＲＧＢの色成分ごとに分版される（ステップＳ２０５）。一方、明視野画像については、後処理において色に関わる特徴量が使用される場合にはカラー画像が必要であるが、そうでない場合には色情報は却って処理を複雑にすることがあり得る。このような場合、色成分ごとの処理を不要とするために、カラー画像として撮像された場合でも適宜の画像処理によりモノクロ化しておくことが好ましい。
　図５は撮像された画像およびそれから派生する各種画像の例を示す図である。明視野画像Ｉｂでは細胞Ｃの形状や輪郭が比較的鮮明に表れるが、細胞の生死を判断するには個々の細胞Ｃを詳細に観察しなければならない。一方、蛍光画像Ｉｆでは、生細胞の位置ではＧＦＰに起因する緑色の像Ｃｇが、また死細胞の位置ではＰＩに起因する赤色の像Ｃｒが現れる。したがって、蛍光画像Ｉｆを分版して得られたＧ（グリーン）単色画像Ｉｆｇでは生細胞の位置に像Ｃｇが、またＲ（レッド）単色画像Ｉｆｒでは死細胞の位置に像Ｃｒがそれぞれ現れる。なお使用される蛍光色素によっては、ＲＧＢ色成分のそれぞれに成分値を持つことがあり得る。その場合にも、公知の色彩画像処理の手法を用いて、その色を有する領域を特定することが可能である。
　このように、蛍光画像Ｉｆでは生細胞および死細胞が蛍光の色により区別されそれらの位置が明瞭に示される。ただし、細胞の形状に関する詳細な情報は失われている。ここで、仮に明視野画像Ｉｂと蛍光画像Ｉｆとを重ね合わせたとすると、合成された画像Ｉｓでは、明視野画像に現れた細胞Ｃそれぞれの生死が蛍光色によって示されることになる。この原理を利用して、明視野画像中の細胞Ｃを生細胞と死細胞とに区別することが可能である。
　図４に戻って、分類器の構成方法の説明を続ける。蛍光画像を分版したＧ単色画像およびＲ単色画像から、それぞれ生細胞および死細胞の位置が特定される（ステップＳ２０６、Ｓ２０７）。蛍光画像から分版されたＧ単色画像にはＧＦＰによる蛍光に対応する画像オブジェクトが現れる。したがって、例えばＧ色成分の輝度値について適宜の閾値を定めて画像を二値化することで、画像中の生細胞に対応するオブジェクトの分布がわかる。生細胞の位置については、例えば二値化画像中の各オブジェクトの重心位置によって表すことができる。Ｒ単色画像についても同様に、画像を二値化することでＰＩによる蛍光に対応するオブジェクトの位置が特定される。こうして、蛍光画像における生細胞および死細胞の位置がそれぞれ特定される。
　次に、明視野画像に含まれる画像オブジェクトが検出される（ステップＳ２０８）。画像オブジェクトの検出は、公知の検出方法のうち適宜のものを用いて行うことができる。例えば前述した適応的閾値法や種々の領域分割方法を用いることができる。こうして検出される画像オブジェクトには生細胞、死細胞およびそれらのいずれでもないものが含まれ得る。
　こうして検出された明視野画像中の画像オブジェクトの中から、蛍光画像における生細胞および死細胞の位置に対応する位置にある画像オブジェクトが抽出される（ステップＳ２０９）。明視野画像と蛍光画像とは同一の撮像部１３により同一撮像視野で撮像されている。図５に示したように、明視野画像Ｉｂと蛍光画像Ｉｆとを重ね合わせると、明視野画像Ｉｂ中の画像オブジェクトのうち生細胞または死細胞に対応するものは蛍光画像Ｉｆ中の画像オブジェクトと重なる。
　このことから、明視野画像Ｉｂ中の画像オブジェクトのうち、蛍光画像Ｉｆ中で検出された生細胞または死細胞の重心位置を含むものが、それぞれ生細胞または死細胞に対応する画像オブジェクトであると高い蓋然性で推定される。生細胞と推定される画像オブジェクトを、以下では「生細胞オブジェクト」と称することがある。同様に、死細胞と推定される画像オブジェクトを「死細胞オブジェクト」と称することがある。生細胞オブジェクトを生細胞の画像の典型例として、また死細胞オブジェクトを死細胞の画像の典型例として、それぞれ用いることが可能である。明視野画像中の画像オブジェクトのうち、生細胞、死細胞のいずれでもない気泡等に対応するものは、蛍光画像において対応する画像オブジェクトがないため、細胞ではない異物として区別することができる。
　こうして抽出された、生細胞に対応する画像オブジェクトおよび死細胞に対応する画像オブジェクトのそれぞれについて特徴ベクトルが求められる（ステップＳ２１０）。各オブジェクトが生細胞であるか死細胞であるかを示すラベルと特徴ベクトルとを教師データとする適宜の教師あり機械学習アルゴリズムが実行されることで、分類器が構成される（ステップＳ２１１）。構成された分類器は、分類カテゴリとして「生細胞」カテゴリおよび「死細胞」カテゴリを含み、未分類の画像オブジェクトをこれらのカテゴリのいずれかに分類する機能を有する。こうして構成された分類器が、図３に示した細胞計数処理（ステップＳ１０５）において使用される。
　明視野画像Ｉｂ中の画像オブジェクトのうち、生細胞、死細胞のいずれでもない、つまり対応するオブジェクトが蛍光画像Ｉｆ中に存在しないものに対して、例えば「非細胞物」としての分類カテゴリが別途設けられることが好ましい。すなわち、このような画像オブジェクトについても特徴ベクトルが導出され（ステップＳ２１０）、教師データとして学習に使用される。このようにすれば、図３に示される判定処理において細胞でない画像オブジェクトは非細胞物に分類されることとなり、このようなオブジェクトに対し誤って生細胞または死細胞との判定がなされることが回避される。細胞でない画像オブジェクトがさらに複数の分類カテゴリに細分化されてもよい。
　分類器におけるこれらの分類カテゴリは、機械学習の実行に先立って予め用意されたものであってもよい。また自己組織化学習アルゴリズムによって自動的に形成されたクラスタに対し専門家が事後的に与えるものであってもよい。
　特徴ベクトルの要素となる特徴量については、可視画像において細胞に現れる形態的特徴を定量的に表す公知の特徴量を適宜選択可能である。本願発明者の知見では、細胞の生死を判定するという目的に対しては、細胞の外形的特徴を表す輪郭線特徴量および細胞内部のテクスチャーを表すテクスチャー特徴量が有効であり、それらを組み合わせた場合により優れた効果が得られる。輪郭線特徴量としては例えば、オブジェクトの輪郭線の法線が示す方向を輪郭線上の画素ごとに求めて統計的に処理した法線角度ヒストグラムを用いることができる。また、テクスチャー特徴量としては例えば、輪郭線で囲まれた細胞内部についての高次局所自己相関特徴（High-order Local Auto-Correlation；ＨＬＡＣ）を用いることができる。
　図６は学習により形成される特徴空間内のクラスタを例示する図である。明視野画像から抽出された各画像オブジェクトは、複数の特徴量軸により構成される特徴空間内で、その特徴ベクトルにより特定される１点にマッピングされる。教師データに基づく機械学習により、各画像オブジェクトは特徴空間内で分類カテゴリごとにクラスタリングされる。
　図６はその一例を模式的に示したものであり、ここでは「生細胞」カテゴリに対応するクラスタＣａ、「死細胞」カテゴリに対応するクラスタＣｂおよび「非細胞物」カテゴリに対応するクラスタＣｃの３つのクラスタが例示されている。未分類の画像オブジェクトに対応する特徴ベクトルＶｕは、これらのクラスタのうち特徴空間内における距離が最も小さい１つのクラスタに対応する分類カテゴリに分類される。このようにして、明視野画像から抽出された未知の画像オブジェクトについて、それが細胞に対応するものであるか否か、細胞に対応する場合にはその生死が判定される。
　図７Ａないし図７Ｅは本実施形態の判定方法と既存の判定方法との比較結果を示す図である。本願発明者は、本実施形態による細胞の生死判定の精度を評価するため、判定精度において一定の実績が認められている既存の生死判定方法であるＡＴＰアッセイおよびＭＴＴアッセイとの間で比較実験を行った。具体的には、ＮＩＨ３Ｔ３細胞にＲａｓ遺伝子を導入してがん化させたものに抗がん剤としての薬剤ＭＧ１３２を作用させた試料を用意した。そして、所定時間経過後の細胞の生存能力（バイアビリティ）および５０％抑制濃度（ＩＣ５０）を、ＡＴＰアッセイ、ＭＴＴアッセイおよび本実施形態のそれぞれで計測し、結果を比較した。
　細胞の播種数と薬剤の希釈濃度との組み合わせを種々に異ならせて計測されたバイアビリティの値を図７Ａないし図７Ｃに示す。図７ＡはＡＴＰアッセイによる結果を、図７ＢはＭＴＴアッセイによる結果を、図７Ｃは本実施形態による結果をそれぞれ示す。既存のＡＴＰアッセイおよびＭＴＴアッセイにより求められるバイアビリティの数値は、試料中の細胞に占める生細胞の「量」の比率として表される。
　一方、本実施形態では、生細胞および死細胞それぞれを個別に計数することができるので、バイアビリティの数値については次のようにして求めた。まず、薬剤を添加した試料と薬剤を添加していない試料とのそれぞれにおいて、計数された生細胞の計数値から薬剤投与直前の生細胞の計数値を差し引く。そして、薬剤を添加した試料における生細胞の数を、薬剤を添加していない試料における生細胞の数で除した比の値を百分率で表したものをバイアビリティの値とした。３種類の方法で同様の計測結果が得られていることが、図７Ａないし図７Ｃからわかる。
　これらのグラフからＩＣ５０の値が求められる。具体的には、バイアビリティの値において５０％を挟む複数のデータ点からＳｉｇｍｏｉｄ関数によるフィッティングを行うことで、バイアビリティの値が５０％となる薬剤濃度が求められ、その値がＩＣ５０とされる。数値同士を比較して一方が他方に対し０．５倍ないし２倍の範囲にあれば十分な相関が取れているとみなすことができるとされる。図７Ｄに示すように、各判定方法で極めて近い数値が得られている。本実施形態による判定方法と、ＡＴＰアッセイおよびＭＴＴアッセイとの間でのＩＣ５０の値の相関度を図７Ｅに示す。これら既存の方法と本実施形態による判定方法との間で極めて高い相関が得られていることがわかる。
　以上のように、この実施形態では、明視野画像に含まれる画像オブジェクトから生細胞および死細胞を識別する分類器を構成するために、予めラベリングが施された蛍光標本における蛍光画像と明視野画像との間での画像オブジェクトの対応関係を利用している。具体的には、蛍光標本は、蛍光画像において生細胞と死細胞とが異なる蛍光を発するように作製され、これを撮像した蛍光画像から生細胞および死細胞の位置が特定される。
　そして、明視野画像中で検出される画像オブジェクトのうち、蛍光画像において生細胞が検出された位置にあるものは生細胞に対応するオブジェクト（生細胞オブジェクト）とみなされ、死細胞が検出された位置にあるものは死細胞に対応するオブジェクト（死細胞オブジェクト）とみなされる。これらの画像オブジェクトがそれぞれ生細胞および死細胞の典型例として用いられ、それらの特徴ベクトルを用いた教師あり機械学習により分類器が構成される。
　生死判定の処理対象となる細胞を含む試料を撮像した画像中から検出される未分類の画像オブジェクトについては、上記のようにして構成された分類器を用いて分類を行うことで、明視野画像中のオブジェクトの外観から導出可能な特徴ベクトルに基づいて生死判定を行うことが可能となる。したがって、いったん分類器ができ上がれば、未知の試料に対し予めラベリングを行うことは不要であり、ラベリングのための処置が試料中の細胞に影響を与えることが回避される。またラベリング作業に要する費用および手間を削減することが可能となる。特に、大量の試料を評価する必要があるスクリーニング実験においてラベリングが不要となることは非常に有益である。
　また、分類器を構成する際の学習が、蛍光画像との関連付けによりその生死が明白である画像オブジェクトを典型例として行われる。そのため、熟練者による判定作業は不要であり、判定者の主観に依存しない安定した判定結果を得ることが可能となる。
　以上説明したように、上記実施形態の分類器構成方法（図４）のうち、ステップＳ２０３、Ｓ２０４、Ｓ２０６～Ｓ２０７、Ｓ２０８～Ｓ２０９、Ｓ２１０～Ｓ２１１がそれぞれ本発明の、「第１工程」、「第２工程」、「第３工程」、「第４工程」、「第５工程」に相当している。また、上記実施形態の撮像装置１では、撮像部１３が本発明の「撮像手段」として機能している。
　また、上記実施形態の細胞計数処理（図３）のうち、ステップＳ１０１、Ｓ１０２、Ｓ１０３～Ｓ１０５がそれぞれ本発明の「処理対象画像を取得する工程」、「画像オブジェクトを検出する工程」、「生死を判定する工程」に相当している。そして、ステップＳ１０１～Ｓ１０５の処理が全体として、本発明の「生死判定方法」に相当している。
　なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態における蛍光標本のラベリング手法や特徴量の選択はその一例を示したものであり、上記に限定されるものではない。
　また、上記実施形態の撮像装置１は、予め準備された蛍光標本を撮像し分類器を構成する機能と、未知の試料を撮像し細胞の生死判定を行う機能との双方を備えるものである。しかしながら、蛍光標本を撮像する処理、これを用いて分類器を構成する処理、未知の試料を撮像する処理、およびその画像から細胞の生死判定を行う処理は、それぞれ独立したものである。したがってこれらが全て一体の装置により実行される必要は必ずしもない。例えば、蛍光標本を撮像し分類器を構成する処理と、未知の試料を撮像して細胞の生死判定を行う処理とが異なる装置によって実行されてもよい。
　また、蛍光標本および試料を撮像する装置と、撮像された画像を用いて分類器の構成および未知試料の判定を行う装置とが別体に構成されてもよい。また、生細胞と死細胞との外観的特徴の差異は、細胞の種類および薬剤の種類によって決まるものであり、これらを撮像する装置の構成や画像処理の内容に依存するものではない。したがって、例えばある細胞について生死判定を行う環境が複数設けられるとき、当該細胞に対して上記方法で用意された分類器は、それら複数の環境において共通して使用することが可能である。これらの場合、未知試料の撮像を行う撮像装置に蛍光撮像を行うための構成は必須ではない。
　また、上記実施形態の撮像装置１は、蛍光撮像のための励起光源と明視野撮像のための照明光源とが同軸照明をなし、また両撮像が同一の撮像部１３により同一撮像視野で実行される。しかしながら、同一標本に対する蛍光撮像と明視野撮像とが短い時間間隔で行われ、かつ蛍光画像と明視野画像との間で画像中の位置関係が明確である限りにおいて、蛍光撮像と明視野撮像とが異なる環境で行われてもよい。
　以上、具体的な実施形態を例示して説明してきたように、この発明は例えば、第１工程では、蛍光を励起する励起光が照射された蛍光標本を撮像手段が撮像する一方、第２工程では、照明光としての可視光が照射された蛍光標本を第１工程と同一の撮像手段、同一の撮像視野で撮像するように構成されてもよい。このような構成によれば、蛍光撮像と明視野撮像との間で蛍光標本を移動させる必要がなく、両撮像の間で細胞の状態が変化するのを回避することができる。また、蛍光画像と明視野画像との間で、同一細胞の像が同一位置に現れるので、両者の位置関係が極めて明確である。
　また例えば、蛍光標本としては、緑色蛍光タンパク質を導入して培養した細胞に死細胞染色試薬としての赤色蛍光色素が添加されたものを使用可能である。このとき、第１工程では、蛍光標本のカラー画像が取得され、第３工程では、カラー画像を分版したＧ（グリーン）単色画像において所定以上の輝度を有する領域が生細胞とされる一方、カラー画像を分版したＲ（レッド）単色画像において所定以上の輝度を有する領域が死細胞とされるように構成されてもよい。
　このような構成によれば、Ｇ単色画像には生細胞の位置にのみ画像オブジェクトが現れ、Ｒ単色画像には死細胞の位置にのみ画像オブジェクトが現れることとなる。このため、生細胞および死細胞それぞれの位置を簡単にかつ確実に特定することができる。また、細胞とは異なる画像オブジェクトを除外することができるので、誤判定を回避して、構成される分類器の精度をより向上させることができる。
　また例えば、特徴ベクトルは、画像オブジェクトの輪郭線の形状に関連する輪郭線特徴量、および、画像オブジェクト内のテクスチャーに関連するテクスチャー特徴量の少なくとも一方を要素として含むものであってもよい。この場合、テクスチャー特徴量は、例えば高次局所自己相関特徴に関連する特徴量を含むものであってもよい。本願発明者の知見によれば、これらの特徴量は細胞の生死を精度よく判定するという目的に好適に利用可能なものである。
　以上、特定の実施例に沿って発明を説明したが、この説明は限定的な意味で解釈されることを意図したものではない。発明の説明を参照すれば、本発明のその他の実施形態と同様に、開示された実施形態の様々な変形例が、この技術に精通した者に明らかとなるであろう。故に、添付の特許請求の範囲は、発明の真の範囲を逸脱しない範囲内で、当該変形例または実施形態を含むものと考えられる。
　この発明は、細胞の生死を客観的にかつ定量的に評価する目的に好適に適用することができる。例えば創薬スクリーニングを目的として細胞に作用させた化合物の薬効を定量的に評価する際に利用可能である。また例えば、ｉＰＳ細胞やＥＳ細胞など多能性幹細胞を用いた再生医療技術の有効性を評価する際にも好適に利用可能である。
　１　撮像装置
　１３　撮像部（撮像手段）
　Ｃ　細胞
　Ｉｂ　明視野画像
　Ｉｆ　蛍光画像
　Ｓ１０１　処理対象画像を取得する工程
　Ｓ１０２　画像オブジェクトを検出する工程
　Ｓ１０３～Ｓ１０５　生死を判定する工程
　Ｓ２０３　第１工程
　Ｓ２０４　第２工程
　Ｓ２０６～Ｓ２０７　第３工程
　Ｓ２０８～Ｓ２０９　第４工程
　Ｓ２１０～Ｓ２１１　第５工程

Claims (6)

  1. 　励起光に対する蛍光の発生態様が互いに異なる生細胞および死細胞を含む蛍光標本が蛍光撮像された蛍光画像を取得する第１工程と、
    　前記蛍光標本が明視野撮像された明視野画像を取得する第２工程と、
    　前記蛍光画像から前記蛍光標本中の生細胞および死細胞それぞれの位置を特定する第３工程と、
    　前記明視野画像中で、前記第３工程において特定された生細胞の位置に対応する位置にある画像オブジェクトを生細胞オブジェクトとして、また前記第３工程において特定された死細胞の位置に対応する位置にある画像オブジェクトを死細胞オブジェクトとしてそれぞれ抽出する第４工程と、
    　前記生細胞オブジェクトおよび前記死細胞オブジェクトとして抽出された前記画像オブジェクト各々の特徴ベクトルを求め、前記特徴ベクトルを含む教師データを用いた機械学習により分類器を構成する第５工程と
    を備える、細胞の生死判定のための分類器構成方法。
  2. 　前記第１工程では、蛍光を励起する励起光が照射された前記蛍光標本を撮像手段が撮像する一方、前記第２工程では、可視光による照明下で、前記第１工程と同一の撮像手段が前記第１工程と同一の撮像視野で前記蛍光標本を撮像する請求項１に記載の分類器構成方法。
  3. 　前記蛍光標本は、緑色蛍光タンパク質を導入して培養した細胞に死細胞染色試薬としての赤色蛍光色素を添加して作製され、
    　前記第１工程では前記蛍光標本のカラー画像が取得され、
    　前記第３工程では、前記カラー画像を分版したグリーン単色画像において所定以上の輝度を有する領域が前記生細胞とされる一方、前記カラー画像を分版したレッド単色画像において所定以上の輝度を有する領域が前記死細胞とされる請求項１または２に記載の分類器構成方法。
  4. 　前記特徴ベクトルは、前記画像オブジェクトの輪郭線の形状に関連する輪郭線特徴量、および、前記画像オブジェクト内のテクスチャーに関連するテクスチャー特徴量の少なくとも一方を要素として含む請求項１ないし３のいずれかに記載の分類器構成方法。
  5. 　前記テクスチャー特徴量は、高次局所自己相関特徴に関連する特徴量を含む請求項４に記載の分類器構成方法。
  6. 　細胞を含む試料が明視野撮像された処理対象画像を取得する工程と、
    　前記処理対象画像から前記細胞に対応する画像オブジェクトを検出する工程と、
    　検出された前記画像オブジェクトを、請求項１ないし５のいずれかに記載の分類器構成方法により構成された分類器を用いて分類し、分類結果に基づいて当該画像オブジェクトに対応する前記細胞の生死を判定する工程と
    を備える細胞の生死判定方法。
PCT/JP2016/081669 2015-11-10 2016-10-26 分類器構成方法およびこれを用いた細胞の生死判定方法 WO2017082048A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16864012.6A EP3375859B1 (en) 2015-11-10 2016-10-26 Method for constructing classifier, and method for determining life or death of cells using same
CN201680065837.1A CN108350410A (zh) 2015-11-10 2016-10-26 分类器构成方法、以及用其进行的判定细胞生死的方法
US15/774,567 US10803290B2 (en) 2015-11-10 2016-10-26 Classifier construction method and method for determining life or death of cell using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-220087 2015-11-10
JP2015220087A JP6660712B2 (ja) 2015-11-10 2015-11-10 分類器構成方法および細胞の生死判定方法

Publications (1)

Publication Number Publication Date
WO2017082048A1 true WO2017082048A1 (ja) 2017-05-18

Family

ID=58695148

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/081669 WO2017082048A1 (ja) 2015-11-10 2016-10-26 分類器構成方法およびこれを用いた細胞の生死判定方法

Country Status (5)

Country Link
US (1) US10803290B2 (ja)
EP (1) EP3375859B1 (ja)
JP (1) JP6660712B2 (ja)
CN (1) CN108350410A (ja)
WO (1) WO2017082048A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004318A1 (ja) * 2020-07-02 2022-01-06 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
WO2022230672A1 (ja) * 2021-04-28 2022-11-03 富士フイルム株式会社 細胞生死判定方法、細胞生死判定装置及び細胞生死判定システム
CN116453116A (zh) * 2023-06-20 2023-07-18 杭州济扶科技有限公司 一种高适应性的明场细胞活死分类算法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039035A1 (ja) * 2017-08-25 2019-02-28 富士フイルム株式会社 判別器の学習装置、方法およびプログラム、並びに判別器
WO2019230447A1 (ja) * 2018-06-01 2019-12-05 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
JP6627069B2 (ja) * 2018-06-01 2020-01-08 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
KR101926181B1 (ko) * 2018-08-01 2018-12-06 (주)한그린테크 머신러닝 기반 신선도 측정 장치 및 방법
US10929716B2 (en) * 2018-09-12 2021-02-23 Molecular Devices, Llc System and method for label-free identification and classification of biological samples
WO2020210734A1 (en) 2019-04-11 2020-10-15 Agilent Technologies, Inc. User interface configured to facilitate user annotation for instance segmentation within biological sample
JP2021036820A (ja) * 2019-09-03 2021-03-11 シンフォニアテクノロジー株式会社 細胞観察装置
US20220383550A1 (en) * 2019-11-12 2022-12-01 Sumitomo Chemical Company, Limited Method for assessing assessment targets, image processing device, system for assessing assessment targets
WO2022176665A1 (ja) * 2021-02-18 2022-08-25 株式会社APSAM Imaging 画像解析方法、画像解析装置、分類装置、分類システム、制御プログラム、記録媒体
GB2607604A (en) * 2021-06-08 2022-12-14 Solentim Ltd Brightfield and fluorescence image comparison
CN117106727A (zh) * 2023-08-22 2023-11-24 翔鹏佑康(北京)科技有限公司 一种car-nk细胞制剂的制备方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008129881A1 (ja) * 2007-04-18 2008-10-30 The University Of Tokyo 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体
JP2009517072A (ja) * 2005-11-30 2009-04-30 プラスティセル リミテッド 細胞シグナリングのモジュレーターの同定方法
JP2011002995A (ja) * 2009-06-18 2011-01-06 Riron Soyaku Kenkyusho:Kk 細胞認識装置、インキュベータおよびプログラム
JP2012506443A (ja) * 2008-10-22 2012-03-15 シンタ ファーマシューティカルズ コーポレーション ビス［チオヒドラジドアミド］化合物の遷移金属錯体
JP2013203673A (ja) * 2012-03-27 2013-10-07 Keio Gijuku 単鎖切断誘導剤の増感剤及びその製造方法
JP2014029287A (ja) * 2012-07-31 2014-02-13 Olympus Corp 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7958063B2 (en) * 2004-11-11 2011-06-07 Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector
GB0524609D0 (en) * 2005-12-02 2006-01-11 Univ Cambridge Tech Methods of monitoring and diagnosing psychotic disorders and of identifying biomarkers for psychotic disorders
CN101149327B (zh) * 2007-11-06 2010-06-30 浙江大学 基于细胞显微图像信息的抗肿瘤药物评价和筛选方法
ES2661768T3 (es) * 2008-10-21 2018-04-03 Chemometec A/S Aparato y procedimiento de imagenología por fluorescencia
WO2013166336A1 (en) 2012-05-02 2013-11-07 Charles River Laboratories, Inc. Viability staining method
CN104263644B (zh) * 2014-08-28 2016-07-06 中北大学 激光阵列编码和光诱导的细胞分离方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009517072A (ja) * 2005-11-30 2009-04-30 プラスティセル リミテッド 細胞シグナリングのモジュレーターの同定方法
WO2008129881A1 (ja) * 2007-04-18 2008-10-30 The University Of Tokyo 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体
JP2012506443A (ja) * 2008-10-22 2012-03-15 シンタ ファーマシューティカルズ コーポレーション ビス［チオヒドラジドアミド］化合物の遷移金属錯体
JP2011002995A (ja) * 2009-06-18 2011-01-06 Riron Soyaku Kenkyusho:Kk 細胞認識装置、インキュベータおよびプログラム
JP2013203673A (ja) * 2012-03-27 2013-10-07 Keio Gijuku 単鎖切断誘導剤の増感剤及びその製造方法
JP2014029287A (ja) * 2012-07-31 2014-02-13 Olympus Corp 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3375859A4 *
WEI, N. ET AL.: "A machine vision system for automated non-invasive assessment of cell viability via dark field microscopy, wavelet feature selection and classification", BMC BIOINFORMATICS, vol. 9, no. 449, 2008, pages 1 - 15, XP021041839 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004318A1 (ja) * 2020-07-02 2022-01-06 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP7463512B2 (ja) 2020-07-02 2024-04-08 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
WO2022230672A1 (ja) * 2021-04-28 2022-11-03 富士フイルム株式会社 細胞生死判定方法、細胞生死判定装置及び細胞生死判定システム
CN116453116A (zh) * 2023-06-20 2023-07-18 杭州济扶科技有限公司 一种高适应性的明场细胞活死分类算法
CN116453116B (zh) * 2023-06-20 2023-09-08 杭州济扶科技有限公司 一种高适应性的明场细胞活死分类算法

Also Published As

Publication number Publication date
US20200257886A1 (en) 2020-08-13
JP6660712B2 (ja) 2020-03-11
CN108350410A (zh) 2018-07-31
EP3375859A4 (en) 2019-05-01
EP3375859B1 (en) 2024-01-10
EP3375859A1 (en) 2018-09-19
US10803290B2 (en) 2020-10-13
JP2017085966A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
WO2017082048A1 (ja) 分類器構成方法およびこれを用いた細胞の生死判定方法
US11914133B2 (en) Methods and apparatus for analyzing a bodily sample
JP6062059B2 (ja) バイオイメージング法
US9522396B2 (en) Apparatus and method for automatic detection of pathogens
US20230028360A1 (en) Artificial generation of color blood smear image
JP2008187935A (ja) 微生物計数装置および点検用チップ
JP2008187935A5 (ja)
Pozzi et al. Artificial intelligence in imaging flow cytometry
US20240241031A1 (en) Classification Model Generation Method, Particle Determination Method, and Recording Medium
WO2023042646A1 (ja) 分類モデル生成方法、粒子判定方法、コンピュータプログラム及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16864012

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016864012

Country of ref document: EP