WO2019150755A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
WO2019150755A1
WO2019150755A1 PCT/JP2018/044628 JP2018044628W WO2019150755A1 WO 2019150755 A1 WO2019150755 A1 WO 2019150755A1 JP 2018044628 W JP2018044628 W JP 2018044628W WO 2019150755 A1 WO2019150755 A1 WO 2019150755A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
imaging system
biological object
feature amount
cells
Prior art date
Application number
PCT/JP2018/044628
Other languages
English (en)
French (fr)
Inventor
大 坂本
Original Assignee
ヤマハ発動機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ発動機株式会社 filed Critical ヤマハ発動機株式会社
Priority to EP18903403.6A priority Critical patent/EP3733832A4/en
Priority to CN201880087823.9A priority patent/CN111630149A/zh
Priority to US16/965,237 priority patent/US11367294B2/en
Priority to JP2019568898A priority patent/JP7018078B2/ja
Publication of WO2019150755A1 publication Critical patent/WO2019150755A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M33/00—Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus
    • C12M33/04—Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus by injection or suction, e.g. using pipettes, syringes, needles
    • C12M33/06—Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus by injection or suction, e.g. using pipettes, syringes, needles for multiple inoculation or multiple collection of samples
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • G01N15/1433—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N2015/1486—Counting the particles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N2015/1497—Particle shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an imaging system including an imaging device that images a biological object such as a cell or a cell mass.
  • imaging for selecting cells or cell masses may be performed.
  • cells picked up on a plate having a large number of receiving recesses are imaged with an imaging device, desired cells are selected based on the obtained images, and the selected cells are aspirated with a chip and transferred to a microplate.
  • an operation of performing is performed (for example, Patent Document 1).
  • the above-mentioned manual selection method requires a lot of work for the operator because the operator observes individual cells and makes a pass / fail judgment.
  • cell quality determination is likely to vary depending on individual subjectivity, experience level, etc., and it is difficult to obtain a uniform quality determination result.
  • the method of setting the selection reference value in advance the quality of the cells can be automatically determined, so labor is reduced.
  • An object of the present invention is to provide an imaging system capable of accurately selecting a living body object and reducing labor for selecting the living body object.
  • An imaging system includes an imaging device capable of simultaneously imaging a plurality of biological objects, a display unit that displays an image including the plurality of biological objects captured by the imaging device, and an operator
  • an input unit that accepts an input related to a selection operation for the plurality of biological objects displayed on the display unit, and an image corresponding to the biological object to which the selection operation is given by the input unit
  • An analysis unit that extracts a feature amount of an object and a biological object that has been subjected to the selection operation up to a first time point, based on a feature amount extracted by the analysis unit or a predetermined reference feature amount
  • a parameter that defines a range of the biological object to be processed is set. Characterized in that it and a specifying unit configured to specify a recommended biological object to prompt the operator to make selections based on.
  • FIG. 1 is a diagram schematically illustrating a configuration example of a cell moving device to which an imaging system according to an embodiment of the present invention is applied.
  • FIG. 2A is a top view of a dish provided in the sorting container used in the cell transfer device
  • FIG. 2B is a cross-sectional view taken along the line IIB-IIB in FIG.
  • FIG. 3 is a diagram schematically showing a flow of cell sorting work using the imaging system according to the present embodiment.
  • 4A is a diagram illustrating an example of a cell shape
  • FIG. 4B is a graph for explaining an example of a selection criterion based on the cell shape.
  • FIG. 5 is a diagram for explaining a selection criterion based on the color of a cell.
  • FIG. 1 is a diagram schematically illustrating a configuration example of a cell moving device to which an imaging system according to an embodiment of the present invention is applied.
  • FIG. 2A is a top view of a dish provided in the sorting
  • FIG. 6 is a diagram for explaining a selection criterion based on a cell pattern.
  • FIGS. 7A and 7B are diagrams for explaining selection criteria based on the light intensity of cells.
  • FIG. 8 is a block diagram of the imaging system according to the embodiment of the present invention.
  • FIG. 9 is a flowchart of a cell sorting operation using the imaging system.
  • a living body-derived cell can be typically exemplified.
  • cells derived from living organisms include single cells (cells) such as blood cells and single cells, tissue pieces such as Histoculture and CTOS, cell aggregates such as spheroids and organoids, zebrafish, nematodes, and fertilized eggs An individual such as 2D or 3D colony.
  • biological objects include tissues, microorganisms, small-sized species, and the like. In the embodiment described below, an example is shown in which the biological object is a cell or a cell aggregate formed by aggregating several to several hundreds of thousands of cells (hereinafter collectively referred to simply as “cell C”). .
  • FIG. 1 is a diagram schematically showing an overall configuration of a cell transfer device S to which an imaging system according to an embodiment of the present invention is applied.
  • a cell moving device S that moves cells C between two containers (dish 2 and microplate 4) is illustrated.
  • the cell transfer device S includes a translucent base 1 having a horizontal placement surface (upper surface), a camera unit 5 (imaging device) disposed on the lower side of the base 1, and an upper side of the base 1. And the head unit 6 disposed in the.
  • a sorting container 11 having a dish 2 (plate) is placed at the first placement position P1 of the base 1, and a microplate 4 is placed at the second placement position P2.
  • the head unit 6 is equipped with a plurality of heads 61 to which a chip 12 that sucks and discharges cells C is mounted and which can move along the Z direction (vertical direction).
  • the camera unit 5 and the head unit 6 are movable in the X direction (horizontal direction) and the direction perpendicular to the paper surface of FIG. 1 (Y direction).
  • the dish 2 and the microplate 4 are placed on the upper surface of the base 1 within the movable range of the head unit 6.
  • the cell transfer device S sucks the cells C individually from each of the plurality of chips 12 from the dish 2 of the sorting container 11 that holds a large number of cells C, and moves the cells C to the microplate 4.
  • cells C are simultaneously discharged from a plurality of chips 12 to the microplate 4 (well 41).
  • the cells C held on the dish 2 are imaged by the camera unit 5 and a sorting operation for sorting the high-quality cells C to be moved to the microplate 4 is performed.
  • the base 1 is a rectangular flat plate having a predetermined rigidity and part or all of which is made of a translucent material.
  • a preferred base 1 is a glass plate.
  • the sorting container 11 is a container from which the cells C move, stores the medium L, and holds the cell sorting dish 2 in a state of being immersed in the medium L.
  • the dish 2 is a plate for holding the cells C, and has a plurality of holding recesses 3 (sections for storing objects) capable of individually storing and holding the cells C on the upper surface.
  • the medium L is not particularly limited as long as it does not deteriorate the properties of the cells C, and can be appropriately selected depending on the type of the cells C.
  • the sorting container 11 has a rectangular upper opening 11H on the upper surface side.
  • the upper opening 11H is an opening for loading the cells C and picking up the sorted cells C.
  • the dish 2 is disposed below the upper opening 11H.
  • the sorting container 11 and the dish 2 are made of a translucent resin material or glass. This is because the cells C carried on the dish 2 can be observed by the camera unit 5 arranged below the sorting container 11.
  • a plurality of cells C dispersed in a cell culture solution are injected into the sorting container 11 from a dispensing chip (not shown).
  • the dispensing tip aspirates the cell culture solution together with the cells C from a container that stores a cell culture solution containing a large amount of cells C, and holds it in the dispensing tip. Thereafter, the dispensing tip is moved to the upper position of the sorting container 11 and accesses the upper surface of the dish 2 through the upper opening 11H. Then, with the tip opening of the dispensing tip immersed in the medium L of the sorting container 11, the cells C held in the dispensing tip are discharged onto the dish 2 together with the cell culture solution.
  • the microplate 4 is a container to which the cells C are moved, and has a plurality of wells 41 from which the cells C are discharged.
  • the well 41 is a hole with a bottom opened on the upper surface of the microplate 4.
  • a single well 41 accommodates a necessary number (usually one) of cells C together with the medium L.
  • the microplate 4 is also made of a translucent resin material or glass. This is because the cell C carried in the well 41 can be observed by the camera unit 5 arranged below the microplate 4.
  • the camera unit 5 captures an image of the cell C held in the sorting container 11 or the microplate 4 from the lower surface side, and includes a lens unit 51 and a camera body 52.
  • the lens unit 51 is an objective lens used in an optical microscope, and includes a lens group that forms an optical image with a predetermined magnification and a lens barrel that houses the lens group.
  • the camera body 52 includes an image sensor such as a CCD image sensor.
  • the lens unit 51 forms an optical image of the imaging object on the light receiving surface of the imaging element.
  • the camera unit 5 is movable in the X direction and the Y direction below the base 1 along a guide rail 5G extending in the left-right direction parallel to the base 1. Further, the lens unit 51 is movable in the Z direction for the focusing operation.
  • the head unit 6 is provided for picking up the cells C from the dish 2 and moving them to the microplate 4 and includes a plurality of heads 61 and a head body 62 to which these heads 61 are assembled. At the tip of each head 61, a chip 12 that performs suction (pickup) and discharge of cells C is mounted.
  • the head main body 62 holds the head 61 so as to be movable up and down in the + Z and ⁇ Z directions, and is movable in the + X and ⁇ X directions along the guide rail 6G.
  • the head main body 62 can also move in the Y direction.
  • FIG. 2A is a top view of the dish 2
  • FIG. 2B is a cross-sectional view taken along the line IIB-IIB in FIG. 2A.
  • the dish 2 includes a dish body 20 and a plurality of holding recesses 3 formed in the dish body 20.
  • the dish body 20 is made of a flat plate member having a predetermined thickness, and has an upper surface 21 and a lower surface 22.
  • the holding recess 3 has a cell C receiving opening (opening 31) on the upper surface 21 side.
  • the dish 2 is immersed in the medium L in the sorting container 11. Specifically, the upper surface 21 of the dish body 20 is immersed in the culture medium L in the sorting container 11, while the lower surface 22 is held in the sorting container 11 in a state of being spaced from the bottom plate of the sorting container 11. (See FIG. 1).
  • Each holding recess 3 includes an opening 31, a bottom 32, a cylindrical wall 33, a hole 34, and a boundary 35.
  • an example is shown in which square holding recesses 3 are arranged in a matrix in a top view.
  • the plurality of holding recesses 3 are arranged in a matrix at a predetermined recess array pitch.
  • the opening 31 is a square opening provided on the upper surface 21 and has a size that allows the tip opening t of the sorting chip 12 to enter.
  • the bottom 32 is located inside the dish body 20 and near the lower surface 22.
  • the bottom 32 is an inclined surface that is gently inclined downward toward the center (the center of the square).
  • the cylindrical wall surface 33 is a wall surface extending vertically downward from the opening 31 toward the bottom 32.
  • the hole 34 is a through hole that vertically penetrates between the center of the bottom 32 and the lower surface 22.
  • the boundary portion 35 is a portion that is located on the upper surface 21 and serves as an opening edge of each holding recess 3, and is a ridge line that partitions the holding recesses 3.
  • each holding recess 3 define an accommodation space 3H that accommodates the cells C. It is contemplated that one cell C is generally accommodated in the accommodation space 3H.
  • the hole 34 is provided in order to let small cells and impurities other than the desired size escape from the accommodation space 3H. Therefore, the size of the hole 34 is selected so that cells C having a desired size cannot pass through and small cells or impurities other than the desired size can pass therethrough. As a result, the cells C to be sorted are trapped in the holding recess 3, while impurities and the like fall from the hole 34 to the bottom plate of the sorting container 11.
  • FIG. 3 is a diagram schematically showing the procedure (A) to (G) of the cell sorting operation using the imaging system according to the present embodiment.
  • the lens unit 51 of the camera unit 5 has an angle of view capable of simultaneously imaging a plurality of cells C (living subject). That is, the lens unit 51 has an angle of view capable of imaging the plurality of holding recesses 3 of the dish 2 shown in FIG. 2 by one imaging operation.
  • the procedure (A) shows an example in which the holding recesses 3 of a 3 ⁇ 3 (m1 to m3 ⁇ n1 to n3) matrix are imaged by one imaging operation.
  • one relatively small cell C is held in the holding recess 3 of m1n2 and m1n3
  • one relatively large cell C is held in the holding recess 3 of m2n3, and is held in the holding recess 3 of m2n2, m3n1, and m3n3.
  • the characteristic amount of the cell C held in each holding recess 3 is extracted by analyzing the image acquired in the procedure (A).
  • the feature amount is, for example, the amount of cells C obtained from the number, area, estimated volume, etc. of the cells C, the color and pattern of the cells C, the light intensity when the cells C are made fluorescent. .
  • the analysis results of the cells C in each holding recess 3 are each digitized.
  • the analysis result obtained in procedure (B) is compared with the parameters that define the range of cells C to be selected.
  • This parameter is a characteristic amount of a cell C that is preferable as a selection target obtained from the analysis result of the past cell C based on the images obtained by the current imaging and the selection result (selection operation up to the first time point). It is a parameter indicating a range, that is, a learning value of a selection criterion in the current state.
  • the parameters set based on the reference feature amount predetermined as the cell C preferable as the selection target and the procedure Comparison with the analysis result obtained in B) is performed.
  • a recommended cell C (recommended biological object) that prompts the operator to select as a movement target is specified based on the comparison result of the procedure (C).
  • the recommended cell C is identified based on whether or not the feature amount of each cell C included in the image obtained from the current imaging (the imaging at the second time point after the first time point) belongs to the above parameter range. Is done.
  • the recommended cell C is displayed on the display unit such as a monitor for the operator.
  • the illustrated procedure (D) an example is shown in which the cells C (recommended cells C) carried in the holding recesses 3 of m1n2 and m1n3 are recommended to the operator.
  • a display for recognizing that the operator is prompted to make a selection (such as adding a symbol or the like that surrounds the cells C with a high-intensity marker) is added.
  • the recommended cell C is approved by the operator's manual operation.
  • the approval work whether or not the recommended cell C presented from the imaging system side in the procedure (D) may be handled as the cell C to be actually selected as a movement target in light of the operator's own experience. Is an operation for the operator to determine
  • m1n2 and m1n3 cells C are recommended cells C. The operator performs an approval operation when it is determined that these are cells to be selected as a movement target, and performs an unapproved operation when it is determined that they should not be selected.
  • step (E) the imaging system side determines whether there is a cell C that should not be treated as the recommended cell C in step (D). Specifically, the operator determines whether there is a cell C to be moved among the m2n2, m2n3, m3n1, and m3n3 cells that are not recommended cells C, and such a cell C exists. Performs an additional operation to select this.
  • the illustrated procedure (E) shows an example in which the recommended cells C of m1n2 and m1n3 are approved and the cell C of m2n3 is additionally selected (additional approval).
  • parameters (learning values) that define the range of cells C to be selected are updated based on the results of the operator's approval and additional selection.
  • the recommended cell C presented is approved, but the m2n3 cell C is additionally selected. That is, the recommended cell C presented by the imaging system does not match the cell C actually selected by the operator.
  • parameters (learning) are set so that these cells C fall within the category of “cells to be selected”. Value) is modified. Then, when the operations of the above procedures (A) to (E) are performed again for each cell C included in the image obtained from the next imaging (imaging at the third time point after the second time point), Based on the corrected parameter, the recommended cell C is specified.
  • a predetermined operation is performed on the cell C approved and additionally approved by the operator (procedure (Ga)).
  • a predetermined operation is performed on the cells C that are not subject to approval (procedure (Gb)).
  • a typical example of the predetermined operation is picking up and moving the cell C.
  • m1n2, m1n3 and m2n3 cells C are picked up.
  • a pick-up operation for cells C existing in the holding recesses 3 other than m1n2, m1n3, and m2n3, or an additional operation for cells C is performed.
  • the cells are imaged in the state of being accommodated in the holding recesses 3 (plate sections) of the dish 2, the image obtained by the imaging is analyzed, and the cells C are measured in units of individual holding recesses 3. Feature quantities are extracted.
  • the feature amount that is easy to be displayed in such an image is the shape of the cell C or the amount of the cell C accommodated in one holding recess 3.
  • the shape of the cell C can be evaluated by, for example, the roundness of the cell C as shown in FIG. That is, the shape of the cell C can be evaluated by quantifying the degree to which the shape of the outer contour of the cell C identified from the two-dimensional image approximates the perfect circle R.
  • the amount of cells C is estimated from, for example, the number of cells C accommodated in one holding recess 3, the area of the cells C on the two-dimensional image, and the outline of the cells C on the two-dimensional image. It is possible to evaluate from the estimated volume.
  • FIG. 4B shows an example in which the shape (roundness) of the cell C and the area of the cell C are extracted as feature quantities, and the recommended cell C is specified from the combination of both.
  • the roundness of the cell C often affects the soundness of the cell C.
  • the area of the cell C is an index that directly indicates the size of the cell C. Therefore, the cell C1 whose roundness and area of the cell C are within a certain range (a triangular region indicated by the symbol a in the figure; this is determined by the learning value) is recommended (OK), and the cell other than the region a
  • the recommended cell C can be specified by performing the process of making C2 non-recommended (NG).
  • the estimated volume of the cell C is also an index indicating the size of the cell C.
  • the estimated volume was obtained by estimating the three-dimensional shape from the outline of the cell C displayed in one two-dimensional image, and was obtained by changing the focal position with respect to the cell C in the Z direction. What was calculated
  • the feature amount of the cell C can be a feature amount based on the color of the cell C.
  • the color of the cell C often reflects the health and life / death of the cell C.
  • FIG. 5 is a diagram for explaining a selection criterion based on the hue of the cell C.
  • the cell C may be evaluated by the hue.
  • the average luminance of each cell C is extracted as a feature amount from the captured image, and the recommended average cell C between the samples a and b (which is determined by the learning value) is used as a selection threshold. Can be specified.
  • the feature amount of the cell C can be a feature amount based on the pattern of the cell C.
  • the pattern of the cell C appearing on the captured image may represent the type of the cell C.
  • FIG. 6 shows photographs of different types of cancer cells-1, cancer cells-2, and cancer cells-3. Cancer cell-1 indicates colon cancer, cancer cell-2 indicates endometrial cancer, and cancer cell-3 indicates lung cancer. Thus, the pattern of the cell C observed on the image differs depending on the cancer cell type. Therefore, these patterns can be quantified as feature amounts by linearly differentiating and quantifying these patterns. Then, the recommended cell C is identified by setting an appropriate parameter (which is determined by the learning value) for distinguishing the feature amount based on the pattern of the cell C to be selected from the feature amount based on the pattern of the other cell C. can do.
  • an appropriate parameter which is determined by the learning value
  • the feature amount of the cell C can be a feature amount based on the light intensity of the region of the cell C on the image.
  • the intensity of the light emitted from the cell C, particularly the light emitted from the cell C when it is made fluorescent by reacting with an appropriate reagent may be an evaluation standard for the soundness of the cell C. Therefore, as illustrated in FIG. 7A, the difference between the average luminance ⁇ (light intensity) of the peripheral area AC (generally a medium) of the cell C on the image and the average luminance ⁇ of the cell C is calculated. It can be used as a digitized feature value. Then, the recommended cell C can be identified using an appropriate average brightness between the average brightness ⁇ and ⁇ (which is determined by the learning value) as a selection threshold.
  • the cell C and its peripheral area AC are divided into a plurality of blocks BL, and the average luminance is obtained for each block BL, and the average luminance varies significantly. Therefore, it can be determined whether or not the cells C satisfying a predetermined average luminance are present in the image.
  • FIG. 8 is a block diagram of the imaging system according to the embodiment of the present invention.
  • the imaging system includes a camera unit 5 that captures an imaging object on the imaging optical axis, a control unit 7 that controls the operation of the lens unit 51 and performs predetermined processing based on image information acquired by the camera body 52, A lens drive motor 53 that moves the lens unit 51 up and down, a display unit 74, and an input unit 75 are provided.
  • the dish 2 accommodated in the sorting container 11 is shown as the imaging object.
  • the control unit 7 also controls the pick-up operation and the movement operation of the cell C by controlling the head motor 63 and the shaft motor 64 in the head unit 6.
  • the lens drive motor 53 moves in the vertical direction with a predetermined resolution through a power transmission mechanism (not shown) by rotating in the forward or reverse direction. By this movement, the focal position of the lens unit 51 is adjusted to the cell C carried on the dish 2. As shown by a dotted line in FIG. 8, the sorting container 11 itself or a stage (base 1 on which the sorting container 11 is placed) is not a lens unit 51 but a motor other than the lens driving motor 53. ) May be moved up and down.
  • the head motor 63 is a motor serving as a driving source for the operation of raising and lowering the head 61 with respect to the head main body 62 and the operation of generating a suction force and a discharge force at the tip opening t of the chip 12 attached to the head 6.
  • the shaft motor 64 is a motor serving as a drive source for moving the head unit 6 (head main body 62) along the guide rail 6G (FIG. 1).
  • the control unit 7 is composed of a personal computer, for example, and operates to include a drive control unit 71, an image processing unit 72, and a calculation unit 73 functionally by executing a predetermined program.
  • the drive control unit 71 controls the operation of the lens drive motor 53, the head motor 63, and the shaft motor 64. Specifically, the drive control unit 71 gives a control pulse for moving the lens unit 51 in the vertical direction at a predetermined pitch (for example, several tens of ⁇ m pitch) to the lens drive motor 53 for the focusing operation. Although not shown in FIG. 8, the drive control unit 71 also controls the operation of the camera shaft drive motor that moves the camera unit 5 along the guide rail 5G. Further, the drive control unit 71 also controls the mechanical operation of the head unit 6. The drive control unit 71 controls the head motor 63 to control the raising / lowering operation of the head 61 and the operation of generating the suction force or the ejection force at the tip opening t of the chip 12.
  • a predetermined pitch for example, several tens of ⁇ m pitch
  • the image processing unit 72 performs image processing such as edge detection processing and pattern recognition processing with feature amount extraction on the image data acquired by the camera body 52.
  • the image processing unit 72 acquires image data of the dish 2 carrying the cells C, and recognizes the cells C present on the dish 2 (holding recesses 3) by the image processing.
  • the calculation unit 73 mainly performs various types of analysis on the cells C on the image specified by the image processing unit 72, and executes processing for specifying the recommended cells C to be presented to the operator.
  • the calculation unit 73 functionally includes an analysis unit 731, a specification unit 732, and a mode change unit 733.
  • the analyzing unit 731 performs a process of extracting a feature amount of the cell C by analyzing the image of the cell C.
  • the feature quantity to be extracted is the shape, number, area, estimated volume, color, pattern, light intensity, etc. of the cell C as described above with reference to FIGS.
  • the analysis unit 731 digitizes these feature values.
  • the specifying unit 732 analyzes the parameters derived based on the operator's past cell selection results and the cells C included in the image acquired by the current imaging. By comparing with the feature amount extracted by 731, processing for specifying the recommended cell C to be presented to the operator is performed.
  • the specifying unit 732 sets a parameter that defines the range of the cells C to be selected based on the feature amount extracted by the analyzing unit 731 for the cells C selected by the operator up to a specific first time point. This parameter is the learning value of the selection criterion for the cell C at the first time point.
  • the specifying unit 732 specifies the recommended cell C that prompts the operator to select based on the parameter in the image including the cell C obtained by imaging at the second time point after the first time point. That is, among the cells C included in the image acquired at the second time point, the cell C having the characteristic amount belonging to the parameter range is specified as the recommended cell C.
  • the specifying unit 732 selects the recommended cell C previously specified in the selection operation of the cell C in the image obtained by the imaging at the second time point.
  • the parameter is corrected based on the feature amount of the selected cell C. That is, the learning value of the selection criterion for the cell C at the first time point is updated.
  • the specifying unit 732 executes processing for specifying the recommended cell C based on the corrected parameter in the image of the cell C obtained by imaging at the third time point after the second time point.
  • the mode changing unit 733 performs processing for changing the operation mode between a manual operation mode for accepting an operator's approval operation for the recommended cell C and an automatic approval mode for automatically approving the recommended cell C.
  • the parameter (learned value) is sequentially updated according to the selection result of the operator as described above.
  • the automatic approval mode treats the recommended cell C specified by the specifying unit 732 as if it had received the selection operation without performing such an update anymore and without receiving a selection operation from the operator. is there.
  • the mode change unit 733 changes the operation mode from the manual operation mode to the automatic approval mode. Thereby, the selection operation
  • the display unit 74 is a display that displays an image captured by the camera unit 5.
  • an image of the dish 2 captured by the camera unit 5, that is, an image including a plurality of cells C carried by the plurality of holding recesses 3 is displayed. Further, a predetermined display that can be easily identified by the operator is added to the recommended cells C.
  • the input unit 75 includes a keyboard, a mouse, and the like, and receives input related to a selection (approval) operation on the cell C displayed on the display unit 74 from the operator.
  • the approval operation and the additional approval operation by the operator described in the procedure (E) of FIG. 3 are accepted from the input unit 75.
  • the dish 2 is imaged by the camera unit 5.
  • the cell suspension is dispensed in advance in the dish 2, and the camera unit 5 images the state in which the cells C are accommodated in the holding recesses 3 of the dish 2 (step S1 / image at the first time point).
  • the drive control unit 71 drives the lens unit 51 and the focusing operation for the cell C on the dish 2 is executed.
  • the captured image is displayed on the display unit 74 in a state as shown in, for example, the procedure (A) of FIG.
  • step S2 an input of an initial selection operation as to which of the cells C displayed on the display unit 74 is to be moved is received from the operator (step S2).
  • the operator there is no parameter (learning value) that defines the range of cells C to be selected.
  • the recommended cell C is identified based on a predetermined set value, and the display unit 74 displays the recommended cell C so that the recommended cell C is visible.
  • the image processing unit 72 acquires image data of the dish 2 carrying the cells C from the camera body 52, and executes image processing for specifying the cells C included in the image.
  • This image processing data is sent to the analysis unit 731 of the calculation unit 73, and the analysis unit 731 has the shape, number, area, estimated volume, and color of the cell C and other cells C selected by the operator.
  • a process for obtaining feature quantities such as a pattern and light intensity is executed (step S3).
  • specification part 732 refers to the feature-value about the cell C which the operator selected among the feature-value of each cell C calculated
  • the selection criterion of the cell C is learned (step S4).
  • This parameter is, for example, a lower limit area threshold value and an upper limit area threshold value of the cell C that are preferable as a movement target when an area is selected as the feature amount.
  • the lower limit average luminance threshold and the upper limit average luminance threshold are used.
  • Such parameters are stored in a memory area (not shown) provided in the control unit 7 (step S5).
  • step S6 whether or not the operation mode has been changed from the manual operation mode to the automatic approval mode is confirmed by the mode changing unit 733 (step S6). If learning of the parameters is insufficient, the default manual operation mode is maintained (YES in step S6). On the other hand, when the learning of the parameter is sufficiently advanced, for example, when the parameter stored in step S5 has reached a state in which there is almost no change in the most recent update, the operation mode is changed from the manual operation mode. The automatic approval mode is changed (NO in step S6).
  • step S6 When the manual operation mode is maintained (YES in step S6), the cell C carried on the dish 2 is imaged again by the camera unit 5 (step S7 / second time imaging).
  • the image data obtained by this imaging is subjected to the cell C specifying process by the image processing unit 72 and the feature amount extracting process of each cell C by the analyzing unit 731.
  • the specifying unit 732 specifies recommended cells C that prompt the operator to select among the cells C included in the current captured image with reference to the current parameter (learned value).
  • the recommended cell C is displayed on the display part 74 in the aspect which can be visually recognized by the operator (step S8).
  • step S6 when the mode change unit 733 has changed the operation mode to the automatic approval mode (NO in step S6), the operator's selection operation is omitted thereafter.
  • the cell C carried on the dish 2 is imaged by the camera unit 5 (step S10).
  • the specifying unit 732 performs a process of specifying the recommended cell C from the cells C included in the obtained image (step S11).
  • the recommended cell C identified in step S11 is automatically selected as the cell C to be moved (step S12).
  • step S13 Thereafter, it is confirmed whether or not the imaging of the cell C is continued (step S13).
  • imaging YES in step S13
  • the process returns to step S10, and the next imaging operation for the dish 2 is executed by the camera unit 5.
  • the process ends.
  • the recommended cell C is presented to the operator on the display unit 74 in the cell C selection operation performed at or after the second time point. . Accordingly, the operator can quickly select the cell C while referring to the recommended cell C.
  • the recommended cell C since the recommended cell C is specified based on parameters based on the selection results of the operator up to the first time point, the recommended cell C has high accuracy. Therefore, the operator can select the cell C accurately and can reduce the labor of the operator's selection work of the cell C.
  • the specifying unit 732 extracts a feature amount again (learns the feature amount), and the feature Based on the amount, the parameter serving as a selection criterion for the cell C is corrected. Then, at the third time point, the recommended cell C is specified based on the corrected parameter. Accordingly, the accuracy of specifying the recommended cell C can be further improved in the selection operation at and after the third time point. In other words, in parallel with the selection operation by the operator, it is possible to gradually improve the identification accuracy of the recommended cell C based on the learning effect of the feature amount.
  • the specifying unit 732 learns the feature amount based on the operator's selection result, when there are a plurality of operators, the selection result of each operator It is possible to cause the specifying unit 732 to learn feature quantities individually according to the above.
  • the operation is received in association with the identification ID of the operator, and learning data is generated for each operator and stored in the memory area of the calculation unit 73. deep. This makes it possible to specify individual recommended cells C based on the selection tendency of each operator, instead of the average recommended cells C for all operators.
  • the specifying unit 732 is made to learn the feature amount for each type or individual of the biological object, and the specifying unit 732 specifies the recommended cell C for each type or for each individual.
  • the cell C is selected in advance before the selection operation of the cell C from the input unit 75. Enter the entered cancer cell classification. And according to the operator's selection result, learning data are produced
  • the recommended cell C may differ depending on the individual.
  • the identification ID or the like of the individual who has collected the cell C is input.
  • learning data is generated for each individual according to the selection result of the operator and stored in the memory area of the calculation unit 73.
  • the specifying unit 732 can specify the recommended cell C corresponding to each individual.
  • An imaging system includes an imaging device capable of simultaneously imaging a plurality of biological objects, a display unit that displays an image including the plurality of biological objects captured by the imaging device, and an operator
  • an input unit that accepts an input related to a selection operation for the plurality of biological objects displayed on the display unit, and an image corresponding to the biological object to which the selection operation is given by the input unit
  • An analysis unit that extracts a feature amount of an object and a biological object that has been subjected to the selection operation up to a first time point, based on a feature amount extracted by the analysis unit or a predetermined reference feature amount
  • a parameter that defines a range of the biological object to be processed is set. Characterized in that it and a specifying unit configured to specify a recommended biological object to prompt the operator to make selections based on.
  • a recommended biological object is presented to the operator in the selection operation at the input unit executed at or after the second time point.
  • the operator can quickly select the biological object while referring to the recommended biological object.
  • the recommended biological object is specified based on a parameter based on the selection result or the reference feature amount of the operator up to the first time point, it has high accuracy. Therefore, according to the above imaging system, it is possible to accurately select a living body object and reduce the labor of selecting the living body object.
  • the input unit does not match the recommended biological object specified by the specifying unit in the selection operation for the plurality of biological objects in the image obtained by imaging at the second time point.
  • the analysis unit analyzes an image corresponding to the biological object received by the input unit, and extracts a feature amount of the biological object at the second time point.
  • the specifying unit corrects the parameter based on the feature amount at the second time point, and corrects the image including the plurality of biological objects obtained by imaging at the third time point after the second time point. It is preferable that the recommended biological object is specified based on the parameter that has been set.
  • the feature value is extracted again (learning the feature value).
  • the parameter is corrected based on the feature amount.
  • the recommended biological object is specified based on the corrected parameter. Therefore, in the selection operation at the third time point and thereafter, the accuracy of specifying the recommended biological object can be further improved. In other words, in parallel with the selection operation by the operator, it is possible to gradually improve the identification accuracy of the recommended biological object based on the learning effect of the feature amount.
  • a mode change that changes an operation mode so that the recommended biological object specified by the specifying unit is handled as a biological object that has received the selection operation by the input unit without receiving the selection operation. It is desirable to further include a section.
  • the selection operation by the operator can be omitted when the mode changing unit changes the operation mode.
  • the accuracy of specifying the recommended biological object increases so that the operator no longer needs the intervention of the selection operation.
  • the selection operation of the living body object can be completely automated by causing the mode changing unit to change the operation mode.
  • the feature amount can be a feature amount based on the shape of the biological object.
  • the imaging system may further include a plate including a plurality of compartments that house the living body object, and the imaging device captures a state where the living body object is housed in the section of the plate.
  • the feature amount can be a feature amount based on the amount of the biological object accommodated in one of the sections.
  • the amount of the biological object can be an amount obtained from at least one of the estimated volumes estimated from the number, area, and contour of the biological object.
  • the feature quantity may be a feature quantity based on the color of the biological object, and the feature quantity may be a feature quantity based on the pattern of the biological object.
  • the feature amount can be a feature amount based on the light intensity of the region of the biological object on the image.
  • the said feature-value is good also as a feature-value based on the light intensity of the area
  • the imaging system may include a plate having a plurality of compartments for storing the biological object, and a chip for picking up the biological object from the compartments of the plate, and the picked-up biological object can be moved And a control unit that controls the operation of the pickup by the chip, and the imaging device captures an image of a state in which the biological object is accommodated in a section of the plate, It is preferable that the control unit performs control for causing the chip to pick up the biological object to which the selection operation is given by the input unit or the biological object to which the selection operation is not given.
  • the imaging system can be provided with a function of picking up a biological object to which the selection operation is given or not given and moving it to a desired position.
  • the specifying unit individually selects the recommended object for each operator based on a learning result of the feature amount according to a selection result of each operator. It is desirable to specify. As a result, it is possible to identify individual recommended objects based on the selection tendency of each operator, not the average recommended objects for all operators.
  • the specifying unit is configured for each biological object based on the learning result of the feature amount according to the selection result of the operator for each biological object.
  • the recommended object is specified individually. As a result, it is possible to specify the recommended target according to the type of the biological object, not the average recommended object for all the biological objects.
  • the specifying unit learns the feature amount according to the selection result of the operator for the biological object of each individual. Based on the above, it is desirable to specify the recommended object individually for each individual. Thereby, even if it is the same kind of living body object, it becomes possible to specify the recommendation object according to each individual.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Microbiology (AREA)
  • Biotechnology (AREA)
  • Quality & Reliability (AREA)
  • Sustainable Development (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biophysics (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Optics & Photonics (AREA)

Abstract

撮像システムは、細胞（Ｃ）を撮像するカメラユニット（５）と、撮像された細胞を含む画像を表示する表示部（７４）と、操作者より細胞（Ｃ）に対する選択操作に関する入力を受け付ける入力部（７５）と、前記選択操作が与えられた細胞（Ｃ）に対応する画像を解析して、当該細胞についての特徴量を抽出する解析部（７３１）と、操作者に提示する推薦細胞を特定する特定部（７３２）とを備える。特定部（７３２）は、第１時点までに選択操作が与えられた細胞の特徴量に基づいて、選択されるべき細胞の範囲を定めるパラメータを設定し、前記第１時点よりも後の第２時点の撮像で得られる細胞を含む画像において、前記パラメータに基づいて操作者に選択を促す推薦細胞を特定する。

Description

撮像システム
　本発明は、例えば細胞又は細胞塊等の生体対象物を撮像する撮像装置を備える撮像システムに関する。
　例えば医療や生物学的な研究の用途では、細胞又は細胞塊（生体対象物の例；単に「細胞」ということがある）の選別のための撮像が行われる場合がある。例えば、多数の収容凹部を有するプレート上に撒かれた細胞を撮像装置で撮像し、得られた画像に基づき所望の細胞を選別し、選別された細胞をチップで吸引してマイクロプレートに移載する、という作業が行われることがある（例えば特許文献１）。
　細胞の選別方法としては、操作者のマニュアル選択に依る方法、細胞のサイズや形状等に関する選択基準値を予め設定する方法、等が挙げられる。前者は、操作者が細胞の撮像画像を観察し、操作者の経験に基づいて良否判定を行うという、個人のスキルに依存する方法である。後者は、細胞の撮像画像を画像処理する等して当該細胞のサイズや形状に関するパラメータを求め、このパラメータが前記選択基準値を満たすか否かに基づいて良否判定を自動判定する方法である。
　上記のマニュアル選択による方法は、操作者が個々の細胞を観察して良否判定を行うことになるので、作業に非常に手間を要する。また、個人の主観、経験度等によって細胞の良否判定にばらつきが生じ易く、統一的な良否判定結果が得られ難いという問題がある。これに対し、選択基準値を予め設定する方法では、細胞の良否を自動判定できるので労力は軽減される。しかし、最適な選択基準値を予め準備するには、多種雑多なパラメータを考慮する必要があり、そのような選択基準値の設定が非常に難しいという問題がある。
国際公開第２０１５／０８７３７１号
　本発明の目的は、的確な生体対象物の選択が行えると共に、生体対象物の選択作業の労力を軽減することができる撮像システムを提供することにある。
　本発明の一局面に係る撮像システムは、複数の生体対象物を同時に撮像可能な撮像装置と、前記撮像装置により撮像された前記複数の生体対象物を含む画像を表示する表示部と、操作者より、前記表示部に表示された前記複数の生体対象物に対する選択操作に関する入力を受け付ける入力部と、前記入力部で選択操作が与えられた生体対象物に対応する画像を解析して、当該生体対象物についての特徴量を抽出する解析部と、第１時点までに前記選択操作が与えられた生体対象物について前記解析部が抽出した特徴量若しくは予め定められた基準特徴量に基づいて、選択されるべき生体対象物の範囲を定めるパラメータを設定し、前記第１時点よりも後の第２時点の撮像で得られる前記複数の生体対象物を含む画像において、前記パラメータに基づいて操作者に選択を促す推薦生体対象物を特定する特定部と、を備えることを特徴とする。
図１は、本発明の実施形態に係る撮像システムが適用される細胞移動装置の構成例を概略的に示す図である。 図２（Ａ）は、前記細胞移動装置に使用される選別容器が備えるディッシュの上面図、図２（Ｂ）は、図２（Ａ）のＩＩＢ－ＩＩＢ線断面図である。 図３は、本実施形態に係る撮像システムを用いた細胞選別作業の流れを模式的に示す図である。 図４（Ａ）は、細胞の形状の一例を示す図、図４（Ｂ）は、細胞の形状に基づく選別基準の一例を説明するためのグラフである。 図５は、細胞の色合いに基づく選別基準を説明するため図である。 図６は、細胞の模様に基づく選別基準を説明するための図である。 図７（Ａ）及び（Ｂ）は、細胞の光強度に基づく選別基準を説明するための図である。 図８は、本発明の実施形態に係る撮像システムのブロック図である。 図９は、前記撮像システムを用いた細胞選別動作のフローチャートである。
　以下、本発明の実施形態を、図面に基づいて詳細に説明する。本発明に係る撮像システムでは、多岐に亘る生体対象物を撮像対象とすることができる。本発明において撮像対象となる生体対象物としては、代表的には生体由来の細胞を例示することができる。ここでの生体由来の細胞は、例えば血球系細胞やシングル化細胞などのシングルセル（細胞）、ＨｉｓｔｏｃｕｌｔｕｒｅやＣＴＯＳなどの組織小片、スフェロイドやオルガノイドなどの細胞凝集塊、ゼブラフィッシュ、線虫、受精卵などの個体、２Ｄ又は３Ｄのコロニー等である。この他、生体対象物として、組織、微生物、小サイズの種等を例示することができる。以下に説明する実施形態では、生体対象物が細胞又は細胞が数個～数十万個凝集してなる細胞凝集塊（以下、これらを総称して単に「細胞Ｃ」という）である例を示す。
　［細胞移動装置の全体構成］
　図１は、本発明の実施形態に係る撮像システムが適用される細胞移動装置Ｓの全体構成を概略的に示す図である。ここでは、細胞Ｃを２つの容器（ディッシュ２とマイクロプレート４）間で移動させる細胞移動装置Ｓを例示している。
　細胞移動装置Ｓは、水平な載置面（上面）を有する透光性の基台１と、基台１の下方側に配置されたカメラユニット５（撮像装置）と、基台１の上方側に配置されたヘッドユニット６とを含む。基台１の第１載置位置Ｐ１には、ディッシュ２（プレート）を備えた選別容器１１が載置され、第２載置位置Ｐ２にはマイクロプレート４が載置されている。ヘッドユニット６は、細胞Ｃの吸引及び吐出を行うチップ１２が装着され、Ｚ方向（上下方向）に沿って移動可能なヘッド６１を複数備える。カメラユニット５及びヘッドユニット６は、Ｘ方向（水平方向）と、図１の紙面に垂直な方向（Ｙ方向）とに移動可能である。ディッシュ２及びマイクロプレート４は、ヘッドユニット６の移動可能範囲内において、基台１の上面に載置されている。
　大略的に細胞移動装置Ｓは、細胞Ｃを多数保持している選別容器１１のディッシュ２から複数のチップ１２の各々で細胞Ｃを個別に吸引し、これをマイクロプレート４まで移動すると共に、当該マイクロプレート４（ウェル４１）に複数のチップ１２から細胞Ｃを同時に吐出する装置である。細胞Ｃの吸引の前に、カメラユニット５によりディッシュ２に保持されている細胞Ｃが撮像され、マイクロプレート４への移動対象とされる良質な細胞Ｃを選別する選別作業が行われる。
　以下、細胞移動装置Ｓの各部を説明する。基台１は、所定の剛性を有し、その一部又は全部が透光性の材料で形成される長方形の平板である。好ましい基台１は、ガラスプレートである。基台１をガラスプレートのような透光性材料によって形成することで、基台１の下方に配置されたカメラユニット５にて、基台１の上面に配置された選別容器１１（ディッシュ２）及びマイクロプレート４を、当該基台１を通して撮像させることが可能となる。
　選別容器１１は、細胞Ｃの移動元となる容器であり、培地Ｌを貯留し、細胞選別用のディッシュ２を培地Ｌに浸漬される状態で保持している。ディッシュ２は、細胞Ｃを保持するプレートであり、細胞Ｃを個別に収容して保持することが可能な保持凹部３（対象物を収容する区画）を上面に複数有している。培地Ｌは、細胞Ｃの性状を劣化させないものであれば特に限定されず、細胞Ｃの種類により適宜選定することができる。
　選別容器１１は、その上面側に矩形の上部開口１１Ｈを備えている。上部開口１１Ｈは、細胞Ｃの投入、並びに、選別された細胞Ｃをピックアップするための開口である。ディッシュ２は、上部開口１１Ｈの下方に配置されている。選別容器１１及びディッシュ２は、透光性の樹脂材料やガラスで作製されたものが用いられる。これは、選別容器１１の下方に配置されたカメラユニット５により、ディッシュ２に担持された細胞Ｃを観察可能とするためである。
　選別容器１１には、図略の分注チップから、細胞培養液に分散された状態の複数の細胞Ｃが注入される。前記分注チップは、多量の細胞Ｃを含む細胞培養液を貯留する容器から、細胞Ｃと共に細胞培養液を吸引し、当該分注チップ内に保持する。その後、前記分注チップは、選別容器１１の上空位置へ移動され、上部開口１１Ｈを通してディッシュ２の上面にアクセスする。そして、前記分注チップの先端開口が選別容器１１の培地Ｌに浸漬された状態で、前記分注チップ内に保持された細胞Ｃが細胞培養液と共にディッシュ２の上へ吐出される。
　マイクロプレート４は、細胞Ｃの移動先となる容器であり、細胞Ｃが吐出される複数のウェル４１を有する。ウェル４１は、マイクロプレート４の上面に開口した有底の孔である。１つのウェル４１には、培地Ｌと共に必要個数（通常は１個）の細胞Ｃが収容される。マイクロプレート４もまた、透光性の樹脂材料やガラスで作製されたものが用いられる。これは、マイクロプレート４の下方に配置されたカメラユニット５により、ウェル４１に担持された細胞Ｃを観察可能とするためである。
　カメラユニット５は、選別容器１１又はマイクロプレート４に保持されている細胞Ｃの画像を、これらの下面側から撮像するもので、レンズ部５１及びカメラ本体５２を備える。レンズ部５１は、光学顕微鏡に用いられている対物レンズであり、所定倍率の光像を結像させるレンズ群と、このレンズ群を収容するレンズ鏡筒とを含む。カメラ本体５２は、ＣＣＤイメージセンサのような撮像素子を備える。レンズ部５１は、前記撮像素子の受光面に撮像対象物の光像を結像させる。カメラユニット５は、基台１と平行に左右方向に延びるガイドレール５Ｇに沿って、基台１の下方においてＸ方向及びＹ方向に移動可能である。また、レンズ部５１は、合焦動作のためにＺ方向に移動可能である。
　ヘッドユニット６は、細胞Ｃをディッシュ２からピックアップしてマイクロプレート４へ移動させるために設けられ、複数本のヘッド６１と、これらヘッド６１が組み付けられるヘッド本体６２とを含む。各ヘッド６１の先端には、細胞Ｃの吸引（ピックアップ）及び吐出を行うチップ１２が装着されている。ヘッド本体６２は、ヘッド６１を＋Ｚ及び－Ｚ方向に昇降可能に保持し、ガイドレール６Ｇに沿って＋Ｘ及び－Ｘ方向に移動可能である。なお、ヘッド本体６２は、Ｙ方向にも移動可能である。
　［ディッシュの詳細］
　ディッシュ２の詳細構造を説明する。図２（Ａ）は、ディッシュ２の上面図、図２（Ｂ）は、図２（Ａ）のＩＩＢ－ＩＩＢ線断面図である。ディッシュ２は、ディッシュ本体２０と、該ディッシュ本体２０に形成される複数の保持凹部３とを備えている。ディッシュ本体２０は、所定の厚みを有する平板状の部材からなり、上面２１と下面２２とを有する。保持凹部３は、上面２１の側に細胞Ｃの受け入れ開口（開口部３１）を有する。ディッシュ２は、選別容器１１内の培地Ｌ中に浸漬される。詳しくは、ディッシュ本体２０の上面２１が選別容器１１内の培地Ｌ中に浸漬される一方、下面２２が選別容器１１の底板に対して間隔を置いた状態で、選別容器１１内で保持される（図１参照）。
　保持凹部３の各々は、開口部３１、底部３２、筒状の壁面３３、孔部３４及び境界部３５を含む。本実施形態では、上面視で正方形の保持凹部３がマトリクス状に配列されている例を示している。図２（Ｂ）に示すように、複数の保持凹部３は、所定の凹部配列ピッチでマトリクス配列されている。
　開口部３１は、上面２１に設けられた正方形の開口であり、選別用のチップ１２の先端開口部ｔの進入を許容するサイズを有する。底部３２は、ディッシュ本体２０の内部であって、下面２２の近くに位置している。底部３２は、中心（前記正方形の中心）に向けて緩く下り傾斜する傾斜面である。筒状の壁面３３は、開口部３１から底部３２に向けて鉛直下方に延びる壁面である。孔部３４は、底部３２の前記中心と下面２２との間を鉛直に貫通する貫通孔である。境界部３５は、上面２１に位置し、各保持凹部３の開口縁となる部分であって、保持凹部３同士を区画する稜線である。
　各保持凹部３の底部３２及び筒状の壁面３３は、細胞Ｃを収容する収容空間３Ｈを区画している。収容空間３Ｈには、一般的には１個の細胞Ｃが収容されることが企図されている。孔部３４は、所望のサイズ以外の小さな細胞や夾雑物を収容空間３Ｈから逃がすために設けられている。従って、孔部３４のサイズは、所望のサイズの細胞Ｃは通過できず、所望のサイズ以外の小さな細胞や夾雑物を通過させるサイズに選ばれている。これにより、選別対象となる細胞Ｃは保持凹部３にトラップされる一方で、夾雑物等は孔部３４から選別容器１１の底板に落下する。
　［細胞選別作業の流れ］
　続いて、本実施形態の撮像システムを用いた、細胞Ｃの選別作業の全体的な流れを説明する。図３は、本実施形態に係る撮像システムを用いた細胞選別作業の手順（Ａ）～（Ｇ）を模式的に示す図である。最初の手順（Ａ）では、カメラユニット５によりディッシュ２が撮像されることによって、当該ディッシュ２に担持された細胞Ｃの画像が取得される。カメラユニット５のレンズ部５１は、複数の細胞Ｃ（生体対象物）を同時に撮像可能な画角を備えている。すなわち、レンズ部５１は、１回の撮像動作によって、図２に示すディッシュ２の複数の保持凹部３を撮像できる画角を有している。
　手順（Ａ）では、３×３（ｍ１～ｍ３×ｎ１～ｎ３）のマトリクスの保持凹部３が、１回の撮像動作によって撮像される例を示している。ここでは、ｍ１ｎ２及びｍ１ｎ３の保持凹部３には比較的小さい細胞Ｃが１個ずつ、ｍ２ｎ３の保持凹部３には比較的大きい細胞Ｃが１個保持され、ｍ２ｎ２、ｍ３ｎ１及びｍ３ｎ３の保持凹部３には２個の細胞Ｃが各々保持され、その他の保持凹部３には細胞Ｃが保持されていない状態を示している。
　続く手順（Ｂ）では、手順（Ａ）で取得された画像を解析することにより、各保持凹部３に保持されている細胞Ｃの特徴量が抽出される。後記で説明するが、前記特徴量は、例えば細胞Ｃの個数、面積、推定体積などから求められる細胞Ｃの量、細胞Ｃの色や模様、細胞Ｃを蛍光させたときの光強度などである。各保持凹部３の細胞Ｃの解析結果は、各々数値化される。
　次の手順（Ｃ）では、手順（Ｂ）で得られた解析結果と、選択されるべき細胞Ｃの範囲を定めるパラメータとの比較が行われる。このパラメータは、今回までの撮像で得られた画像に基づく過去の細胞Ｃの解析結果及びその選択結果（第１時点までの選択操作）から得られた、選択対象として好ましい細胞Ｃの特徴量の範囲を示すパラメータであり、言わば現状における選択基準の学習値である。なお、イニシャルの選択処理時の場合等において、まだ選択基準の学習値が存在しない場合には、選択対象として好ましい細胞Ｃとして予め定められた基準特徴量に基づいて設定されたパラメータと、手順（Ｂ）で得られた解析結果との比較が行われる。
　その後の手順（Ｄ）では、手順（Ｃ）の比較結果に基づいて、操作者に移動対象として選択を促す推薦細胞Ｃ（推薦生体対象物）が特定される。推薦細胞Ｃは、今回の撮像（第１時点よりも後の第２時点の撮像）より得られた画像に含まれる各細胞Ｃの特徴量が、上記のパラメータの範囲に属するか否かによって特定される。そして、操作者に対してモニター等の表示部上で、この推薦細胞Ｃが表示される。例示する手順（Ｄ）では、ｍ１ｎ２及びｍ１ｎ３の保持凹部３に担持されている細胞Ｃ（推薦細胞Ｃ）が、操作者に対して推薦されている例を示している。推薦細胞Ｃに対しては、操作者に選択を促していることを認知させる表示（当該細胞Ｃに高輝度マーカーで囲う、目印となる記号等を付加する等）が付記される。
　続いて手順（Ｅ）では、操作者のマニュアル操作による、推薦細胞Ｃの承認作業が行われる。この承認作業は、操作者自身の経験に照らして、手順（Ｄ）で撮像システム側から提示された推薦細胞Ｃを、実際に移動対象として選択されるべき細胞Ｃを扱って差し支えないか否かを操作者が判定する作業である。ここでは、ｍ１ｎ２及びｍ１ｎ３の細胞Ｃが推薦細胞Ｃである。操作者は、これらを移動対象として選択すべき細胞であると判定した場合には承認操作を行い、選択すべきでないと判定した場合には非承認の操作を行う。
　また、手順（Ｅ）では、撮像システム側が手順（Ｄ）において推薦細胞Ｃと扱わなかった細胞Ｃの中に、選択される細胞Ｃと扱うべきものが存在しているか否かが判定される。具体的には操作者は、推薦細胞Ｃではないｍ２ｎ２、ｍ２ｎ３、ｍ３ｎ１及びｍ３ｎ３の細胞のうち、移動対象とすべき細胞Ｃが有るか否かを判定し、そのような細胞Ｃが存在するときは、追加でこれを選択する操作を行う。例示している手順（Ｅ）では、ｍ１ｎ２及びｍ１ｎ３の推薦細胞Ｃが承認されていると共に、ｍ２ｎ３の細胞Ｃが追加選択（追加承認）されている例が示されている。
　その後の手順（Ｆ）では、操作者の承認及び追加選択の結果を踏まえて、選択されるべき細胞Ｃの範囲を定めるパラメータ（学習値）が更新される。手順（Ｅ）において、提示された推薦細胞Ｃは承認されたものの、ｍ２ｎ３の細胞Ｃが追加選択されている。つまり、撮像システムが提示した推薦細胞Ｃと、操作者が実際に選択した細胞Ｃとが一致していない。この場合、実際に選択された細胞Ｃについて手順（Ｂ）で導出されている解析結果（特徴量）を参照して、これら細胞Ｃが「選択すべき細胞」の範疇に入るようにパラメータ（学習値）が修正される。そして、次回の撮像（第２時点よりも後の第３時点の撮像）より得られた画像に含まれる各細胞Ｃについて、再び上記手順（Ａ）～（Ｅ）の操作が行われる場合に、この修正されたパラメータに基づいて推薦細胞Ｃが特定される。
　手順（Ｆ）後に実行される手順（Ｇ）の後工程では、操作者によって承認及び追加承認された細胞Ｃに対して所定の作業が行われる（手順（Ｇ－ａ））。或いは、承認対象外の細胞Ｃに対して所定の作業が行われる（手順（Ｇ－ｂ））。前記所定の作業の典型例が、細胞Ｃのピックアップ及び移動である。手順（Ｇ－ａ）では、ｍ１ｎ２、ｍ１ｎ３及びｍ２ｎ３の細胞Ｃ（選択操作が与えられた細胞Ｃ）がピックアップされる。一方、手順（Ｇ－ｂ）が実行される場合には、ｍ１ｎ２、ｍ１ｎ３及びｍ２ｎ３以外の保持凹部３に存在する細胞Ｃのピックアップ作業、或いは細胞Ｃの追加作業が行われる。
　［細胞の特徴量抽出の例］
　続いて、細胞Ｃの特徴量を画像から抽出する具体例について説明する。本実施形態では、ディッシュ２の保持凹部３（プレートの区画）に収容された状態で細胞が撮像され、その撮像で得られた画像を解析して、個々の保持凹部３の単位で細胞Ｃの特徴量が抽出される。このような画像に表出し易い特徴量は、細胞Ｃの形状や、一つの保持凹部３に収容されている細胞Ｃの量である。
　細胞Ｃの形状は、例えば図４（Ａ）に示すように、細胞Ｃの真円度により評価することができる。すなわち、二次元画像から特定される細胞Ｃの外側輪郭の形状が、真円Ｒに対してどの程度近似しているかを数値化することによって、細胞Ｃの形状を評価することができる。細胞Ｃの量は、例えば、一つの保持凹部３に収容されている細胞Ｃの個数、当該細胞Ｃの二次元画像上の面積、二次元画像上における細胞Ｃの輪郭から推定される当該細胞Ｃの推定体積などから評価することができる。
　図４（Ｂ）は、特徴量として細胞Ｃの形状（真円度）と、細胞Ｃの面積とを抽出し、両者の組合せから推薦細胞Ｃを特定する例を示している。細胞Ｃの真円度は、当該細胞Ｃの健全性に影響を与える場合が多い。また、細胞Ｃの面積は、当該細胞Ｃの大きさを端的に示す指標となる。従って、細胞Ｃの真円度及び面積が一定の範囲内（図中の符号ａで示す三角の領域；これは学習値によって定まる）にある細胞Ｃ１を推薦（ＯＫ）、領域ａ以外にある細胞Ｃ２を非推薦（ＮＧ）とする、という処理を行うことで、推薦細胞Ｃを特定することができる。
　細胞Ｃの個数は、専ら、一つの保持凹部３に一つの細胞Ｃが収容されている場合はＯＫ、複数の細胞Ｃが収容されている場合はＮＧとなる指標である。一つの保持凹部３に複数の細胞Ｃが収容されてしまった場合には、二次元画像ではこれら細胞Ｃが重畳した画像で観察されてしまうので、個々の細胞Ｃの評価自体を遂行し難い状態となる。つまり、細胞Ｃの個数は、細胞Ｃ自体の性質というよりも、正確な解析結果が得られないため特徴量の抽出を回避するか否かの指標ということができる。
　細胞Ｃの推定体積も、当該細胞Ｃの大きさを示す指標となる。推定体積は、例えば、１枚の２次元画像に表出している細胞Ｃの輪郭からその立体形状を推定して求められたものでも、細胞Ｃに対する焦点位置をＺ方向に異ならせて得られた複数枚の２次元画像に表出している細胞Ｃの各輪郭からその立体形状を推定して求められたものでも良い。
　細胞Ｃの特徴量は、当該細胞Ｃの色に基づく特徴量とすることができる。細胞Ｃの色合いは、当該細胞Ｃの健常性や生死を反映することが多い。図５は、細胞Ｃの色合いに基づく選別基準を説明するため図である。例えば、色合いの異なる細胞Ｃのサンプルａ、ｂ、ｃがあるとして、サンプルａが健常な細胞Ｃ、サンプルｂが、生存はしているが非健常な細胞Ｃ、サンプルｃが死んでいる細胞Ｃというように、色合いによって細胞Ｃを評価できることがある。この場合、撮像された画像から、特徴量として例えば各細胞Ｃの平均輝度を抽出し、サンプルａ及びｂの間の適宜な平均輝度（これは学習値によって定まる）を選択閾値として、推薦細胞Ｃを特定することができる。
　また、細胞Ｃの特徴量は、当該細胞Ｃの模様に基づく特徴量とすることができる。撮像された画像上に表出する細胞Ｃの模様は、細胞Ｃの種類を表すことがある。図６に、異なる種類のがん細胞－１、がん細胞－２及びがん細胞－３の写真を示す。がん細胞－１は大腸がん、がん細胞－２は子宮体がん、がん細胞－３は肺がんを各々示している。このように、がん細胞種によって、画像上で観察される細胞Ｃの模様が異なる。従って、これらの模様を線分化して定量化することで、当該模様を特徴量として数値化することができる。そして、選別する細胞Ｃの模様に基づく特徴量と、他の細胞Ｃの模様に基づく特徴量とを区別する適宜なパラメータ（これは学習値によって定まる）を設定することで、推薦細胞Ｃを特定することができる。
　さらに、細胞Ｃの特徴量は、画像上における当該細胞Ｃの領域の光強度に基づく特徴量とすることができる。細胞Ｃが発する光、とりわけ適宜な試薬と反応させて蛍光性とした場合に細胞Ｃが発する光の強度は、当該細胞Ｃの健全性の評価基準となることがある。従って、図７（Ａ）に例示するように、画像上における細胞Ｃの周辺領域ＡＣ（一般的には培地）の平均輝度α（光強度）と、当該細胞Ｃの平均輝度βとの差を、数値化された特徴量として用いることがきる。そして、平均輝度α及びβの間の適宜な平均輝度（これは学習値によって定まる）を選択閾値として、推薦細胞Ｃを特定することができる。なお、図７（Ｂ）に示すように、画像上において細胞Ｃ及びその周辺領域ＡＣを複数のブロックＢＬに分割し、ブロックＢＬ毎に平均輝度を求め、平均輝度が顕著に変動している箇所が存在することをもって、所定の平均輝度を満たす細胞Ｃが画像内に存在するか否かを判定させることができる。
　［撮像システムの構成］
　図８は、本発明の実施形態に係る撮像システムのブロック図である。撮像システムは、撮像光軸上の撮像対象物を撮像するカメラユニット５と、レンズ部５１の動作を制御すると共にカメラ本体５２により取得された画像情報に基づき所定の処理を行う制御部７と、レンズ部５１を上下動させるレンズ駆動モータ５３と、表示部７４と、入力部７５とを備えている。図８では、撮像対象物として、選別容器１１に収容されたディッシュ２を示している。なお、制御部７は、ヘッドユニット６内のヘッドモータ６３と、軸モータ６４とを制御することによって、細胞Ｃのピックアップ動作及び移動動作も制御する。
　レンズ駆動モータ５３は、正回転又は逆回転することで、図略の動力伝達機構を介して、レンズ部５１を所定の分解能で上下方向に移動させる。この移動によって、ディッシュ２に担持されている細胞Ｃにレンズ部５１の焦点位置が合わせられる。なお、図８において点線で示しているように、レンズ部５１ではなく、レンズ駆動モータ５３に代替する他のモータによって、選別容器１１自体、若しくは選別容器１１が載置されるステージ（基台１）を上下動させるようにしても良い。
　ヘッドモータ６３は、ヘッド本体６２に対するヘッド６１の昇降動作、ヘッド６に装着されたチップ１２の先端開口部ｔに、吸引力及び吐出力を発生させる動作の駆動源となるモータである。軸モータ６４は、ガイドレール６Ｇ（図１）に沿ってヘッドユニット６（ヘッド本体６２）を移動させる駆動源となるモータである。
　制御部７は、例えばパーソナルコンピューター等からなり、所定のプログラムが実行されることで、機能的に駆動制御部７１、画像処理部７２及び演算部７３を備えるように動作する。
　駆動制御部７１は、レンズ駆動モータ５３、ヘッドモータ６３及び軸モータ６４の動作を制御する。具体的には駆動制御部７１は、合焦動作のために、レンズ駆動モータ５３にレンズ部５１を上下方向に所定のピッチ（例えば数十μｍピッチ）で移動させるための制御パルスを与える。また、図８では記載を省いているが、駆動制御部７１は、カメラユニット５をガイドレール５Ｇに沿って移動させるカメラ軸駆動モータの動作も制御する。さらに、駆動制御部７１は、ヘッドユニット６のメカ動作も制御する。駆動制御部７１は、ヘッドモータ６３を制御して、ヘッド６１の昇降動作及びチップ１２の先端開口部ｔに吸引力又は吐出力を発生させる動作を制御する。
　画像処理部７２は、カメラ本体５２により取得された画像データに対して、エッジ検出処理や特徴量抽出を伴うパターン認識処理などの画像処理を施す。画像処理部７２は、細胞Ｃを担持するディッシュ２の画像データを取得し、ディッシュ２（保持凹部３）上に存在する細胞Ｃを前記画像処理によって認識する。
　演算部７３は、主に、画像処理部７２により特定された画像上の細胞Ｃについて各種の解析を行うと共に、操作者に提示する推薦細胞Ｃを特定する処理を実行する。演算部７３は、機能的に解析部７３１、特定部７３２及びモード変更部７３３を備えている。
　解析部７３１は、細胞Ｃの画像を解析することによって、当該細胞Ｃについての特徴量を抽出する処理を行う。抽出する特徴量は、先に図４～図７に基づき説明した通り、細胞Ｃの形状、個数、面積、推定体積、色、模様、光強度等である。解析部７３１は、これら特徴量を数値化する。
　特定部７３２は、先に図３に基づいて説明したように、操作者の過去の細胞選択実績に基づいて導出されるパラメータと、今回の撮像で取得された画像に含まれる細胞Ｃについて解析部７３１が抽出した特徴量とを比較することで、操作者に提示する推薦細胞Ｃを特定する処理を行う。特定部７３２は、特定の第１時点までに操作者が選択した細胞Ｃについて解析部７３１が抽出した特徴量に基づいて、選択されるべき細胞Ｃの範囲を定めるパラメータを設定する。このパラメータが、前記第１時点における細胞Ｃの選択基準の学習値である。そして、特定部７３２は、前記第１時点よりも後の第２時点の撮像で得られる細胞Ｃを含む画像において、前記パラメータに基づいて操作者に選択を促す推薦細胞Ｃを特定する。つまり、前記第２時点で取得された画像に含まれる細胞Ｃのうち、前記パラメータの範囲に属する特徴量を有する細胞Ｃが、推薦細胞Ｃとして特定される。
　さらに特定部７３２は、図３の手順（Ｅ）、（Ｆ）において説明したように、前記第２時点の撮像で得られた画像における細胞Ｃの選択操作において、先に特定した推薦細胞Ｃと一致しない細胞Ｃが選択された場合、その選択された細胞Ｃの特徴量に基づいて前記パラメータを修正する。つまり、前記第１時点における細胞Ｃの選択基準の学習値が更新される。そして、特定部７３２は、前記第２時点よりも後の第３時点の撮像で得られる細胞Ｃを画像において、修正された前記パラメータに基づいて推薦細胞Ｃを特定する処理を実行する。
　モード変更部７３３は、推薦細胞Ｃについて操作者の承認操作を受け付けるマニュアル操作モードと、推薦細胞Ｃを自動的に承認する自動承認モードとの間で動作モードを変更する処理を行う。換言すると、上述のように前記パラメータ（学習値）を操作者の選択結果に応じて順次更新するのが前記マニュアル操作モードである。一方、そのような更新をもはや行わずに、また、操作者から選択操作を受け付けることなく、特定部７３２が特定した推薦細胞Ｃをあたかも選択操作を受け付けた細胞Ｃと取り扱うのが自動承認モードである。前記パラメータの学習が進行すると、もはや操作者の選択操作の介入を要しないほどに、推薦細胞Ｃの特定精度が上昇することが想定される。このようなタイミングにおいて、モード変更部７３３は、動作モードをマニュアル操作モードから自動承認モードに変更する。これにより、細胞Ｃの選択作業を完全に自動化することができる。
　表示部７４は、カメラユニット５が撮像した画像を表示するディスプレイである。本実施形態では、カメラユニット５が撮像したディッシュ２の画像、すなわち複数の保持凹部３に担持された複数の細胞Ｃを含む画像を表示する。また、推薦細胞Ｃに対して、操作者が容易に識別できる所定の表示を付記する。
　入力部７５は、キーボードやマウス等からなり、操作者より、表示部７４に表示された細胞Ｃに対する選択（承認）操作に関する入力を受け付ける。図３の手順（Ｅ）で説明した、操作者による承認操作及び追加承認操作は、この入力部７５から受け付けられる。
　［細胞選別動作のフロー］
　続いて、図８に示す本実施形態の撮像システムを用いた細胞選別動作を、図９に示すフローチャートに基づいて説明する。処理が開始されると、カメラユニット５によりディッシュ２が撮像される。ディッシュ２には予め細胞懸濁液が分注されており、カメラユニット５はディッシュ２の保持凹部３に細胞Ｃが収容された状態を撮像する（ステップＳ１／第１時点の撮像）。この際、駆動制御部７１がレンズ部５１を駆動して、ディッシュ２上の細胞Ｃに対する合焦動作が実行される。撮像された画像は、例えば図３の手順（Ａ）に示すような状態で、表示部７４に表示される。
　次に、入力部７５において、操作者から、表示部７４に表示された細胞Ｃのうちのいずれを移動対象とするかについての最初の選択操作の入力を受け付ける（ステップＳ２）。この時点では、まだ選択されるべき細胞Ｃの範囲を定めるパラメータ（学習値）は存在していない状態である。なお、このステップＳ２では、予め定められた設定値に基づいて推薦細胞Ｃを特定し、表示部７４に推薦細胞Ｃであることを視認可能に表示した上で、操作者の選択操作を受けるようにしても良い。
　続いて、画像処理部７２が、カメラ本体５２から細胞Ｃを担持するディッシュ２の画像データを取得し、画像中に含まれる細胞Ｃを特定する画像処理を実行する。この画像処理データは、演算部７３の解析部７３１に送られ、解析部７３１は、操作者が選択した細胞Ｃ及び他の細胞Ｃについて、当該細胞Ｃの形状、個数、面積、推定体積、色、模様、光強度等の特徴量を求める処理を実行する（ステップＳ３）。
　そして、特定部７３２が、解析部７３１により求められた各細胞Ｃの特徴量のうち、操作者が選択した細胞Ｃについての特徴量を参照して、選択されるべき細胞Ｃの範囲を定めるパラメータを求める。つまり、細胞Ｃの選択基準を学習する（ステップＳ４）。このパラメータは、例えば特徴量として面積が選ばれている場合、移動対象として好ましい細胞Ｃの下限面積閾値及び上限面積閾値である。特徴量として色が選ばれている場合、下限平均輝度閾値及び上限平均輝度閾値である。このようなパラメータが、制御部７が備える図略のメモリ領域に記憶される（ステップＳ５）。
　ここで、モード変更部７３３により、動作モードがマニュアル操作モードから自動承認モードに変更されているか否かが確認される（ステップＳ６）。前記パラメータの学習が不十分な場合は、デフォルトのマニュアル操作モードが維持される（ステップＳ６でＹＥＳ）。一方、前記パラメータの学習が十分に進んでいる場合、例えばステップＳ５で記憶されたパラメータが、直近の複数回の更新において殆ど変動が無い状態に到達したような場合、動作モードがマニュアル操作モードから自動承認モードに変更される（ステップＳ６でＮＯ）。
　マニュアル操作モードが維持されている場合（ステップＳ６でＹＥＳ）、カメラユニット５により、ディッシュ２に担持された細胞Ｃが再び撮像される（ステップＳ７／第２時点の撮像）。この撮像で得られた画像データに対して、画像処理部７２による細胞Ｃの特定処理、及び解析部７３１による各細胞Ｃの特徴量抽出処理が行われる。その上で、特定部７３２が、現状の前記パラメータ（学習値）を参照して、今回の撮像画像中に含まれる細胞Ｃのうち、操作者に選択を促す推薦細胞Ｃを特定する。そして、図３の手順（Ｄ）に示したように、推薦細胞Ｃが操作者に視認可能な態様で、表示部７４に表示される（ステップＳ８）。
　続いて、ステップＳ２と同様に、入力部７５において操作者から、表示部７４に表示された細胞Ｃのうちのいずれを移動対象とするかについての選択操作の入力を受け付ける（ステップＳ９）。その後、処理はステップＳ３に戻り、解析部７３１により、操作者がステップＳ９で選択した細胞Ｃの特徴量が特定される。そして、特定部７３２が、これら細胞Ｃの特徴量を参照して、細胞Ｃの選択基準のパラメータを求める（ステップＳ４）。この際、前回のステップＳ８で特定部７３２が提示した推薦細胞Ｃと、ステップＳ９で操作者が実際に選択した細胞Ｃとの齟齬があると、前記パラメータは新たな値に更新されることになる。次回の細胞Ｃの撮像（ステップＳ７／第３時点の撮像）で得られた画像においては、更新されたパラメータに基づいて推薦細胞Ｃが特定される。
　これに対し、モード変更部７３３が動作モードを自動承認モードに変更している場合（ステップＳ６でＮＯ）、以降は操作者の選択操作が省かれる。カメラユニット５により、ディッシュ２に担持された細胞Ｃが撮像される（ステップＳ１０）。続いて、特定部７３２が、得られた画像に含まれる細胞Ｃの中から推薦細胞Ｃを特定する処理を行う（ステップＳ１１）。そして、入力部７５から操作者の選択操作を受けることなく、ステップＳ１１で特定され推薦細胞Ｃが移動対象の細胞Ｃとして自動選択される（ステップＳ１２）。
　その後、細胞Ｃの撮像を継続するか否かが確認される（ステップＳ１３）。撮像を継続する場合（ステップＳ１３でＹＥＳ）、ステップＳ１０に戻って、カメラユニット５によりディッシュ２に対する次の撮像動作が実行される。一方、撮像すべき細胞Ｃが無い場合（ステップＳ１３でＮＯ）、処理を終える。
　［作用効果］
　以上説明した本実施形態に係る撮像システムによれば、前記第２時点またはそれ以降に実行される細胞Ｃの選択操作において、操作者には表示部７４で推薦細胞Ｃが提示されるようになる。これにより、操作者は推薦細胞Ｃを参照しながら、迅速に細胞Ｃの選択を行うことができる。しかも、この推薦細胞Ｃは、前記第１時点までの当該操作者の選択実績を踏まえたパラメータに基づいて特定されたものであるので、的確性の高いものとなる。従って、操作者は、的確な細胞Ｃの選択が行えると共に、操作者の細胞Ｃの選択作業の労力を軽減することができる。
　また、前記第２時点において、推薦細胞Ｃと操作者が現に選択した細胞Ｃとに齟齬が生じた場合には、特定部７３２が改めて特徴量を抽出し（特徴量を学習し）、その特徴量に基づいて細胞Ｃの選択基準となるパラメータが修正される。そして、前記第３時点では、修正された前記パラメータに基づいて推薦細胞Ｃが特定される。従って、前記第３時点及びそれ以降の選択操作においては、より推薦細胞Ｃの特定精度を向上させることができる。つまり、操作者の選択操作と並行して、特徴量の学習効果に基づき推薦細胞Ｃの特定精度を徐々に向上させてゆくことができる。
　さらに、本実施形態の撮像システムによれば、操作者の選択結果を踏まえて特定部７３２が特徴量を学習する構成であるので、操作者が複数人存在する場合に、各操作者の選択結果に応じて個別に、特定部７３２に特徴量を学習させることが可能である。この場合、例えば入力部７５からの選択操作の際に、操作者の識別ＩＤ等に関連付けて操作を受け付けるものとし、操作者毎に学習データを生成し、演算部７３のメモリ領域に記憶させておく。これにより、全操作者についての平均的な推薦細胞Ｃではなく、各操作者の選択傾向を踏まえた個別の推薦細胞Ｃを特定させることが可能となる。
　また、本実施形態の撮像システムによれば、特定部７３２に生体対象物の種別毎或いは個体毎に特徴量を学習させ、前記種別毎或いは個体毎に特定部７３２が推薦細胞Ｃを特定することが可能である。例えば、生体対象物として種別の異なるがん細胞、例えば膵臓がん細胞と卵巣がん細胞とを撮像対象とするような場合、入力部７５からの細胞Ｃの選択操作の実行前に、予め定められたがん細胞分類等を入力させるようにする。そして、操作者の選択結果に応じて、がん細胞種別毎に学習データを生成し、演算部７３のメモリ領域に記憶させておく。これにより、特定部７３２に、がん細胞種別に応じた推薦細胞Ｃを特定させることが可能となる。
　さらに、例えば同じがん細胞でも、異なる被験者Ａと被験者Ｂとで、実験や検査等において必要となる細胞の傾向が異なる場合がある。つまり、同じ細胞種別であっても、個体によって推薦細胞Ｃが異なるものとなる場合がある。個体毎に推薦細胞Ｃを特定させる場合も上記と同様である。この場合、入力部７５からの細胞Ｃの選択操作の実行前に、当該細胞Ｃを採取した個体の識別ＩＤ等を入力させるようする。そして、操作者の選択結果に応じて、個体毎に学習データを生成し、演算部７３のメモリ領域に記憶させておく。これにより、特定部７３２に、各個体に応じた推薦細胞Ｃを特定させることが可能となる。
　実際の運用において、個体及び種別の単位で推薦細胞Ｃを特定させたい場合、例えば「被験者Ａ」の「膵臓がん細胞」という単位で推薦細胞Ｃを特定させたい場合には、そのような個体及び種別の区分が行えるようにＩＤ等を入力部７５から入力させるようにする。一方、「膵臓がん細胞」という単位での区別で足りれば、種別に関するＩＤ等を入力部７５から入力させるようにする。これにより、所要の単位で学習データを生成し、当該単位に適した推薦細胞Ｃを特定部７３２に特定させることが可能となる。
　［上記実施形態に包含される発明］
　なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。
　本発明の一局面に係る撮像システムは、複数の生体対象物を同時に撮像可能な撮像装置と、前記撮像装置により撮像された前記複数の生体対象物を含む画像を表示する表示部と、操作者より、前記表示部に表示された前記複数の生体対象物に対する選択操作に関する入力を受け付ける入力部と、前記入力部で選択操作が与えられた生体対象物に対応する画像を解析して、当該生体対象物についての特徴量を抽出する解析部と、第１時点までに前記選択操作が与えられた生体対象物について前記解析部が抽出した特徴量若しくは予め定められた基準特徴量に基づいて、選択されるべき生体対象物の範囲を定めるパラメータを設定し、前記第１時点よりも後の第２時点の撮像で得られる前記複数の生体対象物を含む画像において、前記パラメータに基づいて操作者に選択を促す推薦生体対象物を特定する特定部と、を備えることを特徴とする。
　この撮像システムによれば、前記第２時点またはそれ以降に実行される前記入力部における前記選択操作において、操作者には推薦生体対象物が提示されるようになる。これにより、操作者は推薦生体対象物を参照しながら、迅速に生体対象物の選択を行うことができる。しかも、この推薦生体対象物は、前記第１時点までの当該操作者の選択実績或いは基準特徴量を踏まえたパラメータに基づいて特定されたものであるので、的確性の高いものとなる。従って、上記の撮像システムによれば、的確な生体対象物の選択が行えると共に、生体対象物の選択作業の労力を軽減することができる。
　上記の撮像システムにおいて、前記入力部が、前記第２時点の撮像で得られた画像における前記複数の生体対象物に対する選択操作において、前記特定部が特定した前記推薦生体対象物と一致しない生体対象物の選択操作の入力を受け付けた場合、前記解析部は、前記入力部が受け付けた生体対象物に対応する画像を解析して、前記第２時点における当該生体対象物についての特徴量を抽出し、前記特定部は、前記第２時点における特徴量に基づいて前記パラメータを修正し、前記第２時点よりも後の第３時点の撮像で得られる前記複数の生体対象物を含む画像において、修正された前記パラメータに基づいて前記推薦生体対象物を特定することが望ましい。
　この撮像システムによれば、前記第２時点において、前記推薦生体対象物と操作者の生体対象物の選択実績とに齟齬が生じた場合に、改めて特徴量を抽出し（特徴量を学習し）、その特徴量に基づいて前記パラメータが修正される。そして、前記第３時点では、修正された前記パラメータに基づいて前記推薦生体対象物が特定される。従って、前記第３時点及びそれ以降の選択操作においては、より推薦生体対象物の特定精度を向上させることができる。つまり、操作者の選択操作と並行して、特徴量の学習効果に基づき推薦生体対象物の特定精度を徐々に向上させてゆくことができる。
　上記の撮像システムにおいて、前記特定部が特定した前記推薦生体対象物を、前記選択操作を受け付けることなく、前記入力部で前記選択操作を受け付けた生体対象物と取り扱うよう動作モードを変更するモード変更部をさらに備えることが望ましい。
　この撮像システムによれば、前記モード変更部が動作モードを変更した段階で、操作者による前記選択操作を省くことができる。上記の特徴量の学習が進行すると、もはや操作者の前記選択操作の介入を要しないほどに、推薦生体対象物の特定精度が上昇することが想定される。このようなタイミングにおいて、前記モード変更部に動作モードを変更させることにより、生体対象物の選択作業を完全に自動化することができる。
　上記の撮像システムにおいて、前記特徴量は、前記生体対象物の形状に基づく特徴量とすることができる。
　また、上記の撮像システムにおいて、前記生体対象物を収容する区画を複数備えるプレートを備え、前記撮像装置は、前記生体対象物が前記プレートの区画に収容された状態を撮像するものである場合に、前記特徴量は、一つの前記区画に収容されている前記生体対象物の量に基づく特徴量とすることができる。この場合、前記生体対象物の量は、当該生体対象物の個数、面積、輪郭から推定される推定体積のうちの少なくとも一つから求められる量とすることができる。
　或いは、前記特徴量は、前記生体対象物の色に基づく特徴量としても良く、前記特徴量は、前記生体対象物の模様に基づく特徴量であっても良い。
　さらに、前記特徴量は、画像上における前記生体対象物の領域の光強度に基づく特徴量とすることができる。若しくは、前記特徴量は、画像上における前記生体対象物の領域及びその周辺領域の光強度に基づく特徴量としても良い。
　上記の撮像システムにおいて、前記生体対象物を収容する区画を複数備えるプレートと、前記プレートの区画から前記生体対象物をピックアップするチップを有し、ピックアップされた前記生体対象物を移動させることが可能なヘッドと、前記チップによる前記ピックアップの動作を制御する制御部と、をさらに備え、前記撮像装置は、前記生体対象物が前記プレートの区画に収容された状態を撮像するものであって、前記制御部は、前記入力部で選択操作が与えられた生体対象物、若しくは、前記選択操作が与えられなかった生体対象物を、前記チップにピックアップさせる制御を実行することが望ましい。
　この撮像システムによれば、前記選択操作が与えられた、又は、与えられなかった生体対象物をピックアップさせ、所望の位置へ移動させる機能を当該撮像システムに具備させることがきる。
　上記の撮像システムにおいて、前記特定部は、操作者が複数人存在する場合に、各操作者の選択結果に応じた前記特徴量の学習結果に基づいて、操作者毎に個別に前記推薦対象物を特定することが望ましい。これにより、全操作者についての平均的な推薦対象物ではなく、各操作者の選択傾向を踏まえた個別の推薦対象物を特定させることが可能となる。
　上記の撮像システムにおいて、前記特定部は、生体対象物の種別が複数存在する場合に、各生体対象物に対する操作者の選択結果に応じた前記特徴量の学習結果に基づいて、生体対象物毎に個別に前記推薦対象物を特定することが望ましい。これにより、全生体対象物についての平均的な推薦対象物ではなく、生体対象物の種別に応じた推薦対象物を特定させることが可能となる。
　上記の撮像システムにおいて、前記特定部は、複数の個体から採取された同種の生体対象物が存在する場合に、各個体の生体対象物に対する操作者の選択結果に応じた前記特徴量の学習結果に基づいて、個体毎に個別に前記推薦対象物を特定することが望ましい。これにより、同種の生体対象物であっても、各々の個体に応じた推薦対象物を特定させることが可能となる。
　以上説明した本発明によれば、確な生体対象物の選択が行えると共に、生体対象物の選択作業の労力を軽減することができる撮像システムを提供することができる。
 

Claims (14)

  1. 　複数の生体対象物を同時に撮像可能な撮像装置と、
    　前記撮像装置により撮像された前記複数の生体対象物を含む画像を表示する表示部と、
    　操作者より、前記表示部に表示された前記複数の生体対象物に対する選択操作に関する入力を受け付ける入力部と、
    　前記入力部で選択操作が与えられた生体対象物に対応する画像を解析して、当該生体対象物についての特徴量を抽出する解析部と、
    　第１時点までに前記選択操作が与えられた生体対象物について前記解析部が抽出した特徴量若しくは予め定められた基準特徴量に基づいて、選択されるべき生体対象物の範囲を定めるパラメータを設定し、前記第１時点よりも後の第２時点の撮像で得られる前記複数の生体対象物を含む画像において、前記パラメータに基づいて操作者に選択を促す推薦生体対象物を特定する特定部と、
    を備えることを特徴とする撮像システム。
  2. 　請求項１に記載の撮像システムにおいて、
    　前記入力部が、前記第２時点の撮像で得られた画像における前記複数の生体対象物に対する選択操作において、前記特定部が特定した前記推薦生体対象物と一致しない生体対象物の選択操作の入力を受け付けた場合、
    　前記解析部は、前記入力部が受け付けた生体対象物に対応する画像を解析して、前記第２時点における当該生体対象物についての特徴量を抽出し、
    　前記特定部は、前記第２時点における特徴量に基づいて前記パラメータを修正し、前記第２時点よりも後の第３時点の撮像で得られる前記複数の生体対象物を含む画像において、修正された前記パラメータに基づいて前記推薦生体対象物を特定する、撮像システム。
  3. 　請求項２に記載の撮像システムにおいて、
    　前記特定部が特定した前記推薦生体対象物を、前記選択操作を受け付けることなく、前記入力部で前記選択操作を受け付けた生体対象物と取り扱うよう動作モードを変更するモード変更部をさらに備える、撮像システム。
  4. 　請求項１～３のいずれか１項に記載の撮像システムにおいて、
    　前記特徴量は、前記生体対象物の形状に基づく特徴量である、撮像システム。
  5. 　請求項１～３のいずれか１項に記載の撮像システムにおいて、
    　前記生体対象物を収容する区画を複数備えるプレートを備え、
    　前記撮像装置は、前記生体対象物が前記プレートの区画に収容された状態を撮像するものであって、
    　前記特徴量は、一つの前記区画に収容されている前記生体対象物の量に基づく特徴量である、撮像システム。
  6. 　請求項５に記載の撮像システムにおいて、
    　前記生体対象物の量は、当該生体対象物の個数、面積、輪郭から推定される推定体積のうちの少なくとも一つから求められる量である、撮像システム。
  7. 　請求項１～３のいずれか１項に記載の撮像システムにおいて、
    　前記特徴量は、前記生体対象物の色に基づく特徴量である、撮像システム。
  8. 　請求項１～３のいずれか１項に記載の撮像システムにおいて、
    　前記特徴量は、前記生体対象物の模様に基づく特徴量である、撮像システム。
  9. 　請求項１～３のいずれか１項に記載の撮像システムにおいて、
    　前記特徴量は、画像上における前記生体対象物の領域の光強度に基づく特徴量である、撮像システム。
  10. 　請求項９に記載の撮像システムにおいて、
    　前記特徴量は、画像上における前記生体対象物の領域及びその周辺領域の光強度に基づく特徴量である、撮像システム。
  11. 　請求項１～１０のいずれか１項に記載の撮像システムにおいて、
    　前記生体対象物を収容する区画を複数備えるプレートと、
    　前記プレートの区画から前記生体対象物をピックアップするチップを有し、ピックアップされた前記生体対象物を移動させることが可能なヘッドと、
    　前記チップによる前記ピックアップの動作を制御する制御部と、をさらに備え、
    　前記撮像装置は、前記生体対象物が前記プレートの区画に収容された状態を撮像するものであって、
    　前記制御部は、前記入力部で選択操作が与えられた生体対象物、若しくは、前記選択操作が与えられなかった生体対象物を、前記チップにピックアップさせる制御を実行する、撮像システム。
  12. 　請求項１～１１のいずれか１項に記載の撮像システムにおいて、
    　前記特定部は、操作者が複数人存在する場合に、各操作者の選択結果に応じた前記特徴量の学習結果に基づいて、操作者毎に個別に前記推薦対象物を特定する、撮像システム。
  13. 　請求項１～１１のいずれか１項に記載の撮像システムにおいて、
    　前記特定部は、生体対象物の種別が複数存在する場合に、各生体対象物に対する操作者の選択結果に応じた前記特徴量の学習結果に基づいて、生体対象物毎に個別に前記推薦対象物を特定する、撮像システム。
  14. 　請求項１～１１のいずれか１項に記載の撮像システムにおいて、
    　前記特定部は、複数の個体から採取された同種の生体対象物が存在する場合に、各個体の生体対象物に対する操作者の選択結果に応じた前記特徴量の学習結果に基づいて、個体毎に個別に前記推薦対象物を特定する、撮像システム。
     
PCT/JP2018/044628 2018-01-31 2018-12-04 撮像システム WO2019150755A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18903403.6A EP3733832A4 (en) 2018-01-31 2018-12-04 IMAGING SYSTEM
CN201880087823.9A CN111630149A (zh) 2018-01-31 2018-12-04 摄像系统
US16/965,237 US11367294B2 (en) 2018-01-31 2018-12-04 Image capture system
JP2019568898A JP7018078B2 (ja) 2018-01-31 2018-12-04 撮像システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018015169 2018-01-31
JP2018-015169 2018-01-31

Publications (1)

Publication Number Publication Date
WO2019150755A1 true WO2019150755A1 (ja) 2019-08-08

Family

ID=67478975

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044628 WO2019150755A1 (ja) 2018-01-31 2018-12-04 撮像システム

Country Status (5)

Country Link
US (1) US11367294B2 (ja)
EP (1) EP3733832A4 (ja)
JP (1) JP7018078B2 (ja)
CN (1) CN111630149A (ja)
WO (1) WO2019150755A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237391B1 (ja) 2022-01-24 2023-03-13 大和酸素工業株式会社 線虫自動移行装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6947905B2 (ja) * 2018-02-15 2021-10-13 ヤマハ発動機株式会社 撮像システム及び生体対象物移動装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011021391A1 (ja) * 2009-08-19 2011-02-24 国立大学法人名古屋大学 培養細胞評価装置、インキュベータおよびプログラム
WO2015087371A1 (ja) 2013-12-12 2015-06-18 ヤマハ発動機株式会社 対象物の移動装置
JP2015223175A (ja) * 2014-05-30 2015-12-14 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
JP2016154450A (ja) * 2015-02-23 2016-09-01 大日本印刷株式会社 培養液の培養状態解析システム及び培養状態解析方法、並びに、プログラム
WO2017110005A1 (ja) * 2015-12-25 2017-06-29 ヤマハ発動機株式会社 対象物のピックアップ方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040085443A1 (en) * 2000-12-13 2004-05-06 Kallioniemi Olli P Method and system for processing regions of interest for objects comprising biological material
US20030215936A1 (en) * 2000-12-13 2003-11-20 Olli Kallioniemi High-throughput tissue microarray technology and applications
US7589330B2 (en) * 2007-06-25 2009-09-15 Olympus Corporation Ultraviolet microscope apparatus
EP2270198A4 (en) * 2008-03-24 2013-03-27 Nikon Corp PICTURE ANALYSIS METHOD FOR CELL OBSERVATION, PICTURE PROCESSING PROGRAM AND PICTURE PROCESSING DEVICE
JP5659158B2 (ja) 2009-07-21 2015-01-28 国立大学法人京都大学 画像処理装置、培養観察装置、及び画像処理方法
JP2017009314A (ja) 2015-06-17 2017-01-12 株式会社Ｓｃｒｅｅｎホールディングス 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体
US10845186B2 (en) * 2016-03-09 2020-11-24 Sony Corporation Information processing device, information processing method, and information processing system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011021391A1 (ja) * 2009-08-19 2011-02-24 国立大学法人名古屋大学 培養細胞評価装置、インキュベータおよびプログラム
WO2015087371A1 (ja) 2013-12-12 2015-06-18 ヤマハ発動機株式会社 対象物の移動装置
JP2015223175A (ja) * 2014-05-30 2015-12-14 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
JP2016154450A (ja) * 2015-02-23 2016-09-01 大日本印刷株式会社 培養液の培養状態解析システム及び培養状態解析方法、並びに、プログラム
WO2017110005A1 (ja) * 2015-12-25 2017-06-29 ヤマハ発動機株式会社 対象物のピックアップ方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3733832A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237391B1 (ja) 2022-01-24 2023-03-13 大和酸素工業株式会社 線虫自動移行装置
JP2023107338A (ja) * 2022-01-24 2023-08-03 大和酸素工業株式会社 線虫自動移行装置

Also Published As

Publication number Publication date
EP3733832A4 (en) 2021-02-24
EP3733832A1 (en) 2020-11-04
US20200372240A1 (en) 2020-11-26
JPWO2019150755A1 (ja) 2020-12-10
US11367294B2 (en) 2022-06-21
CN111630149A (zh) 2020-09-04
JP7018078B2 (ja) 2022-02-09

Similar Documents

Publication Publication Date Title
US10648897B2 (en) Method and apparatus for the identification and handling of particles
JP6479676B2 (ja) 流体サンプル中の粒子の分類のためのシステム及び方法
KR101120829B1 (ko) 자동화된 이미지 처리 프로파일 선택 기능을 가지는생물학적 성장판 스캐너
CN105143850B (zh) 用于血液样品中的粒子分析的自聚焦系统和方法
EP3375859B1 (en) Method for constructing classifier, and method for determining life or death of cells using same
US20100135566A1 (en) Analysis and classification, in particular of biological or biochemical objects, on the basis of time-lapse images, applicable in cytometric time-lapse cell analysis in image-based cytometry
WO2003067904A2 (en) High-throughput cell identification and isolation method and apparatus
JP7176697B2 (ja) 細胞評価システム及び方法、細胞評価プログラム
WO2019150755A1 (ja) 撮像システム
JP6853880B2 (ja) 細胞移動方法及び細胞移動装置
JP6947905B2 (ja) 撮像システム及び生体対象物移動装置
EP3730601A1 (en) Movement method and movement device for biological subject
JP2011004638A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
JP2021184769A (ja) 細胞吸引支援装置および細胞吸引支援装置の制御方法
JP6710772B2 (ja) 細胞移動装置及び細胞移動方法
WO2022145086A1 (ja) 細胞移動装置
US20220207725A1 (en) Fluorescence image display method and fluorescence image analyzer
US20230291992A1 (en) Method and system for event-based imaging

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18903403

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019568898

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18903403.6

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018903403

Country of ref document: EP

Effective date: 20200730