WO2019159524A1 - 撮像システム及び生体対象物移動装置 - Google Patents

撮像システム及び生体対象物移動装置 Download PDF

Info

Publication number
WO2019159524A1
WO2019159524A1 PCT/JP2018/046336 JP2018046336W WO2019159524A1 WO 2019159524 A1 WO2019159524 A1 WO 2019159524A1 JP 2018046336 W JP2018046336 W JP 2018046336W WO 2019159524 A1 WO2019159524 A1 WO 2019159524A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
determination
cell
imaging system
container
Prior art date
Application number
PCT/JP2018/046336
Other languages
English (en)
French (fr)
Inventor
大 坂本
Original Assignee
ヤマハ発動機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ発動機株式会社 filed Critical ヤマハ発動機株式会社
Priority to JP2020500303A priority Critical patent/JP6947905B2/ja
Priority to EP18906036.1A priority patent/EP3739036B1/en
Priority to CN201880088791.4A priority patent/CN111699243B/zh
Priority to US16/968,649 priority patent/US20200410681A1/en
Publication of WO2019159524A1 publication Critical patent/WO2019159524A1/ja

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M33/00—Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus
    • C12M33/04—Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus by injection or suction, e.g. using pipettes, syringes, needles
    • C12M33/06—Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus by injection or suction, e.g. using pipettes, syringes, needles for multiple inoculation or multiple collection of samples
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M47/00—Means for after-treatment of the produced biomass or of the fermentation or metabolic products, e.g. storage of biomass
    • C12M47/04—Cell isolation or sorting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G01N35/0092—Scheduling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an imaging system including an imaging device that images a biological object such as a cell or a cell mass, and a biological object moving device using the imaging system.
  • imaging for selecting cells or cell masses may be performed.
  • the cells stored in the first container of the movement source are imaged by the imaging device, the desired cells are selected based on the obtained image, and the selected cells are sucked with the chip to be moved to the second container of the movement destination.
  • an operation of transferring for example, Patent Document 1.
  • the cell selection performed on the first container side include a method based on manual selection by an operator, a method of presetting selection reference values related to cell size and shape, and the like.
  • the former is a method depending on individual skills in which an operator observes a captured image of a cell and makes a pass / fail judgment based on the experience of the operator.
  • the latter is a method in which a parameter relating to the size and shape of the cell is obtained by performing image processing on a captured image of the cell and the quality determination is automatically determined based on whether or not the parameter satisfies the selection reference value.
  • An object of the present invention is to provide an imaging system capable of accurately selecting a living body object required by an operator, and a living body object moving apparatus using the imaging system.
  • An imaging system includes a first imaging that images a biological object before a predetermined operation is performed, and a second imaging that images the biological object after the operation is performed.
  • a first determination for determining whether or not to select the biological object based on a predetermined selection criterion from an executable imaging device and an image acquired by the first imaging, and acquired by the second imaging A determination unit that performs a second determination for determining whether to select the biological object from an image, a storage unit that stores data relating to the selection criterion, the first determination, and the second determination Correction that updates the data stored in the storage unit so that the first determination and the second determination for the biological object become the same in subsequent determinations when different determination results are obtained. And a section.
  • a living body object moving device picks a living body object selected as a moving object from the imaging system and a first container that houses a plurality of living body objects, and a second container. And a head device that executes a moving operation to move to the predetermined operation.
  • FIG. 1 is a diagram schematically illustrating a configuration example of a cell moving device to which an imaging system according to an embodiment of the present invention is applied.
  • FIG. 2A is a top view of a dish provided in the sorting container used in the cell transfer device
  • FIG. 2B is a cross-sectional view taken along the line IIB-IIB in FIG.
  • FIG. 3A is a perspective view of a microplate used in the cell transfer device
  • FIG. 3B is a longitudinal sectional view of FIG.
  • FIG. 4 is a diagram for explaining the concept of cell selection feedback in the present embodiment.
  • FIG. 5 is a diagram illustrating a feedback example of cell selection in the first embodiment when the operation is cell movement.
  • FIG. 6 is a diagram illustrating a feedback example of cell selection in the second embodiment when the operation is cell selection by an operator.
  • FIG. 7 is a diagram illustrating a feedback example of cell selection when the operation is a change of imaging conditions according to the third embodiment.
  • FIG. 8 is a modified example of the third embodiment and is a diagram illustrating a feedback example of cell selection when the work is a change in imaging conditions.
  • FIG. 9 is a diagram showing a feedback example of cell selection in the fourth embodiment when the operation is reagent dispensing.
  • FIG. 10 is a diagram for explaining a feedback example of cell selection in the fifth embodiment when the work is a work waiting for the test time to elapse.
  • FIG. 11 is a block diagram of the cell transfer device according to the embodiment of the present invention.
  • FIG. 12 is a flowchart of the cell movement operation using the imaging system.
  • a living body-derived cell can be typically exemplified.
  • cells derived from living organisms include single cells (cells) such as blood cells and single cells, tissue fragments such as Histoculture and CTOS, cell aggregates such as spheroids and organoids, zebrafish, nematodes, and fertilized eggs An individual such as 2D or 3D colony.
  • biological objects include tissues, microorganisms, small-sized species, and the like. In the embodiment described below, an example is shown in which the biological object is a cell or a cell aggregate formed by aggregating several to several hundreds of thousands of cells (hereinafter collectively referred to simply as “cell C”). .
  • FIG. 1 is a diagram schematically showing an overall configuration of a cell transfer device S to which an imaging system according to an embodiment of the present invention is applied.
  • a cell moving device S that moves cells C between two containers (dish 2 and microplate 4) is illustrated.
  • the cell transfer device S includes a translucent base 1 having an upper surface which is a horizontal mounting surface, a camera unit 5 (imaging device) disposed on the lower side of the base 1, and an upper side of the base 1. And a head unit 6 (head device) disposed on the head.
  • the sorting container 11 having the dish 2 (first container) is placed at the first placement position P1 of the base 1, and the microplate 4 (second container) is placed at the second placement position P2.
  • the head unit 6 is equipped with a plurality of heads 61 to which a chip 12 for sucking and discharging cells C is attached and which can move along the Z direction (vertical direction).
  • the camera unit 5 and the head unit 6 are movable in the X direction (horizontal direction) and the direction perpendicular to the paper surface of FIG. 1 (Y direction).
  • the dish 2 and the microplate 4 are placed on the upper surface of the base 1 within the movable range of the head unit 6.
  • the cell transfer device S sucks the cells C individually from each of the plurality of chips 12 from the dish 2 of the sorting container 11 that holds a large number of cells C, and moves the cells C to the microplate 4.
  • cells C are simultaneously discharged from a plurality of chips 12 to the well 41 of the microplate 4.
  • the cell unit C is picked up by the camera unit 5 (first image pickup), and a selection operation for selecting a high-quality cell C to be moved to the microplate 4 is performed. Done.
  • the cell C accommodated in the microplate 4 is imaged (second imaging) by the camera unit 5, and the cell C including the purpose of verifying the validity of the selection operation is observed.
  • the base 1 is a rectangular flat plate having a predetermined rigidity and part or all of which is made of a translucent material.
  • a preferred base 1 is a glass plate.
  • the sorting container 11 is a container from which the cells C move, stores the medium L, and holds the cell sorting dish 2 in a state of being immersed in the medium L.
  • the dish 2 is a plate that holds the cells C, and has a plurality of holding recesses 3 on the upper surface that can receive and hold the cells C individually.
  • the medium L is not particularly limited as long as it does not deteriorate the properties of the cells C, and can be appropriately selected depending on the type of the cells C.
  • the sorting container 11 has a rectangular upper opening 11H on the upper surface side.
  • the upper opening 11H is an opening for loading the cells C and picking up the sorted cells C.
  • the dish 2 is disposed below the upper opening 11H.
  • the sorting container 11 and the dish 2 are made of a translucent resin material or glass. This is because the cells C carried on the dish 2 can be observed by the camera unit 5 arranged below the sorting container 11.
  • a plurality of cells C dispersed in a cell culture solution are injected into the sorting container 11 from a dispensing chip (not shown).
  • the dispensing tip aspirates the cell culture solution together with the cells C from a container that stores a cell culture solution containing a large amount of cells C, and holds it in the dispensing tip. Thereafter, the dispensing tip is moved to the upper position of the sorting container 11 and accesses the upper surface of the dish 2 through the upper opening 11H. Then, with the tip opening of the dispensing tip immersed in the medium L of the sorting container 11, the cells C held in the dispensing tip are discharged onto the dish 2 together with the cell culture solution.
  • the microplate 4 is a container to which the cells C are moved, and has a plurality of wells 41 from which the cells C are discharged.
  • the well 41 is a hole with a bottom opened on the upper surface of the microplate 4.
  • a single well 41 accommodates a necessary number (usually one) of cells C together with the medium L.
  • the microplate 4 is also made of a translucent resin material or glass. This is because the cell C carried in the well 41 can be observed by the camera unit 5 arranged below the microplate 4.
  • the camera unit 5 captures an image of the cell C held in the sorting container 11 or the microplate 4 from the lower surface side, and includes a lens unit 51 and a camera body 52.
  • the lens unit 51 is an objective lens used in an optical microscope, and includes a lens group that forms an optical image with a predetermined magnification and a lens barrel that houses the lens group.
  • the camera body 52 includes an image sensor such as a CCD image sensor.
  • the lens unit 51 forms an optical image of the imaging object on the light receiving surface of the imaging element.
  • the camera unit 5 is movable in the X direction and the Y direction below the base 1 along a guide rail 5G extending in the left-right direction parallel to the base 1. Further, the lens unit 51 is movable in the Z direction for the focusing operation.
  • the head unit 6 picks a cell C selected as a movement target from the dish 2 as a first container that accommodates a plurality of cells C, and moves it to a microplate 4 as a second container (predetermined work). ), And includes a plurality of heads 61 and a head main body 62 to which these heads 61 are assembled. At the tip of each head 61, a chip 12 that performs suction (pickup) and discharge of cells C is mounted.
  • the head main body 62 holds the head 61 so as to be movable up and down in the + Z and ⁇ Z directions, and is movable in the + X and ⁇ X directions along the guide rail 6G.
  • the head main body 62 can also move in the Y direction.
  • FIG. 2A is a top view of the dish 2
  • FIG. 2B is a cross-sectional view taken along the line IIB-IIB in FIG. 2A.
  • the dish 2 includes a dish body 20 and a plurality of holding recesses 3 formed in the dish body 20.
  • the dish body 20 is made of a flat plate member having a predetermined thickness, and has an upper surface 21 and a lower surface 22.
  • the holding recess 3 has an opening 31 serving as a receiving opening for the cells C on the upper surface 21 side.
  • the dish 2 is immersed in the medium L in the sorting container 11.
  • the upper surface 21 of the dish main body 20 is immersed in the culture medium L in the sorting container 11, while the lower surface 22 is held in the sorting container 11 in a state of being spaced from the bottom plate of the sorting container 11. (See FIG. 1).
  • Each holding recess 3 includes an opening 31, a bottom 32, a cylindrical wall 33, a hole 34, and a boundary 35.
  • an example is shown in which square holding recesses 3 are arranged in a matrix in a top view.
  • the plurality of holding recesses 3 are arranged in a matrix at a predetermined recess array pitch.
  • the opening 31 is a square opening provided on the upper surface 21 and has a size that allows the tip opening t of the sorting chip 12 to enter.
  • the bottom 32 is located inside the dish body 20 and near the lower surface 22.
  • the bottom 32 is an inclined surface that is gently inclined downward toward the center (the center of the square).
  • the cylindrical wall surface 33 is a wall surface extending vertically downward from the opening 31 toward the bottom 32.
  • the hole 34 is a through hole that vertically penetrates between the center of the bottom 32 and the lower surface 22.
  • the boundary portion 35 is a portion that is located on the upper surface 21 and serves as an opening edge of each holding recess 3, and is a ridge line that partitions the holding recesses 3.
  • each holding recess 3 define an accommodation space 3H that accommodates the cells C. It is contemplated that one cell C is generally accommodated in the accommodation space 3H.
  • the hole 34 is provided in order to let small cells and impurities other than the desired size escape from the accommodation space 3H. Therefore, the size of the hole 34 is selected so that cells C having a desired size cannot pass through and small cells or impurities other than the desired size can pass therethrough. As a result, the cells C to be sorted are trapped in the holding recess 3, while impurities and the like fall from the hole 34 to the bottom plate of the sorting container 11.
  • FIG. 3A is a perspective view of the microplate 4
  • FIG. 3B is a longitudinal sectional view of the microplate 4.
  • the microplate 4 includes a plate body 40 and a plurality of wells 41 arranged in a matrix on the plate body 40. Since the tip opening t of the chip 12 enters the well 41 when the cells C are discharged, each well 41 has an opening diameter that allows the chip 12 to enter with a margin.
  • the reference microplate has a predetermined vertical ⁇ horizontal size (vertical 85.48 mm ⁇ horizontal 126 mm) and has a predetermined number of wells.
  • a general number of wells is 24 ⁇ 16 (384 wells), and these wells are arranged in a matrix at a predetermined pitch.
  • FIG. 3B shows a cross-sectional view of a 384-well microplate 4. As shown in the drawing, 24 wells 41 are arranged at an equal well pitch in the longitudinal direction of the microplate 4 (16 in the short direction).
  • FIG. 4 is a diagram for explaining the outline (steps (A) to (C)) of the cell selection work in the present embodiment.
  • the camera unit 5 images the dish 2 (first imaging), and acquires a first image of the cell C carried in the holding recess 3 of the dish 2.
  • a cell C in a state before a predetermined operation in this embodiment, a cell C moving operation is captured.
  • a first determination for determining which of the cells C captured in the image is to be selected as a movement target is executed from the first image.
  • the selection criterion is, for example, manual selection criterion that is inherently determined by each operator who performs the cell selection operation based on experience or the like, or selection criterion data relating to a predetermined cell size or shape.
  • the feature amount of the cell C captured in the first image is obtained by image processing.
  • the first determination is a determination as to whether or not the obtained feature amount satisfies the selection criterion data.
  • step (B) the operation for the cell C is executed.
  • the cells C selected as the movement target in the first determination are individually picked from the holding recess 3 of the dish 2 using the chip 12 and moved to one well 41 of the microplate 4.
  • the work on the cell C is not limited to the above moving work.
  • the operation for changing the imaging conditions of the cells C by the camera unit 5 the third embodiment
  • the reagent for the cells C And the like the fourth embodiment
  • the operation of waiting for the elapse of the test time for the cells C (fifth embodiment), and the like.
  • step (C) the camera unit 5 images (second imaging) the microplate 4 in which the cells C have been moved by the moving operation in step (B), and displays a second image of the cells C held in the well 41. get.
  • the cell C in a state after a predetermined operation is performed is captured.
  • a second determination for confirming the validity of each cell C moved to the well 41 is executed.
  • the second determination for example, which cell C is selected from the cells C captured in the image as a target of work on the cell C in the next stage, for example, work such as addition of a reagent, inspection, or observation. It is a determination of whether or not.
  • the selection determination of the cell C is performed in the two stages of the first determination and the second determination for the following reason.
  • transformation of the cell C, alteration, collapse, etc. may arise in the operation
  • an easily deformable cell C may be deformed when sucked by the chip 12, or what appears to be one cell C may be decomposed into a plurality of cells.
  • an erroneous determination may be made in the first determination.
  • the first determination is made based on the image of the cell C carried in the holding recess 3. That is, the first determination is performed based on the feature amount such as the shape and color tone of the cell C appearing in the first image acquired through the bottom surface of the sorting container 11 and the bottom portion 32 of the holding recess 3. For this reason, an error factor may intervene in the transmitted light image of the cell C, and what can be observed is the lower half of the cell C. Therefore, when the cell C is observed again based on the second image acquired after the work, it may be actually found to be a defective cell C.
  • the second imaging can be recognized as a defective cell C only when the second imaging is performed under imaging conditions different from the first imaging.
  • the cell C may be found to be a defective cell C by obtaining the second image after an operation of performing some processing on the cell C or setting an aging period. For this reason, execution of the second determination is requested.
  • step (C) if a determination result different from the first determination is obtained, the defect is fed back to the first determination in the next procedure (A). Specifically, if a sputum cell C (error) determined differently in the first and second determinations is generated, the feature amount of the cell C (error) is obtained from the second image, for example. Then, in the subsequent determination process, the selection reference data on which the first determination is relied on is the cell C (error) so that the first determination and the second determination regarding the cell C (error) are the same. Update with reference to the feature quantity. By repeating such updating (learning), only the cells C determined to be “selected” in the second determination are selected in the first determination, and the first determination and the second determination are performed. Is gradually homogenized. Eventually, truly necessary cells C can be selected only by the first determination, the second determination can be omitted, and work efficiency can be improved. Hereinafter, a feedback example of cell selection will be specifically shown for each work type.
  • FIG. 5 is a diagram schematically showing cell selection feedback procedures (A) to (G) in the first embodiment, as outlined above, when the operation is cell movement. It is.
  • the first procedure (A) the first imaging in which the camera unit 5 images the dish 2 is executed. By this first imaging, a first image of the cell C carried in the holding recess 3 of the dish 2 is acquired.
  • the lens unit 51 of the camera unit 5 has an angle of view capable of simultaneously imaging a plurality of cells C.
  • the procedure (A) shows an example in which the holding recesses 3 of the 3 ⁇ 3 (m1 to m3 ⁇ n1 to n3) matrix are imaged by one imaging operation.
  • one cell C is carried in the holding recesses 3 of m1n3 and m2n3, two cells C are held in the holding recesses 3 of m2n2, m3n1 and m3n3, and cells are held in the other holding recesses 3 respectively.
  • a state where C is not held is shown.
  • a first determination as to whether any cell C is to be moved is executed based on the first image acquired in the procedure (A).
  • the selection criterion data is used for the first determination.
  • the feature amount is, for example, the amount of the cell C obtained from the number, area, estimated volume, etc. of the cell C, the color and pattern of the cell C, the light intensity when the cell C is fluorescent.
  • the analysis results of the cells C in each holding recess 3 are each digitized.
  • the selection criterion data is a parameter that defines a range of cells C to be selected, for example.
  • the first determination it is determined whether or not the feature amount of each cell C belongs to the above parameter range, and the belonging cell C is selected as a movement target.
  • the belonging cell C is selected as a movement target.
  • an m1n3 cell C1 and an m2n3 cell C2 are selected as movement targets (in FIG. 5, highlighted by a black frame, the same applies hereinafter).
  • the cells C1 and C2 selected as the movement target are moved to each well 41 of the microplate 4 by the chip 12.
  • the second imaging is performed in which the camera unit 5 images the microplate 4 holding the moved cells C1 and C2.
  • work is performed.
  • This second determination may be performed by either manual selection by the operator or automatic selection using a feature amount.
  • an example is shown in which the cell C1 is selected (OK) and the cell C2 is not selected (NG) in the second determination.
  • information such as the number, amount, color, pattern, and light intensity of the cells C accommodated in the well 41 can also be used as the feature amount.
  • the number of cells C is the most easily identifiable information including the case of zero, it is desirable that the number of cells C be included in the feature amount at a minimum.
  • the feature amount of the cell C1 selected in the second determination or the cell C2 not selected is extracted. Then, as shown in the procedure (F), the extracted feature amount is fed back (updated) to the selection reference data used for the first determination. Thereby, in the first determination based on the previous selection criterion data, what was determined to be “select” for the cell C2 is determined to be “not selected” for the subsequent first determination. .
  • Procedure (G) shows an example of cell selection after feedback. That is, in the first determination after feedback, the cell C1 or a similar category of cells C is selected, but the cell C2 or a similar category of cells C is not selected. Thereafter, the process proceeds to the procedure (C), the selected cell C1 is moved to each well 41, and the second determination of the procedure (D) is executed in the same manner. In this case, since only the cell C1 is moved to the well 41, these are selected in the second determination. That is, in the selection of the cell C, no wrinkle occurs between the first determination and the second determination.
  • FIG. 6 is a diagram illustrating a feedback example of cell selection in the second embodiment when the operation is cell selection by an operator.
  • the operator manually reselects the validity of the cell C selected in the first determination based on the above selection criterion data in the dish 2. That is, before the cell C moving operation described in the first embodiment, the operator performs a manual selection operation that also serves as the second determination on the cell C that is automatically selected based on the selection reference data. And the result of the cell C by the manual selection operation is fed back to the first determination.
  • FIG. 6A shows the result of the first determination made based on the selection reference data at a certain point in time for the first image acquired by the first imaging.
  • m1n3 cell C1 and m2n3 cell C2 are selected in the first determination.
  • the operator performs a second determination (reselection operation) as to whether or not these cells C1 and C2 are appropriate as targets to be selected by a manual selection operation.
  • the image of dish 2 is referred to in the second determination, the first image acquired in advance is used.
  • the second image is not newly acquired, and the first image is used as the second image.
  • the present invention includes such embodiments.
  • FIG. 6B is a diagram showing a result of the second determination by the operator.
  • the cell C1 is selected in the second determination, but the cell C2 is not selected.
  • the feature amount of the cell C1 or the cell C2 is extracted, and the extracted feature amount is used as the selection criterion data used for the first determination. Feedback.
  • the cell C2 is determined as “not selected”.
  • FIG. 7 is a diagram illustrating a feedback example of cell selection when the operation is a change of imaging conditions according to the third embodiment.
  • the first determination and the second determination are performed based on the two-dimensional image of the cell C.
  • the quality determination can be clearly performed for the cells C that are difficult to determine the quality with the captured images under the same imaging conditions.
  • the first imaging is performed under a predetermined imaging condition to acquire the first image and the first determination is performed, and in the subsequent second imaging, the imaging condition is changed to change the second image.
  • the second determination is performed. That is, the work in the third embodiment is a work for changing the imaging condition in the first imaging. And the selection result of the cell C by the second determination is fed back to the first determination.
  • FIG. 7A is a first image of the cell C acquired by the first imaging, and shows an image obtained by the bright field imaging. That is, the image acquired by the camera unit 5 under the condition of “bright field imaging”.
  • the first determination is executed based on the selection reference data at that time. Thereafter, an operation for changing the imaging condition is performed.
  • the imaging conditions that can be changed include, for example, a field angle, an imaging angle, a magnification, an exposure amount, a property of illumination light, a light amount, and a lens type.
  • the change of the camera unit 5 to be used is also included.
  • FIG. 7B is a second image of the cell C acquired by the second imaging after changing the imaging condition, and shows an image obtained by fluorescence imaging here. That is, the image acquired by the camera unit 5 under the condition of “fluorescence imaging”.
  • the fluorescence imaging is performed, for example, by adding a fluorescent agent or using fluorescent illumination.
  • the operator performs a second determination as to which cell C is selected by a manual selection operation. The selection result of the cell C by the second determination is fed back to the first determination.
  • the m1n3 cell C1a and the m2n3 cell C2a observed in the first image of bright field imaging are observed in the second image of fluorescence imaging, they are observed as cells C1b and C2b of different light images.
  • the defect of the cell C overlooked in the bright field imaging may be observed in the fluorescence imaging. That is, based on images acquired by changing the way of viewing the cells C, there may be a case where selection determination with higher accuracy can be performed. The defect may actually appear as a feature amount in the first image of bright field imaging. Therefore, the more accurate first determination can be performed by feeding back the result of the second determination based on the second image of fluorescence imaging to the selection reference data.
  • FIG. 8 is a diagram showing a modification of the third embodiment.
  • the operation of changing the imaging condition in this modification is an operation of changing the imaging magnification of the lens unit 51 of the camera unit 5.
  • FIG. 8A shows a first image of the cell C acquired by the first imaging, for example, an image captured by a lens having a magnification of 4 times.
  • FIG. 8B is a second image of the cell C acquired by the second imaging after changing the imaging magnification.
  • FIG. 8B shows an image of the cell C2 of m2n3 captured by a lens having a magnification of 10 times. ing.
  • the selection necessity determination (first determination) performed on the cell C2 based on the first image of FIG. 8A is also the selection necessity performed on the cell C2 based on the enlarged second image of FIG.
  • the determination of NO (second determination) can be performed with higher accuracy. For example, a defect that could not be identified in a 4 ⁇ image may be observed in a 10 ⁇ image. Therefore, the more accurate first determination can be performed by feeding back the result of the second determination based on the high-magnification second image to the selection reference data.
  • FIG. 9 is a diagram showing a feedback example of cell selection in the fourth embodiment when the operation is reagent dispensing.
  • a sensitivity test for a reactive test substance such as a reagent or a growth agent is performed on the selected cell C. It may occur that what has been selected as a good quality cell C suitable for the test subject was a cell C unsuitable for the sensitive test.
  • an operation of adding a reactive test substance to the selected cell C is performed, and the second imaging is performed on the subsequent cell C to perform the second imaging. Two images are acquired, and quality determination (second determination) is performed for the cell C. And the selection result of the cell C by the second determination is fed back to the first determination.
  • FIG. 9A shows the result of the first determination made based on the selection reference data at a certain point in time for the first image acquired by the first imaging.
  • m1n3 cell C1 and m2n3 cell C2 are selected in the first determination.
  • As a first operation an operation of moving the selected cells C1 and C2 to each well 41 of the microplate 4 by the chip 12 is executed. Up to this point, it is the same as the first embodiment described above.
  • the reagent Q is dispensed to the well 41 containing the transferred cells C1 and C2 and the culture medium L using the chip 12, respectively. Is executed.
  • the second imaging is performed in which the camera unit 5 images the microplate 4 holding the moved cells C1 and C2. .
  • the images of the cells C1 and C2 after reacting with the reagent Q are acquired as the second image.
  • the operator performs a second determination to select whether or not the cells C1 and C2 are suitable as the subject of the sensitivity test by a manual selection operation.
  • the cell C1 is selected (OK) and the cell C2 is not selected (NG) in the second determination.
  • the selection result of the cells C1 and C2 by the second determination is fed back to the first determination. That is, the feature amount of the cell C1 or the cell C2 is extracted, and the extracted feature amount is fed back (updated) to the selection criterion data used for the first determination.
  • the cell C2 is determined as “not selected”. Therefore, the cells C are selected before the reagent Q addition operation so that the selection results of the cells C after the reagent Q addition operation are met.
  • FIG. 10 is a diagram for explaining a feedback example of cell selection in the fifth embodiment when the work is a work waiting for the test time to elapse. Even if the cell C is not allowed to be added specifically to the reagent Q or the like, the shape and properties of the cell C may be displaced even if it is left in the medium L. Examples include cell C growth, death, division, and discoloration. FIG. 10 shows an example in which the color of the cell C changes over time, and the cells C (t1), C (t2), and C (t3) after 5 hours, 24 hours, and 36 hours have elapsed. The state is illustrated simply. Therefore, waiting for the elapse of a predetermined test time for the cell C can also be an “operation” for the cell C.
  • the fifth embodiment can be implemented by substituting the reagent dispensing work in FIG. 9B of the fourth embodiment with a work waiting for the test time to elapse.
  • the second imaging and cell sorting (second determination) in FIG. 9C are executed after a predetermined test time has elapsed since the cells C1 and C2 were moved to the well 41. Then, the result of the second determination is fed back to the first determination.
  • FIG. 11 is a block diagram showing an electrical configuration of the cell transfer device S.
  • the cell moving device S includes a control unit 7 that controls the movement of the head unit 6, the elevation of the head 61 and the chip 12, the suction and discharge operation of the cell C, the movement and imaging operation of the camera unit 5, and the like.
  • the cell moving device S includes a camera axis drive unit 53 as a mechanism for horizontally moving the camera unit 5, a servo motor 54 as a drive source for moving the lens unit 51 up and down, and a head unit axis drive as a mechanism for horizontally moving the head unit 6.
  • the head drive unit 64 is provided as a mechanism for moving the head 63 up and down, and a mechanism for performing suction and discharge operations.
  • the camera shaft drive unit 53 includes a drive motor that horizontally moves the camera unit 5 along the guide rail 5G (FIG. 1).
  • the camera axis drive unit 53 moves the camera unit 5 between a first placement position P1 directly below the dish 2 and a second placement position P2 directly below the microplate 4.
  • the servo motor 54 moves in the vertical direction with a predetermined resolution through a power transmission mechanism (not shown) by rotating in the forward or reverse direction. By this movement, the focal position of the lens unit 51 is adjusted to the cell C accommodated in the holding recess 3 of the dish 2 or the well 41 of the microplate 4. As shown by a dotted line in FIG. 11, the sorting container 11 or the microplate 4 itself or the base 1 which is a stage on which these are placed is moved up and down by the servomotor 54 instead of the lens unit 51. You may make it let it.
  • the head unit shaft drive unit 63 includes a drive motor that moves the head unit 6 (head body 62) along the guide rail 6G.
  • the head drive unit 64 includes a motor serving as a power source for moving the head 61 up and down relative to the head main body 62 and a mechanism serving as a power source for generating a suction force and a discharge force at the tip opening t of the chip 12.
  • the control unit 7 is composed of a microcomputer or the like, and by executing a predetermined program, the axis control unit 71, the head control unit 72, the imaging control unit 73, the image processing unit 74, the storage unit 75, and the main control unit 78 are arranged. To function. Furthermore, an input unit 76 for inputting various types of information to the control unit 7 and a display unit 77 for displaying various types of information are provided.
  • the input unit 76 functions as a terminal that receives an input related to a cell C selection operation from the operator.
  • the display unit 77 functions as a monitor that displays the first image, the second image, and the like captured by the camera unit 5.
  • the axis control unit 71 controls the operation of the head unit axis driving unit 63. That is, the axis control unit 71 controls the head unit shaft driving unit 63 to move the head unit 6 to a predetermined target position in the horizontal direction. Movement of the head 61 (chip 12) between the sorting container 11 and the microplate 4, positioning in the vertical direction with respect to the holding recess 3 of the dish 2, and in the vertical direction with respect to the well 41 of the microplate 4 to be ejected Positioning and the like are realized by controlling the head unit shaft driving unit 63 by the shaft control unit 71.
  • the head control unit 72 controls the head driving unit 64 to raise and lower the head 61 to be controlled toward a predetermined target position. Further, the head control unit 72 generates a suction force or a discharge force at the tip opening t of the chip 12 at a predetermined timing by controlling the suction mechanism corresponding to the head 61 to be controlled.
  • the imaging control unit 73 controls the camera axis driving unit 53 to control the operation of moving the camera unit 5 along the guide rail 5G. Further, the imaging control unit 73 controls the imaging operation of the dish 2 or the microplate 4 by the camera unit 5, for example, the exposure amount, the shutter timing, and the like. Further, the imaging control unit 73 gives a control pulse for moving the lens unit 51 in the vertical direction at a predetermined pitch (for example, several tens of ⁇ m pitch) to the servo motor 54 for the focusing operation.
  • a predetermined pitch for example, several tens of ⁇ m pitch
  • the image processing unit 74 performs image processing such as edge detection processing and pattern recognition processing with feature amount extraction on the image data acquired by the camera body 52.
  • the image processing unit 74 recognizes the presence and number of cells C on the holding recess 3 of the dish 2 based on the image of the dish 2 after the cells C are dispensed, and the XY of each cell C.
  • a process for acquiring coordinates, a process for acquiring condition information such as the outer contour of each cell C, the size, shape, color tone, etc. of the area and volume, etc. are executed.
  • the image processing unit 74 performs processing for recognizing the number of cells C accommodated in the well 41, the total area and the total volume, the fluorescence intensity, and the like based on the image of the well 41 to which the cells C have been moved. Run.
  • the storage unit 75 stores various setting values, data, programs, etc. in the cell transfer device S.
  • storage part 75 memorize
  • the selection reference data is updated according to the cell selection result of the second determination performed after the predetermined operation is performed on the cell C.
  • the main control unit 78 comprehensively controls the operations of the camera unit 5 and the head unit 6.
  • the main control unit 78 performs imaging of the dish 2 in which the cells C are seeded at the first placement position P1 (FIG. 1) on which the sorting container 11 is placed, and also selects the cells C selected as the movement target.
  • the camera unit 5 and the head unit 6 are picked through the axis control unit 71, the head control unit 72, and the imaging control unit 73 so that the chip 12 attached to the head 61 is picked up and the cells C are moved to the microplate 4.
  • the main control unit 78 performs the first determination for automatically selecting the cell C to be moved from the dish 2 and whether to select the cell C after moving to the microplate 4.
  • the second determination is performed to determine whether or not.
  • the main control unit 78 functionally includes a determination unit 781, a correction unit 782, and an analysis unit 783 for the above first and second determinations.
  • the determination unit 781 performs a first determination process for selecting a cell C to be moved to the microplate 4 from the first image of the dish 2 carrying the cell C imaged (first imaged) by the camera unit 5. To do.
  • the determination unit 781 refers to the selection criterion data stored in the storage unit 75, and the feature amount of each cell C acquired by the image processing of the first image by the image processing unit 74 matches the selection criterion data.
  • the first determination is executed based on whether or not.
  • the determination unit 781 selects a cell C to be used for the subsequent operation from the second image of the microplate 4 after the operation of moving the cell C, which is captured by the camera unit 5 (second imaging). Execute. This second determination can be based on the selection operation of the cell C from the operator, which is accepted by the input unit 76. Instead, the selection criterion data for the second determination may be stored in the storage unit 75, and the determination unit 781 may automatically determine.
  • the correction unit 782 determines whether the first determination and the second determination for the cell C are performed in subsequent determinations. A process of updating the selection reference data stored in the storage unit 75 so as to be the same is performed. Specifically, the correction unit 782 reflects the feature amount of the cell C in which wrinkles are generated in the selection reference data. That is, when the cell C is “non-selected” in the second determination, the selection criterion data is updated so that the feature amount of the cell C is not included in the selection criterion data. On the other hand, when the cell C that was “non-selected” in the first determination is “selected” in the second determination, the feature amount of the cell C is conversely included in the selection reference data. In addition, the selection criterion data is updated.
  • the analysis unit 783 performs a process of extracting a feature amount of the cell C by analyzing the image of the cell C specified by the image processing unit 74 in the first image or the second image.
  • the feature amount to be extracted is, for example, the shape, number, area, estimated volume, color, pattern, light intensity, etc. of the cell C.
  • the analysis unit 783 digitizes these feature amounts, and the determination unit 781 and the correction unit 782 perform predetermined processing using these numeric values. For example, the analysis unit 783 extracts the feature amount of the cell C based on the image acquired in the second imaging for the cell C selected or not selected in the second determination.
  • the correction unit 782 updates the selection reference data with the extracted feature value.
  • the determination unit 781 executes an automatic determination mode in which the result of the first determination is used for the second determination when the selection criterion data is determined to be learned by the update process of the correction unit 782. It is possible. By repeating the updating (learning) of the selection criterion data, the first determination and the second determination are gradually homogenized, and the truly necessary cells C can be selected only by the first determination. Because.
  • the main control unit 78 causes the camera unit 5 to image the dish 2 (first imaging).
  • the cell suspension is dispensed in advance in the dish 2, and the camera unit 5 images the state in which the cells C are stored in the holding recesses 3 of the dish 2 (step S1).
  • the image processing unit 72 acquires the image data of the dish 2 acquired by the imaging from the camera main body 52, and executes image processing for specifying the cells C included in the image.
  • This image processing data is sent to the analysis unit 783 of the main control unit 78, and the analysis unit 783 for the identified cell C, the shape, number, area, estimated volume, color, pattern, light intensity, etc. of the cell C.
  • a process for obtaining the feature amount is executed (step S2).
  • the determination unit 781 reads selection criterion data for the cells C from the storage unit 75 (step S3), and moves any cell C among the cells C carried on the dish 2 with reference to the selection criterion data.
  • a first determination is performed to determine whether or not to select the target (step S4).
  • the main control part 78 will perform the cell movement operation
  • the head control unit 72 controls the head driving unit 64 to cause the chip 12 mounted on the head 61 to pick the cell C carried in the holding recess 3 of the dish 2.
  • the shaft control unit 71 controls the head unit shaft driving unit 63 to move the head unit 6 to the sky above the microplate 4. Further, the head control unit 72 controls the head driving unit 64 to discharge the cells C sucked by the chip 12 to the predetermined well 41.
  • the main control unit 78 causes the camera unit 5 to image the microplate 4 (second imaging) (step S6).
  • An image acquired by this imaging is displayed on the display unit 77.
  • the operator visually recognizes the display unit 77 and determines which of the cells C moved to each well 41 of the microplate 4 is selected for subsequent work.
  • the determination result is received by the input unit 76.
  • the determination unit 781 treats the instruction information input to the input unit 76 as a second determination for selecting the cell C after a predetermined operation (step S7).
  • step S8 If there is a cell C for which a different determination is made in the first determination in step S4 and the second determination in step S7, the characteristic amount of the cell C is calculated by the analysis unit 783 (step S8). Then, the correction unit 782 updates the selection reference data for the first determination stored in the storage unit 75 based on the feature amount extracted by the analysis unit 783 (step S10). If there is no wrinkle between the first determination and the second determination, steps S8 and S9 are skipped.
  • the main control unit 78 determines whether or not the operation mode set in the cell transfer device S is the manual operation mode (step S10).
  • the manual operation mode is a mode in which the imaging in step S6 and the input reception in step S7 are executed after the cell C is moved, and the mode is executed when the selection reference data in the storage unit 75 is not sufficiently learned. It is.
  • step S10 the main control unit 78 checks whether or not the next dish 2 imaging (first imaging) is scheduled (step S11).
  • the main control unit 78 returns to step S1 to execute the next first imaging.
  • step S4 the selection reference data previously updated in step S9 is used.
  • the automatic determination mode is a mode that is executed when it is determined that the learning of the selection reference data has progressed by the update process of the correction unit 782, and the result of the first determination is determined as the second determination. It is a mode to handle with the result of.
  • the main control unit 78 causes the camera unit 5 to image the dish 2 carrying the cells C (first imaging) (step S12), and the analysis unit 783 calculates the feature amount of the cells C in the acquired image. (Step S13).
  • the determination unit 781 refers to the selection criterion data in the storage unit 75 and performs a first determination for selecting the cell C to be moved (step S14).
  • the main control unit 78 moves the selected cell C from the dish 2 to the microplate 4 (step S15).
  • the next operation such as addition of a reagent, is performed on all the moved cells C.
  • step S16 it is confirmed whether or not the imaging of the cell C is continued.
  • the process returns to step S13, and the next imaging operation for the dish 2 is executed by the camera unit 5.
  • the process ends.
  • the determination unit 781 is based on the selection criterion data.
  • the selected first determination and the second determination based on the image acquired by the second imaging acquired after the predetermined work is performed are compared. If there is a flaw in both, the correction unit 782 updates the selection reference data so that the first determination and the second determination are the same. For this reason, the selection criterion data is gradually corrected so as to match the second determination performed after a predetermined operation. Accordingly, it is possible to increase the probability of determining “select” in the second determination, and it is possible to increase the work efficiency of the subsequent examination or test on the cell C.
  • An imaging system includes a first imaging that images a biological object before a predetermined operation is performed, and a second imaging that images the biological object after the operation is performed.
  • a first determination for determining whether or not to select the biological object based on a predetermined selection criterion from an executable imaging device and an image acquired by the first imaging, and acquired by the second imaging A determination unit that performs a second determination for determining whether to select the biological object from an image, a storage unit that stores data relating to the selection criterion, the first determination, and the second determination Correction that updates the data stored in the storage unit so that the first determination and the second determination for the biological object become the same in subsequent determinations when different determination results are obtained. And a section.
  • the biological object is selected after the first determination made based on a predetermined selection criterion in the image acquired by the first imaging and after a predetermined operation is performed.
  • the second determination based on the image acquired by the second imaging is compared. And when both have a flaw, the data regarding the selection criterion are updated so that the first determination and the second determination are the same. For this reason, the selection criterion data is gradually corrected so as to match the second determination performed after a predetermined operation. Therefore, it is possible to increase the probability of determining “select” in the second determination, and it is possible to increase the work efficiency of subsequent inspections and tests on the biological object.
  • the selection operation received by the input unit further comprising an input unit that receives an input related to a selection operation on the biological object from an operator, wherein the predetermined operation also serves as the second determination. It is desirable that
  • the selection reference data on which the first determination relies is updated so as to follow the selection operation result of the operator who also serves as the second determination. That is, the operator's selection operation result is fed back to the first determination. For this reason, the result of the first determination gradually follows the tendency of the selection operation by the operator, and the second determination (selection operation) can be simplified.
  • the predetermined operation is an operation of moving a biological object selected as a movement target from a first container that houses a plurality of biological objects to the second container, and the first imaging is performed. It is desirable that the biological object contained in the first container is imaged, and the second imaging is an image of the biological object moved to the second container.
  • the result of the second determination based on the image of the second imaging executed after the work of moving the biological object from the first container to the second container is fed back to the first determination. Is done. Therefore, the living body object is selected before the moving work so as to follow the selection result of the living body object after the moving work.
  • an analysis unit that extracts a feature quantity of the biological object based on the image acquired in the second imaging for the biological object selected or not selected in the second determination is further provided.
  • the correction unit updates data on the selection criterion based on the feature amount extracted by the analysis unit.
  • this imaging system it is possible to objectively evaluate the result of the second determination based on the feature amount and feed it back to the selection criterion data.
  • the second container includes a plurality of wells that house the living body object, and the feature amount includes information on the number of the living body objects housed in each of the wells. desirable. Thereby, the number information of the living body object can be reflected in the data of the selection reference.
  • the predetermined operation is an operation of changing an imaging condition in the first imaging, and the second imaging is executed under the imaging condition after the change.
  • the second determination is made on the basis of an image acquired after changing the imaging condition, that is, an image acquired by changing the view of the biological object.
  • the result of the second determination is fed back to the first determination. Accordingly, the living body object is selected in the first determination so as to follow the selection result of the living body object whose view is changed.
  • the predetermined operation is an operation of adding a reactive test substance to the biological object.
  • the result of the second determination based on the image of the second imaging executed after the addition of the reactive test substance to the biological object is fed back to the first determination. Accordingly, the biological object is selected before the addition operation so as to follow the selection result of the biological object after the addition operation of the reactive test substance.
  • the predetermined operation is an operation of waiting for a predetermined test time to elapse after the first imaging.
  • the result of the second determination based on the image of the second imaging which is executed after waiting for the elapse of a predetermined test time, is fed back to the first determination. Therefore, the living body object is selected in the first determination so as to follow the selection result of the living body object after the elapse of the test time.
  • the predetermined operation further includes an operation of moving a biological object selected as a movement target from a first container that houses a plurality of biological objects to the second container, and the first imaging Is imaging of a living body object accommodated in the first container, and the second imaging is imaging of a living body object moved to the second container, and the addition of the reactive test substance or The operation of waiting for the elapse of the test time is preferably performed on the biological object after being moved to the second container.
  • the determination unit automatically uses the result of the first determination for the second determination when it is determined that the data related to the selection criterion has been learned by the update of the correction unit. It is desirable to have a judgment mode.
  • the second determination when it is determined that learning has progressed as feedback to the first determination progresses, the second determination is omitted. Therefore, working efficiency can be further improved.
  • a living body object moving device picks a living body object selected as a moving object from the imaging system and a first container that houses a plurality of living body objects, and a second container. And a head device that executes a moving operation to move to the predetermined operation.
  • an imaging system capable of accurately selecting a biological object desired by an operator, and a biological object moving apparatus using the imaging system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Organic Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biotechnology (AREA)
  • Molecular Biology (AREA)
  • Genetics & Genomics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Cell Biology (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

撮像システムは、移動作業が行われる前の細胞（Ｃ）を撮像する第１撮像と、移動作業が行われた後の細胞を撮像する第２撮像とを実行可能なカメラユニット（５）と、前記第１撮像で取得された画像より、選択基準データに基づき細胞を選択するか否かを判定する第１判定と、前記第２撮像で取得された画像より、細胞を選択するか否かを判定する第２判定とを実行する判定部（７８１）と、前記選択基準データを記憶する記憶部（７５）と、前記第１判定と前記第２判定とが異なる判定結果となった場合に、その後の判定において当該細胞についての前記第１判定と前記第２判定とが同一となるように、記憶部（７５）に記憶されている前記選択基準データを更新する補正部（７８２）と、を備える。

Description

撮像システム及び生体対象物移動装置
　本発明は、例えば細胞又は細胞塊等の生体対象物を撮像する撮像装置を備える撮像システム、及びこれを用いた生体対象物移動装置に関する。
　例えば医療や生物学的な研究の用途では、細胞又は細胞塊（生体対象物の例；単に「細胞」ということがある）の選別のための撮像が行われる場合がある。例えば、移動元の第１容器に収容された細胞を撮像装置で撮像し、得られた画像に基づき所望の細胞を選別し、選別された細胞をチップで吸引して移動先の第２容器に移載する、という作業が行われることがある（例えば特許文献１）。
　前記第１容器側で実行される細胞選別の具体例としては、操作者のマニュアル選択に依る方法、細胞のサイズや形状等に関する選択基準値を予め設定する方法、等が挙げられる。前者は、操作者が細胞の撮像画像を観察し、操作者の経験に基づいて良否判定を行うという、個人のスキルに依存する方法である。後者は、細胞の撮像画像を画像処理する等して当該細胞のサイズや形状に関するパラメータを求め、このパラメータが前記選択基準値を満たすか否かに基づいて良否判定を自動判定する方法である。
　上記の通り、移動元の第１容器側で所望の細胞であるとして選択し、移動先の第２容器へ移動した細胞を当該第２容器側で改めて観察すると、意図する細胞ではないケースが生じ得る。つまり、細胞の移動という「作業」の介在後に細胞を再観察すると、実は企図する細胞ではなかった、という場合がある。同様なことが、各種の作業の介在によっても生じることがある。このため、第２容器側で行う検査や試験等の作業効率が低下するという問題があった。
国際公開第２０１５／０８７３７１号
　本発明の目的は、操作者が求める生体対象物の的確な選択が行える撮像システム、及びこれを用いた生体対象物移動装置を提供することにある。
　本発明の一局面に係る撮像システムは、所定の作業が行われる前の生体対象物を撮像する第１撮像と、前記作業が行われた後の前記生体対象物を撮像する第２撮像とを実行可能な撮像装置と、前記第１撮像で取得された画像より、所定の選択基準に基づき前記生体対象物を選択するか否かを判定する第１判定と、前記第２撮像で取得された画像より、前記生体対象物を選択するか否かを判定する第２判定とを実行する判定部と、前記選択基準に関するデータを記憶する記憶部と、前記第１判定と前記第２判定とが異なる判定結果となった場合に、その後の判定において当該生体対象物についての前記第１判定と前記第２判定とが同一となるように、前記記憶部に記憶されている前記データを更新する補正部と、を備えることを特徴とする。
　本発明の他の局面に係る生体対象物移動装置は、上記の撮像システムと、複数の生体対象物を収容する第１容器から、移動対象として選択された生体対象物をピッキングし、第２容器へ移動する移動作業を、前記所定の作業として実行するヘッド装置と、を備える。
図１は、本発明の実施形態に係る撮像システムが適用される細胞移動装置の構成例を概略的に示す図である。 図２（Ａ）は、前記細胞移動装置に使用される選別容器が備えるディッシュの上面図、図２（Ｂ）は、図２（Ａ）のＩＩＢ－ＩＩＢ線断面図である。 図３（Ａ）は、前記細胞移動装置に使用されるマイクロプレートの斜視図、図３（Ｂ）は、図３（Ａ）の縦断面図である。 図４は、本実施形態における細胞選択のフィードバックの概念を説明するための図である。 図５は、第１実施形態であって、作業が細胞の移動である場合の細胞選択のフィードバック例を示す図である。 図６は、第２実施形態であって、作業が操作者による細胞の選択である場合の細胞選択のフィードバック例を示す図である。 図７は、第３実施形態であって、作業が撮像条件の変更である場合の細胞選択のフィードバック例を示す図である。 図８は、第３実施形態の変形例であって、作業が撮像条件の変更である場合の細胞選択のフィードバック例を示す図である。 図９は、第４実施形態であって、作業が試薬の分注である場合の細胞選択のフィードバック例を示す図である。 図１０は、第５実施形態であって、作業が試験時間の経過を待つ作業である場合の細胞選択のフィードバック例を説明するための図である。 図１１は、本発明の実施形態に係る細胞移動装置のブロック図である。 図１２は、撮像システムを用いた細胞移動動作のフローチャートである。
　以下、本発明の実施形態を、図面に基づいて詳細に説明する。本発明に係る撮像システムでは、多岐に亘る生体対象物を撮像対象とすることができる。本発明において撮像対象となる生体対象物としては、代表的には生体由来の細胞を例示することができる。ここでの生体由来の細胞は、例えば血球系細胞やシングル化細胞などのシングルセル（細胞）、ＨｉｓｔｏｃｕｌｔｕｒｅやＣＴＯＳなどの組織小片、スフェロイドやオルガノイドなどの細胞凝集塊、ゼブラフィッシュ、線虫、受精卵などの個体、２Ｄ又は３Ｄのコロニー等である。この他、生体対象物として、組織、微生物、小サイズの種等を例示することができる。以下に説明する実施形態では、生体対象物が細胞又は細胞が数個～数十万個凝集してなる細胞凝集塊（以下、これらを総称して単に「細胞Ｃ」という）である例を示す。
　［細胞移動装置の全体構成］
　図１は、本発明の実施形態に係る撮像システムが適用される細胞移動装置Ｓの全体構成を概略的に示す図である。ここでは、細胞Ｃを２つの容器（ディッシュ２とマイクロプレート４）間で移動させる細胞移動装置Ｓを例示している。
　細胞移動装置Ｓは、水平な載置面である上面を有する透光性の基台１と、基台１の下方側に配置されたカメラユニット５（撮像装置）と、基台１の上方側に配置されたヘッドユニット６（ヘッド装置）とを含む。基台１の第１載置位置Ｐ１には、ディッシュ２（第１容器）を備えた選別容器１１が載置され、第２載置位置Ｐ２にはマイクロプレート４（第２容器）が載置されている。ヘッドユニット６は、細胞Ｃの吸引及び吐出を行うチップ１２が装着され、Ｚ方向（上下方向）に沿って移動可能なヘッド６１を複数備える。カメラユニット５及びヘッドユニット６は、Ｘ方向（水平方向）と、図１の紙面に垂直な方向（Ｙ方向）とに移動可能である。ディッシュ２及びマイクロプレート４は、ヘッドユニット６の移動可能範囲内において、基台１の上面に載置されている。
　大略的に細胞移動装置Ｓは、細胞Ｃを多数保持している選別容器１１のディッシュ２から複数のチップ１２の各々で細胞Ｃを個別に吸引し、これをマイクロプレート４まで移動すると共に、当該マイクロプレート４のウェル４１に複数のチップ１２から細胞Ｃを同時に吐出する装置である。細胞Ｃの吸引の前に、カメラユニット５によりディッシュ２に保持されている細胞Ｃが撮像（第１撮像）され、マイクロプレート４への移動対象とされる良質な細胞Ｃを選択する選択作業が行われる。細胞Ｃの移動後、カメラユニット５によりマイクロプレート４に収容された細胞Ｃが撮像（第２撮像）され、前記選択作業の妥当性の検証目的を含む細胞Ｃの観察が行われる。
　以下、細胞移動装置Ｓの各部を説明する。基台１は、所定の剛性を有し、その一部又は全部が透光性の材料で形成される長方形の平板である。好ましい基台１は、ガラスプレートである。基台１をガラスプレートのような透光性材料によって形成することで、基台１の下方に配置されたカメラユニット５にて、基台１の上面に配置された選別容器１１及びディッシュ２とマイクロプレート４とを、当該基台１を通して撮像させることが可能となる。
　選別容器１１は、細胞Ｃの移動元となる容器であり、培地Ｌを貯留し、細胞選別用のディッシュ２を培地Ｌに浸漬される状態で保持している。ディッシュ２は、細胞Ｃを保持するプレートであり、細胞Ｃを個別に収容して保持することが可能な保持凹部３を上面に複数有している。培地Ｌは、細胞Ｃの性状を劣化させないものであれば特に限定されず、細胞Ｃの種類により適宜選定することができる。
　選別容器１１は、その上面側に矩形の上部開口１１Ｈを備えている。上部開口１１Ｈは、細胞Ｃの投入、並びに、選別された細胞Ｃをピックアップするための開口である。ディッシュ２は、上部開口１１Ｈの下方に配置されている。選別容器１１及びディッシュ２は、透光性の樹脂材料やガラスで作製されたものが用いられる。これは、選別容器１１の下方に配置されたカメラユニット５により、ディッシュ２に担持された細胞Ｃを観察可能とするためである。
　選別容器１１には、図略の分注チップから、細胞培養液に分散された状態の複数の細胞Ｃが注入される。前記分注チップは、多量の細胞Ｃを含む細胞培養液を貯留する容器から、細胞Ｃと共に細胞培養液を吸引し、当該分注チップ内に保持する。その後、前記分注チップは、選別容器１１の上空位置へ移動され、上部開口１１Ｈを通してディッシュ２の上面にアクセスする。そして、前記分注チップの先端開口が選別容器１１の培地Ｌに浸漬された状態で、前記分注チップ内に保持された細胞Ｃが細胞培養液と共にディッシュ２の上へ吐出される。
　マイクロプレート４は、細胞Ｃの移動先となる容器であり、細胞Ｃが吐出される複数のウェル４１を有する。ウェル４１は、マイクロプレート４の上面に開口した有底の孔である。１つのウェル４１には、培地Ｌと共に必要個数（通常は１個）の細胞Ｃが収容される。マイクロプレート４もまた、透光性の樹脂材料やガラスで作製されたものが用いられる。これは、マイクロプレート４の下方に配置されたカメラユニット５により、ウェル４１に担持された細胞Ｃを観察可能とするためである。
　カメラユニット５は、選別容器１１又はマイクロプレート４に保持されている細胞Ｃの画像を、これらの下面側から撮像するもので、レンズ部５１及びカメラ本体５２を備える。レンズ部５１は、光学顕微鏡に用いられている対物レンズであり、所定倍率の光像を結像させるレンズ群と、このレンズ群を収容するレンズ鏡筒とを含む。カメラ本体５２は、ＣＣＤイメージセンサのような撮像素子を備える。レンズ部５１は、前記撮像素子の受光面に撮像対象物の光像を結像させる。カメラユニット５は、基台１と平行に左右方向に延びるガイドレール５Ｇに沿って、基台１の下方においてＸ方向及びＹ方向に移動可能である。また、レンズ部５１は、合焦動作のためにＺ方向に移動可能である。
　ヘッドユニット６は、複数の細胞Ｃを収容する第１容器としてのディッシュ２から、移動対象として選択された細胞Ｃをピッキングし、第２容器としてのマイクロプレート４へ移動させる移動作業（所定の作業）を実行するために設けられ、複数本のヘッド６１と、これらヘッド６１が組み付けられるヘッド本体６２とを含む。各ヘッド６１の先端には、細胞Ｃの吸引（ピックアップ）及び吐出を行うチップ１２が装着されている。ヘッド本体６２は、ヘッド６１を＋Ｚ及び－Ｚ方向に昇降可能に保持し、ガイドレール６Ｇに沿って＋Ｘ及び－Ｘ方向に移動可能である。なお、ヘッド本体６２は、Ｙ方向にも移動可能である。
　［ディッシュ及びマイクロプレートの詳細］
　まず、移動元の容器であるディッシュ２の詳細構造を説明する。図２（Ａ）は、ディッシュ２の上面図、図２（Ｂ）は、図２（Ａ）のＩＩＢ－ＩＩＢ線断面図である。ディッシュ２は、ディッシュ本体２０と、該ディッシュ本体２０に形成される複数の保持凹部３とを備えている。ディッシュ本体２０は、所定の厚みを有する平板状の部材からなり、上面２１と下面２２とを有する。保持凹部３は、上面２１の側に細胞Ｃの受け入れ開口となる開口部３１を有する。ディッシュ２は、選別容器１１内の培地Ｌ中に浸漬される。詳しくは、ディッシュ本体２０の上面２１が選別容器１１内の培地Ｌ中に浸漬される一方、下面２２が選別容器１１の底板に対して間隔を置いた状態で、選別容器１１内で保持される（図１参照）。
　保持凹部３の各々は、開口部３１、底部３２、筒状の壁面３３、孔部３４及び境界部３５を含む。本実施形態では、上面視で正方形の保持凹部３がマトリクス状に配列されている例を示している。図２（Ｂ）に示すように、複数の保持凹部３は、所定の凹部配列ピッチでマトリクス配列されている。
　開口部３１は、上面２１に設けられた正方形の開口であり、選別用のチップ１２の先端開口部ｔの進入を許容するサイズを有する。底部３２は、ディッシュ本体２０の内部であって、下面２２の近くに位置している。底部３２は、中心（前記正方形の中心）に向けて緩く下り傾斜する傾斜面である。筒状の壁面３３は、開口部３１から底部３２に向けて鉛直下方に延びる壁面である。孔部３４は、底部３２の前記中心と下面２２との間を鉛直に貫通する貫通孔である。境界部３５は、上面２１に位置し、各保持凹部３の開口縁となる部分であって、保持凹部３同士を区画する稜線である。
　各保持凹部３の底部３２及び筒状の壁面３３は、細胞Ｃを収容する収容空間３Ｈを区画している。収容空間３Ｈには、一般的には１個の細胞Ｃが収容されることが企図されている。孔部３４は、所望のサイズ以外の小さな細胞や夾雑物を収容空間３Ｈから逃がすために設けられている。従って、孔部３４のサイズは、所望のサイズの細胞Ｃは通過できず、所望のサイズ以外の小さな細胞や夾雑物を通過させるサイズに選ばれている。これにより、選別対象となる細胞Ｃは保持凹部３にトラップされる一方で、夾雑物等は孔部３４から選別容器１１の底板に落下する。
　次に、移動先の容器であるマイクロプレート４について説明する。図３（Ａ）は、マイクロプレート４の斜視図、図３（Ｂ）は、マイクロプレート４の縦断面図である。マイクロプレート４は、プレート本体４０と、このプレート本体４０にマトリクス状に配列された複数のウェル４１とを含む。細胞Ｃの吐出時、ウェル４１にはチップ１２の先端開口部ｔが進入するので、各ウェル４１は余裕を持ってチップ１２の進入を許容する開口径を有している。
　市販されているマイクロプレートには基準サイズが存在する。基準マイクロプレートは、所定の縦×横サイズ（縦８５．４８ｍｍ×横１２６ｍｍ）を備え、所定数のウェルを有する。一般的なウェル数は、２４×１６個（３８４ウェル）であり、これらウェルが所定のピッチでマトリクス配列されている。図３（Ｂ）は、３８４ウェルのマイクロプレート４の断面図を示している。図示する通り、マイクロプレート４の長手方向には、２４個のウェル４１が均等なウェルピッチで配列されている（短手方向には１６個）。
　［細胞選択作業の概要］
　図４は、本実施形態における細胞選択作業の概要（ステップ（Ａ）～（Ｃ））を説明するための図である。まず、ステップ（Ａ）において、カメラユニット５がディッシュ２を撮像（第１撮像）し、当該ディッシュ２の保持凹部３に担持された細胞Ｃの第１画像を取得する。この第１画像では、所定の作業、本実施形態では細胞Ｃの移動作業が行われる前の状態の細胞Ｃがキャプチャーされている。そして、第１画像より、所定の選択基準に基づいて、当該画像にキャプチャーされている細胞Ｃのうちいずれの細胞Ｃを移動対象として選択するか否かを判定する第１判定が実行される。
　前記選択基準は、例えば、細胞選択作業を実行する各操作者が経験等に基づき内在的に定めるマニュアル選択基準、或いは、予め定められた細胞のサイズや形状等に関する選択基準のデータである。後者に依拠する場合は、前記第１画像にキャプチャーされている細胞Ｃの特徴量が画像処理によって求められる。この場合、前記第１判定は、求められた特徴量が前記選択基準のデータを満たすか否かの判定となる。
　ステップ（Ｂ）では、細胞Ｃに対する作業が実行される。本実施形態では、前記第１判定において移動対象として選択された細胞Ｃを、チップ１２を用いてディッシュ２の保持凹部３から個別にピッキングし、これをマイクロプレート４の一つのウェル４１へ移動させる作業である。なお、細胞Ｃに対する作業は、上記移動作業には限定されない。例えば、操作者による細胞の選択自体を前記作業とするケース（後記の第２実施形態）のほか、カメラユニット５による細胞Ｃの撮像条件を変更する作業（第３実施形態）、細胞Ｃに対する試薬等の分注作業（第４実施形態）、細胞Ｃに対する試験時間の経過を待つ作業（第５実施形態）などを例示することができる。
　ステップ（Ｃ）では、カメラユニット５が、ステップ（Ｂ）の移動作業によって細胞Ｃが移動されたマイクロプレート４を撮像（第２撮像）し、ウェル４１に保持された細胞Ｃの第２画像を取得する。第２画像では、所定の作業が行われた後の状態の細胞Ｃがキャプチャーされていることになる。この第２画像において、ウェル４１へ移動された各細胞Ｃの妥当性を確認する第２判定が実行される。この第２判定は、例えば、次段の細胞Ｃに対する作業、例えば試薬の添加や検査、観察等の作業の対象として、当該画像にキャプチャーされている細胞Ｃのうちいずれの細胞Ｃを選択するか否かの判定である。
　このように、前記第１判定及び前記第２判定の二段階で細胞Ｃの選択判定を行うのは次の理由による。まず、第１、第２判定の間に実行される作業、つまり移動作業において、細胞Ｃの変形、変質、崩壊等が生じ得ることが挙げられる。例えば、易変形性の細胞Ｃが、チップ１２に吸引された際に変形したり、１つの細胞Ｃに見えていたものが複数個の細胞に分解したりする場合がある。
　次に、前記第１判定において誤った判定を行うことが挙げられる。前記第１判定は、保持凹部３に担持された細胞Ｃの画像に基づいて為される。つまり、選別容器１１の底面及び保持凹部３の底部３２を通して取得された前記第１画像に表れる細胞Ｃの形状、色調等の特徴量に基づき、前記第１判定が行われる。このため、細胞Ｃの透過光像に誤差要因が介入することがあり、また、観察できるのは細胞Ｃの下側半面である。従って、作業後に取得される第２画像に基づき改めて当該細胞Ｃを観察すると、実は不良品の細胞Ｃと判明することがある。また、前記第２撮像を、前記第１撮像とは異なる撮像条件で実行してみて初めて、不良品の細胞Ｃと認識できる場合もある。このほか、細胞Ｃに何らかの処理を施したり、エージング期間を置いたりする作業の後に前記第２画像を取得することで、不良品の細胞Ｃと判明することもある。このような理由から、前記第２判定の実行が要請されるものである。
　ステップ（Ｃ）の前記第２判定において、前記第１判定と異なる判定結果が出た場合、その齟齬が次回の手順（Ａ）における第１判定にフィードバックされる。具体的には、第１、第２判定において異なる判定が下された齟齬細胞Ｃ(error)が生じたとすると、その細胞Ｃ(error)の特徴量が例えば前記第２画像から求められる。そして、以降の後の判定処理において、細胞Ｃ(error)についての前記第１判定と前記第２判定とが同一となるように、前記第１判定が依拠する選択基準データを細胞Ｃ(error)の特徴量を参照して更新する。このような更新（学習）を繰り返すことにより、前記第２判定において「選択する」と判定された細胞Ｃだけが前記第１判定でも選択されるようになり、前記第１判定と前記第２判定は徐々に均質化されてゆく。やがて、前記第１判定のみで真に必要な細胞Ｃが選択でき、前記第２判定を省くことができるようになり、作業の効率化を図れるようになる。以下、作業種別毎に細胞選択のフィードバック例を具体的に示す。
　［第１実施形態］
　図５は、第１実施形態であって、上記で概要を説明したところの、作業が細胞の移動である場合における、細胞選択のフィードバックの手順（Ａ）～（Ｇ）を模式的に示す図である。最初の手順（Ａ）では、カメラユニット５がディッシュ２を撮像する第１撮像が実行される。この第１撮像によって、ディッシュ２の保持凹部３に担持された細胞Ｃの第１画像が取得される。カメラユニット５のレンズ部５１は、複数の細胞Ｃを同時に撮像可能な画角を備えている。手順（Ａ）では、３×３（ｍ１～ｍ３×ｎ１～ｎ３）のマトリクスの保持凹部３が、１回の撮像動作によって撮像される例を示している。ここでは、ｍ１ｎ３及びｍ２ｎ３の保持凹部３には１個の細胞Ｃが担持され、ｍ２ｎ２、ｍ３ｎ１及びｍ３ｎ３の保持凹部３には２個の細胞Ｃが各々保持され、その他の保持凹部３には細胞Ｃが保持されていない状態を示している。
　続く手順（Ｂ）では、手順（Ａ）で取得された第１画像に基づき、いずれの細胞Ｃを移動対象とする否かの第１判定が実行される。既述の通り、この第１判定には、選択基準データが用いられる。第１画像を解析することにより、各保持凹部３に保持されている細胞Ｃの特徴量が抽出される。前記特徴量は、例えば細胞Ｃの個数、面積、推定体積などから求められる細胞Ｃの量、細胞Ｃの色や模様、細胞Ｃを蛍光させたときの光強度などである。各保持凹部３の細胞Ｃの解析結果は、各々数値化される。前記選択基準データは、例えば選択されるべき細胞Ｃの範囲を定めるパラメータである。前記第１判定では、各細胞Ｃの特徴量が、上記のパラメータの範囲に属するか否かを判定し、属する細胞Ｃが移動対象として選択される。ここでは、ｍ１ｎ３の細胞Ｃ１と、ｍ２ｎ３の細胞Ｃ２とが移動対象として選択された例を示している（図５において、黒枠で強調している。以下、同じ）。
　次の手順（Ｃ）では、所定の作業として、移動対象として選択された細胞Ｃ１、Ｃ２が、チップ１２によりマイクロプレート４の各ウェル４１へ移動される。移動が完了すると、手順（Ｄ）に示すように、カメラユニット５が、移動された細胞Ｃ１、Ｃ２を保持するマイクロプレート４を撮像する第２撮像が行われる。そして、この第２撮像で得られた第２画像に基づき、細胞Ｃ１、Ｃ２をその後の作業用に選択するか否かの第２判定が実行される。この第２判定は、操作者のマニュアル選択、或いは、特徴量を使用した自動選択のいずれで実行されても良い。ここでは、第２判定において細胞Ｃ１が選択（ＯＫ）され、細胞Ｃ２は非選択（ＮＧ）とされた例を示している。なお、前記特徴量としても、ウェル４１に収容された細胞Ｃの個数、量、色、模様、光強度などの情報を用いることができる。とりわけ、細胞Ｃの個数は、０個の場合も含めて、最も識別が容易な情報であるので、前記特徴量に最低限に含ませることが望ましい。
　続く手順（Ｅ）では、前記第２画像に基づき、第２判定において選択された細胞Ｃ１、若しくは、選択されなかった細胞Ｃ２の特徴量が抽出される。そして、手順（Ｆ）に示すように、抽出された特徴量は、前記第１判定に用いられる前記選択基準データにフィードバック（更新）される。これにより、従前の選択基準データに基づく第１判定では、細胞Ｃ２を「選択する」と判定していたものが、その後の第１判定では、細胞Ｃ２を「選択しない」と判定することになる。
　手順（Ｇ）は、フィードバック後の細胞選択の例を示している。すなわち、フィードバック後の第１判定では、細胞Ｃ１又はこれに類似する範疇の細胞Ｃは選択されるが、細胞Ｃ２又はこれに類似する範疇の細胞Ｃは選択されない。その後、手順（Ｃ）に移行し、選択された細胞Ｃ１が各ウェル４１へ移動され、同様に手順（Ｄ）の第２判定が実行される。この場合、細胞Ｃ１だけがウェル４１へ移動されることになるので、これらは第２判定において選択されることになる。つまり、細胞Ｃの選択において、第１判定と第２判定とに齟齬が発生しなくなる。
　［第２実施形態］
　図６は、第２実施形態であって、作業が操作者による細胞の選択である場合の細胞選択のフィードバック例を示す図である。ここでは、上述の選択基準データに基づく第１判定で選択した細胞Ｃの妥当性を、操作者がディッシュ２においてマニュアルで再選択する例を示す。つまり、第１実施形態で説明した細胞Ｃの移動作業前に、選択基準データに基づき自動選択された細胞Ｃに対し、操作者が第２判定を兼ねるマニュアル選択操作の作業を実行する。そして、そのマニュアル選択操作による細胞Ｃの結果を前記第１判定にフィードバックするものである。
　図６（Ａ）は、第１撮像により取得された第１画像に対し、ある時点における選択基準データに基づいて為された前記第１判定の結果を示している。ここでは、ｍ１ｎ３の細胞Ｃ１と、ｍ２ｎ３の細胞Ｃ２とが、前記第１判定において選択された例を示している。これら細胞Ｃ１、Ｃ２が、選択すべき対象として妥当であるか否かの第２判定（再選択操作）を、操作者がマニュアル選択操作によって実行する。なお、前記第２判定において参照されるのはディッシュ２の画像であるので、先に取得されている第１画像が用いられる。すなわち、本実施形態では、第２画像を新たに取得せず、前記第１画像が第２画像として援用される。本発明は、かかる実施形態も包含するものである。
　図６（Ｂ）は、操作者の前記第２判定の結果を示す図である。ここでは、前記第２判定において細胞Ｃ１が選択されたが、細胞Ｃ２は選択されなかった例を示している。その後、第１実施形態の手順（Ｅ）、（Ｆ）と同様にして、細胞Ｃ１又は細胞Ｃ２の特徴量が抽出され、抽出された特徴量が、前記第１判定に用いられる前記選択基準データにフィードバックされる。これにより、以降に実施される第１判定では、細胞Ｃ２は「選択しない」と判定されることになる。
　［第３実施形態］
　図７は、第３実施形態であって、作業が撮像条件の変更である場合の細胞選択のフィードバック例を示す図である。上述の通り、本発明の実施形態では、細胞Ｃの二次元画像に基づいて前記第１判定及び前記第２判定が実行される。この場合、撮像条件を変更することで、同一の撮像条件での撮像画像では良否判定が難しかった細胞Ｃについて、明確に良否判定が行える場合がある。この点に鑑み、第３実施形態では、第１撮像を所定の撮像条件で実行して第１画像を取得すると共に第１判定を行い、続く第２撮像では撮像条件を変更して第２画像を取得すると共に第２判定を行う。つまり、第３実施形態における作業は、前記第１撮像における撮像条件を変更する作業である。そして、その第２判定による細胞Ｃの選択結果を前記第１判定にフィードバックするものである。
　図７（Ａ）は、第１撮像により取得された細胞Ｃの第１画像であり、明視野撮像によって得られた画像を示している。すなわち、カメラユニット５が「明視野撮像」という条件の下で取得した画像である。この第１画像において、その時点における選択基準データに基づいて前記第１判定が実行される。その後、撮像条件を変更する作業が行われる。変更可能な撮像条件としては、例えば画角、撮像アングル、倍率、露光量、照明光の性質、光量、レンズ種などである。勿論、使用するカメラユニット５の変更も含む。
　図７（Ｂ）は、撮像条件の変更後の第２撮像により取得された細胞Ｃの第２画像であり、ここでは蛍光撮像によって得られた画像を示している。すなわち、カメラユニット５が「蛍光撮像」という条件の下で取得した画像である。前記蛍光撮像は、例えば蛍光剤の添加、蛍光性照明の使用により実行される。この第２画像において、例えば操作者が、マニュアル選択操作によって、いずれの細胞Ｃを選択するかの第２判定を行う。この第２判定による細胞Ｃの選択結果が、前記第１判定にフィードバックされる。
　明視野撮像の第１画像で観察したｍ１ｎ３の細胞Ｃ１ａ及びｍ２ｎ３の細胞Ｃ２ａを、蛍光撮像の第２画像で観察すると、異なる光像の細胞Ｃ１ｂ、Ｃ２ｂとして観察される。ここで、明視野撮像では看過された細胞Ｃの欠陥が、蛍光撮像では観察できる場合がある。つまり、細胞Ｃの見方を変えて取得した画像に基づくと、より精度の高い選択判定が行える場合がある。そして、その欠陥が、実は明視野撮像の第１画像にも特徴量として表出している場合がある。従って、蛍光撮像の第２画像に基づく第２判定の結果を前記選択基準データにフィードバックすることで、より的確な第１判定を行えるようになる。
　図８は、第３実施形態の変形例を示す図である。この変形例における撮像条件を変更する作業は、カメラユニット５のレンズ部５１の撮像倍率を変更する作業である。図８（Ａ）は、第１撮像により取得された細胞Ｃの第１画像であり、例えば倍率が４倍のレンズで撮像された画像を示している。一方、図８（Ｂ）は、撮像倍率の変更後の第２撮像により取得された細胞Ｃの第２画像であり、例えば倍率が１０倍のレンズで撮像されたｍ２ｎ３の細胞Ｃ２の画像を示している。
　図８（Ａ）の第１画像に基づき細胞Ｃ２について行った選択要否の判定（第１判定）のりも、図８（Ｂ）の拡大された第２画像に基づき細胞Ｃ２について行った選択要否の判定（第２判定）の方が、精度の高い判定を行える場合がある。例えば、４倍画像では判別できなかった欠陥が、１０倍画像では観察できる場合がある。従って、高倍率化した第２画像に基づく第２判定の結果を前記選択基準データにフィードバックすることで、より的確な第１判定を行えるようになる。
　［第４実施形態］
　図９は、第４実施形態であって、作業が試薬の分注である場合の細胞選択のフィードバック例を示す図である。選択された細胞Ｃに対して、試薬や成長剤等の反応性試験物質に対する感応試験が行われる場合が多々ある。試験対象に適切な良質の細胞Ｃであるとして選択したものが、前記感応試験には不向きな細胞Ｃであった、ということが生じ得る。この点に鑑み、第４実施形態では、第１判定の後、選択された細胞Ｃに対して反応性試験物質を添加する作業を行い、その後の細胞Ｃに対して第２撮像を行って第２画像を取得すると共に当該細胞Ｃについての良否判定（第２判定）を行う。そして、その第２判定による細胞Ｃの選択結果を前記第１判定にフィードバックするものである。
　図９（Ａ）は、第１撮像により取得された第１画像に対し、ある時点における選択基準データに基づいて為された前記第１判定の結果を示している。ここでは、ｍ１ｎ３の細胞Ｃ１と、ｍ２ｎ３の細胞Ｃ２とが、前記第１判定において選択された例を示している。選択された細胞Ｃ１、Ｃ２に対し、第１の作業として、チップ１２によりマイクロプレート４の各ウェル４１へ移動させる作業が実行される。ここまでは、先述の第１実施形態と同じである。
　続いて、図９（Ｂ）に示すように、第２の作業として、移動された細胞Ｃ１、Ｃ２及び培地Ｌを収容するウェル４１に対し、それぞれチップ１２を用いて試薬Ｑを分注する作業が実行される。試薬Ｑの分注を終えて所定時間経過後に、図９（Ｃ）に示すように、カメラユニット５が、移動された細胞Ｃ１、Ｃ２を保持するマイクロプレート４を撮像する第２撮像が行われる。これにより、試薬Ｑに反応後の細胞Ｃ１、Ｃ２の画像が前記第２画像として取得される。この第２画像において、例えば操作者が、マニュアル選択操作によって、細胞Ｃ１、Ｃ２が感応試験の対象として適切であったか否かを選択する第２判定を行う。ここでは、前記第２判定において細胞Ｃ１が選択（ＯＫ）され、細胞Ｃ２は非選択（ＮＧ）とされた例を示している。
　そして、図９（Ｄ）に示すように、上記第２判定による細胞Ｃ１、Ｃ２の選択結果が、前記第１判定にフィードバックされる。すなわち、細胞Ｃ１又は細胞Ｃ２の特徴量が抽出され、抽出された特徴量が、前記第１判定に用いられる前記選択基準データにフィードバック（更新）される。これにより、以降に実施される第１判定では、細胞Ｃ２は「選択しない」と判定されることになる。従って、試薬Ｑの添加作業後の細胞Ｃの選択結果に沿うように、試薬Ｑの添加作業前において細胞Ｃの選択が行われるようになる。
　［第５実施形態］
　図１０は、第５実施形態であって、作業が試験時間の経過を待つ作業である場合の細胞選択のフィードバック例を説明するための図である。細胞Ｃは、試薬Ｑ等を特段添加せずとも、培地Ｌ中に放置するだけでも、その形状、性質が変位する場合がある。例えば、細胞Ｃの成長、死亡、分裂、変色などが例示できる。図１０では、時間の経過により細胞Ｃの色が変色して行く例を示しており、５時間、２４時間、３６時間経過後の細胞Ｃ（ｔ１）、Ｃ（ｔ２）、Ｃ（ｔ３）の状態を簡略的に例示している。従って、細胞Ｃについて、予め定められた試験時間の経過を待つことも、細胞Ｃについての「作業」となり得る。
　第５実施形態は、例えば上記第４実施形態の図９（Ｂ）における試薬の分注作業を、試験時間の経過を待つ作業に代替することによって実施することができる。この場合、図９（Ｃ）の第２撮像及び細胞選別（第２判定）は、ウェル４１への細胞Ｃ１、Ｃ２を移動してから所定の試験時間の経過後に実行される。そして、前記第２判定の結果が、第１判定にフィードバックされる。
　［細胞移動装置の電気的構成］
　図１１は、細胞移動装置Ｓの電気的構成を示すブロック図である。細胞移動装置Ｓは、ヘッドユニット６の移動、ヘッド６１及びチップ１２の昇降、細胞Ｃの吸引及び吐出動作、並びにカメラユニット５の移動及び撮像動作等を制御する制御部７を備える。また、細胞移動装置Ｓは、カメラユニット５を水平移動させる機構としてカメラ軸駆動部５３、レンズ部５１を上下動させる駆動源としてサーボモータ５４、ヘッドユニット６を水平移動させる機構としてヘッドユニット軸駆動部６３、ヘッド６１を昇降させる機構並びに吸引及び吐出動作を行わせる機構としてヘッド駆動部６４を備えている。
　カメラ軸駆動部５３は、ガイドレール５Ｇ（図１）に沿ってカメラユニット５を水平移動させる駆動モータを含む。カメラ軸駆動部５３は、カメラユニット５を、ディッシュ２の直下の第１載置位置Ｐ１と、マイクロプレート４の直下の第２載置位置Ｐ２との間で移動させる。
　サーボモータ５４は、正回転又は逆回転することで、図略の動力伝達機構を介して、レンズ部５１を所定の分解能で上下方向に移動させる。この移動によって、ディッシュ２の保持凹部３又はマイクロプレート４のウェル４１に収容された細胞Ｃにレンズ部５１の焦点位置が合わせられる。なお、図１１おいて点線で示しているように、レンズ部５１ではなく、サーボモータ５４によって選別容器１１又はマイクロプレート４自体、若しくは、これらが載置されるステージである基台１を上下動させるようにしても良い。
　ヘッドユニット軸駆動部６３は、ガイドレール６Ｇに沿ってヘッドユニット６（ヘッド本体６２）を移動させる駆動モータを含む。ヘッド駆動部６４は、ヘッド６１をヘッド本体６２に対して昇降させる動力源となるモータと、チップ１２の先端開口部ｔに吸引力及び吐出力を発生させる動力源となる機構とを含む。
　制御部７は、マイクロコンピュータ等からなり、所定のプログラムが実行されることで、軸制御部７１、ヘッド制御部７２、撮像制御部７３、画像処理部７４、記憶部７５及び主制御部７８を備えるように機能する。さらに、制御部７に各種の情報を入力する入力部７６と、各種の情報を表示する表示部７７が備えられている。入力部７６は、操作者から細胞Ｃの選択操作に関する入力を受け付ける端末として機能する。表示部７７は、カメラユニット５が撮像する上記第１画像及び第２画像等を表示するモニターとして機能する。
　軸制御部７１は、ヘッドユニット軸駆動部６３の動作を制御する。すなわち、軸制御部７１は、ヘッドユニット軸駆動部６３を制御することで、ヘッドユニット６を水平方向の所定の目標位置へ移動させる。ヘッド６１（チップ１２）の、選別容器１１とマイクロプレート４との間の移動、ディッシュ２の保持凹部３に対する鉛直上空での位置決め、並びに吐出対象となるマイクロプレート４のウェル４１に対する鉛直上空での位置決め等は、軸制御部７１によるヘッドユニット軸駆動部６３の制御によって実現される。
　ヘッド制御部７２は、ヘッド駆動部６４を制御することにより、制御対象とするヘッド６１を所定の目標位置に向けて昇降させる。また、ヘッド制御部７２は、制御対象とするヘッド６１に対応する吸引機構を制御することにより、所定のタイミングでチップ１２の先端開口部ｔに吸引力又は吐出力を発生させる。
　撮像制御部７３は、カメラ軸駆動部５３を制御して、カメラユニット５をガイドレール５Ｇに沿って移動させる動作を制御する。また、撮像制御部７３は、カメラユニット５によるディッシュ２又はマイクロプレート４の撮像動作、例えば露光量やシャッタータイミング等を制御する。さらに撮像制御部７３は、合焦動作のために、サーボモータ５４にレンズ部５１を上下方向に所定のピッチ（例えば数十μｍピッチ）で移動させるための制御パルスを与える。
　画像処理部７４は、カメラ本体５２により取得された画像データに対して、エッジ検出処理や特徴量抽出を伴うパターン認識処理などの画像処理を施す。画像処理部７４は、細胞Ｃが分注された後のディッシュ２の画像に基づき、ディッシュ２の保持凹部３上における細胞Ｃの存在及びその個数を画像上で認識する処理、各細胞ＣのＸＹ座標を取得する処理、個々の細胞Ｃの外形輪郭、面積や体積等のサイズ、形状、色調等の条件情報を取得する処理等を実行する。同様に、画像処理部７４は、細胞Ｃが移動されたウェル４１の画像に基づき、ウェル４１に収容された細胞Ｃの個数、合計面積や合計体積等の量、蛍光強度等を認識する処理を実行する。
　記憶部７５は、細胞移動装置Ｓにおける各種設定値やデータ、プログラム等を記憶する。この他、記憶部７５は、上述の第１判定に用いられる細胞Ｃの選択基準に関するデータを記憶する。この選択基準データは、上述の通り、細胞Ｃに対する所定の作業が実行された後に行われる第２判定の細胞選択結果に応じて更新される。
　主制御部７８は、カメラユニット５及びヘッドユニット６の動作を統括的に制御する。主制御部７８は、選別容器１１が載置された第１載置位置Ｐ１（図１）において、細胞Ｃが撒かれたディッシュ２の撮像を行わせると共に、移動対象に選択された細胞Ｃをヘッド６１に装着されたチップ１２に吸引させるピッキングを行い、これら細胞Ｃをマイクロプレート４へ移動するよう、軸制御部７１、ヘッド制御部７２及び撮像制御部７３を通して、カメラユニット５及びヘッドユニット６を制御する。主制御部７８は、このような統括的制御に際して、移動対象とする細胞Ｃをディッシュ２上から自動選択するための第１判定と、マイクロプレート４への移動後の細胞Ｃを選択するか否かを判定する第２判定とを実行する。
　主制御部７８は、上記の第１、第２判定のため機能的に、判定部７８１、補正部７８２及び解析部７８３を備える。判定部７８１は、カメラユニット５が撮像（第１撮像）した細胞Ｃを担持するディッシュ２の第１画像から、マイクロプレート４への移動対象とする細胞Ｃを選択する第１判定の処理を実行する。判定部７８１は、記憶部７５に格納されている選択基準データを参照し、画像処理部７４による前記第１画像の画像処理によって取得される各細胞Ｃの特徴量が前記選択基準データに合致するか否かに基づいて、前記第１判定を実行する。
　また、判定部７８１は、カメラユニット５が撮像（第２撮像）した、細胞Ｃの移動作業後のマイクロプレート４の第２画像から、その後の作業に用いる細胞Ｃを選択する第２判定の処理を実行する。この第２判定は、入力部７６に受け付けられる、操作者から細胞Ｃの選択操作に依拠することができる。これに代えて、前記第２判定用の選択基準データを記憶部７５に格納し、判定部７８１が自動判定するようにしても良い。
　補正部７８２は、ある細胞Ｃについて、前記第１判定と前記第２判定とが異なる判定結果となった場合に、その後の判定において当該細胞Ｃについての前記第１判定と前記第２判定とが同一となるように、記憶部７５に記憶されている前記選択基準データを更新する処理を行う。具体的には、補正部７８２は、齟齬の生じた細胞Ｃの特徴量を前記選択基準データに反映させる。すなわち、当該細胞Ｃが前記第２判定で「非選択」とされた場合には、当該細胞Ｃの特徴量が前記選択基準データに包含されないように、前記選択基準データが更新される。一方、第１判定では「非選択」であった細胞Ｃが、前記第２判定で「選択」とされた場合には、逆に当該細胞Ｃの特徴量が前記選択基準データに包含されるように、前記選択基準データが更新される。
　解析部７８３は、上述の第１画像又は第２画像において画像処理部７４によって特定された細胞Ｃの画像を解析することによって、当該細胞Ｃについての特徴量を抽出する処理を行う。抽出する特徴量は、例えば細胞Ｃの形状、個数、面積、推定体積、色、模様、光強度等である。解析部７８３は、これら特徴量を数値化し、判定部７８１及び補正部７８２は、この数値を用いて所定の処理を行う。例えば、解析部７８３は、前記第２判定において選択された細胞Ｃ若しくは選択されなかった細胞Ｃについて、前記第２撮像で取得された画像に基づいて当該細胞Ｃの特徴量を抽出する。補正部７８２は、前記選択基準データを、抽出された特徴量の数値を用いて更新する。
　判定部７８１は、前記選択基準データが、補正部７８２の前記更新処理により学習が進行したと判定される段階において、前記第１判定の結果を前記第２判定に援用する自動判定モードを実行することが可能とされている。前記選択基準データの更新（学習）を繰り返すことにより、やがて前記第１判定と前記第２判定は徐々に均質化され、前記第１判定のみで真に必要な細胞Ｃが選択できるようになり得るからである。
　［細胞移動動作のフロー］
　続いて、図１１に示す本実施形態の撮像システムを用いた細胞移動動作を、図１２に示すフローチャートに基づいて説明する。処理が開始されると、主制御部７８はカメラユニット５にディッシュ２を撮像（第１撮像）させる。ディッシュ２には予め細胞懸濁液が分注されており、カメラユニット５はディッシュ２の保持凹部３に細胞Ｃが収容された状態を撮像する（ステップＳ１）。
　次に、画像処理部７２が、カメラ本体５２から前記撮像により取得されたディッシュ２の画像データを取得し、画像中に含まれる細胞Ｃを特定する画像処理を実行する。この画像処理データは、主制御部７８の解析部７８３に送られ、解析部７８３は、特定された細胞Ｃについて、当該細胞Ｃの形状、個数、面積、推定体積、色、模様、光強度等の特徴量を求める処理を実行する（ステップＳ２）。
　続いて、判定部７８１が記憶部７５から細胞Ｃの選択基準データを読み出し（ステップＳ３）、当該選択基準データを参照して、ディッシュ２に担持された細胞Ｃのうち、いずれの細胞Ｃを移動対象として選択するか否かを判定する第１判定を実行する（ステップＳ４）。
　移動する細胞Ｃが決定したら、主制御部７８は当該細胞Ｃを第１容器としてのディッシュ２第１容器から、第２容器としてのマイクロプレート４へ移動させる細胞移動作業を実行させる（ステップＳ５）。具体的には、ヘッド制御部７２がヘッド駆動部６４を制御して、ヘッド６１に装着されたチップ１２に、ディッシュ２の保持凹部３に担持された細胞Ｃをピッキングさせる。また、軸制御部７１がヘッドユニット軸駆動部６３を制御して、ヘッドユニット６をマイクロプレート４の上空へ移動させる。さらに、ヘッド制御部７２がヘッド駆動部６４を制御して、チップ１２に吸引された細胞Ｃを所定のウェル４１へ吐出させる。
　細胞Ｃのウェル４１への吐出を終えたら、主制御部７８は、カメラユニット５にマイクロプレート４を撮像（第２撮像）させる（ステップＳ６）。この撮像により取得された画像は、表示部７７に表示される。操作者は、表示部７７を視認し、マイクロプレート４の各ウェル４１に移動された細胞Ｃのうち、いずれの細胞Ｃをその後の作業用に選択するかの判定を行う。その判定結果は、入力部７６に受け付けられる。判定部７８１は、入力部７６に入力された指示情報を、所定の作業後において細胞Ｃを選択する第２判定と扱う（ステップＳ７）。
　ステップＳ４の第１判定とステップＳ７の第２判定とで、異なる判定が下された細胞Ｃが存在する場合、その細胞Ｃの特徴量が解析部７８３によって算出される（ステップＳ８）。そして、補正部７８２が、記憶部７５に格納されている前記第１判定のための選択基準データを、解析部７８３により抽出された特徴量に基づいて更新する（ステップＳ１０）。なお、前記第１判定と前記第２判定とに齟齬が無い場合は、ステップＳ８及びＳ９はスキップされる。
　続いて、主制御部７８は、細胞移動装置Ｓにおいて設定されている動作モードがマニュアル操作モードであるか否かを判定する（ステップＳ１０）。マニュアル操作モードとは、細胞Ｃの移動作業後にステップＳ６の撮像及びステップＳ７の入力受け付けを実行するモードであり、記憶部７５の前記選択基準データが十分に学習されていない段階で実行されるモードである。
　マニュアル操作モードに設定されている場合（ステップＳ１０でＹＥＳ）、主制御部７８は、次回のディッシュ２の撮像（第１撮像）が予定されているか否かを確認する（ステップＳ１１）。前記第１撮像が予定されている場合（ステップＳ１１でＹＥＳ）、主制御部７８は、ステップＳ１に戻り、次回の第１撮像を実行させる。次回のルーチンにおいて、ステップＳ４では、先にステップＳ９で更新された選択基準データが用いられる。
　一方、ステップＳ１０において、マニュアル操作モードではなく自動判定モードに設定されている場合（ステップＳ１０でＮＯ）、主制御部７８は、上述のステップＳ６～Ｓ９が省かれた動作を実行させる。前記自動判定モードは、補正部７８２の前記更新処理により選択基準データの学習が進行したと判定される段階に至ったときに実行されるモードであり、前記第１判定の結果を前記第２判定の結果と扱うモードである。
　この場合、主制御部７８は、カメラユニット５に細胞Ｃを担持するディッシュ２を撮像（第１撮像）させ（ステップＳ１２）、取得された画像内の細胞Ｃの特徴量が解析部７８３により算出される（ステップＳ１３）。続いて、判定部７８１が、記憶部７５の選択基準データを参照して、移動対象の細胞Ｃを選択する第１判定を行う（ステップＳ１４）。そして、主制御部７８は、選択された細胞Ｃをディッシュ２からマイクロプレート４へ移動させる（ステップＳ１５）。上述の通り、自動判定モードでは第２判定が省かれるので、移動された細胞Ｃの全てに対して次段の作業、例えば試薬の添加等が実行される。
　その後、細胞Ｃの撮像を継続するか否かが確認される（ステップＳ１６）。撮像を継続する場合（ステップＳ１６でＹＥＳ）、ステップＳ１３に戻って、カメラユニット５によりディッシュ２に対する次の撮像動作が実行される。一方、撮像すべき細胞Ｃが無い場合（ステップＳ１６でＮＯ）、処理を終える。
　以上説明した本実施形態に係る撮像システムによれば、細胞Ｃの選択について、細胞Ｃに対する所定の作業前に実行される第１撮像で取得された画像において、判定部７８１が選択基準データに基づき選択した第１判定と、所定の作業が行われた後に取得された第２撮像で取得された画像に基づく第２判定とが比較される。そして、両者に齟齬がある場合、補正部７８２が、前記第１判定と前記第２判定とが同一となるように、前記選択基準データが更新される。このため、前記選択基準データが、所定の作業後に行われる第２判定に合致するように、徐々に修正されるようになる。従って、前記第２判定において「選択する」と判定する確率を高めることができ、その後の当該細胞Ｃに対する検査や試験等の作業効率を高めることができる。
　［上記実施形態に包含される発明］
　なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。
　本発明の一局面に係る撮像システムは、所定の作業が行われる前の生体対象物を撮像する第１撮像と、前記作業が行われた後の前記生体対象物を撮像する第２撮像とを実行可能な撮像装置と、前記第１撮像で取得された画像より、所定の選択基準に基づき前記生体対象物を選択するか否かを判定する第１判定と、前記第２撮像で取得された画像より、前記生体対象物を選択するか否かを判定する第２判定とを実行する判定部と、前記選択基準に関するデータを記憶する記憶部と、前記第１判定と前記第２判定とが異なる判定結果となった場合に、その後の判定において当該生体対象物についての前記第１判定と前記第２判定とが同一となるように、前記記憶部に記憶されている前記データを更新する補正部と、を備えることを特徴とする。
　この撮像システムによれば、生体対象物の選択について、前記第１撮像で取得された画像において所定の選択基準に基づき為された前記第１判定と、所定の作業が行われた後に取得された前記第２撮像で取得された画像に基づく第２判定とが比較される。そして、両者に齟齬がある場合、前記第１判定と前記第２判定とが同一となるように、前記選択基準に関するデータが更新される。このため、前記選択基準のデータが、所定の作業後に行われる第２判定に合致するように、徐々に修正されるようになる。従って、前記第２判定において「選択する」と判定する確率を高めることができ、その後の当該生体対象物に対する検査や試験等の作業効率を高めることができる。
　上記の撮像システムにおいて、操作者より、前記生体対象物に対する選択操作に関する入力を受け付ける入力部をさらに備え、前記所定の作業が、前記第２判定を兼ねる、前記入力部に受け付けられた前記選択操作であることが望ましい。
　この撮像システムによれば、前記第２判定を兼ねる操作者の選択操作結果に沿うように、前記第１判定が依拠する前記選択基準のデータが更新されるようになる。つまり、操作者の選択操作結果が、前記第１判定にフィードバックされるようになる。このため、徐々に前記第１判定の結果が、操作者の選択操作の傾向に沿うようになり、前記第２判定（選択操作）が簡略化できるようになる。
　上記の撮像システムにおいて、前記所定の作業が、複数の生体対象物を収容する第１容器から、移動対象として選択された生体対象物を第２容器へ移動させる作業であり、前記第１撮像は、前記第１容器に収容された生体対象物の撮像であり、前記第２撮像は、前記第２容器に移動された生体対象物の撮像であることが望ましい。
　この撮像システムによれば、生体対象物の第１容器から第２容器への移動という作業の後に実行される、前記第２撮像の画像に基づく第２判定の結果が、前記第１判定にフィードバックされる。従って、移動作業後の生体対象物の選択結果に沿うように、移動作業前において生体対象物の選択が行われるようになる。
　この場合、前記第２判定において選択された生体対象物若しくは選択されなかった生体対象物について、前記第２撮像で取得された画像に基づいて当該生体対象物の特徴量を抽出する解析部をさらに備え、前記補正部は、前記選択基準に関するデータを、前記解析部が抽出した前記特徴量に基づいて更新することが望ましい。
　この撮像システムによれば、前記特徴量に基づき、前記第２判定の結果を客観的に評価して、これを前記選択基準のデータにフィードバックすることができる。
　さらに、この撮像システムにおいて、前記第２容器が、前記生体対象物を収容するウェルを複数備え、前記特徴量が、前記ウェルの各々に収容された前記生体対象物の個数の情報を含むことが望ましい。これにより、生体対象物の個数情報を前記選択基準のデータに反映させることができる。
　上記の撮像システムにおいて、前記所定の作業が、前記第１撮像における撮像条件を変更する作業であって、前記第２撮像は、前記変更後の撮像条件にて実行されることが望ましい。
　この撮像システムによれば、撮像条件の変更後に取得された画像、つまり、生体対象物の見方を変えて取得した画像に基づいて第２判定が為される。そして、この第２判定の結果が、前記第１判定にフィードバックされる。従って、見方を変えた生体対象物の選択結果に沿うように、第１判定において生体対象物の選択が行われるようになる。
　上記の撮像システムにおいて、前記所定の作業が、前記生体対象物に対する反応性試験物質の添加作業であることが望ましい。
　この撮像システムによれば、前記生体対象物に対する反応性試験物質の添加作業の後に実行される、前記第２撮像の画像に基づく第２判定の結果が、前記第１判定にフィードバックされる。従って、反応性試験物質の添加作業後の生体対象物の選択結果に沿うように、前記添加作業前において生体対象物の選択が行われるようになる。
　上記の撮像システムにおいて、前記所定の作業が、前記第１撮像の後、予め定められた試験時間の経過を待つ作業であることが望ましい。
　この撮像システムによれば、予め定められた試験時間の経過を待つという作業の後に実行される、前記第２撮像の画像に基づく第２判定の結果が、前記第１判定にフィードバックされる。従って、試験時間の経過後の生体対象物の選択結果に沿うように、前記第１判定において生体対象物の選択が行われるようになる。
　これらの撮像システムにおいて、前記所定の作業として、複数の生体対象物を収容する第１容器から、移動対象として選択された生体対象物を第２容器へ移動させる作業をさらに含み、前記第１撮像は、前記第１容器に収容された生体対象物の撮像であり、前記第２撮像は、前記第２容器に移動された生体対象物の撮像であって、前記反応性試験物質の添加作業又は前記試験時間の経過を待つ作業は、前記第２容器に移動された後の生体対象物に対して実行されることが望ましい。
　上記の撮像システムにおいて、前記判定部は、前記選択基準に関するデータが前記補正部の前記更新により学習が進行したと判定される段階において、前記第１判定の結果を前記第２判定に援用する自動判定モードを有することが望ましい。
　この撮像システムによれば、前記第１判定へのフィードバックが進むことによって学習が進行したと判定されると、前記第２判定が省略されるようになる。従って、作業効率を一層高めることができる。
　本発明の他の局面に係る生体対象物移動装置は、上記の撮像システムと、複数の生体対象物を収容する第１容器から、移動対象として選択された生体対象物をピッキングし、第２容器へ移動する移動作業を、前記所定の作業として実行するヘッド装置と、を備える。
　本発明によれば、操作者が求める生体対象物の的確な選択が行える撮像システム、及びこれを用いた生体対象物移動装置を提供することができる。

Claims (11)

  1. 　所定の作業が行われる前の生体対象物を撮像する第１撮像と、前記作業が行われた後の前記生体対象物を撮像する第２撮像とを実行可能な撮像装置と、
    　前記第１撮像で取得された画像より、所定の選択基準に基づき前記生体対象物を選択するか否かを判定する第１判定と、前記第２撮像で取得された画像より、前記生体対象物を選択するか否かを判定する第２判定とを実行する判定部と、
    　前記選択基準に関するデータを記憶する記憶部と、
    　前記第１判定と前記第２判定とが異なる判定結果となった場合に、その後の判定において当該生体対象物についての前記第１判定と前記第２判定とが同一となるように、前記記憶部に記憶されている前記データを更新する補正部と、
    を備えることを特徴とする撮像システム。
  2. 　請求項１に記載の撮像システムにおいて、
    　操作者より、前記生体対象物に対する選択操作に関する入力を受け付ける入力部をさらに備え、
    　前記所定の作業が、前記第２判定を兼ねる、前記入力部に受け付けられた前記選択操作である、撮像システム。
  3. 　請求項１又は２に記載の撮像システムにおいて、
    　前記所定の作業が、複数の生体対象物を収容する第１容器から、移動対象として選択された生体対象物を第２容器へ移動させる作業であり、
    　前記第１撮像は、前記第１容器に収容された生体対象物の撮像であり、
    　前記第２撮像は、前記第２容器に移動された生体対象物の撮像である、撮像システム。
  4. 　請求項３に記載の撮像システムにおいて、
    　前記第２判定において選択された生体対象物若しくは選択されなかった生体対象物について、前記第２撮像で取得された画像に基づいて当該生体対象物の特徴量を抽出する解析部をさらに備え、
    　前記補正部は、前記選択基準に関するデータを、前記解析部が抽出した前記特徴量に基づいて更新する、撮像システム。
  5. 　請求項４に記載の撮像システムにおいて、
    　前記第２容器が、前記生体対象物を収容するウェルを複数備え、
    　前記特徴量が、前記ウェルの各々に収容された前記生体対象物の個数の情報を含む、撮像システム。
  6. 　請求項１又は２に記載の撮像システムにおいて、
    　前記所定の作業が、前記第１撮像における撮像条件を変更する作業であって、
    　前記第２撮像は、前記変更後の撮像条件にて実行される、撮像システム。
  7. 　請求項１又は２に記載の撮像システムにおいて、
    　前記所定の作業が、前記生体対象物に対する反応性試験物質の添加作業である、撮像システム。
  8. 　請求項１又は２に記載の撮像システムにおいて、
    　前記所定の作業が、前記第１撮像の後、予め定められた試験時間の経過を待つ作業である、撮像システム。
  9. 　請求項７又は８に記載の撮像システムにおいて、
    　前記所定の作業として、複数の生体対象物を収容する第１容器から、移動対象として選択された生体対象物を第２容器へ移動させる作業をさらに含み、
    　前記第１撮像は、前記第１容器に収容された生体対象物の撮像であり、
    　前記第２撮像は、前記第２容器に移動された生体対象物の撮像であって、
    　前記反応性試験物質の添加作業又は前記試験時間の経過を待つ作業は、前記第２容器に移動された後の生体対象物に対して実行される、撮像システム。
  10. 　請求項１～９のいずれか１項に記載の撮像システムにおいて、
    　前記判定部は、前記選択基準に関するデータが前記補正部の前記更新により学習が進行したと判定される段階において、前記第１判定の結果を前記第２判定に援用する自動判定モードを有する、撮像システム。
  11. 　請求項１～１０のいずれか１項に記載の撮像システムと、
    　複数の生体対象物を収容する第１容器から、移動対象として選択された生体対象物をピッキングし、第２容器へ移動する移動作業を、前記所定の作業として実行するヘッド装置と、
    を備える生体対象物移動装置。
PCT/JP2018/046336 2018-02-15 2018-12-17 撮像システム及び生体対象物移動装置 WO2019159524A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020500303A JP6947905B2 (ja) 2018-02-15 2018-12-17 撮像システム及び生体対象物移動装置
EP18906036.1A EP3739036B1 (en) 2018-02-15 2018-12-17 Biological subject transfer device
CN201880088791.4A CN111699243B (zh) 2018-02-15 2018-12-17 摄像系统以及生物对象物移动装置
US16/968,649 US20200410681A1 (en) 2018-02-15 2018-12-17 Imaging system and biological subject transfer device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018024716 2018-02-15
JP2018-024716 2018-02-15

Publications (1)

Publication Number Publication Date
WO2019159524A1 true WO2019159524A1 (ja) 2019-08-22

Family

ID=67619271

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/046336 WO2019159524A1 (ja) 2018-02-15 2018-12-17 撮像システム及び生体対象物移動装置

Country Status (5)

Country Link
US (1) US20200410681A1 (ja)
EP (1) EP3739036B1 (ja)
JP (1) JP6947905B2 (ja)
CN (1) CN111699243B (ja)
WO (1) WO2019159524A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237391B1 (ja) 2022-01-24 2023-03-13 大和酸素工業株式会社 線虫自動移行装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009063508A (ja) * 2007-09-07 2009-03-26 Olympus Corp 細胞画像解析装置及び細胞画像解析ソフトウェア
JP2014235494A (ja) * 2013-05-31 2014-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム
WO2015087371A1 (ja) 2013-12-12 2015-06-18 ヤマハ発動機株式会社 対象物の移動装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4953092B2 (ja) * 2008-03-04 2012-06-13 株式会社ニコン 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置
WO2017110005A1 (ja) * 2015-12-25 2017-06-29 ヤマハ発動機株式会社 対象物のピックアップ方法
EP3733832A4 (en) * 2018-01-31 2021-02-24 Yamaha Hatsudoki Kabushiki Kaisha IMAGING SYSTEM

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009063508A (ja) * 2007-09-07 2009-03-26 Olympus Corp 細胞画像解析装置及び細胞画像解析ソフトウェア
JP2014235494A (ja) * 2013-05-31 2014-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム
WO2015087371A1 (ja) 2013-12-12 2015-06-18 ヤマハ発動機株式会社 対象物の移動装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3739036A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237391B1 (ja) 2022-01-24 2023-03-13 大和酸素工業株式会社 線虫自動移行装置
JP2023107338A (ja) * 2022-01-24 2023-08-03 大和酸素工業株式会社 線虫自動移行装置

Also Published As

Publication number Publication date
CN111699243B (zh) 2024-05-31
US20200410681A1 (en) 2020-12-31
JPWO2019159524A1 (ja) 2020-12-17
JP6947905B2 (ja) 2021-10-13
EP3739036A4 (en) 2021-03-10
CN111699243A (zh) 2020-09-22
EP3739036B1 (en) 2023-02-08
EP3739036A1 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
JP5324590B2 (ja) 粒子を同定及び操作するための方法及び装置
US11465140B2 (en) Object picking apparatus with imaging-based locating of pipette tip
JP4985980B2 (ja) ウェルプレートとそれを用いた蛍光イメージングシステム
WO2018193718A1 (ja) 細胞ハンドリング装置
JP7018078B2 (ja) 撮像システム
JP7287427B2 (ja) 細胞吸引支援装置および細胞吸引支援装置の制御方法
WO2019159524A1 (ja) 撮像システム及び生体対象物移動装置
WO2019150756A1 (ja) 生体対象物の移動方法及び移動装置
JP6853880B2 (ja) 細胞移動方法及び細胞移動装置
EP3524667A1 (en) Cell transfer apparatus
JP7525657B2 (ja) 細胞移動装置
WO2018234257A1 (de) Verfahren zur verifizierung des erfolgs von einzelzellaussaaten in nanowellarrays sowie vorrichtung und nanowellarray
JP2001299379A (ja) 生体試料の形態変化検出システムおよび形態変化検出方法
JP2023017601A (ja) 支援システム、支援方法、情報処理装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18906036

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020500303

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018906036

Country of ref document: EP

Effective date: 20200811

NENP Non-entry into the national phase

Ref country code: DE