WO2013094365A1 - 観察システム、プログラム及び観察システムの制御方法 - Google Patents

観察システム、プログラム及び観察システムの制御方法 Download PDF

Info

Publication number
WO2013094365A1
WO2013094365A1 PCT/JP2012/080381 JP2012080381W WO2013094365A1 WO 2013094365 A1 WO2013094365 A1 WO 2013094365A1 JP 2012080381 W JP2012080381 W JP 2012080381W WO 2013094365 A1 WO2013094365 A1 WO 2013094365A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
container
sample
unit
imaging
Prior art date
Application number
PCT/JP2012/080381
Other languages
English (en)
French (fr)
Inventor
中村　明
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Priority to JP2013508322A priority Critical patent/JP5274731B1/ja
Publication of WO2013094365A1 publication Critical patent/WO2013094365A1/ja
Priority to US13/946,421 priority patent/US9145572B2/en

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology

Definitions

  • the present invention relates to an observation system, a program, and a control method for the observation system.
  • observation of cells using a microscope requires a lot of labor. For example, in order to identify the cell mass expressed in the container, it is necessary to first observe the entire container visually or with a microscope, etc., and further observe the growth status of each cell mass by switching the objective lens etc. Must. In the magnified observation, the field of view is narrow, it is difficult to search for the target cell mass, and it is also difficult to match the cell mass to the visual field. In addition, when observing cells, it is desired to perform time-lapse observation in which long-term changes are observed at regular intervals from the time of expression of cell mass to the completion of growth. Immediately after cell seeding, the cell mass cannot be observed visually or with a low-magnification microscope, so the observation position must be reset by re-searching several days later.
  • Patent Document 1 an apparatus that eliminates the trouble of switching between observing the entire container and magnifying and observing a part of the container.
  • Patent Document 2 an apparatus that eliminates the trouble of switching between observing the entire container and magnifying and observing a part of the container.
  • the present invention has been made in view of the above problems, and detects a sample mass as an observation target from a container containing a sample of cells, bacteria, microorganisms, and the like and a solution, and enlarges and captures the portion of the sample mass.
  • One purpose is to improve the efficiency of work.
  • an imaging system is an observation system for observing a sample mass formed by gathering the sample together in a container containing the sample and a solution,
  • An overall imaging unit that images the entire container
  • a sample mass specifying unit that identifies a sample mass formed in the container from an overall observation image obtained by imaging the entire container
  • the sample mass An enlarged imaging unit for enlarging and imaging a part of the region including the sample mass specified by the identification unit, and a history information storage unit for storing position information of the sample mass in association with date and time information
  • the enlarged imaging unit is based on the past position information stored in the history information storage unit while the sample lump specifying unit performs the process of specifying the sample lump. Enlarging a part of the container.
  • FIG. 2 is a vertical sectional side view of the observation apparatus and shows a state where the container is moved to a position corresponding to the entire observation unit.
  • FIG. 2 is a vertical sectional side view of the observation apparatus and shows a state where the container is moved to a position corresponding to the entire observation unit.
  • FIG. 2 is a vertical sectional side view of the observation apparatus and shows a state where the container is moved to a position corresponding to the entire observation unit.
  • a cell, a bacterium, a microorganism, or the like is described as a sample, for example, a culture solution as a solution.
  • a cell mass in which a plurality of cells gather together will be described as a sample mass.
  • FIGS. 1 is an overall configuration diagram of an observation system S
  • FIG. 2 is a vertical sectional side view of an observation apparatus 1 provided in the observation system S
  • FIG. 3 is a vertical sectional front view of the observation apparatus 1
  • FIG. 5 and FIG. 5 are block diagrams showing the configuration of a computer 200 provided in the observation system S.
  • FIG. 6 shows an observation history table.
  • the observation system S includes, for example, an observation apparatus 1, a control apparatus 100, and a computer 200.
  • components that cannot be seen from the outside because they are built in the observation apparatus 1 are indicated by broken lines.
  • the direction from the left side surface to the right side surface of the observation device 1 is the + x-axis direction
  • the direction from the front rear side of the observation device 1 to the front side is + y.
  • the axial direction and the direction from the bottom surface to the top surface of the observation device 1 are defined as the + z-axis direction. Accordingly, the left side surface portion of the observation apparatus 1 is shown in FIG.
  • the observation apparatus 1 includes an overall observation unit 10 that captures an image of the entire sample such as a cell stored in the container C, and an enlargement observation unit 20 that magnifies and images a part of the sample in the container C.
  • the apparatus includes a transport unit 30 on which the container C is placed, a drive unit 40 that moves the transport unit 30 in the x-axis direction and the y-axis direction, an IC tag reader 50, and the like.
  • the computer 200 is a device that controls the entire observation system S.
  • the computer 200 is a device including a CPU (Central Processing Unit), a memory, and the like, and controls the observation system S according to the present embodiment by executing an observation control program 220 described later.
  • a CPU Central Processing Unit
  • a memory and the like, and controls the observation system S according to the present embodiment by executing an observation control program 220 described later.
  • a sample such as a cell cultured in the container C is imaged using the observation apparatus 1 every predetermined period, for example, once a day.
  • the computer 200 instructs the observation apparatus 1 to image the entire container C placed on the transport unit 30.
  • the computer 200 obtains an image (overall observation image) obtained by imaging the entire container C from the observation apparatus 1 and performs predetermined image analysis, whereby cells being formed in the container C are obtained. Identify the location of the chunk.
  • the computer 200 designates the position of each identified cell mass and causes the observation apparatus 1 to enlarge and image the portion of each cell mass.
  • the computer 200 obtains an image (enlarged observation image) obtained by enlarging and imaging each cell mass from the observation device 1, and displays it on the monitor 204a, records it in a storage device such as a hard disk device, or the like. .
  • the control device 100 acquires various commands output from the computer 200 to control the observation device 1, and controls the overall observation unit 10, the magnification observation unit 20, the drive unit 40, the IC tag reader 50, and the like of the observation device 1. It is a device for doing.
  • the control device 100 includes a driver and a controller (not shown) for driving the observation device 1.
  • the computer 200 or the observation apparatus 1 may be provided with the function of the control apparatus 100, and the observation system S may be configured without the control apparatus 100.
  • the observation apparatus 1 may have the functions of the control device 100 and the computer 200, and the observation system S may be configured without the control device 100 and the computer 200.
  • the container C is, for example, a transparent glass container formed with a circular bottom surface and side surfaces surrounding the periphery of the bottom surface.
  • an IC tag 51 in which identification information of the container C is recorded is attached to the container C, for example, on the side surface.
  • a label printed with a barcode indicating identification information of the container C may be attached to the side surface of the container C.
  • the identification information of the container C is read by the IC tag reader 50 of the observation apparatus 1 according to a command from the computer 200.
  • the container C is provided with a lid in order to prevent external contamination and contamination with other containers.
  • the observation device 1 includes a main body 2 that is a housing thereof, and an overall observation unit 10, a magnification observation unit 20, a transport unit 30, a drive unit 40, and an IC tag reader 50.
  • the overall observation unit 10 images the entire cell in the container C containing the cells arranged in the transport unit 30 and the cell culture solution.
  • the magnification observation unit 20 magnifies and images a part of the cells in the container C containing the cells arranged in the transport unit 30 and the cell culture solution.
  • the conveyance unit 30 holds the container C.
  • the drive unit 40 moves the transport unit 30 back and forth (y-axis direction) and left and right (x-axis direction) and stops it at a desired position.
  • the main body 2 is supported by leg portions 3 provided at four locations with respect to the floor surface.
  • the IC tag reader 50 reads the identification information of the container C from the IC tag 51 attached to the container C placed on the transport unit 30 based on a command from the computer 200.
  • the overall observation unit 10 is provided in a front part of the inside of the sealed housing of the main body 2, and includes a lens 11 that is an overall observation optical system, a CMOS camera 12 that is an imaging unit, and a ring illumination 13 that is overall observation illumination. And.
  • the lens 11 is disposed above the moving space of the transport unit 30 that holds the container C, and is provided so that the inside of the container C can be observed downward.
  • the CMOS camera 12 is provided vertically above the lens 11 and is arranged so that its imaging element surface faces the lower lens 11.
  • the ring illumination 13 has a structure in which a plurality of LEDs arranged in a ring shape are attached so as to face obliquely upward on the inner side, and is disposed below the moving space of the transport unit 30. In addition, it has the space
  • the ring illumination 13 irradiates light toward the center of the ring obliquely above, and illuminates the cells in the container C that is the observation target of the transport unit 30 located above the ring illumination 13.
  • the CMOS camera 12 and the lens 11 are arranged so that their optical axes coincide with each other, and the ring illumination 13 is arranged so that the optical axis passes through the center of the ring illumination 13.
  • an image of the cell in the container C irradiated by the ring illumination 13 is formed on the image sensor surface of the CMOS camera 12 by the lens 11.
  • the overall observation unit 10 captures an image of the entire cell in the container C. This image is sent to the computer 200, displayed on the monitor 204a, and stored in a recording medium such as a hard disk. For this reason, it is possible to easily identify and specify a cell mass in which a plurality of cells in the container C are gathered.
  • the whole observation part 10 irradiates light with respect to the container C diagonally upward from the lower part of the container C, the light which passes through the location where a cell exists among the bottom surfaces of the container C was scattered by the cell, and was scattered. A part of the light enters the CMOS camera 12 and the cells appear white. Light passing through a cell-free portion is not scattered, and the light does not enter the CMOS camera 12 and appears black.
  • the magnifying observation unit 20 is a so-called phase-contrast microscope, and is provided at a location behind the whole observing unit 10 inside the sealed housing of the main body 2, and magnifying observation optics such as an objective lens 21, a reflection mirror 22, and a zoom lens 23.
  • the system includes a CCD camera 24 as an imaging unit, and a phase difference illumination unit 25 as magnified observation illumination.
  • the objective lens 21 is disposed below the moving space of the transport unit 30 and is provided so that the inside of the container C can be observed upward.
  • An objective lens cover 26 that is a cover member for preventing the heat generated in the lower main body 2 from affecting the container C around the objective lens 21 that is the lens portion closest to the bottom surface of the container C. Is provided.
  • a window portion 27 is provided at the top end of the objective lens cover 26 and between the objective lens 21 and the container C.
  • the reflection mirror 22 is disposed below the objective lens 21 and is inclined so as to reflect light substantially horizontally toward the rear.
  • the reflection mirror 22 guides the image obtained from the objective lens 21 to the rear zoom lens 23.
  • the zoom lens 23 is arranged behind the reflecting mirror 22 so as to extend in the front-rear direction (y-axis direction), and enlarges the image obtained from the objective lens 21.
  • the CCD camera 24 is provided further rearward of the zoom lens 23, and is arranged so that the image pickup element surface faces the front zoom lens 23.
  • the phase difference illumination part 25 is provided in the upper part of the main body 2, and is equipped with LED25a and the reflective mirror 25b.
  • LED25a irradiates the light which illuminates the cell in the container C which is the observation object of the conveyance part 30 located under the phase difference illumination part 25.
  • FIG. The reflection mirror 25b is disposed vertically above the objective lens 21, and reflects light so that the light irradiated by the LED 25a reaches the objective lens 21 through the container C.
  • an image of the cell in the container C irradiated by the phase difference illumination unit 25 is formed on the image sensor surface of the CCD camera 24 by the objective lens 21, the reflection mirror 22, and the zoom lens 23.
  • the magnifying observation unit 20 magnifies and captures an image of a cell in a partial region of the container C.
  • This image is sent to the computer 200, displayed on the monitor 204a, and stored in a recording medium. For this reason, it is possible to easily identify and specify a cell mass in which a plurality of cells in the container C are gathered.
  • the weight balance of the observation apparatus 1 becomes appropriate. Stable magnification observation is possible. And since the objective lens 21 can be approached from the lower part of the container C with respect to the cell which expresses and grows in the vicinity of the inner bottom face of the container C, it is possible to observe with a relatively large magnification by shortening the focal length. It is. Furthermore, since the magnifying observation unit 20 observes from below the container C, the observation can be performed without being affected by dirt on the lid of the container C.
  • the transport unit 30 is a front center portion of the main body 2, and includes a ring illumination 13 of the lower overall observation unit 10 and an enlarged observation optical system of the enlarged observation unit 20, and an overall observation optical system and enlarged observation of the upper overall observation unit 10. It is provided in a form sandwiched between the phase difference illumination unit 25 of the unit 20.
  • the conveyance unit 30 includes a holder 31, and the holder 31 holds a container C containing cells to be observed and a cell culture medium.
  • the holder 31 is positioned with respect to the entire observation unit 10 and the magnification observation unit 20, and the container C is positioned with respect to the holder 31. Thereby, even if the container C and the holder 31 are removed together and the culture solution is exchanged or a reagent is introduced, it is easy to observe the same part in the whole observation unit 10 and the magnification observation unit 20.
  • the drive unit 40 is provided at the rear and side of the transport unit 30 and includes an x-axis drive mechanism 41, an x-axis motor 42, a y-axis drive mechanism 43, a y-axis motor 44, an optical system moving motor 45, and a zoom motor 46. ing.
  • the x-axis drive mechanism 41 is disposed immediately behind the transport unit 30 and directly supports the transport unit 30.
  • the x-axis drive mechanism 41 includes a belt, a pulley, a slide guide member, a shaft, and the like (not shown) and is driven by an x-axis motor 42 to move the transport unit 30 in the left-right direction.
  • the y-axis drive mechanism 43 is disposed on the side surface of the transport unit 30 and the main body 2 and supports the x-axis drive mechanism 41.
  • the y-axis drive mechanism 43 includes a belt, a pulley, a slide guide member, and the like (not shown), and is driven by a y-axis motor 44 to move the transport unit 30 in the front-rear direction together with the x-axis drive mechanism 41 (see FIG. 4).
  • the transport unit 30 transports the container C from the overall observation unit 10 to the magnification observation unit 20 or in the opposite direction. Since the container C is moved, even if the whole observation unit 10 and the magnified observation unit 20 are arranged at a distant place, the cell mass expressed by observing the entire container C can be specified. It becomes possible to enlarge and observe details.
  • the transport unit 30 transports the container C in a direction perpendicular to the optical axis direction of the entire observation unit 10 and the magnification observation unit 20 as described above, and at least one direction of the transport direction, that is, the front-rear direction is set. By making them common, the coordinates in the observation field of view of the entire observation unit 10 are made to coincide with the coordinates in the observation field of view of the magnification observation unit 20.
  • the whole cell observation unit 10 since the coordinates in the observation field of observation of the whole observation unit 10 and the magnification observation unit 20 coincide with each other, the whole cell observation unit 10 observes and identifies the whole cell C easily in the magnification observation unit 20. Can be identified. Therefore, it is possible to prevent the target cell mass from being mistakenly identified, and to realize highly accurate observation.
  • the optical system moving motor 45 and the zoom motor 46 are disposed in the main body 2 behind the conveyance unit 30.
  • the optical system moving motor 45 is a motor for moving the magnification observation optical system and the CCD camera 24 in the vertical direction.
  • the zoom motor 46 is a motor for changing the magnification of the zoom lens 23, and can change the magnification of an image to be captured.
  • the IC tag reader 50 is provided, for example, in a front portion inside the sealed casing of the main body 2.
  • the IC tag reader 50 oscillates an electromagnetic wave having a predetermined frequency based on a command from the computer 200 and reads identification information of the container C from a response wave received from the IC tag 51 attached to the container C.
  • the computer 200 includes an arithmetic unit 201, a storage unit 210, a time measuring unit 202, an input unit 203, and an output unit 204.
  • the calculation unit 201 is configured by a CPU, a microcomputer, and other electronic components, and is realized by, for example, the CPU executing the observation control program 220 stored in the storage unit 210.
  • the calculation unit 201 controls a series of observation operations related to the observation apparatus 1.
  • the calculation unit 201 includes an observation device control unit 221, a candidate position detection processing unit 222, and a detailed determination processing unit 223 as shown as functional blocks in FIG.
  • the observation device controller 221 sends a command to the IC tag reader 50 of the observation device 1 and reads the identification information of the container C from the IC tag 51 attached to the container C placed on the transport unit 30. Moreover, the observation apparatus control part 221 acquires the image (whole observation image) of the whole container C by sending instruction
  • the observation device control unit 221 notifies the candidate position detection processing unit 222 of the entire observation image, and specifies the position of each cell mass expressed in the container C.
  • the observation device control unit 221 obtains coordinates indicating the position of each cell cluster specified by the candidate position detection processing unit 222 from the candidate position detection processing unit 222, sends a command to the magnification observation unit 20 of the observation device 1, An enlarged image (enlarged observation image) of each cell mass is acquired by enlarging and imaging each cell mass portion in C.
  • observation device control unit 221 is recorded in the observation history table 211 described later while waiting for the result of specifying the position of each cell mass in the container C to be sent from the candidate position detection processing unit 222.
  • the estimated position of the cell mass in the container C is obtained based on the past observation history. Then, this estimated position is sent to the magnifying observation unit 20 of the observation apparatus 1 and an enlarged observation image near the estimated position is captured.
  • the vicinity of the estimated position is a part of the region in the container C including the estimated position, and corresponds to the field of view of the enlarged observation image photographed so that the whole or most of a certain sample lump can be accommodated.
  • observation device control unit 221 acquires the entire observation image and the enlarged observation image of the container C imaged by the observation device 1 from the observation device 1 and stores them in the storage unit 210 as the observation image 212.
  • the observation apparatus control unit 221 captures the identification information of the container C that has captured the enlarged observation image, the coordinates that represent the position of the captured image, and the image in the observation history table 211 illustrated in FIG.
  • the date and information indicating that the enlarged observation image has been captured ("Y" is written in the enlarged imaging column) are recorded in association with each other. “Information indicating that the enlarged observation image has been captured” is also referred to as “information indicating that the sample mass has been captured”.
  • a candidate position detection processing unit (also referred to as a sample lump specifying unit) 222 analyzes the entire observation image acquired from the observation apparatus control unit 221 with a predetermined algorithm, and specifies the position of each cell lump. Then, the candidate position detection processing unit 222 notifies the observation device control unit 221 of a list of coordinates indicating the position of each identified cell mass. In addition, when the candidate position detection processing unit 222 specifies the position of each cell cluster, the observation history table 211 stores the identification information of the container C, the coordinates indicating the position of the specified cell cluster, the date, the cell cluster Information indicating that the position has been specified ("Y" is written in the position detection column) is recorded in association with each other.
  • a method of finding a cell mass based on the size and density of a white pixel region after the entire observation image is binarized as follows.
  • the candidate position detection processing unit 222 first converts a gray image into a gray image, and then distinguishes a non-cell mass portion and a cell mass portion of the image captured by the entire imaging process using a predetermined threshold. Thereby, the part which is not a cell mass is binarized to black, and the cell mass part is binarized to white. Then, the number of cells, that is, white pixels is calculated.
  • a method for calculating the number of white pixels for example, a labeling method for calculating a connected region of white pixels, or a method for calculating a region so that the number of white pixels in a predetermined small region at an arbitrary position is as large as possible. Area methods are listed.
  • the labeling method is a method for identifying cell clusters based on the size of a single white pixel region and the density of white pixel regions
  • the small region method is a method for identifying cell clusters based on the number, number, and density of white pixel regions. It is.
  • the cell mass may be identified by the degree of isolation (the degree that individual cell masses are present at a predetermined distance).
  • the labeling method is adopted.
  • the labeling process is a process of grouping a plurality of pixels by assigning the same number (label) to adjacent white pixels (or black pixels) for the binarized image. Adjacent determination in the labeling process uses 4 connections (near 4) and 8 connections (near 8). In the case of 4-connection, if the pixel of interest is continuous in the vertical and horizontal directions, it is determined that the pixel is adjacent. In this way, the candidate position detection processing unit 222 identifies a white pixel mass binarized from the image captured in the entire imaging process, that is, a cell mass.
  • the candidate position detection processing unit 222 recognizes a cell cluster having a predetermined size or more among the identified cell clusters as a cell group to be enlarged and observed.
  • the “predetermined size” is a preset size of the cell mass, and is a size that can be determined to be an object of magnification observation.
  • the predetermined size is set to 1000 pixels as the number of pixels, for example, and stored in the storage unit 210 or the like.
  • the candidate position detection processing unit 222 executes sorting in order from the white pixel block having the largest number of pixels. Then, the candidate position detection processing unit 222 selects a predetermined number of cell clusters as an observation target in order from the largest number of pixels, for example, and detects the center coordinates of the white pixel clusters.
  • the candidate position detection processing unit 222 converts the coordinates of the pixels on the image picked up by the whole image pickup processing into the actual size with the image center as the origin.
  • various aberrations such as image distortion may be corrected.
  • the candidate position detection processing unit 222 converts the actual size into the number of motor pulses of the x-axis motor 42 and the y-axis motor 44 of the driving unit 40 of the observation apparatus 1 so as to match the position on the image represented by the actual size. To do.
  • the candidate position detection processing unit 222 forms a common coordinate system in which the coordinates on the image picked up by the enlargement image pickup process coincide with the coordinates on the image picked up by the whole image pickup process.
  • the candidate position detection processing unit 222 notifies the observation device control unit 221 of the list of coordinates.
  • the algorithm used when the candidate position detection processing unit 222 identifies the position of the cell cluster is, for example, when the shape of the observation target can be expressed by a mathematical expression using a relatively small number of parameters such as a circle or an ellipse. Can use a technique called generalized Hough transform.
  • a template that detects a portion similar to the exemplary image by repeatedly comparing a part of the entire image with the exemplary image while shifting the verification position A technique called matching can be used.
  • the candidate position detection processing unit 222 according to the present embodiment can detect a large amount of each cell mass in the container C to eliminate detection omissions and complete the detection process in a short time. I am doing so.
  • the detailed determination processing unit 223 can accurately determine the cell mass to be observed while the candidate position detection processing unit 222 performs the cell mass detection process quickly and without omission.
  • the detail determination processing unit 223 determines whether each cell cluster detected by the candidate position detection processing unit 222 is a cell cluster to be observed. Further, when the detailed determination processing unit 223 performs the determination on the cell mass, the identification information of the container C, the coordinates indicating the position of the determined cell mass, the date, and the determination result of the cell mass are displayed in the observation history table 211. Is recorded. If the detail determination processing unit 223 determines that the cell mass is truly an observation target, it records “Y” in the detail determination column of the observation history table 211. If the detailed determination processing unit 223 determines that the cell mass is not truly an observation target, it records “N” in the detailed determination column of the observation history table 211.
  • the detail determination processing unit 223 can accurately determine whether each cell mass is truly an observation target. is there.
  • the detailed determination processing unit 223 extracts an image of a determination target cell mass from the enlarged observation image.
  • the detailed determination processing unit 223 matches the enlarged observation image with a prepared patch image. As a matching result, a distance image expressed by shading between the enlarged observation image and the patch image is obtained.
  • the detail determination processing unit 223 executes binarization processing using a predetermined threshold for the distance image.
  • the matching method include template matching and histogram matching.
  • the image to be determined that is, the enlarged observation image, is raster scanned with a patch image to calculate the distance between the two.
  • the distance images of the matching results are integrated. Even when there are a plurality of cell clusters in the enlarged observation image, the detailed determination processing unit 223 can identify each cell cluster as a separate one.
  • the detail determination processing unit 223 detects the contour in the binarized image by executing, for example, contour extraction using an edge extraction filter and contour tracking using 8-connected search.
  • an edge extraction filter for contour extraction for example, a differential filter, a pre-wit filter, a Sobel filter, a canny edge detector, or the like can be used.
  • contour tracking a contour line can be extracted by sequentially tracking contour points in one direction from the contour tracking start point, and a 4-connected search can also be used.
  • the detailed determination processing unit 223 detects a predetermined shape such as a circle, an ellipse, or a rectangle from the contour detection result.
  • a Hough transform or the like can be used as a method for detecting a circle from an outline or an edge.
  • a technique for detecting an ellipse from an outline or an edge a technique of fitting an ellipse to a point sequence of an outline by generalized Hough transform or least square estimation can be used.
  • a technique for fitting a rectangle so as to include all points of the outline can be used. In this way, the detail determination processing unit 223 extracts the outline of the cell cluster from the enlarged observation image and identifies the shape.
  • the detailed determination processing unit 223 determines whether or not the shape of the cell mass is a predetermined shape.
  • the “predetermined shape” is a preset shape of the cell cluster, and is a shape that can be determined to be highly likely to continue to grow suitably for observation, and for example, a shape that is as close to a circle as possible is preferable.
  • the shape determination condition includes, for example, the ellipticity of an ellipse surrounding the outline, the roundness of a circle surrounding the outline, and the like.
  • the size determination conditions include, for example, the size of the white pixel block, the length of the outline of the white pixel block, the area inside the outline of the white pixel block, the long axis length of the ellipse, the short axis length of the ellipse, Examples include the length of the circumference, the diameter of the circle, the length of the circumference, the length of the rectangle surrounding the outline, and the area of the rectangle surrounding the outline.
  • the conditions for determining the degree of unevenness include, for example, the ratio between the contour area and the perimeter, the ratio between the contour area and the rectangular area surrounding the contour, the ratio between the contour length and the rectangular length surrounding the contour, and the number of contour corners.
  • the ratio with the area of an ellipse, the ratio of the length of the rectangle surrounding an outline, and the length of the circle or ellipse surrounding an outline, etc. are mentioned.
  • Harris corner detection or a SUSAN operator can be used as a corner detection method for determination based on the number of contour corners.
  • the determination condition of the predetermined shape of the cell mass is set to 1.1 or less, for example, as ellipticity, and is stored in the storage unit 210 or the like.
  • the ellipticity is the ratio of the major axis length to the minor axis length of the ellipse.
  • the cell mass images are sorted and displayed on the monitor 204a based on the superiority or inferiority of the determination result (if ellipticity is elliptic, A method may be used in which the cell mass is displayed in ascending order and the user determines which cell mass is suitable.
  • a threshold for example, ellipticity 1.1
  • the detailed determination processing unit 223 records the determination result for the cell cluster in the observation history table 211.
  • the algorithm used when the detailed determination processing unit 223 determines the cell mass is, for example, dividing an enlarged observation image into a predetermined number of areas in advance, and specifying predetermined attributes (color information and area of each area). (A shape, a position, etc.) may be stored as an index, a similar index may be generated for a magnified observation image to be determined, and a determination may be made by comparing the two.
  • the detailed determination processing unit 223 outputs a continuous value indicating the certainty of being an observation target, instead of outputting the determination result of whether or not the cell mass is the observation target as a binary value such as Yes or No. You may do it.
  • the storage unit 210 stores various data relating to cell observation and operation of the observation system S.
  • the storage unit 210 is constituted by, for example, a hard disk device or a semiconductor memory.
  • the storage unit 210 stores an observation control program 220, an observation history table 211, and an observation image 212.
  • An observation history table 211 is shown in FIG.
  • the observation history table 211 includes the identification information (container No) of the container C, the coordinates of each cell mass in the container C, the date (date / time information) when each cell mass was observed, and the observation result (position detection presence / absence, Enlarged imaging presence / absence, detailed determination result) are stored in association with each other.
  • observation history is recorded in the observation history table 211 by the observation device control unit 221, the candidate position detection processing unit 222, and the detailed determination processing unit 223, respectively, but the observation device control unit 221, the candidate position
  • the detection processing unit 222 and the detailed determination processing unit 223 perform each observation according to the description in the container No column, the description in the coordinate column of the cell cluster, and the description in the date column. By determining the identity of the history, the observation history of the same date and time for the same cell mass is recorded in the same record.
  • the time measuring unit 202 is for measuring the date and time from the start of cell observation, the time related to the operation control of the observation system S, and the like, and can grasp various times.
  • the input unit 203 includes a pointing device such as a keyboard 203a and a mouse 203b.
  • the user inputs characters and numerical values using the keyboard 203a. Further, the user moves the cursor in an arbitrary direction on the screen of the monitor 204a of the output unit 204 using the mouse 203b, and selects a menu and other options.
  • the calculation unit 201 Based on information obtained from the input unit 203, the calculation unit 201 performs various processes on programs, data, and files stored and input in the calculation unit 201 and the storage unit 210, and performs output processing on the output unit 204. Or run.
  • the output unit 204 includes a monitor 204a such as a liquid crystal display or a CRT, and a speaker 204b.
  • the calculation unit 201 displays a window, an icon, a menu, or the like on the monitor 204a based on the processing of the program to be executed, or causes the speaker 204b to generate a sound.
  • the calculation unit 201 displays characters or numerical values input by the user on the monitor 204a based on information from the input unit 203, and displays a cursor to be moved by the user.
  • FIG. 7 is an explanatory diagram showing a flow relating to the operation of the observation system S.
  • the user turns on the power of the observation apparatus 1, the control apparatus 100, and the computer 200 to activate the observation system S (step # 101 in FIG. 7). Then, the user sets the container C containing the cells and the cell culture medium in the holder 31 of the transport unit 30 (step # 102). Subsequently, when the user activates the observation program 220 on the computer 200 (step # 103), an operation screen is displayed on the monitor 204a.
  • the observation program 220 automatically performs the origin return operation of the transport unit 30 in conjunction with the program start (step # 104). Then, the observation program 220 starts imaging with the camera (step # 105), and displays a real-time image from the camera on the monitor 204a.
  • a mode setting operation (step # 106).
  • a normal time lapse search operation (step # 107) and an overall observation operation (step # 108) can be selected.
  • Time lapse observation is a method of observing a preset position every predetermined period.
  • step # 107 the user observes the inside of the container C while moving the container C with the arrow keys on the monitor 204a or the keyboard 203a, and confirms the target cell. Then, capture image acquisition, display, storage, coordinate setting, coordinate storage, and the like are executed.
  • step # 108 the user sets a predetermined identification period and a predetermined number of identification days in the overall observation.
  • Image acquisition, display, storage, and observation position display are automatically executed based on the settings.
  • step # 109 an end (step # 110), visual continuation (step # 111), or time lapse (step # 112) operation can be selected.
  • step # 110 imaging by the camera is stopped and the settings are saved.
  • step # 111 visual continuation
  • step # 112 When the time lapse (step # 112) is selected, further operations for starting the time lapse observation, pausing the time lapse, and restarting the time lapse are possible.
  • step # 113 When the time lapse is temporarily stopped, operations such as removal of the container C and replacement of the culture solution are possible (step # 113).
  • the cell mass expressed from the image captured by the entire imaging process is identified and the position thereof is specified, and the shape of the cell cluster is further determined from the image captured by the enlarged imaging process. It is possible to automatically perform a series of processes such as selecting a cell cluster having an appropriate shape to identify and continue observation.
  • the observation device control unit 221 sends a command to the IC tag reader 50 of the observation device 1, and reads the identification information of the container C from the IC tag 51 attached to the container C placed on the transport unit 30 (S1000). ). Then, the observation device control unit 221 sends a command to the overall observation unit 10 of the observation device 1 and causes the entire container C to be imaged, thereby acquiring an image (overall observation image) of the entire container C (S1010). In addition, the observation apparatus control unit 221 notifies the candidate position detection processing unit 222 of the entire observation image, and transmits an instruction to detect the cell mass formed in the container C as an enlarged observation candidate (S1020).
  • the candidate position detection processing unit 222 extracts the enlarged observation candidate by detecting the cell cluster and the coordinates indicating the position from the entire observation image (S2000). As for specific processing contents, as illustrated, the candidate position detection processing unit 222 binarizes the entire observation image, and then finds a cell cluster based on the size of the white pixel region, the degree of congestion, and the like. I do.
  • the candidate position detection processing unit 222 records “Y” indicating that it has been detected as an enlarged observation candidate in the “position detection” column of the observation history table 211 together with the container ID, the date, and the coordinate value of the cell cluster ( S2010).
  • the candidate position detection processing unit 222 notifies the observation device control unit 221 of a list of coordinates of the cell cluster detected as the enlarged observation candidate (S2020).
  • the observation apparatus control unit 221 transmits the instruction for detecting the enlarged observation candidate to the candidate position detection processing unit 222 in S1020, and then obtains the list of the coordinates of the enlarged observation candidate in S2020.
  • the candidate position detection processing unit 222 obtains each estimated position of the cell mass that is assumed to be detected as an enlarged observation candidate, and enlarges each estimated position. Take an observation image.
  • the observation apparatus control unit 221 proceeds with the imaging of the enlarged observation image without wasting the waiting time while the candidate position detection processing unit 222 is detecting the enlarged observation candidate.
  • the candidate position detection processing unit 222 is detecting the enlarged observation candidate.
  • observation device control unit 221 gives priority to each estimated position by a predetermined method described later, and captures an enlarged observation image of each estimated position in order of priority. This priority is calculated so that the higher the priority is, the more reliably that the candidate position detection processing unit 222 detects the candidate as an enlarged observation candidate.
  • the observation apparatus control unit 221 When the observation device control unit 221 acquires a list of coordinates of the candidate for enlarged observation in S2020, the observation apparatus control unit 221 corresponds to the estimated coordinates from the coordinates included in the list, and has already completed the imaging of the enlarged observation image. After removing the object, a magnified observation image is taken for each coordinate of the remaining magnified observation candidates.
  • the observation apparatus control unit 221 is in the vicinity of the position when the vicinity of the position is already imaged based on the estimated position. Do not capture the image.
  • the vicinity of the estimated position is a partial area in the container C that includes the estimated position, and corresponds to the field of view of the enlarged observation image that is captured so that the whole or most of a certain sample lump can be accommodated. Represents the area including the periphery of the sample mass.
  • the time required for observation of one container C (the entire observation image Time required for imaging, detection of magnified observation candidates, imaging of magnified observation images for each magnified observation candidate, detailed determination of each magnified observation candidate, etc.) can be shortened.
  • observation apparatus control unit 221 captures the estimated positions on the container C in descending order of priority, and acquires the list of enlarged observation candidate coordinates from the candidate position detection processing unit 222. It is possible to complete the imaging of enlarged observation images for a larger number of enlargement observation candidates included in.
  • the observation apparatus control unit 221 extracts the past observation history of the container C currently being observed from the observation history table 211 (S1030). At this time, the observation apparatus control unit 221 may extract all observation histories from the time when observation of the container C is started, for example, or extract observation histories for the most recent predetermined period (for example, the past 10 days). You may make it do.
  • the observation apparatus control part 221 classify
  • the observation apparatus control unit 221 determines in advance the position that is likely to be specified as the position of the sample lump by the candidate position detection processing unit 222 analyzing the entire observation image based on the observation history. Can be estimated.
  • observation apparatus control unit 221 may further narrow down to those that meet the following requirements among all the observation candidates that can be extracted by classifying each observation history according to coordinates, and may select the candidates for enlargement observation.
  • the observation device control unit 221 has “Y” in the “position detection” column. Those whose “magnification imaging” column is “Y” can be candidates for magnification observation.
  • the candidate position detection processing unit 222 identifies the position of the sample lump by analyzing the entire observation image in the past, and identifies the position of the sample lump from which the enlarged observation image is captured as the estimated position. Therefore, the observation device control unit 221 estimates in advance the position that is more likely to be specified as the position of the sample lump by the candidate position detection processing unit 222 analyzing the entire observation image based on the observation history. Can do.
  • the observation device control unit 221 may set the “position detection” field as “Y” and the “magnification imaging” field as “N” in the observation history up to the past n times as a magnification observation candidate. it can.
  • the candidate position detection processing unit 222 has identified the position of the sample lump by analyzing the entire observation image in the past, but the position of the sample lump where the enlarged observation image was not captured is identified as the estimated position. Therefore, the observation device control unit 221 can estimate in advance the position of the sample block on which the enlarged observation image is not yet captured based on the observation history.
  • the observation apparatus control unit 221 sets the “magnification imaging” column as “Y” and the “detailed determination” column as “Y” in the past n observation histories as the magnification observation candidates. Can do.
  • the candidate position detection processing unit 222 analyzes the entire observation image in the past to specify the position of the sample lump, and the detailed determination processing unit 223 determines the position of the sample lump determined as the observation target. Since the estimated position can be specified, the observation apparatus control unit 221 determines in advance a position that is more likely to be specified as the position of the sample lump by the candidate position detection processing unit 222 analyzing the entire observation image based on the observation history. Can be estimated.
  • the observation device control unit 221 displays the enlarged observation image on the monitor 204a for the “n” in the “magnification imaging” column in the past n observation histories, and displays the enlarged observation candidate as an operator. It can also be made to select whether to do. In this way, the position of the sample lump determined by visual inspection by the operator can be specified as the estimated position, and therefore the candidate position detection processing unit 222 can be specified as the position of the sample lump by analyzing the entire observation image.
  • the observation device control unit 221 can preliminarily estimate a position having higher characteristics based on the observation history.
  • the detailed determination processing unit 223 outputs a continuous value representing the certainty factor that is the observation target as a determination result of whether or not the cell mass is the observation target, for example, a predetermined value determined in advance
  • a predetermined value determined in advance A cell cluster having a certainty level equal to or greater than the reference value can be set as a magnified observation candidate.
  • the observation device control unit 221 may obtain coordinates selected at random from the entire observation image as the estimated position. By doing so, for example, even when the observation of the container C is the first time, and the observation history has not yet been recorded, the candidate position detection processing unit 222 analyzes the entire observation image, whereby the position of the sample mass In this way, the estimated position of the sample lump can be obtained in advance and the enlarged observation image can be taken.
  • observation device control unit 221 may obtain a magnified observation candidate by combining the above.
  • the observation apparatus control unit 221 assigns a priority for photographing the enlarged observation image to each of the extracted enlargement observation candidates (S1050).
  • the observation apparatus control unit 221 assigns priorities as follows, for example. First, for example, the observation device control unit 221 has “Y” in the “detailed determination” column in the observation history up to the past n times (n is a natural number, for example, the past n days if the observation interval is 1 day). The highest priority is given to the magnified observation candidate.
  • Imaging of a magnified observation image is preferentially performed on a sample lump that has been determined as an observation target by the detailed determination processing unit 223 in the past, and therefore, the possibility of being extracted by the candidate position detection processing unit 222 is high. Imaging of the enlarged observation image with respect to the sample lump can be performed in advance.
  • the detailed determination processing unit 223 when the detailed determination processing unit 223 outputs a continuous value indicating the certainty level of the observation target as a determination result of whether or not the cell cluster is the observation target, A higher priority may be given. By doing in this way, it becomes possible to perform the imaging of the enlarged observation image for the enlarged observation candidate in advance more reliably.
  • the observation apparatus control unit 221 has “Y” in the “position detection” column, “Y” in the “enlarged imaging” column, and “detailed determination” column. The next highest priority is given to the enlarged observation candidate that is “N”.
  • the candidate position detection processing unit 222 detects it as a magnified observation candidate. Therefore, by giving priority in this way, it is possible to more reliably precede the imaging of the enlarged observation image with respect to the enlarged observation candidate detected by the candidate position detection processing unit 222. It becomes possible to execute.
  • the observation apparatus control unit 221 has “Y” for the “position detection” column, “N” for the “enlarged imaging” column, and “detailed determination” column. Give the next highest priority to those that are "N".
  • the observation apparatus control unit 221 determines whether the candidate position detection processing unit 222 has notified the list of coordinates of the cell cluster detected as the enlarged observation candidate (S1060).
  • the observation apparatus control unit 221 starts imaging the enlarged observation image with respect to the enlarged observation candidate obtained from the observation history of the container C in the processing of S1030 to S1050. Perform in order (S1070 to S1090).
  • the observation apparatus control unit 221 determines whether or not all of the enlarged observation images have been captured for the enlarged observation candidate obtained from the observation history (S1070). If there is a magnified observation candidate for which imaging has not been completed, the observation apparatus control unit 221 sends a command to the magnified observation unit 20, and captures a magnified observation image for the magnified observation candidate with the highest priority at that time. (S1080). Then, the observation device control unit 221 records the enlarged observation image obtained by imaging in the storage unit 210 as the observation image 212, and in the observation history table 211, the observation history together with the container ID, date, and cell cluster coordinate values. In the “enlarged imaging” column of the table 211, “Y” indicating that the enlarged observation image has been imaged (that the imaging has been completed) is recorded (S1090).
  • the observation apparatus control unit 221 performs the observation from the coordinates included in this list.
  • Corresponding to the coordinates of the magnified observation candidate estimated from the history, and those whose imaging of the magnified observation image has already been completed are removed (S1100). Thereby, it is possible to prevent the enlarged observation images for the same sample lump from being overlapped.
  • the observation device control unit 221 sequentially captures the magnified observation image for each of the magnified observation candidates (S1110), and indicates that the magnified observation image has been captured in the “magnified imaging” column of the observation history table 211. “Y” is recorded (S1120).
  • the detail determination processing unit 223 determines whether or not these magnified observation candidates are truly sufficient for the observation target. Is judged (S1140).
  • the detailed determination processing unit 223 determines whether or not the cell aggregate is a true observation target by analyzing the magnified observation image of each magnified observation candidate by template matching (S3000). . Then, the detailed determination processing unit 223 records the determination result in the “detailed determination” column of the observation history table 211 (S3010). If the detailed determination processing unit 223 determines that the cell mass is truly an observation target, it records “Y” in the “detailed determination” column of the observation history table 211. On the other hand, if the detailed determination processing unit 223 determines that the cell mass is not truly an observation target, it records “N” in the “detailed determination” column of the observation history table 211.
  • FIG. 10 is a configuration diagram of the observation system S. Since the basic configuration of this embodiment is the same as that of the first embodiment described with reference to FIGS. 1 to 9, the same reference numerals are assigned to the same components as those of the first embodiment. The description of the drawings and the description thereof will be omitted.
  • the observation device 1 of the observation system S according to the second embodiment is accommodated in an incubator 300 as shown in FIG.
  • the incubator 300 is an example of a storage for culturing or storing cells, and forms a storage space E that is biologically and / or physically sealed.
  • the observation apparatus 1 is used by being installed on a shelf 301 provided inside the incubator 300.
  • the inside of the incubator 300 is often kept in an internal environment such as a room temperature of 37 ° C. and a humidity of 100%.
  • an environment such as a room temperature of 37 ° C. and a humidity of 100%.
  • problems such as image quality deterioration due to fogging of the optical system due to the humidity, short circuit of electrical components in the drive mechanism, camera, illumination, etc. will occur.
  • casing (main body 2) sealed by the observation apparatus 1 is needed.
  • observation apparatus 1 Even when the observation apparatus 1 is installed in the incubator 300 as described above, when observing cells in culture in the container C, the cell mass expressed by observing the entire container C can be identified. It is possible to provide an observation apparatus 1 that can enlarge the observed cell mass and observe details. In addition, it is possible to provide an observation system S that can continuously observe from the time of the expression of the specified cell mass until the completion of growth.
  • FIGS. 11 and 12 are configuration diagram of the observation system S
  • FIG. 12 is a partial sectional side view of the isolator shown in FIG. Since the basic configuration of this embodiment is the same as that of the first embodiment described with reference to FIGS. 1 to 9, the same reference numerals are assigned to the same components as those of the first embodiment. The description of the drawings and the description thereof will be omitted.
  • the observation device 1 of the observation system S according to the third embodiment is accommodated in an isolator 400 as shown in FIGS.
  • the isolator 400 includes a case 402 at a substantially central portion of the main body 401.
  • the case 402 forms a biologically and / or physically sealed working space F for performing work related to cell culture, treatment, and observation.
  • a front door 403 is provided on the front side of the case 402 so as to be openable and closable.
  • the front door 403 includes a window portion 404 made of glass or the like for viewing the inside of the work space F from the outside.
  • the window 404 of the front door 403 is provided with a globe 405 for performing work in the work space F.
  • the globe 405 is provided so as to extend from the window 404 of the case 402 toward the work space F.
  • An opening 406 is provided at a location where the globe 405 is attached to the window 404. The operator inserts his / her hand into the globe 405 through the opening 406 and wears it, and works in the work space F while looking at the work space F in the case 402 sealed from the window 404.
  • Two globes 405 are provided side by side in the horizontal direction. Note that the number of the globes 405 and their openings 406 is not limited to two, but may be three, four, or more.
  • the isolator 400 includes a gas adjustment unit 407 at the top of the case 402, a main body operation unit 408 on the right side when the case 402 is viewed from the front, and an incubator 409 on the left side.
  • observation apparatus 1 Even when the observation apparatus 1 is installed in the isolator 400 as described above, when observing cells in culture in the container C, the cell mass expressed by observing the entire container C can be identified. It is possible to provide an observation apparatus 1 that can enlarge the observed cell mass and observe details. In addition, it is possible to provide an observation system S that can continuously observe from the time of the expression of the specified cell mass until the completion of growth. Note that the observation apparatus 1 may be installed inside the incubator 409.
  • FIG. 13 is a configuration diagram of the observation system S. Since the basic configuration of this embodiment is the same as that of the first embodiment described with reference to FIGS. 1 to 9, the same reference numerals are assigned to the same components as those of the first embodiment. The description of the drawings and the description thereof will be omitted.
  • the observation system S includes an overall observation unit 10, a magnification observation unit 20, and a conveyance unit 30, and each of these is provided independently.
  • the overall observation unit 10, the magnified observation unit 20, and the transport unit 30 are provided with control devices 501 to 503 for individually controlling them, and computers 601 to 603 for individually sending commands to them. Yes.
  • a network cable is connected between the three computers 601 to 603 so that they can communicate with each other, and overall observation, magnified observation, and conveyance of the container C can be executed in cooperation.
  • the transport unit 30 shown in FIG. 13 rotates and transports the container C between the entire observation unit 10 and the magnified observation unit 20, but as in the first embodiment, the transport unit 30 moves horizontally and moves the container. C may be conveyed.
  • the container C is mounted on a mounting tray 32 common to the entire observation unit 10 and the magnification observation unit 20.
  • the mounting tray 32 is positioned with respect to the entire observation unit 10 and the magnification observation unit 20, and the container C is positioned with respect to the mounting tray 32.
  • the entire observation unit 10 Even when the entire observation unit 10, the magnification observation unit 20, and the conveyance unit 30 are independently controlled individually as described above, the entire container C is observed when observing cells in culture in the container C.
  • an observation system S that can identify the expressed cell mass, and further expand the identified cell mass and observe details.
  • an observation system S that can continuously observe from the time of the expression of the specified cell mass until the completion of growth.
  • the overall observation part, the magnification observation part, and the transport part are mechanically separated, so that each part can be arranged flexibly and the work space can be used effectively.
  • the observation device control unit 221 sends the result of specifying the position of each cell mass in the container C from the candidate position detection processing unit 222.
  • the estimated position of the cell mass in the container C is obtained based on the past observation history recorded in the observation history table 211, and this estimated position is sent to the magnification observation unit 20 of the observation apparatus 1.
  • a magnified observation image of a part of the region in the container C including the estimated position is captured in the vicinity of the estimated position.
  • the observation apparatus control unit 221 proceeds with the imaging of the enlarged observation image without wasting the waiting time while the candidate position detection processing unit 222 is detecting the enlarged observation candidate.
  • the candidate position detection processing unit 222 is detecting the enlarged observation candidate.
  • the observation apparatus control unit 221 has already set the vicinity of the position, that is, a part of the region in the container C including the position as the estimated position.
  • the image is picked up based on this, the image of the vicinity of the position is not performed.
  • the observation apparatus control unit 221 gives priority to each estimated position by a predetermined method, and captures an enlarged observation image of each estimated position in descending order of priority. This priority is calculated so that the higher the priority is, the more reliably that the candidate position detection processing unit 222 detects the candidate as an enlarged observation candidate.
  • the observation apparatus control unit 221 captures enlarged observation images for more enlarged observation candidates included in the list until the coordinate list of the enlarged observation candidates is acquired from the candidate position detection processing unit 222. It is possible to finish it first.
  • the description has been made with the content of observing one culture vessel.
  • a plurality of culture vessels may be observed simultaneously using a tray on which a plurality of culture vessels can be placed.
  • the CMOS camera 12 is used as the imaging unit of the overall observation unit 10 and the CCD camera 24 is used as the imaging unit of the magnification observation unit 20.
  • a camera type either a CMOS camera or a CCD camera is used. May be.
  • Observation system 1 Observation device 2 Main body (housing) 10 Whole observation part 11 Lens (whole observation optical system) 12 CMOS camera (imaging part) 13 Ring illumination (entire observation illumination) 20 Magnification observation part 21 Objective lens (magnification observation optical system, lens part) 22 Reflection mirror (magnification observation optical system) 23 Zoom lens (magnification observation optical system) 24 CCD camera (imaging part) 25 Phase difference illumination unit (enlarged illumination) 26 Objective lens cover (cover member) 27 Window unit 30 Transport unit 40 Drive unit 50 IC tag reader 51 IC tag 100 Control device 200 Computer 201 Calculation unit 202 Timekeeping unit 210 Storage unit 211 Observation history table 212 Observation image 220 Observation control program 221 Observation device control unit 222 Candidate position detection processing Part 223 Detailed determination processing part C Container

Landscapes

  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Biotechnology (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Physics & Mathematics (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Sustainable Development (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Dispersion Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

【解決手段】試料と溶液とが入った容器の中で前記試料が寄り集まって形成される試料塊を観察する観察システムであって、前記容器の全体を撮像する全体撮像部と、前記容器の全体を撮像することで得られる全体観察画像から、前記容器中に形成されている試料塊を特定する試料塊特定部と、前記試料塊特定部により特定された前記試料塊を含む前記容器中の一部の領域を拡大して撮像する拡大撮像部と、前記試料塊の位置情報を、日時情報と対応付けて記憶する履歴情報記憶部と、を備え、前記拡大撮像部は、前記試料塊特定部が前記試料塊を特定する処理を行っている間に、前記履歴情報記憶部に記憶されている過去の前記位置情報に基づいて、前記容器中の一部の領域を拡大して撮像する。

Description

観察システム、プログラム及び観察システムの制御方法
　本発明は、観察システム、プログラム及び観察システムの制御方法に関する。
　細胞を培養するにあたって、複数の細胞が寄り集まった細胞塊の発現と同時に観察を開始して逐次時系列に観察できれば、例えば再生医療の支援として有望な技術と言える。このような細胞の観察は従来、細胞の培養中、培養容器への培養液の補給、交換が必要になったとき顕微鏡などを用いて行い、必要に応じて画像を撮像するようにしている。
　しかしながら、顕微鏡を用いた細胞の観察は多くの手間を要する。例えば、容器内で発現した細胞塊を特定するためにはまず目視や顕微鏡などで容器全体を観察する必要があり、さらに対物レンズを切り替えるなどして拡大して個々の細胞塊の成育状態を観察しなければならない。拡大観察では視野が狭く、目標の細胞塊を探索するのが困難であり、さらにその細胞塊を視野に合わせるのも困難である。また、細胞を観察する場合、細胞塊の発現のときから成育完了まで、長期間の変化を一定期間ごとに観察するタイムラプス観察を行うことが望まれている。細胞の播種直後は細胞塊を目視や低倍率の顕微鏡などでは観察できないため、数日後に再探索して観察位置を再設定しなければならない。
　また、従来の通常１日～３日程度で１回の培養容器への培養液の補給、交換の際に行われる観察では細胞塊の発現のときからの観察が困難であり、この発現のときから細胞塊を観察可能な技術への要望が強い。さらに、容器全体を観察するときと容器内の一部を拡大して観察するときとの各々における細胞の撮像時に、照明やレンズ駆動系等の発熱による細胞の成育への影響が問題となっている。
　このような細胞の観察に関して、容器全体を観察するときと容器内の一部を拡大して観察するときとの切り替えの手間を解消した装置が提案され、その一例を特許文献１や特許文献２に見ることができる。
特開２００９－１９８７０９号公報 特開２００５－２９５８１８号公報
　しかしながら、容器全体の中から観察対象の細胞塊を人手で検出するのは決して容易ではない。そのため、容器全体を撮像した全体観察画像を画像処理することによって観察対象の細胞塊を抽出し、必要に応じて細胞塊の部分を拡大して撮像することが望ましい。　
　しかしながらその場合、全体観察画像から観察対象の細胞塊を検出するための画像処理は複雑であり、全体観察画像の画素数によっては数分にも亘る処理時間を要する。　
　また、一つの容器の中に観察対象の細胞塊は通常複数検出される。そのため、それらの細胞塊を個々に画像処理で検出して、撮像する作業を繰り返し行う必要があり、観察時間が長時間化する要因となる。　
　そのため、容器の中から観察対象たる細胞塊を検出し、各細胞塊の部分を拡大して撮像する作業を効率化することを可能とする技術が望まれている。
　本発明は上記課題を鑑みてなされたものであり、細胞、細菌、微生物などの試料と溶液とが入った容器の中から観察対象たる試料塊を検出し、試料塊の部分を拡大して撮像する作業を効率化することを一つの目的とする。
　上記目的を達成するため、本発明の一つの側面に係る撮像システムは、試料と溶液とが入った容器の中で前記試料が寄り集まって形成される試料塊を観察する観察システムであって、前記容器の全体を撮像する全体撮像部と、前記容器の全体を撮像することで得られる全体観察画像から、前記容器中に形成されている試料塊を特定する試料塊特定部と、前記試料塊特定部により特定された前記試料塊を含む前記容器中の一部の領域を拡大して撮像する拡大撮像部と、前記試料塊の位置情報を、日時情報と対応付けて記憶する履歴情報記憶部と、を備え、前記拡大撮像部は、前記試料塊特定部が前記試料塊を特定する処理を行っている間に、前記履歴情報記憶部に記憶されている過去の前記位置情報に基づいて、前記容器中の一部の領域を拡大して撮像する。
　試料と溶液とが入った容器の中から観察対象たる試料塊を検出し、試料塊の部分を拡大して撮像する作業を効率化することができる。
観察システムの構成図である。 観察装置の垂直断面側面図である。 観察装置の垂直断面正面図である。 観察装置の垂直断面側面図にして、容器を全体観察部に対応する箇所に移動させた状態を示すものである。 コンピュータの構成を示すブロック図である。 観察履歴テーブルを示す図である。 観察システムの操作に係るフローを示す説明図である。 観察システムにおける観察処理に係る動作を示すフローチャートである。 観察システムにおける観察処理に係る動作を示すフローチャートである。 観察装置システムの構成図である。 観察装置システムの構成図である。 アイソレータの部分断面側面図である。 観察装置システムの構成図である。
　本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。　
　以下、本発明の実施形態を図１～図１３に基づき説明する。なおここでは、例えば細胞、細菌、微生物などの試料のうち細胞を試料とし、例えば培養液を溶液として説明する。また、複数の細胞が寄り集まった細胞塊を試料塊として説明する。
　（第１の実施形態）
＝＝全体構成＝＝
　本発明の第１の実施形態に係る観察システムＳについて、図１～図６を参照しながら説明する。図１は観察システムＳの全体構成図、図２は観察システムＳが備える観察装置１の垂直断面側面図、図３は観察装置１の垂直断面正面図、図４は観察装置１の垂直断面側面図、図５は観察システムＳが備えるコンピュータ２００の構成を示すブロック図である。図６は観察履歴テーブルを示す図である。
　図１に示すように、観察システムＳは、例えば、観察装置１、制御装置１００及びコンピュータ２００を備えて構成される。また図１において、観察装置１に内蔵されているため外部から見えない構成要素が破線で示されている。　
　なお、以下の説明において、観察装置１を正面から見た場合に、観察装置１の左側側面から右側側面に向かう向きを＋ｘ軸方向、観察装置１の正面奥手側から手前側に向かう向きを＋ｙ軸方向、観察装置１の底面から上面に向かう向きを＋ｚ軸方向とする。　
　従って、図１において観察装置１は左側側面部が示されている。
＜観察装置＞
　詳細は後述するが、観察装置１は、容器Ｃに収納された細胞などの試料の全体を撮像する全体観察部１０や、容器Ｃ内の試料の一部を拡大して撮像する拡大観察部２０、容器Ｃを載置する搬送部３０、搬送部３０をｘ軸方向、ｙ軸方向に移動させる駆動部４０、ＩＣタグリーダ５０等を備えて構成される装置である。
＜コンピュータ＞
　コンピュータ２００は、観察システムＳの全体を制御する装置である。コンピュータ２００は、ＣＰＵ（Central Processing Unit）やメモリ等を備えた装置であり、後述する観察制御プログラム２２０を実行することにより、本実施形態に係る観察システムＳの制御を行う。
　詳細は後述するが、容器Ｃ内で培養される細胞等の試料は、所定期間毎、例えば１日１回、観察装置１を用いて撮像される。コンピュータ２００は、まず、観察装置１に対して、搬送部３０に載置された容器Ｃの全体を撮像するように指示する。そしてコンピュータ２００は、この容器Ｃの全体を撮像して得られた画像（全体観察画像）を観察装置１から取得して、所定の画像解析を行うことで、容器Ｃ内で形成されつつある細胞塊の位置を特定する。
　そしてコンピュータ２００は、上記特定された各細胞塊の位置を指定して、観察装置１に対して各細胞塊の部分を拡大して撮像させる。コンピュータ２００は、各細胞塊を拡大して撮像して得られた画像（拡大観察画像）を観察装置１から取得し、モニタ２０４ａへの表示や、ハードディスク装置等の記憶装置への記録等を行う。
＜制御装置＞
　制御装置１００は、観察装置１を制御するためにコンピュータ２００から出力される各種コマンドを取得して、観察装置１の全体観察部１０や拡大観察部２０、駆動部４０、ＩＣタグリーダ５０等を制御するための装置である。制御装置１００は、観察装置１を駆動するための図示しないドライバやコントローラなどを備えている。
　なお例えば、コンピュータ２００あるいは観察装置１が制御装置１００の機能も備えるようにし、観察システムＳは、制御装置１００を備えない構成としても良い。また例えば、観察装置１が制御装置１００及びコンピュータ２００の機能も備えるようにし、観察システムＳは、制御装置１００及びコンピュータ２００を備えない構成としても良い。
＜容器Ｃ＞
　容器Ｃは、例えば円形の底面及び底面の周囲を囲む側面を有して形成される例えば透明のガラス製の容器である。容器Ｃには、容器Ｃの識別情報が記録されたＩＣタグ５１などが、例えば側面に貼付されている。なお容器Ｃの識別情報を示すバーコードが印刷されたラベルが容器Ｃの側面に貼付されるようにしても良い。容器Ｃの識別情報は、コンピュータ２００からの指令に応じて、観察装置１のＩＣタグリーダ５０によって読み取られる。　
　なお容器Ｃは、外部からの汚染や他の容器との間での汚染などを防止するために蓋が設けられている。
＝＝観察装置＝＝
　観察装置１について詳細に説明する。　
　観察装置１は、図１～図４に示すように、その筐体である本体２に全体観察部１０、拡大観察部２０、搬送部３０、駆動部４０、ＩＣタグリーダ５０を備えている。
　全体観察部１０は、コンピュータ２００からの指令に基づいて、搬送部３０に配置された細胞と細胞の培養液とが入った容器Ｃ内の細胞の全体を撮像する。　
　拡大観察部２０は、コンピュータ２００からの指令に基づいて、搬送部３０に配置された細胞と細胞の培養液とが入った容器Ｃ内の細胞の一部を拡大して撮像する。　
　搬送部３０は、容器Ｃを把持する。　
　駆動部４０は、コンピュータ２００からの指令に基づいて、搬送部３０を前後（ｙ軸方向）、左右（ｘ軸方向）に移動させ、所望の位置に停止させる。　
　本体２は、床面に対して４箇所に設けられた脚部３によって支持されている。　
　ＩＣタグリーダ５０は、コンピュータ２００からの指令に基づいて、搬送部３０に載置された容器Ｃに貼付されているＩＣタグ５１から、容器Ｃの識別情報を読み取る。
＜全体観察部＞
　全体観察部１０は、本体２の密閉された筐体内部の前側の部分に設けられ、全体観察光学系であるレンズ１１と、撮像部であるＣＭＯＳカメラ１２と、全体観察照明であるリング照明１３とを備えている。
　レンズ１１は、容器Ｃを把持する搬送部３０の移動空間の上方に配置され、下方に向かって容器Ｃ内を観察可能にして設けられている。　
　ＣＭＯＳカメラ１２は、レンズ１１の鉛直上方に設けられ、その撮像素子面が下方のレンズ１１の方を向くように配置されている。
　リング照明１３は、リング状に配列された複数のＬＥＤが、内側斜め上方を向く形で取り付けられた構造をなし、搬送部３０の移動空間の下方に配置されている。なお、リング照明１３と搬送部３０の容器Ｃとの間には所定距離離れた空隙Ｄを有している（図４参照）。これにより、リング照明１３と容器Ｃとの間に空気が流通する空間が生じるので、リング照明１３が発する熱が容器Ｃに伝わり難くなる。したがって、リング照明１３の発熱による影響が細胞の成育に及ぶのを抑制できる。
　そして、リング照明１３は斜め上方であってリングの中心に向かって光を照射し、リング照明１３の上方に位置する搬送部３０の観察対象である容器Ｃ内の細胞を照らす。なお、ＣＭＯＳカメラ１２及びレンズ１１は互いの光軸が一致するように各々配置され、その光軸がリング照明１３の中心を通過するようにリング照明１３が配置されている。
　このような構成により、リング照明１３により照射される容器Ｃ内の細胞の像が、レンズ１１によってＣＭＯＳカメラ１２の撮像素子面に結像される。そして全体観察部１０は、容器Ｃの全体の細胞の画像を撮像する。この画像は、コンピュータ２００に送られてモニタ２０４ａに表示されると共に、ハードディスク等の記録媒体に記憶される。このため、容器Ｃ内の複数の細胞が寄り集まった細胞塊の識別や特定を容易に行うことができる。
　また、全体観察部１０が容器Ｃの下方から斜め上方に容器Ｃに対して光を照射するので、容器Ｃの底面のうち、細胞の存在する箇所を通過する光は細胞によって散乱し、散乱した光の一部がＣＭＯＳカメラ１２に入射して細胞が白く映り、細胞のない箇所を通過する光は散乱せず、光がＣＭＯＳカメラ１２に入射せず黒く映る。
　このようにして、容器Ｃの内底面近傍で発現、成育する細胞を特定するのに適正な光を照射することができる。そして、細胞の外形状を白い塊として認識できるコントラストが得られる。なお、下方から光を照射することにより、容器Ｃの蓋による反射光で細胞が白つぶれして観察できなくなることを防ぐ効果も得られる。
＜拡大観察部＞
　拡大観察部２０は、所謂位相差顕微鏡であって本体２の密閉された筐体内部の全体観察部１０より後方の箇所に設けられ、対物レンズ２１、反射ミラー２２、ズームレンズ２３といった拡大観察光学系と、撮像部であるＣＣＤカメラ２４と、拡大観察照明である位相差照明部２５とを備えている。
　対物レンズ２１は、搬送部３０の移動空間の下方に配置され、上方に向かって容器Ｃ内を観察可能にして設けられている。なお、容器Ｃの底面に最も接近するレンズ部である対物レンズ２１の周辺には下部本体２内で発生する熱が容器Ｃに影響を及ぼすのを防止するためのカバー部材である対物レンズカバー２６が設けられている。また、対物レンズカバー２６の上部先端であって対物レンズ２１と容器Ｃとの間の箇所には窓部２７が設けられている。
　反射ミラー２２は、対物レンズ２１の下方に配置され、後方に向かって略水平に光を反射するよう傾斜させて設けられている。反射ミラー２２は対物レンズ２１から得られた像を後方のズームレンズ２３に導く。　
　ズームレンズ２３は、反射ミラー２２の後方に前後方向（ｙ軸方向）に延びる形で配置され、対物レンズ２１から得られた像を拡大する。　
　ＣＣＤカメラ２４は、ズームレンズ２３のさらに後方に設けられ、その撮像素子面が前方のズームレンズ２３の方を向くように配置されている。
　位相差照明部２５は、本体２の上部に設けられ、ＬＥＤ２５ａと、反射ミラー２５ｂとを備えている。ＬＥＤ２５ａは、位相差照明部２５の下方に位置する搬送部３０の観察対象である容器Ｃ内の細胞を照らす光を照射する。反射ミラー２５ｂは、対物レンズ２１の鉛直上方に配置され、ＬＥＤ２５ａが照射した光が容器Ｃを経て対物レンズ２１に到達するよう光を反射させる。
　このような構成により、位相差照明部２５により照射される容器Ｃ内の細胞の像が、対物レンズ２１、反射ミラー２２、及びズームレンズ２３によってＣＣＤカメラ２４の撮像素子面に結像される。そして拡大観察部２０は、容器Ｃの一部の領域の細胞の画像を拡大して撮像する。この画像は、コンピュータ２００に送られてモニタ２０４ａに表示されると共に、記録媒体に記憶される。このため、容器Ｃ内の複数の細胞が寄り集まった細胞塊の識別や特定を容易に行うことができる。
　また、細胞を拡大して観察するための複数のレンズとそのズーム機構とを有する比較的重量が重い拡大観察光学系が下方に配置されているので、観察装置１の重量バランスが適正になって安定した拡大観察が可能になる。そして、容器Ｃの内底面近傍で発現、成育する細胞に対して容器Ｃの下方から対物レンズ２１を接近させることができるので、焦点距離を短くして比較的大きな拡大率で観察することが可能である。さらに、拡大観察部２０は容器Ｃの下方から観察するので、容器Ｃの蓋の汚れの影響を受けることなく観察することが可能である。
＜搬送部＞
　搬送部３０は本体２の正面中央部であって、下方の全体観察部１０のリング照明１３や拡大観察部２０の拡大観察光学系と、上方の全体観察部１０の全体観察光学系や拡大観察部２０の位相差照明部２５とに挟まれた形で設けられている。
　搬送部３０はホルダ３１を備え、このホルダ３１が観察対象である細胞と細胞の培養液とが入った容器Ｃを把持している。ホルダ３１は全体観察部１０と拡大観察部２０とに対して位置決めがなされ、容器Ｃはホルダ３１に対して位置決めがなされている。これにより、容器Ｃとホルダ３１とを一緒に取り外して培養液を交換したり、試薬を投入したりしても、全体観察部１０と拡大観察部２０とにおいて同一箇所の観察が容易である。
＜駆動部＞
　駆動部４０は搬送部３０の後方及び側方に設けられ、ｘ軸駆動機構４１、ｘ軸モータ４２、ｙ軸駆動機構４３、ｙ軸モータ４４、光学系移動モータ４５、及びズームモータ４６を備えている。
　ｘ軸駆動機構４１は搬送部３０のすぐ後方に配置されるとともに搬送部３０を直接支持している。ｘ軸駆動機構４１は図示しないベルト、プーリ、スライドガイド部材、シャフト等を備えてｘ軸モータ４２によって駆動され、搬送部３０を左右方向に移動させる。
　ｙ軸駆動機構４３は搬送部３０及び本体２の側面の箇所に配置され、ｘ軸駆動機構４１を支持している。ｙ軸駆動機構４３は図示しないベルト、プーリ、スライドガイド部材等を備えてｙ軸モータ４４によって駆動され、ｘ軸駆動機構４１とともに搬送部３０を前後方向に移動させる（図４参照）。
　このような駆動機構を動作させることにより、搬送部３０は全体観察部１０から拡大観察部２０まで、またはその逆方向に容器Ｃを搬送する。容器Ｃが移動されるので、全体観察部１０と拡大観察部２０とが離れた箇所に配置されていても容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能になる。
　また、搬送部３０は上記のように全体観察部１０と拡大観察部２０の光軸方向と垂直をなす方向に容器Ｃを搬送するものであって、搬送方向の少なくとも一方向、すなわち前後方向を共通にしていることにより、全体観察部１０における観察視野内の座標を拡大観察部２０における観察視野内の座標に一致させる。
　これにより、全体観察部１０と拡大観察部２０との互いの観察視野内における座標が一致するので、全体観察部１０で容器Ｃ全体を観察して特定した細胞塊を拡大観察部２０で容易に識別できる。したがって、目標の細胞塊を誤って識別することが防止され、高精度な観察が実現できる。
　光学系移動モータ４５及びズームモータ４６は搬送部３０後方の本体２内に配置されている。光学系移動モータ４５は拡大観察光学系及びＣＣＤカメラ２４を上下方向に移動させるためのモータである。ズームモータ４６はズームレンズ２３の拡大倍率の変更させるためのモータであり、撮像する画像の倍率変更が可能である。
＜ＩＣタグリーダ＞
　ＩＣタグリーダ５０は、例えば本体２の密閉された筐体内部の前側の部分に設けられる。ＩＣタグリーダ５０は、コンピュータ２００からの指令に基づき、所定周波数の電磁波を発振し、容器Ｃに貼付されたＩＣタグ５１から受信した応答波から、容器Ｃの識別情報を読み取る。
＝＝コンピュータ＝＝
　コンピュータ２００は、図５に示すように、演算部２０１、記憶部２１０、計時部２０２、入力部２０３、及び出力部２０４を備えて構成される。　
　演算部２０１は、ＣＰＵやマイコン、その他の電子部品によって構成され、例えばＣＰＵが、記憶部２１０に記憶された観察制御プログラム２２０を実行することにより実現される。演算部２０１は、観察装置１に係る一連の観察動作を制御する。　
　演算部２０１は、図５に機能ブロックとして示したように、観察装置制御部２２１、候補位置検出処理部２２２、詳細判定処理部２２３を備えている。
＜観察装置制御部＞
　観察装置制御部２２１は、観察装置１のＩＣタグリーダ５０に指令を送り、搬送部３０に載置されている容器Ｃに貼付されているＩＣタグ５１から、容器Ｃの識別情報を読み取る。　
　また観察装置制御部２２１は、観察装置１の全体観察部１０に指令を送り、容器Ｃ全体を撮像させることで、容器Ｃ全体の画像（全体観察画像）を取得する。
　また観察装置制御部２２１は、全体観察画像を候補位置検出処理部２２２に通知し、容器Ｃ内に発現している各細胞塊の位置を特定させる。　
　また観察装置制御部２２１は、候補位置検出処理部２２２が特定した各細胞塊の位置を示す座標を候補位置検出処理部２２２から取得し、観察装置１の拡大観察部２０に指令を送り、容器Ｃ内の各細胞塊の部分を拡大して撮像させることで、各細胞塊の拡大画像（拡大観察画像）を取得する。
　また観察装置制御部２２１は、容器Ｃ内の各細胞塊の位置の特定結果が候補位置検出処理部２２２から送られてくるのを待っている間に、後述する観察履歴テーブル２１１に記録されている過去の観察履歴に基づいて、容器Ｃにおける細胞塊の推定位置を求める。そしてこの推定位置を観察装置１の拡大観察部２０に送り、推定位置の近傍の拡大観察画像を撮像させておく。
　なお、推定位置の近傍とは、上記推定位置を含む容器Ｃ中の一部の領域であり、ある試料塊の全体または大部分が納まるように撮影された拡大観察画像の視野に相当する、試料塊の周囲を含む領域を表す。例えば細胞塊を対象とした拡大観察では、通常１個ないし隣接した数個程度の細胞塊を視野内に含む画像が、細胞塊の識別や状態の判定に適している。
　また観察装置制御部２２１は、観察装置１により撮像された容器Ｃの全体観察画像や拡大観察画像を観察装置１から取得して、観察画像２１２として記憶部２１０に記憶する。
　また観察装置制御部２２１は、拡大観察画像を撮像した場合に、図６に示す観察履歴テーブル２１１に、拡大観察画像を撮像した容器Ｃの識別情報と、撮像した位置を表す座標と、撮像した日付と、拡大観察画像を撮像した旨を示す情報（拡大撮像欄に"Y"を書き込む）と、を対応付けて記録する。なお「拡大観察画像を撮像した旨を示す情報」を「当該試料塊を撮像済みである旨を示す情報」とも記す。
＜候補位置検出処理部＞
　候補位置検出処理部（試料塊特定部とも記す）２２２は、観察装置制御部２２１から取得した全体観察画像を所定のアルゴリズムで解析し、各細胞塊の位置を特定する。　
　そして候補位置検出処理部２２２は、特定した各細胞塊の位置を示す座標のリストを観察装置制御部２２１に通知する。　
　また候補位置検出処理部２２２は、各細胞塊の位置を特定した際に、観察履歴テーブル２１１に、容器Ｃの識別情報と、特定した細胞塊の位置を表す座標と、日付と、細胞塊の位置を特定した旨を示す情報（位置検出欄に"Y"を書き込む）と、を対応付けて記録する。
　ここで、候補位置検出処理部２２２が細胞塊の位置を特定する際に用いるアルゴリズムには様々な方法がある。
　本実施形態においては、下記のように、全体観察画像を二値化処理した後、白画素領域の大きさや密集度などに基づいて、細胞塊を見つける手法を一例として示す。
　候補位置検出処理部２２２は、まずカラー画像の場合はグレー画像に変換した上で、全体撮像処理で撮像した画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する。これにより、細胞塊でない部分が黒に細胞塊の部分が白に二値化される。そして、細胞、すなわち白色の画素数を算出する。この白色の画素数を算出する方式としては、例えば白色の画素の連結領域を算出するラベリング方式や任意位置の予め定めた小領域内の白色の画素数ができるだけ多くなるように領域を算出する小領域方式などが掲げられる。
　ラベリング方式は単一の白色画素領域の大きさや白色画素領域の密集度合いによって細胞塊を識別する方式であり、小領域方式は白色画素領域の数や多さ、密集度合いによって細胞塊を識別する方式である。この他に、細胞塊の単離度合い（個々の細胞塊同士が所定の距離を保って存在している度合い）によって識別しても良い。なお、ここではラベリング方式を採用することとする。
　ラベリング処理は二値化処理された画像に関して、隣接する白色画素（または黒色画素）に同じ番号（ラベル）を割り振ることにより複数の画素をグループ化する処理のことである。ラベリング処理における隣接の判定では４連結（４近傍）と８連結（８近傍）とを用いる。４連結では注目画素の上下左右に連続していれば隣接と判定し、８連結ではさらに斜め４方向の連続も加味して隣接を判定する。このようにして、候補位置検出処理部２２２は、全体撮像処理で撮像した画像から二値化した白色画素の塊、すなわち細胞塊を識別する。
　そして、候補位置検出処理部２２２は、識別した細胞塊のうち所定サイズ以上の細胞塊を拡大観察対象細胞塊として認識する。「所定サイズ」は細胞塊の予め設定したサイズであり、拡大観察の対象とすべきであると判断することができる程度のサイズである。ここでは、所定サイズを例えば画素数にして１０００ピクセルと設定し、記憶部２１０などに記憶している。これにより、画素数にして１０００ピクセル以上の細胞塊が拡大観察対象細胞塊として認識されるので、細胞塊の発現のときを見極めることができる。したがって、細胞塊の発現のときから成育完了まで継続して観察を行うことが可能になる。
　また候補位置検出処理部２２２は、白色の画素の塊のうち、画素数の多いものから順にソートを実行する。そして候補位置検出処理部２２２は、例えば画素数の多いものから順に予め定められた個数の細胞塊を観察対象などとして選択し、白色画素の塊の中心座標を検出する。
　次に候補位置検出処理部２２２は、全体撮像処理で撮像した画像上の画素による座標を、画像中心を原点とする実寸に変換する。ここで、画像の歪曲収差などの各種収差を補正しても良い。さらに、候補位置検出処理部２２２は、この実寸で表された画像上位置に整合するように、実寸を観察装置１の駆動部４０のｘ軸モータ４２及びｙ軸モータ４４のモータパルス数に変換する。このようにして、候補位置検出処理部２２２は、拡大撮像処理で撮像する画像上の座標が全体撮像処理で撮像した画像上の座標に一致する共通の座標系を形成する。　
　そして候補位置検出処理部２２２は、この座標のリストを観察装置制御部２２１に通知する。
　なお、候補位置検出処理部２２２が細胞塊の位置を特定する際に用いるアルゴリズムは、その他例えば、観察対象の形状が円や楕円のように比較的少数のパラメータを使って数式で表現できる場合には、一般化ハフ変換と呼ばれる手法を用いることができる。　
　あるいは、観察対象の典型的な例を示す例示画像を用意できる場合には、照合位置をずらしながら全体画像の一部と例示画像との照合を繰り返すことで例示画像に類似した箇所を検出するテンプレートマッチングと呼ばれる手法を用いることができる。　
　いずれの手法であっても、本実施形態に係る候補位置検出処理部２２２は、容器Ｃ内の各細胞塊を多めに検出するようにして検出漏れをなくすと共に、短時間に検出処理を完了できるようにしている。
　詳細は後述するが、候補位置検出処理部２２２により検出された細胞塊は、後に、詳細判定処理部２２３によって観察対象たる細胞塊であるか否かの判定がなされる。
　このように構成することにより、候補位置検出処理部２２２によって漏れなくかつ迅速に細胞塊の検出処理を行いつつ、詳細判定処理部２２３によって正確に観察対象となる細胞塊を見極めることができる。
＜詳細判定処理部＞
　詳細判定処理部２２３は、候補位置検出処理部２２２が検出した各細胞塊に対して、観察対象たる細胞塊であるか否かを判定する。　
　また詳細判定処理部２２３は、細胞塊に対する判定を行った際に、観察履歴テーブル２１１に、容器Ｃの識別情報と、判定した細胞塊の位置を表す座標と、日付と、細胞塊の判定結果を示す情報と、を記録する。詳細判定処理部２２３は、真に観察対象たる細胞塊であると判定した場合には、観察履歴テーブル２１１の詳細判定欄に"Y"を記録する。また詳細判定処理部２２３は、真に観察対象たる細胞塊ではないと判定した場合には、観察履歴テーブル２１１の詳細判定欄に"N"を記録する。
　拡大観察画像には全体観察画像に比べて詳細な情報が含まれているため、詳細判定処理部２２３は、各細胞塊が真に観察対象たるものか否かを正確に判定することが可能である。　
　ここで、詳細判定処理部２２３が真の観察対象たる細胞塊であるか否かの判定を行う際に用いるアルゴリズムは、様々な方法がある。
　本実施形態においては、下記のように、テンプレートマッチングを用いた手法を一例として示す。　
　まず詳細判定処理部２２３は、拡大観察画像から判定対象の細胞塊の画像を抽出する。
　そして詳細判定処理部２２３は、拡大観察画像に対して予め準備したパッチ画像とのマッチングを行う。マッチング結果としては、拡大観察画像とパッチ画像との、濃淡で表現された距離画像が得られる。
　そして詳細判定処理部２２３は、その距離画像に所定の閾値を用いて二値化処理を実行する。マッチングの手法としては、例えばテンプレートマッチングやヒストグラムマッチングなどが挙げられ、判定対象の画像、すなわち拡大観察画像をパッチ画像によりラスタスキャンして双方の距離を算出する。パッチ画像を多数準備する場合はマッチング結果の距離画像を積算する。なお、拡大観察画像内に複数個の細胞塊が存在する場合でも、詳細判定処理部２２３は、各々の細胞塊を別個のものとして識別できる。
　続いて詳細判定処理部２２３は、二値化処理された画像において、例えばエッジ抽出フィルタによる輪郭抽出と８連結探索による輪郭追跡を実行して輪郭を検出する。輪郭抽出の際のエッジ抽出フィルタとしては、例えば微分フィルタやプリューウィットフィルタ、ソーベルフィルタ、Ｃａｎｎｙ　Ｅｄｇｅ　Ｄｅｔｅｃｔｏｒなどを用いることができる。輪郭追跡では輪郭の追跡開始点から一方向に順次輪郭点を追跡していくことで輪郭線を抽出でき、４連結探索を用いることもできる。
　そして詳細判定処理部２２３は、輪郭検出結果から円や楕円、矩形などの所定形状を検出する。輪郭やエッジから円を検出する手法としてはハフ変換などを用いることができる。輪郭やエッジから楕円を検出する手法としては一般化ハフ変換や最小二乗推定によって輪郭の点列に楕円をフィットさせる手法などを用いることができる。輪郭やエッジから矩形を検出する手法としては輪郭の点列を全て包含するように矩形をフィットさせる手法などを用いることができる。このようにして詳細判定処理部２２３は、拡大観察画像から細胞塊の輪郭抽出し、形状を識別する。
　次に詳細判定処理部２２３は、細胞塊の形状が所定形状であるか否かを判定する。「所定形状」は細胞塊の予め設定した形状であり、観察するに好適に成育し続ける可能性が高いと判断することができる程度の形状であって、例えばできるだけ円形に近いものが良い。
　細胞塊の所定形状の判定条件としては形状のほか、例えば大きさや凹凸度合いといった条件を加味しても良い。形状の判定条件としては、例えば輪郭を囲む楕円の楕円形度、輪郭を囲む円の真円度などが挙げられる。大きさの判定条件としては、例えば白色画素塊の大きさ、白色画素塊の輪郭の長さ、白色画素塊の輪郭内部の面積、楕円の長軸長さ、楕円の短軸長さ、楕円の円周の長さ、円の直径、円周の長さ、輪郭を囲む矩形の長さ、輪郭を囲む矩形の面積などが挙げられる。凹凸度合い判定条件としては、例えば輪郭の面積と周囲長との比、輪郭の面積と輪郭を囲む矩形の面積との比、輪郭の長さと輪郭を囲む矩形の長さとの比、輪郭のコーナー数、輪郭の面積と輪郭を囲む円或いは楕円の面積との比、輪郭の長さと輪郭を囲む円の円周或いは楕円の円周の長さとの比、輪郭を囲む矩形の面積と輪郭を囲む円或いは楕円の面積との比、輪郭を囲む矩形の長さと輪郭を囲む円或いは楕円の長さとの比などが挙げられる。輪郭のコーナー数で判定する際のコーナー検出手法としては、例えばハリスのコーナー検出やＳＵＳＡＮオペレータなどを用いることができる。
　ここでは、細胞塊の所定形状の判定条件を例えば楕円形度にして１．１以下と設定し、記憶部２１０などに記憶している。なお、楕円形度は楕円の短軸長さに対する長軸長さの比である。これにより、できるだけ円形に近い細胞塊が識別されるので、観察を続けるのに適正な形状の細胞塊を自動的に選別することができる。したがって、成育過程で歪な形状に成育した細胞塊の観察順位を低くしたり、観察を中止したりすることができ、適正な形状の細胞塊の観察をより一層効率良く進めることが可能になる。
　また、形状判定を閾値（例えば楕円形度１．１）によって明示的に行う方法だけでなく、判定結果の優劣に基づいて細胞塊画像をソートしてモニタ２０４ａに表示（楕円形度なら、楕円形度が小さい順に表示）し、どの細胞塊までを好適と判定するかをユーザに委ねるような方法でも良い。
　そして詳細判定処理部２２３は、細胞塊に対する判定結果を、観察履歴テーブル２１１に記録する。
　なお、詳細判定処理部２２３が細胞塊に対する判定を行う際に用いるアルゴリズムは、その他にも例えば、あらかじめ拡大観察画像を所定数の領域に分割し、領域ごとの所定の属性（色情報や領域の形状、位置など）をインデクスとして蓄積しておき、判定対象の拡大観察画像に対しても同様のインデクスを生成して、両者を比較することにより判定を行う手法等を用いてもよい。
　また詳細判定処理部２２３は、細胞塊が観察対象であるか否かの判定結果をYesあるいはNoのような二値で出力するのではなく、観察対象である確信度を表す連続値を出力するようにしてもよい。
　この場合、詳細は後述するが、拡大観察画像を撮影する際の優先度を観察履歴に基づいて付与する処理において、詳細判定処理部２２３が出力した確信度に基づいて、例えば確信度が大きな細胞塊により高い優先度を付与することにより、先行して行う拡大観察画像の取得をさらに適切に実行することも可能となる。
＜記憶部＞
　記憶部２１０は、細胞の観察や観察システムＳの動作に関する様々なデータを記憶する。記憶部２１０は例えばハードディスク装置や半導体メモリにより構成される。　
　図５に示すように、記憶部２１０には、観察制御プログラム２２０、観察履歴テーブル２１１、観察画像２１２が記憶される。　
　観察履歴テーブル２１１を図６に示す。観察履歴テーブル２１１は、容器Ｃの識別情報（容器Ｎｏ）と、容器Ｃ内の各細胞塊の座標と、各細胞塊の観察を行った日付（日時情報）と、観察結果（位置検出有無、拡大撮像有無、詳細判定結果）と、が対応付けて記憶されている。
　上述した様に、観察履歴テーブル２１１には、観察装置制御部２２１や、候補位置検出処理部２２２、詳細判定処理部２２３によって、それぞれ観察履歴が記録されるが、観察装置制御部２２１、候補位置検出処理部２２２、詳細判定処理部２２３は、観察履歴テーブル２２１に観察履歴を記録する際に、容器Ｎｏ欄の記載と、細胞塊の座標欄の記載と、日付欄の記載と、によって各観察履歴の同一性を判定することで、同一の細胞塊に対する同一日時の観察履歴は、同一のレコードに観察履歴を記録するようにしている。
＜計時部＞
　計時部２０２は細胞の観察開始からの日時や観察システムＳの動作制御に関する時間等を計測するためのものであって、各種時間を把握できる。
＜入力部＞
　入力部２０３は、例えばキーボード２０３ａやマウス２０３ｂなどのポインティングデバイスで構成されている。ユーザはキーボード２０３ａを用いて文字や数値などの入力を行う。また、ユーザはマウス２０３ｂを用いて出力部２０４のモニタ２０４ａの画面上でカーソルを任意の方向に移動させ、メニューやその他選択肢の選択を行う。演算部２０１は入力部２０３から得られる情報に基づき演算部２０１や記憶部２１０に記憶、入力されたプログラム、データ、ファイルに対して各種処理を実行したり、出力部２０４に対して出力処理を実行したりする。
＜出力部＞
　出力部２０４は、例えば液晶ディスプレイ、ＣＲＴ等のモニタ２０４ａやスピーカ２０４ｂで構成されている。演算部２０１は実行されるプログラムの処理に基づいてモニタ２０４ａにウィンドウやアイコン、メニューなどを表示させたり、スピーカ２０４ｂから発音させたりする。また、演算部２０１は入力部２０３からの情報に基づいてモニタ２０４ａにユーザが入力した文字や数値などを表示させ、ユーザが移動させるカーソルを表示させる。
＝＝処理の流れ＝＝
＜操作フロー＞
　続いて、容器Ｃ内の細胞の観察に係るユーザによる観察システムＳの操作について、図７に示すフローに沿って説明する。図７は観察システムＳの操作に係るフローを示す説明図である。
　ユーザは最初に観察装置１、制御装置１００、及びコンピュータ２００の電源をオンにして観察システムＳを起動させる（図７のステップ＃１０１）。そして、ユーザは搬送部３０のホルダ３１に細胞と細胞の培養液とが入った容器Ｃをセットする（ステップ＃１０２）。続いて、ユーザはコンピュータ２００において観察プログラム２２０を起動させると（ステップ＃１０３）、モニタ２０４ａ上に操作画面が表示される。
　観察プログラム２２０はプログラムの起動と連動して自動的に、搬送部３０の原点復帰動作を実行するようになっている（ステップ＃１０４）。そして、観察プログラム２２０はカメラによる撮像を開始し（ステップ＃１０５）、モニタ２０４ａにカメラからのリアルタイム画像を表示させる。
　続いて、ユーザはモード設定操作を実行する（ステップ＃１０６）。このモード設定操作では通常タイムラプス探索操作（ステップ＃１０７）と、全体観察操作（ステップ＃１０８）とが選択できる。タイムラプス観察とは所定期間ごとに予め設定された位置を観察する手法である。
　通常タイムラプス探索操作（ステップ＃１０７）ではユーザがモニタ２０４ａ上やキーボード２０３ａの矢印キーで容器Ｃを移動させながら容器Ｃ内を観察し、目標の細胞を確認する。そして、キャプチャ画像の取得や表示、保存、さらに座標設定、座標保存などを実行する。
　全体観察操作（ステップ＃１０８）ではユーザが全体観察における所定識別期間や所定識別日数の設定を行う。画像の取得や表示、保存、さらに観察位置表示などは設定に基づき自動的に実行される。
　次に、目的別操作（ステップ＃１０９）では終了（ステップ＃１１０）、目視継続（ステップ＃１１１）、及びタイムラプス（ステップ＃１１２）の操作が選択できる。
　終了（ステップ＃１１０）を選択すると、カメラによる撮像が停止され、設定が保存される。目視継続（ステップ＃１１１）を選択すると、カメラによって撮像された画像の手動によるキャプチャ保存が可能である。
　タイムラプス（ステップ＃１１２）を選択すると、さらにタイムラプス観察開始、タイムラプス一時停止、及びタイムラプス再開の操作が可能である。タイムラプスを一時停止させた場合、容器Ｃの取り出しや培養液の交換といった作業が可能である（ステップ＃１１３）。
　このような観察プログラム２２０を用いてタイムラプス観察を実行すると、全体撮像処理で撮像した画像から発現した細胞塊を識別してその位置を特定し、さらに拡大撮像処理で撮像した画像から細胞塊の形状を識別して観察を続けるのに適正な形状の細胞塊を選別するといった一連の処理を自動的に行うことが可能である。
＜観察システムの制御の流れ＞
　次に、本実施形態に係る観察システムＳが実行する制御の流れを、図８～図９に示すフローチャートを参照しながら説明する。
　まず観察装置制御部２２１は、観察装置１のＩＣタグリーダ５０に指令を送り、搬送部３０に載置されている容器Ｃに貼付されているＩＣタグ５１から、容器Ｃの識別情報を読み取る（S1000）。　
　そして観察装置制御部２２１は、観察装置１の全体観察部１０に指令を送り、容器Ｃ全体を撮像させることで、容器Ｃ全体の画像（全体観察画像）を取得する（S1010）。　
　また観察装置制御部２２１は、全体観察画像を候補位置検出処理部２２２に通知すると共に、容器Ｃ内に形成されている細胞塊を拡大観察候補として検出するよう指示を送信する（S1020）。
　そうすると候補位置検出処理部２２２は、全体観察画像から細胞塊及びその位置を示す座標を検出することで、拡大観察候補を抽出する（S2000）。具体的な処理内容については、例示したように、候補位置検出処理部２２２は、全体観察画像を二値化処理した後、白画素領域の大きさや密集度などに基づいて、細胞塊を見つける処理を行う。
　そして候補位置検出処理部２２２は、容器ＩＤ、日付、細胞塊の座標値、と共に、観察履歴テーブル２１１の「位置検出」欄に、拡大観察候補として検出した旨を示す"Y"を記録する（S2010）。
　そして候補位置検出処理部２２２は、観察装置制御部２２１に対して、拡大観察候補として検出した細胞塊の座標の一覧を通知する（S2020）。
　ところで、観察装置制御部２２１は、S1020において候補位置検出処理部２２２に対して拡大観察候補を検出する指示を送信した後、S2020において拡大観察候補の座標の一覧を取得するまでの間に、現在観察を行っている容器Ｃの過去の観察履歴に基づいて、候補位置検出処理部２２２によって拡大観察候補として検出されることが想定される細胞塊のそれぞれの推定位置を求め、各推定位置の拡大観察画像を撮像しておく。
　このようにすることにより、観察装置制御部２２１は、候補位置検出処理部２２２によって拡大観察候補の検出が行われている間の待ち時間を無駄にすることなく、拡大観察画像の撮像を進めることが可能となり、容器Ｃの中から観察対象たる試料塊を検出し、試料塊の部分を拡大して撮像する作業を効率化することができる。
　なお観察装置制御部２２１は、各推定位置に対して後述する所定の方法により優先度を付与し、優先度順に各推定位置の拡大観察画像を撮像する。　
　この優先度は、優先度が高いほど、候補位置検出処理部２２２によって拡大観察候補として検出されることがより確実であるように算出される。
　そして観察装置制御部２２１は、S2020において拡大観察候補の座標の一覧を取得した際に、この一覧に含まれる座標から、上記推定座標に対応し、しかもすでに拡大観察画像の撮像が完了しているものを除去した上で、残りの拡大観察候補の各座標についての拡大観察画像の撮像を行う。
　つまり観察装置制御部２２１は、候補位置検出処理部２２２により試料塊の位置が特定された際に、当該位置の近傍が、すでに推定位置に基づいて撮像されている場合には、当該位置の近傍の撮像を行わない。
　なお上述したように、推定位置の近傍とは、推定位置を含む容器Ｃ中の一部の領域であり、ある試料塊の全体または大部分が納まるように撮影された拡大観察画像の視野に相当する、試料塊の周囲を含む領域を表す。
　これにより、推定位置に基づいて先行して拡大観察画像の撮像を行った領域に対しては重複して撮像を行わないようにできるため、一つの容器Ｃの観察に要する時間（全体観察画像の撮像や、拡大観察候補の検出、各拡大観察候補に対する拡大観察画像の撮像、各拡大観察候補の詳細判定、等に要する時間）を短縮することが可能となる。
　また観察装置制御部２２１は、容器Ｃ上の各推定位置を優先度が高い順に撮像することにより、候補位置検出処理部２２２から拡大観察候補の座標の一覧を取得するまでの間に、この一覧に含まれるより多くの拡大観察候補に対する拡大観察画像の撮像を先に済ませておくことが可能となる。
　順に説明すると、まず観察装置制御部２２１は、現在観察を行っている容器Ｃの過去の観察履歴を観察履歴テーブル２１１から抽出する（S1030）。このとき観察装置制御部２２１は、例えば容器Ｃの観察を開始した時点からのすべての観察履歴を抽出するようにしてもよいし、直近の所定期間（たとえば過去１０日分）の観察履歴を抽出するようにしてもよい。
　そして観察装置制御部２２１は、抽出した容器Ｃの各観察履歴を、「細胞塊の座標」欄に記載されている座標別に分類することで、容器Ｃにおいて形成中の細胞塊を拡大観察候補として抽出する（S1040）。このとき、観察装置制御部２２１は、「細胞塊の座標」欄に記載されている座標の値が同一でなくても、例えば２つの座標（第１位置情報、第２位置情報）の差分が所定範囲内である場合には、これらの座標は同一の試料塊の位置情報であると推測して、同一の拡大観察候補として分類するようにする。
　このようにすることにより、候補位置検出処理部２２２が全体観察画像を解析することにより試料塊の位置として特定される可能性の高い位置を、観察装置制御部２２１が観察履歴に基づいて事前に推定することができる。
　また観察装置制御部２２１は、各観察履歴を座標別に分類することで抽出できるすべての拡大観察候補のうち、下記の要件に該当するものにさらに絞り込んで拡大観察候補としてもよい。
　例えば観察装置制御部２２１は、過去ｎ回（ｎは所定の自然数であり、例えば観察間隔が１日であれば過去ｎ日）までの観察履歴において、「位置検出」欄が"Y"であり「拡大撮像」欄が"Y"であるものを、拡大観察候補とすることができる。　
　このようにすることにより、過去に候補位置検出処理部２２２が全体観察画像を解析することにより試料塊の位置として特定し、かつ、拡大観察画像が撮像された試料塊の位置を推定位置として特定できるため、候補位置検出処理部２２２が全体観察画像を解析することにより試料塊の位置として特定される可能性がより高い位置を、観察装置制御部２２１が観察履歴に基づいて事前に推定することができる。
　あるいは、観察装置制御部２２１は、過去ｎ回までの観察履歴において、「位置検出」欄が"Y"であり「拡大撮像」欄が"N"であるものを、拡大観察候補とすることができる。　
　このようにすることにより、過去に候補位置検出処理部２２２が全体観察画像を解析することにより試料塊の位置として特定したが、拡大観察画像が撮像されなかった試料塊の位置を推定位置として特定できるため、いまだ拡大観察画像の撮像が行われていない試料塊の位置を、観察装置制御部２２１が観察履歴に基づいて事前に推定することができる。
　または、観察装置制御部２２１は、過去ｎ回までの観察履歴において、「拡大撮像」欄が"Y"であり、「詳細判定」欄が"Y"であるものを、拡大観察候補とすることができる。　
　このようにすることにより、過去に候補位置検出処理部２２２が全体観察画像を解析することにより試料塊の位置として特定し、かつ、詳細判定処理部２２３が観察対象として判定した試料塊の位置を推定位置として特定できるため、候補位置検出処理部２２２が全体観察画像を解析することにより試料塊の位置として特定される可能性がより高い位置を、観察装置制御部２２１が観察履歴に基づいて事前に推定することができる。
　または、観察装置制御部２２１は、過去ｎ回までの観察履歴において、「拡大撮像」欄が"Y"であるものについて、その拡大観察画像をモニタ２０４ａに表示し、作業者に拡大観察候補とするか否かを選択させるようにすることもできる。　
　このようにすることにより、作業者による目視によって判断した試料塊の位置を推定位置として特定できるため、候補位置検出処理部２２２が全体観察画像を解析することにより試料塊の位置として特定される可能性がより高い位置を、観察装置制御部２２１が観察履歴に基づいて事前に推定することができる。
　あるいは、詳細判定処理部２２３が、細胞塊が観察対象であるか否かの判定結果を観察対象である確信度を表す連続値を出力するようにした場合には、例えば事前に定められた所定の基準値以上の確信度を有する細胞塊を拡大観察候補とすることができる。
　なお観察装置制御部２２１は、容器Ｃに関する過去の観察履歴が観察履歴テーブル２１１に記録されていない場合には、全体観察画像中からランダムに選択した座標を、推定位置として求めても良い。　
　このようにすることにより、例えば容器Ｃの観察が初めてであり、観察履歴がいまだ記録されていない場合であっても、候補位置検出処理部２２２が全体観察画像を解析することにより試料塊の位置を特定している間に試料塊の推定位置を事前に求めて、拡大観察画像の撮像を行っておくことができる。
　また観察装置制御部２２１は、上記を組み合わせて拡大観察候補を求めてもよい。
　次に観察装置制御部２２１は、上記抽出した各拡大観察候補に対して、拡大観察画像を撮影する際の優先度を付与する（S1050）。観察装置制御部２２１は、優先度を例えば以下のようにして付与する。　
　まず観察装置制御部２２１は、例えば、過去ｎ回（ｎは自然数であり、例えば観察間隔が１日であれば過去ｎ日）までの観察履歴において、「詳細判定」欄が"Y"である拡大観察候補に対して最も高い優先度を付与する。
　このようにすることにより、過去に詳細判定処理部２２３が観察対象として判定した試料塊に対する拡大観察画像の撮像が優先的に行われるため、候補位置検出処理部２２２により抽出される可能性が高い試料塊に対する拡大観察画像の撮像を事前に行っておくことができる。
　つまり過去に詳細判定処理部２２３により真に観察対象たると判定された拡大観察候補は、候補位置検出処理部２２２により拡大観察候補として検出される可能性は極めて高いことが期待できるため、このように優先度を付与することにより、候補位置検出処理部２２２により検出される拡大観察候補に対する拡大観察画像の撮像を、より確実に先行して実行しておくことが可能となる。
　なお詳細判定処理部２２３が、細胞塊が観察対象であるか否かの判定結果を観察対象である確信度を表す連続値を出力するようにした場合には、確信度が大きな細胞塊にはより高い優先度を付与するようにするとよい。このようにすることにより、拡大観察候補に対する拡大観察画像の撮像を、より確実に先行して実行しておくことが可能となる。
　次に観察装置制御部２２１は、例えば、過去ｎ回までの観察履歴において、「位置検出」欄が"Y"であり、「拡大撮像」欄が"Y"であり、「詳細判定」欄が"N"である拡大観察候補に対して次に高い優先度を付与する。
　過去に詳細判定処理部２２３により真に観察対象たると判定された拡大観察候補でなくても、過去に拡大観察画像が撮像されたものであれば、候補位置検出処理部２２２により拡大観察候補として検出される可能性は高いことが期待できるため、このように優先度を付与することにより、候補位置検出処理部２２２により検出される拡大観察候補に対する拡大観察画像の撮像を、より確実に先行して実行しておくことが可能となる。
　次に観察装置制御部２２１は、例えば、過去ｎ回までの観察履歴において、「位置検出」欄が"Y"であり、「拡大撮像」欄が"N"であり、「詳細判定」欄が"N"であるものに対して次に高い優先度を付与する。
　過去に拡大観察画像が撮像されたものでなくても、過去に候補位置検出処理部２２２によって拡大観察候補として検出されたものであれば、今回も候補位置検出処理部２２２により拡大観察候補として検出される可能性は高いことが期待できるため、このように優先度を付与することにより、候補位置検出処理部２２２により検出される拡大観察候補に対する拡大観察画像の撮像を、より確実に先行して実行しておくことが可能となる。
　次に観察装置制御部２２１は、候補位置検出処理部２２２から、拡大観察候補として検出された細胞塊の座標の一覧が通知されたか否かを判定する（S1060）。
　この時点で通知がまだ来ていなければ、観察装置制御部２２１は、S1030～S1050の処理において容器Ｃの観察履歴から求めておいた拡大観察候補に対する拡大観察画像の撮像を優先度が高いものから順に行う（S1070～S1090）。
　まず観察装置制御部２２１は、観察履歴から求めた拡大観察候補に対する拡大観察画像の撮像がすべて終了したか否かを判定する（S1070）。　
　撮像が終了していない拡大観察候補がある場合には、観察装置制御部２２１は、拡大観察部２０に指令を送り、その時点で優先度が最も高い拡大観察候補に対する拡大観察画像の撮像を行う（S1080）。　
　そして観察装置制御部２２１は、撮像により得られた拡大観察画像を観察画像２１２として記憶部２１０に記録すると共に、観察履歴テーブル２１１に、容器ＩＤ、日付、細胞塊の座標値、と共に、観察履歴テーブル２１１の「拡大撮像」欄に、拡大観察画像の撮像を行った旨（撮像済みである旨）を示す"Y"を記録する（S1090）。
　S1060に戻って、観察装置制御部２２１は、候補位置検出処理部２２２から拡大観察候補として検出された細胞塊の座標の一覧が通知されている場合には、この一覧に含まれる座標から、観察履歴から推定した拡大観察候補の座標に対応し、しかもその拡大観察画像の撮像が既に完了しているものを除去する（S1100）。これにより、同一の試料塊に対する拡大観察画像が重複して行わないようにすることができる。
　そして観察装置制御部２２１は、上記各拡大観察候補について、順に拡大観察画像の撮像を行い（S1110）、観察履歴テーブル２１１の「拡大撮像」欄に、拡大観察画像の撮像を行った旨を示す"Y"を記録する（S1120）。　
　観察装置制御部２２１は、容器Ｃの全ての拡大観察候補に対する拡大観察画像の撮像が終了したら（S1130）、詳細判定処理部２２３に対して、これらの拡大観察候補が真に観察対象足りうるか否かの判定を指示する（S1140）。
　そうすると、詳細判定処理部２２３は、上述した様に、各拡大観察候補の拡大観察画像をテンプレートマッチングにより解析することで、真の観察対象たる細胞塊であるか否かの判定を行う（S3000）。　
　そして詳細判定処理部２２３は、判定の結果を観察履歴テーブル２１１の「詳細判定」欄に記録する（S3010）。詳細判定処理部２２３は、真に観察対象たる細胞塊であると判定した場合には、観察履歴テーブル２１１の「詳細判定」欄に"Y"を記録する。反対に、詳細判定処理部２２３は、真に観察対象たる細胞塊ではないと判定した場合には、観察履歴テーブル２１１の「詳細判定」欄に"N"を記録する。
　一つの容器Ｃに対して以上の処理が終了したら、作業者は搬送部３０に次の容器Ｃを載置して観察を続ける。
　（第２の実施形態）
　次に、本発明の第２の実施形態に係る観察システムＳについて、図１０を用いてその構成を説明する。図１０は観察システムＳの構成図である。なお、この実施形態の基本的な構成は図１～図９を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
　第２の実施形態に係る観察システムＳの観察装置１は、図１０に示すようにインキュベータ３００の内部に収容されている。インキュベータ３００は細胞を培養または保存するための保存庫の一例であって、生物学的及び／または物理学的に密閉された保存空間Ｅを形成している。観察装置１はインキュベータ３００の内部に設けられた棚３０１上に設置されて使用される。
　ここで、インキュベータ３００の内部は、例えば室温３７°Ｃ、湿度１００％といった庫内環境に保たれていることが多い。このような環境ではその湿気に起因した光学系の曇りによる画質劣化、駆動機構やカメラ、照明等における電装部短絡などといった不具合が発生する可能性が高い。このため、インキュベータ３００の内部に配置する場合は特に、観察装置１に密閉された筐体（本体２）が必要となる。
　このように観察装置１をインキュベータ３００内部に設置した構成であっても、容器Ｃ内で培養中の細胞を観察するにあたって、容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察装置１を提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察システムＳを提供することができる。
　（第３の実施形態）
　次に、本発明の第３の実施形態に係る観察システムＳについて、図１１及び図１２を用いてその構成を説明する。図１１は観察システムＳの構成図、図１２は図１１に示すアイソレータの部分断面側面図である。なお、この実施形態の基本的な構成は図１～図９を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
　第３の実施形態に係る観察システムＳの観察装置１は、図１１及び図１２に示すようにアイソレータ４００の内部に収容されている。
　アイソレータ４００は本体４０１の略中央部にケース４０２を備えている。ケース４０２は細胞の培養や処置、観察に係る作業を実施するための生物学的及び／または物理学的に密閉された作業空間Ｆを形成している。ケース４０２の正面側には正面扉４０３が開閉可能に設けられている。正面扉４０３は外から作業空間Ｆ内を見るためのガラスなどで構成された窓部４０４を備えている。
　正面扉４０３の窓部４０４には作業空間Ｆで作業を行うためのグローブ４０５が備えられている。グローブ４０５はケース４０２の窓部４０４から作業空間Ｆに向かって延びる形で設けられている。窓部４０４に対するグローブ４０５の取り付け箇所には開口部４０６が設けられている。作業者は開口部４０６からグローブ４０５に手を挿入して装着し、窓部４０４から密閉されたケース４０２内の作業空間Ｆを見ながら作業空間Ｆ内で作業を行う。グローブ４０５は横方向に２個並べて設けられている。なお、グローブ４０５やその開口部４０６は２個の場合だけでなく、３個や４個或いはそれ以上の個数の場合もある。
　アイソレータ４００はそのほか、ケース４０２の上部に気体調整部４０７を、ケース４０２を正面から見た右側に本体操作部４０８を、左側にインキュベータ４０９を備えている。
　このように観察装置１をアイソレータ４００内部に設置した構成であっても、容器Ｃ内で培養中の細胞を観察するにあたって、容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察装置１を提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察システムＳを提供することができる。なお、観察装置１はインキュベータ４０９の内部に設置しても良い。
　（第４の実施形態）
　次に、本発明の第４の実施形態に係る観察システムＳについて、図１３を用いてその構成を説明する。図１３は観察システムＳの構成図である。なお、この実施形態の基本的な構成は図１～図９を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
　第４の実施形態に係る観察システムＳには、図１３に示すように全体観察部１０、拡大観察部２０、及び搬送部３０が備えられ、これら各々が独立して設けられている。そして、全体観察部１０、拡大観察部２０、及び搬送部３０に対しては、各々を個別に制御する制御装置５０１～５０３と、それらに個別に指令を送るコンピュータ６０１～６０３とが備えられている。３台のコンピュータ６０１～６０３間には互いに通信ができるようにネットワークケーブルが接続され、全体観察と拡大観察と容器Ｃの搬送とを連携して実行できるようになっている。
　なお、３台のコンピュータの連携を統合して行う別のコンピュータがある構成としても良い。また、コンピュータを１台とし、この１台のコンピュータから制御装置５０１～５０３に指令を送る構成としても良い。さらに、コンピュータ、制御装置を１台とし、この１台のコンピュータ、制御装置から全体観察部、拡大観察部、搬送部を制御する構成としても良い。
　また、図１３に示す搬送部３０は回転移動して全体観察部１０と拡大観察部２０との間で容器Ｃを搬送するようにしているが、第１の実施形態同様、水平移動して容器Ｃを搬送するようにしても良い。容器Ｃは全体観察部１０と拡大観察部２０とに共通の載置トレー３２に載置されている。載置トレー３２は全体観察部１０と拡大観察部２０とに対して位置決めがなされ、容器Ｃは載置トレー３２に対して位置決めがなされている。
　このように全体観察部１０、拡大観察部２０、及び搬送部３０を各々独立させて個別に制御する構成であっても、容器Ｃ内で培養中の細胞を観察するにあたって、容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察システムＳを提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察システムＳを提供することができる。
　なお、インキュベータやアイソレータなどの狭い作業空間内では全体観察部、拡大観察部、搬送部を機構的に別体とすることで各部の柔軟な配置構成が可能となり、作業空間を有効に使用できる。
　以上本発明の実施形態について説明したが、本実施形態によれば、観察装置制御部２２１は、容器Ｃ内の各細胞塊の位置の特定結果が候補位置検出処理部２２２から送られてくるのを待っている間に、観察履歴テーブル２１１に記録されている過去の観察履歴に基づいて、容器Ｃにおける細胞塊の推定位置を求め、そしてこの推定位置を観察装置１の拡大観察部２０に送り、推定位置の近傍、すなわちこの推定位置を含む容器Ｃ中の一部の領域の拡大観察画像を撮像させておく。
　このようにすることにより、観察装置制御部２２１は、候補位置検出処理部２２２によって拡大観察候補の検出が行われている間の待ち時間を無駄にすることなく、拡大観察画像の撮像を進めることが可能となり、容器Ｃの中から観察対象たる試料塊を検出し、試料塊の部分を拡大して撮像する作業を効率化することができる。
　また観察装置制御部２２１は、候補位置検出処理部２２２により試料塊の位置が特定された際に、当該位置の近傍、すなわちこの位置を含む容器Ｃ中の一部の領域が、すでに推定位置に基づいて撮像されている場合には、当該位置の近傍の撮像を行わない。　
　このようにすることにより、推定位置に基づいて先行して拡大観察画像の撮像を行った領域に対しては重複して撮像を行わないようにできるため、一つの容器Ｃの観察に要する時間（全体観察画像の撮像や、拡大観察候補の検出、各拡大観察候補に対する拡大観察画像の撮像、各拡大観察候補の詳細判定、等に要する時間）を短縮することが可能となる。
　また観察装置制御部２２１は、各推定位置に対して所定の方法により優先度を付与し、優先度が高い順に各推定位置の拡大観察画像を撮像する。この優先度は、優先度が高いほど、候補位置検出処理部２２２によって拡大観察候補として検出されることがより確実であるように算出される。
　これにより、観察装置制御部２２１は、候補位置検出処理部２２２から拡大観察候補の座標の一覧を取得するまでの間に、この一覧に含まれるより多くの拡大観察候補に対する拡大観察画像の撮像を先に済ませておくことが可能となる。
　なお、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
　例えば、上記実施形態では培養容器１枚を観察するという内容で説明したが、培養容器複数枚を載置できるトレーを用いて複数枚を同時に観察しても良い。　
　また、上記実施形態では全体観察部１０の撮像部にＣＭＯＳカメラ１２を、拡大観察部２０の撮像部にＣＣＤカメラ２４を用いることとしたが、カメラの種類としてはＣＭＯＳカメラ、ＣＣＤカメラいずれを用いても良い。
　　　Ｓ　　観察システム
　　　１　　観察装置
　　　２　　本体（筐体）
　　　１０　全体観察部
　　　１１　レンズ（全体観察光学系）
　　　１２　ＣＭＯＳカメラ（撮像部）
　　　１３　リング照明（全体観察照明）
　　　２０　拡大観察部
　　　２１　対物レンズ（拡大観察光学系、レンズ部）
　　　２２　反射ミラー（拡大観察光学系）
　　　２３　ズームレンズ（拡大観察光学系）
　　　２４　ＣＣＤカメラ（撮像部）
　　　２５　位相差照明部（拡大観察照明）
　　　２６　対物レンズカバー（カバー部材）
　　　２７　窓部
　　　３０　搬送部
　　　４０　駆動部
　　　５０　ＩＣタグリーダ
　　　５１　ＩＣタグ
　　　１００　制御装置
　　　２００　コンピュータ
　　　２０１　演算部
　　　２０２　計時部
　　　２１０　記憶部
　　　２１１　観察履歴テーブル
　　　２１２　観察画像
　　　２２０　観察制御プログラム
　　　２２１　観察装置制御部
　　　２２２　候補位置検出処理部
　　　２２３　詳細判定処理部
　　　Ｃ　　容器

Claims (11)

  1. 　試料と溶液とが入った容器の中で前記試料が寄り集まって形成される試料塊を観察する観察システムであって、
    　前記容器の全体を撮像する全体撮像部と、
    　前記容器の全体を撮像することで得られる全体観察画像から、前記容器中に形成されている試料塊を特定する試料塊特定部と、
    　前記試料塊特定部により特定された前記試料塊を含む前記容器中の一部の領域を拡大して撮像する拡大撮像部と、
    　前記試料塊の位置情報を、日時情報と対応付けて記憶する履歴情報記憶部と、
    を備え、
    　前記拡大撮像部は、
    　前記試料塊特定部が前記試料塊を特定する処理を行っている間に、前記履歴情報記憶部に記憶されている過去の前記位置情報に基づいて、前記容器中の一部の領域を拡大して撮像する
    ことを特徴とする観察システム。
  2. 　請求項１に記載の観察システムであって、
    　前記拡大撮像部は、前記試料塊特定部により前記試料塊が特定された際に、当該試料塊を含む領域が既に撮像されている場合には、当該領域の撮像を行わない
    ことを特徴とする観察システム。
  3. 　請求項１又は２に記載の観察システムであって、
    　前記拡大撮像部は、前記試料塊特定部が前記試料塊を特定する処理を行っている間に、前記履歴情報記憶部に同一の試料塊の位置情報であると推測される前記位置情報が所定個数以上記憶されている場合に、当該位置情報に基づいて前記容器中の試料塊の推定位置を求め、前記推定位置を含む前記容器中の一部の領域を拡大して撮像する
    ことを特徴とする観察システム。
  4. 　請求項３に記載の観察システムであって、
    　前記拡大撮像部は、前記履歴情報記憶部に記憶されている第１位置情報と第２位置情報との差分が所定範囲内である場合に、前記第１位置情報と前記第２位置情報とを同一の試料塊の位置情報であると推測する
    ことを特徴とする観察システム。
  5. 　請求項１又は２に記載の観察システムであって、
    　前記拡大撮像部が前記試料塊特定部により特定された試料塊を含む前記容器中の一部の領域を拡大して撮像することで得られる拡大観察画像から所定の特徴量を抽出し、前記所定の特徴量に基づいて、前記拡大観察画像に撮像されている試料塊を観察対象とするか否かの判定を行い、判定結果を前記試料塊の位置情報と対応付けて前記履歴情報記憶部に記憶する詳細判定部と、
    をさらに備え、
    　前記拡大撮像部は、前記試料塊特定部が前記容器中の試料塊を特定する処理を行っている間に、前記履歴情報記憶部に記憶されている過去の前記位置情報のうち、前記観察対象と判定された試料塊の位置情報に基づいて、前記容器中の試料塊の推定位置を求め、前記推定位置を含む前記容器中の一部の領域を拡大して撮像する
    ことを特徴とする観察システム。
  6. 　請求項１又は２に記載の観察システムであって、
    　前記拡大撮像部が前記試料塊特定部により特定された試料塊を含む前記容器中の一部の領域を拡大して撮像した際に、当該試料塊を撮像済みである旨を示す情報を、当該試料塊の位置情報と対応付けて前記履歴情報記憶部に記憶する観察装置制御部と、
    をさらに備え、
    　前記拡大撮像部は、
    　前記試料塊特定部が前記容器中の試料塊を特定する処理を行っている間に、前記履歴情報記憶部に記憶されている過去の前記位置情報のうち、前記撮像済みである旨を示す情報と対応付けられている位置情報に基づいて、前記容器中の試料塊の推定位置を求め、前記推定位置を含む前記容器中の一部の領域を拡大して撮像する
    ことを特徴とする観察システム。
  7. 　請求項１又は２に記載の観察システムであって、
    　前記拡大撮像部が前記試料塊特定部により特定された試料塊を含む前記容器中の一部の領域を拡大して撮像した際に、当該試料塊を撮像済みである旨を示す情報を、当該試料塊の位置情報と対応付けて前記履歴情報記憶部に記憶する観察装置制御部と、
    をさらに備え、
    　前記拡大撮像部は、
    　前記試料塊特定部が前記容器中の試料塊を特定する処理を行っている間に、前記履歴情報記憶部に記憶されている過去の前記位置情報のうち、前記撮像済みである旨を示す情報と対応付けられていない位置情報に基づいて、前記容器中の試料塊の推定位置を求め、前記推定位置を含む前記容器中の一部の領域を拡大して撮像する
    ことを特徴とする観察システム。
  8. 　請求項１又は２に記載の観察システムであって、
    　前記試料塊特定部により特定された試料塊を含む前記容器中の一部の領域を前記拡大撮像部が拡大して撮像した際に、当該試料塊を撮像済みである旨を示す情報を、当該試料塊の位置情報と対応付けて前記履歴情報記憶部に記憶する観察装置制御部と、
    　前記拡大撮像部が前記一部の領域を拡大して撮像することで得られる拡大観察画像から所定の特徴量を抽出し、抽出した前記所定の特徴量に基づいて、前記拡大観察画像に撮像されている前記試料塊を観察対象とするか否かの判定を行い、判定結果を前記試料塊の位置情報と対応付けて前記履歴情報記憶部に記憶する詳細判定部と、
    をさらに備え、
    　前記拡大撮像部は、
    前記試料塊特定部が前記容器中の試料塊を特定する処理を行っている間に、
    前記履歴情報記憶部に記憶されている過去の複数の前記位置情報のうち、
    前記観察対象とするとの判定結果と対応付けられている位置情報に基づいて前記容器中の試料塊の第１の推定位置を求め、前記第１の推定位置を含む前記容器中の領域を拡大して撮像し、その後、
    前記撮像済みである旨を示す情報と対応付けられている位置情報に基づいて前記容器中の試料塊の第２の推定位置を求め、前記第２の推定位置を含む前記容器中の領域を拡大して撮像し、その後、
    前記撮像済みである旨を示す情報と対応付けられていない位置情報に基づいて前記容器中の試料塊の第３の推定位置を求め、前記第３の推定位置を含む前記容器中の領域を拡大して撮像する
    ことを特徴とする観察システム。
  9. 　請求項１～８に記載の観察システムであって、
    　前記容器に収容される前記試料は細胞であり、前記溶液は前記細胞の培養液であることを特徴とする観察システム。
  10. 　試料と溶液とが入った容器の中で前記試料が寄り集まって形成される試料塊を観察する観察システムを制御するコンピュータに、
    　前記容器の全体を撮像する手順と、
    　前記容器の全体を撮像することで得られる全体観察画像から、前記容器中に形成されている試料塊を特定する手順と、
    　特定された前記試料塊を含む前記容器中の一部の領域を拡大して撮像する手順と、
    　前記試料塊の位置情報を、日時情報と対応付けて履歴情報記憶部に記憶する手順と、
    　前記試料塊を特定する処理を行っている間に、前記履歴情報記憶部に記憶されている過去の前記位置情報に基づいて、前記容器中の一部の領域を拡大して撮像する手順と、
    を実行させるプログラム。
  11. 　試料と溶液とが入った容器の中で前記試料が寄り集まって形成される試料塊を観察する観察システムの制御方法であって、
    　前記観察システムが、前記容器の全体を撮像し、
    　前記観察システムが、前記容器の全体を撮像することで得られる全体観察画像から、前記容器中に形成されている試料塊を特定し、
    　前記観察システムが、特定された前記試料塊を含む前記容器中の一部の領域を拡大して撮像し、
    　前記観察システムが、前記試料塊の位置情報を、日時情報と対応付けて履歴情報記憶部に記憶し、
    　前記観察システムが、前記試料塊を特定する処理を行っている間に、前記履歴情報記憶部に記憶されている過去の前記位置情報に基づいて、前記容器中の一部の領域を拡大して撮像する、
    ことを特徴とする観察システムの制御方法。
PCT/JP2012/080381 2011-12-22 2012-11-22 観察システム、プログラム及び観察システムの制御方法 WO2013094365A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013508322A JP5274731B1 (ja) 2011-12-22 2012-11-22 観察システム、プログラム及び観察システムの制御方法
US13/946,421 US9145572B2 (en) 2011-12-22 2013-07-19 Observation system, recording medium, and control method of observation system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011281559 2011-12-22
JP2011-281559 2011-12-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/946,421 Continuation US9145572B2 (en) 2011-12-22 2013-07-19 Observation system, recording medium, and control method of observation system

Publications (1)

Publication Number Publication Date
WO2013094365A1 true WO2013094365A1 (ja) 2013-06-27

Family

ID=48668264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/080381 WO2013094365A1 (ja) 2011-12-22 2012-11-22 観察システム、プログラム及び観察システムの制御方法

Country Status (3)

Country Link
US (1) US9145572B2 (ja)
JP (1) JP5274731B1 (ja)
WO (1) WO2013094365A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016023942A (ja) * 2014-07-16 2016-02-08 オリンパス株式会社 細胞観察情報処理システム、細胞観察情報処理方法、細胞観察情報処理プログラム
WO2017038887A1 (ja) * 2015-08-31 2017-03-09 アイ・ピース株式会社 多能性幹細胞製造システム
CN108107045A (zh) * 2017-12-28 2018-06-01 王东妮 一种新型一体式微生物检验装置
JP2018087770A (ja) * 2016-11-29 2018-06-07 株式会社リコー 液滴分注装置、液滴分注方法、及び被着対象物
WO2018194036A1 (ja) * 2017-04-19 2018-10-25 国立大学法人東京医科歯科大学 上皮細胞の水分泌機能測定方法
WO2019003274A1 (ja) * 2017-06-26 2019-01-03 オリンパス株式会社 細胞観察システム
CN113940263A (zh) * 2021-11-15 2022-01-18 中国农业科学院都市农业研究所 一种用于植物生产的照护装置
US11461892B2 (en) 2017-06-26 2022-10-04 Evident Corporation Cell observation system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6698451B2 (ja) * 2016-07-11 2020-05-27 オリンパス株式会社 観察装置
EP3651830B1 (en) * 2017-07-14 2023-08-30 Sanofi Packaging assembly

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04326993A (ja) * 1991-04-24 1992-11-16 Hitachi Ltd 微生物監視装置及びその方法
JPH08338705A (ja) * 1995-06-14 1996-12-24 Olympus Optical Co Ltd 顕微鏡の測定部位位置合せ装置
JP2009282198A (ja) * 2008-05-21 2009-12-03 Nikon Corp 顕微鏡装置
JP2010112969A (ja) * 2008-11-04 2010-05-20 Olympus Corp 共焦点顕微鏡
JP2010527007A (ja) * 2007-05-07 2010-08-05 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 細胞アッセイ及び組織の自動解析のためのシステム及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330349B1 (en) * 1995-11-30 2001-12-11 Chromavision Medical Systems, Inc. Automated method for image analysis of residual protein
JP4490154B2 (ja) 2004-04-07 2010-06-23 株式会社カネカ 細胞培養装置
US20080279441A1 (en) * 2005-03-29 2008-11-13 Yuichiro Matsuo Cell-Image Analysis Method, Cell-Image Analysis Program, Cell-Image Analysis Apparatus, Screening Method, and Screening Apparatus
US20070231785A1 (en) * 2006-04-04 2007-10-04 Hoyt Clifford C Biological sample handling and imaging
JP5292846B2 (ja) 2008-02-20 2013-09-18 株式会社ニコン 観察装置と、観察方法
DK200801722A (en) * 2008-12-05 2010-06-06 Unisensor As Optical sectioning of a sample and detection of particles in a sample
US8435738B2 (en) * 2011-09-25 2013-05-07 Theranos, Inc. Systems and methods for multi-analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04326993A (ja) * 1991-04-24 1992-11-16 Hitachi Ltd 微生物監視装置及びその方法
JPH08338705A (ja) * 1995-06-14 1996-12-24 Olympus Optical Co Ltd 顕微鏡の測定部位位置合せ装置
JP2010527007A (ja) * 2007-05-07 2010-08-05 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 細胞アッセイ及び組織の自動解析のためのシステム及び方法
JP2009282198A (ja) * 2008-05-21 2009-12-03 Nikon Corp 顕微鏡装置
JP2010112969A (ja) * 2008-11-04 2010-05-20 Olympus Corp 共焦点顕微鏡

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016023942A (ja) * 2014-07-16 2016-02-08 オリンパス株式会社 細胞観察情報処理システム、細胞観察情報処理方法、細胞観察情報処理プログラム
US11286454B2 (en) 2015-08-31 2022-03-29 I Peace, Inc. Pluripotent stem cell manufacturing system and method for producing induced pluripotent stem cells
WO2017038887A1 (ja) * 2015-08-31 2017-03-09 アイ・ピース株式会社 多能性幹細胞製造システム
US11912977B2 (en) 2015-08-31 2024-02-27 I Peace, Inc. Pluripotent stem cell production system
US11518974B2 (en) 2015-08-31 2022-12-06 I Peace, Inc. Pluripotent stem cell production system
US10508260B2 (en) 2015-08-31 2019-12-17 I Peace, Inc. Pluripotent stem cell production system
JP2018087770A (ja) * 2016-11-29 2018-06-07 株式会社リコー 液滴分注装置、液滴分注方法、及び被着対象物
WO2018194036A1 (ja) * 2017-04-19 2018-10-25 国立大学法人東京医科歯科大学 上皮細胞の水分泌機能測定方法
JP2018174874A (ja) * 2017-04-19 2018-11-15 国立大学法人 東京医科歯科大学 上皮細胞の水分泌機能測定方法
JPWO2019003274A1 (ja) * 2017-06-26 2020-04-23 オリンパス株式会社 細胞観察システム
US11461892B2 (en) 2017-06-26 2022-10-04 Evident Corporation Cell observation system
US11493745B2 (en) 2017-06-26 2022-11-08 Evident Corporation Cell observation system
WO2019003274A1 (ja) * 2017-06-26 2019-01-03 オリンパス株式会社 細胞観察システム
CN108107045B (zh) * 2017-12-28 2020-09-18 王东妮 一种新型一体式微生物检验装置
CN108107045A (zh) * 2017-12-28 2018-06-01 王东妮 一种新型一体式微生物检验装置
CN113940263A (zh) * 2021-11-15 2022-01-18 中国农业科学院都市农业研究所 一种用于植物生产的照护装置
CN113940263B (zh) * 2021-11-15 2023-04-07 中国农业科学院都市农业研究所 一种用于植物生产的照护装置

Also Published As

Publication number Publication date
US9145572B2 (en) 2015-09-29
US20130309710A1 (en) 2013-11-21
JP5274731B1 (ja) 2013-08-28
JPWO2013094365A1 (ja) 2015-04-27

Similar Documents

Publication Publication Date Title
JP5274731B1 (ja) 観察システム、プログラム及び観察システムの制御方法
JP5677441B2 (ja) 観察装置、観察プログラム及び観察システム
JP6005660B2 (ja) 観察システム、観察システムの制御方法及びプログラム
JP5145487B2 (ja) 観察プログラムおよび観察装置
US8588504B2 (en) Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation
US20120134571A1 (en) Cell classification method, image processing program and image processing device using the method, and method for producing cell aggregation
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
US20050117144A1 (en) Automated protein crystallization imaging
US20110002525A1 (en) Method for distinguishing living cells during cell observation, image processing program for cell observation, and image processing device
EP1631817B1 (en) System for organizing multiple objects of interest in field of interest
JP4774835B2 (ja) 顕微鏡
JP2021515912A (ja) ディジタル病理スキャニング・インターフェースおよびワークフロー
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
JP5445499B2 (ja) 観察装置
CN113166701A (zh) 用于细胞培养监测的紧凑型光学成像系统
WO2022202368A1 (ja) 細胞計数方法、細胞計数のための機械学習モデルの構築方法、コンピュータープログラムおよび記録媒体
CN109856015A (zh) 一种癌细胞自动诊断的快速处理方法及其系统
JP5440534B2 (ja) 観察システム及び観察プログラム
EP4125065A1 (en) Image processing method and classification model construction method
JP2012042668A (ja) 顕微鏡制御装置及び領域判定方法
JP2012042327A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013508322

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12858706

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12858706

Country of ref document: EP

Kind code of ref document: A1