WO2012117647A1 - 観察プログラムおよび観察装置 - Google Patents

観察プログラムおよび観察装置 Download PDF

Info

Publication number
WO2012117647A1
WO2012117647A1 PCT/JP2011/079763 JP2011079763W WO2012117647A1 WO 2012117647 A1 WO2012117647 A1 WO 2012117647A1 JP 2011079763 W JP2011079763 W JP 2011079763W WO 2012117647 A1 WO2012117647 A1 WO 2012117647A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
sample
lump
image
unit
Prior art date
Application number
PCT/JP2011/079763
Other languages
English (en)
French (fr)
Inventor
小田　淳志
三木夫 北條
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Priority to JP2012541273A priority Critical patent/JP5145487B2/ja
Priority to CN2011800649882A priority patent/CN103329027A/zh
Publication of WO2012117647A1 publication Critical patent/WO2012117647A1/ja
Priority to US13/729,264 priority patent/US9189677B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0088—Inverse microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1493—Particle size
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements

Definitions

  • the present invention relates to an observation program and an observation apparatus.
  • observation of cells using a microscope requires a lot of labor. For example, in order to identify the cell mass expressed in the container, it is necessary to first observe the entire container visually or with a microscope, etc., and further observe the growth status of each cell mass by switching the objective lens etc. Must. In the magnified observation, the field of view is narrow, it is difficult to search for the target cell mass, and it is also difficult to match the cell mass to the visual field. In addition, when observing cells, it is desired to perform time-lapse observation in which long-term changes are observed at regular intervals from the time of expression of cell mass to the completion of growth. Immediately after cell seeding, the cell mass cannot be observed visually or with a low-magnification microscope, so the observation position must be reset by re-searching several days later.
  • the observation apparatus described in Patent Document 1 includes at least two imaging optical systems having different magnifications for imaging an object to be observed, and a low-magnification imaging optical system that simultaneously captures image feature amounts captured by a high-magnification imaging optical system.
  • the reference value of the low-magnification image is calculated so that the image feature amount at is substantially equal.
  • Patent Document 1 uses the common light source for the high-magnification imaging optical system and the low-magnification imaging optical system, it is possible to observe the details of the cells in the container. Can not.
  • a high-magnification imaging optical system requires illumination such as a point light source and a ring slit used in a phase-difference optical system suitable for observing almost transparent cells in a minute area.
  • illumination such as a flat light source suitable for observing a relatively wide field of view is necessary, and different illumination is necessary. That is, even if the distribution of the cells in the container can be observed, there is a concern that the identification of the cell mass expressed in the container may fail or the target cell mass may be mistakenly identified. In addition, it is not considered that observation is continued from the time of expression of the cell mass until the completion of growth.
  • the present invention has been made in view of the above points, and in observing a sample such as a cell in a container, it is possible to identify the sample mass expressed by observing the entire container, and further expand the identified sample mass.
  • An object is to provide an observation apparatus capable of observing details. It is another object of the present invention to provide an observation program and an observation system capable of performing observation continuously from the time when the specified sample mass is expressed until the completion of growth.
  • the main present invention that solves the above-described problems is based on the entire imaging process in which a computer captures an image of the sample by imaging the entire container containing the sample and the solution, and the image captured in the overall imaging process.
  • Sample lump identification processing for identifying a sample lump in which a plurality of samples gather together, and shape information of the sample lump identified by the sample lump identification processing are extracted, and the state of the sample lump is determined based on the shape information
  • An observation program characterized by causing a sample lump determination process to be executed.
  • the present invention it is possible to automatically select a sample lump having an appropriate shape for continuing observation. Therefore, by observing the sample lump having an inappropriate shape or lowering the observation order or stopping the observation, the sample lump having an appropriate shape can be observed more efficiently.
  • FIG. 1 is a configuration diagram of an observation system according to a first embodiment of the present invention. It is a vertical cross-section side view of the observation apparatus of the observation system shown in FIG. It is a vertical cross-sectional front view of the observation apparatus of the observation system shown in FIG.
  • FIG. 3 is a vertical sectional side view of the observation apparatus similar to FIG. 2, showing a state where the container is moved to a position corresponding to the entire observation unit.
  • It is a block diagram which shows the structure of the computer of the observation system shown in FIG. It is explanatory drawing which shows the flow which concerns on operation of the observation system of FIG. It is a flowchart which shows the operation
  • the “predetermined size” is a preset size of the sample lump, which is a size that can be determined to be an object of magnification observation, and is defined by, for example, the number of pixels on the image It doesn't matter.
  • a specific example of the number of pixels as the predetermined size of the sample lump is appropriate as the predetermined size set to about 1000 pixels when the entire observation is performed with a camera of 5 million pixels and a field of view of 40 mm ⁇ 40 mm is imaged.
  • the “predetermined size” is set to “1000 pixels” with the number of pixels being set, but it is not limited to such a size. The same applies to the “predetermined size” used in the following means.
  • the “predetermined identification period” is a preset period for the timing of executing the identification of the sample lump to be magnified observation target, and is a period enough to determine when the sample lump is expressed For example, a period of several hours to several days can be set, but it can be appropriately set as necessary. Therefore, in the embodiment described later, “a predetermined period related to the identification of the sample lump” is set to “1 day”, but it is not limited to such a period. It should be noted that the term “predetermined period” used in other means does not necessarily indicate a period regarding the timing for executing the identification of the enlarged observation target sample mass, and does not indicate the same period in time.
  • predetermined identification days is a preset number of days for the timing of ending the identification of the enlarged observation target sample mass, and is arbitrarily set to a number of days such as 5, 7, 10, etc., for example. I do not care. In the embodiment described later, “predetermined days” is set to “5 days”, but it is not limited to such days.
  • the “predetermined imaging period” is a preset period for the timing of executing the imaging of the enlarged sample lump, and is a period enough to determine the growth process of the sample lump. For example, a period of several hours to several days can be set, but it can be appropriately set as necessary. Therefore, in the embodiment described later, the “predetermined period related to capturing an enlarged image” is set to “1 day”, but it is not limited to such a period. It should be noted that the term “predetermined period” used in other means does not indicate a period for the timing of executing imaging of an enlarged sample lump, and does not indicate the same period in time.
  • predetermined observation deadline is a preset deadline for timing of observing the sample, and is arbitrarily set to a deadline such as 10 days, 20 days, 30 days, etc. from the start of sample observation. It doesn't matter.
  • predetermined time limit is set to “10 days”, but it is not limited to such a time limit.
  • the “predetermined shape” is a preset shape of the sample lump, which is a shape that can be determined to be highly likely to continue to grow well for observation and is as close to a circle as possible, for example, Any value such as ellipticity may be set.
  • the “predetermined shape” is set to “ellipsity of 1.1 or less”, but the shape is not limited to such a shape.
  • a cell, a bacterium, a microorganism, or the like is described as a sample, for example, a culture solution as a solution.
  • a cell mass in which a plurality of cells gather together will be described as a sample mass.
  • FIGS. 1 is a configuration diagram of the observation system
  • FIG. 2 is a vertical sectional side view of the observation apparatus of the observation system
  • FIG. 3 is a vertical sectional front view of the observation apparatus
  • FIG. 4 is a vertical sectional side view of the observation apparatus.
  • FIG. 5 is a block diagram showing the configuration of the computer of the observation system, showing a state in which it is moved to a location corresponding to the observation unit.
  • the x-axis direction in FIGS. 2 and 3 is the left-right direction
  • the y-axis direction is the front-rear direction (the + y direction is the front, the ⁇ y direction is the rear)
  • the z-axis direction is the up-down direction.
  • the observation system S includes an observation device 1, a control device 100, and a computer 200 as shown in FIG.
  • the observation apparatus 1 is an apparatus for observing a sample such as a cell, to which a control apparatus 100 is connected.
  • the control device 100 is a device for controlling the observation device 1 and incorporates a driver and a controller (not shown) for driving the observation device 1.
  • the control device 100 is connected to the computer 200.
  • the computer 200 is, for example, a so-called personal computer, and executes an observation program (not shown) for observing a sample such as a cell. In other words, the computer 200 can send a command to the control device 100 to control the observation device 1 and execute acquisition, storage, and the like of an image captured during observation.
  • the observation apparatus 1 includes a main body 2 that is a casing thereof, and an entire observation unit 10, a magnification observation unit 20, a transport unit 30, and a drive unit 40.
  • the observation apparatus 1 is capable of observing using the whole observation unit 10 and the magnification observation unit 20 of the cells in the container C containing the cells arranged in the front center and the cell culture solution.
  • the transport unit 30 that grips the container C by the drive unit 40 can be moved to the desired direction and position on the front and rear and the left and right.
  • the main body 2 is supported by leg portions 3 provided at four locations with respect to the floor surface.
  • the container C is provided with a lid in order to prevent contamination from the outside of the container and contamination with other containers.
  • the overall observation unit 10 is provided in a front part inside the sealed housing of the main body 2, and includes a lens 11 that is an overall observation optical system, a CMOS camera 12 that is an imaging unit, and a ring illumination 13 that is overall observation illumination. It has.
  • the lens 11 is disposed above the moving space of the conveyance unit 30 that holds the container C, and is provided so that the inside of the container C can be observed downward.
  • the CMOS camera 12 is provided vertically above the lens 11 and is arranged so that its imaging element surface faces the lower lens 11.
  • the ring illumination 13 has a structure in which a plurality of LEDs mounted in an obliquely upward direction are arranged in a ring shape, and is arranged below the movement space of the transport unit 30. In addition, it has the space
  • the ring illumination 13 irradiates light toward the center of the ring obliquely above, and illuminates the cells in the container C that is the observation target of the transport unit 30 positioned above the ring illumination 13.
  • the CMOS camera 12 and the lens 11 are arranged so that their optical axes coincide with each other, and the ring illumination 13 is arranged so that the optical axis passes through the center of the ring illumination 13.
  • the overall observation unit 10 irradiates the container C with light using the ring illumination 13 to form an image obtained through the lens 11 on the imaging device surface of the CMOS camera 12, and the entire container C
  • the image of the cell in the container C is imaged by imaging. And since the imaged image is memorize
  • the whole observation part 10 irradiates light with respect to the container C diagonally upward from the lower part of the container C, the light which passes through the location where a cell exists among the bottom surfaces of the container C was scattered by the cell, and was scattered. Part of the light enters the camera and the cells appear white, light that passes through the cell-free area does not scatter, and the light does not enter the camera and appears black. In this way, it is possible to irradiate with light appropriate for identifying cells that are expressed and grow near the inner bottom surface of the container C. And the contrast which can recognize the outer shape of a cell as a white lump is obtained. In addition, by irradiating light from the lower side, an effect of preventing the cells from being crushed by the light reflected by the lid of the container C and being unable to be observed is obtained.
  • the magnifying observation unit 20 is a so-called phase-contrast microscope, and is provided at a location behind the whole observing unit 10 inside the sealed casing of the main body 2, and a magnifying observation optical system such as an objective lens 21, a reflection mirror 22, and a zoom lens 23. And a CCD camera 24 as an imaging unit and a phase difference illumination unit 25 as magnified observation illumination.
  • the objective lens 21 is disposed immediately below the moving space of the transport unit 30 and is provided so that the inside of the container C can be observed upward.
  • An objective lens cover 26 that is a cover member for preventing the heat generated in the lower main body 2 from affecting the container C around the objective lens 21 that is the lens portion closest to the bottom surface of the container C. Is provided.
  • a window portion 27 is provided at the top end of the objective lens cover 26 and between the objective lens 21 and the container C.
  • heat is generated and filled by the motor, camera, and illumination in the sealed casing, and also stays near the objective lens 21 and tries to spread upward.
  • the cover covering the entire magnifying observation optical system is used instead of the objective lens cover 26 having a small area, the proximity of the magnifying observation optical system and the bottom surface of the container C facilitates the transfer of heat in the housing, and the culture solution temperature rises. It becomes easy.
  • the objective lens cover 26 has an almost no gap between the bottom surface of the container C and the objective lens cover 26 by reducing the area of the portion approaching the bottom surface of the container C as much as possible. This suppresses the effect of heat.
  • the objective lens cover 26 covers only the periphery of the objective lens 21, the surface area of the objective lens cover 26 can be increased. Therefore, heat can be dissipated in the lateral direction of the objective lens cover 26 where air easily flows. It is possible to suppress heat transfer to the container C.
  • the objective lens cover 26 having the window 27 that covers only the periphery of the objective lens 21 between the magnification observation optical system and the container C, the heat generated by the magnification observation optical system is contained in the container. It becomes difficult to be transmitted to C. Therefore, it is possible to suppress the influence of the heat generated by the lens driving system on cell growth.
  • the reflection mirror 22 is disposed below the objective lens 21 and is inclined so as to reflect light substantially horizontally toward the rear.
  • the reflection mirror 22 guides the image obtained from the objective lens 21 to the rear zoom lens 23.
  • the zoom lens 23 is arranged behind the reflecting mirror 22 so as to extend in the front-rear direction, and enlarges the image obtained from the objective lens 21.
  • the CCD camera 24 is provided further rearward of the zoom lens 23 and is arranged so that the image pickup element surface faces the front zoom lens 23.
  • the phase difference illumination unit 25 is provided on the upper part of the main body 2 and includes an LED 25a and a reflection mirror 25b.
  • LED25a irradiates the light which illuminates the cell in the container C which is the observation object of the conveyance part 30 located under the phase difference illumination part 25.
  • the reflection mirror 25b is disposed vertically above the objective lens 21, and reflects light so that the light irradiated by the LED 25a reaches the objective lens 21 through the container C.
  • the magnification observation unit 20 irradiates the container C with light using the phase difference illumination unit 25, so that an image obtained through the objective lens 21, the reflection mirror 22, and the zoom lens 23 can be obtained from the CCD camera 24.
  • An image is formed on the surface of the imaging element, and a part of the region in the container C is enlarged to capture the cells in the container C as an image. And since the imaged image is memorize
  • the magnification observation unit 20 has a plurality of lenses for magnifying and observing cells and a zoom mechanism that has a relatively heavy weight, the magnification observation optical system is disposed below, so that the weight balance of the apparatus is properly adjusted. Thus, stable magnification observation becomes possible. And since the objective lens 21 can be approached from the lower part of the container C with respect to the cell which expresses and grows in the vicinity of the inner bottom face of the container C, it is possible to observe with a relatively large magnification by shortening the focal length. It is. Furthermore, since the magnifying observation unit 20 observes from below the container C, the observation can be performed without being affected by dirt on the lid of the container C.
  • the transport unit 30 is a front center portion of the main body 2, and includes a ring illumination 13 of the lower overall observation unit 10 and an enlarged observation optical system of the enlarged observation unit 20, and an overall observation optical system and enlarged observation of the upper overall observation unit 10. It is provided in a form sandwiched between the phase difference illumination unit 25 of the unit 20.
  • the transport unit 30 includes a holder 31, and the holder 31 holds a container C containing cells to be observed and a cell culture medium.
  • the holder 31 is positioned with respect to the entire observation unit 10 and the magnification observation unit 20, and the container C is positioned with respect to the holder 31. Thereby, even if the container C and the holder 31 are removed together and the culture solution is exchanged or a reagent is introduced, it is easy to observe the same part in the whole observation unit 10 and the magnification observation unit 20.
  • the drive unit 40 is provided at the rear and side of the transport unit 30 and includes an x-axis drive mechanism 41, an x-axis motor 42, a y-axis drive mechanism 43, a y-axis motor 44, a z-axis motor 45, and a zoom motor 46. Yes. As shown in FIGS. 2 and 3, the observation apparatus 1 will be described with the left-right direction as the x-axis, the front-back direction as the y-axis, and the up-down direction as the z-axis.
  • the x-axis drive mechanism 41 is disposed immediately behind the transport unit 30 and directly supports the transport unit 30.
  • the x-axis drive mechanism 41 includes a belt, a pulley, a slide guide member, a shaft, and the like (not shown) and is driven by an x-axis motor 42 to move the transport unit 30 in the left-right direction.
  • the y-axis drive mechanism 43 is disposed on the side surface of the transport unit 30 and the main body 2 and supports the x-axis drive mechanism 41.
  • the y-axis drive mechanism 43 includes a belt, a pulley, a slide guide member, and the like (not shown), and is driven by a y-axis motor 44 to move the transport unit 30 in the front-rear direction together with the x-axis drive mechanism 41 (see FIG. 4).
  • the transport unit 30 transports the container C from the overall observation unit 10 to the magnification observation unit 20 or in the opposite direction. Since the container C is moved, even if the whole observation unit 10 and the magnified observation unit 20 are arranged at a distant place, the cell mass expressed by observing the entire container C can be specified. It becomes possible to enlarge and observe details.
  • the transport unit 30 transports the container C in a direction perpendicular to the optical axis direction of the entire observation unit 10 and the magnification observation unit 20 as described above, and at least one direction of the transport direction, that is, the front-rear direction is set.
  • the coordinates in the observation field of the entire observation unit 10 are made to coincide with the coordinates in the observation field of the magnification observation unit 20.
  • the whole cell observation unit 10 observes and identifies the whole cell C easily in the magnification observation unit 20. Can be identified. Therefore, it is possible to prevent the target cell mass from being mistakenly identified, and to realize highly accurate observation.
  • the z-axis motor 45 and the zoom motor 46 are disposed in the main body 2 behind the transport unit 30.
  • the z-axis motor 45 is a motor for moving the magnification observation optical system and the CCD camera 24 in the vertical direction.
  • the zoom motor 46 is a motor for changing the magnification of the zoom lens 23, and can change the magnification of an image to be captured.
  • the computer 200 includes at least a calculation unit 201 as shown in FIG. In addition, you may provide the memory
  • the calculation unit 201 is configured by a general microcomputer and other electronic components, and a series of observations related to the observation apparatus 1 based on the observation program 220 and other data stored and input in the microcomputer, the storage unit 210, and the like. Control the behavior. Note that an image processing unit that processes an image captured by the overall observation unit 10 or the magnification observation unit 20 may be provided separately.
  • the observation program 220 executed by the calculation unit 201 includes a cell cluster identification unit 221, a cell cluster sorting unit 222, a coordinate detection unit 223, a coordinate conversion unit 224, a cell as shown in the functional block diagram of FIG.
  • a lump extraction unit 225, a shape identification unit 226, and a shape determination unit 227 are provided.
  • the observation program 220 sends a command to the overall observation unit 10 of the observation apparatus 1 in addition to each of these processing blocks, and causes the whole observation unit 20 to take an image of the cell by imaging the entire container C and the magnification observation unit 20.
  • An enlargement imaging process for sending an instruction and enlarging the inside of the container C to take an image of a cell is executed.
  • the cell cluster identification unit 221 first converts it to a gray image, and then distinguishes a non-cell cluster part and a cell cluster part of the image captured by the entire imaging process using a predetermined threshold. Thereby, the part which is not a cell mass is binarized to black, and the cell mass part is binarized to white. Then, the number of cells, that is, white pixels is calculated.
  • a method for calculating the number of white pixels for example, a labeling method for calculating a connected region of white pixels, or a method for calculating a region so that the number of white pixels in a predetermined small region at an arbitrary position is as large as possible. Area methods are listed.
  • the labeling method is a method for identifying cell clusters based on the size of a single white pixel region and the density of white pixel regions
  • the small region method is a method for identifying cell clusters based on the number, number, and density of white pixel regions. It is.
  • the cell mass may be identified by the degree of isolation (the degree that individual cell masses are present at a predetermined distance).
  • the labeling method is adopted.
  • the labeling process is a process of grouping a plurality of pixels by assigning the same number (label) to adjacent white pixels (or black pixels) for the binarized image. Adjacent determination in the labeling process uses 4 connections (near 4) and 8 connections (near 8). In the case of 4-connection, if the pixel of interest is continuous in the vertical and horizontal directions, it is determined that the pixel is adjacent. In this way, the cell mass identification unit 221 identifies the white pixel mass binarized from the image captured in the entire imaging process, that is, the cell mass.
  • the cell mass identification unit 221 recognizes a cell mass of a predetermined size or more among the identified cell masses as a cell group for enlargement observation.
  • the “predetermined size” is a preset size of the cell mass, and is a size that can be determined to be an object of magnification observation.
  • the predetermined size is set to 1000 pixels as the number of pixels, for example, and stored in the storage unit 210 or the like.
  • the cell mass sorting unit 222 performs sorting in order from the cell mass identified by the cell mass identifying unit 221, that is, the white pixel mass, in descending order of the number of pixels. Then, for example, a predetermined number of cell clusters are selected as an observation target in order from the largest number of pixels.
  • the coordinate detection unit 223 detects the cell coordinates identified by the cell cluster identification unit 221, and the center coordinates of the cell clusters sorted by the cell cluster sorting unit 222, that is, the clusters of white pixels.
  • the coordinate conversion unit 224 first calculates the coordinates of the pixels on the image captured by the entire imaging process. Then, it is converted into an actual size with the image center as the origin. Here, various aberrations such as image distortion may be corrected. Further, the coordinate conversion unit 224 converts the actual size into the number of motor pulses of the x-axis motor 42 and the y-axis motor 44 of the drive unit 40 of the observation apparatus 1 so as to match the position on the image represented by the actual size. In this way, the coordinate conversion unit 224 forms a common coordinate system in which the coordinates on the image captured by the enlargement imaging process coincide with the coordinates on the image captured by the overall imaging process.
  • the cell mass extraction unit 225 extracts the cell mass at the coordinates detected by the coordinate detection unit 223 from the image captured by the enlargement imaging process.
  • the shape identifying unit 226 first matches the image captured by the magnification imaging process with a patch image prepared in advance. As a matching result, a distance image expressed by shading between the image captured by the magnification imaging process and the patch image is obtained. Then, the shape identifying unit 226 performs binarization processing on the distance image using a predetermined threshold value. Examples of the matching method include template matching and histogram matching.
  • the image to be determined that is, the image captured by the enlargement imaging process is raster-scanned with a patch image to calculate the distance between the two. When preparing a large number of patch images, the distance images of the matching results are integrated. Note that even when there are a plurality of cell clusters in the image captured by the magnification imaging process, the shape identifying unit 226 can identify each cell cluster as a separate one.
  • the shape identifying unit 226 detects the contour in the binarized image by executing contour extraction using, for example, an edge extraction filter and contour tracking by 8-connected search.
  • an edge extraction filter for contour extraction for example, a differential filter, a pre-wit filter, a Sobel filter, a canny edge detector, or the like can be used.
  • contour tracking a contour line can be extracted by sequentially tracking contour points in one direction from the contour tracking start point, and a 4-connected search can also be used.
  • the shape identifying unit 226 detects a predetermined shape such as a circle, an ellipse, or a rectangle from the contour detection result.
  • a Hough transform or the like can be used as a method for detecting a circle from an outline or an edge.
  • a technique for detecting an ellipse from an outline or an edge a technique of fitting an ellipse to a point sequence of an outline by generalized Hough transform or least square estimation can be used.
  • a technique for fitting a rectangle so as to include all points of the outline can be used. In this way, the shape identifying unit 226 extracts the outline of the cell cluster from the image captured by the magnification imaging process, and identifies the shape.
  • the shape determination unit 227 determines whether or not the shape of the cell mass identified by the shape identification unit 226 is a predetermined shape.
  • the “predetermined shape” is a preset shape of the cell mass, and is a shape that can be determined to be highly likely to continue to grow suitably for observation, and is preferably as close to a circle as possible.
  • the shape determination condition includes, for example, the ellipticity of an ellipse surrounding the outline, the roundness of a circle surrounding the outline, and the like.
  • the size determination conditions include, for example, the size of the white pixel block, the length of the outline of the white pixel block, the area inside the outline of the white pixel block, the long axis length of the ellipse, the short axis length of the ellipse, Examples include the length of the circumference, the diameter of the circle, the length of the circumference, the length of the rectangle surrounding the outline, and the area of the rectangle surrounding the outline.
  • the conditions for determining the degree of unevenness include, for example, the ratio between the contour area and the perimeter, the ratio between the contour area and the rectangular area surrounding the contour, the ratio between the contour length and the rectangular length surrounding the contour, and the number of contour corners.
  • the ratio with the area of an ellipse, the ratio of the length of the rectangle surrounding an outline, and the length of the circle or ellipse surrounding an outline, etc. are mentioned.
  • Harris corner detection or a SUSAN operator can be used as a corner detection method for determination based on the number of contour corners.
  • the determination condition of the predetermined shape of the cell mass is set to 1.1 or less, for example, as ellipticity, and is stored in the storage unit 210 or the like.
  • the ellipticity is the ratio of the major axis length to the minor axis length of the ellipse.
  • the cell mass images are sorted and displayed on the monitor 204a based on the superiority or inferiority of the determination result (if ellipticity is elliptic, A method may be used in which the cell mass is displayed in ascending order and the user determines which cell mass is suitable.
  • a threshold for example, ellipticity 1.1
  • the storage unit 210 stores various data related to cell observation and the operation of the observation system S.
  • the observation timing holding unit 211 the observation position holding unit 212, the position update availability holding unit 213, and the threshold holding unit. 214, a shape holding unit 215, and an observation image holding unit 216.
  • the observation timing holding unit 211 holds various data related to the date and time such as the period, the number of days, and the time limit related to the observation. For example, a “predetermined identification period” that is a predetermined period related to the identification of the cell mass set for the timing for executing the identification of the enlarged observation target cell mass, and a predetermined number of days set for the timing for ending the identification of the enlarged observation target cell mass. “Predetermined number of identification days”, “predetermined imaging period” which is a predetermined period regarding the imaging of the enlarged image set for the timing of executing imaging of the expanded cell mass, and “predetermined predetermined time limit for the timing of ending the cell observation” Data such as “predetermined observation deadline”. These data are appropriately used as determination conditions in the observation program 220 and compared with the date and time measured by the time measuring unit 202.
  • the observation position holding unit 212 holds data such as the observation position (coordinates) of the cell mass obtained by the entire observation and the observation position (coordinates) set manually.
  • the position update availability holding unit 213 updates the observation position of the cell cluster obtained in the previous overall observation and stored in the observation position holding unit 212 according to the predetermined identification period stored in the observation timing holding unit 211. Keep the flag.
  • the threshold holding unit 214 holds various data related to the threshold related to observation. For example, data such as a threshold value for determining whether a white pixel or a black pixel is used in binarization processing, a threshold value for the number of pixels for determining whether or not a labeled white pixel block is extracted as a cell block, and the like It is.
  • the threshold value holding unit 214 holds a threshold value for identifying a cell mass that can preferably grow when performing the shape identification process. For example, to determine by the threshold of the number of pixels for determination by the size of the white pixel block, the threshold of the length of the contour for determination by the length of the outline of the white pixel block, and the area inside the outline of the white pixel block Area threshold, roundness threshold for determining the roundness of the circle surrounding the outline, elliptical long axis to elliptical axis ratio threshold for determining the ellipticity of the ellipse surrounding the outline, circle Judging by the diameter threshold for judging by the diameter of the circle, the threshold of the circumference for judging by the length of the circumference, the threshold of the major axis for judging by the major axis length of the ellipse, and judging by the minor axis length of the ellipse Threshold for short axis, threshold for ellipse circumference for judging by the length of the
  • the shape holding unit 215 holds the result of cell shape identification processing for all methods of shape identification processing.
  • the observation image holding unit 216 holds an enlarged observation image and a whole observation image.
  • the observation timing holding unit 211 and the threshold holding unit 214 also function as a setting unit that allows the user to change various settings related to the observation program 220 as appropriate.
  • Items that can be set using the observation timing holding unit 211 include setting items such as the timing at which an image is captured in the overall observation unit 10 and the magnification observation unit 20, the period, the number of days, and the time limit for observation.
  • Items that can be set using the threshold value holding unit 214 include, for example, a predetermined size of a cell mass, which is a criterion for the enlarged observation target cell mass, and a criterion for determining whether the cell mass is in an appropriate shape for continuing observation. This is a setting item such as a predetermined shape of the cell mass.
  • the time measuring unit 202 is for measuring the date and time from the start of cell observation and the time related to the operation control of the observation system S, and can grasp various times.
  • the input unit 203 includes a pointing device such as a keyboard 203a and a mouse 203b.
  • the user inputs characters and numerical values using the keyboard 203a. Further, the user moves the cursor in an arbitrary direction on the screen of the monitor 204a of the output unit 204 using the mouse 203b, and selects a menu and other options.
  • the calculation unit 201 Based on information obtained from the input unit 203, the calculation unit 201 performs various processes on programs, data, and files stored and input in the calculation unit 201 and the storage unit 210, and performs output processing on the output unit 204. Or run.
  • the output unit 204 includes, for example, a liquid crystal display, a monitor 204a such as a CRT, and a speaker 204b.
  • the calculation unit 201 displays a window, an icon, a menu, or the like on the monitor 204a based on the processing of the program to be executed, or causes the speaker 204b to generate a sound.
  • the calculation unit 201 displays characters or numerical values input by the user on the monitor 204a based on information from the input unit 203, and displays a cursor to be moved by the user.
  • FIG. 6 is an explanatory diagram showing a flow relating to the operation of the observation system S.
  • the user turns on the power of the observation apparatus 1, the control apparatus 100, and the computer 200 to activate the observation system S (step # 101 in FIG. 6). Then, the user sets the container C containing the cells and the cell culture medium in the holder 31 of the transport unit 30 (step # 102). Subsequently, when the user activates the observation program 220 on the computer 200 (step # 103), an operation screen is displayed on the monitor 204a.
  • the observation program 220 automatically performs the origin return operation of the transport unit 30 in conjunction with the program start (step # 104). Then, the observation program 220 starts imaging with the camera (step # 105), and displays a real-time image from the camera on the monitor 204a.
  • a mode setting operation (step # 106).
  • a normal time lapse search operation (step # 107) and an overall observation operation (step # 108) can be selected.
  • Time lapse observation is a method of observing a preset position every predetermined period.
  • step # 107 the user observes the inside of the container C while moving the container C with the arrow keys on the monitor 204a or the keyboard 203a, and confirms the target cell. Then, capture image acquisition, display, storage, coordinate setting, coordinate storage, and the like are executed.
  • step # 108 the user sets a predetermined identification period and a predetermined number of identification days in the overall observation.
  • Image acquisition, display, storage, and observation position display are automatically executed based on the settings.
  • step # 109 an end (step # 110), visual continuation (step # 111), or time lapse (step # 112) operation can be selected.
  • step # 110 imaging by the camera is stopped and the settings are saved.
  • step # 111 visual continuation
  • step # 112 When the time lapse (step # 112) is selected, further operations for starting the time lapse observation, pausing the time lapse, and restarting the time lapse are possible.
  • step # 113 When the time lapse is temporarily stopped, operations such as removal of the container C and replacement of the culture solution are possible (step # 113).
  • the cell mass expressed from the image captured by the entire imaging process is identified and the position thereof is specified, and the shape of the cell cluster is further determined from the image captured by the enlarged imaging process. It is possible to automatically perform a series of processes such as selecting a cell cluster having an appropriate shape for identification and continuing observation.
  • FIG. 7 is a flowchart showing an operation related to the observation process in the observation system S.
  • the observation program 220 When the observation program 220 is executed (start of FIG. 7), the observation program 220 first determines whether or not it matches the predetermined identification period (step # 201). In this regard, the observation program 220 measures in advance, for example, the date and time from the start of cell observation and the period from the previous identification of the cell cluster to be magnified using the magnified observation unit 20 after seeding the timing unit 202. I am letting.
  • the predetermined identification period is a period set in advance with respect to the timing for identifying the enlarged observation target cell mass, and is set to 1 day, for example, and stored in the observation timing holding unit 211 of the storage unit 210. The predetermined identification period can be set as appropriate.
  • step # 201 When the predetermined identification period is not met in step # 201 (No in step # 201), the observation program 220 causes the magnified observation unit 20 to capture a magnified image (step # 202), and a series of operations related to the observation process is performed. The flow ends (end in FIG. 7).
  • step # 201 when the predetermined identification period is met in step # 201 (Yes in step # 201), the observation program 220 sends a command to the overall observation unit 10 of the observation apparatus 1 to image the entire container C, thereby imaging the cell. Is imaged (step # 203).
  • the observation program 220 executes a binarization process for distinguishing between a non-cell mass portion and a cell mass portion of the entire captured image using a predetermined threshold (step # 204). Thereby, the part which is not a cell mass is binarized to black, and the cell mass part is binarized to white.
  • the contraction / expansion process includes a contraction process, which is a process of removing white pixels in contact with black pixels, and an expansion process, which is a process of adding white pixels in contact with black pixels.
  • a contraction process which is a process of removing white pixels in contact with black pixels
  • an expansion process which is a process of adding white pixels in contact with black pixels.
  • a cluster of minute white pixels can be inverted to black pixels
  • a cluster of minute black pixels existing in the white pixel area can be inverted to white pixels, which has an effect of removing noise.
  • the observation program 220 executes a labeling process (step # 206), calculates the number of white pixels for each predetermined small region at an arbitrary position, and identifies white pixel clusters, that is, cell clusters. Furthermore, the observation program 220 executes sorting in order from the identified cell mass, that is, the white pixel mass, in descending order of the number of pixels (step # 207).
  • the observation program 220 determines whether or not the size of the largest white pixel mass (cell mass) is a threshold value, that is, a predetermined size or more (step # 208).
  • the predetermined size as the threshold value is set to 1000 pixels as the number of pixels, for example, and is stored in the threshold value holding unit 214 of the storage unit 210.
  • the observation program 220 detects arbitrary coordinates of the entire image captured by the entire observation unit 10 and sets it as an enlarged observation position (Step # 209). ), The enlarged observation unit 20 is caused to take an enlarged image (step # 202). Then, the observation program 220 ends a series of flows regarding the operation related to the observation processing (end of FIG. 7).
  • Step # 208 when the largest cell mass is larger than the predetermined size in Step # 208 (Yes in Step # 208), the observation program 220 determines whether or not the selected cell mass is larger than the predetermined size (Step # 210). ). When the cell cluster is not smaller than the predetermined size (Yes in Step # 210), the observation program 220 recognizes the white pixel cluster (cell cluster) as the enlarged observation target cell cluster and detects the center coordinates (Step # 211). . Further, the observation program 220 converts the center coordinates for magnifying image observation (step # 212).
  • the observation program 220 sets the center coordinates of the cell cluster subjected to coordinate conversion as an enlarged observation position (step # 213), and causes the enlarged observation unit 20 to take an enlarged image (step # 214). Then, the observation program 220 selects the next white pixel cluster (cell cluster) as an object to be determined as to whether or not it is a magnified observation target cell cluster (step # 215), and returns to step # 210 to select the selected cell cluster. It is determined whether or not the size is a predetermined size or more.
  • step # 210 Until the cell mass identified in step # 206 becomes smaller than the predetermined size (No in step # 210), the flow from step # 210 to step # 215 is repeated, and the enlarged observation of the cell mass recognized as the magnification observation target is performed. The position setting continues.
  • the observation program 220 ends a series of flows related to the operation related to the observation process (end in FIG. 7).
  • the user manually sets the position of the cell mass to be magnified observation, or sets the position of the cell mass (position specification) from the entire observation result.
  • the observation program 220 sends a command to the magnifying observation unit 20 for each predetermined imaging period to enlarge the inside of the container C to take an image of the cell, and the predetermined observation deadline has been reached. The imaging is stopped on the condition.
  • the predetermined observation deadline is a preset deadline for the timing of ending the cell observation, and is set to 10 days, for example, and stored in the observation timing holding unit 211.
  • the predetermined observation deadline can be set as appropriate.
  • the cell mass is identified from the image obtained by imaging the entire container C, the coordinates thereof are detected, and the details of the cell mass can be observed by enlarging the detected coordinates as the center.
  • time-lapse observation is continuously performed from the time of expression of the cell mass to the completion of growth Is possible.
  • the cell mass expressed by observing the entire container C can be identified. Can be provided.
  • an observation program 220, an observation method, and an observation system S that can be continuously observed from the time when the specified cell mass is expressed until the growth is completed.
  • FIG. 8 is a flowchart showing an operation related to the observation process in the observation program. Since the basic configuration of this embodiment is the same as that of the first embodiment described with reference to FIGS. 1 to 7, the components common to the first embodiment are described in the drawings and the description thereof. The explanation will be omitted.
  • the observation program 220 When the observation program 220 according to the second embodiment is executed (start in FIG. 8), the observation program 220 first determines whether or not it matches the predetermined identification period (step # 301). If it matches the predetermined identification period (Yes in step # 301), the observation program 220 sends a command to the overall observation unit 10 of the observation apparatus 1 to image the entire container C, thereby capturing an image of the cell (step #). 303).
  • the observation program 220 determines whether or not a predetermined number of identification days has elapsed after seeding the cells in the container C (step # 304).
  • the observation program 220 causes the timing unit 202 to measure in advance the date and time from the start of cell observation, for example, after sowing.
  • the predetermined number of identification days is a number of days set in advance for the timing of ending identification of the enlarged observation target cell mass, and is set to, for example, 5 days and stored in the observation timing holding unit 211 of the storage unit 210.
  • step # 304 After seeding in step # 304, for example, when the date and time from the start of cell observation has passed 5 days, which is the predetermined number of identification days (Yes in step # 304), the observation program 220 captures an enlarged image in the enlarged observation unit 20 (Step # 302), and a series of flows regarding the operation related to the observation processing is ended (END in FIG. 8). That is, when five days have elapsed from the start of observation, the identification of the cell mass to be magnified and observed is stopped and its position information is not updated.
  • step # 304 After seeding in step # 304, for example, when the date and time from the start of cell observation has not passed the predetermined identification number of five days (No in step # 304), the observation program 220 is not a cell mass of the entire captured image. A binarization process for distinguishing the part and the cell mass part using a predetermined threshold is executed (step # 305).
  • the operation flow from Step # 305 to Step # 316 is the same as the operation flow from Step # 204 to Step # 215 of the first embodiment, and thus the description thereof is omitted.
  • the predetermined identification period is a preset period for the timing of executing the identification of the enlarged observation target cell mass measured by the time measuring unit 202. For example, the predetermined identification period is set to 1 day and stored in the observation timing holding unit 211 of the storage unit 210. Yes. The predetermined identification period and the predetermined number of identification days can be set as appropriate.
  • the identification of the enlarged observation target cell mass is repeated every predetermined identification period (1 day) until the enlarged observation target cell mass is recognized, that is, when the expression of the cell mass is determined, the cellular mass is automatically selected. Can be determined when And, since the identification of the cell cluster to be enlarged observation is stopped after the predetermined identification days (5 days) from the start of cell observation, only the enlarged observation of the cell cluster specified in the whole observation is executed and the observation is continued until the growth is completed. It can proceed efficiently.
  • a window or user interface that can be freely set by the user is provided for determining whether or not to continue to identify the enlarged observation target cell cluster.
  • a method may be used in which it is left to the user to determine whether or not to continue to identify the enlarged observation target cell cluster.
  • FIG. 9 is a flowchart showing the operation related to the observation process in the observation program
  • FIG. 10 is a continuation of the flowchart showing the operation related to the observation process shown in FIG. Since the basic configuration of this embodiment is the same as that of the first and second embodiments, the description of the drawings and the description of the components common to these embodiments will be omitted.
  • step # 401 to step # 410 of the operation flow of FIG. 9 and step # 411 to step # 413 of the operation flow of FIG. 10 are the same as the operation flow of FIG. 7 and FIG. Is omitted.
  • the observation program 220 temporarily sets the center coordinates of the cell cluster that has been coordinate-transformed for enlargement observation in step # 413 of FIG. 10 as the enlargement observation position (step # 414). Then, the observation program 220 sends a command to the magnifying observation unit 20 and enlarges the magnifying observation position in the container C so as to capture a cell image (step # 415).
  • the observation program 220 extracts the outline of the cell cluster from the image captured by the magnification imaging process (step # 416), and identifies the shape (step # 417). Then, the observation program 220 determines whether or not the shape of the identified cell mass is a predetermined shape, that is, a threshold value of the ellipticity (step # 418).
  • a threshold value of the ellipticity indicating the predetermined shape for example, 1.1 is set and stored in the threshold holding unit 214 of the storage unit 210.
  • the ellipticity threshold indicating the predetermined shape of the cell mass can be set as appropriate. It is also possible to set a judgment condition for a predetermined shape of the cell mass instead of ellipticity, for example, roundness.
  • step # 418 If the ellipticity of the cell mass is equal to or less than the threshold value in step # 418 (Yes in step # 418), the observation program 220 formally sets the center coordinate of the cell mass as the enlarged observation position (step # 419). On the other hand, when the ellipticity of the cell mass exceeds the threshold (No in step # 418), the observation program 220 deletes the temporarily set enlarged observation position (step # 420). Then, the observation program 220 selects the next white pixel cluster (cell cluster) as an object to be determined as to whether or not it is a magnified observation target cell cluster (step # 421), and returns to step # 411 to select the selected cell cluster. It is determined whether or not the size is a predetermined size or more.
  • a cell cluster having a predetermined shape is identified, a cell cluster having an appropriate shape for continuing observation can be automatically selected. As a result, it is possible to stop the observation of the cell cluster that has grown into a distorted shape during the growth process, and it is possible to proceed with more efficient observation of the cell cluster of an appropriate shape.
  • the cell shape determination in step # 418 is not limited to a method that is explicitly performed based on a threshold value (for example, ellipticity 1.1), but the cell image is sorted and displayed on the monitor 204a based on the superiority or inferiority of the determination result. (If the degree of ellipticity is displayed, the ellipticity is displayed in ascending order), and a method of entrusting to the user which cell mass is determined to be suitable may be used.
  • a threshold value for example, ellipticity 1.1
  • differentiated colonies whose cell group state has changed (differentiated) in the central part or the peripheral part are removed, and only undifferentiated colonies are continuously cultured.
  • the undifferentiated colony shown in FIG. 12 is composed only of undifferentiated regions, whereas the differentiated colony shown in FIG. 13 (hereinafter referred to as differentiated colony 1) has a differentiated region at the center of the colony. It has occurred. Therefore, the observation program of this embodiment selects an undifferentiated colony as a cell cluster having an appropriate shape to continue observation and makes it an object of enlargement observation, and performs an enlargement observation on a differentiated colony. Absent.
  • FIG. 11 is a flowchart showing the operation related to the observation process in the observation program, and is a continuation of the flowchart showing the operation related to the observation process shown in FIG. Therefore, the observation program of the present embodiment includes Step # 401 to Step # 410 of the operation flow of FIG. 9 and Step # 511 to Step # 522 of the operation flow of FIG. Note that description of Step # 401 to Step # 410 of the operation flow in FIG. 9 that is common to the third embodiment is omitted.
  • step # 511 similarly to step # 210 of the first embodiment, the observation program 220 determines whether or not the selected cell mass is a predetermined size or more. When the cell cluster is not less than the predetermined size (Yes in step # 511), the observation program 220 executes, for example, contour extraction by the edge extraction filter described above and contour tracking by 8-connected search to extract the cell cluster contour. (Step # 512). In addition, the observation program 220 detects a circle or an ellipse from the extracted contour figure using, for example, the Hough transform or the generalized Hough transform described above (step # 513), and further detects the center (step # 514). ).
  • FIG. 14 shows an example of the result of performing the binarization process and the contraction / expansion process (step # 405 and step # 406 in FIG. 9) on the undifferentiated colony image shown in FIG.
  • the lump of white pixels has an elliptical shape.
  • FIG. 15 shows an example of a result obtained by performing binarization processing and contraction expansion processing on the image of the differentiated colony 1 shown in FIG.
  • an oval white pixel block includes a smaller oval black pixel block.
  • step # 512 for these white pixel blocks is shown by a solid line in FIGS. 16 and 17, respectively.
  • examples of the results of the circle / ellipse detection in step # 513 for these contour figures are shown by broken lines in FIGS. 16 and 17, respectively.
  • An example of the result of the circle / ellipse center detection in step # 514 for these ellipses is indicated by the symbol “+” in FIGS. 16 and 17, respectively.
  • step # 513 only one circle or ellipse is detected for undifferentiated colonies as shown in FIG.
  • two circles or ellipses are detected for the differentiated colony 1, and these have a so-called donut shape in which one includes the other.
  • the so-called donut shape may include a case where the other circle or ellipse is inscribed in one circle or ellipse.
  • the observation program 220 determines the state of the cell mass based on the shape information of the circle or ellipse extracted in Step # 512 to Step # 514 (Step # 515 and Step # 516).
  • a differentiated colony when a plurality of circles or ellipses are detected, when the distance between two centers is equal to or less than a predetermined distance (Yes in step # 515), it is determined that the colony is a differentiated colony (predetermined state). .
  • a plurality of circles or ellipses centered on substantially the same position may be detected even if the contour line is extracted twice. Therefore, in this embodiment, when the center of two circles or ellipses is not more than a predetermined distance (Yes in Step # 515) and the difference between the radii is not less than a predetermined value (Yes in Step # 516). In addition, it is determined to be a differentiated colony.
  • step # 515 when only one circle or ellipse is detected (No in Step # 515), when the distance between the centers is all greater than a predetermined distance (No in Step # 515), or when all the differences in radius are less than the predetermined ( In step # 516 No), it is determined that the colony is an undifferentiated colony.
  • the observation program 220 determines that the colony is an undifferentiated colony, the observation program 220 selects the white pixel mass (cell mass) as an enlarged observation target cell mass, and hereinafter, step # 412 to step # 412 in the third embodiment.
  • the operation flow is the same as that of Step # 415, Step # 419, and Step # 421 (Step # 517 to Step # 522).
  • the next white pixel mass (cell mass) is not selected as the enlargement observation target cell mass, and is selected as the determination target whether or not it is the enlargement observation target cell mass. (Step # 522), returning to Step # 511, it is determined whether or not the selected cell mass is a predetermined size or more.
  • differentiated colonies are detected as a predetermined shape (so-called donut shape), so that undifferentiated colonies can be automatically selected as cell clusters having an appropriate shape for continuing observation.
  • a predetermined shape so that undifferentiated colonies can be automatically selected as cell clusters having an appropriate shape for continuing observation.
  • differentiated colony 2 For example, in the differentiated colony shown in FIG. 18 (hereinafter referred to as differentiated colony 2), a differentiated region is generated in the periphery of the colony, and when binarization processing is performed, only the undifferentiated region in the center portion. It becomes a lump of white pixels composed of.
  • a ternarization process or a quaternization process may be performed instead of the binarization process.
  • FIG. 20 shows the result of performing the ternarization processing on the image of the differentiated colony 2 shown in FIG. 18 by obtaining the luminance frequency distribution of each pixel as shown in FIG.
  • step # 512 contour extraction is performed on each of the white pixel and gray pixel blocks, and further, an example of the result of performing circle / ellipse detection in step # 513 and circle / ellipse center detection in step # 514 It shows in FIG.
  • the observation program 220 can determine the state of the cell cluster based on the circle or ellipse shape information extracted in this way (step # 515 and step # 516).
  • the differentiated colony is set in a predetermined state in which the enlarged observation is not performed.
  • the predetermined state (Yes in step # 515 and Yes in step # 516) is set as an object for the enlarged observation. Also good. In this case, only undifferentiated colonies (predetermined state) can be efficiently observed without performing magnified observation on undifferentiated colonies.
  • the shape information of the identified cell mass is extracted from the image captured in the entire imaging process in step # 403, and the state of the cell mass is determined based on the shape information.
  • an undifferentiated colony can be automatically selected as a cell cluster having an appropriate shape for continuing observation, and the observation order of the differentiated colony can be lowered or the observation can be stopped.
  • Differentiated colonies can also be selected as cell clusters having an appropriate shape for continuing observation.
  • a differentiated colony can also be a target for magnification observation.
  • a differentiated colony when the distance between two centers is not more than a predetermined distance.
  • a differentiated colony can be detected as a so-called donut shape.
  • a differentiated colony is a differentiated colony when the center of two circles or ellipses is not more than a predetermined distance and the difference in radius between them is not less than a specified distance
  • the differentiated colony can be more accurately called a so-called donut. It can be detected as a shape.
  • a cell mass to be enlarged and observed from a cell mass of a predetermined size or larger it is possible to determine the time of expression of the cell mass, and to continuously observe from the time of expression of the cell mass until the completion of growth. it can.
  • time-lapse observation can be performed continuously from the time of cell mass expression until the completion of growth.
  • the computer that executes the observation program by capturing an image of the cells in the container C by capturing the entire container C with the CMOS camera 12 that is the image capturing unit of the overall observation unit 10 is The shape information of the cell cluster identified from the image captured by the imaging process can be extracted, and the state of the cell cluster can be determined based on the shape information.
  • a partial region in the container C is selected by the CCD camera 24 that is an imaging unit of the magnified observation unit 20. It is possible to magnify and take an enlarged observation target cell cluster as an image.
  • the description has been made with the content of observing one culture vessel, but a plurality of culture vessels may be observed simultaneously using a tray on which a plurality of culture vessels can be placed.
  • the CMOS camera 12 is used as the imaging unit of the overall observation unit 10 and the CCD camera 24 is used as the imaging unit of the magnification observation unit 20.
  • a camera type either a CMOS camera or a CCD camera is used. May be.
  • step # 416 to step # 420 of the third embodiment are used in combination with the shape determination of the third and fourth embodiments. May be.
  • Observation system 1 Observation device 2 Main body (housing) 10 Whole observation part 11 Lens (whole observation optical system) 12 CMOS camera (imaging part) 13 Ring illumination (entire observation illumination) 20 Magnification observation part 21 Objective lens (magnification observation optical system, lens part) 22 Reflection mirror (magnification observation optical system) 23 Zoom lens (magnification observation optical system) 24 CCD camera (imaging part) 25 Phase difference illumination unit (enlarged illumination) 26 Objective lens cover (cover member) 27 Window unit 30 Transport unit 100 Control device 200 Computer 201 Calculation unit 202 Timekeeping unit 210 Storage unit 211 Observation timing holding unit (setting unit) 214 Threshold value holding unit (setting unit) 220 Observation program C Container D Gap

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Dispersion Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】　観察を続けるのに適正な形状の試料塊を自動的に選別し、適正でない形状の試料塊の観察順位を低くしたり、観察を中止したりすることによって、適正な形状の試料塊の観察をより一層効率良く進める。 【解決手段】　コンピュータに、試料と溶液とが入った容器全体を撮像することで前記試料の画像を撮像する全体撮像処理と、前記全体撮像処理で撮像した前記画像から複数の前記試料が寄り集まった試料塊を識別する試料塊識別処理と、前記試料塊識別処理で識別した前記試料塊の形状情報を抽出し、前記形状情報に基づいて前記試料塊の状態を判定する試料塊判定処理と、を実行させる。

Description

観察プログラムおよび観察装置
　本発明は、観察プログラムおよび観察装置に関する。
　細胞を培養するにあたって、複数の細胞が寄り集まった細胞塊の発現と同時に観察を開始して逐次時系列に観察できれば、例えば再生医療の支援として有望な技術と言える。このような細胞の観察は従来、細胞の培養中、培養容器への培養液の補給、交換が必要になったとき顕微鏡などを用いて行い、必要に応じて画像を撮像するようにしている。
　しかしながら、顕微鏡を用いた細胞の観察は多くの手間を要する。例えば、容器内で発現した細胞塊を特定するためにはまず目視や顕微鏡などで容器全体を観察する必要があり、さらに対物レンズを切り替えるなどして拡大して個々の細胞塊の成育状態を観察しなければならない。拡大観察では視野が狭く、目標の細胞塊を探索するのが困難であり、さらにその細胞塊を視野に合わせるのも困難である。また、細胞を観察する場合、細胞塊の発現のときから成育完了まで、長期間の変化を一定期間ごとに観察するタイムラプス観察を行うことが望まれている。細胞の播種直後は細胞塊を目視や低倍率の顕微鏡などでは観察できないため、数日後に再探索して観察位置を再設定しなければならない。
　また、従来の通常１日～３日程度で１回の培養容器への培養液の補給、交換の際に行われる観察では細胞塊の発現のときからの観察が困難であり、この発現のときから細胞塊を観察可能な技術への要望が強い。さらに、容器全体を観察するときと容器内の一部を拡大して観察するときとの各々における細胞の撮像時に、照明やレンズ駆動系等の発熱による細胞の成育への影響が問題となっている。
　このような細胞の観察に関して、容器全体を観察するときと容器内の一部を拡大して観察するときとの切り替えの手間を解消した装置が提案され、その一例を特許文献１に見ることができる。特許文献１に記載された観察装置は被観察物を撮像する倍率の異なる少なくとも２つの撮像光学系を備え、高倍率の撮像光学系で撮像した画像特徴量が同時に撮像した低倍率の撮像光学系における画像特徴量とが略等しくなるように低倍率画像の基準値を算出している。
特開２００９－１９８７０９号公報
　しかしながら、特許文献１に記載された観察装置は高倍率の撮像光学系と低倍率の撮像光学系とが共通の光源を用いて撮像しているので、容器内の細胞の詳細を観察することができない。なぜなら、高倍率の撮像光学系では微小な領域のほぼ透明な細胞を観察することに適した位相差光学系に用いられる点光源とリングスリットなどの照明が必要であり、低倍率の撮像光学系では比較的広視野を観察することに適した平面光源などの照明が必要であり、異なる照明が必要となるためである。すなわち、容器内の細胞の分布は観察できても、容器内で発現した細胞塊の特定に失敗したり、目標の細胞塊を誤って識別したりすることが懸念される。また、細胞塊の発現のときから成育完了まで継続して観察を行うことについても考慮されていない。
　本発明は上記の点に鑑みなされたものであり、容器内の細胞等の試料を観察するにあたって、容器全体を観察して発現した試料塊を特定でき、さらにこの特定した試料塊を拡大して詳細を観察することが可能な観察装置を提供することを目的とする。また、このような特定した試料塊の発現のときから成育完了まで継続して観察を行うことが可能な観察プログラム及び観察システムを提供することを目的とする。
　前述した課題を解決する主たる本発明は、コンピュータに、試料と溶液とが入った容器全体を撮像することで前記試料の画像を撮像する全体撮像処理と、前記全体撮像処理で撮像した前記画像から複数の前記試料が寄り集まった試料塊を識別する試料塊識別処理と、前記試料塊識別処理で識別した前記試料塊の形状情報を抽出し、前記形状情報に基づいて前記試料塊の状態を判定する試料塊判定処理と、を実行させることを特徴とする観察プログラムである。
　本発明の他の特徴については、添付図面及び本明細書の記載により明らかとなる。
　本発明によれば、観察を続けるのに適正な形状の試料塊を自動的に選別することができる。そのため、適正でない形状の試料塊の観察順位を低くしたり、観察を中止したりすることによって、適正な形状の試料塊の観察をより一層効率良く進めることができる。
本発明の第１の実施形態に係る観察システムの構成図である。 図１に示す観察システムの観察装置の垂直断面側面図である。 図１に示す観察システムの観察装置の垂直断面正面図である。 図２と同様の観察装置の垂直断面側面図にして、容器を全体観察部に対応する箇所に移動させた状態を示すものである。 図１に示す観察システムのコンピュータの構成を示すブロック図である。 図１の観察システムの操作に係るフローを示す説明図である。 図１の観察システムにおける観察処理に係る動作を示すフローチャートである。 本発明の第２の実施形態に係る観察プログラムにおける観察処理に係る動作を示すフローチャートである。 本発明の第３の実施形態に係る観察プログラムにおける観察処理に係る動作を示すフローチャートである。 図９に示す観察処理に係る動作を示すフローチャートの続きである。 本発明の第４の実施形態に係る観察プログラムにおける観察処理に係る動作を示すフローチャートである。 観察を続けるのに適正な形状の細胞塊の一例として、未分化コロニーを示す図である。 観察を続けるのに適正でない形状の細胞塊の一例として、中央部が分化した分化コロニーを示す図である。 未分化コロニーの画像に対して、二値化処理および収縮膨張処理を行った結果の一例を示す図である。 中央部が分化した分化コロニーの画像に対して、二値化処理および収縮膨張処理を行った結果の一例を示す図である。 未分化コロニーの画像に対して、さらに輪郭抽出、円・楕円検出、および円・楕円中心検出を行った結果の一例を示す図である。 中央部が分化した分化コロニーの画像に対して、さらに輪郭抽出、円・楕円検出、および円・楕円中心検出を行った結果の一例を示す図である。 観察を続けるのに適正でない形状の細胞塊の一例として、周辺部が分化した分化コロニーを示す図である。 周辺部が分化した分化コロニーの画像において、各画素の輝度の度数分布の一例を示すヒストグラムである。 周辺部が分化した分化コロニーの画像に対して、三値化処理を行った結果の一例を示す図である。 周辺部が分化した分化コロニーの画像に対して、さらに輪郭抽出、円・楕円検出、および円・楕円中心検出を行った結果の一例を示す図である。 分化コロニーを拡大観察の対象とする観察プログラムにおける観察処理に係る動作を示すフローチャートである。
　本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。
　以下の説明において、「所定サイズ」は試料塊の予め設定したサイズであり、拡大観察の対象とすべきであると判断することができる程度のサイズであって、例えば画像上の画素数で定義して構わない。例えば、試料塊の所定サイズとしての画素数の具体例は全体観察を５００万画素のカメラで行って４０ｍｍ×４０ｍｍの視野を撮像した場合、１０００ピクセル程度が設定した所定サイズとして適当である。後述する実施形態では「所定サイズ」を画素数にして「１０００ピクセル」と設定しているが、このようなサイズに限定されるわけではない。また、以下の手段において用いられる「所定サイズ」についても同様である。
　また、「所定識別期間」（試料塊の識別に関する所定期間）は拡大観察対象試料塊の識別を実行するタイミングについての予め設定した期間であり、試料塊の発現のときを見極められる程度の期間であって、例えば数時間から数日程度の期間とすることが可能であるが必要に応じて適切に設定できる。したがって、後述する実施形態では「試料塊の識別に関する所定期間」を「１日」と設定しているが、このような期間に限定されるわけではない。なお、他の手段において用いられる「所定期間」という語がすべて拡大観察対象試料塊の識別を実行するタイミングについての期間を示すわけではなく、時間的に同じ期間を表すわけでもない。
　また、「所定識別日数」（所定日数）は拡大観察対象試料塊の識別を終了するタイミングについての予め設定した日数であり、例えば５日、７日、１０日などといった日数に任意に設定して構わない。後述する実施形態では「所定日数」を「５日」と設定しているが、このような日数に限定されるわけではない。
　また、「所定撮像期間」（拡大画像の撮像に関する所定期間）は拡大した試料塊の撮像を実行するタイミングについての予め設定した期間であり、試料塊の成育過程を見極められる程度の期間であって、例えば数時間から数日程度の期間とすることが可能であるが必要に応じて適切に設定できる。したがって、後述する実施形態では「拡大画像の撮像に関する所定期間」を「１日」と設定しているが、このような期間に限定されるわけではない。なお、他の手段において用いられる「所定期間」という語がすべて拡大した試料塊の撮像を実行するタイミングについての期間を示すわけではなく、時間的に同じ期間を表すわけでもない。
　また、「所定観察期限」（所定期限）は試料の観察を終了するタイミングについての予め設定した期限であり、例えば試料の観察開始から１０日、２０日、３０日などといった期限に任意に設定して構わない。後述する実施形態では「所定期限」を「１０日」と設定しているが、このような期限に限定されるわけではない。
　また、「所定形状」は試料塊の予め設定した形状であり、観察するに好適に成育し続ける可能性が高いと判断することができる程度の形状であってできるだけ円形に近いものが良く、例えば楕円形度などの数値で任意に設定して構わない。後述する実施形態では「所定形状」を「楕円形度にして１．１以下」と設定しているが、このような形状に限定されるわけではない。
　以下、本発明の実施形態を図１～図２１に基づき説明する。なおここでは、例えば細胞、細菌、微生物などの試料のうち細胞を試料とし、例えば培養液を溶液として説明する。また、複数の細胞が寄り集まった細胞塊を試料塊として説明する。
　（第１の実施形態）
　最初に、本発明の第１の実施形態に係る観察システムについて、図１～図５を用いてその構造を説明する。図１は観察システムの構成図、図２は観察システムの観察装置の垂直断面側面図、図３は観察装置の垂直断面正面図、図４は観察装置の垂直断面側面図にして、容器を全体観察部に対応する箇所に移動させた状態を示すもの、図５は観察システムのコンピュータの構成を示すブロック図である。なお、以下の説明において、図２及び図３のｘ軸方向を左右方向、ｙ軸方向を前後方向（＋ｙ方向を前方、－ｙ方向を後方）、ｚ軸方向を上下方向とする。
　観察システムＳは、図１に示すように観察装置１、制御装置１００、及びコンピュータ２００を備えている。
　観察装置１は細胞などの試料を観察するための装置であって、制御装置１００が接続されている。制御装置１００は観察装置１を制御するための装置であって、観察装置１を駆動するための図示しないドライバやコントローラなどを内蔵している。そして、制御装置１００はコンピュータ２００に接続されている。コンピュータ２００は、例えば所謂パーソナルコンピュータであって、細胞などの試料を観察するための図示しない観察プログラムなどを実行する。すなわち、コンピュータ２００は制御装置１００に指令を送って観察装置１を制御したり、観察時に撮像した画像の取得、保存などを実行したりすることが可能になっている。
　観察装置１は、図１～図４に示すようにその筐体である本体２に全体観察部１０、拡大観察部２０、搬送部３０、及び駆動部４０を備えている。
　観察装置１はその正面中央部に配置された細胞と細胞の培養液とが入った容器Ｃ内の細胞の全体観察部１０及び拡大観察部２０を用いた観察が可能である。駆動部４０によって容器Ｃを把持する搬送部３０を前後、左右の所望の方向、位置に移動させることができる。本体２は床面に対して４箇所に設けられた脚部３よって支持されている。なお、容器Ｃは容器外部からの汚染や他の容器との間での汚染などを防止するために蓋が設けられている。
　全体観察部１０は本体２の密閉された筐体内部の前側の部分に設けられ、全体観察光学系であるレンズ１１と、撮像部であるＣＭＯＳカメラ１２と、全体観察照明であるリング照明１３とを備えている。
　レンズ１１は容器Ｃを把持する搬送部３０の移動空間の上方に配置され、下方に向かって容器Ｃ内を観察可能にして設けられている。ＣＭＯＳカメラ１２はレンズ１１の鉛直上方に設けられ、その撮像素子面が下方のレンズ１１の方を向くように配置されている。
　リング照明１３は斜め上方を向く形で取り付けられた複数のＬＥＤがリング状に配列された構造をなし、搬送部３０の移動空間の下方に配置されている。なお、リング照明１３と搬送部３０の容器Ｃとの間には所定距離離れた空隙Ｄを有している（図４参照）。これにより、リング照明１３と容器Ｃとの間に空気が流通する空間が生じるので、リング照明１３が発する熱が容器Ｃに伝わり難くなる。したがって、リング照明１３の発熱による影響が細胞の成育に及ぶのを抑制できる。そして、リング照明１３は斜め上方であってリングの中心に向かって光を照射し、リング照明１３の上方に位置する搬送部３０の観察対象である容器Ｃ内の細胞を照らす。なお、ＣＭＯＳカメラ１２及びレンズ１１は互いの光軸が一致するように各々配置され、その光軸がリング照明１３の中心を通過するようにリング照明１３が配置されている。
　このような構成により、全体観察部１０はリング照明１３を用いて容器Ｃに光を照射することによりレンズ１１を経て得られる像がＣＭＯＳカメラ１２の撮像素子面で結像し、容器Ｃ全体を撮像することで容器Ｃ内の細胞の画像を撮像する。そして、撮像した画像が記憶されるので、容器Ｃ内の複数の細胞が寄り集まった細胞塊の識別や特定が容易になる。
　また、全体観察部１０が容器Ｃの下方から斜め上方に容器Ｃに対して光を照射するので、容器Ｃの底面のうち、細胞の存在する箇所を通過する光は細胞によって散乱し、散乱した光の一部がカメラに入射して細胞が白く映り、細胞のない箇所を通過する光は散乱せず、光がカメラに入射せず黒く映る。このようにして、容器Ｃの内底面近傍で発現、成育する細胞を特定するのに適正な光を照射することができる。そして、細胞の外形状を白い塊として認識できるコントラストが得られる。なお、下方から光を照射することにより、容器Ｃの蓋による反射光で細胞が白つぶれして観察できなくなることを防ぐ効果が得られる。
　拡大観察部２０は所謂位相差顕微鏡であって本体２の密閉された筐体内部の全体観察部１０より後方の箇所に設けられ、対物レンズ２１、反射ミラー２２、ズームレンズ２３といった拡大観察光学系と、撮像部であるＣＣＤカメラ２４と、拡大観察照明である位相差照明部２５とを備えている。
　対物レンズ２１は搬送部３０の移動空間のすぐ下方に配置され、上方に向かって容器Ｃ内を観察可能にして設けられている。なお、容器Ｃの底面に最も接近するレンズ部である対物レンズ２１の周辺には下部本体２内で発生する熱が容器Ｃに影響を及ぼすのを防止するためのカバー部材である対物レンズカバー２６が設けられている。また、対物レンズカバー２６の上部先端であって対物レンズ２１と容器Ｃとの間の箇所には窓部２７が設けられている。
　ここで、熱は密閉された筐体内のモータやカメラ、照明から発生して充満し、対物レンズ２１付近にも滞留して上方へ発散しようとする。少ない面積の対物レンズカバー２６ではなく、拡大観察光学系全部を覆うカバーとした場合、拡大観察光学系と容器Ｃ底面との接近は筐体内の熱が伝達し易くなり、培養液温度が上昇し易くなってしまう。
　これに対して、対物レンズカバー２６は容器Ｃ底面に接近している箇所の面積をできるだけ少なくすることで、容器Ｃ底面と対物レンズカバー２６との隙間がほとんどなく、空気が流通しないことに起因する熱影響を抑制している。同時に、対物レンズカバー２６は対物レンズ２１周辺のみを覆うことで対物レンズカバー２６の表面積を増大することができるので、空気が流通し易い対物レンズカバー２６の横方向へも熱発散することができ、容器Ｃへの熱伝達を抑制することが可能である。
　このようにして、拡大観察光学系と容器Ｃとの間に、対物レンズ２１周辺のみを覆う、窓部２７を備えた対物レンズカバー２６を構成することにより、拡大観察光学系が発する熱が容器Ｃに伝わり難くなる。したがって、レンズ駆動系の発熱による影響が細胞の成育に及ぶのを抑制できる。
　反射ミラー２２は対物レンズ２１の下方に配置され、後方に向かって略水平に光を反射するよう傾斜させて設けられている。反射ミラー２２は対物レンズ２１から得られた像を後方のズームレンズ２３に導く。ズームレンズ２３は反射ミラー２２の後方に前後方向に延びる形で配置され、対物レンズ２１から得られた像を拡大する。ＣＣＤカメラ２４はズームレンズ２３のさらに後方に設けられ、その撮像素子面が前方のズームレンズ２３の方を向くように配置されている。
　位相差照明部２５は本体２の上部に設けられ、ＬＥＤ２５ａと、反射ミラー２５ｂとを備えている。ＬＥＤ２５ａは位相差照明部２５の下方に位置する搬送部３０の観察対象である容器Ｃ内の細胞を照らす光を照射する。反射ミラー２５ｂは対物レンズ２１の鉛直上方に配置され、ＬＥＤ２５ａが照射した光が容器Ｃを経て対物レンズ２１に到達するよう光を反射させる。
　このような構成により、拡大観察部２０は位相差照明部２５を用いて容器Ｃに光を照射することにより対物レンズ２１、反射ミラー２２、及びズームレンズ２３を経て得られる像がＣＣＤカメラ２４の撮像素子面で結像し、容器Ｃ内の一部の領域を拡大して容器Ｃ内の細胞を画像として撮像する。そして、撮像した画像が記憶されるので、容器Ｃ内の細胞塊の識別や特定、詳細な観察が容易になる。
　また、拡大観察部２０は細胞を拡大して観察するための複数のレンズとそのズーム機構とを有する比較的重量が重い拡大観察光学系が下方に配置されるので、装置の重量バランスが適正になって安定した拡大観察が可能になる。そして、容器Ｃの内底面近傍で発現、成育する細胞に対して容器Ｃの下方から対物レンズ２１を接近させることができるので、焦点距離を短くして比較的大きな拡大率で観察することが可能である。さらに、拡大観察部２０は容器Ｃの下方から観察するので、容器Ｃの蓋の汚れの影響を受けることなく観察することが可能である。
　搬送部３０は本体２の正面中央部であって、下方の全体観察部１０のリング照明１３や拡大観察部２０の拡大観察光学系と、上方の全体観察部１０の全体観察光学系や拡大観察部２０の位相差照明部２５とに挟まれた形で設けられている。搬送部３０はホルダ３１を備え、このホルダ３１が観察対象である細胞と細胞の培養液とが入った容器Ｃを把持している。ホルダ３１は全体観察部１０と拡大観察部２０とに対して位置決めがなされ、容器Ｃはホルダ３１に対して位置決めがなされている。これにより、容器Ｃとホルダ３１とを一緒に取り外して培養液を交換したり、試薬を投入したりしても、全体観察部１０と拡大観察部２０とにおいて同一箇所の観察が容易である。
　駆動部４０は搬送部３０の後方及び側方に設けられ、ｘ軸駆動機構４１、ｘ軸モータ４２、ｙ軸駆動機構４３、ｙ軸モータ４４、ｚ軸モータ４５、及びズームモータ４６を備えている。なお、図２及び図３に示すように観察装置１に対して左右方向をｘ軸と、前後方向をｙ軸と、上下方向をｚ軸として説明する。
　ｘ軸駆動機構４１は搬送部３０のすぐ後方に配置されるとともに搬送部３０を直接支持している。ｘ軸駆動機構４１は図示しないベルト、プーリ、スライドガイド部材、シャフト等を備えてｘ軸モータ４２によって駆動され、搬送部３０を左右方向に移動させる。ｙ軸駆動機構４３は搬送部３０及び本体２の側面の箇所に配置され、ｘ軸駆動機構４１を支持している。ｙ軸駆動機構４３は図示しないベルト、プーリ、スライドガイド部材等を備えてｙ軸モータ４４によって駆動され、ｘ軸駆動機構４１とともに搬送部３０を前後方向に移動させる（図４参照）。
　このような駆動機構を動作させることにより、搬送部３０は全体観察部１０から拡大観察部２０まで、またはその逆方向に容器Ｃを搬送する。容器Ｃが移動されるので、全体観察部１０と拡大観察部２０とが離れた箇所に配置されていても容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能になる。
　また、搬送部３０は上記のように全体観察部１０と拡大観察部２０の光軸方向と垂直をなす方向に容器Ｃを搬送するものであって、搬送方向の少なくとも一方向、すなわち前後方向を共通にしていることにより全体観察部１０における観察視野内の座標を拡大観察部２０における観察視野内の座標に一致させる。これにより、全体観察部１０と拡大観察部２０との互いの観察視野内における座標が一致するので、全体観察部１０で容器Ｃ全体を観察して特定した細胞塊を拡大観察部２０で容易に識別できる。したがって、目標の細胞塊を誤って識別することが防止され、高精度な観察が実現できる。
　ｚ軸モータ４５及びズームモータ４６は搬送部３０後方の本体２内に配置されている。ｚ軸モータ４５は拡大観察光学系及びＣＣＤカメラ２４を上下方向に移動させるためのモータである。ズームモータ４６はズームレンズ２３の拡大倍率の変更させるためのモータであり、撮像する画像の倍率変更が可能である。
　コンピュータ２００は、図５に示すように演算部２０１を少なくとも備えている。なお、記憶部２１０、計時部２０２、入力部２０３、及び出力部２０４を備えてもよい。
　演算部２０１は一般的なマイコンやその他の電子部品によって構成され、このマイコン内部や記憶部２１０等に記憶、入力された観察プログラム２２０やその他のデータ等に基づいて観察装置１に係る一連の観察動作を制御する。なお、全体観察部１０または拡大観察部２０によって撮像された画像の処理を行う画像処理部を別途設けても良い。
　演算部２０１で実行される観察プログラム２２０は、図５に機能ブロック図でハードウェア的に示したように細胞塊識別部２２１、細胞塊ソート部２２２、座標検出部２２３、座標変換部２２４、細胞塊抽出部２２５、形状識別部２２６、及び形状判定部２２７を備えている。なお、観察プログラム２２０はこれら各々の処理ブロックのほか、観察装置１の全体観察部１０に指令を送り容器Ｃ全体を撮像することで細胞の画像を撮像させる全体撮像処理と、拡大観察部２０に指令を送り容器Ｃ内を拡大して細胞の画像を撮像させる拡大撮像処理とを実行する。
　細胞塊識別部２２１はまずカラー画像の場合はグレー画像に変換した上で、全体撮像処理で撮像した画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する。これにより、細胞塊でない部分が黒に細胞塊の部分が白に二値化される。そして、細胞、すなわち白色の画素数を算出する。この白色の画素数を算出する方式としては、例えば白色の画素の連結領域を算出するラベリング方式や任意位置の予め定めた小領域内の白色の画素数ができるだけ多くなるように領域を算出する小領域方式などが掲げられる。
　ラベリング方式は単一の白色画素領域の大きさや白色画素領域の密集度合いによって細胞塊を識別する方式であり、小領域方式は白色画素領域の数や多さ、密集度合いによって細胞塊を識別する方式である。この他に、細胞塊の単離度合い（個々の細胞塊同士が所定の距離を保って存在している度合い）によって識別しても良い。なお、ここではラベリング方式を採用することとする。
　ラベリング処理は二値化処理された画像に関して、隣接する白色画素（または黒色画素）に同じ番号（ラベル）を割り振ることにより複数の画素をグループ化する処理のことである。ラベリング処理における隣接の判定では４連結（４近傍）と８連結（８近傍）とを用いる。４連結では注目画素の上下左右に連続していれば隣接と判定し、８連結ではさらに斜め４方向の連続も加味して隣接を判定する。このようにして、細胞塊識別部２２１は全体撮像処理で撮像した画像から二値化した白色画素の塊、すなわち細胞塊を識別する。
　そして、細胞塊識別部２２１は識別した細胞塊のうち所定サイズ以上の細胞塊を拡大観察対象細胞塊として認識する。「所定サイズ」は細胞塊の予め設定したサイズであり、拡大観察の対象とすべきであると判断することができる程度のサイズである。ここでは、所定サイズを例えば画素数にして１０００ピクセルと設定し、記憶部２１０などに記憶している。これにより、画素数にして１０００ピクセル以上の細胞塊が拡大観察対象細胞塊として認識されるので、細胞塊の発現のときを見極めることができる。したがって、細胞塊の発現のときから成育完了まで継続して観察を行うことが可能になる。
　細胞塊ソート部２２２は細胞塊識別部２２１で識別された細胞塊、すなわち白色の画素の塊のうち、画素数の多いものから順にソートを実行する。そして、例えば画素数の多いものから順に予め定められた個数の細胞塊が観察対象などとして選択される。
　座標検出部２２３は細胞塊識別部２２１で識別され、細胞塊ソート部２２２でソートされた細胞塊、すなわち白色画素の塊の中心座標を検出する。
　座標変換部２２４はまず全体撮像処理で撮像した画像上の画素による座標を算出する。そして、画像中心を原点とする実寸に変換する。ここで、画像の歪曲収差などの各種収差を補正しても良い。さらに、座標変換部２２４はこの実寸で表された画像上位置に整合するように、実寸を観察装置１の駆動部４０のｘ軸モータ４２及びｙ軸モータ４４のモータパルス数に変換する。このようにして、座標変換部２２４は拡大撮像処理で撮像する画像上の座標が全体撮像処理で撮像した画像上の座標に一致する共通の座標系を形成する。
　細胞塊抽出部２２５は拡大撮像処理で撮像された画像から座標検出部２２３が検出した座標の細胞塊を抽出する。
　形状識別部２２６はまず拡大撮像処理で撮像した画像に対して予め準備したパッチ画像とのマッチングを行う。マッチング結果としては、拡大撮像処理で撮像した画像とパッチ画像との、濃淡で表現された距離画像が得られる。そして、形状識別部２２６はその距離画像を所定の閾値を用いて二値化処理を実行する。マッチングの手法としては、例えばテンプレートマッチングやヒストグラムマッチングなどが挙げられ、判定対象の画像、すなわち拡大撮像処理で撮像した画像をパッチ画像によりラスタスキャンして双方の距離を算出する。パッチ画像を多数準備する場合はマッチング結果の距離画像を積算する。なお、拡大撮像処理で撮像した画像内に複数個の細胞塊が存在する場合でも、形状識別部２２６は各々の細胞塊を別個のものとして識別できる。
　続いて、形状識別部２２６は二値化処理された画像において、例えばエッジ抽出フィルタによる輪郭抽出と８連結探索による輪郭追跡を実行して輪郭を検出する。輪郭抽出の際のエッジ抽出フィルタとしては、例えば微分フィルタやプリューウィットフィルタ、ソーベルフィルタ、Ｃａｎｎｙ　Ｅｄｇｅ　Ｄｅｔｅｃｔｏｒなどを用いることができる。輪郭追跡では輪郭の追跡開始点から一方向に順次輪郭点を追跡していくことで輪郭線を抽出でき、４連結探索を用いることもできる。
　そして、形状識別部２２６は輪郭検出結果から円や楕円、矩形などの所定形状を検出する。輪郭やエッジから円を検出する手法としてはハフ変換などを用いることができる。輪郭やエッジから楕円を検出する手法としては一般化ハフ変換や最小二乗推定によって輪郭の点列に楕円をフィットさせる手法などを用いることができる。輪郭やエッジから矩形を検出する手法としては輪郭の点列を全て包含するように矩形をフィットさせる手法などを用いることができる。このようにして、形状識別部２２６は拡大撮像処理で撮像した画像から細胞塊の輪郭抽出し、形状を識別する。
　形状判定部２２７は形状識別部２２６で識別された細胞塊の形状が所定形状であるか否かを判定する。「所定形状」は細胞塊の予め設定した形状であり、観察するに好適に成育し続ける可能性が高いと判断することができる程度の形状であってできるだけ円形に近いものが良い。
　細胞塊の所定形状の判定条件としては形状のほか、例えば大きさや凹凸度合いといった条件を加味しても良い。形状の判定条件としては、例えば輪郭を囲む楕円の楕円形度、輪郭を囲む円の真円度などが挙げられる。大きさの判定条件としては、例えば白色画素塊の大きさ、白色画素塊の輪郭の長さ、白色画素塊の輪郭内部の面積、楕円の長軸長さ、楕円の短軸長さ、楕円の円周の長さ、円の直径、円周の長さ、輪郭を囲む矩形の長さ、輪郭を囲む矩形の面積などが挙げられる。凹凸度合い判定条件としては、例えば輪郭の面積と周囲長との比、輪郭の面積と輪郭を囲む矩形の面積との比、輪郭の長さと輪郭を囲む矩形の長さとの比、輪郭のコーナー数、輪郭の面積と輪郭を囲む円或いは楕円の面積との比、輪郭の長さと輪郭を囲む円の円周或いは楕円の円周の長さとの比、輪郭を囲む矩形の面積と輪郭を囲む円或いは楕円の面積との比、輪郭を囲む矩形の長さと輪郭を囲む円或いは楕円の長さとの比などが挙げられる。輪郭のコーナー数で判定する際のコーナー検出手法としては、例えばハリスのコーナー検出やＳＵＳＡＮオペレータなどを用いることができる。
　ここでは、細胞塊の所定形状の判定条件を例えば楕円形度にして１．１以下と設定し、記憶部２１０などに記憶している。なお、楕円形度は楕円の短軸長さに対する長軸長さの比である。これにより、できるだけ円形に近い細胞塊が識別されるので、観察を続けるのに適正な形状の細胞塊を自動的に選別することができる。したがって、成育過程で歪な形状に成育した細胞塊の観察順位を低くしたり、観察を中止したりすることができ、適正な形状の細胞塊の観察をより一層効率良く進めることが可能になる。
　また、形状判定を閾値（例えば楕円形度１．１）によって明示的に行う方法だけでなく、判定結果の優劣に基づいて細胞塊画像をソートしてモニタ２０４ａに表示（楕円形度なら、楕円形度が小さい順に表示）し、どの細胞塊までを好適と判定するかをユーザに委ねるような方法でも良い。
　記憶部２１０は細胞の観察や観察システムＳの動作に関する様々なデータを記憶するためのものであって、例えば観察タイミング保持部２１１、観察位置保持部２１２、位置更新可否保持部２１３、閾値保持部２１４、形状保持部２１５、及び観察画像保持部２１６を備えている。
　観察タイミング保持部２１１は観察に係る期間や日数、期限などといった日時に関する様々なデータを保持する。例えば、拡大観察対象細胞塊の識別を実行するタイミングについて設定した細胞塊の識別に関する所定期間である「所定識別期間」、拡大観察対象細胞塊の識別を終了するタイミングについて設定した所定日数である「所定識別日数」、拡大した細胞塊の撮像を実行するタイミングについて設定した拡大画像の撮像に関する所定期間である「所定撮像期間」、細胞の観察を終了するタイミングについての予め設定した所定期限である「所定観察期限」などといったデータである。これらのデータは観察プログラム２２０において適宜判定条件として使用され、計時部２０２で計測される日時と比較される。
　観察位置保持部２１２は全体観察によって得られた細胞塊の観察位置（座標）や、手動で設定した観察位置（座標）といったデータを保持する。
　位置更新可否保持部２１３は観察タイミング保持部２１１に記憶された所定識別期間に応じて、前回の全体観察時に得て観察位置保持部２１２に記憶された細胞塊の観察位置を更新するか否かのフラグを保持する。
　閾値保持部２１４は観察に係る閾値に関する様々なデータを保持する。例えば、二値化処理の際に白色画素か黒色画素かを判定するための閾値、ラベリングされた白色画素塊を細胞塊として抽出するか否かを判定するための画素数についての閾値などといったデータである。
　また、閾値保持部２１４は形状識別処理実行の際、好適に成育し得る細胞塊を識別するための閾値を保持する。例えば、白色画素塊の大きさで判定するための画素数の閾値、白色画素塊の輪郭の長さで判定するための輪郭の長さの閾値、白色画素塊の輪郭内部の面積で判定するための面積の閾値、輪郭を囲む円の真円度で判定するための真円度の閾値、輪郭を囲む楕円の楕円形度で判定するための楕円長軸と楕円短軸の比の閾値、円の直径で判定するための直径の閾値、円周の長さで判定するための円周の閾値、楕円の長軸長さで判定するための長軸の閾値、楕円の短軸長さで判定するための短軸の閾値、楕円の円周の長さで判定するための楕円円周の閾値、輪郭を囲む矩形の長さで判定するための矩形の長さの閾値、輪郭を囲む矩形の面積で判定するための矩形の面積の閾値、輪郭の面積と周囲長との比で判定するための輪郭の面積と周囲長との比の閾値、輪郭の面積と輪郭を囲む矩形の面積との比で判定するための面積比の閾値、輪郭の長さと輪郭を囲む矩形の長さとの比で判定するための長さ比の閾値、輪郭のコーナー数で判定するためのコーナー数の閾値、輪郭の面積と輪郭を囲む円或いは楕円の面積との比で判定するための面積比の閾値、輪郭の長さと輪郭を囲む円或いは楕円の長さとの比で判定するための長さ比の閾値、輪郭を囲む矩形の面積と輪郭を囲む円或いは楕円の面積との比で判定するための面積比の閾値、輪郭を囲む矩形の長さと輪郭を囲む円或いは楕円の長さとの比で判定するための長さ比の閾値などといったデータである。
　形状保持部２１５は形状識別処理の全ての方法について、細胞塊の形状識別処理結果を保持する。
　観察画像保持部２１６は拡大観察画像、全体観察画像を保持する。
　なお、観察タイミング保持部２１１や閾値保持部２１４は観察プログラム２２０に関する諸設定をユーザが適宜変更できる設定部としても機能する。観察タイミング保持部２１１を用いて設定可能な事項としては、例えば全体観察部１０や拡大観察部２０において画像を撮像するタイミングや、観察に係る期間や日数、期限などといった設定事項である。閾値保持部２１４を用いて設定可能な事項としては、例えば拡大観察対象細胞塊の判定基準である細胞塊の所定サイズ、細胞塊が観察を続けるのに適正な形状であるか否かの判定基準である細胞塊の所定形状などといった設定事項である。
　計時部２０２は細胞の観察開始からの日時や観察システムＳの動作制御に関する時間を計測するためのものであって、各種時間を把握できる。
　入力部２０３は、例えばキーボード２０３ａやマウス２０３ｂなどのポインティングデバイスで構成されている。ユーザはキーボード２０３ａを用いて文字や数値などの入力を行う。また、ユーザはマウス２０３ｂを用いて出力部２０４のモニタ２０４ａの画面上でカーソルを任意の方向に移動させ、メニューやその他選択肢の選択を行う。演算部２０１は入力部２０３から得られる情報に基づき演算部２０１や記憶部２１０に記憶、入力されたプログラム、データ、ファイルに対して各種処理を実行したり、出力部２０４に対して出力処理を実行したりする。
　出力部２０４は、例えば液晶ディスプレイ、ＣＲＴ等のモニタ２０４ａやスピーカ２０４ｂで構成されている。演算部２０１は実行されるプログラムの処理に基づいてモニタ２０４ａにウィンドウやアイコン、メニューなどを表示させたり、スピーカ２０４ｂから発音させたりする。また、演算部２０１は入力部２０３からの情報に基づいてモニタ２０４ａにユーザが入力した文字や数値などを表示させ、ユーザが移動させるカーソルを表示させる。
　続いて、容器Ｃ内の細胞の観察に係るユーザによる観察システムＳの操作について、図６に示すフローに沿って説明する。図６は観察システムＳの操作に係るフローを示す説明図である。
　ユーザは最初に観察装置１、制御装置１００、及びコンピュータ２００の電源をオンにして観察システムＳを起動させる（図６のステップ＃１０１）。そして、ユーザは搬送部３０のホルダ３１に細胞と細胞の培養液とが入った容器Ｃをセットする（ステップ＃１０２）。続いて、ユーザはコンピュータ２００において観察プログラム２２０を起動させると（ステップ＃１０３）、モニタ２０４ａ上に操作画面が表示される。
　観察プログラム２２０はプログラムの起動と連動して自動的に、搬送部３０の原点復帰動作を実行するようになっている（ステップ＃１０４）。そして、観察プログラム２２０はカメラによる撮像を開始し（ステップ＃１０５）、モニタ２０４ａにカメラからのリアルタイム画像を表示させる。
　続いて、ユーザはモード設定操作を実行する（ステップ＃１０６）。このモード設定操作では通常タイムラプス探索操作（ステップ＃１０７）と、全体観察操作（ステップ＃１０８）とが選択できる。タイムラプス観察とは所定期間ごとに予め設定された位置を観察する手法である。
　通常タイムラプス探索操作（ステップ＃１０７）ではユーザがモニタ２０４ａ上やキーボード２０３ａの矢印キーで容器Ｃを移動させながら容器Ｃ内を観察し、目標の細胞を確認する。そして、キャプチャ画像の取得や表示、保存、さらに座標設定、座標保存などを実行する。
　全体観察操作（ステップ＃１０８）ではユーザが全体観察における所定識別期間や所定識別日数の設定を行う。画像の取得や表示、保存、さらに観察位置表示などは設定に基づき自動的に実行される。
　次に、目的別操作（ステップ＃１０９）では終了（ステップ＃１１０）、目視継続（ステップ＃１１１）、及びタイムラプス（ステップ＃１１２）の操作が選択できる。
　終了（ステップ＃１１０）を選択すると、カメラによる撮像が停止され、設定が保存される。目視継続（ステップ＃１１１）を選択すると、カメラによって撮像された画像の手動によるキャプチャ保存が可能である。
　タイムラプス（ステップ＃１１２）を選択すると、さらにタイムラプス観察開始、タイムラプス一時停止、及びタイムラプス再開の操作が可能である。タイムラプスを一時停止させた場合、容器Ｃの取り出しや培養液の交換といった作業が可能である（ステップ＃１１３）。
　このような観察プログラム２２０を用いてタイムラプス観察を実行すると、全体撮像処理で撮像した画像から発現した細胞塊を識別してその位置を特定し、さらに拡大撮像処理で撮像した画像から細胞塊の形状識別して観察を続けるのに適正な形状の細胞塊を選別するといった一連の処理を自動的に行うことが可能である。
　続いて、観察システムＳにおける観察処理に係る動作について、図７に示すフローに沿って説明する。図７は観察システムＳにおける観察処理に係る動作を示すフローチャートである。
　観察プログラム２２０を実行させると（図７のスタート）、観察プログラム２２０はまず所定識別期間に合致しているか否かを判定する（ステップ＃２０１）。なおこれに関して、観察プログラム２２０は計時部２０２に対して播種後、例えば細胞の観察開始からの日時と、拡大観察部２０を用いた前回の拡大観察対象細胞塊の識別からの期間とを予め計測させている。そして、所定識別期間は拡大観察対象細胞塊の識別を実行するタイミングについての予め設定した期間であり、例えば１日と設定され記憶部２１０の観察タイミング保持部２１１に記憶されている。所定識別期間は適宜設定することが可能である。
　ステップ＃２０１において所定識別期間に合致していない場合（ステップ＃２０１のＮｏ）、観察プログラム２２０は拡大観察部２０に拡大画像を撮像させ（ステップ＃２０２）、観察処理に係る動作についての一連のフローを終了する（図７のエンド）。
　一方、ステップ＃２０１において所定識別期間に合致している場合（ステップ＃２０１のＹｅｓ）、観察プログラム２２０は観察装置１の全体観察部１０に指令を送り容器Ｃ全体を撮像することで細胞の画像を撮像させる（ステップ＃２０３）。次に、観察プログラム２２０は撮像された全体画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する二値化処理を実行する（ステップ＃２０４）。これにより、細胞塊でない部分が黒に細胞塊の部分が白に二値化される。
　さらに、観察プログラム２２０は収縮膨張処理を実行する（ステップ＃２０５）。収縮膨張処理とは黒色画素に接する白色画素を剥ぎ取る処理である収縮処理、それとは逆に黒色画素に接する白色画素を加える処理である膨張処理からなる。収縮処理では微小な白色画素の塊を黒色画素に反転し、膨張処理では白色画素領域内に存在する微小な黒色画素の塊を白色画素に反転できるため、ノイズを除去する効果がある。
　そして、観察プログラム２２０はラベリング処理を実行し（ステップ＃２０６）、任意位置の予め定めた小領域ごとに白色の画素数を算出し、白色画素の塊、すなわち細胞塊を識別する。さらに、観察プログラム２２０は識別された細胞塊、すなわち白色画素の塊のうち、画素数の多いものから順にソートを実行する（ステップ＃２０７）。
　次に、観察プログラム２２０は最大の白色画素の塊（細胞塊）のサイズが閾値、すなわち所定サイズ以上か否かを判定する（ステップ＃２０８）。この閾値としての所定サイズは、例えば画素数にして１０００ピクセルと設定し、記憶部２１０の閾値保持部２１４に記憶している。最大の細胞塊が所定サイズ未満である場合（ステップ＃２０８のＮｏ）、観察プログラム２２０は全体観察部１０が撮像した全体画像の任意の座標を検出して拡大観察位置としてセットし（ステップ＃２０９）、拡大観察部２０に拡大画像を撮像させる（ステップ＃２０２）。そして、観察プログラム２２０は観察処理に係る動作についての一連のフローを終了する（図７のエンド）。
　一方、ステップ＃２０８において最大の細胞塊が所定サイズ以上である場合（ステップ＃２０８のＹｅｓ）、観察プログラム２２０は再度選択した細胞塊が所定サイズ以上であるか否かを判定する（ステップ＃２１０）。細胞塊が所定サイズ以上である場合（ステップ＃２１０のＹｅｓ）、観察プログラム２２０は白色画素の塊（細胞塊）を拡大観察対象細胞塊として認識してその中心座標を検出する（ステップ＃２１１）。さらに、観察プログラム２２０はその中心座標を拡大画像観察用に座標変換する（ステップ＃２１２）。
　次に、観察プログラム２２０は座標変換した細胞塊の中心座標を拡大観察位置としてセットし（ステップ＃２１３）、拡大観察部２０に拡大画像を撮像させる（ステップ＃２１４）。そして、観察プログラム２２０は次の白色画素の塊（細胞塊）を拡大観察対象細胞塊であるか否かの判定対象として選択し（ステップ＃２１５）、ステップ＃２１０に戻って選択した細胞塊が所定サイズ以上であるか否かを判定する。
　ステップ＃２０６で識別された細胞塊が所定サイズ未満となるまで（ステップ＃２１０のＮｏ）、ステップ＃２１０～ステップ＃２１５までのフローが繰り返され、拡大観察対象として認識された細胞塊の拡大観察位置のセットが続けられる。ステップ＃２０６で識別された細胞塊が所定サイズ未満となると（ステップ＃２１０のＮｏ）、観察プログラム２２０は観察処理に係る動作についての一連のフローを終了する（図７のエンド）。
　そして、タイムラプス観察では拡大観察対象となる細胞塊の位置をユーザが手動で設定するか、全体観察結果から細胞塊の位置設定（位置特定）を行う。位置が特定された細胞塊に対して、観察プログラム２２０は所定撮像期間ごとに拡大観察部２０に指令を送り容器Ｃ内を拡大してその細胞の画像を撮像させ、所定観察期限に到達したことを条件として撮像を中止する。
　なお、所定観察期限は細胞の観察を終了するタイミングについての予め設定した期限であり、例えば１０日と設定され観察タイミング保持部２１１に記憶されている。所定観察期限は適宜設定することが可能である。
　このようにして、容器Ｃ全体を撮像した画像から細胞塊が識別されてその座標が検出され、検出された座標を中心に拡大することでその細胞塊の詳細を観察することが可能になる。また、所定撮像期間ごとに拡大された細胞の画像が撮像され、観察期限に到達したことでその撮像が終了されるので、細胞塊の発現のときから成育完了まで継続してタイムラプス観察を行うことが可能になる。
　本発明の実施形態の構成によれば、容器Ｃ内で培養中の細胞を観察するにあたって、容器Ｃ全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察装置１を提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察プログラム２２０、観察方法及び観察システムＳを提供することができる。
　（第２の実施形態）
　次に、本発明の第２の実施形態に係る観察プログラムについて、その観察処理に係る動作を図８に示すフローに沿って説明する。図８は観察プログラムにおける観察処理に係る動作を示すフローチャートである。なお、この実施形態の基本的な構成は図１～図７を用いて説明した前記第１の実施形態と同じであるので、第１の実施形態と共通する構成要素については図面の記載及びその説明を省略するものとする。
　第２の実施形態に係る観察プログラム２２０を実行させると（図８のスタート）、観察プログラム２２０はまず所定識別期間に合致しているか否かを判定する（ステップ＃３０１）。所定識別期間に合致している場合（ステップ＃３０１のＹｅｓ）、観察プログラム２２０は観察装置１の全体観察部１０に指令を送り容器Ｃ全体を撮像することで細胞の画像を撮像させる（ステップ＃３０３）。
　次に、観察プログラム２２０は容器Ｃに細胞を播種後、所定識別日数が経過したか否かを判定する（ステップ＃３０４）。なおこれに関して、観察プログラム２２０は計時部２０２に対して播種後、例えば細胞の観察開始からの日時を予め計測させている。そして、所定識別日数は拡大観察対象細胞塊の識別を終了するタイミングについての予め設定した日数であり、例えば５日と設定され記憶部２１０の観察タイミング保持部２１１に記憶されている。
　ステップ＃３０４において播種後、例えば細胞の観察開始からの日時が所定識別日数である５日を経過している場合（ステップ＃３０４のＹｅｓ）、観察プログラム２２０は拡大観察部２０に拡大画像を撮像させ（ステップ＃３０２）、観察処理に係る動作についての一連のフローを終了する（図８のエンド）。すなわち、観察開始から５日を経過すると、拡大観察対象となる細胞塊の識別を中止してその位置情報を更新しない。
　ステップ＃３０４において播種後、例えば細胞の観察開始からの日時が所定識別日数である５日を経過していない場合（ステップ＃３０４のＮｏ）、観察プログラム２２０は撮像された全体画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する二値化処理を実行する（ステップ＃３０５）。以下、ステップ＃３０５～ステップ＃３１６の動作フローは第１の実施形態のステップ＃２０４～ステップ＃２１５の動作フローと同じであるので、説明を省略する。
　そして、タイムラプス観察では所定識別期間ごとに拡大観察対象細胞塊を認識できるまで上記の拡大観察対象細胞塊の識別を繰り返し、且つ所定識別日数（５日）を経過したことを条件として拡大観察対象細胞塊の識別を中止する。所定識別期間は計時部２０２で計測される拡大観察対象細胞塊の識別を実行するタイミングについての予め設定した期間であり、例えば１日と設定され記憶部２１０の観察タイミング保持部２１１に記憶されている。所定識別期間及び所定識別日数は適宜設定することが可能である。
　このようにして、拡大観察対象細胞塊を認識する、すなわち細胞塊の発現のときを見極められるまで所定識別期間（１日）ごとに拡大観察対象細胞塊の識別を繰り返すので、自動的に細胞塊の発現のときを見極められる。そして、細胞の観察開始から所定識別日数（５日）経過後は拡大観察対象細胞塊の識別が中止されるので、全体観察で特定した細胞塊の拡大観察のみが実行されて成育完了まで観察を効率良く進めることができる。
　なお、拡大観察対象細胞塊の識別を継続するか否かの判定はステップ＃３０４のように日数に基づき自動的に実行させる方法のほか、ユーザが自由に設定できるようなウィンドウやユーザインターフェースを設け、拡大観察対象細胞塊の識別を継続するか否かの判定をユーザに委ねる方法にしても良い。
　（第３の実施形態）
　次に、本発明の第３の実施形態に係る観察プログラムについて、その観察処理に係る動作を図９及び図１０に示すフローに沿って説明する。図９は観察プログラムにおける観察処理に係る動作を示すフローチャート、図１０は図９に示す観察処理に係る動作を示すフローチャートの続きである。なお、この実施形態の基本的な構成は前記第１及び第２の実施形態と同じであるので、これらの実施形態と共通する構成要素については図面の記載及びその説明を省略するものとする。
　第３の実施形態において、図９の動作フローのステップ＃４０１～ステップ＃４１０及び図１０の動作フローのステップ＃４１１～ステップ＃４１３は図７及び図８の動作フローと同じであるので、説明を省略する。
　観察プログラム２２０は図１０のステップ＃４１３で拡大観察用に座標変換した細胞塊の中心座標を拡大観察位置として仮セットする（ステップ＃４１４）。そして、観察プログラム２２０は拡大観察部２０に指令を送り容器Ｃ内の拡大観察位置に関して拡大して細胞の画像を撮像させる（ステップ＃４１５）。
　続いて、観察プログラム２２０は拡大撮像処理で撮像された画像から細胞塊の輪郭を抽出し（ステップ＃４１６）、形状を識別する（ステップ＃４１７）。そして、観察プログラム２２０は識別された細胞塊の形状が所定形状、すなわち楕円形度の閾値以下であるか否かを判定する（ステップ＃４１８）。この所定形状を示す楕円形度の閾値としては、例えば１．１と設定され記憶部２１０の閾値保持部２１４に記憶されている。細胞塊の所定形状を示す楕円形度の閾値は適宜設定することが可能である。また、楕円形度に代わる細胞塊の所定形状の判定条件、例えば真円度を設定することも可能である。
　ステップ＃４１８において細胞塊の楕円形度が閾値以下である場合（ステップ＃４１８のＹｅｓ）、観察プログラム２２０は細胞塊の中心座標を拡大観察位置として正式にセットする（ステップ＃４１９）。一方、細胞塊の楕円形度が閾値を超えている場合（ステップ＃４１８のＮｏ）、観察プログラム２２０は仮セットした拡大観察位置を消去する（ステップ＃４２０）。そして、観察プログラム２２０は次の白色画素の塊（細胞塊）を拡大観察対象細胞塊であるか否かの判定対象として選択し（ステップ＃４２１）、ステップ＃４１１に戻って選択した細胞塊が所定サイズ以上であるか否かを判定する。
　このようにして、所定形状の細胞塊が識別されるので、観察を続けるのに適正な形状の細胞塊を自動的に選別することができる。その結果、成育過程で歪な形状に成育した細胞塊の観察を中止することができ、適正な形状の細胞塊の観察をより一層効率良く進めることが可能になる。
　なお、ステップ＃４１８の細胞塊の形状判定は閾値（例えば楕円形度１．１）によって明示的に行う方法だけでなく、判定結果の優劣に基づいて細胞塊画像をソートしてモニタ２０４ａに表示（楕円形度なら、楕円形度が小さい順に表示）し、どの細胞塊までを好適と判定するかをユーザに委ねるような方法でも良い。
　（第４の実施形態）
　次に、本発明の第４の実施形態に係る観察プログラムについて、その観察処理に係る動作を図１１に示すフローに沿って、図１２～図２１を適宜参照しつつ説明する。なお、この実施形態の基本的な構成は前記第１～第３の実施形態と同じであるので、これらの実施形態と共通する構成要素については図面の記載及びその説明を省略するものとする。
　ｉＰＳ細胞の維持培養では、中央部や周辺部で細胞群の状態が変化（分化）してしまった分化コロニーを取り除き、未分化コロニーのみを継続的に培養する。例えば、図１２に示す未分化コロニーは、未分化領域のみで構成されているのに対して、図１３に示す分化コロニー（以下、分化コロニー１と称する）では、コロニーの中央部に分化領域が発生している。そこで、本実施形態の観察プログラムは、未分化コロニーに対しては、観察を続けるのに適正な形状の細胞塊として選別して拡大観察の対象とし、分化コロニーに対しては、拡大観察を行わない。
　図１１は観察プログラムにおける観察処理に係る動作を示すフローチャートであって、図９に示す観察処理に係る動作を示すフローチャートの続きである。したがって、本実施形態の観察プログラムは、図９の動作フローのステップ＃４０１～ステップ＃４１０と、図１１の動作フローのステップ＃５１１～ステップ＃５２２とからなる。なお、第３の実施形態と共通する、図９の動作フローのステップ＃４０１～ステップ＃４１０は、説明を省略する。
　ステップ＃５１１において、第１の実施形態のステップ＃２１０と同様に、観察プログラム２２０は、選択した細胞塊が所定サイズ以上であるか否かを判定する。細胞塊が所定サイズ以上である場合（ステップ＃５１１のＹｅｓ）、観察プログラム２２０は、例えば前述したエッジ抽出フィルタによる輪郭抽出と８連結探索による輪郭追跡などを実行して、細胞塊の輪郭を抽出する（ステップ＃５１２）。また、観察プログラム２２０は、例えば前述したハフ変換や一般化ハフ変換などを用いて、抽出した輪郭の図形から円または楕円を検出し（ステップ＃５１３）、さらにその中心を検出する（ステップ＃５１４）。
　ここで、図１２に示した未分化コロニーの画像に対して、二値化処理および収縮膨張処理（図９のステップ＃４０５およびステップ＃４０６）を行った結果の一例を図１４に示す。図１４においては、白色画素の塊が楕円形状となっている。一方、図１３に示した分化コロニー１の画像に対して、二値化処理および収縮膨張処理を行った結果の一例を図１５に示す。図１５においては、楕円形状の白色画素の塊がそれより小さな楕円形状の黒色画素の塊を内包している。
　また、これらの白色画素の塊に対して、ステップ＃５１２の輪郭抽出を行った結果の一例を、それぞれ図１６および図１７において実線で示す。さらに、これらの輪郭の図形に対して、ステップ＃５１３の円・楕円検出を行った結果の一例を、それぞれ図１６および図１７において破線で示す。そして、これらの楕円に対して、ステップ＃５１４の円・楕円中心検出を行った結果の一例を、それぞれ図１６および図１７において記号「＋」で示す。
　ステップ＃５１３の円・楕円検出の結果、未分化コロニーに対しては、図１６に示すように、１つの円または楕円のみが検出されている。一方、分化コロニー１に対しては、図１７に示すように、２つの円または楕円が検出されているが、これらは、一方が他方を内包する、所謂ドーナツ形状となっている。なお、所謂ドーナツ形状には、一方の円または楕円に他方の円または楕円が内接する場合を含めてもよい。
　続いて、観察プログラム２２０は、ステップ＃５１２～ステップ＃５１４で抽出した円または楕円の形状情報に基づいて、細胞塊の状態を判定する（ステップ＃５１５およびステップ＃５１６）。
　具体的には、円または楕円を複数検出した場合に、それらのうち２つの中心間が所定の距離以下であるとき（ステップ＃５１５のＹｅｓ）に、分化コロニー（所定状態）であると判定する。なお、輪郭線が２重に抽出されるなどして、未分化コロニーであっても略同じ位置を中心とする複数の円または楕円が検出される場合もある。そのため、本実施形態では、２つの円または楕円の中心間が所定の距離以下であり（ステップ＃５１５のＹｅｓ）、かつ、それらの半径の差が所定以上であるとき（ステップ＃５１６のＹｅｓ）に、分化コロニーであると判定している。
　ここで、２つの円または楕円の中心間の距離の閾値Ｔｄと半径の差の閾値Ｔｒとを等しくすると、（中心間の距離）≦Ｔｄ＝Ｔｒ≦（半径の差）である場合、すなわち、２つの円または楕円が内包または内接する所謂ドーナツ形状である場合に、分化コロニーであると判定される。なお、ＴｄをＴｒより小さくすることによって、所謂ドーナツ形状の検出基準を厳しくし、２つの円または楕円の一方が他方を内包する場合にのみ分化コロニーであると判定することもできる。反対に、全体撮像処理で撮像した画像を用いていることを考慮して、ＴｄをＴｒより若干大きくすることによって、所謂ドーナツ形状の検出基準を緩くし、２つの円または楕円が若干交わる場合を含めて分化コロニーであると判定することもできる。
　一方、１つの円または楕円のみを検出した場合（ステップ＃５１５のＮｏ）や、中心間がすべて所定の距離より大きい場合（ステップ＃５１５のＮｏ）、半径の差がすべて所定未満である場合（ステップ＃５１６のＮｏ）には、未分化コロニーであると判定する。
　そして、観察プログラム２２０は、未分化コロニーであると判定した場合には、当該白色画素の塊（細胞塊）を拡大観察対象細胞塊として選択し、以下、第３の実施形態のステップ＃４１２～ステップ＃４１５、ステップ＃４１９、ステップ＃４２１と同じ動作フローとなる（ステップ＃５１７～ステップ＃５２２）。一方、分化コロニーであると判定した場合には、拡大観察対象細胞塊として選択せず、次の白色画素の塊（細胞塊）を拡大観察対象細胞塊であるか否かの判定対象として選択し（ステップ＃５２２）、ステップ＃５１１に戻って選択した細胞塊が所定サイズ以上であるか否かを判定する。
　このようにして、分化コロニーが所定形状（所謂ドーナツ形状）として検出されるので、未分化コロニーを、観察を続けるのに適正な形状の細胞塊として自動的に選別することができる。その結果、分化コロニーに対しては、拡大観察を行わず、未分化コロニーの観察をより一層効率良く進めることが可能となる。
　なお、例えば、図１８に示す分化コロニー（以下、分化コロニー２と称する）では、コロニーの周辺部に分化領域が発生しており、二値化処理を行った場合、中央部の未分化領域のみで構成される白色画素の塊となってしまう。分化コロニー２に対しても拡大観察の対象としないためには、例えば、二値化処理の代わりに三値化処理や四値化処理などを行えばよい。
　一例として、図１８に示した分化コロニー２の画像に対して、図１９に示すように各画素の輝度の度数分布を求めて三値化処理を行った結果を図２０に示す。また、ステップ＃５１２において、白色画素およびグレー画素の塊に対してそれぞれ輪郭抽出を行い、さらに、ステップ＃５１３の円・楕円検出およびステップ＃５１４の円・楕円中心検出を行った結果の一例を図２１に示す。そして、観察プログラム２２０は、このように抽出した円または楕円の形状情報に基づいて、細胞塊の状態を判定することができる（ステップ＃５１５およびステップ＃５１６）。
　また、本実施形態では、分化コロニーを、拡大観察を行わない所定状態としたが、図２２に示すように、所定状態（ステップ＃５１５のＹｅｓかつステップ＃５１６のＹｅｓ）を拡大観察の対象としてもよい。この場合、未分化コロニーに対しては拡大観察を行わず、分化コロニー（所定状態）のみを効率的に観察することができる。
　前述したように、第４の実施形態に係る観察プログラムにおいて、ステップ＃４０３の全体撮像処理で撮像した画像から識別した細胞塊の形状情報を抽出し、当該形状情報に基づいて細胞塊の状態を判定することによって、未分化コロニーを、観察を続けるのに適正な形状の細胞塊として自動的に選別し、分化コロニーの観察順位を低くしたり、観察を中止したりすることができる。なお、分化コロニーを、観察を続けるのに適正な形状の細胞塊として選別することもできる。
　また、形状情報に基づく細胞塊の状態の判定結果に基づいて、拡大観察対象細胞塊を選択することによって、分化コロニーに対しては、拡大観察を行わず、未分化コロニーの観察をより一層効率良く進めることができる。なお、分化コロニーを拡大観察の対象とすることもできる。
　また、細胞塊の輪郭の図形から円または楕円を検出し、円または楕円を複数検出した場合に、それらのうち２つの中心間が所定の距離以下であるときに分化コロニーであると判定することによって、分化コロニーを所謂ドーナツ形状として検出することができる。
　さらに、２つの円または楕円の中心間が所定の距離以下であり、かつ、それらの半径の差が所定以上であるときに分化コロニーであると判定することによって、より精度よく分化コロニーを所謂ドーナツ形状として検出することができる。
　また、所定サイズ以上の細胞塊から拡大観察対象細胞塊を選択することによって、細胞塊の発現のときを見極めることができ、細胞塊の発現のときから成育完了まで継続して観察を行うことができる。
　また、所定撮像期間ごとに観察処理を行い、所定観察期限に到達すると観察処理を終了することによって、細胞塊の発現のときから成育完了まで継続してタイムラプス観察を行うことができる。
　また、前述したように、全体観察部１０の撮像部であるＣＭＯＳカメラ１２によって容器Ｃ全体を撮像することで容器Ｃ内の細胞の画像を撮像することによって、観察プログラムを実行するコンピュータは、全体撮像処理で撮像した画像から識別した細胞塊の形状情報を抽出し、当該形状情報に基づいて細胞塊の状態を判定することができる。
　また、形状情報に基づく細胞塊の状態の判定結果に基づいて、拡大観察対象細胞塊を選択することによって、拡大観察部２０の撮像部であるＣＣＤカメラ２４によって容器Ｃ内の一部の領域を拡大して拡大観察対象細胞塊を画像として撮像することができる。
　なお、上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。
　例えば、上記実施形態では培養容器１枚を観察するという内容で説明したが、培養容器複数枚を載置できるトレーを用いて複数枚を同時に観察しても良い。
　また、上記実施形態では全体観察部１０の撮像部にＣＭＯＳカメラ１２を、拡大観察部２０の撮像部にＣＣＤカメラ２４を用いることとしたが、カメラの種類としてはＣＭＯＳカメラ、ＣＣＤカメラいずれを用いても良い。
　また、上記第４の実施形態において、ステップ＃５１８に代えて、第３の実施形態のステップ＃４１６～ステップ＃４２０とすることによって、第３および第４の実施形態の形状判定を組み合わせて用いても良い。
　　Ｓ　　　　　観察システム
　　１　　　　　観察装置
　　２　　　　　本体（筐体）
　　１０　　　　全体観察部
　　１１　　　　レンズ（全体観察光学系）
　　１２　　　　ＣＭＯＳカメラ（撮像部）
　　１３　　　　リング照明（全体観察照明）
　　２０　　　　拡大観察部
　　２１　　　　対物レンズ（拡大観察光学系、レンズ部）
　　２２　　　　反射ミラー（拡大観察光学系）
　　２３　　　　ズームレンズ（拡大観察光学系）
　　２４　　　　ＣＣＤカメラ（撮像部）
　　２５　　　　位相差照明部（拡大観察照明）
　　２６　　　　対物レンズカバー（カバー部材）
　　２７　　　　窓部
　　３０　　　　搬送部
　　１００　　　制御装置
　　２００　　　コンピュータ
　　２０１　　　演算部
　　２０２　　　計時部
　　２１０　　　記憶部
　　２１１　　　観察タイミング保持部（設定部）
　　２１４　　　閾値保持部（設定部）
　　２２０　　　観察プログラム
　　Ｃ　　　　　容器
　　Ｄ　　　　　空隙

Claims (9)

  1. 　コンピュータに、
    　試料と溶液とが入った容器全体を撮像することで前記試料の画像を撮像する全体撮像処理と、
    　前記全体撮像処理で撮像した前記画像から複数の前記試料が寄り集まった試料塊を識別する試料塊識別処理と、
    　前記試料塊識別処理で識別した前記試料塊の形状情報を抽出し、前記形状情報に基づいて前記試料塊の状態を判定する試料塊判定処理と、
    　を実行させることを特徴とする観察プログラム。
  2. 　前記試料塊判定処理の判定結果に基づいて、前記試料塊識別処理で識別した前記試料塊から拡大観察対象試料塊を選択し、前記拡大観察対象試料塊の中心の座標を検出する座標検出処理と、
    　前記座標検出処理で検出した前記座標を中心として拡大して前記拡大観察対象試料塊の画像を撮像する拡大撮像処理と、
    　をさらに実行させることを特徴とする請求項１に記載の観察プログラム。
  3. 　前記試料塊判定処理は、
    　前記試料塊識別処理で識別した前記試料塊の輪郭を抽出して、抽出した前記輪郭の図形から円または楕円を検出し、
    　前記円または楕円を複数検出した場合に、２つの前記円または楕円の中心間が所定の距離以下であるときに前記試料塊が所定状態であると判定し、
    　前記座標検出処理は、前記試料塊判定処理で前記所定状態であると判定した前記試料塊を前記拡大観察対象試料塊として選択しないことを特徴とする請求項２に記載の観察プログラム。
  4. 　前記試料塊判定処理は、
    　前記試料塊識別処理で識別した前記試料塊の輪郭を抽出して、抽出した前記輪郭の図形から円または楕円を検出し、
    　前記円または楕円を複数検出した場合に、２つの前記円または楕円の中心間が所定の距離以下であるときに前記試料塊が所定状態であると判定し、
    　前記座標検出処理は、前記試料塊判定処理で前記所定状態であると判定した前記試料塊を前記拡大観察対象試料塊として選択することを特徴とする請求項２に記載の観察プログラム。
  5. 　前記試料塊判定処理は、
    　前記円または楕円を複数検出した場合に、２つの前記円または楕円の中心間が所定の距離以下であり、かつ、当該２つの前記円または楕円の半径の差が所定以上であるときに前記試料塊が前記所定状態であると判定することを特徴とする請求項３または請求項４に記載の観察プログラム。
  6. 　前記座標検出処理は、前記試料塊判定処理の判定結果に基づいて、前記試料塊識別処理で識別した前記試料塊のうち所定サイズ以上の前記試料塊から前記拡大観察対象試料塊を選択することを特徴とする請求項２ないし請求項５の何れかに記載の観察プログラム。
  7. 　前記試料の観察開始からの日時を計測する計時処理をさらに実行させ、
    　前記試料塊識別処理は、前記計時処理で計時した試料塊の識別に関する所定期間ごとに前記試料塊の識別を繰り返し、かつ、所定日数を経過したことを条件として前記試料塊の識別を中止することを特徴とする請求項６に記載の観察プログラム。
  8. 　請求項１ないし請求項７の何れかに記載の観察プログラムを実行するコンピュータと、
    　前記容器全体を撮像することで前記容器内の前記試料を画像として撮像する撮像部と、
    　を備えることを特徴とする観察装置。
  9. 　請求項２ないし請求項７の何れかに記載の観察プログラムを実行するコンピュータと、
    　前記容器全体を撮像することで前記容器内の前記試料を画像として撮像する第１の撮像部と、
    　前記座標検出処理で検出した前記座標を中心として拡大して前記容器内の前記試料を画像として撮像する第２の撮像部と、
    　を備えることを特徴とする観察装置。
PCT/JP2011/079763 2011-02-28 2011-12-22 観察プログラムおよび観察装置 WO2012117647A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012541273A JP5145487B2 (ja) 2011-02-28 2011-12-22 観察プログラムおよび観察装置
CN2011800649882A CN103329027A (zh) 2011-02-28 2011-12-22 观察程序和观察装置
US13/729,264 US9189677B2 (en) 2011-02-28 2012-12-28 Recording medium having observation program recorded therein and observation apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-042418 2011-02-28
JP2011042418 2011-02-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/729,264 Continuation US9189677B2 (en) 2011-02-28 2012-12-28 Recording medium having observation program recorded therein and observation apparatus

Publications (1)

Publication Number Publication Date
WO2012117647A1 true WO2012117647A1 (ja) 2012-09-07

Family

ID=46757594

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/079763 WO2012117647A1 (ja) 2011-02-28 2011-12-22 観察プログラムおよび観察装置

Country Status (4)

Country Link
US (1) US9189677B2 (ja)
JP (1) JP5145487B2 (ja)
CN (1) CN103329027A (ja)
WO (1) WO2012117647A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014124116A (ja) * 2012-12-25 2014-07-07 Dainippon Printing Co Ltd 培地情報登録システム、プログラム及び衛生管理システム
US20150278575A1 (en) * 2012-11-07 2015-10-01 bioMérieux Bio-imaging method
JPWO2013147114A1 (ja) * 2012-03-30 2015-12-14 公益財団法人神奈川科学技術アカデミー イメージングセルソーター
WO2015193951A1 (ja) * 2014-06-16 2015-12-23 株式会社ニコン 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
WO2016051913A1 (ja) * 2014-09-30 2016-04-07 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、制御プログラム、記録媒体および画像処理装置
JP5943314B2 (ja) * 2013-03-22 2016-07-05 大日本印刷株式会社 画像解析システム、培地情報登録システム、プログラム及び衛生管理システム
JP2016154482A (ja) * 2015-02-24 2016-09-01 シンフォニアテクノロジー株式会社 除去領域設定方法、除去領域設定装置およびプログラム
WO2017090741A1 (ja) * 2015-11-25 2017-06-01 国立研究開発法人理化学研究所 細胞塊に関する領域検出方法及び領域検出装置
JP2019115346A (ja) * 2019-02-19 2019-07-18 株式会社ニコン 細胞の成熟度を判定する方法、観察装置、プログラム、制御装置、および細胞の製造方法
JPWO2020066043A1 (ja) * 2018-09-28 2021-08-30 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
JP2022520270A (ja) * 2019-02-15 2022-03-29 パーキンエルマー セルラー テクノロジーズ ジャーマニー ゲーエムベーハー 顕微鏡を使用して細胞などのオブジェクトを撮像するためのｘ、ｙおよびｚ方向の低倍率顕微鏡対物レンズ事前走査および高倍率顕微鏡対物レンズ走査
US11662565B2 (en) 2018-09-28 2023-05-30 Evident Corporation Microscope system, projection unit, and image projection method
US11869166B2 (en) 2018-09-28 2024-01-09 Evident Corporation Microscope system, projection unit, and image projection method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5814709B2 (ja) * 2011-09-12 2015-11-17 オリンパス株式会社 タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
JP6595156B2 (ja) * 2014-03-04 2019-10-23 富士フイルム株式会社 細胞画像取得装置および方法並びにプログラム
JP6173950B2 (ja) * 2014-03-04 2017-08-02 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
JP2016070730A (ja) * 2014-09-29 2016-05-09 株式会社Ｓｃｒｅｅｎホールディングス 画像取得装置および画像取得方法
CN104390895B (zh) * 2014-11-25 2017-02-22 中国科学技术大学 基于显微成像的图像灰度测量颗粒粒径的方法
CN108693097A (zh) * 2017-12-13 2018-10-23 青岛汉朗智能医疗科技有限公司 红细胞聚集检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023644A (ja) * 2004-07-09 2006-01-26 Nikon Corp 顕微鏡観察用容器
JP2006091506A (ja) * 2004-09-24 2006-04-06 Nikon Corp 光学顕微鏡
JP2006171183A (ja) * 2004-12-14 2006-06-29 Nikon Corp 顕微鏡用コンデンサレンズ
JP2008212017A (ja) * 2007-03-01 2008-09-18 Nikon Corp 細胞状態判定装置、および細胞状態判定方法
JP2009089630A (ja) * 2007-10-05 2009-04-30 Nikon Corp 細胞観察装置および観察方法
JP2009195110A (ja) * 2008-02-19 2009-09-03 Nikon Corp 細胞処理装置および細胞処理方法
JP2010527007A (ja) * 2007-05-07 2010-08-05 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 細胞アッセイ及び組織の自動解析のためのシステム及び方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330349B1 (en) * 1995-11-30 2001-12-11 Chromavision Medical Systems, Inc. Automated method for image analysis of residual protein
US7050620B2 (en) * 2001-03-30 2006-05-23 Heckman Carol A Method of assaying shape and structural features in cells
US7064318B2 (en) * 2003-08-26 2006-06-20 Thermo Finnigan Llc Methods and apparatus for aligning ion optics in a mass spectrometer
WO2008068847A1 (ja) * 2006-12-05 2008-06-12 Shimadzu Corporation 質量分析装置
DK200801722A (en) * 2008-12-05 2010-06-06 Unisensor As Optical sectioning of a sample and detection of particles in a sample
EP2457989B1 (en) * 2009-07-21 2020-11-18 Kyoto University Image processing device, culture observation apparatus, and image processing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023644A (ja) * 2004-07-09 2006-01-26 Nikon Corp 顕微鏡観察用容器
JP2006091506A (ja) * 2004-09-24 2006-04-06 Nikon Corp 光学顕微鏡
JP2006171183A (ja) * 2004-12-14 2006-06-29 Nikon Corp 顕微鏡用コンデンサレンズ
JP2008212017A (ja) * 2007-03-01 2008-09-18 Nikon Corp 細胞状態判定装置、および細胞状態判定方法
JP2010527007A (ja) * 2007-05-07 2010-08-05 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 細胞アッセイ及び組織の自動解析のためのシステム及び方法
JP2009089630A (ja) * 2007-10-05 2009-04-30 Nikon Corp 細胞観察装置および観察方法
JP2009195110A (ja) * 2008-02-19 2009-09-03 Nikon Corp 細胞処理装置および細胞処理方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013147114A1 (ja) * 2012-03-30 2015-12-14 公益財団法人神奈川科学技術アカデミー イメージングセルソーター
US9576181B2 (en) * 2012-11-07 2017-02-21 Biomerieux Bio-imaging method
US20150278575A1 (en) * 2012-11-07 2015-10-01 bioMérieux Bio-imaging method
JP2015536140A (ja) * 2012-11-07 2015-12-21 バイオメリュー バイオイメージング法
JP2014124116A (ja) * 2012-12-25 2014-07-07 Dainippon Printing Co Ltd 培地情報登録システム、プログラム及び衛生管理システム
JP5943314B2 (ja) * 2013-03-22 2016-07-05 大日本印刷株式会社 画像解析システム、培地情報登録システム、プログラム及び衛生管理システム
WO2015193951A1 (ja) * 2014-06-16 2015-12-23 株式会社ニコン 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
JPWO2015193951A1 (ja) * 2014-06-16 2017-04-20 株式会社ニコン 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
WO2016051913A1 (ja) * 2014-09-30 2016-04-07 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、制御プログラム、記録媒体および画像処理装置
JP2016067280A (ja) * 2014-09-30 2016-05-09 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、制御プログラム、記録媒体および画像処理装置
JP2016154482A (ja) * 2015-02-24 2016-09-01 シンフォニアテクノロジー株式会社 除去領域設定方法、除去領域設定装置およびプログラム
WO2017090741A1 (ja) * 2015-11-25 2017-06-01 国立研究開発法人理化学研究所 細胞塊に関する領域検出方法及び領域検出装置
JPWO2017090741A1 (ja) * 2015-11-25 2018-09-13 国立研究開発法人理化学研究所 細胞塊に関する領域検出方法及び領域検出装置
US10810407B2 (en) 2015-11-25 2020-10-20 Riken Region detecting method and region detecting device related to cell aggregation
JPWO2020066043A1 (ja) * 2018-09-28 2021-08-30 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
US11594051B2 (en) 2018-09-28 2023-02-28 Evident Corporation Microscope system and projection unit
US11662565B2 (en) 2018-09-28 2023-05-30 Evident Corporation Microscope system, projection unit, and image projection method
US11869166B2 (en) 2018-09-28 2024-01-09 Evident Corporation Microscope system, projection unit, and image projection method
JP2022520270A (ja) * 2019-02-15 2022-03-29 パーキンエルマー セルラー テクノロジーズ ジャーマニー ゲーエムベーハー 顕微鏡を使用して細胞などのオブジェクトを撮像するためのｘ、ｙおよびｚ方向の低倍率顕微鏡対物レンズ事前走査および高倍率顕微鏡対物レンズ走査
JP2019115346A (ja) * 2019-02-19 2019-07-18 株式会社ニコン 細胞の成熟度を判定する方法、観察装置、プログラム、制御装置、および細胞の製造方法

Also Published As

Publication number Publication date
US9189677B2 (en) 2015-11-17
JPWO2012117647A1 (ja) 2014-07-07
JP5145487B2 (ja) 2013-02-20
US20130188033A1 (en) 2013-07-25
CN103329027A (zh) 2013-09-25

Similar Documents

Publication Publication Date Title
JP5145487B2 (ja) 観察プログラムおよび観察装置
JP5677441B2 (ja) 観察装置、観察プログラム及び観察システム
JP5274731B1 (ja) 観察システム、プログラム及び観察システムの制御方法
JP6005660B2 (ja) 観察システム、観察システムの制御方法及びプログラム
EP2441827B1 (en) Technique for determining the state of a cell mass, image processing program and image processing device using said technique, and method for producing a cell mass
JP5707399B2 (ja) 微生物検出方法、微生物検出装置及びプログラム
US20120134571A1 (en) Cell classification method, image processing program and image processing device using the method, and method for producing cell aggregation
US20120122143A1 (en) Technique for determining maturity of a cell aggregation, image processing program and image processing device using the technique, and method for producing a cell aggregation
EP2444479A1 (en) State determination method for cell cluster, image processing program and imaging processing device using said method, and method for producing cell cluster
JP6173950B2 (ja) 細胞撮像制御装置および方法並びにプログラム
WO2011004568A1 (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
JP5445499B2 (ja) 観察装置
JP2011004638A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
JP5440534B2 (ja) 観察システム及び観察プログラム
JP6571210B2 (ja) 観察装置
JP2011010621A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置
JP6567244B2 (ja) 細胞の運動観察方法、画像処理プログラム及び画像処理装置
JP2012042327A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2012541273

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11859946

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11859946

Country of ref document: EP

Kind code of ref document: A1