WO2009110462A1 - 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置 - Google Patents

細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置 Download PDF

Info

Publication number
WO2009110462A1
WO2009110462A1 PCT/JP2009/053956 JP2009053956W WO2009110462A1 WO 2009110462 A1 WO2009110462 A1 WO 2009110462A1 JP 2009053956 W JP2009053956 W JP 2009053956W WO 2009110462 A1 WO2009110462 A1 WO 2009110462A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observation
cell
difference
angle
Prior art date
Application number
PCT/JP2009/053956
Other languages
English (en)
French (fr)
Inventor
三村　正文
啓 伊藤
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to EP09716625.0A priority Critical patent/EP2256212B1/en
Priority to CN200980101077.5A priority patent/CN101970681B/zh
Publication of WO2009110462A1 publication Critical patent/WO2009110462A1/ja
Priority to US12/923,144 priority patent/US8478017B2/en

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M23/00—Constructional details, e.g. recesses, hinges
    • C12M23/48—Holding appliances; Racks; Supports
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/12—Means for regulation, monitoring, measurement or control, e.g. flow regulation of temperature
    • C12M41/14—Incubators; Climatic chambers
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an image processing means for automatically discriminating between live cells and foreign substances from images acquired in cell observation.
  • the culture microscope includes a culture apparatus (incubator) that forms a suitable environment for cell culture, and a microscopic observation system that microscopically observes the state of cells in the culture container accommodated in the culture apparatus, and is set in advance by a predetermined setting. Captures and obtains observation images of cells at each time, and reconstructs the captured images as a continuous image using a technique such as time-lapse imaging, making it easy to visually grasp the state of cell activity (See, for example, Patent Document 1).
  • non-target objects such as dust, bubbles, cell corpses, etc.
  • the presence or absence of a cell nucleus or cytoplasm is detected to determine whether the cell is a living cell.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide means for enabling discrimination between living cells and other foreign substances in cell observation under a wide range of observation conditions. .
  • a first image and a second image obtained by photographing an object located in the observation visual field with a predetermined time interval are obtained.
  • the first image of the object imprinted on the first image and the second image of the object imprinted on the second image are extracted to align the rotation angle / posture of the object on the image plane, and the rotation angle / posture is aligned.
  • a first image and a second image obtained by capturing an object located in the observation visual field with a predetermined time interval are acquired.
  • An object on an image plane by extracting a first image of the object imprinted in the first image and a second image of the object imprinted in the second image from the acquired first image and second image; Aligning the rotation angle and orientation of the first image, calculating a correlation value or difference between the first image and the second image having the same rotation angle and orientation, and the object is a living cell based on the calculated correlation value or difference.
  • a cell observation image processing program characterized by comprising a step of determining whether or not there is a step of outputting a determination result for an object.
  • an imaging device that captures an object (for example, the object O in the embodiment), and a first image and a second image in which the object is captured at a predetermined time by the imaging device.
  • An image analysis unit that determines whether the object is a living cell from the first image of the object captured in the first image and the second image of the object captured in the second image;
  • An output unit that outputs the determination result determined by the image analysis unit to the outside, and the image analysis unit extracts the first image and the second image, aligns the rotation angle and orientation of the object on the image plane, and rotates the rotation angle.
  • the correlation value or difference between the first image and the second image whose postures are aligned is calculated, and it is configured to determine whether the object is a living cell based on the calculated correlation value or difference.
  • An image processing apparatus for observing cells is provided.
  • the cells are live cells by the correlation between the images of the objects included in the time-series observation images. Is determined. Therefore, it is possible to provide means capable of discriminating between living cells and other foreign substances even in an observation system with relatively low magnification or an observation system in which the internal structure of the cell is not clear.
  • FIG. 6 is an explanatory diagram for explaining association between an object included in an image at time t ⁇ 1 and an object included in an image at time t. It is a schematic diagram which illustrates the change state of the living cell from the time t-1 to the time t. It is a schematic diagram which illustrates the change state of objects other than a living cell from the time t-1 to the time t.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an image processing apparatus. It is the schematic diagram (1) which illustrates the discrimination
  • FIGS. 2 and 3 As an example of a system to which the cell observation image processing apparatus of the present invention is applied, a schematic configuration diagram and a block diagram of a culture observation system are shown in FIGS. 2 and 3, respectively.
  • This culture observation system BS is broadly divided into a culture chamber 2 provided at the top of the housing 1, a shelf-like stocker 3 that accommodates and holds a plurality of culture containers 10, and a sample in the culture container 10. From an observation unit 5 for observation, a transport unit 4 for transporting the culture vessel 10 between the stocker 3 and the observation unit 5, a control unit 6 for controlling the operation of the system, an operation panel 7 equipped with an image display device, etc. Composed.
  • the culture room 2 is a room for forming and maintaining a culture environment according to the type and purpose of the cells to be cultured, and is kept sealed after the sample is charged in order to prevent environmental changes and contamination.
  • a temperature adjustment device 21 for raising and lowering the temperature in the culture chamber
  • a humidifier 22 for adjusting the humidity
  • a gas supply device 23 for supplying a gas such as CO 2 gas and N 2 gas
  • the culture A circulation fan 24 for making the environment of the entire chamber 2 uniform, an environmental sensor 25 for detecting the temperature, humidity and the like of the culture chamber 2 are provided.
  • the operation of each device is controlled by the control unit 6, and the culture environment defined by the temperature, humidity, carbon dioxide concentration, etc. of the culture chamber 2 is maintained in a state that matches the culture conditions set on the operation panel 7.
  • the stocker 3 is formed in a shelf shape that is partitioned into a plurality of parts in the front-rear direction and the up-down direction in FIG. Each shelf has its own unique address. For example, when the longitudinal direction is A to C rows and the vertical direction is 1 to 7 rows, the A row 5 shelves are set as A-5.
  • the culture vessel 10 has a type such as a flask, a dish, and a well plate, a form such as a round shape and a square shape, and a size, and an appropriate one can be selected and used according to the type and purpose of the cell to be cultured. .
  • a configuration using a dish is illustrated.
  • Samples such as cells are injected into the culture vessel 10 together with a liquid medium containing a pH indicator such as phenol red.
  • the culture container 10 is assigned a code number and is stored in association with the designated address of the stocker 3.
  • the culture container 10 is housed and held on each shelf in a state where a container holder for transportation formed according to the type and form of the container is mounted.
  • the transfer unit 4 is provided inside the culture chamber 2 so as to be movable in the vertical direction and is moved up and down by the Z-axis drive mechanism.
  • the transfer unit 4 is attached to the Z stage 41 so as to be movable in the front-rear direction.
  • the Y stage 42 that is moved back and forth, the X stage 43 that is attached to the Y stage 42 so as to be movable in the left-right direction and is moved left and right by the X-axis drive mechanism, etc.
  • a support arm 45 for lifting and supporting the culture vessel 10 is provided on the distal end side.
  • the transport unit 4 has a moving range in which the support arm 45 can move between the entire shelf of the stocker 3 and the sample table 15 of the observation unit 5.
  • the X-axis drive mechanism, the Y-axis drive mechanism, and the Z-axis drive mechanism are configured by, for example, a servo motor with a ball screw and an encoder, and the operation thereof is controlled by the control unit 6.
  • the observation unit 5 includes a first illumination unit 51, a second illumination unit 52, and a third illumination unit 53, a macro observation system 54 that performs macro observation of the sample, a micro observation system 55 that performs micro observation of the sample, and an image processing apparatus. 100 or the like.
  • the sample stage 15 is made of a material having translucency, and a transparent window portion 16 is provided in the observation region of the microscopic observation system 55.
  • the first illumination unit 51 is composed of a surface-emitting light source provided on the lower frame 1b side, and backlight-illuminates the entire culture vessel 10 from the lower side of the sample stage 15.
  • the second illumination unit 52 includes a light source such as an LED and an illumination optical system including a phase ring, a condenser lens, and the like.
  • the second illumination unit 52 is provided in the culture chamber 2 and receives light from the microscope observation system 5 from above the sample stage 15. Illuminate the sample in the culture vessel along the axis.
  • the third illumination unit 53 includes a plurality of light sources such as LEDs and mercury lamps that emit light having a wavelength suitable for epi-illumination observation and fluorescence observation, and the light emitted from each light source as an optical axis of the microscopic observation system 55. And an illumination optical system composed of a beam splitter, a fluorescent filter, and the like to be superposed, disposed in the lower frame 1b located on the lower side of the culture chamber 2, and from the lower side of the sample stage 15 to the microscopic observation system 5. Illuminate the sample in the culture vessel along the optical axis.
  • light sources such as LEDs and mercury lamps that emit light having a wavelength suitable for epi-illumination observation and fluorescence observation, and the light emitted from each light source as an optical axis of the microscopic observation system 55.
  • an illumination optical system composed of a beam splitter, a fluorescent filter, and the like to be superposed, disposed in the lower frame 1b located on the lower side of the culture chamber 2, and from the lower side of the
  • the macro observation system 54 includes an observation optical system 54a and an imaging device 54c such as a CCD camera that takes an image of the sample imaged by the observation optical system.
  • the macro observation system 54 is located above the first illumination unit 51 and is a culture chamber. 2 is provided.
  • the macro observation system 54 captures a whole observation image (macro image) from above the culture vessel 10 that is backlit by the first illumination unit 51.
  • the microscopic observation system 55 includes an observation optical system 55a composed of an objective lens, an intermediate zoom lens, a fluorescent filter, and the like, and an imaging device 55c such as a cooled CCD camera that takes an image of a sample imaged by the observation optical system 55a. And disposed inside the lower frame 1b.
  • a plurality of objective lenses and intermediate zoom lenses are provided, and are configured to be set to a plurality of magnifications using a displacement mechanism such as a revolver or a slider (not shown in detail). For example, zooming is possible in the range of 2 to 80 times.
  • the microscopic observation system 55 is transmitted light that has been illuminated by the second illumination unit 52 and transmitted through the cell, reflected light that has been illuminated by the third illumination unit 53 and reflected by the cell, or illuminated by the third illumination unit 53.
  • a microscopic image (micro image) obtained by microscopic observation of fluorescence emitted by the cells is taken.
  • the image processing apparatus 100 performs A / D conversion on signals input from the macro observation system imaging device 54c and the micro observation system imaging device 55c, and performs various image processing to generate an image of the entire observation image or the micro observation image. Generate data. Further, the image processing apparatus 100 performs image analysis on the image data of these observation images, and performs generation of a time-lapse image, calculation of the amount of cell movement, analysis of the movement state of the cell, and the like. Specifically, the image processing device 100 is constructed by executing an image processing program stored in the ROM of the control device 6 described below. The image processing apparatus 100 will be described in detail later.
  • the control unit 6 includes a CPU 61, a ROM 62 in which data for controlling the operation of the culture observation system BS and data for controlling each unit are set and stored, a RAM 63 in which image data and the like are temporarily stored, and the like. They are connected by a data bus.
  • the input / output port of the control unit 6 includes a temperature adjustment device 21 in the culture chamber 2, a humidifier 22, a gas supply device 23, a circulation fan 24 and an environmental sensor 25, and X, Y, Z stages 43, 42 in the transfer device 4.
  • the operation panel 7 includes an operation panel 71 provided with input / output devices such as a read / write device for reading and writing information from a keyboard, a sheet switch, a magnetic recording medium, an optical disk, and the like, various operation screens, image data, and the like. And a display panel 72 for displaying the information, and setting the observation program (operating conditions), selecting conditions, operating commands, and the like on the operation panel 71 while referring to the display panel 72, thereby culturing through the CPU 61. Each part of the observation system BS is operated.
  • the CPU 61 adjusts the environment of the culture chamber 2 according to the input from the operation panel 71, transports the culture vessel 10 in the culture chamber 2, observes the sample by the observation unit 5, analyzes the acquired image data, and displays the display panel. Display to 72 is executed. On the display panel 72, in addition to input screens for operation commands, condition selection, and the like, numerical values of environmental conditions of the culture chamber 2, analyzed image data, a warning when an abnormality occurs, and the like are displayed.
  • the CPU 61 can transmit and receive data to and from an externally connected computer or the like via a communication unit 65 configured in accordance with a wired or wireless communication standard.
  • the RAM 63 operating conditions of the observation program set on the operation panel 71, for example, environmental conditions such as temperature and humidity of the culture chamber 2, observation schedule for each culture vessel 10, observation type and observation position in the observation unit 5, observation Observation conditions such as magnification are recorded.
  • the management data of the culture container 10 such as the code number of each culture container 10 accommodated in the culture chamber 2, the storage address of the stocker 3 in which the culture container 10 of each code number is accommodated, and various data used for image analysis are stored.
  • the RAM 63 is provided with an image data storage area (image storage unit 110 to be described later) for recording image data photographed by the observation unit 5, and each image data includes an index including a code number of the culture vessel 10 and a photographing date and time. -Data is recorded in association with each other.
  • the CPU 61 controls the operation of each part based on the control program stored in the ROM 62 according to the setting conditions of the observation program set on the operation panel 7, and the culture vessel 10
  • the sample inside is automatically captured. That is, when the observation program is started by a panel operation on the operation panel 71 (or a remote operation via the communication unit 65), the CPU 61 reads each condition value of the environmental conditions stored in the RAM 63, and from the environment sensor 25.
  • the environmental state of the culture chamber 2 to be input is detected, and the temperature adjustment device 21, the humidifier 22, the gas supply device 23, the circulation fan 24, etc. are operated according to the difference between the condition value and the actual measurement value. Feedback control is performed on the culture environment such as temperature, humidity, and carbon dioxide concentration.
  • the CPU 61 reads the observation conditions stored in the RAM 63, operates the driving mechanism of each axis of the X, Y, and Z stages 43, 42, and 41 of the transport unit 4 based on the observation schedule, and the observation target from the stocker 3.
  • the culture container 10 is transported to the sample stage 15 of the observation unit 5 and observation by the observation unit 5 is started.
  • the observation set in the observation program is macro observation
  • the culture vessel 10 transported from the stocker 3 by the transport unit 4 is positioned on the optical axis of the macro observation system 54 and placed on the sample stage 15.
  • the light source of the first illumination unit 51 is turned on, and the entire observation image is taken by the imaging device 54c from above the culture vessel 10 that is backlit.
  • the signal input from the imaging device 54c to the control device 6 is processed by the image processing device 100 to generate a whole observation image, and the image data is recorded in the RAM 63 together with index data such as the shooting date and time.
  • the specific position of the culture container 10 that has been transported by the transport unit 4 is set to the optical axis of the microscopic observation system 55.
  • the light source of the second illumination unit 52 or the third illumination unit 53 is turned on, and the microscopic observation image by transmitted illumination, epi-illumination, and fluorescence is photographed by the imaging device 55c.
  • a signal photographed by the imaging device 55c and inputted to the control device 6 is processed by the image processing device 100 to generate a microscopic observation image, and the image data is recorded in the RAM 63 together with index data such as photographing date and time. .
  • the CPU 61 performs the observation as described above on the plurality of culture container samples accommodated in the stocker 3 according to the observation program at an interval of about 30 minutes to 2 hours based on the observation program.
  • the photographing time interval may be constant or different.
  • the image data of the photographed whole observation image and microscopic observation image is recorded in the image data storage area (image storage unit 110) of the RAM 63 together with the code number of the culture vessel 10.
  • the image data recorded in the RAM 63 is read from the RAM 63 in response to an image display command input from the operation panel 71, and an entire observation image or a microscopic observation image (single image) at a specified time or an entire observation in a specified time region.
  • An image or a time-lapse image of a microscopic observation image is displayed on the display panel 72 of the operation panel 7.
  • the image processing apparatus 100 performs these functions efficiently in addition to functions such as cell movement analysis and cell tracking. And a function of discriminating foreign matters (non-objects) such as other dust and bubbles and cell corpses.
  • the method for distinguishing living cells by the image processing apparatus 100 acquires two images obtained by photographing an object located in the observation field of the observation unit 5 with a predetermined time interval by the imaging device, and these images are imprinted on these images. After extracting the object image and aligning the rotation angle and orientation (cell azimuth angle) of the object on the image plane, the correlation value or difference between them is calculated, and the object is generated based on the calculated correlation value or difference. It is configured to determine whether it is a cell.
  • FIG. 4 is a schematic diagram illustrating the situation of the outermost contour extraction processing.
  • An image at time t (referred to as a first image for convenience of explanation) (a) and a first image taken by the imaging device 55c (54c).
  • Images at time t ⁇ 1 (similarly referred to as second images) taken a predetermined time before one image are acquired, and the outermost contour of the object O as shown in FIG. To extract.
  • Examples of the outermost contour extraction process include a method of binarization based on luminance values, a method of binarization after applying a dispersion filter, and a dynamic contour extraction method such as Snakes and Level Set methods.
  • the predetermined time is set according to the movement state of the living cell to be observed. For example, when the movement of the living cell is relatively active, the movement of the living cell is relatively low for about 10 minutes to 1 hour. Is set to about 30 minutes to 2 hours.
  • Azimuth As a specific method, for each associated object (for example, O 1 and O 1 ′), a cross-sectional secondary moment (moment of inertia) about the axis passing through the centroid (center of gravity) is calculated, and the first image
  • the rotational angle postures of the first image and the second image are aligned at an angular position where the correlation value between the sectional secondary moment I 1 and the sectional secondary moment I 2 of the second image is maximized.
  • the correlation between the two images is calculated by rotating the first image or the second image by a certain angle around the axis passing through the centroid. It is aligned at the maximum angle.
  • the difference between the moment of inertia of I 1 of the first image and the second moment I 2 in the second image align the rotational angle position at an angle at a minimum. Further, for one of the first image and the second image, the difference between the two images is calculated while rotating by a certain angle around the axis passing through the centroid, and the angle at which the difference between the first image and the second image is minimized. You may comprise so that it may arrange with.
  • the object O x to be subjected to the correlation calculation is a living cell, as shown in FIG. 6, not only the outer shape but also the internal structure changes from O x ⁇ O x ′ over time. Therefore, the correlation value between the first image and the second image is not so large, and generally takes a value of 0.7 or less.
  • the object O y to be correlation calculation is dust or cell corpse, when the bubble is a foreign matter such as, as shown in FIG. 7, the change in O y ⁇ O y 'temporal structure Hardly occurs. For this reason, the correlation value between the first image and the second image having the same rotation angle posture is large and is close to 1.
  • the correlation value is calculated by aligning the rotation angle and orientation of the associated object, and by determining whether the calculated correlation value is smaller than a predetermined threshold value, the object is a living cell. It is possible to determine whether the object is a foreign object such as garbage, a cell corpse, or a bubble.
  • the “predetermined threshold value” can be selected according to the cell type, the activity status, the time interval for observation, and the like, and can be selected and set within a range of about 0.5 to 0.8, for example.
  • a method is proposed in which a section (time interval) treated as a time series is lengthened and correlation is performed after tracking for a sufficient time.
  • the correlation value decreases with time, whereas when the object O is a foreign object as shown in FIG. Even when time elapses, the correlation value remains close to 1, and the difference between the correlation value between the living cell and the foreign substance appears remarkably. Therefore, it is possible to clearly separate live cells and foreign substances across the threshold, and improve the discrimination accuracy.
  • FIG. 10 is a block diagram showing a schematic configuration of the image processing apparatus 100 that executes live cell discrimination image processing
  • FIG. 1 is a flowchart of the live cell discrimination image processing program GP.
  • the image processing apparatus 100 includes an image storage unit 110 that acquires and stores a first image and a second image that are captured at a predetermined time by the imaging device 55c (54c), and an object O that is captured in the first image.
  • the image analysis unit 120 that determines whether or not the object O is a living cell from the first image and the second image of the object O that is imprinted in the second image, and the determination that is determined by the image analysis unit 120
  • an output unit 130 that outputs the result to the outside, and is configured to output and display, for example, the display panel 72 on the display result of whether or not it is a living cell determined by the image analysis unit 120.
  • the image processing apparatus 100 is configured such that an image processing program GP preset and stored in the ROM 62 is read by the CPU 61 and processing based on the image processing program GP is sequentially executed by the CPU 61.
  • the image analysis processing by the image analysis unit 120 can be executed by reading a plurality of image data that have been taken at a predetermined time and have already been stored in the image storage unit 110 (image storage area of the RAM 63). It is also possible to acquire and execute the inside observation image from the imaging device.
  • an object included in an image photographed by the imaging device is generated in a process in which microscopic observation of cells in a designated culture vessel 10 is executed every predetermined time in accordance with a preset observation program. A case of determining whether or not the cell is a cell will be described.
  • the cells in the culture container designated every predetermined time are observed according to the observation conditions set in the observation program.
  • the CPU 61 operates the driving mechanism of each axis of the transport unit 4 to transport the culture vessel 10 to be observed from the stocker 3 to the observation unit 5, and the observation image by the microscopic observation system 55 is captured by the imaging device 55 c. Let them shoot.
  • the image processing apparatus 100 acquires the observation image captured by the imaging device 55c in step S10, and stores the acquired observation image in step S15 together with index data such as the culture vessel code number, observation position, and observation time.
  • index data such as the culture vessel code number, observation position, and observation time.
  • the data is stored in the unit 110, and the process proceeds to step S20.
  • the image processing apparatus 100 repeatedly executes acquisition of the observation image (step S10) and storage in the image storage unit 110 (step S15) at predetermined time intervals according to the observation program.
  • step S20 an observation image (first image) acquired from the imaging device 55c at time t and an observation image (second image) captured by the imaging device at time t-1 a predetermined time before and stored in the image storage unit 110 are stored.
  • the image outermost contour extraction process is executed on the image) by the image analysis unit 120, and the outermost contour of the object O included in each observation image is extracted as shown in FIG. Proceed to
  • each object O of the first image and the second image from which the outermost contour is extracted is labeled, and for example, as shown in FIG. 5, each object (solid line) in the first image is displayed.
  • each object in the second image (dotted line notation: O 1 ′, O 2 ′, O 3 ′ ... O n ′) falls between labels (O 1 and O 1 ', O 2 and O 2', O 3 and O 3 '... O n and O n') mapping is performed as the same object.
  • each object is correlated, for example, 'for the first image of the object O n of the first image, object O n of the second image' O n and O n of the second image, the image plane The rotation angle orientations at are aligned, and the correlation value between the first image and the second image is calculated.
  • step S40 it performs an elliptical approximation for the second image of the first image of the object O n and the object O n ', the approximated ellipse long axis (or short axis) Is calculated, and the long / short axis ratio of the approximated ellipse is calculated, and it is determined whether or not the long / short axis ratio of the ellipse calculated in step S50 is sufficiently large.
  • step S50 it is determined in step S50 whether the major / minor axis ratio of the approximate ellipse is sufficiently large. If the major / minor axis ratio is sufficiently large, the process proceeds to step S60, and if not, the process proceeds to step S65.
  • the determination reference value of the long / short axis ratio is stored in the parameter setting area 115 of the RAM 63 and can be changed and set on the operation panel 71 according to the observation target.
  • the criterion for determining the elliptical approximation is not the simple ratio between the major axis and the end axis, but the difference between the major axis and the minor axis, the length of the minor axis or major axis / (the length of the minor axis + the length of the major axis).
  • Other criteria that can distinguish between an ellipse and a circle may be applied.
  • step S60 aligned with ellipse that approximates the first image of the object O n (referred to as a first ellipse), the major axis of the ellipse that approximates the second image of the object O n '(referred to as the second ellipse), which
  • the correlation value is calculated in a state where the rotation angle orientation of the first image and the rotation angle orientation of the second image are aligned.
  • the major axis direction of the ellipse has two left and right directions centering on the centroid, and the head and feet of the cell may face in opposite directions.
  • the calculated one is used as the correlation value between the first image and the second image, and the process proceeds to step S70.
  • step S65 the correlation value at each angular position is calculated while rotating one of the first image and the second image around the centroid at a constant angular interval. For example, the first image of the object O n at time t is rotated a predetermined angle by 360 degrees about 5 degrees to 10 degrees centroid around, and a second image of the object O n 'of t-1 at each angular position A correlation value is calculated. Then, the correlation value at the angular position where the correlation value is maximized is adopted as the correlation value between the first image and the second image, and the process proceeds to step S70.
  • step S70 it is determined whether or not the correlation value between the first image and the second image employed in step S60 or step S65 is smaller than a predetermined threshold value. 6 and 7 as described in comparison reference, the object O n, O when n 'is living cells, in order to change external shape the internal structure over time, the first image and the second Although the image has a certain correlation as the same cell, the correlation value is not so large and is generally 0.7 or less. On the other hand, the object O n, O n 'are garbage and cell corpse, when air bubbles are like also hardly change geometry and internal structure over time, the first image and the correlation value of the second image becomes a value close to 1.
  • the “predetermined threshold value” is a discrimination reference value set by paying attention to the difference in correlation value between such living cells and other foreign substances.
  • 0.6 A threshold value of about 0.7 is selected and set and stored in the parameter setting area 115 of the RAM 63.
  • the optimum threshold value slightly changes according to observation conditions such as the type of living cells to be observed, the activity status, and the time interval for performing microscopic observation.
  • the image processing apparatus 100 is configured so that the threshold value can be changed and set according to the observation conditions. For example, 0.5 to 0.8 can be set by calling the threshold value of the discrimination criterion through the operation panel 71 and performing the changing operation. It can be changed and set within a range.
  • a criterion such as a difference between the first image and the second image may be applied as a criterion for discriminating the living cells instead of the correlation value between the first image and the second image.
  • the threshold value may be set empirically according to the observation condition.
  • step S70 the object O first image and the correlation value of the second image of the object O n 'of n is determined whether less than a predetermined threshold, threshold correlation value is predetermined the determination result of the object O n, O n 'are living cells in step S80 is output from the output unit 130 when it is determined to be smaller than the value, to or correlation value is equal to a predetermined threshold object O n, the determination result of the O n 'are not living cells is outputted from the output unit 130 at step S85 if it is determined to be greater than.
  • the image display apparatus 100 executes for each object O 1, O 2, O 3 ... O n contained the above processing to the first image and the second image, the determination result for each object from the output unit 130 is output
  • the determination result for each object output from the output unit 130 is displayed on the display panel 72 of the operation panel 7 and is a first image taken at time t, or a first image at time t and a second image at time t ⁇ 1. in both images, the objects O 1, O 2, O 3 ... O n whether a living cell is displayed.
  • a symbol L indicating that it is a living cell and a symbol D indicating that it is a foreign substance are added and displayed, or a living cell is different from other foreign substances.
  • Examples include an interface that displays live colors and other foreign substances by displaying them in color, displaying foreign objects as shown in FIG. 12, or displaying an image from which foreign substances have been removed. Is done.
  • the discrimination data output from the output unit 130 is transmitted to an externally connected computer or the like via the communication unit 65, and the same image is displayed, cell movement analysis, cell tracking, etc. It can be configured to be used as basic data for execution.
  • the observer is observing (or has already finished obtaining the observation image) by referring to the image displayed on the display panel 72 and the image displayed on a display device such as an externally connected computer. It is possible to immediately determine whether or not the object included in each image is a living cell. Further, by using the data in which the living cells and the foreign substances are discriminated in this way, the movement analysis and tracking of the living cells can be separated from the foreign substances and efficiently image-processed.
  • the live cell discrimination method configured by executing this image processing program, and the image processing apparatus 100, the images included in the time-series observation images Because it is determined whether or not it is a living cell based on the correlation between the living cells, even if the observation system is relatively low magnification, or the observation system where the internal structure of the cell is not clear, the living cells and garbage, cell corpses, etc. Can be distinguished from foreign objects. Therefore, it is possible to provide means that enables discrimination between living cells and other foreign substances in cell observation under a wide range of observation conditions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Biotechnology (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • Genetics & Genomics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Cell Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Clinical Laboratory Science (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Thermal Sciences (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

　細胞観察における生細胞とそれ以外の異物との判別を広い観察条件下で可能とするもので、観察視野内に位置する物体を所定時間を隔てて撮影した第１画像及び第２画像を取得するステップ（Ｓ１０）と、取得された各画像から写し込まれた物体の像を抽出するステップ（Ｓ２０）と、画像平面上における物体の回転角度姿勢を揃えて相関値を算出するステップ（Ｓ６０，Ｓ６５）と、算出された相関値に基づいて物体が生細胞であるか否かを判断するステップ（Ｓ７０）と、物体に対する判断結果を出力するステップ（Ｓ８０，Ｓ８５）とを備えて細胞観察の画像処理プログラムが構成される。

Description

細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置
　本発明は、細胞観察において取得された画像から生細胞と異物とを自動判別する画像処理手段に関するものである。
　生細胞を培養しながら状況を観察する装置の例として、培養顕微鏡があげられる。培養顕微鏡は、細胞の培養に好適な環境を形成する培養装置（インキュベータ）と、培養装置に収容された培養容器内の細胞の状態を顕微観察する顕微観察系とを備え、予め設定された所定時間ごとに細胞の観察画像を撮影して取得し、撮影された画像を、例えばタイムラプスイメージング等の手法により連続的な映像として再生し、細胞の活動状況を視覚的に容易に把握できるように構成される（例えば特許文献１を参照）。
　このような装置において、培養容器の中に観察対象である生細胞以外に、ゴミや気泡、細胞の屍骸などのような異物（非対象物）が混在することがある。そのため、例えば細胞のトラッキングを行う際に、観察対象と非対象物とを判別する手法として、細胞の核や細胞質などの有無を検出して、生細胞であるか否かを判断していた。
特開２００４－２２９６１９号公報
　しかしながら、観察視野内の細胞全体の運動解析を行うなど比較的低倍での観察や、細胞の内部構造がはっきりしない観察系などでは、細胞核などのテクスチャ検出が困難である場合が多く、上記のような手法では対応することができなかった。
　本発明は、上記のような課題に鑑みてなされたものであり、細胞観察における生細胞とそれ以外の異物との判別を、広い観察条件下で可能とする手段を提供することを目的とする。
　本発明を例示する第１の態様に従えば、観察視野内に位置する物体（例えば、実施形態におけるオブジェクトＯ）を撮像装置により所定時間を隔てて撮影した第１画像及び第２画像を取得し、第１画像に写し込まれた物体の第１像及び第２画像に写し込まれた物体の第２像を抽出して画像平面上における物体の回転角度姿勢を揃え、回転角度姿勢が揃えられた第１像と第２像との相関値または差分を算出し、算出された相関値または差分に基づいて物体が生細胞であるか否かを判断することを特徴とする細胞観察における生細胞の判別手法が提供される。
　本発明を例示する第２の態様に従えば、観察視野内に位置する物体（例えば、実施形態におけるオブジェクトＯ）を撮像装置により所定時間を隔てて撮影した第１画像及び第２画像を取得するステップと、取得された第１画像及び第２画像から第１画像に写し込まれた物体の第１像及び第２画像に写し込まれた物体の第２像を抽出して画像平面上における物体の回転角度姿勢を揃えるステップと、回転角度姿勢が揃えられた第１像と第２像との相関値または差分を算出するステップと、算出された相関値または差分に基づいて物体が生細胞であるか否かを判断するステップと物体に対する判断結果を出力するステップとを備えてなることを特徴とする細胞観察の画像処理プログラムが提供される。
　本発明を例示する第３の態様に従えば、物体（例えば、実施形態におけるオブジェクトＯ）を撮影する撮像装置と、撮像装置により所定時間を隔てて物体が撮影された第１画像及び第２画像を取得して第１画像に写し込まれた物体の第１像と第２画像に写し込まれた物体の第２像とから物体が生細胞であるか否かを判断する画像解析部と、画像解析部により判断された判断結果を外部に出力する出力部とを備え、画像解析部が、第１像及び第２像を抽出して画像平面上における物体の回転角度姿勢を揃え、回転角度姿勢が揃えられた第１像と第２像との相関値または差分を算出して、算出された相関値または差分に基づいて物体が生細胞であるか否かを判断するように構成したことを特徴とする細胞観察の画像処理装置が提供される。
　上記のような細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム、及び細胞観察の画像処理装置によれば、時系列の観察画像に含まれる物体の像同士の相関により生細胞であるか否かが判別される。従って、比較的低倍での観察や、細胞の内部構造がはっきりしない観察系などであっても、生細胞とそれ以外の異物とを識別可能な手段を提供することができる。
生細胞判別の画像処理プログラムＧＰのフローチャートである。 本発明の適用例として示す培養観察システムの概要構成図である。 上記培養観察システムのブロック図である。 細胞の輪郭抽出を行う輪郭抽出処理の状況を例示する模式図である。 時刻ｔ－１の画像に含まれるオブジェクトと時刻ｔの画像に含まれるオブジェクトとの対応付けを説明するための説明図である。 時刻ｔ－１から時刻ｔでの生細胞の変化状態を例示する模式図である。 時刻ｔ－１から時刻ｔでの生細胞以外の物体の変化状態を例示する模式図である。 時間経過に伴う生細胞の変化状態を例示する模式図である。 時間経過に伴う生細胞以外の物体の変化状態を例示する模式図である。 画像処理装置の概要構成を示すブロック図である。 生細胞と異物との判別表示を例示する模式図(１)である。 生細胞と異物との判別表示を例示する模式図(２)である。
符号の説明
ＢＳ　培養観察システム
ＧＰ　画像処理プログラム
Ｃ　観察細胞
５４　マクロ観察系
５４ｃ　撮像装置
５５　顕微観察系
５５ｃ　撮像装置
１００　画像処理装置
１２０　画像解析部
１３０　出力部
　以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の細胞観察の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
　この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
　培養室２は、培養する細胞の種別や目的等に応じた培養環境を形成し及び維持する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
　ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ～Ｃ列、上下方向を１～７段とした場合に、Ａ列５段の棚がＡ－５のように設定される。
　培養容器１０は、フラスコやディッシュ、ウェルプレートなどの種類、丸型や角型などの形態、及びサイズがあり、培養する細胞の種別や目的に応じて適宜なものを選択し使用することができる。本実施形態ではディッシュを用いた構成を例示している。細胞などの試料は、フェノールレッドなどのｐＨ指示薬が入った液体培地とともに培養容器１０に注入される。培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。なお、培養容器１０には、容器の種類や形態等に応じて形成された搬送用の容器ホルダが装着された状態で各棚に収容保持される。
　搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｙステージに対して左右移動されるＸステージ４３の先端側に、培養容器１０を持ちあげ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５の試料台１５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。
　観察ユニット５は、第１照明部５１、第２照明部５２及び第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。試料台１５は透光性を有する材質で構成されるとともに、顕微観察系５５の観察領域に透明な窓部１６が設けられている。
　第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を出射する複数のＬＥＤや水銀ランプ等の光源と、各光源から出射された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。
　マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。
　顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、例えば２倍～８０倍等の範囲で変倍可能になっている。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光、を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。
　画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や細胞の移動量算出、細胞の運動状態の解析等を行う。画像処理装置１００は、具体的には、次述する制御装置６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、画像処理装置１００については、後に詳述する。
　制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや各部を制御するためのデータが設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４及び環境センサ２５、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構、観察ユニット５における第１，第２，第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、ＲＯＭ６２に予め設定された制御プログラムに従って上記各部を制御する。
　操作盤７には、キーボードやシートスイッチ、磁気記録媒体や光ディスク等から情報を読み込み及び書き込みするリード／ライト装置などの入出力機器が設けられた操作パネル７１と、種々の操作画面や画像データ等を表示する表示パネル７２とが設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラム（動作条件）の設定や条件選択、動作指令等を入力することで、ＣＰＵ６１を介して培養観察システムＢＳの各部を動作させる。すなわち、ＣＰＵ６１は操作パネル７１からの入力に応じて培養室２の環境調整、培養室２内での培養容器１０の搬送、観察ユニット５による試料の観察、取得された画像データの解析及び表示パネル７２への表示などを実行する。表示パネル７２には、作動指令や条件選択等の入力画面のほか、培養室２の環境条件の各数値や、解析された画像データ、異常発生時の警告などが表示される。また、ＣＰＵ６１は有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
　ＲＡＭ６３には、操作パネル７１において設定された観察プログラムの動作条件、例えば培養室２の温度や湿度等の環境条件や、培養容器１０ごとの観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等の観察条件などが記録される。また、培養室２に収容された各培養容器１０のコード番号、各コード番号の培養容器１０が収容されたストッカー３の収納番地などの培養容器１０の管理データや、画像解析に用いる各種データが記録される。ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域（後述する画像記憶部１１０）が設けられ、各画像データには培養容器１０のコード番号と撮影日時等を含むインデックス・データとが対応付けて記録される。
　このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
　また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御装置６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
　また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御装置６に入力された信号は、画像処理装置１００により処理されて顕微観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
　ＣＰＵ６１は、上記のような観察を、ストッカー３に収容された複数の培養容器の試料について、観察プログラムに基づいた３０分～２時間程度の時間間隔の観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。なお、本実施形態では、撮影の時間間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、培養容器１０のコード番号とともにＲＡＭ６３の画像データ記憶領域（画像記憶部１１０）に記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは指定時間領域の全体観察像や顕微観察像のタイムラプス画像が操作盤７の表示パネル７２に表示される。
　以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、細胞の運動解析や細胞トラッキングなどの機能に加えて、これらの機能を効率的に実行するため、観察対象である生細胞と、それ以外のゴミや泡、細胞の屍骸等の異物（非対象物）とを判別する機能を備えている。
　画像処理装置１００による生細胞の判別手法は、観察ユニット５の観察視野内に位置する物体を撮像装置により所定時間を隔てて撮影した２枚の画像を取得し、これらの画像に写し込まれた物体の像を抽出して画像平面上における物体の回転角度姿勢（細胞の方位角）を揃えたうえで両者の相関値または差分を算出し、算出された相関値または差分に基づいて物体が生細胞であるか否かを判断するように構成される。
（前処理）
　生細胞の判別処理に先立って、画像内に含まれる物体(生細胞及びゴミ等の異物を含む物の領域、以下オブジェクトという)Ｏの最外輪郭を抽出する。図４は、この最外輪郭抽出処理の状況を例示した模式図であり、撮像装置５５ｃ（５４ｃ）によって撮影された時刻ｔの画像(説明の便宜上、第１画像という)(ａ)、及び第１画像よりも所定時間前に撮影された時刻ｔ－１の画像(同様に、第２画像という)を取得し、これらの画像に対して(ｂ)に示すようにオブジェクトＯの最も外側の輪郭を抽出する。この最外輪郭抽出処理には、例えば輝度値により二値化させる手法、分散フィルタを施したのち二値化させる手法、SnakesやLevel Set法などの動的輪郭抽出手法などが挙げられる。上記所定時間は、観察対象である生細胞の運動状況に応じて設定され、例えば生細胞の運動が比較的活発な場合には１０分～１時間程度、生細胞の運動が比較的低調な場合には３０分～２時間程度の時間が設定される。
　こうしてセグメント化された各オブジェクトＯに対してラベリングを施し、第１画像に含まれるオブジェクトＯ1,Ｏ2,Ｏ3…Ｏnと、第２画像に含まれるオブジェクトＯ1´,Ｏ2´,Ｏ3´…Ｏn´の対応関係をとる。例えば、図５に第１画像における各オブジェクトを実線で示し、第２画像における各オブジェクトを点線で示すように、ラベリングを施した各オブジェクトについて最近傍にあたるラベル同士を同じオブジェクトであるとして対応関係をとり、Ｏ1とＯ1´、Ｏ2とＯ2´、Ｏ3とＯ3´…ＯnとＯn´のように対応づける。
（生細胞の判別）
　次に、対応づけられた各オブジェクトについて、第１画像のオブジェクトの像(第１像という)と、第２画像のオブジェクトの像(第２像という)の、画像平面上における回転角度姿勢（細胞の方位角）を揃える。その具体的手法として、対応づけられた各オブジェクト（例えば、Ｏ1とＯ1´）について、図心（重心）を通る軸廻りの断面二次モーメント（慣性モーメント）を算出し、第１像の断面二次モーメントＩ1と、第２像の断面二次モーメントＩ2との相関値が最大となる角度位置で、第１像と第２像の回転角度姿勢が揃えられる。なお、各オブジェクトＯを楕円形近似して近似された楕円モデルの長軸方向を揃えるように構成してもよい。また、オブジェクトの輪郭形状が円形に近い場合には、第１像または第２像の一方について、図心を通る軸廻りに一定角度ずつ回転させながら二つの像の相関を計算し、相関値が最大となる角度で揃えられる。
　なお、第１像の断面二次モーメントＩ1と第２像の断面二次モーメントＩ2との差分が最小となる角度で回転角度姿勢を揃えるように構成してもよい。また、第１像または第２像の一方について、図心を通る軸廻りに一定角度ずつ回転させながら二つの像の差分を計算し、第１像と第２像との差分が最小となる角度で揃えるように構成してもよい。
　ここで、相関計算の対象となるオブジェクトＯxが生細胞の場合には、図６に示すように、時間の経過とともに外形だけでなく内部構造もＯx→Ｏx´で変化している。そのため、第１像と第２像の相関値はさほど大きな値にはならず、一般的には0.7以下の値をとる。これに対し、相関計算の対象となるオブジェクトＯyがゴミや細胞の屍骸、気泡などの異物である場合には、図７に示すように、Ｏy→Ｏy´で時間的な構造の変化がほとんど生じない。そのため回転角度姿勢を揃えた第１像と第２像の相関値は大きく、１に近い値となる。
　従って、対応づけられたオブジェクトの回転角度姿勢を揃えて相関値を計算し、算出された相関値が所定のしきい値よりも小さいか否かを判断することにより、そのオブジェクトが生細胞であるか、ゴミや細胞の屍骸、気泡などの異物であるかを判断することができる。なお、上記「所定のしきい値」は、細胞の種別や活動状況、観察を行う時間間隔等に応じて適宜な値を選択でき、例えば0.5～0.8程度の範囲で選択設定可能に構成する。
　なお、判別精度を高める手段として、時系列として扱う区間（時間間隔）を長めにとり、十分な時間をかけたトラッキングののちに互いに相関をとる手法を提案する。このような手法によれば、図８に示すようにオブジェクトＯが生細胞である場合に、時間の経過とともに相関値が小さくなる一方、図９に示すようにオブジェクトＯが異物である場合には、時間が経過しても相関値は１に近い値のままであり、生細胞と異物の相関値の差が顕著に表れる。従って、しきい値を挟んで生細胞と異物とを明確に分離することができ、判別精度を向上させることができる。
　次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて、図１０及び図１を併せて参照しながら説明する。ここで、図１０は生細胞判別の画像処理を実行する画像処理装置１００の概要構成を示すブロック図、図１は生細胞判別の画像処理プログラムＧＰのフローチャートである。
　画像処理装置１００は、撮像装置５５ｃ（５４ｃ）により所定時間を隔てて撮影された第１画像及び第２画像を取得して記憶する画像記憶部１１０と、第１画像に写し込まれたオブジェクトＯの第１像と第２画像に写し込まれたオブジェクトＯの第２像とから、オブジェクトＯが生細胞であるか否かを判断する画像解析部１２０と、画像解析部１２０により判断された判断結果を外部に出力する出力部１３０とを備え、画像解析部１２０により判断された生細胞であるか否かの判断結果を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
　画像解析部１２０による画像解析処理は、所定時間を隔てて撮影され既に画像記憶部１１０（ＲＡＭ６３の画像記憶領域）に保存されている複数の画像データを読み出して実行可能であるほか、現に観察実行中の観察画像を撮像装置から取得して実行することも可能である。本実施例では、予め設定された観察プログラムに従って、指定された培養容器１０内の細胞の顕微観察を所定時間ごとに実行している過程で、撮像装置により撮影された画像に含まれるオブジェクトが生細胞であるか否かの判別を行う場合について説明する。
　既述したように、培養観察システムＢＳでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器内の細胞観察が行われる。具体的には、ＣＰＵ６１は、搬送ユニット４の各軸の駆動機構を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送し、顕微観察系５５による観察像を撮像装置５５ｃにより撮影させる。
　画像処理装置１００は、撮像装置５５ｃにより撮影された観察画像をステップＳ１０において取得し、取得した観察画像を、培養容器のコード番号や観察位置、観察時刻などのインデックス・データとともにステップＳ１５で画像記憶部１１０に保存し、ステップＳ２０に進む。なお、画像処理装置１００は、観察プログラムに従って上記観察画像の取得（ステップＳ１０）と画像記憶部１１０への保存（ステップＳ１５）を、所定時間ごとに繰り返し実行する。
　ステップＳ２０では、撮像装置５５ｃから取得された時刻ｔの観察画像（第１画像）と、所定時間前の時刻ｔ－１に撮像装置により撮影され画像記憶部１１０に保存された観察画像（第２画像）に対し、画像解析部１２０においてオブジェクトの最外輪郭抽出処理が実行され、図４(ｂ)に示したように、各観察画像に含まれるオブジェクトＯの最外輪郭が抽出され、ステップＳ３０に進む。
　ステップＳ３０では、最外輪郭が抽出された第１画像及び第２画像の各オブジェクトＯに対してラベリングが施されるとともに、例えば、図５に示したように、第１画像における各オブジェクト（実線表記：Ｏ1,Ｏ2,Ｏ3…Ｏn）と、第２画像における各オブジェクト（点線表記：Ｏ1´,Ｏ2´,Ｏ3´…Ｏn´）との対応関係を、最近傍にあたるラベル同士（Ｏ1とＯ1´、Ｏ2とＯ2´、Ｏ3とＯ3´…ＯnとＯn´）を同じオブジェクトであるとして対応付けが行われる。
　次に、対応づけられた各オブジェクト、例えば、ＯnとＯn´について、第１画像のオブジェクトＯnの第１像と、第２画像のオブジェクトＯn´の第２像の、画像平面上における回転角度姿勢が揃えられ、第１像と第２像の相関値が算出される。
　図１に例示する構成例では、ステップＳ４０において、オブジェクトＯnの第１像及びオブジェクトＯn´の第２像について楕円近似を行って、近似された楕円の長軸方向（または短軸方向）を算出するとともに、近似された楕円の長短軸比を算出し、ステップＳ５０において算出された楕円の長短軸比が十分大きいか否かが判断される。これは、ステップＳ４０において算出された楕円の長短軸比（長軸の長さ／短軸の長さ）が、１に対して十分大きい場合（例えば２以上である場合）には、生細胞の外形変形を考慮しても、近似された楕円の長軸方向を揃えることによりオブジェクトの回転角度姿勢（方位角）を高い精度で一致させることが可能である。
　しかしながら、長短軸比が１に近い場合には、オブジェクトの輪郭形状が円形に近く、楕円の長軸方向を揃える手法では、生細胞の回転角度姿勢を一致させる精度が十分とはいえない。そこで、ステップＳ５０において近似楕円の長短軸比が十分大きいか否かが判断され、長短軸比が十分大きい場合にはステップＳ６０に進み、そうでない場合にはステップＳ６５に進む。長短軸比の判断基準値は、ＲＡＭ６３のパラメータ設定領域１１５に記憶されており、操作パネル７１において観察対象に応じて変更設定可能になっている。なお、楕円近似の判断基準について、長軸と端軸の単純比率ではなく、長軸と短軸の差分や、短軸または長軸の長さ／（短軸の長さ＋長軸の長さ）など、楕円と円とを判別可能な他の基準を適用してもよい。
　ステップＳ６０では、オブジェクトＯnの第１像を近似した楕円（第１楕円という）と、オブジェクトＯn´の第２像を近似した楕円（第２楕円という）との長軸方向を揃え、これにより第１像の回転角度姿勢と第２像の回転角度姿勢とを揃えた状態で、相関値を算出する。この際、楕円の長軸方向は図心を中心に左右２方向あり、細胞の頭と足が反対方向を向いている場合があるため、０度方向と１８０度方向の二通りについて相関値を算出し、相関値が大きい方を第１像と第２像の相関値として採用し、ステップＳ７０に進む。
　ステップＳ６５では、第１像または第２像の一方を、図心廻りに一定角度間隔で回転させながら各角度位置での相関値を算出する。例えば、時刻ｔのオブジェクトＯnの第１像を図心廻りに５度～１０度程度の一定角度ずつ３６０度回転させて、各角度位置においてｔ－１のオブジェクトＯn´の第２像と相関値を算出する。そして相関値が最大となった角度位置の相関値を第１像と第２像の相関値として採用し、ステップＳ７０に進む。
　ステップＳ７０では、ステップＳ６０またはステップＳ６５において採用された第１像と第２像の相関値が所定のしきい値よりも小さいか否かが判断される。図６及び図７を対比参照しながら説明したように、オブジェクトＯn，Ｏn´が生細胞の場合には、時間の経過とともに外形形状も内部構造も変化するため、第１像と第２像は同一細胞として一定の相関を有するものの相関値はさほど大きな値にはならず、一般的に0.7以下の値となる。一方、オブジェクトＯn，Ｏn´がゴミや細胞の屍骸、気泡などである場合には、時間が経過しても外形及び内部構造がほとんど変化せず、第１像と第２像の相関値は１に近い値となる。
　上記「所定のしきい値」は、このような生細胞とその他の異物との相関値の差異に着目して設定された判別基準値であり、一般的な生細胞のタイムラプス観察においては、0.6～0.7程度のしきい値が選択され、ＲＡＭ６３のパラメータ設定領域１１５に設定記憶される。なお、最適なしきい値は、観察対象の生細胞の種別や活動状況、顕微観察を行う時間間隔等の観察条件に応じて微妙に変化する。そのため、画像処理装置１００では、観察条件に応じてしきい値を変更設定可能に構成されており、操作パネル７１により判別基準のしきい値を呼び出して変更操作を行うことにより、例えば0.5～0.8程度の範囲で変更設定可能に構成されている。
　なお、生細胞の判別基準について、第１像と第２像との相関値ではなく、第１像と第２像との差分などの基準を適用してもよい。差分を用いる場合も、観察条件に応じてしきい値を経験的に設定すればよい。
　このように、ステップＳ７０において、オブジェクトＯnの第１像とオブジェクトＯn´の第２像の相関値が所定のしきい値よりも小さいか否かが判断され、相関値が所定のしきい値よりも小さいと判断された場合にはステップＳ８０においてオブジェクトＯn，Ｏn´が生細胞であるとの判定結果が出力部１３０から出力され、相関値が所定のしきい値に等しいかそれよりも大きいと判断された場合にはステップＳ８５においてオブジェクトＯn，Ｏn´が生細胞ではないとの判定結果が出力部１３０から出力される。
　画像表示装置１００は、上記の処理を第１画像及び第２画像に含まれる各オブジェクトＯ1,Ｏ2,Ｏ3…Ｏnについて実行し、出力部１３０から各オブジェクトごとの判定結果が出力される。出力部１３０から出力された各オブジェクトに対する判定結果は、操作盤７の表示パネル７２に表示され、時刻ｔに撮影された第１画像、または時刻ｔの第１画像及び時刻ｔ－１の第２画像の両方に、各オブジェクトＯ1,Ｏ2,Ｏ3…Ｏnが生細胞であるか否かが表示される。
　具体的な表示態様として、例えば図１１に示すように生細胞であることを示す記号Ｌと異物であることを示す記号Ｄを付加して表示し、あるいは生細胞とそれ以外の異物とを異なる色彩で表示したり図１２に示すように異物を塗りつぶして表示し、または異物を除去した画像を表示する等により、生細胞とそれ以外の異物とを判別して表示する、などのインターフェースが例示される。なお、出力部１３０から出力される上記のような判別データを、通信部６５を介して外部接続されるコンピュータ等に送信し、同様の画像を表示させたり、細胞の運動解析や細胞トラッキング等を実行するための基礎データとして用いたりするように構成することができる。
　これにより、観察者は、表示パネル７２に表示された画像や外部接続されたコンピュータ等の表示装置に表示された画像を参照することにより、観察中の（またはすでに観察画像の取得を終了した）各画像に含まれるオブジェクトが生細胞であるか否かを直ちに判断することができる。また、このようにして生細胞と異物とが判別されたデータを用いることにより、生細胞の運動解析やトラッキングを、異物と分離して効率的に画像処理することができる。
　以上説明したように、本発明の画像処理プログラムＧＰ、この画像処理プログラムが実行されることより構成される生細胞の判別方法及び画像処理装置１００によれば、時系列の観察画像に含まれる像同士の相関により生細胞であるか否かが判別されるため、比較的低倍での観察や、細胞の内部構造がはっきりしない観察系などであっても、生細胞とゴミや細胞の屍骸等の異物とを識別することができる。従って、細胞観察における生細胞とそれ以外の異物との判別を、広い観察条件下で可能とする手段を提供することができる。

Claims (15)

  1. 　観察視野内に位置する物体を撮像装置により所定時間を隔てて撮影した第１画像及び第２画像を取得し、
    　前記第１画像に写し込まれた前記物体の第１像、及び前記第２画像に写し込まれた前記物体の第２像を抽出して画像平面上における前記物体の回転角度姿勢を揃え、
    　前記回転角度姿勢が揃えられた前記第１像と前記第２像との相関値または差分を算出し、
    　算出された前記相関値または差分に基づいて前記物体が生細胞であるか否かを判断することを特徴とする細胞観察における生細胞の判別手法。
  2. 　前記物体の回転角度姿勢は、前記第１像の断面二次モーメントと前記第２像の断面二次モーメントとの相関値が最大となる角度で揃えられることを特徴とする請求項１に記載の細胞観察における生細胞の判別手法。
  3. 　前記物体の回転角度姿勢は、前記第１像の断面二次モーメントと前記第２像の断面二次モーメントとの差分が最小となる角度で揃えられることを特徴とする請求項１に記載の細胞観察における生細胞の判別手法。
  4. 　前記物体の回転角度姿勢は、前記第１像または前記第２像を図心を通る軸廻りに回転させながら前記第１像と前記第２像との相関を計算したときに、前記第１像と前記第２像との相関値が最大となる角度で揃えられることを特徴とする請求項１に記載の細胞観察における生細胞の判別手法。
  5. 　前記物体の回転角度姿勢は、前記第１像または前記第２像を図心を通る軸廻りに回転させながら前記第１像と前記第２像との差分を計算したときに、前記第１像と前記第２像との差分が最小となる角度で揃えられることを特徴とする請求項１に記載の細胞観察における生細胞の判別手法。
  6. 　観察視野内に位置する物体を撮像装置により所定時間を隔てて撮影した第１画像及び第２画像を取得するステップと、
    　取得された前記第１画像及び前記第２画像から、第１画像に写し込まれた前記物体の第１像及び前記第２画像に写し込まれた前記物体の第２像を抽出して画像平面上における前記物体の回転角度姿勢を揃えるステップと、
    　前記回転角度姿勢が揃えられた前記第１像と前記第２像との相関値または差分を算出するステップと、
    　算出された前記相関値または差分に基づいて前記物体が生細胞であるか否かを判断するステップと、
    　前記物体に対する判断結果を出力するステップと
    を備えてなることを特徴とする細胞観察の画像処理プログラム。
  7. 　前記物体の回転角度姿勢は、前記第１像の断面二次モーメントと前記第２像の断面二次モーメントとの相関値が最大となる角度で揃えられることを特徴とする請求項６に記載の細胞観察の画像処理プログラム。
  8. 　前記物体の回転角度姿勢は、前記第１像の断面二次モーメントと前記第２像の断面二次モーメントとの差分が最小となる角度で揃えられることを特徴とする請求項６に記載の細胞観察の画像処理プログラム。
  9. 　前記物体の回転角度姿勢は、前記第１像または前記第２像を図心を通る軸廻りに回転させながら前記第１像と前記第２像との相関を計算したときに、前記第１像と前記第２像との相関値が最大となる角度で揃えられることを特徴とする請求項６に記載の細胞観察の画像処理プログラム。
  10. 　前記物体の回転角度姿勢は、前記第１像または前記第２像を図心を通る軸廻りに回転させながら前記第１像と前記第２像との差分を計算したときに、前記第１像と前記第２像との差分が最小となる角度で揃えられることを特徴とする請求項６に記載の細胞観察の画像処理プログラム。
  11. 　物体を撮影する撮像装置と、
    　前記撮像装置により所定時間を隔てて前記物体が撮影された第１画像及び第２画像を取得して、前記第１画像に写し込まれた前記物体の第１像と前記第２画像に写し込まれた前記物体の第２像とから、前記物体が生細胞であるか否かを判断する画像解析部と、
    　前記画像解析部により判断された判断結果を外部に出力する出力部とを備え、
    　前記画像解析部が、前記第１像及び前記第２像を抽出して画像平面上における前記物体の回転角度姿勢を揃え、前記回転角度姿勢が揃えられた前記第１像と前記第２像との相関値または差分を算出して、算出された前記相関値または差分に基づいて前記物体が生細胞であるか否かを判断するように構成したことを特徴とする細胞観察の画像処理装置。
  12. 　前記物体の回転角度姿勢は、前記第１像の断面二次モーメントと前記第２像の断面二次モーメントとの相関値が最大となる角度で揃えられることを特徴とする請求項１１に記載の細胞観察の画像処理装置。
  13. 　前記物体の回転角度姿勢は、前記第１像の断面二次モーメントと前記第２像の断面二次モーメントとの差分が最小となる角度で揃えられることを特徴とする請求項１１に記載の細胞観察の画像処理装置。
  14. 　前記物体の回転角度姿勢は、前記第１像または前記第２像を図心を通る軸廻りに回転させながら前記第１像と前記第２像との相関を計算したときに、前記第１像と前記第２像との相関値が最大となる角度で揃えられることを特徴とする請求項１１に記載の細胞観察の画像処理装置。
  15. 　前記物体の回転角度姿勢は、前記第１像または前記第２像を図心を通る軸廻りに回転させながら前記第１像と前記第２像との差分を計算したときに、前記第１像と前記第２像との差分が最小となる角度で揃えられることを特徴とする請求項１１に記載の細胞観察の画像処理装置。
PCT/JP2009/053956 2008-03-04 2009-03-03 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置 WO2009110462A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP09716625.0A EP2256212B1 (en) 2008-03-04 2009-03-03 Living cell judging method for cell observation, image processing program for cell observation, and image processing device
CN200980101077.5A CN101970681B (zh) 2008-03-04 2009-03-03 细胞观察中的活细胞判别方法、细胞观察的图像处理程序和图像处理装置
US12/923,144 US8478017B2 (en) 2008-03-04 2010-09-03 Method for distinguishing living cells during cell observation, image processing program for cell observation, and image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-053557 2008-03-04
JP2008053557A JP4953092B2 (ja) 2008-03-04 2008-03-04 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/923,144 Continuation US8478017B2 (en) 2008-03-04 2010-09-03 Method for distinguishing living cells during cell observation, image processing program for cell observation, and image processing device

Publications (1)

Publication Number Publication Date
WO2009110462A1 true WO2009110462A1 (ja) 2009-09-11

Family

ID=41056016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/053956 WO2009110462A1 (ja) 2008-03-04 2009-03-03 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置

Country Status (5)

Country Link
US (1) US8478017B2 (ja)
EP (1) EP2256212B1 (ja)
JP (1) JP4953092B2 (ja)
CN (1) CN101970681B (ja)
WO (1) WO2009110462A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130156287A1 (en) * 2010-08-30 2013-06-20 Sanyo Electric Co., Ltd Observation device, observation program, and observation system
US8902306B2 (en) 2008-07-23 2014-12-02 Nikon Corporation Method for detecting cell states, and image processing device for cell viewing

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9810895B2 (en) * 2009-05-29 2017-11-07 Olympus Corporation Biological observation apparatus
JP5745919B2 (ja) * 2011-04-28 2015-07-08 浜松ホトニクス株式会社 細胞解析方法、細胞解析装置、および細胞解析プログラム
EP2520923A1 (en) * 2011-05-06 2012-11-07 bioMérieux Bio-imaging method and system
JP6097952B2 (ja) * 2013-08-22 2017-03-22 富士フイルム株式会社 観察画像判定装置および方法並びにプログラム
JP6569995B2 (ja) * 2015-03-30 2019-09-04 富士通株式会社 制御計画作成方法、制御計画作成プログラムおよび情報処理装置
JP2018000141A (ja) * 2016-07-06 2018-01-11 オリンパス株式会社 観察システム及び観察方法
WO2018142702A1 (ja) * 2017-01-31 2018-08-09 株式会社ニコン 培養支援装置、観察装置、及びプログラム
WO2018193612A1 (ja) * 2017-04-21 2018-10-25 株式会社ニコン 相関算出装置、相関算出方法及び相関算出プログラム
US10423819B2 (en) * 2017-10-31 2019-09-24 Chung Yuan Christian University Method and apparatus for image processing and visualization for analyzing cell kinematics in cell culture
JP6947289B2 (ja) * 2018-03-20 2021-10-13 株式会社島津製作所 細胞観察装置
CN110305790A (zh) * 2019-07-04 2019-10-08 湖南开启时代智能科技有限公司 一种细胞制备培养系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002214228A (ja) * 2001-01-12 2002-07-31 Matsushita Electric Ind Co Ltd 生体試料の評価装置および評価方法
WO2003100086A1 (fr) * 2002-05-23 2003-12-04 Fuji Electric Holdings Co., Ltd. Procede et dispositif de comptage de cellules vivantes
WO2003102224A1 (fr) * 2002-05-30 2003-12-11 Fuji Electric Holdings Co., Ltd. Procede de comptage de micro-organismes ou de cellules
WO2004020656A1 (ja) * 2002-08-28 2004-03-11 Natural Way Co., Ltd. 癌化細胞コロニーの培養系、検出解析システムおよび検出方法
JP2004229619A (ja) 2003-02-03 2004-08-19 Hitachi Ltd 培養装置
JP2007155982A (ja) * 2005-12-02 2007-06-21 Kawasaki Heavy Ind Ltd 位相物体検出装置及び位相物体検出方法
WO2007139201A1 (ja) * 2006-05-31 2007-12-06 Olympus Corporation 生体試料撮像方法および生体試料撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006104201A1 (ja) * 2005-03-29 2006-10-05 Olympus Corporation 細胞画像解析方法、細胞画像解析プログラム、細胞画像解析装置、スクリーニング方法およびスクリーニング装置
US8131476B2 (en) * 2006-08-07 2012-03-06 General Electric Company System and method for co-registering multi-channel images of a tissue micro array

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002214228A (ja) * 2001-01-12 2002-07-31 Matsushita Electric Ind Co Ltd 生体試料の評価装置および評価方法
WO2003100086A1 (fr) * 2002-05-23 2003-12-04 Fuji Electric Holdings Co., Ltd. Procede et dispositif de comptage de cellules vivantes
WO2003102224A1 (fr) * 2002-05-30 2003-12-11 Fuji Electric Holdings Co., Ltd. Procede de comptage de micro-organismes ou de cellules
WO2004020656A1 (ja) * 2002-08-28 2004-03-11 Natural Way Co., Ltd. 癌化細胞コロニーの培養系、検出解析システムおよび検出方法
JP2004229619A (ja) 2003-02-03 2004-08-19 Hitachi Ltd 培養装置
JP2007155982A (ja) * 2005-12-02 2007-06-21 Kawasaki Heavy Ind Ltd 位相物体検出装置及び位相物体検出方法
WO2007139201A1 (ja) * 2006-05-31 2007-12-06 Olympus Corporation 生体試料撮像方法および生体試料撮像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SASAMURA Y. ET AL.: "Video Kenbikyozo ni Okeru Saibo no Jido Chushutsu ni Kansuru Ichikosatsu", ITE TECHNICAL REPORT (2003 NEN), vol. 27, pages 21 - 24 *
See also references of EP2256212A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902306B2 (en) 2008-07-23 2014-12-02 Nikon Corporation Method for detecting cell states, and image processing device for cell viewing
US20130156287A1 (en) * 2010-08-30 2013-06-20 Sanyo Electric Co., Ltd Observation device, observation program, and observation system
US9060684B2 (en) * 2010-08-30 2015-06-23 Panasonic Healthcare Holdings Co., Ltd. Observation device, observation program, and observation system
US9578220B2 (en) 2010-08-30 2017-02-21 Panasonic Healthcare Holdings Co., Ltd. Observation device, observation program, and observation system

Also Published As

Publication number Publication date
CN101970681A (zh) 2011-02-09
US20110002525A1 (en) 2011-01-06
JP2009207416A (ja) 2009-09-17
EP2256212A4 (en) 2012-08-22
US8478017B2 (en) 2013-07-02
EP2256212A1 (en) 2010-12-01
CN101970681B (zh) 2014-09-03
JP4953092B2 (ja) 2012-06-13
EP2256212B1 (en) 2014-12-10

Similar Documents

Publication Publication Date Title
JP4953092B2 (ja) 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置
US8902306B2 (en) Method for detecting cell states, and image processing device for cell viewing
WO2009081832A1 (ja) タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置
US8588504B2 (en) Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation
WO2009119330A1 (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
WO2009119329A1 (ja) 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
WO2011004568A1 (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
JP2009229274A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2012039929A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
JP2011004638A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
JP2009229276A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2012039930A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法
JP2011010621A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置
JP2012042327A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法
JP2012039931A (ja) 観察装置、観察方法、及び培養物の製造方法
WO2023049504A1 (en) Method and apparatus for calibrating an imaging system

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980101077.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09716625

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 6377/DELNP/2010

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2009716625

Country of ref document: EP