WO2010143420A1 - 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 - Google Patents

細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 Download PDF

Info

Publication number
WO2010143420A1
WO2010143420A1 PCT/JP2010/003822 JP2010003822W WO2010143420A1 WO 2010143420 A1 WO2010143420 A1 WO 2010143420A1 JP 2010003822 W JP2010003822 W JP 2010003822W WO 2010143420 A1 WO2010143420 A1 WO 2010143420A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell mass
image
image processing
change
luminance value
Prior art date
Application number
PCT/JP2010/003822
Other languages
English (en)
French (fr)
Inventor
矢野和弘
三村正文
伊藤啓
佐々木秀貴
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to EP16153820.2A priority Critical patent/EP3065105B1/en
Priority to JP2011518305A priority patent/JP5783043B2/ja
Priority to EP10785952.2A priority patent/EP2441827B1/en
Publication of WO2010143420A1 publication Critical patent/WO2010143420A1/ja
Priority to US13/315,794 priority patent/US8588504B2/en

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/12—Means for regulation, monitoring, measurement or control, e.g. flow regulation of temperature
    • C12M41/14—Incubators; Climatic chambers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a state discriminating method for discriminating the state of cell stratification from a time-series image acquired in cell observation.
  • An example of an apparatus for observing cells while culturing is a culture microscope.
  • the culture microscope is equipped with a culture device that creates a suitable environment for cell culture and a microscopic observation system that microscopically observes the cells in the culture vessel, observing cell changes and division while culturing living cells. It is comprised so that it can do (for example, refer patent document 1).
  • a cell mass is formed by the progress of cell division.
  • the divided cells spread in the horizontal direction in a medium in a monolayer state, but when cell division is activated and the cell mass matures, the cells expand in the vertical direction as bubbles appear, So-called multi-layering proceeds.
  • the determination of the state of multi-layering of the cell mass is performed by visual observation of the microscopic observation image to discriminate, or reagent determination by discriminating from the coloring state by administering the reagent. Had gone by.
  • the present invention has been made in view of such a problem, and can determine the state of multi-layering of a cell mass from a time-series image taken by an imaging device without damaging cells by administration of a reagent. It aims to provide a means.
  • a time-series image of a cell cluster taken by an imaging device is acquired, and the spatial brightness value distribution and time of a small region in the cell cluster in the acquired image
  • a method for determining a state of a cell mass is provided, which calculates a change in luminance value and determines a multi-layered state of the cell mass based on a spatial distribution and a time-series change of the calculated luminance value.
  • an image processing program for causing a computer to function as an image processing device that can be read by a computer and acquires an image captured by an imaging device and performs image processing.
  • a step of acquiring a time-series image of a cell cluster imaged by the imaging device, and a step of calculating a spatial luminance value distribution of a small area and a temporal luminance value change in the cell cluster in the acquired image A step of discriminating the multi-layered state of the cell mass based on the spatial distribution and time-series change of the calculated luminance value, and a step of outputting the discrimination result, and the cell mass from the time-series image of the cell mass
  • An image processing program for causing a computer to function so as to determine and output the multi-layered state is provided.
  • an image analysis unit that acquires a time-series image of a cell cluster imaged by an imaging device and analyzes the image, and an output unit that outputs an analysis result by the image analysis unit are provided.
  • An image processing apparatus is provided.
  • the image analysis unit calculates a distribution of spatial luminance values of a small area and a change in temporal luminance value in a cell mass in the acquired image, and calculates a space of the calculated luminance value. Based on the distribution and time-series change, the state of the cell mass multi-layering is determined, and the output unit is configured to output the cell multi-layered state determined by the image analysis unit.
  • the state determination of multi-layering is performed when the spatial luminance value change in the small region is equal to or greater than a threshold value and the temporal luminance value change is equal to or greater than the threshold value. It is preferable to discriminate that it is multilayered.
  • the change in the spatial brightness value is the sum of the dispersion of brightness values or the brightness value differentiation in the small area, and the change in the temporal brightness value corresponds to the time-series image.
  • the luminance value is a variance or a differential value of the small area.
  • the position information in the cell mass of the site determined to be multi-layered is output, and it is determined that multi-layered. It is preferable to configure so as to output information on the size (area, volume, ratio thereof, etc.) of the size of the part in the cell mass.
  • the state of multi-layering is determined for each cell cluster, and there are no cell clusters and multi-layered sites having multi-layered sites. It is desirable to sort the cells into cell clusters and output the sorted discrimination results.
  • the culture step for culturing the cells, and the cells cultured in the culturing step are observed using the above-described image processing apparatus, and the cells change by the culture.
  • a discriminating step for discriminating the state of multi-layering of the cell mass is provided.
  • the step of culturing the cells, and the cells cultured in the culturing step are photographed with an imaging device, and the cell mass in the cells changed by the culturing
  • a method for producing a cell mass comprising: a discriminating step for discriminating a multi-layered state of the cell mass based on a spatial distribution of luminance values calculated in the calculation step and a time series change.
  • the state of multi-layering of the cell mass is determined from the spatial luminance distribution of the small area of the cell mass and the temporal luminance change.
  • 1 is a block diagram illustrating a schematic configuration of an image processing apparatus. It is a graph which shows the mode of the time series change of the spatial dispersion
  • FIGS. 2 and 3 a schematic configuration diagram and a block diagram of a culture observation system are shown in FIGS. 2 and 3.
  • FIGS. 2 and 3 First, an overview of the overall configuration of the culture observation system BS will be described.
  • the culture observation system BS is broadly divided into a culture chamber 2 provided in the upper part of the housing 1, a stocker 3 for accommodating and holding a plurality of culture containers 10, an observation unit 5 for observing a sample in the culture container 10, It includes a transport unit 4 that transports the culture vessel 10, a control unit 6 that controls the operation of the system, an operation panel 7 that includes an image display device, and the like.
  • the culture chamber 2 is a chamber for forming the culture environment, the temperature adjustment device 21 in association with the culture chamber 2, the humidifier 22, CO 2 gas or N 2 for supplying a gas of a gas such as a gas supply device 23, the circulating A fan 24, an environmental sensor 25 for detecting the temperature, humidity and the like of the culture chamber 2 are provided.
  • the stocker 3 is formed in a shelf shape that is partitioned forward and backward and vertically, and a unique address is set to each shelf.
  • the culture vessel 10 is appropriately selected according to the type and purpose of the cells to be cultured. For example, a cell sample is injected and held together with a liquid medium in a dish type culture vessel. Each culture vessel 10 is assigned a code number and stored in correspondence with the designated address of the stocker 3.
  • the transfer unit 4 includes a Z stage 41 that is provided inside the culture chamber 2 and can move up and down, a Y stage 42 that can move back and forth, an X stage 43 that can move left and right, and the culture container on the tip side of the X stage 43.
  • a support arm 45 for lifting and supporting 10 is provided.
  • the observation unit 5 includes a first illumination unit 51 that illuminates the sample from the lower side of the sample stage 15, a second illumination unit 52 that illuminates the sample from above the sample stage 15 along the optical axis of the microscopic observation system 55, and a lower side.
  • a third illumination unit 53 that illuminates the sample, a macro observation system 54 that performs macro observation of the sample, a micro observation system 55 that performs micro observation of the sample, the image processing apparatus 100, and the like are included.
  • the sample stage 15 is provided with a transparent window 16 in the observation region of the microscopic observation system 55.
  • the macro observation system 54 includes an observation optical system 54 a and an imaging device 54 c such as a CCD camera that takes an image of the sample imaged by the observation optical system, and the first illumination unit 51 performs backlight illumination.
  • a whole observation image (macro image) from above the obtained culture vessel 10 is acquired.
  • the microscopic observation system 55 includes an observation optical system 55a composed of an objective lens, an intermediate zoom lens, a fluorescent filter, and the like, and an imaging device 55c such as a cooled CCD camera that takes an image of a sample imaged by the observation optical system 55a. It is configured.
  • a plurality of objective lenses and intermediate variable power lenses are provided, and can be set to an arbitrary observation magnification by changing the combination of the lenses.
  • the transmitted image of the cells illuminated by the second illumination unit 52 the transmitted image of the cells illuminated by the second illumination unit 52, the reflected image of the cells illuminated by the third illumination unit 53, the fluorescence image of the cells illuminated by the third illumination unit 53, etc.
  • a microscopic observation image (micro image) obtained by microscopic observation of the cells in the container 10 is acquired.
  • the image processing apparatus 100 is photographed by the imaging device 54c of the macro observation system 54 and the imaging device 55c of the microscopic observation system 55, and processes the signals input from these imaging devices to obtain an image such as a whole observation image or a microscopic observation image. Is generated. Further, the image processing apparatus 100 performs image analysis on these observation images (image data), generates a time-lapse image, predicts the moving direction of the cell, analyzes the movement state of the cell, and analyzes the state of multi-layering of the cell mass. And so on. The image processing apparatus 100 will be described in detail later.
  • the control unit 6 includes a CPU 61 for executing processing, a ROM 62 in which control programs and control data of the culture observation system BS are set and stored, and a RAM 63 that temporarily stores observation conditions, image data, and the like, including an auxiliary storage device such as a hard disk and DVD. And control the operation of the culture observation system BS. Therefore, as shown in FIG. 3, the constituent devices of the culture chamber 2, the transport unit 4, the observation unit 5, and the operation panel 7 are connected to the control unit 6.
  • the RAM 63 the environmental conditions of the culture chamber 2 according to the observation program, the observation schedule, the observation type and observation position in the observation unit 5, the observation magnification, and the like are set and stored. Further, the RAM 63 is provided with an image data storage area for recording image data photographed by the observation unit 5, and index data including the code number of the culture vessel 10 and photographing date / time are associated with the image data and recorded. Is done.
  • the operation panel 7 is provided with an operation panel 71 provided with input / output devices such as a keyboard and a switch, and a display panel 72 for displaying an operation screen, an observation image, an analysis result, and the like. Input of condition selection, operation command, etc. is performed.
  • the communication unit 65 is configured in accordance with a wired or wireless communication standard, and data can be transmitted to and received from a computer or the like externally connected to the communication unit 65.
  • the CPU 61 controls the operation of each part in accordance with the observation program set on the operation panel 7 and automatically performs imaging of the sample in the culture vessel 10.
  • the CPU 61 controls the operation of the temperature adjusting device 21, the humidifier 22, and the like based on the environmental conditions stored in the RAM 63.
  • the observation conditions stored in the RAM 63 are read, the X, Y, Z stages 43, 42, 41 are operated based on the observation schedule, and the culture vessel 10 to be observed is transported from the stocker 3 to the sample stage 15 for observation. Observation by the unit 5 is started.
  • the corresponding culture vessel 10 is positioned on the optical axis of the microscopic observation system 55 and the second illumination unit 52 or the third illumination unit 53
  • the light source is turned on to cause the imaging device 55c to take a microscopic observation image.
  • the image processing apparatus 100 acquires the time-series images taken by the imaging devices (54c, 55c), and displays the state of multi-layering of the cell mass included in the images. It has a function of discriminating, and is suitably used, for example, for analysis of iPS cells, ES cells, and the like.
  • the image processing apparatus 100 determines whether or not the cell cluster is multi-layered from the spatial and temporal characteristics of the luminance distribution for the time-series image obtained by photographing the cell cluster. This method uses the fact that the image of the multi-layered part has the following two features.
  • the luminance distribution of the portion where the multi-layering has progressed has a larger spatial luminance change (variation in luminance value) than the luminance distribution of the non-multi-layered portion. This is because in a single layer region where cells are not multi-layered, the cell mass spreads in the horizontal direction, so the spatial luminance change in the small region is not so large, whereas in the multi-layer region, cells appear to bubble. It is considered that the spatial brightness change in the small area becomes large because it rises upward.
  • the vertical axis shows the distribution of the spatial brightness values of the small area (for example, the distribution of the brightness values of the small area of 20 ⁇ 20 pixels vertically and horizontally (the size of 2 to 3 cells)), and the horizontal axis shows the time.
  • the change of spatial brightness value dispersion in a small area is schematically shown for a small area (solid line) in a multi-layered state and other small areas (dotted line and two-dot chain line). is there.
  • the solid line in FIG. 5 shows the characteristics of the small area of the multi-layered part.
  • a spatial change in luminance value luminance dispersion value
  • changes so as to wave greatly in a relatively short period luminance dispersion value
  • the dotted line in FIG. 5 shows the characteristics of the small region including the boundary (contour part) of the cell mass. Since the luminance changes greatly across the contour line at the boundary of the cell mass, the spatial luminance value change (luminance dispersion value) becomes relatively large. However, even if the cell mass grows or shrinks and the boundary of the cell mass moves, the movement speed is slow, and the temporal change in the luminance value is slow and small.
  • the alternate long and short dash line in FIG. 5 indicates the characteristics of the small region of the part that is not multi-layered. In a small region of a single-layered region, even if the cell mass spreads, the change in spatial luminance value is small, and the change in luminance value is small over time.
  • the present invention pays attention to the above-mentioned characteristics on the image of the multi-layered region, and determines the multi-layered state by image processing the time series image of the cell cluster.
  • the image processing apparatus 100 displays the spatial luminance distribution and temporal luminance change of the small area inside the cell mass for the entire cell mass (within the designated analysis range when the analysis range is designated by a mouse or the like).
  • the calculated state of the cell mass is determined based on the calculated spatial distribution of the brightness value and the time series change.
  • FIG. 4 shows a block diagram of the image processing apparatus 100
  • FIG. 1 shows a flowchart of the image processing program GP for performing the multi-layer determination process.
  • the image processing apparatus 100 acquires a time-series image of cell clusters taken by the imaging devices (55c, 54c) and analyzes the image, and outputs an analysis result analyzed by the image analysis unit 120.
  • the output unit 130 is configured, and the analysis result by the image analysis unit 120, for example, the position and size information (area, volume, ratio, etc.) of the part determined to be multi-layered, multi-layered Discrimination between the cell mass including the selected part and the cell mass not including the part is output from the output unit 130 and displayed on the display panel 72 or the like.
  • the image processing apparatus 100 is configured such that the image processing program GP set and stored in the ROM 62 is read by the CPU 61 and processing based on the image processing program GP is sequentially executed by the CPU 61.
  • the image processing program GP is software for causing the CPU 61 (computer), which is a hardware resource, to function as the image processing apparatus 100.
  • the image analysis unit 120 Based on the image processing program GP, the image analysis unit 120 performs image processing on the time-series images of the cell mass captured by the imaging device (in the description, the micro imaging device 55c) and recorded in the RAM 63 as follows. . Note that images taken by the image pickup device 55c may be sequentially processed in real time.
  • the image analysis unit 120 sequentially acquires the time-series images stored in cell mass RAM 63 (step S10), and for each image at time t 1 ⁇ ⁇ ⁇ t n, the level set (Level Set), and dispersion filter To segment the cell mass (step S20).
  • step S10 the time-series images stored in cell mass RAM 63
  • Level Set the level set
  • dispersion filter To segment the cell mass (step S20).
  • labeling is performed on the segmented cell mass MC (step S ⁇ b> 30), and the correspondence of the cell mass between each image is taken. For example, for the cell mass MC that has been labeled 1, 2, 3,... In each image, labels on which the images overlap are associated as the same cell mass.
  • the cell masses with the same label are aligned.
  • the center of gravity of the cell mass, the vertex position of the circumscribed rectangle, etc. can be used to calculate the amount of movement between images, and the correlation between the graphic moments is maximum (the difference is The rotation angle of the cell mass can be aligned so as to be (minimum).
  • the difference between the second image of the first image and the time t 2 at time t 1 the minimum may perform alignment in position and angle (correlation value is the highest) becomes.
  • step S40 For the time-series image of the cell mass MC of the same label that is associated and aligned in this way (FIG. 7 shows the time-series image of the cell mass of label n), in step S40, pixels that form an image Is divided into a large number of “small regions” A.
  • the small area A is set as a local area that is sufficiently smaller than the size of the cell mass MC, and is set to, for example, about 10 ⁇ 10 to 30 ⁇ 30 pixels (size of about 2 to 5 cells).
  • step S50 the image is analyzed.
  • the image analysis includes a small area spatial analysis 50A and a small area time series analysis 50B.
  • a change (variation) in spatial luminance value is calculated from the luminance distribution of the small area A for each small area in each time image.
  • Examples of the evaluation index of the spatial luminance value change include the variance of the luminance value of the small area A and the sum of the differentiation of the luminance value with respect to the spatial direction.
  • the characteristic of the spatial luminance value change is represented by this value (score) a. Is expressed quantitatively.
  • a small region having a large score a is a region in which the luminance value greatly varies spatially, and corresponds to a portion that is multilayered in the cell mass and a boundary portion inside and outside the cell mass.
  • the score a (the dispersion of luminance values and the sum of derivatives) calculated at 50A can be used. With such a configuration, the processing load on the CPU 61 is reduced. Thus, the calculation process can be speeded up.
  • the luminance value of the small region the luminance value of at least one of the plurality of pixels forming the small region A or an appropriate average luminance value of the plurality of pixels may be used.
  • step S60 the spatial brightness value change score a and score b obtained as described above are assigned to each small region of the cell mass MC, and the map with the scores a and b attached to the entire cell mass.
  • step S70 for each small region of the cell mass MC, it is determined whether the score a is greater than or equal to a predetermined threshold and the score b is greater than or equal to a predetermined threshold.
  • the scores a and b are The areas that are both equal to or greater than the threshold value are classified into multi-layered areas, and the other areas are classified into other areas (see also FIG. 5). Note that score a small region in determining in step S70, when the sum total ⁇ (a 1 ⁇ a n) scores a 1 ⁇ ⁇ ⁇ a n small areas at each time in the sequence images and average value Can be used.
  • the above threshold values are set appropriately according to the type of cells to be observed, the observation conditions, the analysis conditions, and the like. In the determination of the multi-layered region, a region where the score a ⁇ b is equal to or greater than a predetermined threshold may be set as the multi-layered region.
  • step S80 based on the classification result in step S75, the state of multi-layering of the cell mass is output from the output unit 130 and displayed on the display panel 72 or the like.
  • the state of the cell cluster can be identified by hatching, color coding, or the like in the image of the cell cluster MC of the label n. indicate.
  • information on the size (area, volume, ratio thereof, etc.) of the multi-layered region occupying the cell mass of the label n is displayed as numerical data.
  • FIG. 8 shows a configuration example in which a specific cell mass (labeled n) selected by a mouse or the like is displayed in an enlarged manner.
  • a specific cell mass (labeled n) selected by a mouse or the like is displayed in an enlarged manner.
  • a plurality of cell masses MC are included in the image as shown in FIG.
  • the cell mass including the multi-layered portion and the cell mass not including it are displayed so as to be distinguishable.
  • identification display in the entire image, for example, the same display as in FIG. 8 is performed for each cell mass in the image, or a cell mass having a multi-layered portion is displayed in yellow, multi-layer Depending on the area ratio of the multi-layered site occupying each cell mass, the inner cell mass without a cellized site is displayed separately, or the cell mass with a higher area ratio is red, and yellow as the area ratio decreases Examples of display forms for identifying and displaying green to blue are illustrated. Note that the analysis result may be output to a printer, the RAM 63, a magnetic recording medium, or the like, or may be output to the outside of the system via the communication unit 65.
  • the observer can visually judge the state of the multi-layering of the cell mass included in the image quantitatively.
  • the state of the cell cluster in a multi-layered state is determined from the spatial luminance distribution of the small region of the cell cluster and the temporal change. Therefore, according to the cell mass state determination method by the image processing apparatus 100, the cells are not damaged by the administration of the reagent, and the cell mass is detected from the time-series images taken by the imaging device (55c, 54c).
  • a means capable of discriminating the state of multi-layering can be provided.
  • the configuration of reading the time-series images (image data) captured by the imaging device in the culture observation system BS and stored in the RAM 63 and analyzing the multi-layered state is exemplified. It may be configured to sequentially analyze the images taken by the camera in real time, and to read the time-series images taken by other observation systems and recorded on the magnetic storage medium etc. to analyze the multi-layered state
  • the operator sets a predetermined range (a specific cell mass or a specific site in the cell mass) of the cell mass included in the time-series image as an analysis range using a mouse or the like, and the image processing apparatus has multiple layers for the set analysis range. It may be configured to execute the analysis of the conversion state.
  • This manufacturing method basically includes a culturing step (S110) for culturing cells, and observing the cells cultured in this culturing step using the above-described image processing apparatus, and cell clusters in cells that change by culturing. And a discrimination step (S120-S140) for discriminating the state of multi-layering.
  • S120 a calculation step (S130) for calculating a spatial luminance value distribution of a small area in the cell mass in the time-series image acquired in this acquisition step and a temporal change in luminance value, and this calculation
  • the cells to be cultured may be cells derived from animals such as humans, cows, horses, pigs and mice, or may be cells derived from plants.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Wood Science & Technology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Biotechnology (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Thermal Sciences (AREA)
  • Cell Biology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Micro-Organisms Or Cultivation Processes Thereof (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

　時系列画像から細胞塊の複層化の状態を判別して出力する手段を提供する。　画像処理プログラム（ＧＰ）は、時系列画像を取得するステップ（Ｓ１０）と、取得した各画像から細胞塊を抽出するステップ（Ｓ２０）と、抽出された細胞塊における小領域の空間的な輝度値の分布及び時間的な輝度値の変化を細胞塊全域について算出するステップ（Ｓ５０）と、算出された輝度値の空間分布及び時系列変化に基づいて細胞塊の複層化の状態を判別するステップ（Ｓ７０）と、判別結果を出力するステップ（Ｓ８０）とを備え、細胞塊の時系列画像から細胞塊の複層化の状態を判別して出力するように構成される。

Description

細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
　本発明は、細胞観察において取得された時系列画像から細胞塊の複層化の状態を判別する状態判別手法に関するものである。
　細胞を培養しながら観察する装置の一例として培養顕微鏡が挙げられる。培養顕微鏡は、細胞の培養に好適な環境を形成する培養装置と、培養容器内の細胞を顕微観察する顕微観察系とを備え、生きた細胞を培養しながら、細胞の変化や分裂などを観察できるように構成される（例えば特許文献１を参照）。生細胞の培養過程では、細胞分裂の進行により細胞塊が形成される。細胞分裂の初期過程では、分裂した細胞が単層状態で培地内を水平方向に広がるが、細胞分裂が活発化して細胞塊が成熟してくると、細胞が泡立つように上下方向にも広がり、いわゆる複層化が進行する。
　培養顕微鏡を用いた従来の細胞観察手法では、細胞塊の複層化の状態判定を、顕微観察画像を目視観察して判別する目視判定や、試薬を投与して着色状態等から判別する試薬判定により行っていた。
特開２００４－２２９６１９号公報
　しかしながら、従来行われてきた目視判定の手法では、多数の時系列画像から細胞塊を抽出し複層化された状態を判別するのに、一定の経験を有する知見者が時間をかけて判別する必要があった。特に、各時刻の観察画像に多数の細胞塊が含まれる場合に、個々の細胞塊を識別しながら複層化の状態判別を行うことは大変煩雑な作業であった。また、目視判定では細胞塊において複層化された部位の位置や大きさ（面積や細胞塊に占める比率等）を定量的に捉えることが困難であるという課題があった。さらに、試薬判定の手法では、試薬の投与により細胞に与える化学的・物理的影響や、培養された細胞を利用する際の制約が大きいという課題があった。
　本発明は、このような課題に鑑みてなされたものであり、細胞に試薬投与によるダメージを与えることなく、撮像装置により撮影された時系列画像から細胞塊の複層化の状態を判別可能な手段を提供することを目的とする。
　本発明を例示する第１の態様に従えば、撮像装置により撮影された細胞塊の時系列画像を取得し、取得された画像中の細胞塊における小領域の空間的な輝度値の分布及び時間的な輝度値の変化を算出し、算出された輝度値の空間分布及び時系列変化に基づいて細胞塊の複層化の状態を判別することを特徴とする細胞塊の状態判別手法が提供される。
　本発明を例示する第２の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、撮像装置により撮影された細胞塊の時系列画像を取得するステップと、取得された画像中の細胞塊における小領域の空間的な輝度値の分布及び時間的な輝度値の変化を算出するステップと、算出された輝度値の空間分布及び時系列変化に基づいて細胞塊の複層化の状態を判別するステップと、判別結果を出力するステップとを備え、細胞塊の時系列画像から細胞塊の複層化の状態を判別して出力するようにコンピュータを機能させるための画像処理プログラムが提供される。
　本発明を例示する第３の態様に従えば、撮像装置により撮影された細胞塊の時系列画像を取得し画像を解析する画像解析部と、画像解析部による解析結果を出力する出力部とを備えた画像処理装置が構成される。この画像処理装置において、前記画像解析部は、取得された画像中の細胞塊における小領域の空間的な輝度値の分布及び時間的な輝度値の変化を算出し、算出された輝度値の空間分布及び時系列変化に基づいて細胞塊の複層化の状態を判別し、前記出力部が、画像解析部により判別された細胞塊の複層化の状態を出力するように構成される。
　なお、以上の本発明において、複層化の状態判別は、前記小領域内で空間的な輝度値の変化が閾値以上であり、かつ時間的な輝度値の変化が閾値以上である場合に、複層化されていると判別することが好ましい。この場合において、上記空間的な輝度値の変化は、小領域内の輝度値の分散または輝度値微分の総和であることが好ましく、上記時間的な輝度値の変化は、時系列画像において対応する小領域の輝度値の分散または微分値であることが好ましい。
　本発明の画像処理プログラムまたは画像処理装置において、複層化されていると判断された部位の細胞塊における位置情報を出力するように構成することが好ましく、複層化されていると判断された部位の細胞塊に占める大きさの情報（面積、体積、これらの比率等）を出力するように構成することが好ましい。また、時系列の各画像中に複数の細胞塊が含まれる場合に、細胞塊ごとに複層化の状態を判別するとともに、複層化部位を持つ細胞塊と複層化部位をもたない細胞塊とに分別し、分別された判別結果を出力するように構成することが望ましい。
　また、本発明を例示する第４の態様に従えば、細胞を培養する培養ステップと、前記培養ステップにおいて培養される細胞を、上述の画像処理装置を用いて観察し、培養により変化する前記細胞における細胞塊の複層化の状態を判別する判別ステップと、を備えて細胞塊の製造方法が提供される。
　また、本発明を例示する第５の態様に従えば、細胞を培養する培養ステップと、前記培養ステップにおいて培養される細胞を、撮像装置により撮影し、培養により変化する前記細胞における細胞塊の時系列画像を取得する取得ステップと、前記取得ステップにおいて取得した前記時系列画像の中の細胞塊における小領域の空間的な輝度値の分布及び時間的な輝度値の変化を算出する算出ステップと、前記算出ステップにおいて算出された輝度値の空間分布及び時系列変化に基づいて細胞塊の複層化の状態を判別する判別ステップと、を備えて細胞塊の製造方法が提供される。
　本発明の細胞塊の状態判別手法、画像処理プログラム及び画像処理装置おいては、細胞塊の小領域の空間的な輝度分布及び時間的な輝度変化から細胞塊の複層化の状態が判別される。従って、本発明によれば、試薬の投与によって細胞にダメージを与えるようなことがなく、撮像装置により撮影された時系列画像から細胞塊の複層化の状態を判別可能な手段を提供することができる。
画像処理プログラムの概要構成を示すフローチャートである。 本発明の適用例として示す培養観察システムの概要構成図である。 上記培養観察システムのブロック図である。 画像処理装置の概要構成を例示するブロック図である。 縦軸に小領域の輝度値の空間的分散、横軸に時間をとった場合の空間的分散の時系列変化の様子を示すグラフである。 セグメンテーション、ラベリングされた細胞塊の状況を例示する模式図である。 ラベルｎの細胞塊の時系列取得を例示する模式図である。 画像解析により判別された複層化部位（位置、大きさ、範囲）の出力形態を例示する模式図である。 細胞塊の製造方法を示すフローチャートである。
　以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を図２及び図３に示しており、まず培養観察システムＢＳの全体構成について概要説明する。
　培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２、複数の培養容器１０を収容保持するストッカー３、培養容器１０内の試料を観察する観察ユニット５、培養容器１０を搬送する搬送ユニット４、システムの作動を制御する制御ユニット６、及び画像表示装置を備えた操作盤７などから構成される。
　培養室２は、培養環境を形成する部屋であり、この培養室２に付随して温度調整装置２１、加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。ストッカー３は、前後及び上下に仕切られた棚状に形成され各棚に固有の番地が設定される。培養容器１０は、培養する細胞の種別や目的に応じて適宜選択され、例えばディッシュタイプの培養容器に細胞試料が液体培地とともに注入保持される。各培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。搬送ユニット４は、培養室２の内部に設けられて上下移動可能なＺステージ４１、前後移動可能なＹステージ４２、左右移動可能なＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ちあげ支持する支持アーム４５が設けられている。
　観察ユニット５は、試料台１５の下側から試料を照明する第１照明部５１、顕微観察系５５の光軸に沿って試料台１５の上方から試料を照明する第２照明部５２及び下方から試料を照明する第３照明部５３、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。試料台１５には顕微観察系５５の観察領域に透明な窓部１６が設けられている。
　マクロ観察系５４は、観察光学系５４ａと、観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有して構成され、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）が取得される。顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有して構成される。対物レンズ及び中間変倍レンズは各々複数設けられ、レンズの組み合わせを変化させることにより任意の観察倍率に設定可能に構成される。顕微観察系５５では、第２照明部５２により照明された細胞の透過像、第３照明部５３により照明された細胞の反射像、第３照明部５３により照明された細胞の蛍光像など、培養容器１０内の細胞を顕微鏡観察した顕微観察像（ミクロ像）が取得される。
　画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ、顕微観察系５５の撮像装置５５ｃにより撮影され、これらの撮像装置から入力された信号を処理して全体観察画像や顕微観察画像などの画像を生成する。また、画像処理装置１００は、これらの観察画像（画像データ）に画像解析を施し、タイムラプス画像の生成、細胞の移動方向予測、細胞の運動状態の解析、細胞塊の複層化の状態の解析などを行う。なお、画像処理装置１００については、後に詳述する。
　制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、ハードディスクやＤＶＤ等の補助記憶装置を含み観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送ユニット４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
　操作盤７には、キーボードやスイッチ等の入出力機器が設けられた操作パネル７１、操作画面や観察画像、解析結果等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
　このように概要構成される培養観察システムＢＳは、操作盤７において設定された観察プログラムに従ってＣＰＵ６１が各部の作動を制御し、培養容器１０内の試料の撮影を自動的に実行する。観察プログラムがスタートされると、ＣＰＵ６１はＲＡＭ６３に記憶された環境条件に基づいて温度調整装置２１、加湿器２２等の作動を制御する。また、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいてＸ，Ｙ，Ｚステージ４３，４２，４１を作動させてストッカー３から観察対象の培養容器１０を試料台１５に搬送し、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察が細胞のミクロ観察である場合には、該当する培養容器１０を顕微観察系５５の光軸上に位置決めし、第２照明部５２または第３照明部５３の光源を点灯させて、顕微観察像を撮像装置５５ｃに撮影させる。
　以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、撮像装置（５４ｃ、５５ｃ）により撮影された時系列画像を取得し、画像に含まれる細胞塊の複層化の状態を判別する機能を有しており、例えば、ｉＰＳ細胞やＥＳ細胞等の解析に好適に利用される。画像処理装置１００は、細胞塊を撮影した時系列画像について、輝度分布の空間的、時間的特長から細胞塊が複層化しているか否かを判断する。この手法は、複層化した部位の画像が、以下の二つの特徴をもつことを利用する。
（Ａ）細胞塊中、複層化が進んだ部分の輝度分布は、複層化していない部分の輝度分布と比較して、空間的な輝度変化（輝度値のばらつき）が大きい。これは、細胞が複層化していない単層領域では、細胞塊が水平方向に広がるため小領域内の空間的な輝度変化がさほど大きくないのに対し、複層化領域では細胞が泡立つように上方に盛り上がるため小領域内の空間的な輝度変化が大きくなるからと考えられる。
（Ｂ）複層化が進んだ部分で生じる輝度変化の時間スケールは、複層化していない部分の輝度変化や、細胞塊境界の変化に伴う輝度変化とくらべて短い。上記のように、複層化領域では、細胞が泡立つように広がるため、時系列画像において、小領域の輝度が比較的短時間で大きく変動するからと考えられる。
　具体的に、培養中の細胞塊を撮影した時系列画像について、細胞塊の大きさに比較して十分に小さい小領域を指定し、小領域の空間的な輝度変化とその時間的変化をプロットすると、図５に示すようになる。この図は、縦軸に小領域の空間的な輝度値の分散（例えば縦横２０×２０画素（細胞２～３個分の大きさ）の小領域の輝度値の分散）、横軸に時間をとり、小領域の空間的な輝度値分散の変化状態を、複層化された状態の小領域（実線）と、他の小領域（点線および二点鎖線）とについて模式的に示したものである。
　図５中の実線は、複層化された部位の小領域の特性を示す。複層化された部位の小領域では、泡立つような細胞の増殖により、空間的な輝度値の変化（輝度分散値）が大きく、かつ、比較的短い周期で大きく波打つように変化する。
　図５中の点線は、細胞塊の境界（輪郭部）を含む小領域の特性を示す。細胞塊の境界では輪郭線を挟んで輝度が大きく変化するため、空間的な輝度値の変化（輝度分散値）は比較的大きくなる。しかし、細胞塊が成長または縮退して細胞塊の境界が移動したとしても、その移動速度は遅く、輝度値の時間的な変化は緩慢かつ小さなものとなる。
　図５中の一点鎖線は、複層化していない部位の小領域の特性を示す。単層状態の部位の小領域では、細胞塊が広がっても空間的な輝度値の変化は小さく、時間的にも輝度値の変化は小さいものとなる。
　本発明は、上記のような複層化領域の画像上の特徴に着目し、細胞塊の時系列画像を画像処理することにより複層化の状態を判別する。画像処理装置１００は、細胞塊内部の小領域の空間的な輝度分布及び時間的な輝度変化を細胞塊全域（解析範囲がマウス等により指定されている場合には指定された解析範囲内）について算出し、算出された輝度値の空間分布及び時系列変化に基づいて細胞塊の複層化の状態を判別する。
　図４に画像処理装置１００のブロック図を示し、図１に複層化の判別処理を行う画像処理プログラムＧＰのフローチャートを示す。
　画像処理装置１００は、撮像装置（５５ｃ，５４ｃ）により撮影された細胞塊の時系列画像を取得して画像を解析する画像解析部１２０と、画像解析部１２０により解析された解析結果を出力する出力部１３０とを備えて構成され、画像解析部１２０による解析結果、例えば複層化が進んでいると判断された部位の位置や大きさの情報（面積、体積、比率等）、複層化された部位を含む細胞塊と含まない細胞塊との判別などが出力部１３０から出力され表示パネル７２等に表示されるように構成される。
　画像処理装置１００は、ＲＯＭ６２に設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。換言すれば、画像処理プログラムＧＰはハードウェア資源であるＣＰＵ６１（コンピュータ）を画像処理装置１００として機能させるためのソフトウェアである。
　画像解析部１２０は、画像処理プログラムＧＰに基づき、撮像装置（説明ではミクロ系の撮像装置５５ｃとする）により撮影され、ＲＡＭ６３に記録された細胞塊の時系列画像を以下のように画像処理する。なお、撮像装置５５ｃにより撮影された画像を順次リアルタイムで処理するようにしてもよい。
　画像解析部１２０は、ＲＡＭ６３に記憶された細胞塊の時系列画像を順次取得し（ステップＳ１０）、時刻ｔ1・・・ｔnの各画像に対し、レベルセット（Level Set）、及び分散フィルタによって細胞塊のセグメンテーションを行う（ステップＳ２０）。次いで、図６に示すように、セグメント化された細胞塊ＭＣに対してラベリングを行い（ステップＳ３０）、各画像間での細胞塊の対応をとる。例えば、各画像においてラベリング１，２，３…を施した細胞塊ＭＣについて、像が重なるラベル同士を同じ細胞塊として対応づける。
　次いで、細胞塊ＭＣが移動する場合の効果を小さくするため、同一ラベルの細胞塊の位置合わせを行う。位置合わせの基準には、細胞塊の重心位置や、外接矩形の頂点位置などを用い、画像間での移動量を算出して位置合わせすることができ、また図形モーメントの相関が最大（差分が最小）となるように細胞塊の回転角度を揃えることができる。時刻ｔ1の第１像と時刻ｔ2の第２像との差分が最小（相関値が最大）となる位置及び角度で位置合わせを行うようにしてもよい。
　このように対応付けされ、位置合わせされた同一ラベルの細胞塊ＭＣの時系列画像（図７はラベルｎの細胞塊の時系列画像を示す）に対して、ステップＳ４０において、画像を形成する画素を中心とする多数の「小領域」Ａに分割する。小領域Ａは、細胞塊ＭＣの大きさに比べて十分に小さい局所領域として設定され、例えば、１０×１０～３０×３０画素程度（細胞２～５個程度の大きさ）に設定される。
　そして、ステップＳ５０において画像の解析が行われる。画像解析は、小領域の空間的な解析５０Ａと、小領域の時系列解析５０Ｂとにより構成される。
（５０Ａ：小領域の空間的な解析）
　小領域の空間的な解析では、各時刻画像における各小領域について、小領域Ａの輝度分布から空間的な輝度値の変化（ばらつき）を算出する。空間的な輝度値変化の評価指標として、小領域Ａの輝度値の分散や、空間方向に対する輝度値の微分の総和などが例示され、この値（スコア）ａによって空間的な輝度値変化の特徴が定量的に表現される。スコアａが大きな小領域は、輝度値が空間的に大きく変化している領域であり、細胞塊中で複層化している部位や、細胞塊内外の境界の部分が該当する。
（５０Ｂ：小領域の時系列解析）
　小領域の時系列解析では、時系列画像における小領域Ａの時間的な輝度値の変化（ばらつき）を算出する。時間的な輝度値変化の評価指標として、時系列画像間での小領域Ａの輝度値の分散や、微分値などが例示され、この値（スコア）ｂによって時間的な輝度値変化の特徴を定量的に表現することができる。スコアｂが大きな小領域は輝度値が時間的に大きく変化している領域であり、細胞塊中で複層化している部分が該当する。
　スコアｂを算出する場合の「小領域の輝度値」は、５０Ａで算出したスコアａ（輝度値の分散、微分の総和）を用いることができ、このような構成により、ＣＰＵ６１の処理負担を軽減して演算処理を高速化することができる。なお、小領域の輝度値は、小領域Ａを形成する複数画素の少なくともいずれかの画素の輝度値、あるいは複数画素の適宜な平均輝度値を用いることもできる。
　ステップＳ６０では、上記のようにして得られた空間的な輝度値の変化のスコアａ及びスコアｂを、細胞塊ＭＣの各小領域に割り当て、細胞塊全域について、スコアａ及びｂを付したマップを形成する。
　そしてステップＳ７０において、細胞塊ＭＣの各小領域について、スコアａが所定の閾値以上であり、かつスコアｂが所定の閾値以上であるか否かを判断し、ステップＳ７５において、スコアａ及びｂがともに閾値以上である領域を複層化された領域、そうでない領域をその他の領域に分別する（図５を併せて参照）。なお、ステップＳ７０において判断する際の小領域のスコアａは、時系列画像における各時刻の小領域のスコアａ1・・・ａnの総和Σ（ａ1・・・ａn）や平均値等を用いることができる。上記各閾値は、観察対象となる細胞の種別や観察条件、解析条件などに応じて適宜な値が設定される。また複層化領域の判断は、スコアａ×ｂが所定の閾値以上である領域を複層化領域としてもよい。
　ステップＳ８０では、ステップＳ７５の分別結果に基づき、細胞塊の複層化の状態を出力部１３０から出力して表示パネル７２等に表示させる。細胞塊の複層化の状態は、例えば図８に模式図を示すように、ラベルｎの細胞塊ＭＣの画像中に、複層化されたと判断された領域をハッチングや色分け等により識別可能に表示する。また、当該ラベルｎの細胞塊に占める複層化領域の大きさの情報（面積、体積、これらの比率等）を数値データで表示する。
　図８では、マウス等により選択された特定の（ラベルｎの）細胞塊を拡大表示した構成例を示すが、図６のように画像中に複数の細胞塊ＭＣが含まれるような場合には、表示画面を全体像に切り換えることにより、複層化された部位を含む細胞塊と含まない細胞塊とを識別可能に表示する。
　このような全体画像における識別表示の具体的な形態として、例えば、画像中の各細胞塊について図８と同様の表示を行い、あるいは、複層化された部位を有する細胞塊を黄色、複層化部位の無い内細胞塊を青色のように分別表示し、または、各細胞塊に占める複層化部位の面積比に応じて、面積比が高い細胞塊ほど赤く、面積比が低くなるにつれて黄色～緑～青のように識別表示する表示形態が例示される。なお、解析結果をプリンタやＲＡＭ６３、磁気記録媒体等に出力して記録させ、あるいは通信部６５を介してシステム外部に出力するように構成してもよい。
　これにより、観察者は画像に含まれる細胞塊の複層化の状態を定量的に目視判断することができる。このように、画像処理装置１００においては、細胞塊の小領域の空間的な輝度分布及び時間的な変化から細胞塊の複層化の状態が判別される。従って、画像処理装置１００による細胞塊の状態判別手法によれば、試薬の投与によって細胞にダメージを与えるようなことがなく、撮像装置（５５ｃ，５４ｃ）により撮影された時系列画像から細胞塊の複層化の状態を判別可能な手段を提供することができる。
　なお、以上説明した実施形態では、培養観察システムＢＳにおいて撮像装置に撮影され、ＲＡＭ６３に記憶された時系列画像（画像データ）を読み出して複層化状態を解析する構成を例示したが、撮像装置により撮影された画像を逐次リアルタイムで解析するように構成してもよく、また、他の観察システムにおいて撮影され磁気記憶媒体等に記録された時系列画像を読み出して複層化状態を解析するように構成してもよい。また、オペレータが時系列画像に含まれる細胞塊の所定範囲（特定の細胞塊や、細胞塊における特定部位）をマウス等により解析範囲として設定し、設定された解析範囲について画像処理装置が複層化状態の解析を実行するように構成してもよい。
　次に、本発明の実施形態に係る細胞塊の製造方法について、図９を参照して説明する。この製造方法は、基本的には、細胞を培養する培養ステップ（Ｓ１１０）と、この培養ステップにおいて培養される細胞を、前述した画像処理装置を用いて観察し、培養により変化する細胞における細胞塊の複層化の状態を判別する判別ステップ（Ｓ１２０－Ｓ１４０）とを備える。
　より具体的には、細胞を培養する培養ステップ（Ｓ１１０）と、この培養ステップにおいて培養される細胞を、撮像装置により撮影し、培養により変化する細胞における細胞塊の時系列画像を取得する取得ステップ（Ｓ１２０）と、この取得ステップにおいて取得した時系列画像の中の細胞塊における小領域の空間的な輝度値の分布及び時間的な輝度値の変化を算出する算出ステップ（Ｓ１３０）と、この算出ステップにおいて算出された輝度値の空間分布及び時系列変化に基づいて細胞塊の複層化の状態を判別する判別ステップ（Ｓ１４０）と、所定の基準に基づいて、細胞塊を選別する選別ステップ（Ｓ１５０）と、選別した細胞塊を採取、保存する採取保存ステップ（Ｓ１６０）とを備えて、製造方法が構成される。なお、培養される細胞は、ヒト、ウシ、ウマ、ブタ、マウス等の動物由来の細胞であってもよいし、植物由来の細胞であってもよい。また、細胞塊の保存は凍結保存であってもよい。
Ａ　小領域　　　　　　　　　　　　　ＢＳ　培養観察システム
ＧＰ　画像処理プログラム　　　　　　ＭＣ　細胞塊
５　観察ユニット　　　　　　　　　　６　制御ユニット
５４　マクロ観察系　　　　　　　　　５４ｃ　撮像装置
５５　顕微観察系　　　　　　　　　　５５ｃ　撮像装置
６１　ＣＰＵ（コンピュータ）　　　　６２　ＲＯＭ
６３　ＲＡＭ　　　　　　　　　　　　１００　画像処理装置
１２０　画像解析部　　　　　　　　　１３０　出力部

Claims (20)

  1. 　撮像装置により撮影された細胞塊の時系列画像を取得し、
    　取得された画像中の細胞塊における小領域の空間的な輝度値の分布及び時間的な輝度値の変化を算出し、
    　算出された輝度値の空間分布及び時系列変化に基づいて細胞塊の複層化の状態を判別することを特徴とする細胞塊の状態判別手法。
  2. 　複層化の状態判別は、前記小領域内で空間的な輝度値の変化が閾値以上であり、かつ時間的な輝度値の変化が閾値以上である場合に、複層化されていると判別することを特徴とする請求項１に記載の細胞塊の状態判別手法。
  3. 　前記空間的な輝度値の変化は、前記小領域内の輝度値の分散または輝度値微分の総和であることを特徴とする請求項２に記載の細胞塊の状態判別手法。
  4. 　前記時間的な輝度値の変化は、時系列画像において対応する前記小領域の輝度値の分散または微分値であることを特徴とする請求項２または３に記載の細胞塊の状態判別手法。
  5. 　コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、
    　撮像装置により撮影された細胞塊の時系列画像を取得するステップと、
    　取得された画像中の細胞塊における小領域の空間的な輝度値の分布及び時間的な輝度値の変化を算出するステップと、
    　算出された輝度値の空間分布及び時系列変化に基づいて細胞塊の複層化の状態を判別するステップと、
    　判別結果を出力するステップとを備え、
    　細胞塊の時系列画像から細胞塊の複層化の状態を判別して出力するようにコンピュータを機能させるための画像処理プログラム。
  6. 　前記細胞塊の複層化の状態を判別するステップは、
    　前記小領域内における空間的な輝度値の変化が閾値以上であり、かつ時間的な輝度値の変化が閾値以上である場合に、複層化されていると判別するように構成されることを特徴とする請求項５に記載の画像処理プログラム。
  7. 　前記空間的な輝度値の変化は、前記小領域内の輝度値の分散または輝度値微分の総和であることを特徴とする請求項６に記載の画像処理プログラム。
  8. 　前記時間的な輝度値の変化は、時系列画像において対応する前記小領域の輝度値の分散または微分値であることを特徴とする請求項６または７に記載の画像処理プログラム。
  9. 　前記判別結果を出力するステップは、前記細胞塊の複層化の状態を判別するステップにおいて複層化されていると判断された部位の前記細胞塊における位置情報を出力するように構成されることを特徴とする請求項５～８のいずれかに記載の画像処理プログラム。
  10. 　前記判別結果を出力するステップは、前記細胞塊の複層化の状態を判別するステップにおいて複層化されていると判断された部位の前記細胞塊に占める大きさの情報を出力するように構成されることを特徴とする請求項５～９のいずれかに記載の画像処理プログラム。
  11. 　前記時系列の各画像中に複数の細胞塊が含まれる場合において、
    　前記細胞塊の複層化の状態を判別するステップは、細胞塊ごとに複層化の状態を判別するとともに、複層化部位を持つ細胞塊と複層化部位をもたない細胞塊とに分別し、
    　前記判別結果を出力するステップは、前記分別された判別結果を出力するように構成されることを特徴とする請求項５～１１のいずれかに記載の画像処理プログラム。
  12. 　撮像装置により撮影された細胞塊の時系列画像を取得し画像を解析する画像解析部と、前記画像解析部による解析結果を出力する出力部とを備えた画像処理装置であって、
    　前記画像解析部は、取得された画像中の細胞塊における小領域の空間的な輝度値の分布及び時間的な輝度値の変化を算出し、算出された輝度値の空間分布及び時系列変化に基づいて細胞塊の複層化の状態を判別し、
    　前記出力部が、前記画像解析部により判別された細胞塊の複層化の状態を出力するように構成したことを特徴とする画像処理装置。
  13. 　前記画像解析部は、前記小領域内における空間的な輝度値の変化が閾値以上であり、かつ時間的な輝度値の変化が閾値以上である場合に、複層化されていると判別するように構成されることを特徴とする請求項１２に記載の画像処理装置。
  14. 　前記空間的な輝度値の変化は、前記小領域内の輝度値の分散または輝度値微分の総和であることを特徴とする請求項１３に記載の画像処理装置。
  15. 　前記時間的な輝度値の変化は、時系列画像において対応する前記小領域の輝度値の分散または微分値であることを特徴とする請求項１３または１４に記載の画像処理装置。
  16. 　前記画像解析部は、複層化されていると判断された部位の前記細胞塊における位置を算出し、前記出力部は、前記画像解析部により算出された複層化の位置情報を出力するように構成したことを特徴とする請求項１２～１５のいずれかに記載の画像処理装置。
  17. 　前記画像解析部は、複層化されていると判断された部位の前記細胞塊に占める大きさの情報を算出し、前記出力部は、画像解析部により算出された複層化の大きさの情報を出力するように構成したことを特徴とする請求項１２～１６のいずれかに記載の画像処理装置。
  18. 　前記時系列の各画像中に複数の細胞塊が含まれる場合において、前記画像解析部は、細胞塊ごとに複層化の状態を判別するとともに、複層化部位を持つ細胞塊と複層化部位をもたない細胞塊とに分別し、
    　前記出力部は、前記分別された判別結果を出力するように構成したことを特徴とする請求項１２～１７のいずれかに記載の画像処理装置。
  19. 　細胞を培養する培養ステップと、
    　前記培養ステップにおいて培養される細胞を、請求項１２～１８のいずれかに記載の画像処理装置を用いて観察し、培養により変化する前記細胞における細胞塊の複層化の状態を判別する判別ステップと、
    を備えることを特徴とする細胞塊の製造方法。
  20. 　細胞を培養する培養ステップと、
    　前記培養ステップにおいて培養される細胞を、撮像装置により撮影し、培養により変化する前記細胞における細胞塊の時系列画像を取得する取得ステップと、
    　前記取得ステップにおいて取得した前記時系列画像の中の細胞塊における小領域の空間的な輝度値の分布及び時間的な輝度値の変化を算出する算出ステップと、
    　前記算出ステップにおいて算出された輝度値の空間分布及び時系列変化に基づいて細胞塊の複層化の状態を判別する判別ステップと、
    を備えることを特徴とする細胞塊の製造方法。
PCT/JP2010/003822 2009-06-12 2010-06-08 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 WO2010143420A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16153820.2A EP3065105B1 (en) 2009-06-12 2010-06-08 Technique for determining the state of a cell aggregation, image processing program and image processing device using the technique, and method for producing a cell aggregation
JP2011518305A JP5783043B2 (ja) 2009-06-12 2010-06-08 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
EP10785952.2A EP2441827B1 (en) 2009-06-12 2010-06-08 Technique for determining the state of a cell mass, image processing program and image processing device using said technique, and method for producing a cell mass
US13/315,794 US8588504B2 (en) 2009-06-12 2011-12-09 Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-141371 2009-06-12
JP2009141371 2009-06-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/315,794 Continuation US8588504B2 (en) 2009-06-12 2011-12-09 Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation

Publications (1)

Publication Number Publication Date
WO2010143420A1 true WO2010143420A1 (ja) 2010-12-16

Family

ID=43308683

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/003822 WO2010143420A1 (ja) 2009-06-12 2010-06-08 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法

Country Status (5)

Country Link
US (1) US8588504B2 (ja)
EP (2) EP2441827B1 (ja)
JP (1) JP5783043B2 (ja)
TW (1) TW201044007A (ja)
WO (1) WO2010143420A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013114816A1 (ja) * 2012-01-31 2013-08-08 東洋製罐グループホールディングス株式会社 細胞計数方法、細胞計数装置、及び細胞計数プログラム
JP2014000081A (ja) * 2013-08-05 2014-01-09 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
JP2014504763A (ja) * 2011-01-18 2014-02-24 コンスティテューション・メディカル・インコーポレイテッド 顕微鏡スライドの座標系の位置合わせ
EP2725345A1 (en) * 2011-06-21 2014-04-30 Hamamatsu Photonics K.K. Light measurement device, light measurement method, and light measurement program
US9111343B2 (en) 2011-01-18 2015-08-18 Roche Diagnostics Hematology, Inc. Microscope slide coordinate system registration
WO2015145872A1 (ja) * 2014-03-26 2015-10-01 株式会社Ｓｃｒｅｅｎホールディングス スフェロイドの評価方法およびスフェロイド評価装置
JP2016034288A (ja) * 2015-12-04 2016-03-17 株式会社ニコン 培養状態評価装置、細胞培養方法およびプログラム
US9363486B2 (en) 2011-06-09 2016-06-07 Fuji Xerox Co., Ltd. Image processing device, image processing method, and image processing system
JP2018525746A (ja) * 2015-04-23 2018-09-06 ビーデー キーストラ ビー．ヴィー． コロニーコントラスト収集
US10197782B2 (en) 2011-06-21 2019-02-05 Hamamatsu Photonics K.K. Light measurement device, light measurement method, and light measurement program
WO2020003456A1 (ja) * 2018-06-28 2020-01-02 株式会社ニコン 装置、顕微鏡装置、方法およびプログラム
WO2020122076A1 (ja) 2018-12-13 2020-06-18 住友電気工業株式会社 品質評価方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5745919B2 (ja) * 2011-04-28 2015-07-08 浜松ホトニクス株式会社 細胞解析方法、細胞解析装置、および細胞解析プログラム
JP5877108B2 (ja) * 2011-11-09 2016-03-02 中央発條株式会社 ケーブル収容装置
JP6130801B2 (ja) 2014-03-17 2017-05-17 富士フイルム株式会社 細胞領域表示制御装置および方法並びにプログラム
US11300646B2 (en) 2014-11-10 2022-04-12 Canon Medical Systems Corporation Magnetic resonance imaging apparatus, image processing apparatus, and image processing method
EP3428262B1 (en) * 2016-03-11 2022-09-21 Nikon Corporation Image processing device
JP6776672B2 (ja) 2016-07-08 2020-10-28 住友電気工業株式会社 品質評価方法及び品質評価装置
JP7501993B2 (ja) * 2017-01-31 2024-06-18 株式会社ニコン 培養支援方法、培養支援装置、観察装置、及びプログラム
WO2019106945A1 (ja) * 2017-11-28 2019-06-06 パナソニックＩｐマネジメント株式会社 培養状態判定装置、培養状態判定方法及びプログラム
JP2023015674A (ja) * 2021-07-20 2023-02-01 株式会社エビデント 細胞塊の内部予測方法、プログラム、及び、画像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116593A (ja) * 2001-10-17 2003-04-22 Hakuju Inst For Health Science Co Ltd 微生物の判定方法およびその装置
JP2004229619A (ja) 2003-02-03 2004-08-19 Hitachi Ltd 培養装置
JP2005027623A (ja) * 2003-07-11 2005-02-03 Olympus Corp 細胞培養観察装置及び細胞培養観察方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5487112A (en) * 1990-02-20 1996-01-23 Board Of Regents, The University Of Texas System Method and apparatus for time-resolved measurements of lymphocyte function and aggregate structure using computer-automated microscopy
EP1354196B1 (en) * 2000-11-27 2010-09-15 Minerva Biotechnologies Corporation Diagnostics, drug screening and treatment for cancer
ES2549205T3 (es) * 2005-10-14 2015-10-26 Unisense Fertilitech A/S Determinación de un cambio en una población de células
US8053238B2 (en) * 2005-10-31 2011-11-08 Unhwa Corporation Isolated population of plant single cells and method of preparing the same
CA2637663C (en) * 2006-01-24 2015-06-02 Brown University Cell aggregation and encapsulation device and method
US20100297767A1 (en) 2006-03-31 2010-11-25 Daiichi Sankyo Company, Limited Novel cell culture and methods of producing and collecting cell masses using the same
JP5446082B2 (ja) 2007-10-05 2014-03-19 株式会社ニコン 細胞観察装置および細胞観察方法
JP2009089629A (ja) 2007-10-05 2009-04-30 Nikon Corp 細胞観察装置および細胞観察方法
JP2009152827A (ja) 2007-12-20 2009-07-09 Nikon Corp タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116593A (ja) * 2001-10-17 2003-04-22 Hakuju Inst For Health Science Co Ltd 微生物の判定方法およびその装置
JP2004229619A (ja) 2003-02-03 2004-08-19 Hitachi Ltd 培養装置
JP2005027623A (ja) * 2003-07-11 2005-02-03 Olympus Corp 細胞培養観察装置及び細胞培養観察方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2441827A4

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111343B2 (en) 2011-01-18 2015-08-18 Roche Diagnostics Hematology, Inc. Microscope slide coordinate system registration
US10068126B2 (en) 2011-01-18 2018-09-04 Roche Diagnostics Hematology, Inc. Microscope slide coordinate system registration
KR101781670B1 (ko) 2011-01-18 2017-09-25 로셰 디아그노스틱스 헤마톨로지, 인크. 현미경 슬라이드 좌표 시스템 등록
JP2014504763A (ja) * 2011-01-18 2014-02-24 コンスティテューション・メディカル・インコーポレイテッド 顕微鏡スライドの座標系の位置合わせ
US9280699B2 (en) 2011-01-18 2016-03-08 Roche Diagnostics Hematology, Inc. Microscope slide coordinate system registration
US9363486B2 (en) 2011-06-09 2016-06-07 Fuji Xerox Co., Ltd. Image processing device, image processing method, and image processing system
US10379334B2 (en) 2011-06-21 2019-08-13 Hamamatsu Photonics K.K. Light measurement device, light measurement method, and light measurement program
EP2725345A1 (en) * 2011-06-21 2014-04-30 Hamamatsu Photonics K.K. Light measurement device, light measurement method, and light measurement program
US10197782B2 (en) 2011-06-21 2019-02-05 Hamamatsu Photonics K.K. Light measurement device, light measurement method, and light measurement program
EP2725345A4 (en) * 2011-06-21 2014-12-17 Hamamatsu Photonics Kk LIGHT MEASURING DEVICE, LIGHT METHOD AND LIGHT MEASUREMENT PROGRAM
US9535001B2 (en) 2012-01-31 2017-01-03 Toyo Seikan Group Holdings, Ltd. Cell counting method, cell counting device, and computer-readable medium storing cell counting program
JP2013153714A (ja) * 2012-01-31 2013-08-15 Toyo Seikan Group Holdings Ltd 細胞計数方法、細胞計数装置、及び細胞計数プログラム
WO2013114816A1 (ja) * 2012-01-31 2013-08-08 東洋製罐グループホールディングス株式会社 細胞計数方法、細胞計数装置、及び細胞計数プログラム
JP2014000081A (ja) * 2013-08-05 2014-01-09 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
JP2015192644A (ja) * 2014-03-26 2015-11-05 株式会社Ｓｃｒｅｅｎホールディングス スフェロイドの評価方法およびスフェロイド評価装置
WO2015145872A1 (ja) * 2014-03-26 2015-10-01 株式会社Ｓｃｒｅｅｎホールディングス スフェロイドの評価方法およびスフェロイド評価装置
US9865054B2 (en) 2014-03-26 2018-01-09 SCREEN Holdings Co., Ltd. Evaluation method of spheroid and spheroid evaluation apparatus
US11341648B2 (en) 2015-04-23 2022-05-24 Timothy M. Wiles Colony contrast gathering
JP2018525746A (ja) * 2015-04-23 2018-09-06 ビーデー キーストラ ビー．ヴィー． コロニーコントラスト収集
JP2021043203A (ja) * 2015-04-23 2021-03-18 ビーデー キーストラ ビー．ヴィー． コロニーコントラスト収集
JP7148581B2 (ja) 2015-04-23 2022-10-05 ビーデー キーストラ ビー．ヴィー． コロニーコントラスト収集
US11669971B2 (en) 2015-04-23 2023-06-06 Bd Kiestra B.V. Colony contrast gathering
JP2016034288A (ja) * 2015-12-04 2016-03-17 株式会社ニコン 培養状態評価装置、細胞培養方法およびプログラム
WO2020003456A1 (ja) * 2018-06-28 2020-01-02 株式会社ニコン 装置、顕微鏡装置、方法およびプログラム
GB2589764A (en) * 2018-06-28 2021-06-09 Nikon Corp Device, microscope device, method, and program
GB2589764B (en) * 2018-06-28 2023-06-21 Nikon Corp Device, microscope device, method, and program
WO2020122076A1 (ja) 2018-12-13 2020-06-18 住友電気工業株式会社 品質評価方法

Also Published As

Publication number Publication date
EP2441827A1 (en) 2012-04-18
TW201044007A (en) 2010-12-16
JP5783043B2 (ja) 2015-09-24
US20120142095A1 (en) 2012-06-07
EP3065105B1 (en) 2020-04-29
JPWO2010143420A1 (ja) 2012-11-22
EP3065105A1 (en) 2016-09-07
EP2441827B1 (en) 2016-04-13
EP2441827A4 (en) 2013-10-23
US8588504B2 (en) 2013-11-19

Similar Documents

Publication Publication Date Title
JP5783043B2 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
EP2234061B1 (en) Image processing method for time lapse image, image processing program, and image processing device
WO2011013319A1 (ja) 細胞塊の成熟判定手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JP4968595B2 (ja) 細胞の状態判別手法及び細胞観察の画像処理装置
US9080935B2 (en) Image analysis method for cell observation, image-processing program, and image-processing device
WO2011016189A1 (ja) 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JP4953092B2 (ja) 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置
WO2011004568A1 (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
EP2272971B1 (en) Method for analyzing image for cell observation, image processing program, and image processing device
JP2009229274A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
CN110807426B (zh) 一种基于深度学习的寄生虫检测系统及方法
JP2011004638A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
JP2012039929A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
JP2009229276A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2011010621A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置
CN117152109A (zh) 用于棒材碳化物分布评级的控制方法、装置及系统
JP2010022319A (ja) 細胞移動方向予測の評価手法、細胞観察画像の画像処理プログラム及び画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10785952

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011518305

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010785952

Country of ref document: EP