TWI782557B - 細胞計數與培養判讀方法、系統及電腦可讀儲存媒介 - Google Patents
細胞計數與培養判讀方法、系統及電腦可讀儲存媒介 Download PDFInfo
- Publication number
- TWI782557B TWI782557B TW110120211A TW110120211A TWI782557B TW I782557 B TWI782557 B TW I782557B TW 110120211 A TW110120211 A TW 110120211A TW 110120211 A TW110120211 A TW 110120211A TW I782557 B TWI782557 B TW I782557B
- Authority
- TW
- Taiwan
- Prior art keywords
- cell
- culture
- parameter
- image
- cell culture
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004113 cell culture Methods 0.000 claims abstract description 94
- 239000001963 growth medium Substances 0.000 claims abstract description 19
- 238000003860 storage Methods 0.000 claims description 21
- 239000002609 medium Substances 0.000 claims description 9
- 230000008602 contraction Effects 0.000 claims description 5
- 230000001464 adherent effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000003306 harvesting Methods 0.000 abstract description 13
- 210000004027 cell Anatomy 0.000 description 98
- 230000000875 corresponding effect Effects 0.000 description 21
- 230000011218 segmentation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 210000002901 mesenchymal stem cell Anatomy 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000001789 adipocyte Anatomy 0.000 description 1
- 210000002449 bone cell Anatomy 0.000 description 1
- 238000011072 cell harvest Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000001612 chondrocyte Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002889 endothelial cell Anatomy 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000002950 fibroblast Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
- C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
- C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Electro-optical investigation, e.g. flow cytometers
- G01N15/1429—Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its signal processing
-
- G01N15/1433—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Electro-optical investigation, e.g. flow cytometers
- G01N15/1434—Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G01N15/01—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Electro-optical investigation, e.g. flow cytometers
- G01N2015/1486—Counting the particles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Abstract
本發明提供一種細胞計數與培養判讀方法及其應用,其包含:取得一細胞培養影像;根據一細胞推論模型分割該細胞培養影像以得到複數個分類參數對應之複數個區域;計算一該分類參數對應之一培養參數;以及當該培養參數介於0.05及0.15之間時,判斷需更換培養介質,且當該培養參數大於0.69時,判斷需收成細胞。本發明可以提供客觀且一致的標準,以進一步提高培養效率、降低培養人力成本。
Description
本發明關於一種細胞計數與培養判讀方法及其應用,特別使用機器學習而得之細胞推論模型進行之細胞計數與培養判讀方法及其應用。
細胞培養是生命科學及臨床研究的根本,傳統的培養流程中,細胞培養專家看過細胞的顯微影像後,依照其知識經驗可以匯集出細胞的生長狀態,並判斷這樣的生長狀態應該採取甚麼行動,例如更換培養介質或是收成細胞,故一直無法提升培養效率。在大量生產的細胞培養過程中,若請細胞培養專家一個一個肉眼檢視及決策不僅耗費高階人力,也很難將同一批次或不同批次的培養細胞狀態進行客觀的比較或瞭解。除此之外,若要將不同的批次進行品質溯源管控,也需要一個一致的判斷標準,降低人為判斷的變異性。因此,亟需一種客觀一致,能夠自動計算細胞數目並判讀培養狀況以適時提醒更換培養介質或在最佳時機提醒收成的方法及系統,並能將細胞培養狀況加以記錄並比較,提供品管溯源的基礎。
本發明提供一種細胞計數及培養判讀方法,包含:取得一細胞培養影像;根據一細胞推論模型分割該細胞培養影像以得到複數個分類參數對應之複數個區域;計算一該分類參數對應之一培養參數;以及當該培養參數介於0.05及0.15之間時,判斷需更換培養介質,且當該培養參數大於0.69時,判斷需收成細胞。
本發明另提供一種電腦可讀儲存媒介,係應用於電腦中且儲存有指令,以用於執行前述之細胞計數及培養判讀方法。
本發明再提供一種細胞計數及培養判讀系統,包含:一影像擷取裝置,擷取一細胞培養影像;以及一數位判讀單元,包含:一輸入模組,取得該細胞培養影像;一細胞推論模型,分割該細胞培養影像以得到複數個分類參數對應之複數個區域;一細胞計數模組,計算一該分類參數對應之一培養參數;以及一細胞培養建議模組,當該培養參數介於0.05及0.15之間時,判斷需更換培養介質,且當該培養參數大於0.69時,判斷需收成細胞。
於某些具體實施例中,該細胞推論模型採用全卷積網路(fully convolutional network,FCN)模型。
於某些具體實施例中,該些分類參數包含一細胞參數及一背景參數。
於某些具體實施例中,該培養參數為該細胞參數對應之該些區域總面積佔該細胞培養影像面積之比例。
於某些具體實施例中,細胞計數及培養判讀系統進一步包含一比較模組,用以將不同批次之該細胞培養影像及在不同時間點相對應之培養參數製成一成長曲線比較圖。
本發明所提供之細胞計數與培養判讀方法及系統可以自動推估細胞佔有面積,且能適時提醒更換培養介質或在最佳時機提醒收成,改善細胞收成效率並降低高級人工需求。另外可以提供一個客觀一致的標準,亦能將每個批次加以記錄跟比較,有利於後續的批次溯源追蹤。
除非另有定義,本文使用的所有技術和科學術語具有與本發明所屬領域中的技術人員所通常理解相同的含義。
如本文所用,冠詞「一」、「一個」以及「任何」是指一個或多於一個(即至少一個)的物品的文法物品。例如,「一個元件」意指一個元件或多於一個元件。
本文所使用的「約」、「大約」或「近乎」一詞實質上代表所述之數值或範圍位於20%以內,較佳為於10%以內,以及更佳者為於5%以內。於文中所提供之數字化的量為近似值,意旨若術語「約」、「大約」或「近乎」沒有被使用時亦可被推得。
10:顯微鏡
11:相機
12:培養皿
13:報告
20:數位判讀單元
21:輸入模組
22:細胞推論模型
23:細胞計數模組
24:儲存模組
25:細胞培養建議模組
26:比較模組
31:細胞培養影像
32:神經網路
33:模型分類與分割結果
34:人類分類與分割結果
40:原始影像
41:疑似細胞區域
42:疑似細胞區域
43:疑似細胞區域
50:經處理影像
51:區域
52:區域
53:區域
71:拍攝細胞影像
73:無動作
74:更換培養液
75:收成
S10:步驟
S20:步驟
S30:步驟
S40:步驟
圖1為本發明實施例之發想概念圖。
圖2為本發明實施例之方法架構示意圖。
圖3為本發明實施例之系統架構示意圖。
圖4為本發明實施例之細胞培養影像。
圖5為本發明實施例之細胞計數及培養判讀方法流程圖。
圖6為本發明實施例之機器學習流程示意圖。
圖7為本發明實施例之細胞分割與分類示意圖。
圖8為本發明實施例之研究數據曲線圖。
有關於本發明其他技術內容、特點與功效,在以下配合參考圖式之較佳實施例的詳細說明中,將可清楚的呈現。
如圖1所示,為了解決肉眼觀察細胞培養狀況並決定是否更換培養介質或收成所造成的大量高級人力成本或標準不客觀一致之問題,發明人發想出一個創新的細胞培養流程。利用在特定時間拍攝細胞影像71,經過本發明實施例所研發的方法、系統中的數位判讀單元20或電腦可讀取存儲媒介,可以對細胞培養過程給出建議,讓細胞培養操作員可以依照建議進行下列行為:無動作73、更換培養液74或是收成75,以提供一個客觀且一致的標準並可節省人工觀察判斷之時間及人力成本。
如圖2所示,為了實現上述發想,擷取培養皿12在顯微鏡10下的細胞培養影像31並輸入至所建立之人工智慧(Artificial Intelligence,AI)模型來對培養皿12之細胞顯微影像進行分析,可以分類出兩個區塊,深色的部分為細胞區域,由上至下,每張影像可以分析出其中細胞區域的比例為31.42%、9.19%、71.95%,並將分析結果經過一個閾值規則判斷,藉此得到一個相對應的動作建議:無動作71、更換培養液74或是收成75,將上述資料製作成報告13。
請同時參考圖3,本發明實施例之一種細胞計數及培養判讀系統,包含:一影像擷取裝置,擷取一細胞培養影像31;以及一數位判讀單元20,包含:一輸入模組21,取得該細胞培養影像31;一儲存模組24,存取該細
胞培養影像31;一細胞推論模型22,分割該細胞培養影像31以得到複數個分類參數對應之複數個區域;一細胞計數模組23,計算一該分類參數對應之一培養參數;以及一細胞培養建議模組25,當該培養參數介於0.05及0.15之間時,判斷需更換培養介質,且當該培養參數大於0.69時,判斷需收成細胞。數位判讀單元20還進一步包含一比較模組26。
如圖4所示,在本發明實施例中,使用間質幹細胞(Mesenchymal Stem Cells,MSC)培養影像來開發本發明實施例中的方法、系統中的數位判讀單元20或電腦可讀取存儲媒介。間質幹細胞的生長特性是貼附於培養皿12底面向四周扁平生長,故其生長曲線係與其細胞面積有正相關,可以藉由分析培養影像來了解細胞生長狀態。因此,本發明實施例中開發的方法、系統中的數位判讀單元20或電腦可讀取存儲媒介亦可應用於其他貼附型細胞,例如:上皮細胞、內皮細胞、纖維母細胞、肌肉細胞、硬骨細胞、軟骨細胞、脂肪細胞等。細胞培養影像31之影像格式為JPG檔,亦可採用PNG、GIF、BMP等其他格式,圖中比例尺為200微米,影像尺寸約為1360*1024像素,但實際上,可以依照影像擷取需求進行調整與設定。
首先,使用倒立式顯微鏡10,從培養皿12下方提供光源,以影像擷取裝置自培養皿12下方擷取細胞培養影像31,例如利用顯微鏡10內建或轉接的相機11擷取175 Flask或CF10中之細胞顯微影像。在尚未收成細胞之前,都可以每天固定時間或特定時間間隔擷取細胞培養影像31,以分析是否需要讓細胞培養操作員進行後續處理。此細胞培養影像31涵蓋的實際面積是已知的,所以能夠根據此一定比例面積影像的細胞數量,以細胞面積推算整個培養皿12的細胞總數。
數位判讀單元20包含但不限於電腦、行動通訊裝置、平板或手機之中央處理器、圖形處理器、數位訊號處理器或其組合,或影像擷取裝置之內嵌式微處理器。數位判讀單元20與影像擷取裝置得以有線或無線連接,以便將影像擷取裝置所擷取的細胞培養影像31傳送至數位判讀單元20。本發明實施例中使用個人電腦進行開發,電腦的規格如下表所示:
數位判讀單元20中之相關模組係使用本發明實施例之細胞計數及培養判讀方法,同時本發明實施例之電腦可讀儲存媒介亦儲存有細胞計數及培養判讀方法之電腦指令,其可執行下列方法,故一併於下列詳述各個步驟。如圖5所示,細胞計數及培養判讀方法,包含:取得一細胞培養影像31(步驟S10);根據一細胞推論模型22分割該細胞培養影像31以得到複數個分類參數對應之複數個區域(步驟S20);計算一該分類參數對應之一培養參數(步驟S30);以及當該培養參數介於0.05及0.15之間時,判斷需更換培養介質,且當該培養參數大於0.69時,判斷需收成細胞(步驟S40)。
輸入模組21取得自影像擷取裝置傳送而來的細胞培養影像31或是取得由使用者匯入之細胞培養影像31(步驟S10)。此外,在大量生產之細胞培養程序中,建立批號可以有利後續的溯源追蹤。因此,輸入模組21可以進一步取得與整批細胞培養影像31相對應之批號名稱、開始培養時間、培養容器等資
訊。使用者匯入大批的細胞培養影像31時,輸入模組21可以進一步取得與批號名稱相對應之整批影像、拍攝時間、上傳者等資訊。
接著儲存模組24將自輸入模組21傳來之細胞培養影像31及其他相對應資料存入儲存裝置中,或是交給細胞推論模型22進行後續分析。儲存裝置可以為與數位判讀單元20有線或無線相連之硬碟、伺服器、記憶體等。儲存模組24用以對儲存裝置之資料進行存取動作供後續分析使用。
如圖6所示,細胞推論模型22係採用監督式機器學習。細胞推論模型22解決的是機器學習中的實例分割問題.多張細胞培養影像31經過一待訓練的神經網路32產生模型分類與分割結果33,神經網路32會根據模型分類與分割結果33和細胞培養專家之人類分類與分割結果34的差異來調整參數。當提供一定的影像數量並經過適當的調適次數後,表現能匹配或超過人類專家表現的神經網路32就成為訓練好的細胞推論模型22。
因此,若要訓練出將細胞培養影像31分割成背景N、細胞種類A(例如目標細胞)、細胞種類B(例如非目標細胞)三種分類的細胞推論模型22,就要將細胞培養專家用肉眼判斷之目標細胞區域及非目標細胞區域標示出來,以供機器訓練。若是要節省訓練時間,亦可僅訓練將細胞培養影像31分割為背景與細胞兩種分類之細胞推論模型22,就僅需要細胞培養專家用肉眼判斷出細胞區域並標示供機器訓練。
細胞推論模型22係採用全卷積網路(fully convolutional network,FCN)之U-Net架構,包含了收縮路徑及擴展路徑。收縮路徑採用兩個卷積層(3 x 3)、整流線性單位函式(Rectified Linear Unit,ReLU)以及最大池化層(2 x 2),每一次下采樣增加一倍通道數。擴展路徑採用卷積層(2 x 2)、整流線性單位函
式(Rectified Linear Unit,ReLU)以及兩個卷積層(3 x 3),每步上採樣操作同時會加入來自相應下采樣的特徵,以彌補資料細節的損失。最後用卷積層(1 x 1),將64通道的特徵向量轉化為所需的數量。根據輸入的影像以像素為單位並考量鄰近像素作為學習,以萃取出不同的特徵圖,最後輸出與原始影像大小一樣的影像,並將背景區域標示為0,細胞區域標示為1。
如圖7所示,使用訓練好的細胞推論模型22將由輸入模組21傳送而來的細胞培養影像31分割成複數個區域並得到複數個分類參數,使每個區域對應標記一個分類參數(步驟S20)。舉例來說,原始影像40內有多處疑似細胞區域41、42、43。經過三分類參數之細胞推論模型22,經處理影像50中,原本屬於區域51、52和53的每一個像素上有細胞分類和分割結果,分類參數可為A、B、N,B-1:分類B編號1的區域,B-2:分類B編號2的區域,A-1:分類A編號1的區域,其他沒有細胞的區域則被標註成N。
若採用的細胞推論模型22為背景及細胞的模型,分類參數包含細胞參數及背景參數,而區域51、52和53皆分類為細胞區域,其他則分類為背景區域。當細胞推論模型22判定區域51、52和53對應標記之分類參數為細胞時,即可利用一細胞計數模組23將所有分類參數標記為細胞的區域面積統計出來,計算出培養參數,並將結果匯出於細胞培養建議模組25,同時傳給儲存模組24儲存供後續存取使用。細胞計數模組23計算一該分類參數對應之一培養參數(步驟S30),由於培養參數係與細胞之分類參數對應之區域總面積有關,因此當知道對應區域總面積時,也就可能回推出大約可能的細胞數目,故也可以了解培養的狀態。
在本發明實施例中,培養參數為細胞參數對應之該些區域總面積佔整張細胞培養影像31面積的比例,假使某張細胞培養影像31解析度為1360 x 1024,也就是共有1360 x 1024=1392640個像素,細胞推論模型22預測出此圖的細胞區域共占500000個像素,則面積比例為500000/1392640=35.90%,即是這邊所謂的「培養參數」。在大量生產的情境下,有多個CF10在進行細胞培養,每個CF10有十層培養層,同一批次中依照培養使用者的狀況,適當的抽樣擷取一批細胞培養影像31,例如每層培養層都沿著一條對角線拍攝三張影像,相同批號名稱的整批細胞培養影像31各自得出的培養參數可以進一步進行平均,以平均過之該培養參數作為後續判斷培養動作的標準。如此一來,僅需通常實驗室人員即可藉由本發明輕鬆判斷細胞培養的狀況並進行後續培養程序。
如圖8所示,為了建立評估閾值的規則來自動給與細胞培養建議,使用822張細胞培養影像31作為研究標的。將每張細胞培養影像31分別通過細胞推論模型22得到一個培養參數(細胞區域),並且將每張細胞培養影像31交給細胞培養專家檢視,標記出一個細胞培養建議,細胞培養建議為不動作、更換培養介質或收成。統計相同的培養參數(細胞區域)下,每項培養建議所得到的計數,以細胞區域為橫軸,計數為縱軸,描繪出各項培養建議的研究數據曲線圖。
將每個培養參數分別歸到不動作、更換培養介質或收成的所有組合列出,利用窮舉法算出與專家的細胞培養建議在三種動作類別錯誤率都最小的組合。結果顯示培養參數介於0.05及0.15之間的細胞培養影像31大多數都被專業細胞培養專家判定要更換培養介質,培養參數大於0.69之細胞培養影像
31大多數都被專業細胞培養專家判定要收成細胞(步驟S40)。因此,本發明實施例中之細胞培養建議模組25在當該培養參數介於0.05及0.15之間時,判斷需更換培養介質,且當該培養參數大於0.69時,判斷需收成細胞。
因此基於上述研究出來的規則,可以在細胞培養建議報告13中呈現出原本的細胞培養影像31、經過細胞推論模型22處理過後的影像、細胞計數模組23計算出來的培養參數以及細胞培養建議模組25建議採取的行動。更佳地,細胞培養建議報告13中還可以帶有批號名稱、批次影像張數、開始培養時間、拍攝時間或培養時數(拍攝時間-開始培養時間)等資訊。如此一來,細胞培養操作員無須具有高度的細胞培養經驗及知識,只要定期觀看報告13並依照報告13中的提醒進行細胞培養的相關照料動作即可。此外,細胞培養建議模組25亦可額外設定在更換培養介質或收成細胞的建議產生時,主動發出提醒訊息給細胞培養操作員。
數位判讀單元20進一步還可以包含一比較模組26,用以將不同批次之該細胞培養影像31及在不同時間點相對應之培養參數製成一成長曲線比較圖。比較模組26接收來自儲存模組24存取之各批號名稱、各時間點之培養參數,將每一時間點畫成一時間-培養參數曲線,同時呈現複數個批號名稱的資訊時,即可對不同批次的細胞培養狀態進行比較或與標準生長曲線進行比較,達到品質管控、預測生長及培養調整的功能。同時,亦可利用圖形使用者介面,在曲線圖上的各點取得各該批號名稱之各該時間點之相關資訊,包含原始影像、經處理影像、批號名稱的總影像數及當前顯示的影像編號以及培養參數。
上述的方法及應用該方法之程式,經過研究測試12張影像,若應用在有選用圖形處理器的系統中時,每張影像僅需3.3秒的處理時間,而無選
用圖形處理器的系統,每張影像需10秒的處理時間,也就是說每張影像可以減少6.7秒的計算時間,因此圖形處理器可以大幅提升處理速度。本發明實施例之方法及系統因此可以提供大量且精準的細胞培養監控,大幅降低人力時間成本。
本發明實施例之一種電腦可讀儲存媒介,係應用於電腦、手機或平板中且儲存有指令,以用於執行上述之細胞計數及培養判讀方法。使用者可以在自己的電腦、手機或平板中應用該電腦可讀儲存媒介中的程式指令,電腦可讀儲存媒介包含但不限於磁碟、光碟、快閃記憶體、具有非揮發性記憶體之USB裝置與網路儲存裝置等。使用者將想要分析的細胞培養影像31放進一個分析資料夾,接著運作該程式指令以產出一個報告檔案,使用者可以取出該報告檔案並依照建議進行細胞培養的收成或是更換培養介質步驟。
10:顯微鏡
11:相機
20:數位判讀單元
21:輸入模組
22:細胞推論模型
23:細胞計數模組
24:儲存模組
25:細胞培養建議模組
26:比較模組
Claims (10)
- 一種細胞計數及培養判讀方法,包含:取得一細胞培養影像;根據一細胞推論模型分割該細胞培養影像以得到複數個區域,該些區域至少包含一細胞參數對應的細胞區域及一背景參數對應的背景區域,其中該細胞推論模型係使用專家標記出細胞區域的影像進行訓練;計算該細胞參數對應之一培養參數,培養參數為該細胞參數對應之該些區域總面積佔該細胞培養影像面積之比例;以及當該培養參數介於0.05及0.15之間時,判斷需更換培養介質,且當該培養參數大於0.69時,判斷需收成細胞。
- 如請求項1所述之方法,其中該細胞推論模型採用全卷積網路(fully convolutional network,FCN)模型。
- 如請求項2所述之方法,其中該細胞培養影像為貼附型細胞之培養影像。
- 如請求項3所述之方法,其中該全卷積網路模型採用U-Net架構,包含一收縮路徑及擴展路徑,該收縮路徑採用兩個卷積層(3 x 3)、整流線性單位函式(Rectified Linear Unit,ReLU)以及最大池化層(2 x 2),該擴展路徑採用卷積層(2 x 2)、整流線性單位函式(Rectified Linear Unit,ReLU)以及兩個卷積層(3 x 3)。
- 一種細胞計數及培養判讀系統,包含:一影像擷取裝置,擷取一細胞培養影像;以及一數位判讀單元,包含: 一輸入模組,取得該細胞培養影像;一細胞推論模型,分割該細胞培養影像以得到複數個區域,該些區域至少包含一細胞參數對應的細胞區域及一背景參數對應的背景區域,其中該細胞推論模型係使用專家標記出細胞區域的影像進行訓練;一細胞計數模組,計算該細胞參數對應之一培養參數,培養參數為該細胞參數對應之該些區域總面積佔該細胞培養影像面積之比例;以及一細胞培養建議模組,當該培養參數介於0.05及0.15之間時,判斷需更換培養介質,且當該培養參數大於0.69時,判斷需收成細胞。
- 如請求項5所述之系統,其中該數位判讀單元進一步包含一比較模組,用以將不同批次之該細胞培養影像及在不同時間點相對應之該培養參數製成一成長曲線比較圖。
- 如請求項5或6所述之系統,其中該細胞推論模型採用全卷積網路(fully convolutional network,FCN)模型。
- 如請求項7所述之系統,其中該細胞培養影像為貼附型細胞之培養影像。
- 如請求項8所述之系統,其中該全卷積網路模型採用U-Net架構,包含一收縮路徑及擴展路徑,該收縮路徑採用兩個卷積層(3 x 3)、整流線性單位函式(Rectified Linear Unit,ReLU)以及最大池化層(2 x 2),該擴展路徑採用卷積層(2 x 2)、整流線性單位函式(Rectified Linear Unit,ReLU)以及兩個卷積層(3 x 3)。
- 一種電腦可讀儲存媒介,係應用於電腦中且儲存有指令,以用於執行如申請專利範圍第1項至第4項中任一項所述之細胞計數及培養判讀方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063035063P | 2020-06-05 | 2020-06-05 | |
US63/035,063 | 2020-06-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202201286A TW202201286A (zh) | 2022-01-01 |
TWI782557B true TWI782557B (zh) | 2022-11-01 |
Family
ID=78817100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110120211A TWI782557B (zh) | 2020-06-05 | 2021-06-03 | 細胞計數與培養判讀方法、系統及電腦可讀儲存媒介 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210380910A1 (zh) |
TW (1) | TWI782557B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022248935A1 (en) * | 2021-05-27 | 2022-12-01 | Lynceus Sas | Machine learning-based quality control of a culture for bioproduction |
EP4347784A1 (en) * | 2021-05-27 | 2024-04-10 | Lynceus SAS | Machine learning-based quality control of a culture for bioproduction |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106202997A (zh) * | 2016-06-29 | 2016-12-07 | 四川大学 | 一种基于深度学习的细胞分裂检测方法 |
CN109983114A (zh) * | 2016-11-29 | 2019-07-05 | 索尼公司 | 信息处理设备、信息处理方法、程序和观察系统 |
CN110910367A (zh) * | 2019-11-19 | 2020-03-24 | 长春理工大学 | 生物反应器细胞培养质量评价方法 |
-
2021
- 2021-06-03 US US17/337,558 patent/US20210380910A1/en active Pending
- 2021-06-03 TW TW110120211A patent/TWI782557B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106202997A (zh) * | 2016-06-29 | 2016-12-07 | 四川大学 | 一种基于深度学习的细胞分裂检测方法 |
CN109983114A (zh) * | 2016-11-29 | 2019-07-05 | 索尼公司 | 信息处理设备、信息处理方法、程序和观察系统 |
CN110910367A (zh) * | 2019-11-19 | 2020-03-24 | 长春理工大学 | 生物反应器细胞培养质量评价方法 |
Also Published As
Publication number | Publication date |
---|---|
TW202201286A (zh) | 2022-01-01 |
US20210380910A1 (en) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI782557B (zh) | 細胞計數與培養判讀方法、系統及電腦可讀儲存媒介 | |
JP6801000B2 (ja) | 細胞画像評価装置および細胞画像評価制御プログラム | |
JP6063967B2 (ja) | 細胞画像取得および遠隔モニタリングシステム | |
WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
WO2011013319A1 (ja) | 細胞塊の成熟判定手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
WO2012115153A1 (ja) | 細胞評価方法、細胞培養方法、細胞評価装置、インキュベータ、細胞評価プログラム、コロニー分類プログラム、幹細胞の培養方法、幹細胞評価装置および幹細胞評価プログラム | |
JP5783043B2 (ja) | 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
EP2463653A1 (en) | Technique for classifying cells, image processing program and image processing device using the technique, and method for producing cell mass | |
US20180342078A1 (en) | Information processing device, information processing method, and information processing system | |
JPH0484884A (ja) | 培養生体の活性診断方法及びシステム | |
EP4290451A1 (en) | Deep neural network-based method for detecting living cell morphology, and related product | |
CN109416313A (zh) | 图像地图集系统和方法 | |
JPWO2010146802A1 (ja) | 細胞塊の状態判別方法、この方法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
CN112132001B (zh) | 一种用于iPSC的自动追踪和质量控制方法及终端设备 | |
JPWO2015193951A1 (ja) | 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法 | |
CN113724842B (zh) | 一种基于注意力机制的宫颈组织病理辅助诊断方法 | |
CN110298830A (zh) | 基于卷积神经网络的新拌混凝土振捣表观质量识别方法 | |
CN115273077A (zh) | 细胞模型构建方法、计算机设备及存储介质 | |
CN116051560A (zh) | 基于胚胎多维度信息融合的胚胎动力学智能预测系统 | |
CN112001315A (zh) | 基于迁移学习和图像纹理特征的骨髓细胞分类识别方法 | |
CN113378831B (zh) | 一种小鼠胚胎器官识别与评分方法与系统 | |
CN117576103A (zh) | 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统 | |
WO2021164320A1 (zh) | 基于计算机视觉的导管特征获取方法、装置和智能显微镜 | |
CN111795967B (zh) | 一种骨髓细胞形态学自动检测系统的涂片自检方法 | |
CN114913523B (zh) | 基于yolox的植物气孔多功能实时智能识别系统 |