TWI715428B - 細胞圖像的識別方法、裝置以及系統 - Google Patents

細胞圖像的識別方法、裝置以及系統 Download PDF

Info

Publication number
TWI715428B
TWI715428B TW109103155A TW109103155A TWI715428B TW I715428 B TWI715428 B TW I715428B TW 109103155 A TW109103155 A TW 109103155A TW 109103155 A TW109103155 A TW 109103155A TW I715428 B TWI715428 B TW I715428B
Authority
TW
Taiwan
Prior art keywords
image
contour
channel
cell
images
Prior art date
Application number
TW109103155A
Other languages
English (en)
Other versions
TW202123071A (zh
Inventor
田志剛
洪偉珊
王慈敏
Original Assignee
英華達股份有限公司
榮文生醫科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英華達股份有限公司, 榮文生醫科技股份有限公司 filed Critical 英華達股份有限公司
Application granted granted Critical
Publication of TWI715428B publication Critical patent/TWI715428B/zh
Publication of TW202123071A publication Critical patent/TW202123071A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

本發明公開了一種細胞圖像的識別方法、裝置以及系統，所述方法包括：依據第一判斷條件和特徵參數對輪廓圖像進行篩選獲得第一輪廓圖像集合；依據第二判斷條件對第一輪廓圖像集合進行篩選獲得第二輪廓圖像集合以及第三輪廓圖像集合；響應第二輪廓圖像集合產生至少一第一細胞圖像；響應第三輪廓圖像集合產生至少一待鑒別的第二細胞圖像；通過神經網路模型獲得每一待鑒別的第二細胞圖像的目標細胞概率值；依據一鑒別概率閾值和目標細胞概率值鑒別第二細胞圖像；將鑒別後的第二細胞圖像和第一細胞圖像輸出。

Description

細胞圖像的識別方法、裝置以及系統
本發明涉及的是一種圖像識別領域的技術，具體是一種細胞圖像的識別方法、裝置以及系統。
循環腫瘤細胞(Circulating Tumor Cell，CTC)是存在於外周血中的各類腫瘤細胞中的統稱。現有技術主要通過圖像識別技術來識別圖像中的CTC細胞。傳統的基於規則的圖像識別技術是利用圖像的灰度、紋理、邊界以及密度進行特徵提取之後進行識別，這種識別過程中多數規則參數需要人工賦值，即通過規則參數來篩選特徵。不同的待測物以及不同的檢測環境，其特徵有著較大的差異，同一規則參數很難滿足不同的檢測環境以及不同的待測物，利用通用的規則參數進行檢測也會造成循環腫瘤細胞的漏檢、誤檢。
基於規則的圖像識別技術，獲取圖片之後，按照設定的規則來判斷，並輸出結果。對於規則參數邊界處的檢測目標(細胞圖像)的判斷，則高度依賴於檢測人員的經驗、以及對判別標準的把握，因而造成不同的檢測人員會得到不同的判斷結果。
本發明針對現有技術存在的上述不足，提出一種細胞圖像的識別方法、裝置以及系統，能夠提取多個通道圖像中的輪廓圖像，根據第一判斷條件進行篩選合成之後獲得細胞圖像，根據第二判斷條件對輪廓圖像進一步的篩選合成獲得待檢測的細胞圖像，將待鑒別的細胞圖像通過預先訓練獲得的神經網路模型進行檢測獲得真正的腫瘤細胞的細胞圖像，最後將獲得細胞圖像輸出，通過兩次篩選以及神經網路模型的鑒別提高了腫瘤細胞識別的敏感度以及特異度。
本發明的一實施例提供一種細胞圖像的識別方法，所述方法包括：接收至少兩個通道圖像；對每一所述通道圖像分別進行輪廓圖像提取以獲得每一圖像中的多個輪廓圖像以及對應於每一所述輪廓圖像的特徵參數；依據一第一判斷條件和所述特徵參數對所述輪廓圖像進行篩選獲得一第一輪廓圖像集合；依據一第二判斷條件對所述第一輪廓圖像集合進行篩選獲得一第二輪廓圖像集合以及一第三輪廓圖像集合；響應所述第二輪廓圖像集合產生至少一第一細胞圖像；響應所述第三輪廓圖像集合產生至少一待鑒別的第二細胞圖像； 通過一神經網路模型獲得每一待鑒別的所述第二細胞圖像的目標細胞概率值；依據一鑒別概率閾值和所述目標細胞概率值鑒別所述第二細胞圖像；以及將鑒別後的第二細胞圖像和所述第一細胞圖像輸出。
優選的，所述通道圖像包括一藍色通道的Hoechst染色圖像以及一紅色通道的EpCAM染色圖像。
優選的，所述通道圖像包括第一通道圖像和第二通道圖像，所述第一判斷條件包括以下條件中的至少一個條件：所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的交疊比值處於一第一閾值範圍；所述輪廓圖像的形態指數處於一第二閾值範圍；所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的亮度比值處於一第三閾值範圍；所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的面積比值處於一第四閾值範圍。
優選的，所述通道圖像包括第一通道圖像和第二通道圖像，所述第二判斷條件包括以下條件中的至少一個條件： 所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的交疊比值處於一第五閾值範圍；所述輪廓圖像的形態指數處於一第六閾值範圍；所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的亮度比值處於一第七閾值範圍；所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的面積比值處於一第八閾值範圍。
優選的，所述通道圖像還包括一綠色通道的CD45染色圖像。
優選的，所述通道圖像還包括一第三通道圖像，所述第一判斷條件包括：所述第一通道圖像中的所述輪廓圖像於所述第三通道圖像中不存在對應的所述輪廓圖像。
優選的，所述神經網路模型通過以下步驟獲得：接收至少兩個樣本通道圖像；對每一所述樣本通道圖像分別進行輪廓圖像提取以獲得每一樣本通道圖像中的多個樣本輪廓圖像以及對應於每一所述樣本輪廓圖像的特徵參數；依據所述第一判斷條件和所述特徵參數對所述樣本輪廓圖像進行篩選獲得一樣本輪廓圖像集合； 響應所述樣本輪廓圖像集合產生多個樣本細胞圖像；依據所述多個樣本細胞圖像生成一訓練集；以及依據所述訓練集訓練獲得所述神經網路模型。
優選的，所述依據所述多個樣本細胞圖像獲得一訓練集還包括：對所述樣本細胞圖像進行圖像增廣操作以增加所述樣本細胞圖像的數量。
優選的，所述圖像増廣操作包括下列操作中的至少一個操作：對所述樣本細胞圖像旋轉一預設角度；對所述樣本細胞圖像進行轉置；對所述樣本細胞圖像進行隨機亮度變換；對所述樣本細胞圖像進行極坐標系變換。
優選的，還包括：依據所述多個樣本細胞圖像生成一測試集和一評估集；依據所述測試集對所述神經網路模型進行測試，以獲得所述鑒別概率閾值；以及依據所述評估集對所述神經網路模型進行評估。
本發明的一實施例提供一種細胞圖像的識別系統，包括： 輪廓圖像提取模組，被配置為接收至少兩個通道圖像以及對每一所述通道圖像分別進行輪廓圖像提取以獲得每一圖像中的多個輪廓圖像以及對應於每一所述輪廓圖像的特徵參數；篩選模組，被配置為依據一第一判斷條件和所述特徵參數對所述輪廓圖像進行篩選獲得一第一輪廓圖像集合以及依據一第二判斷條件對所述第一輪廓圖像集合進行篩選獲得一第二輪廓圖像集合以及一第三輪廓圖像集合；圖像合成模組，被配置為回應所述第二輪廓圖像集合產生至少一第一細胞圖像以及響應所述第三輪廓圖像集合產生至少一待鑒別的第二細胞圖像；鑒別模組，被配置為通過一神經網路模型獲得每一待鑒別的所述第二細胞圖像的目標細胞概率值以及依據一鑒別概率閾值和所述目標細胞概率值鑒別所述第二細胞圖像；輸出模組，被配置為將鑒別後的第二細胞圖像和所述第一細胞圖像輸出。
本發明的一實施例提供一種細胞圖像的識別裝置，包括：處理器；記憶體，其中存儲有所述處理器的可執行指令；其中，所述處理器被配置為經由執行所述可執行指令來執行以下步驟：接收至少兩個通道圖像； 對每一所述通道圖像分別進行輪廓圖像提取以獲得每一圖像中的多個輪廓圖像以及對應於每一所述輪廓圖像的特徵參數；依據一第一判斷條件和所述特徵參數對所述輪廓圖像進行篩選獲得一第一輪廓圖像集合；依據一第二判斷條件對所述第一輪廓圖像集合進行篩選獲得一第二輪廓圖像集合以及一第三輪廓圖像集合；響應所述第二輪廓圖像集合產生至少一第一細胞圖像；響應所述第三輪廓圖像集合產生至少一待鑒別的第二細胞圖像；通過一神經網路模型獲得每一待鑒別的所述第二細胞圖像的目標細胞概率值；依據一鑒別概率閾值和所述目標細胞概率值鑒別所述第二細胞圖像；將鑒別後的第二細胞圖像和所述第一細胞圖像輸出。
上述技術方案的有益效果是：本發明中的細胞圖像的識別方法、裝置以及系統，能夠提取多個通道圖像中的輪廓圖像，根據第一判斷條件進行篩選合成之後獲得細胞圖像，根據第二判斷條件對輪廓圖像進一步的篩選合成獲得待檢測的細胞圖像，將待鑒別的細胞圖像通過預 先訓練獲得的神經網路模型進行檢測獲得真正的腫瘤細胞的細胞圖像，最後將獲得細胞圖像輸出，通過兩次篩選以及神經網路模型的鑒別提高了腫瘤細胞識別的敏感度以及特異度。
本發明的其它特徵和優點以及本發明的各種實施例的結構和操作，將在以下參照附圖進行詳細的描述。應當注意，本發明不限於本文描述的具體實施例。在本文給出的這些實施例僅是為了說明的目的。
201,301,401:輪廓圖像
501:第二細胞圖像
600:裝置
610:處理單元
620:存儲單元
6201:隨機存取存儲單元
6202:快取記憶體存儲單元
6203:唯讀存儲單元
6204:程式/實用工具
6205:程式模組
630:匯流排
640:顯示單元
650:輸入/輸出介面
660:網路介面卡
700:外部設備
701,702,703,704,705:樣本細胞圖像
800:識別系統
801:輪廓圖像提取模組
802:篩選模組
803:圖像合成模組
804:鑒別模組
805:輸出模組
S102,S104,S106,S108,S110,S112,S114,S116,S118,S202,S204,S206,S208,S210,S212:步驟
通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發明的其它特徵、目的和優點將會變得更明顯。
第1圖是本發明的一實施例中的一種細胞圖像的識別方法流程示意圖；第2圖是本發明的一實施例中的Hoechst染色圖像；第3圖是本發明的一實施例中的EpCAM染色圖像；第4圖是本發明的一實施例中的一種CD45染色圖像；第5圖是本發明的一實施例中的第二細胞圖像；第6圖是本發明的一實施例中的一種神經網路模型的訓練流程示意圖；第7圖是本發明的一實施例中的一種圖像増廣示意圖；第8圖是本發明的一實施例中的一種細胞圖像的識別系統的結構框圖； 第9圖是本發明的一實施例中的一種細胞圖像的識別裝置的結構框圖。
從以下結合附圖的詳細描述中，本發明的特徵和優點將變得更加明顯。貫穿附圖，相同的附圖標識相應元素。在附圖中，相同附圖標記通常指示相同的、功能上相似的和/或結構上相似的元件。
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有付出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
本申請中使用的「第一」、「第二」以及類似的詞語並不表示任何順序、數量或者重要性，而只是用來區分不同的組成部分。「包括」或者「包含」等類似的詞語意指出現該詞前面的元件或者物件涵蓋出現在該詞後面列舉的元件或者物件及其等同，而不排除其他元件或者物件。「連接」或者「相連」等類似的詞語並非限定於物理的或者機械的連接，而是可以包括電性的連接，不管是直接的還是間接的。「上」、「下」、「左」、「右」等僅用於表示相對位置關係，當被描述物件的絕對位置改變後，則該相對位置關係也可能相應地改變。
需要說明的是，在不衝突的情況下，本發明中的實 施例及實施例中的特徵可以相互組合。
下面結合附圖和具體實施例對本發明作進一步說明，但不作為本發明的限定。
根據本發明的一個實施例，提供一種細胞圖像的識別方法。
第1圖是本發明的一實施例中的一種細胞圖像的識別方法流程示意圖。在步驟S102中，接收至少兩個通道圖像。通道圖像包括藍色通道圖像、紅色通道圖像以及綠色通道圖像。接收的兩個通道圖像為第一通道圖像和第二通道圖像，第一通道圖像為藍色通道的Hoechst染色圖像，第二通道圖像為紅色通道的EpCAM(Epithelial cell adhesion molecule，上皮細胞黏附分子)染色圖像。Hoechst染色圖像是通過Hoechst試劑(染料)來標記存放DNA的細胞核後獲得的圖像，並將該圖像保存在藍色通道，從而獲得該第一通道圖像。EpCAM染色圖像是通過EpCAM試劑來標記整個循環腫瘤細胞(Circulating Tumor Cell，CTC)後獲得的圖像，並將該圖像保存在紅色通道，從而獲得該第二通道圖像。本實施例中的目標細胞可以但不限於為循環腫瘤細胞。
第2圖是本發明的一實施例中的Hoechst染色圖像。第3圖是本發明的一實施例中的EpCAM染色圖像。參考第1圖~第3圖，在步驟S104中，對每一通道圖像分別進行輪廓圖像提取以獲得每一圖像中的多個輪廓圖像以及對應於每一輪廓圖像的 特徵參數。Hoechst染色圖像(第一通道圖像)經過輪廓圖像提取之後獲得多個輪廓圖像，例如第2圖中示出的輪廓圖像201。EpCAM染色圖像(第二通道圖像)經過輪廓圖像提取之後獲得多個輪廓圖像，例如第3圖中示出的輪廓圖像301。在對第一通道圖像和第二通道圖像進行輪廓圖像提取之前，需要對該第一通道圖像和第二通道圖像進行雜訊濾除，圖像雜訊是圖像在獲取或傳輸的過程中受到隨機信號的干擾，在圖像上出現的一些隨機的、離散的、孤立的圖元點，這些點會干擾輪廓特徵提取。根據雜訊類型的不同，選擇不同的濾波器進行雜訊濾除。
濾波器可以但不限於：均值濾波器、自適應維納濾波器、中值濾波器、形態學雜訊濾除器。對通道圖像進行雜訊過濾之後，進行輪廓圖像提取，可以採用邊緣提取的方式獲得第2圖中示出的輪廓圖像201以及第3圖中的輪廓圖像301。邊緣提取即是對於邊界處，灰度值變化比較劇烈的地方，就定義為邊緣，也就是拐點，拐點是指函數發生凹凸性變化的點。由於進行邊緣提取到的輪廓可能是不閉合的，因此需要進一步通過輪廓擬合來獲得輪廓圖像的輪廓。
一些實施例中，輪廓擬合的過程包括：I.在曲線首尾兩點A，B之間連接一條直線AB，該直線為曲線的弦；II.找到曲線上與該直線段距離最大的點C，計算其與AB的距離；III.比較該距離與預先給定的閾值的大小，如果小於閾值，則該直線段作為曲線的近似，該段曲線處理完畢；IV.如果距離大於閾值， 則用C將曲線分為兩段AC和BC，並分別對兩段曲線分別執行步驟I、II和III的處理；V.當所有曲線處理完畢時，依次連接各個分割點形成的折線，作為曲線的近似。根據通道圖像獲得輪廓圖像(例如，第2圖中的輪廓圖像201、第3圖中的輪廓圖像301)獲得輪廓圖像的特徵參數，該特徵參數包括但不限於：輪廓圖像的亮度、形態指數、輪廓圖像的面積。
在步驟S106中，依據一第一判斷條件和特徵參數對輪廓圖像進行篩選獲得一第一輪廓圖像集合。第一通道圖像中的輪廓圖像在第二通道圖像中存在對應的輪廓圖像，即均對應於同一個目標細胞。第一判斷條件包括以下條件中的至少一個條件：第一通道圖像中的輪廓圖像和第二通道圖像中的對應的輪廓圖像的交疊比值處於一第一閾值範圍；輪廓圖像的形態指數處於一第二閾值範圍；第一通道圖像中的輪廓圖像和第二通道圖像中的對應的輪廓圖像的亮度比值處於一第三閾值範圍；第一通道圖像中的輪廓圖像和第二通道圖像中的對應的輪廓圖像的面積比值處於一第四閾值範圍。
第一通道圖像中的輪廓圖像和第二通道圖像中的對應的輪廓圖像的交疊比值處於一第一閾值範圍，即比較第一通道圖像中的輪廓圖像的輪廓與第二通道圖像中的對應輪廓圖像的輪廓的交疊比值是否在第一閾值範圍內，該第一閾值範圍可以為(0.03，1.0]，交疊比值是對應的兩個輪廓圖像的輪廓的交疊面積與該兩個輪廓圖像任一個輪廓圖像的面積的比值，該兩個輪廓圖 像的交疊比值在(0.03，1.0]範圍內則可以將該兩個輪廓圖像併入第一輪廓圖像集合。輪廓圖像的形態指數處於一第二閾值範圍，即第一通道圖像和第二通道圖像中對應的兩個輪廓圖像的形態指數處於第二閾值範圍內，第二閾值範圍可以是但不限於(0.5，1.0]。
形態指數通過以下公式獲得：E=(α+β+η)/3，其中，E為形態指數，α為輪廓圖像的圓度，α=(4×Pi×S)/L2，S為輪廓圖像的面積，L為輪廓圖像的周長；β為質心距離比，即輪廓圖像的質心到輪廓的最小距離與質心到該輪廓的最大距離的比值；η為偏心率，即橢圓(輪廓圖像的輪廓)兩焦點間的距離和該橢圓的長軸長度的比值。第一通道圖像中的輪廓圖像和第二通道圖像中的對應的輪廓圖像的亮度比值處於一第三閾值範圍，該第三閾值可以是但不限於(0,1.5)，輪廓圖像的亮度可以通過對輪廓圖像中的每一個圖元的亮度取均值。第一通道圖像中的輪廓圖像和第二通道圖像中的對應的輪廓圖像的面積比值處於一第四閾值範圍，即第二通道圖像中的對應的輪廓圖像的面積除以第一通道圖像中的輪廓圖像的面積，該第四閾值的範圍可以是但不限於(0，6)。
一些實施例中，第一判斷條件還包括，第一通道圖像中的輪廓圖像的面積處於一閾值範圍，例如，[10,240]；第二通道圖像中的輪廓圖像的面積處於一閾值範圍內，例如[10,600]。通過上述條件中的一個或多個，對第一通道圖像的輪廓圖像和第二通道圖像中的輪廓圖像進行篩選，獲得一個第一輪廓圖像集 合。
在步驟S108中，依據一第二判斷條件對第一輪廓圖像集合進行篩選獲得一第二輪廓圖像集合以及一第三輪廓圖像集合，即對第一輪廓圖像集合中的輪廓圖像根據第二判斷條件進行篩選，符合第二判斷條件的輪廓圖像併入第三輪廓圖像集合中，將剩餘的輪廓圖像併入第二輪廓圖像集合中。第二判斷條件包括：第一通道圖像中的輪廓圖像和第二通道圖像中的對應的輪廓圖像的交疊比值處於一第五閾值範圍；輪廓圖像的形態指數處於一第六閾值範圍；第一通道圖像中的輪廓圖像和第二通道圖像中的對應的輪廓圖像的亮度比值處於一第七閾值範圍；第一通道圖像中的輪廓圖像和第二通道圖像中的對應的輪廓圖像的面積比值處於一第八閾值範圍。
例如，第五閾值範圍可以是(0.03，1.0]，第六閾值範圍可以是(0.6，1.0]，第七閾值範圍可以是(0,1.5)，第八閾值範圍可以是(0，6)。一些實施例中，第二判斷條件還包括，第一通道圖像中的輪廓圖像的面積處於一閾值範圍，例如，[20,200]；第二通道圖像中的輪廓圖像的面積處於一閾值範圍內，例如[20,500]。
第4圖為本發明一實施例中一種CD45染色圖像。一些實施例中，通道圖像還包括第三通道圖像，該第三通道圖像為綠色通道的CD45染色圖像，CD45即為白細胞共同抗原，採用CD45試劑進行染色即可以獲得該CD45染色圖像。第一判斷 條件還包括：第一通道圖像或第二通道圖像中的輪廓圖像於第三通道圖像中不存在對應的輪廓圖像，例如，如果第一通道圖像中的輪廓圖像在第三通道圖像中存在對應的輪廓圖像401，則說明該輪廓圖像401對應的細胞是白細胞並非目標細胞，即可以排除對應的輪廓圖像401在第一通道圖像和第二通道圖像中的輪廓圖像。
第5圖是本發明一實施例中的第二細胞圖像。在步驟S110中，響應第二輪廓圖像集合產生至少一第一細胞圖像，即將第二輪廓圖像集合中對應的輪廓圖像進行融合得到一個第一細胞圖像。在步驟S112中，響應第三輪廓圖像集合產生至少一待鑒別的第二細胞圖像，即將第三輪廓圖像集合中對應的輪廓圖像進行融合得到待鑒別的第二細胞圖像。例如，第三輪廓圖像集合中包括第一通道圖像中的輪廓圖像和第二通道圖像中的輪廓圖像，則將兩個對應的輪廓圖像融合獲得了第5圖中示出的待鑒別的第二細胞圖像501。
在步驟S114中，通過一神經網路模型獲得每一待鑒別的第二細胞圖像的目標細胞概率值。在步驟S116中，依據一鑒別概率閾值和目標細胞概率值鑒別第二細胞圖像。例如，將第二細胞圖像501輸入至該神經網路模型中，獲得一個對應於第二細胞圖像501的目標細胞概率值0.9。鑒別概率閾值為0.8，則第5圖中的第二細胞圖像501為目標細胞(CTC)。在步驟S118中，將鑒別後的第二細胞圖像和第一細胞圖像輸出。
第6圖是本發明的一實施例中的一種神經網路模型的訓練流程示意圖。在步驟S202中，接收至少兩個樣本通道圖像。在步驟S204中，對每一樣本通道圖像分別進行輪廓圖像提取以獲得每一樣本通道圖像中的多個樣本輪廓圖像以及對應於每一樣本輪廓圖像的特徵參數。在步驟S206中，依據第一判斷條件和特徵參數對樣本輪廓圖像進行篩選獲得一樣本輪廓圖像集合。在步驟S208中，響應樣本輪廓圖像集合產生多個樣本細胞圖像。
在步驟S210中，依據多個樣本細胞圖像生成一訓練集。在步驟S212中，依據訓練集訓練獲得神經網路模型。依據多個樣本細胞圖像生成一測試集和一評估集；依據測試集對神經網路模型進行測試，以獲得鑒別概率閾值；以及依據評估集對神經網路模型進行評估。在測試集不斷的調整優化鑒別概率閾值，該鑒別概率閾值的範圍為[0.5,1]。該神經網路模型可以是但不限於MobileNetV2或ResNet卷積神經網路模型。
第7圖是本發明的一實施例中一種圖像増廣示意圖。依據多個樣本細胞圖像獲得一訓練集還包括：對樣本細胞圖像進行圖像增廣操作以增加樣本細胞圖像的數量。圖像増廣操作包括下列操作中的至少一個操作：對樣本細胞圖像旋轉一預設角度；對樣本細胞圖像進行轉置；對樣本細胞圖像進行隨機亮度變換；對樣本細胞圖像進行極坐標系變換。上述的極座標變換通過現有技術，將笛卡爾坐標系中的一點作為極點，而後將該點從笛卡爾坐標系映射到極坐標系。例如，以圖片的10*10圖元中的每一圖 元為極點，進行極坐標系變換則可以獲得100張變換後的圖片。一些實施例中，第7圖中的樣本細胞圖像701旋轉0°獲得了樣本細胞圖像702，對樣本細胞圖像701旋轉90°獲得了樣本細胞圖像703，對樣本細胞圖像701旋轉180°獲得了樣本細胞圖像704，對樣本細胞圖像701旋轉270°獲得了樣本細胞圖像705。對樣本細胞圖像702進行轉置後獲得樣本細胞圖像706，對樣本細胞圖像703進行轉置後獲得樣本細胞圖像707，對樣本細胞圖像704進行轉置後獲得樣本細胞圖像708，對樣本細胞圖像705進行轉置後獲得樣本細胞圖像709。
通過一個驗證集來應用本發明中的識別方法，驗證集中包括了多個通道圖像，本發明中的識別方法對應的敏感度為93.95%，特異度為98.17%；現有的基於規則參數的圖像識別對應的敏感度為86.05%，特異度為61.09%。
本發明的一個實施例提供一種細胞圖像的識別系統。
第8圖是本發明一實施例中的一種細胞圖像的識別系統的結構框圖。第8圖中示出的識別系統800包括：輪廓圖像提取模組801，被配置為接收至少兩個通道圖像以及對每一通道圖像分別進行輪廓圖像提取以獲得每一圖像中的多個輪廓圖像以及對應於每一輪廓圖像的特徵參數；篩選模組802，被配置為依據一第一判斷條件和特徵參數對輪廓圖像進行篩選獲得一第一輪廓圖像集合以及依據一第二判斷條件對第一輪廓圖像集合進行篩 選獲得一第二輪廓圖像集合以及一第三輪廓圖像集合；圖像合成模組803，被配置為回應第二輪廓圖像集合產生至少一第一細胞圖像以及響應第三輪廓圖像集合產生至少一待鑒別的第二細胞圖像；鑒別模組804，被配置為通過一神經網路模型獲得每一待鑒別的第二細胞圖像的目標細胞概率值以及依據一鑒別概率閾值和目標細胞概率值鑒別第二細胞圖像；輸出模組805，被配置為將鑒別後的第二細胞圖像和第一細胞圖像輸出。
本發明的一實施例提供一種細胞圖像的識別裝置，包括：處理器；記憶體，其中存儲有處理器的可執行指令；其中，可執行指令在被執行時處理器執行細胞圖像的識別方法的步驟。
第9圖是本發明一實施例中的一種細胞圖像的識別裝置的結構框圖。下面參照第9圖來描述根據本發明的這種實施方式的裝置600。第9圖顯示的裝置600僅僅是一個示例，不應對本發明實施例的功能和使用範圍帶來任何限制。
如第9圖所示，裝置600以通用計算設備的形式表現。裝置600的元件可以包括但不限於：至少一個處理單元610、至少一個存儲單元620、連接不同平臺元件(包括存儲單元620和處理單元610)的匯流排630、顯示單元640等。
其中，存儲單元存儲有程式碼，程式碼可以被處理單元610執行，使得處理單元610執行本說明書上述步驟。例如，處理單元610可以執行如第1圖中所示的步驟。
存儲單元620可以包括易失性存儲單元形式的可讀 介質，例如隨機存取存儲單元(RAM)6201和/或快取記憶體存儲單元6202，還可以進一步包括唯讀存儲單元(ROM)6203。
存儲單元620還可以包括具有一組(至少一個)程式模組6205的程式/實用工具6204，這樣的程式模組6205包括但不限於：作業系統、一個或者多個應用程式、其它程式模組以及程式資料。
匯流排630可以為表示幾類匯流排結構中的一種或多種，包括存儲單元匯流排或者存儲單元控制器、週邊匯流排、圖形加速埠、處理單元或者使用多種匯流排結構中的任意匯流排結構的局域匯流排。
裝置600也可以與一個或多個外部設備700(例如鍵盤、指向設備、藍牙設備等)通信，還可與一個或者多個使得使用者能與該裝置600交互的設備通信，和/或與使得該裝置600能與一個或多個其它計算設備進行通信的任何設備(例如路由器、數據機等等)通信。這種通信可以通過輸入/輸出(I/O)介面650進行。
並且，裝置600還可以通過網路介面卡660與一個或者多個網路(例如，局域網LAN，廣域網路WAN和/或公共網路，例如網際網路)通信。網路介面卡660可以通過匯流排630與裝置600的其它模組通信。應當明白，儘管圖中未示出，可以結合裝置600使用其它硬體和/或軟體模組，包括但不限於：微代碼、裝置驅動程式、冗餘處理單元、外部磁片驅動陣列、RAID 系統、磁帶驅動器以及資料備份存儲平臺等。
綜上，本發明中的細胞圖像的識別方法、裝置以及系統，能夠提取多個通道圖像中的輪廓圖像，根據第一判斷條件進行篩選合成之後獲得細胞圖像，根據第二判斷條件對輪廓圖像進一步的篩選合成獲得待檢測的細胞圖像，將待鑒別的細胞圖像通過預先訓練獲得的神經網路模型進行檢測獲得真正的腫瘤細胞的細胞圖像，最後將獲得細胞圖像輸出，通過兩次篩選以及神經網路模型的鑒別提高了腫瘤細胞識別的敏感度以及特異度。
以上內容是結合具體的優選實施方式對本發明所作的進一步詳細說明，不能認定本發明的具體實施只局限於這些說明。對於本發明所屬技術領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬於本發明的保護範圍。
S102,S104,S106,S108,S110,S112,S114,S116,S118:步驟

Claims (11)

  1. 一種細胞圖像的識別方法，包括：接收至少兩個通道圖像，所述通道圖像包括第一通道圖像和第二通道圖像；對每一所述通道圖像分別進行輪廓圖像提取以獲得每一通道圖像中的多個輪廓圖像以及對應於每一所述輪廓圖像的特徵參數；依據一第一判斷條件和所述特徵參數對所述輪廓圖像進行篩選獲得一第一輪廓圖像集合，其中所述第一判斷條件包括以下條件中的至少一個條件：所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的交疊比值處於一第一閾值範圍；所述輪廓圖像的形態指數處於一第二閾值範圍；所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的亮度比值處於一第三閾值範圍；所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的面積比值處於一第四閾值範圍；依據一第二判斷條件對所述第一輪廓圖像集合進行篩選獲得一第二輪廓圖像集合以及一第三輪廓圖像集合； 響應所述第二輪廓圖像集合產生至少一第一細胞圖像；響應所述第三輪廓圖像集合產生至少一待鑒別的第二細胞圖像；通過一神經網路模型獲得每一待鑒別的所述第二細胞圖像的目標細胞概率值；依據一鑒別概率閾值和所述目標細胞概率值鑒別所述第二細胞圖像；以及將鑒別後的第二細胞圖像和所述第一細胞圖像輸出。
  2. 如請求項1所述的識別方法，其中，所述通道圖像包括一藍色通道的Hoechst染色圖像以及一紅色通道的EpCAM染色圖像。
  3. 如請求項1所述的識別方法，其中，所述第二判斷條件包括以下條件中的至少一個條件：所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的交疊比值處於一第五閾值範圍；所述輪廓圖像的形態指數處於一第六閾值範圍；所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的亮度比值處於一第七閾值範圍；所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的面積比值處於一第八閾值範圍。
  4. 如請求項2所述的識別方法，其中，所述通道圖像還包括一綠色通道的CD45染色圖像。
  5. 如請求項1所述的識別方法，其中，所述通道圖像還包括一第三通道圖像，所述第一判斷條件包括：所述第一通道圖像中的所述輪廓圖像於所述第三通道圖像中不存在對應的所述輪廓圖像。
  6. 如請求項1所述的識別方法，其中，所述神經網路模型通過以下步驟獲得：接收至少兩個樣本通道圖像；對每一所述樣本通道圖像分別進行輪廓圖像提取以獲得每一樣本通道圖像中的多個樣本輪廓圖像以及對應於每一所述樣本輪廓圖像的特徵參數；依據所述第一判斷條件和所述特徵參數對所述樣本輪廓圖像進行篩選獲得一樣本輪廓圖像集合；響應所述樣本輪廓圖像集合產生多個樣本細胞圖像；依據所述多個樣本細胞圖像生成一訓練集；以及依據所述訓練集訓練獲得所述神經網路模型。
  7. 如請求項6所述的識別方法，其中，所述依據所述多個樣本細胞圖像獲得一訓練集還包括：對所述樣本細胞圖像進行圖像增廣操作以增加所述樣本細胞圖像的數量。
  8. 如請求項7所述的識別方法，其中，所述圖像増廣操作包括下列操作中的至少一個操作：對所述樣本細胞圖像旋轉一預設角度；對所述樣本細胞圖像進行轉置；對所述樣本細胞圖像進行隨機亮度變換；對所述樣本細胞圖像進行極坐標系變換。
  9. 如請求項6所述的識別方法，其中，還包括：依據所述多個樣本細胞圖像生成一測試集和一評估集；依據所述測試集對所述神經網路模型進行測試，以獲得所述鑒別概率閾值；以及依據所述評估集對所述神經網路模型進行評估。
  10. 一種細胞圖像的識別系統，包括：輪廓圖像提取模組，被配置為接收至少兩個通道圖像以及對每一所述通道圖像分別進行輪廓圖像提取以獲得每一圖像中的多個輪廓圖像以及對應於每一所述輪廓圖像的特徵參數，其中所述通道圖像包括第一通道圖像和第二通道圖像；篩選模組，被配置為依據一第一判斷條件和所述特徵參數對所述輪廓圖像進行篩選獲得一第一輪廓圖像集合以及依據一第二判斷條件對所述第一輪廓圖像集合進行篩選獲得一第二輪廓圖像集合以及一第三輪廓圖像集合，其中所述第一判斷條件包括以下條件中的至少一個條件：所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的交疊比值處於一第一閾值範圍；所述輪廓圖像的形態指數處於一第二閾值範圍；所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的亮度比值處於一第三閾值範圍； 所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的面積比值處於一第四閾值範圍；圖像合成模組，被配置為回應所述第二輪廓圖像集合產生至少一第一細胞圖像以及響應所述第三輪廓圖像集合產生至少一待鑒別的第二細胞圖像；鑒別模組，被配置為通過一神經網路模型獲得每一待鑒別的所述第二細胞圖像的目標細胞概率值以及依據一鑒別概率閾值和所述目標細胞概率值鑒別所述第二細胞圖像；輸出模組，被配置為將鑒別後的第二細胞圖像和所述第一細胞圖像輸出。
  11. 一種細胞圖像的識別裝置，包括：處理器；記憶體，其中存儲有所述處理器的可執行指令；其中，所述處理器被配置為經由執行所述可執行指令來執行以下步驟：接收至少兩個通道圖像，所述通道圖像包括第一通道圖像和第二通道圖像；對每一所述通道圖像分別進行輪廓圖像提取以獲得每一圖像中的多個輪廓圖像以及對應於每一所述輪廓圖像的特徵參數；依據一第一判斷條件和所述特徵參數對所述輪廓圖像進行篩選獲得一第一輪廓圖像集合，其中所述第一判斷條件包括以下條件中的至少一個條件： 所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的交疊比值處於一第一閾值範圍；所述輪廓圖像的形態指數處於一第二閾值範圍；所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的亮度比值處於一第三閾值範圍；所述第一通道圖像中的所述輪廓圖像和所述第二通道圖像中的對應的所述輪廓圖像的面積比值處於一第四閾值範圍；依據一第二判斷條件對所述第一輪廓圖像集合進行篩選獲得一第二輪廓圖像集合以及一第三輪廓圖像集合；響應所述第二輪廓圖像集合產生至少一第一細胞圖像；響應所述第三輪廓圖像集合產生至少一待鑒別的第二細胞圖像；通過一神經網路模型獲得每一待鑒別的所述第二細胞圖像的目標細胞概率值；依據一鑒別概率閾值和所述目標細胞概率值鑒別所述第二細胞圖像；將鑒別後的第二細胞圖像和所述第一細胞圖像輸出。
TW109103155A 2019-12-02 2020-02-03 細胞圖像的識別方法、裝置以及系統 TWI715428B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911216358.7A CN111079579B (zh) 2019-12-02 2019-12-02 细胞图像的识别方法、装置以及系统
CN201911216358.7 2019-12-02

Publications (2)

Publication Number Publication Date
TWI715428B true TWI715428B (zh) 2021-01-01
TW202123071A TW202123071A (zh) 2021-06-16

Family

ID=70312428

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109103155A TWI715428B (zh) 2019-12-02 2020-02-03 細胞圖像的識別方法、裝置以及系統

Country Status (2)

Country Link
CN (1) CN111079579B (zh)
TW (1) TWI715428B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201423097A (zh) * 2012-07-16 2014-06-16 Chang He Bio Medical Science Yangzhou Co Ltd 增強疾病檢測與鑒定的器件與方法
CN105894490A (zh) * 2015-11-05 2016-08-24 广西师范大学 基于模糊积分多分类器融合的宫颈细胞图像识别方法及装置
CN106190945A (zh) * 2015-05-05 2016-12-07 深圳华大基因研究院 自动识别稀有细胞的方法及系统
US20180100857A1 (en) * 2009-10-21 2018-04-12 The Scripps Research Institute Method of using non-rare cells to detect rare cells

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2944829C (en) * 2014-05-23 2022-10-25 Ting Chen Systems and methods for detection of biological structures and/or patterns in images
CN103971128B (zh) * 2014-05-23 2017-04-05 北京理工大学 一种面向无人驾驶车的交通标志识别方法
US10445876B2 (en) * 2015-12-18 2019-10-15 Abbott Laboratories Methods and systems for assessing cell morphology
FR3050212B1 (fr) * 2016-04-15 2020-09-25 Chu Montpellier Procede de detection et/ou de caracterisation de cellules tumorales et appareil associe
CN108364288B (zh) * 2018-03-01 2022-04-05 北京航空航天大学 用于乳腺癌病理图像的分割方法和装置
CN109034208B (zh) * 2018-07-03 2020-10-23 怀光智能科技（武汉）有限公司 一种高低分辨率组合的宫颈细胞切片图像分类系统
CN108918500B (zh) * 2018-07-14 2020-10-23 北京航空航天大学青岛研究院 基于免疫磁珠标记的sers分选方法
CN109191467B (zh) * 2018-08-01 2021-06-01 华中科技大学鄂州工业技术研究院 一种细胞自噬表型的预测方法及装置
CN110135271A (zh) * 2019-04-19 2019-08-16 上海依智医疗技术有限公司 一种细胞分类方法及装置
CN110119710A (zh) * 2019-05-13 2019-08-13 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180100857A1 (en) * 2009-10-21 2018-04-12 The Scripps Research Institute Method of using non-rare cells to detect rare cells
TW201423097A (zh) * 2012-07-16 2014-06-16 Chang He Bio Medical Science Yangzhou Co Ltd 增強疾病檢測與鑒定的器件與方法
CN106190945A (zh) * 2015-05-05 2016-12-07 深圳华大基因研究院 自动识别稀有细胞的方法及系统
CN105894490A (zh) * 2015-11-05 2016-08-24 广西师范大学 基于模糊积分多分类器融合的宫颈细胞图像识别方法及装置

Also Published As

Publication number Publication date
TW202123071A (zh) 2021-06-16
CN111079579A (zh) 2020-04-28
CN111079579B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN108537215B (zh) 一种基于图像目标检测的火焰检测方法
JP5315411B2 (ja) 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法
CN105975913B (zh) 一种基于自适应聚类学习的道路网提取的方法
CN103034838B (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
WO2015195642A1 (en) Analyzing digital holographic microscopy data for hematology applications
JP2017521779A (ja) 画像解析を用いた核のエッジの検出
CN111582237B (zh) 基于atsm模型的高分影像飞机类型识别方法
CN105930852A (zh) 一种气泡图像识别方法
CN111160451A (zh) 一种柔性材料检测方法及其储存介质
CN113052228A (zh) 一种基于SE-Inception的肝癌病理切片分类方法
CN109543498A (zh) 一种基于多任务网络的车道线检测方法
CN117392733B (zh) 一种痤疮分级检测方法、装置、电子设备及存储介质
CN114092456A (zh) 细胞荧光图像判别方法及系统
TWI715428B (zh) 細胞圖像的識別方法、裝置以及系統
Africa et al. Development of a urine strip analyzer using artificial neural network using an android phone
CN115761606A (zh) 基于图像处理的箱体电能表识别方法及装置
CN108764311A (zh) 一种遮挡目标检测方法、电子设备、存储介质及系统
CN114742803A (zh) 一种结合深度学习与数字图像处理算法的血小板聚集检测方法
CN114186784A (zh) 基于边缘计算的电学考试评分方法、系统、介质及设备
An et al. Semantic Recognition and Location of Cracks by Fusing Cracks Segmentation and Deep Learning
Wei et al. A study of image processing on identifying cucumber disease
CN111523605A (zh) 一种图像识别方法、装置、电子设备及介质
CN113743351B (zh) 一种基于边缘方向语义信息的遥感影像场景识别的方法
Maska et al. Quantification of the 3D collagen network geometry in confocal reflection microscopy
CN106991678A (zh) 一种目标显著性检测的方法