TWI748823B - 細胞數量檢測方法、裝置、電子設備及存儲媒體 - Google Patents
細胞數量檢測方法、裝置、電子設備及存儲媒體 Download PDFInfo
- Publication number
- TWI748823B TWI748823B TW109146095A TW109146095A TWI748823B TW I748823 B TWI748823 B TW I748823B TW 109146095 A TW109146095 A TW 109146095A TW 109146095 A TW109146095 A TW 109146095A TW I748823 B TWI748823 B TW I748823B
- Authority
- TW
- Taiwan
- Prior art keywords
- target
- detected
- image
- medical image
- coordinate
- Prior art date
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本發明提供一種細胞數量檢測方法、裝置、電子設備及存儲媒體，所述方法包括：對獲取的目標醫學圖像進行切割，獲得多個待檢測圖像；確定所述多個待檢測圖像在所述目標醫學圖像中的位置；輸入所述多個待檢測圖像至預先訓練好的目標檢測模型中，生成多個目標候選框；將所述多個待檢測圖像拼接還原成所述目標醫學圖像；將所述多個待檢測圖像中的目標候選框轉換成所述目標醫學圖像中的目標候選框；去除還原後的目標醫學圖像中重疊的目標候選框；統計目標候選框，獲得細胞總數。本發明能提高超大像素圖像中細胞數量的識別準確率。
Description
本發明涉及圖像檢測技術領域，尤其涉及一種細胞數量檢測方法、裝置、電子設備及存儲媒體。
目前，在現有的醫學圖像的細胞數量檢測方法中，大多採用距離變換、形態學運算、霍夫變換等基於傳統特徵的目標檢測演算法實現。這些基於傳統特徵的目標檢測演算法往往只適用於圖像像素小，圖像背景簡單的細胞檢測任務。然而，現有的醫學圖像通常都是超大像素圖像，圖像背景也比較複雜，傳統的細胞數量檢測方法往往存在檢測不準確問題。
因此，如何提高超大像素醫學圖像中細胞數量檢測的準確度是一個亟需解決的技術問題。
鑒於以上內容，有必要提供一種細胞數量檢測方法、裝置、電子設備及存儲媒體，能準確地檢測超大像素影像中細胞的數量。
本發明的第一方面提供一種細胞數量檢測方法，所述細胞數量檢測方法包括：獲取目標醫學圖像；對所述目標醫學圖像進行切割，獲得多個待檢測圖像；確定所述多個待檢測圖像在所述目標醫學圖像中對應的位置；輸入所述多個待檢測圖像至預先訓練好的目標檢測模型中，生成多個目標候選框，其中，每個目標候選框框選所述每個待檢測圖像中的每個細胞；根據所述多個待檢測圖像的位置，將所述多個待檢測圖像拼接成還原後的目標醫學圖像；將所
述多個待檢測圖像中的目標候選框轉換成還原後的目標醫學圖像中的目標候選框；去除還原後的目標醫學圖像中重疊的目標候選框；將還原後的目標醫學圖像中的目標候選框的數量，確定為細胞總數。
在一種可能的實現方式中，所述對所述目標醫學圖像進行切割，獲得多個待檢測圖像包括：利用預設滑動視窗對所述目標醫學圖像按預設順序進行滑動，直至所述預設滑動視窗的邊緣與所述目標醫學圖像的邊緣對齊；截取所述預設滑動視窗當前框選的目標醫學圖像，得到待檢測圖像。
在一種可能的實現方式中，所述利用預設滑動視窗對所述目標醫學圖像按預設順序進行滑動包括：確定所述預設滑動視窗是否超出所述目標醫學圖像的邊緣；若所述預設滑動視窗超出所述目標醫學圖像的邊緣，反方向滑動所述預設滑動窗口，直至所述預設滑動視窗的邊緣與所述目標醫學圖像的邊緣對齊。
在一種可能的實現方式中，基於兩個對角座標確定所述待檢測圖像的位置，所述兩個對角座標分別為第一座標P1(X min ,Y min )，第二座標P2(X max ,Y max )，所述待檢測圖像在所述目標醫學圖像中的位置為(P1(X min ,Y min )，P2(X max ,Y max ))，其中，X min 是指所述待檢測圖像在所述目標醫學圖像中所對應的最小X座標，X max 是指所述待檢測圖像在所述目標醫學圖像中所對應的最大X座標，Y min 是指所述待檢測圖像在所述目標醫學圖像中所對應的最小Y座標，Y max 是指所述待檢測圖像在所述目標醫學圖像中所對應的最大Y座標。
在一種可能的實現方式中，基於兩個對角座標確定所述待檢測圖像中的目標候選框的位置，所述兩個對角座標分別為第三座標p1(x min ,y min )，第四座標p2(x max ,y max )，所述待檢測圖像中的目標候選框的位置為(p1(x min ,y min )，p2(x max ,y max ))，其中，x min 是指所述目標候選框在所述待檢測圖像中所對應的最小x座標，x max 是指所述目標候選框在所述待檢測圖像中所對應的最大x座標，y min 是指所述目標候選框在所述待檢測圖像中所對應的
最小y座標，y max 是指所述目標候選框在所述待檢測圖像中所對應的最大y座標。
在一種可能的實現方式中，所述將所述多個待檢測圖像中的目標候選框轉換成所述目標醫學圖像中的目標候選框包括：計算所述第一座標P1的橫座標值與所述第三座標p1的橫座標值的和，得到第一目標橫座標；計算所述第一座標P1的縱座標值與所述第三座標p1的縱座標值的和，得到第一目標縱座標；計算所述第一座標P1的橫座標值與所述第四座標p2的橫座標值的和，得到第二目標橫座標；計算所述第一座標P1的縱座標值與所述第四座標p2的縱座標值的和，得到第二目標縱座標；根據所述第一目標橫座標和所述第一目標縱座標確定第一目標對角座標，及根據所述第二目標橫座標和所述第二目標縱座標確定第二目標對角座標；基於第一目標對角座標和所述第二目標對角座標確定所述目標醫學圖像中的目標候選框的位置。
在一種可能的實現方式中，所述去除還原後的目標醫學圖像中重疊的目標候選框包括：確定是否存在相同的多個第一目標對角座標和第二目標對角座標；若不存在相同的多個第一目標對角座標和第二目標對角座標，保留所有的第一目標對角座標和第二目標對角座標；若存在相同的多個第一目標對角座標和第二目標對角座標，刪除與所述多個第一目標對角座標和第二目標對角座標相同的那一組對角座標對應的目標候選框。
本發明的第二方面提供一種細胞檢測裝置，所述細胞檢測裝置包括：獲取模組，獲取目標醫學圖像；處理模組，對所述目標醫學圖像進行切割，獲得多個待檢測圖像；輸入模組，將所述多個待檢測圖像輸入至預先訓練好的細胞數量檢測模型中，獲得每個所述待檢測圖像中的多個目標候選框；確定模組，確定每個所述待檢測圖像在所述目標醫學圖像中對應的位置；所述處理模組，還根據所述待檢測圖像的位置將所述多個待檢測圖像拼接成還原後的目標醫學圖像，將所述多個待檢測圖像中的目標候選框轉換成還原後的目標醫學圖像中的目標候選框，去除還原後的目標醫學圖像中重疊的目標候選框；所述確定模組，還將還原後的目標醫學圖像中的目標候選框的數量，確定為細胞總數。
本發明的第三方面提供一種電子設備，所述電子設備包括處理器和記憶體，所述處理器用於執行所述記憶體中存儲的電腦程式時實現所述的細胞數量檢測方法。
本發明的第四方面提供一種電腦可讀存儲媒體，所述電腦可讀存儲媒體上存儲有電腦程式，所述電腦程式被處理器執行時實現所述的細胞數量檢測方法。
本申請公開的細胞數量檢測方法、裝置、電子設備及存儲媒體，可以準確地檢測超大像素影像(即目標醫學圖像)中細胞的數量，並且提高了細胞數量檢測的效率。
2:細胞數量檢測裝置
3:電子設備
201:獲取模組
202:處理模組
203:輸入模組
204:確定模組
31:記憶體
32:處理器
33:電腦程式
34:通訊匯流排
圖1是本發明公開的一種細胞數量檢測方法的較佳實施例的流程圖。
圖2是本發明公開的一種細胞數量檢測裝置的較佳實施例的功能模組圖。
圖3是本發明實現細胞數量檢測方法的較佳實施例的電子設備的結構示意圖。
下面將結合本實施例中的附圖，對本實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本發明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本發明。
本發明實施例的細胞數量檢測方法應用在電子設備中，也可以應用
在電子設備和透過網路與所述電子設備進行連接的伺服器所構成的硬體環境中，由伺服器和電子設備共同執行。網路包括但不限於：廣域網路、城域網路或區域網路。
其中，伺服器可以是指能對網路中其它設備(如電子設備)提供服務的電腦系統。如果一個個人電腦能夠對外提供檔案傳輸通訊協定(File Transfer Protocol，FTP)服務，也可以叫伺服器。從狹義範圍上講，伺服器專指某些高性能電腦，能透過網路，對外提供服務，其相對於普通的個人電腦來說，穩定性、安全性、性能等方面都要求更高，因此在中央處理單元(Central Processing Unit，CPU)、晶片組、記憶體、磁片系統、網路等硬體和普通的個人電腦有所不同。
所述電子設備是一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或資訊處理的設備，其硬體包括但不限於微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field Programmable Gate Array，FPGA)、數文書處理器(Digital Signal Processor，DSP)、嵌入式設備等。所述電子設備還可包括網路設備和/或使用者設備。其中，所述網路設備包括但不限於單個網路設備、多個網路設備組成的伺服器組或基於雲計算(Cloud Computing)的由大量主機或網路設備構成的雲，其中，雲計算是分散式運算的一種，由一群鬆散耦合的電腦集組成的一個超級虛擬電腦。所述使用者設備包括但不限於任何一種可與使用者透過鍵盤、滑鼠、遙控器、觸控板或聲控設備等方式進行人機交互的電子產品，例如，個人電腦、平板電腦、智慧手機、個人數位助理(Personal Digital Assistant，PDA)等。
請參見圖1，圖1是本發明公開的一種細胞數量檢測方法的較佳實施例的流程圖。根據不同的需求，該流程圖中步驟的順序可以改變，某些步驟可以省略。所述細胞數量檢測方法的執行主體可以是電子設備。
步驟S11、獲取目標醫學圖像。
在本實施方式中，所述目標醫學圖像可以是透過全自動顯微鏡或光
學放大系統掃描採集得到的高解析度數位圖像。其中，所述目標醫學圖像中包括細胞以及一些雜質。
作為一種可選的實施方式，所述步驟S11之前，所述細胞數量檢測方法還包括：訓練目標檢測模型，例如，所述目標檢測模型可以為Single Shot MultiBox Detector目標檢測模型。
其中，SSD目標檢測模型首先採用VGGNet-16卷積神經網路模型的前五個卷積組(卷積組由卷積層和池化層組成)，然後使用Astrous演算法將第六層和第七層全連接神經網路(FC6和FC7)轉換成卷積神經網路(Conv6和Conv7)，接著再依次經過額外特徵層，即三個不同尺寸的卷積組(Conv8_2，Conv9_2和Conv10_2)和一個平均池化層(Conv11_2)。
具體的，訓練過程包括：獲取樣本醫學圖像；使用殘差卷積網路對所述樣本醫學圖像進行特徵提取，獲得特徵資訊；根據所述特徵資訊，使用特徵金字塔網路生成第一特徵圖；根據所述第一特徵圖，使用區域候選網路生成候選區域；根據預設交並比閾值，對所述候選區域進行篩選，保留交並比大於所述預設交並比閾值的候選區域，獲得目的地區域，其中所述交並比為錨框與真實邊界框的相交面積與相並面積之比；將所述第一特徵圖以及所述目的地區域輸入至感興趣區域池化層，獲得與所述目的地區域對應的第二特徵圖；根據所述第二特徵圖，對所述目的地區域的邊界框以及類別進行回歸，獲得訓練好的目標檢測模型。
步驟S12、對所述目標醫學圖像進行切割，獲得多個待檢測圖像。
在實際應用中，若目標醫學圖像為超大像素圖像，直接進行細胞數量統計時會出現細胞數量統計不準確問題，在本申請的一個實施例中，為了更準確的計算目標醫學圖像中的細胞數量，可以先將所述目標醫學圖像進行切割，獲得多個待檢測圖像，再分別統計切割後的每個待檢測圖像中的細胞，從而準確地檢測超大像素影像(即目標醫學圖像)中細胞的數量，並且提高了細胞數
量檢測的效率。
本實施例中，可以採用滑動視窗對所述目標醫學圖像進行切割，獲得多個待檢測圖像，包括：利用預設滑動視窗對所述目標醫學圖像按預設順序進行滑動，直至所述預設滑動視窗的邊緣與所述目標醫學圖像的邊緣對齊，其中所述預設滑動視窗的大小可以根據使用者的實際需求進行設定或修改，例如，可以設置為512像素*512像素，通過所述預設滑動視窗以固定步長512像素在所述目標醫學圖像上依照預設順序進行滑動，例如，依照從左到右，從上到下的順序進行滑動，在其它實施例中，還可以依照其它的順序(例如，從右到左等)進行滑動；確定所述預設滑動視窗是否超出所述目標醫學圖像的邊緣；若所述預設滑動視窗超出所述目標醫學圖像的邊緣，反方向滑動所述預設滑動窗口，直至所述預設滑動視窗的邊緣與所述目標醫學圖像的邊緣對齊；截取所述預設滑動視窗當前框選的目標醫學圖像，得到待檢測圖像。
透過對所述目標醫學圖像進行切割，獲得多個待檢測圖像，可以避免因為所述目標醫學圖像的大小(size)過大，導致細胞數量檢測不準確，同時，對多個所述待檢測圖像進行並行處理，可以提高處理速度。
作為一種可選的實施方式，所述步驟S12之後，所述細胞數量檢測方法還包括：針對每個所述待檢測圖像，通過歸一化演算法對所述待檢測圖像的圖元進行歸一化處理，獲得歸一化圖像；對所述歸一化圖像進行伽馬校正，獲得校正圖像；其中，歸一化是指RGB(Red Green Blue)歸一化，通過對圖像的RGB色彩空間進行歸一化處理，可以消除一部分光照對圖像的影響；其中，伽馬校正(gamma correction)是對圖像的伽馬曲線進行編輯，以對圖像進行非線性色調編輯的方法，檢測出圖像信號中的深色部分和淺色部分，並使兩者比例增大，從而提高圖像比對度效果。
在該可選的實施方式中，因為不同的圖像的來源可能不同，在圖像
的採集中，圖像往往會被不同強度的隨機信號(也稱雜訊)所污染，這會對後續的圖像分析和處理產生不可預知的影響，因此，需要對這些圖像進行RGB歸一化以及伽馬校正，以減少雜訊對圖像的影響，以提高圖像檢測的準確性。
步驟S13、確定所述多個待檢測圖像在所述目標醫學圖像中對應的位置。
為了後續能夠便於將所述待檢測圖像拼接以還原目標醫學圖像，需要確定所述待檢測圖像在所述目標醫學圖像中的位置。
在本實施例中，可以以所述目標醫學圖像正向放置時的左下角為圓心O，橫向為X軸，縱向為Y軸，建立一個第一座標系(XOY)，確定所述待檢測圖像在座標系(XOY)中的位置座標。所述位置座標對應於所述目標醫學圖像中的像素點。
進一步地，基於兩個對角座標確定所述待檢測圖像的位置，所述兩個對角座標分別為第一座標P1(X min ,Y min )，第二座標P2(X max ,Y max )，所述待檢測圖像在所述目標醫學圖像中的位置為(P1(X min ,Y min )，P2(X max ,Y max ))，其中，X min 是指所述待檢測圖像在所述目標醫學圖像中所對應的最小X座標，X max 是指所述待檢測圖像在所述目標醫學圖像中所對應的最大X座標，Y min 是指所述待檢測圖像在所述目標醫學圖像中所對應的最小Y座標，Y max 是指所述待檢測圖像在所述目標醫學圖像中所對應的最大Y座標。
步驟S14、輸入所述多個待檢測圖像至預先訓練好的目標檢測模型中，生成多個目標候選框，其中，每個目標候選框框選所述每個待檢測圖像中的每個細胞。
在本實施例中，可以將所述多個待檢測圖像輸入至預先訓練好的目標檢測模型中，獲得每個所述待檢測圖像中的多個目標候選框。通過預先訓練好的目標檢測模型獲得目標候選框，可提高準確度，同時，並行檢測所述多個待檢測圖像，可提高檢測效率。
進一步地，所述待檢測圖像中的多個目標候選框的位置可以由座標
來確定。具體地，可以以所述待檢測圖像正向放置時的左下角為圓心O，橫向為x軸，縱向為y軸，建立一個第二座標系(xOy)。通過所述第二座標系(xOy)確定所述目標候選框在所述待檢測圖像中的位置座標。所述位置座標對應於所述待檢測圖像中的圖元點。基於兩個對角座標確定所述待檢測圖像中的目標候選框的位置，所述兩個對角座標分別為第三座標p1(x min ,y min )，第四座標p2(x max ,y max )，所述待檢測圖像中的目標候選框的位置為(p1(x min ,y min ),p2(x max ,y max ))，其中，x min 是指所述目標候選框在所述待檢測圖像中所對應的最小x座標，x max 是指所述目標候選框在所述待檢測圖像中所對應的最大x座標，y min 是指所述目標候選框在所述待檢測圖像中所對應的最小y座標，y max 是指所述目標候選框在所述待檢測圖像中所對應的最大y座標。
步驟S15、根據所述多個待檢測圖像的位置，將所述多個待檢測圖像拼接成還原後的目標醫學圖像。
為了統計所述目標醫學圖像中的目標候選框，需要將所述多個待檢測圖像拼接還原目標醫學圖像。
在本實施例中，根據所述每個所述待檢測圖像在所述目標醫學圖像的位置，將所述每個所述待檢測圖像拼接以還原目標醫學圖像。
步驟S16、將所述多個待檢測圖像中的目標候選框轉換成所述還原後的目標醫學圖像中的目標候選框。
所述步驟S14中得到的目標候選框是所述待檢測圖像中的目標候選框，本申請為了便於統計所述目標醫學圖像中的目標候選框，需要將所述多個待檢測圖像中的目標候選框轉換成所述還原後的目標醫學圖像中的目標候選框。
本實施例中，將所述多個待檢測圖像中的目標候選框轉換成所述還原後的目標醫學圖像中的目標候選框包括：計算所述第一座標P1的橫座標值與所述第三座標p1的橫座標值的和，得到第一目標橫座標；計算所述第一座標P1的縱座標值與所述第三座標p1
的縱座標值的和，得到第一目標縱座標；計算所述第一座標P1的橫座標值與所述第四座標p2的橫座標值的和，得到第二目標橫座標；計算所述第一座標P1的縱座標值與所述第四座標p2的縱座標值的和，得到第二目標縱座標；根據所述第一目標橫座標和所述第一目標縱座標確定第一目標對角座標，及根據所述第二目標橫座標和所述第二目標縱座標確定第二目標對角座標；基於第一目標對角座標和所述第二目標對角座標確定所述還原後的目標醫學圖像中的目標候選框的位置。
根據所述待檢測圖像在所述目標醫學圖像中的位置以及所述待檢測圖像中的目標候選框確定所述還原後的目標醫學圖像中的目標候選框的位置。其中，所述還原後的目標醫學圖像中的目標候選框的位置包括兩個對角座標，所述兩個對角座標分別為第一目標座標M1(X min +x min ,Y min +y min )，第二目標座標M2(X min +x max ,Y min +y max )。所述還原後的目標醫學圖像中的目標候選框的位置為(M1(X min +x min ,Y min +y min ),M2(X min +x max ,Y min +y max ))。
示例性的，假設某個所述待檢測圖像的位置是(P1(512,0),P2(1024,512))，所述某個所述待檢測圖像上的某個目標候選框的位置是(p1(10,10),p2(20,20))，因此得到所述某個所述待檢測圖像上的某個目標候選框在所述還原後的目標醫學圖像上的位置為(M1(522,10),M2(532,20))。
步驟S17、去除還原後的目標醫學圖像中重疊的目標候選框。
為了提高所述目標候選框統計的準確度，需要將所述步驟S12可能產生的重疊的目標候選框進行去除操作，從而得到更準確的細胞數量。
本實施例中，所述去除還原後的目標醫學圖像中重疊的目標候選框包括：確定是否有相同的多個第一目標對角座標和第二目標對角座標；若不存在相同的多個第一目標對角座標和第二目標對角座標，保留所有的第一目標對角座標和第二目標對角座標；若存在相同的多個第一目標對角座標和第二目標對角座標，刪除掉與所述多個第一目標對角座標和第二目標對角座標相同
的那一組對角座標對應的目標候選框。
步驟S18、將還原後的目標醫學圖像中的目標候選框的數量，確定為細胞總數。
本實施例中，所述將還原後的目標醫學圖像中的目標候選框的數量，確定為細胞總數包括：統計所述目標醫學圖像中的目標候選框的位置(M1,M2)的數量，獲得細胞總數，視覺化最終結果。例如，所述最終結果包括，細胞總數：13。
在圖1所描述的方法流程中，可以將目標醫學圖像分成多個較小的待檢測圖像，透過預先訓練好的目標檢測模型對多個較小的待檢測圖像並行處理，獲得多個待檢測圖像的多個目標候選框，根據所述多個待檢測圖像的位置將所述多個待檢測圖像拼接成還原後的目標醫學圖像，將所述多個待檢測圖像中的目標候選框轉換成還原後的目標醫學圖像中的目標候選框，去除還原後的目標醫學圖像中重疊的目標候選框，將還原後的目標醫學圖像中的目標候選框的數量，確定為細胞總數。根據上述方法流程，可以準確地檢測超大像素影像(即目標醫學圖像)中細胞的數量，並且提高了細胞數量檢測的效率。
請參見圖2，圖2是本發明公開的一種細胞數量檢測裝置的較佳實施例的功能模組圖。
在一些實施例中，所述細胞數量檢測裝置2運行於電子設備中。所述細胞數量檢測裝置2可以包括多個由程式碼段所組成的功能模組。所述細胞數量檢測裝置2中的各個程式段的程式碼可以存儲於記憶體中，並由至少一個處理器所執行，以執行圖1所描述的細胞數量檢測方法中的部分或全部步驟。
本實施例中，所述細胞數量檢測裝置2根據其所執行的功能，可以被劃分為多個功能模組。所述功能模組可以包括：獲取模組201、處理模組202、輸入模組203及確定模組204。本發明所稱的模組是指一種能夠被至少一個處理器所執行並且能夠完成固定功能的一系列電腦程式段，其存儲在記憶體中。
所述獲取模組201，獲取目標醫學圖像。
在本實施方式中，所述目標醫學圖像可以是通過全自動顯微鏡或光學放大系統掃描採集得到高解析度數位圖像。其中，所述目標醫學圖像中包括細胞以及一些雜質。
所述處理模組202，對所述獲取模組獲取的目標醫學圖像進行切割，獲得多個待檢測圖像。
本實施例中，採用滑動視窗對所述目標醫學圖像進行切割，獲得多個待檢測圖像。
所述輸入模組203，將所述處理模組獲得的多個待檢測圖像輸入至預先訓練好的目標檢測模型中，生成多個目標候選框，其中，每個目標候選框框選所述每個待檢測圖像中的每個細胞。
本實施例中，可以將所述多個待檢測圖像輸入至預先訓練好的目標檢測模型中，獲得每個所述待檢測圖像中的多個目標候選框。通過預先訓練好的目標檢測模型獲得目標候選框，可提高準確度，同時，並行檢測所述多個待檢測圖像，可提高檢測效率。
所述確定模組204，確定所述處理模組獲得的多個待檢測圖像在所述目標醫學圖像的位置。
本實施例中，可以以所述目標醫學圖像正向放置時的左下角為圓心O，橫向為X軸，縱向為Y軸，建立一個座標系(XOY)，確定所述待檢測圖像在座標系(XOY)中的位置座標。所述位置座標對應於所述目標醫學圖像中的像素點。
具體的，基於兩個對角座標確定所述待檢測圖像的位置，所述兩個對角座標分別為第一座標P1(X min ,Y min )，第二座標P2(X max ,Y max )，所述待檢測圖像在所述目標醫學圖像中的位置為(P1(X min ,Y min )，P2(X max ,Y max ))，其中，X min 是指所述待檢測圖像在所述目標醫學圖像中所對應的最小X座標，X max 是指所述待檢測圖像在所述目標醫學圖像中所對應的最大X座標，Y min 是指所述待檢測圖像在所述目標醫學圖像中所對應的最小Y座標，Y max 是指所述待檢
測圖像在所述目標醫學圖像中所對應的最大Y座標。
所述處理模組202，還根據所述確定模組確定的多個待檢測圖像的位置將所述多個待檢測圖像拼接成還原後的目標醫學圖像，將所述輸入模組獲得的多個待檢測圖像中的目標候選框轉換成還原後的目標醫學圖像中的目標候選框，去除還原後的目標醫學圖像中重疊的目標候選框。
所述確定模組204，還將所述處理模組獲得的還原後的目標醫學圖像中的目標候選框的數量，確定為細胞總數。
所述處理模組202與所述確定模組204具體實現方法可參考圖1對應實施例中相關步驟的描述，在此不贅述。
作為一種可選的實施方式，所述獲取模組201，還獲取樣本醫學圖像。
所述細胞數量檢測裝置2還可以包括：提取模組，使用殘差卷積網路對所述樣本醫學圖像進行特徵提取，獲得特徵資訊。
生成模組，根據所述特徵資訊，使用特徵金字塔網路生成第一特徵圖。
所述生成模組，還根據所述第一特徵圖，使用區域候選網路生成候選區域。
篩選模組，根據預設交並比閾值，對所述候選區域進行篩選，獲得目標區域。
所述輸入模組203，還將所述第一特徵圖以及所述目標區域輸入至感興趣區域池化層，獲得與所述目標區域對應的第二特徵圖。
回歸模組，根據所述第二特徵圖，對所述目標區域的邊界框以及類別進行回歸，獲得訓練好的目標檢測模型。
作為一種可選的實施方式，所述細胞數量檢測裝置2還可以包括：處理模組，所述處理模組202對所述目標醫學圖像進行切割，獲得
多個待檢測圖像之後，針對每個所述待檢測圖像，通過歸一化演算法對所述待檢測圖像的像素進行歸一化處理，獲得歸一化圖像。
校正模組，對所述歸一化圖像進行伽馬校正，獲得校正圖像。
所述輸入模組203將所述多個待檢測圖像輸入至預先訓練好的目標檢測模型中，獲得每個所述待檢測圖像中的多個目標候選框的方式具體為：將多個所述校正圖像輸入至預先訓練好的目標檢測模型中，獲得每個所述待檢測圖像中的多個目標候選框；其中，歸一化是指RGB(Red Green Blue)歸一化，透過對圖像的RGB色彩空間進行歸一化處理，可以消除一部分光照對圖像的影響；其中，伽馬校正(gamma correction)是對圖像的伽馬曲線進行編輯，以對圖像進行非線性色調編輯的方法，檢出圖像信號中的深色部分和淺色部分，並使兩者比例增大，從而提高圖像對比度效果。
在該可選的實施方式中，因為不同的圖像的來源可能不同，在圖像的採集中，圖像往往會被不同強度的隨機信號(也稱雜訊)所污染，這會對後續的圖像分析和處理產生不可預知的影響，因此，需要對這些圖像進行RGB歸一化以及伽馬校正，以減少雜訊對圖像的影響，以提高圖像檢測的準確性。
在圖2所描述的細胞數量檢測裝置2中，可以將目標醫學圖像分成多個較小的待檢測圖像，通過預先訓練好的目標檢測模型對多個較小的待檢測圖像並行處理，獲得多個待檢測圖像的多個目標候選框，根據所述多個待檢測圖像的位置將所述多個待檢測圖像拼接成還原後的目標醫學圖像，將所述多個待檢測圖像中的目標候選框轉換成還原後的目標醫學圖像中的目標候選框，去除還原後的目標醫學圖像中重疊的目標候選框，將還原後的目標醫學圖像中的目標候選框的數量，確定為細胞總數。根據上述流程，可以準確地檢測超大像素影像(即目標醫學圖像)中細胞的數量，並且提高了細胞數量檢測的效率。
如圖3所示，圖3是本發明實現所述細胞數量檢測方法的較佳實施例的電子設備的結構示意圖。所述電子設備3包括記憶體31、至少一個處理器32、存儲在所述記憶體31中並可在所述至少一個處理器32上運行的電腦程式
33及至少一條通訊匯流排34。
本領域技術人員可以理解，圖3所示的示意圖僅僅是所述電子設備3的示例，並不構成對電子設備3的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子設備3還可以包括輸入輸出設備、網路接入設備等。
所述電子設備3還包括但不限於任何一種可與使用者透過鍵盤、滑鼠、遙控器、觸控板或聲控設備等方式進行人機交互的電子產品，例如，個人電腦、平板電腦、智慧手機、個人數位助理PDA、遊戲機、互動式網路電視(Internet Protocol Television，IPTV)、智慧式穿戴式設備等。所述電子設備3所處的網路包括但不限於網際網路、廣域網路、城網路、區域網路、虛擬私人網路(Virtual Private Network，VPN)等。
所述至少一個處理器32可以是CPU，還可以是其他通用處理器、數位訊號處理器DSP、專用積體電路ASIC、現場可程式設計閘陣列FPGA或者其他可程式設計邏輯器件、電晶體邏輯器件、分立硬體元件等。該處理器32可以是微處理器或者該處理器32也可以是任何常規的處理器等，所述處理器32是所述電子設備3的控制中心，利用各種介面和線路連接整個電子設備3的各個部分。
所述記憶體31可用於存儲所述電腦程式33和/或模組/單元，所述處理器32通過運行或執行存儲在所述記憶體31內的電腦程式和/或模組/單元，以及調用存儲在記憶體31內的資料，實現所述電子設備3的各種功能。所述記憶體31可主要包括存儲程式區和存儲資料區，其中，存儲程式區可存儲作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；存儲資料區可存儲根據電子設備3的使用所創建的資料等。此外，記憶體31可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡(Smart Media Card，SMC)，安全數位(Secure Digital，SD)卡，快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件等。
結合圖1，所述電子設備3中的所述記憶體31存儲多個指令以實現一種細胞數量檢測方法，所述處理器32可執行所述多個指令從而實現：獲取目標醫學圖像；對所述目標醫學圖像進行切割，獲得多個待檢測圖像；確定所述多個待檢測圖像在所述目標醫學圖像中對應的位置；輸入所述多個待檢測圖像至預先訓練好的目標檢測模型中，生成多個目標候選框，其中，每個目標候選框框選所述每個待檢測圖像中的每個細胞；根據所述多個待檢測圖像的位置，將所述多個待檢測圖像拼接成還原後的目標醫學圖像；將所述多個待檢測圖像中的目標候選框轉換成還原後的目標醫學圖像中的目標候選框；去除還原後的目標醫學圖像中重疊的目標候選框；將還原後的目標醫學圖像中的目標候選框的數量，確定為細胞總數。
具體地，所述處理器32對上述指令的具體實現方法可參考圖1對應實施例中相關步驟的描述，在此不贅述。
在圖3所描述的電子設備3中，可以將目標醫學圖像分成多個較小的待檢測圖像，透過預先訓練好的目標檢測模型對多個較小的待檢測圖像並行處理，獲得多個待檢測圖像的多個目標候選框，根據所述多個待檢測圖像的位置將所述多個待檢測圖像拼接成還原後的目標醫學圖像，將所述多個待檢測圖像中的目標候選框轉換成還原後的目標醫學圖像中的目標候選框，去除還原後的目標醫學圖像中重疊的目標候選框，將還原後的目標醫學圖像中的目標候選框的數量，確定為細胞總數。根據上述流程，可以準確地檢測超大像素影像(即目標醫學圖像)中細胞的數量，並且提高了細胞數量檢測的效率。
所述電子設備3集成的模組/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲媒體中。基於這樣的理解，本發明實現上述實施例方法中的全部或部分流程，也可以通過電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲媒體中，該電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中
間形式等。所述電腦可讀媒體可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄媒體、隨身碟、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體(Read-Only Memory，ROM)。
在本發明所提供的幾個實施例中，應該理解到，所揭露的系統，裝置和方法，可以透過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本發明的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本發明內。不應將請求項中的任何附關聯圖標記視為限制所涉及的請求項。此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除複數。系統請求項中陳述的多個單元或裝置也可以由一個單元或裝置通過軟體或者硬體來實現。第二等詞語用來表示名稱，而並不表示任何特定的順序。
最後應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理
解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。
Claims (10)
- 一種由細胞數量檢測裝置可實施之細胞數量檢測方法，其中，所述細胞數量檢測方法包括：獲取目標醫學圖像；利用預設滑動視窗對所述目標醫學圖像按預設順序進行切割，獲得多個待檢測圖像；基於每個待檢測圖像的對角座標確定所述每個待檢測圖像在所述目標醫學圖像中對應的位置；獲取樣本醫學圖像，利用所述樣本醫學圖像訓練卷積神經網路模型，獲得用於細胞數量檢測的目標檢測模型；輸入所述多個待檢測圖像至所述目標檢測模型中，利用所述目標檢測模型獲取所述每個待檢測圖像的第三座標和第四座標，基於所述第三座標和所述第四座標確定所述每個待檢測圖像中的目標候選框的位置，及生成所述每個待檢測圖像的多個目標候選框，其中，每個目標候選框框選所述每個待檢測圖像中的每個細胞；根據所述多個待檢測圖像的位置，將所述多個待檢測圖像拼接成還原後的目標醫學圖像；將所述多個待檢測圖像中的目標候選框轉換成還原後的目標醫學圖像中的目標候選框；去除還原後的目標醫學圖像中重疊的目標候選框；將還原後的目標醫學圖像中的目標候選框的數量，確定為細胞總數。
- 根據請求項1所述的細胞數量檢測方法，其中，所述利用預設滑動視窗對所述目標醫學圖像按預設順序進行切割，獲得多個待檢測圖像包括：利用預設滑動視窗對所述目標醫學圖像按預設順序進行滑動，直至所述預設滑動視窗的邊緣與所述目標醫學圖像的邊緣對齊； 截取所述預設滑動視窗當前框選的目標醫學圖像，得到待檢測圖像。
- 根據請求項2所述的細胞數量檢測方法，其中，所述利用預設滑動視窗對所述目標醫學圖像按預設順序進行滑動包括：確定所述預設滑動視窗是否超出所述目標醫學圖像的邊緣；若所述預設滑動視窗超出所述目標醫學圖像的邊緣，反方向滑動所述預設滑動窗口，直至所述預設滑動視窗的邊緣與所述目標醫學圖像的邊緣對齊。
- 根據請求項1所述的細胞數量檢測方法，其中，基於每個待檢測圖像的對角座標確定所述每個待檢測圖像的位置包括：獲取所述每個待檢測圖像在所述目標醫學圖像中的第一座標P1(X min ,Y min )與第二座標P2(X max ,Y max )，其中，X min 是指所述每個待檢測圖像在所述目標醫學圖像中所對應的最小X座標，X max 是指所述每個待檢測圖像在所述目標醫學圖像中所對應的最大X座標，Y min 是指所述每個待檢測圖像在所述目標醫學圖像中所對應的最小Y座標，Y max 是指所述每個待檢測圖像在所述目標醫學圖像中所對應的最大Y座標；確定所述每個待檢測圖像在所述目標醫學圖像中的位置為(P1(X min ,Y min )，P2(X max ,Y max ))。
- 根據請求項4所述的細胞數量檢測方法，其中，所述利用所述目標檢測模型獲取所述每個待檢測圖像的第三座標和第四座標，基於所述第三座標和所述第四座標確定所述每個待檢測圖像中的目標候選框的位置，及生成所述每個待檢測圖像的包括：利用所述目標檢測模型獲取所述每個待檢測圖像的所述第三座標p1(x min ,y min )和所述第四座標p2(x max ,y max )，其中，x min 是指所述目標候選框在所述每個待檢測圖像中所對應的最小x座標，x max 是指所述目標候選框在所述每個待檢測圖像中所對應的最大x座標，y min 是指所述目標候選框在所述每個待檢測圖像中所對應的最小y座標，y max 是指所述目標候選框在所述每個待檢測圖像中所對應的最大y座標； 基於所述第三座標p1(x min ,y min )和所述第四座標p2(x max ,y max )確定所述每個待檢測圖像中的所述目標候選框的位置為(p1(x min ,y min ),p2(x max ,y max ))；根據所述每個待檢測圖像中的所述目標候選框的位置生成所述每個待檢測圖像的每個目標候選框。
- 根據請求項5所述的細胞數量檢測方法，其中，所述將所述多個待檢測圖像中的目標候選框轉換成所述目標醫學圖像中的目標候選框包括：計算所述第一座標P1的橫座標值與所述第三座標p1的橫座標值的和，得到第一目標橫座標；計算所述第一座標P1的縱座標值與所述第三座標p1的縱座標值的和，得到第一目標縱座標；計算所述第一座標P1的橫座標值與所述第四座標p2的橫座標值的和，得到第二目標橫座標；計算所述第一座標P1的縱座標值與所述第四座標p2的縱座標值的和，得到第二目標縱座標；根據所述第一目標橫座標和所述第一目標縱座標確定第一目標對角座標，及根據所述第二目標橫座標和所述第二目標縱座標確定第二目標對角座標；基於第一目標對角座標和所述第二目標對角座標確定所述目標醫學圖像中的目標候選框的位置。
- 根據請求項6所述的細胞數量檢測方法，其中，所述去除還原後的目標醫學圖像中重疊的目標候選框包括：確定是否存在相同第一目標對角座標和第二目標對角座標；若不存在相同第一目標對角座標和第二目標對角座標，保留所有的第一目標對角座標和第二目標對角座標；若存在相同的多個第一目標對角座標和第二目標對角座標，刪除與所述第一目標對角座標和第二目標對角座標相同的那一組對角座標對應的目標候選框。
- 一種細胞數量檢測裝置，其中，所述細胞數量檢測裝置包括：獲取模組，獲取目標醫學圖像和樣本醫學圖像；處理模組，利用預設滑動視窗對所述獲取模組獲取的目標醫學圖像進行切割，獲得多個待檢測圖像；輸入模組，利用所述樣本醫學圖像訓練卷積神經網路模型，獲得用於細胞數量檢測的目標檢測模型，將所述處理模組獲得的多個待檢測圖像輸入至所述目標檢測模型中，利用所述目標檢測模型獲取所述每個待檢測圖像的第三座標和第四座標，及基於所述第三座標和所述第四座標生成所述每個待檢測圖像的多個目標候選框，其中，每個目標候選框框選所述每個待檢測圖像中的每個細胞；確定模組，基於每個待檢測圖像的對角座標確定所述處理模組獲得的每個待檢測圖像在所述目標醫學圖像中對應的位置；所述處理模組，還根據所述確定模組確定的待檢測圖像的位置將所述多個待檢測圖像拼接成還原後的目標醫學圖像，將所述輸入模組獲得的多個待檢測圖像中的目標候選框轉換成還原後的目標醫學圖像中的目標候選框，去除還原後的目標醫學圖像中重疊的目標候選框；所述確定模組，還將所述處理模組獲得的還原後的目標醫學圖像中的目標候選框的數量，確定為細胞總數。
- 一種電子設備，其中，所述電子設備包括處理器和記憶體，所述處理器用於執行記憶體中存儲的電腦程式以實現如請求項1至請求項7中任意一項所述的細胞數量檢測方法。
- 一種電腦可讀存儲媒體，其中，所述電腦可讀存儲媒體存儲有至少一個指令，所述至少一個指令被處理器執行時實現如請求項1至請求項7中任意一項所述的細胞數量檢測方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109146095A TWI748823B (zh) | 2020-12-24 | 2020-12-24 | 細胞數量檢測方法、裝置、電子設備及存儲媒體 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109146095A TWI748823B (zh) | 2020-12-24 | 2020-12-24 | 細胞數量檢測方法、裝置、電子設備及存儲媒體 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI748823B true TWI748823B (zh) | 2021-12-01 |
| TW202226266A TW202226266A (zh) | 2022-07-01 |
Family
ID=80681046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109146095A TWI748823B (zh) | 2020-12-24 | 2020-12-24 | 細胞數量檢測方法、裝置、電子設備及存儲媒體 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI748823B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201941218A (zh) * | 2018-01-08 | 2019-10-16 | 美商普吉尼製藥公司 | 用於基於神經網路之快速影像分段及放射性藥品之攝取的測定之系統及方法 |
| CN111402242A (zh) * | 2020-03-20 | 2020-07-10 | 钱小萍 | 一种用于医疗图像精细化处理系统及方法 |
-
2020
- 2020-12-24 TW TW109146095A patent/TWI748823B/zh active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201941218A (zh) * | 2018-01-08 | 2019-10-16 | 美商普吉尼製藥公司 | 用於基於神經網路之快速影像分段及放射性藥品之攝取的測定之系統及方法 |
| CN111402242A (zh) * | 2020-03-20 | 2020-07-10 | 钱小萍 | 一种用于医疗图像精细化处理系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202226266A (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9697416B2 (en) | Object detection using cascaded convolutional neural networks | |
| US10134165B2 (en) | Image distractor detection and processing | |
| WO2019114036A1 (zh) | 人脸检测方法及装置、计算机装置和计算机可读存储介质 | |
| JP7051267B2 (ja) | 画像検出方法、装置、電子設備、記憶媒体、及びプログラム | |
| JP6089886B2 (ja) | 領域分割方法および検査装置 | |
| CN110705583A (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
| US20220375215A1 (en) | Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system | |
| WO2020151156A1 (zh) | 视频流播放方法、系统、计算机装置及可读存储介质 | |
| US11017266B2 (en) | Aggregated image annotation | |
| CN116416190A (zh) | 瑕疵检测方法及装置、电子设备及存储介质 | |
| WO2021189856A1 (zh) | 证件校验方法、装置、电子设备及介质 | |
| US20140169684A1 (en) | Distance Metric for Image Comparison | |
| CN114677319A (zh) | 干细胞分布确定方法、装置、电子设备及存储介质 | |
| TWI748823B (zh) | 細胞數量檢測方法、裝置、電子設備及存儲媒體 | |
| WO2024021321A1 (zh) | 模型生成的方法、装置、电子设备和存储介质 | |
| JP6365117B2 (ja) | 情報処理装置、画像判定方法、及びプログラム | |
| TWI777319B (zh) | 幹細胞密度確定方法、裝置、電腦裝置及儲存介質 | |
| JP2016045538A (ja) | 情報処理装置、画像判定方法、及びプログラム | |
| TWI755250B (zh) | 植物生長曲線確定方法、裝置、電子設備及存儲媒體 | |
| TW202226151A (zh) | 幹細胞分佈確定方法、裝置、電腦裝置及儲存介質 | |
| TWI855330B (zh) | 三維目標檢測方法、電子設備及計算機可讀存儲媒體 | |
| TWI810945B (zh) | 瑕疵檢測方法、電腦設備及儲存介質 | |
| Zhang et al. | Real-time quadrilateral object corner detection algorithm based on deep learning | |
| TWI798098B (zh) | 三維目標檢測方法、電子設備及計算機可讀存儲媒體 | |
| TWI762152B (zh) | 植物高度確定方法、裝置、電腦裝置及介質 |