TWI756365B - 圖像分析系統及相關方法 - Google Patents

圖像分析系統及相關方法 Download PDF

Info

Publication number
TWI756365B
TWI756365B TW107105375A TW107105375A TWI756365B TW I756365 B TWI756365 B TW I756365B TW 107105375 A TW107105375 A TW 107105375A TW 107105375 A TW107105375 A TW 107105375A TW I756365 B TWI756365 B TW I756365B
Authority
TW
Taiwan
Prior art keywords
image
adaptive
images
grayscale
candidate
Prior art date
Application number
TW107105375A
Other languages
English (en)
Other versions
TW201832181A (zh
Inventor
卡理理查德 錢普林
查爾斯 德拉漢特
馬修P 霍寧
胡黎明
肖恩K 麥圭爾
克洛西 墨哈尼安
克萊馬修 湯普森
本杰明K 威爾遜
Original Assignee
美商脫其泰有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/433,656 external-priority patent/US10061972B2/en
Application filed by 美商脫其泰有限責任公司 filed Critical 美商脫其泰有限責任公司
Publication of TW201832181A publication Critical patent/TW201832181A/zh
Application granted granted Critical
Publication of TWI756365B publication Critical patent/TWI756365B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本文所公開的實施方式涉及用於確定在生物樣品中的分析物的存在和量的系統和方法。用於確定分析物的存在的系統和方法利用包括在其中具有多個焦平面的多個視場的樣品載片的多個圖像。該系統和方法利用配置成對所述多個圖像進行顏色和灰度強度平衡並且基於此判定多個圖像是否在其中含有分析物的演算法。

Description

圖像分析系統及相關方法
本發明涉及一種圖像分析系統及其相關方法。
顯微技術用於診斷多種疾病、血液病症等。某些顯微鏡技術需要專門的顯微鏡或其它設備以達到足夠的解析度以用於恰當的診斷。
顯微鏡可以被用於使用塗片(如厚的血塗片)來檢測分析物(如瘧疾)。典型地,顯微鏡包括具有相對淺的景深(depth of field)的油浸鏡頭來實現檢測引起瘧疾的寄生原生動物所需的解析度。鏡頭典型地呈現出只有幾微米(約1微米或小於1微米)的景深。通常,塗片的整個厚度被成像以決定性地診斷由分析物存在所指示的病症。然而,塗片的厚度大於幾微米,這可能會導致診斷的問題,具體取決於圖像的焦平面。為確保對整個塗片進行分析,樣品與鏡頭之間的距離可以減少或增加,以捕獲在塗片的各個視場(FoV)的多個焦平面。
典型的顯微鏡包括被配置成以微米級位移增加或減少鏡頭和樣品之間的距離的常規聚焦系統。然而,這種常規聚焦系統可能是昂貴的和複雜的,這使得常規聚焦系統不適於瘧疾最常見的區域,如在貧困地區。典型的診斷措施包括利用技術人員來掃描在顯微鏡的載片,以在視覺上判定是否存在分析物。然而,限制顯微鏡操作人員(human microscopist)的靈敏度和一致性的因素包括人與人之間和人內在的可變性、疏忽、眼睛疲勞、困乏和缺少培訓。缺少培訓在少資源配置下尤其重要,其中相比於瘧疾等疾病的負擔,高素質的顯微鏡操作人員可能是供不應求的。此外,技術人員可能不能夠確定或定量在樣品載片中的特別低濃度的分析物(例如,低寄生蟲血症)。
因此,顯微鏡的開發人員和用戶持續尋求對於用於確定分析物存在的顯微鏡和診斷技術的改善。
本文所公開的實施方式涉及用於診斷、識別和量化生物樣品中的生物分析物的系統和方法。在一個實施方式中,公開了一種用於確定血液中的分析物的存在的系統。該系統包括被配置成儲存樣品載片的多個圖像的至少一個記憶體儲存媒體。所述多個圖像包括:多個視場,每一個包括所述樣品載片的唯一的x和y座標;和多個焦平面,每一個具有所述樣品載片的唯一的z座標。所述系統包括可操作地耦合到所述至少一個記憶體儲存媒體的至少一個處理器。所述至少一個處理器被配置為確定白平衡變換並應用該白平衡變換到所述多個圖像中的每一個以有效產生多個經顏色校正的圖像。所述至少一個處理器被配置為確定自適應灰度變換並應用該自適應灰度變換到所述多個圖像中的每一個以針對所述多個圖像中的每一個提供自適應灰度強度圖像。所述至少一個處理器被配置為檢測和識別在所述多個經顏色校正的圖像和自適應灰度強度圖像中的一個或多個候選物件。所述至少一個處理器被配置為至少部分地基於所述一個或多個候選物件的一個或多個特性來提取和評分所述一個或多個候選物件,至少部分地基於得分來過濾所述一個或多個候選物件,並且針對每個經過濾的候選物件輸出一個或多個經顏色校正的圖像修補和一個或多個自適應灰度強度圖像修補。所述至少一個處理器被配置為從所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補提取一個或多個特徵向量並輸出所述一個或多個特徵向量。所述至少一個處理器被配置為將每一個特徵向量分類為對應於偽像或分析物。所述至少一個處理器被配置為判定被分類為分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。
在一個實施方式中,公開了一種確定血液中的分析物的存在的方法。所述方法包括接收樣品載片的多個圖像。所述多個圖像包括:多個視場,每一個包括所述樣品載片的唯一的x和y座標;和多個焦平面,每一個具有所述樣品載片的唯一的z座標。該方法包括應用白平衡變換到所述多個圖像中的每一個以有效產生多個經顏色校正的圖像。該方法包括應用自適應灰度變換到所述多個圖像中的每一個以針對所述多個圖像中的每一個提供自適應灰度強度圖像。該方法包括檢測和識別在所述多個經顏色校正的圖像和所述自適應灰度強度圖像中的一個或多個候選物件。該方法包括至少部分地基於為至少部分地基於所述一個或多個候選物件的一個或多個特性的得分來過濾所述一個或多個候選物件,並且針對每個經過濾的候選物件輸出一個或多個經顏色校正的圖像修補和一個或多個自適應灰度強度圖像修補。該方法包括從所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補提取一個或多個特徵向量並輸出所述一個或多個特徵向量。該方法包括將每一個特徵向量分類為對應於偽像或分析物。該方法包括判定被分類為分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。
在一個實施方式中,公開了一種用於確定血液中的瘧疾寄生蟲的存在的系統。該系統包括配置成捕獲血液載片的多個圖像的顯微鏡。所述多個圖像中的每一個包括:多個視場,每一個包括血液載片的唯一的x和y座標;和多個焦平面,每一個具有血液載片的唯一的z座標。該系統包括配置為儲存所述血液載片的多個圖像的至少一個記憶體儲存媒體。該系統包括可操作地耦合到所述至少一個記憶體儲存媒體的至少一個處理器。所述至少一個處理器被配置為確定白平衡變換並應用該白平衡變換到所述多個圖像中的每一個以有效產生多個經顏色校正的圖像。所述至少一個處理器被配置為確定自適應灰度變換並應用該自適應灰度變換到所述多個圖像中的每一個以針對所述多個圖像中的每一個提供自適應灰度強度圖像。所述至少一個處理器被配置為檢測和識別在所述多個經顏色校正的圖像和自適應灰度強度圖像中的一個或多個候選物件。所述至少一個處理器被配置為提取和評分所述一個或多個候選物件的一個或多個特性,至少部分地基於得分來過濾所述一個或多個候選物件。所述至少一個處理器被配置為提取所述一個或多個經過濾的候選物件的經顏色校正的圖像修補和自適應灰度強度圖像修補並且針對每個經過濾的候選物件輸出一個或多個特徵向量。所述至少一個處理器被配置為將每一個特徵向量分類為偽像或分析物。所述至少一個處理器被配置為判定被分類為分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。
在一實施方式中,公開了一種用於確定血液中的分析物的存在的系統。所述系統包括被配置成儲存樣品載片的多個圖像的至少一個記憶體儲存媒體,所述多個圖像包括:多個視場,每一個視場包括所述樣品載片的唯一的x和y座標;和多個焦平面,每一個焦平面具有所述樣品載片的唯一的z座標。所述系統包括:至少一個處理器,其能操作地耦合到所述至少一個記憶體儲存媒體。所述系統的所述至少一個處理器被配置為:確定白平衡變換並應用該白平衡變換到所述多個圖像中的每一個以有效產生多個經顏色校正的圖像。所述系統的所述至少一個處理器被配置為:確定自適應灰度變換並應用該自適應灰度變換到所述多個圖像中的每一個以針對所述多個圖像中的每一個提供自適應灰度強度圖像。所述系統的所述至少一個處理器被配置為:檢測和識別在所述經顏色校正的圖像和所述自適應灰度強度圖像中的一個或多個候選物件。所述系統的所述至少一個處理器被配置為:對所述自適應灰度強度圖像執行自適應閾值化操作並基於其輸出一個或多個候選物件。所述系統的所述至少一個處理器被配置為:將所述一個或多個檢測到的候選物件集群為包括一個或多個相鄰候選物件/集群的集群,且關聯指示一個或多個相鄰候選物件的集群是單個候選物件的所檢測到的候選物件的集群並且輸出一個或多個相鄰候選物件的所述集群的位置,所述位置包括包含所述一個或多個相鄰候選物件的一個或多個圖像修補。所述系統的所述至少一個處理器被配置為:定位每個單個候選物件具有最佳聚焦的所述焦平面。所述系統的所述至少一個處理器被配置為:確定在每個單個候選物件具有最佳聚焦的所述焦平面中的每個單個候選物件的屬性。所述系統的所述至少一個處理器被配置為:至少部分地基於一個或多個確定的屬性來過濾每個單個候選物件。所述系統的所述至少一個處理器被配置為:提取並輸出一個或多個圖像修補,每個圖像修補包含所述一個或多個候選物件中的至少一個經過濾的單個候選物件。
在一實施方式中,公開了一種用於確定血液中的分析物的存在的方法。該方法包括接收樣品載片的多個圖像,所述多個圖像包括:多個視場,每一個視場包括所述樣品載片的唯一的x和y座標;和多個焦平面,每一個焦平面具有所述樣品載片的唯一的z座標。該方法包括應用白平衡變換到所述多個圖像中的每一個以有效產生多個經顏色校正的圖像。該方法包括應用自適應灰度變換到所述多個圖像中的每一個以針對所述多個圖像中的每一個提供自適應灰度強度圖像。該方法包括檢測和識別在所述多個經顏色校正的圖像和所述自適應灰度強度圖像中的一個或多個候選物件。該方法的所述檢測和識別一個或多個候選物件包括:對所述自適應灰度強度圖像執行自適應閾值化操作並且基於此輸出一個或多個候選物件。該方法的所述檢測和識別一個或多個候選物件包括:將所述一個或多個檢測到的候選物件集群為包括一個或多個候選物件/集群的集群,且關聯指示一個或多個相鄰候選物件是單個候選物件的所檢測到的候選物件的集群並且輸出所述一個或多個相鄰候選物件的集群的位置,所述位置包括包含所述一個或多個相鄰候選物件的集群的一個或多個圖像修補。該方法的所述檢測和識別一個或多個候選物件包括:識別每個單個候選物件具有最佳聚焦的所述焦平面。該方法的所述檢測和識別一個或多個候選物件包括:確定在每個單個候選物件具有最佳聚焦的所述焦平面中的每個單個候選物件的屬性。該方法的所述檢測和識別一個或多個候選物件包括:至少部分基於一個或多個確定的屬性過濾每個單個候選物件。該方法的所述檢測和識別一個或多個候選物件包括:提取並輸出一個或多個圖像修補,每個圖像修補包含所述一個或多個候選物件中的至少一個經過濾的單個候選物件。
來自任意所公開的實施方式中的特徵可彼此組合使用,而沒有限制。另外,對於本發明所屬技術領域中具有通常知識者而言,本發明的其它特徵和優點通過考慮以下詳細描述和圖式將變得顯而易見。
前面的概述僅是說明性的並無意以任何方式進行限制。除了以上描述的說明方面、實施方式和特徵,進一步的方面、實施方式和特徵參考圖式和下面的詳細描述也將變得顯而易見。
[0001] 優先權申請(多個申請)的所有主題被通過引用以這些主題與本申請不相抵觸的程度併入本文。
本文所公開的實施方式涉及圖像分析系統和使用該圖像分析系統的方法。本文所公開的圖像包括任何電腦可讀格式(諸如png、jpeg、gif、tiff、bmp或任何其它適當的檔案類型)的圖像。本文的圖像分析系統和相關方法能夠解決和分析在載片上的樣品塗片(例如,厚的血塗片)的在整個豎直厚度(例如,基本上平行於顯微鏡上的光軸或z軸)和橫向部分(例如,基於x軸和y軸的尺寸)上的圖像。本文的系統和方法可以識別在不同焦平面(z-水平)上的實際上為同一物件的物件,但這些物件由於不同焦深而呈現不同或者由於相機抖動而造成具有不同的x-y座標。如下面更詳細解釋的,血塗片可使用限定血塗片的分散的橫向(子)部分的多個視場(FoV)和限定在血塗片的整個厚度上的分散(垂直堆疊的)的平面的多個焦平面進行分析。本文的圖像分析系統可以準確地識別樣品中的寄生蟲(多個寄生蟲)或其它分析物的存在以及在一些實施方式中它們的種類或階段。本文所公開的系統和方法可以在等同於或優於訓練有素的顯微鏡操作人員的操作水平下提供對於生物樣品中的一種或多種分析物的自動診斷和量化中的一者或多者。如本文中所使用的,術語“分析物”並非旨在限於特定的化學種類,而是旨在至少延伸到在進行分析的樣品中的寄生蟲(例如,瘧疾等)、血液成分或其它物件中的一者或更多者。本文公開的系統和方法提供了全面的機器學習框架,其利用包括支持向量機(SVM)和卷積神經網路(CNN)的電腦視覺和機器學習技術來檢測分析物。
本文的圖像分析系統和相關方法包括多個模組(例如,程式或演算法),該多個模組配置成執行不同的功能,以便即使在低濃度(例如,低寄生蟲血症)下和無需人工觀察的情況下也準確地判定樣品中的感染或病症的存在。該多個模組可包括預處理模組、候選檢測模組、特徵提取模組、分類模組和診斷模組。雖然為了清楚起見在此作為單獨的“模組”進行描述,但“模組”中的每一個可以是一種或多種演算法或者基於該一種或多種演算法的、儲存在至少一個儲存裝置中且可以由可操作地與其相連的處理器執行的機器可讀程式。多個模組可包括儲存在至少一個控制器(例如,電腦)的記憶體儲存媒體中或儲存在其一個或多個處理器中的分立的程式設計模組和子模組,在該一個或多個處理器中每一個具有配置為執行相關模組的功能的程式。術語“模組”和“子模組”用於區分演算法或系統的元件和子元件,並且可以根據上下文互換使用。例如,子模組也可以被稱為模組,例如當子模組被討論而不涉及子模組的父模組時。
通常,每個模組被配置成使控制器或處理器執行下面描述的功能。雖然通常為便於理解而直接在下面描述功能的高級概況,但每個模組的具體方面在以下更詳細公開。
圖像預處理模組可以生成多個圖像的自適應白平衡的彩色圖像和自適應灰度強度圖像,包括樣品載片的多個視場和多個焦平面(例如,多個焦平面中的每一個基本上垂直於光軸)。候選檢測模組可以至少部分地基於圖像中的候選物件的一個或多個屬性(例如,強度、顏色類型、焦點水平或其它屬性)來識別一個或多個候選物件、基於相同屬性來識別並排除一個或多個偽像(例如,樣品中的如非寄生物件(包括白血細胞)之類的非分析物物件),並且可以提取含有每個候選物件的經顏色校正的圖像修補和自適應灰度強度圖像修補。特徵提取模組可以識別和輸出特定圖像中的一個或多個候選物件的一個或多個資料集(例如,特定的FoV及其焦平面的一個或多個向量)。特徵提取模組可以將所述識別建立在手動功能的基礎上,該手動功能包括候選物件的一個或多個最佳聚焦得分(focus score)、在視場中的橫跨焦平面的焦點得分的標準差(或其它離散測量)、或紅移得分。特徵提取模組可以至少部分地基於一個或多個自動特徵來另外地或替代地識別和輸出一個或多個圖像,該一個或多個自動特徵包括陽性樣品、陰性樣品或兩者的電腦習得的屬性(例如,通過卷積神經網路習得的一個或多個向量)。分類模組可被配置成至少部分地基於由已知的陽性和陰性樣品習得的權重(例如,包括寄生蟲的存在、類型、階段或種類)來判定所提取的特徵是否具有高機率得分(表明分析物或偽像存在)並且確定樣品中的分析物(例如,寄生蟲蟲體)的濃度的估計值。
下面的數學符號將被用在整個本公開中所公開的演算法中使用的方程式中。斜體小寫或大寫字母代表標值(例如,
Figure 02_image001
)。粗斜體小寫字母表示列向量(例如,
Figure 02_image003
)。粗斜體大寫字母表示矩陣(例如,
Figure 02_image005
)。上標T表示矩陣轉置(例如,
Figure 02_image007
)。圖像平面座標被稱為
Figure 02_image009
,並且在垂直方向上的座標,即,平行於光軸的座標被稱為
Figure 02_image011
本公開的圖像分析系統接收作為輸入的一系列的從高解析度圖像捕捉設備(例如,高解析度顯微鏡)獲取的生物樣品的圖像,並產生作為輸出的涉及一種或多種分析物(例如,如寄生蟲之類的病原體或如血液成分之類的天然存在的組分)的存在、種類以及計數的有關生物樣品的狀態的診斷資訊。
在一個實施方式中,生物樣品包括樣品的顯微鏡載片(例如,血塗片),並且本文的圖像分析系統分析一個或多個所捕獲的樣品載片圖像,以判定在其中存在或不存在一種或多種分析物(例如,瘧疾寄生蟲)。本文的圖像分析系統分析樣品載片以用於識別分析物的存在、計數和種類。雖然本文所公開的系統和方法不限於與血塗片一起使用,但血塗片將貫穿本公開用作實施例來說明構思,並且應該理解的是,本公開適用於其它生物樣品而沒有限制。
在一個實施方式中,在對於其中的一個或多個分析物(例如瘧疾)進行病理組織診斷之前,血塗片用Giemsa染劑進行染色。Giemsa染劑是亞甲基藍、曙紅Y和天青B的組合;它將紅細胞(紅血細胞,下文中稱為“RBC”)染成粉色,將白血細胞細胞核(白血細胞,下文中稱為“WBC”)染成深品紅色。瘧疾寄生蟲細胞核也將染成品紅色,但在外觀上不像白血細胞細胞核那樣暗。瘧疾寄生蟲細胞質會輕度染色到中等藍色。本文所公開的系統和方法不限於檢測瘧疾,但瘧疾將貫穿本公開作為實施方式示例使用以說明構思,並且應該理解的是,本公開也適用於其它分析物而沒有限制。此外,可使用對在所檢測的分析物進行補充的其它染劑和染色方法。例如,合適的染劑可以包括Field染劑、Jaswant Singh Bhattacharya(JSB)染劑、Leishman染劑等等。
在一個實施方式中,本文的系統和方法可以用來至少部分基於分析物的形狀、顏色或大小來檢測和量化樣品中的分析物的數量。在一些實施方式中,分析物可以有超過一個的構象或外觀。本文的系統和方法可被構造成檢測或量化分析物的一種或多種構象、類型、或種類。作為一個實施方式示例,人類的瘧疾寄生蟲屬於五種不同瘧原蟲屬:惡性瘧原蟲,間日瘧原蟲,卵形瘧原蟲,三日瘧原蟲和諾氏瘧原蟲。這些種類中的每一種類的個體在其生命週期中都經歷一系列複雜的階段。在每個階段,寄生蟲呈現出不同的物理外觀,本文的系統和方法可以檢測並識別來自五種不同種類中的每一個的寄生蟲。
圖1是美國國立過敏和傳染病研究所(National Institute of Allergy and Infectious Diseases)的瘧疾生命週期慣例示意圖。圖1的右側示出了發生在在蚊子體內的瘧疾寄生蟲的生命週期中的階段。該圖的左側示出了受感染的人體內的各個階段。在蚊子體內,瘧疾寄生蟲以配子體(雌性和雄性兩者)開始。該配子體繁殖以形成配子,該配子最終發展和繁衍成子孢子。子孢子遷移到蚊子唾液腺。當蚊子叮咬人類時,子孢子進入血液流並行進到肝且感染肝細胞(hepatocytes,liver cells)。子孢子繁殖成裂殖子,使受感染宿主的肝細胞破裂並返回到血液流中。個別裂殖子感染紅血細胞並發展成環的形式,這是不成熟的滋養體。環形式發展成比較成熟的滋養體,並最終成為裂殖體。每個裂殖體將分裂成多個裂殖子,其中的每一個都尋求它自己的紅血細胞進行感染。以這種方式,生殖週期的無性部分自身重複,由示於圖1的左上方的人體血紅細胞週期所指示。有些裂殖子可發展成配子體,其如果是由正在叮咬的蚊子所注入的,將繼續寄生蟲的生命週期。
不同的種類具有不同的生命週期持續時間且具有(即使在相同生命週期階段下)獨特的物理外觀。由於治療方案在瘧疾種類之間有所不同,因此在進行組織病理學方面的瘧疾診斷時區別它們是很重要的。本公開的系統和方法可以在不同的瘧疾階段或種類(或分析物)之間自動區分。
圖2A和2B是環形寄生蟲的示意圖。環形寄生蟲通常見於外周血中。環形寄生蟲的物理外觀變化很大。環形寄生蟲通常設有一個(圖2A)或兩個(圖2B)染色質點201,其含有寄生蟲的核質。在如上所述的Giemsa染劑的條件下染色質點201染成品紅色。環形寄生蟲還採用纖細的細胞質202,其在如上所述的Giemsa染色的條件下輕度染色成中等藍色。染色質點201通常直徑約為1微米,整個環形的直徑為約3微米。本文的系統和方法可用於識別或量化約200納米或更大的分析物,例如為約200納米至約100微米、約500納米至約10微米、約1微米至約5微米或小於約50微米的分析物。在一個實施方式中,為了獲得這樣小的物件的高品質的圖像,使用具有高解析度鏡頭的顯微鏡。例如,合適的高解析度顯微鏡可以包括具有數值孔徑(numerical aperture)大於或等於約1.2的油浸100倍的物鏡。顯微鏡可以配備有數位圖像擷取裝置,諸如照相機。本文的高倍率光學系統的景深(depth-of-field)可為約0.35微米或更小(例如,0.3微米,0.2微米,0.1微米,或者介於任何前述數值之間的範圍),而血塗片可以比這厚幾倍。在多個實施方式中,針對每個FoV捕獲多個焦平面,以捕獲寄生蟲的可豎直地定位於血塗片的底部和頂部之間的任何位置處的聚焦圖像。每個FoV所捕獲的焦平面數量被指定為
Figure 02_image013
圖2C是根據一個實施方式的多個圖像301的示意圖。多個圖像301成多行和成多列地配置。圖像的行和列共同限定血塗片或其他樣品載片。例如,血塗片可以基本上完全由在y行、x列和z焦平面的集合中排列的多個圖像捕獲。所捕獲的FoV的數量被指定為 。每個FOV的橫向範圍(例如,x和y範圍)是由鏡頭的放大倍數或成像裝置的圖像感測器大小中的一者或多者所限定。血塗片的給定尺寸可能需要多個FoV以為本文目的提供合適的圖像解析度。每個FoV可具有多個與之對應的焦平面圖像。例如,在多個圖像中對應於x、y座標的FoV可以包括對應於焦平面數量的z焦平面圖像,在所述焦平面,圖像在相應FoV被捕獲。即,對應於FoV的特定圖像可由唯一的x和y座標指定,焦平面可由FoV中的唯一的z座標指定。每個圖像(例如,特定的FoV和焦平面)在其中可以包含多個圖像修補。圖像修補是FoV的橫向分段(在特定的焦平面),該FoV的橫向分段在其中具有一個或多個候選物件並限定血液載片的更小分段。本文所公開的系統和方法利用包括nxy 個FoV和nz個焦平面的多個圖像來識別和量化樣品中的分析物。
在一些實施方式中,本文的由顯微鏡捕獲的FoV的大小可以在10,000平方微米或以上(例如10,000平方微米至約20,000平方微米)的量級。在一些實施方式中,本文的由顯微鏡捕獲的Fov的大小可小於約10,000平方微米(如1000平方微米至約10,000平方微米)。約10,000平方微米的FoV對應於在厚的血塗片樣品中的約3x10-4 微升的血液。在瘧疾患者的具有100個寄生蟲原蟲/微升的血塗片的FoV中寄生蟲的數量將是泊松分佈的,每個FoV平均具有3×10-2 個寄生蟲。
在一些實施方式中,300個FoV或更多個可以被捕獲以實現充分統計,以用於在低寄生蟲血症下的寄生蟲的可靠檢測和計數。例如,約300至2000個FoV可以被捕獲或約500至1000個FoV可以被捕獲。在一些實施方式中,300個FoV或更少可以被捕獲以實現充分統計,以用於在低寄生蟲血症下的寄生蟲的可靠檢測和計數。例如,約10至300個FoV可以被捕獲或約50至200個FoV可以被捕獲。用於特定分析物的最低可檢測的原蟲水平被稱為檢測限(LoD)。一般來說,所捕獲的FoV數量越多,則LoD越低。
前面的段落提供了作為本文所公開的圖像分析系統的輸入的圖像的特徵的概述。
圖3A是根據一個實施方式的自動檢測和量化樣品中的一種或多種分析物的系統300的多個模組的示意圖。模組可以是共同配置為判定寄生蟲在樣品中的存在的演算法或包括該演算法的控制器(例如,電子儲存在其中)。圖3B和3C分別是輸入到系統300的模組中的多個圖像301和該模組的輸出圖像311的示意圖。
參照圖3A,一個或多個模組包括圖像預處理模組310、候選物件檢測模組320、特徵提取模組330、物件分類器模組340和診斷模組350。如以上所指出的,本文的模組和子模組可以是指儲存在至少一個記憶體儲存裝置(例如,電腦硬碟驅動器)並且可通過可操作地連接到其上的至少一個處理器執行的一個或多個演算法和機器可讀程式。本文所描述的模組和子模組類似地可指的是自動檢測和量化樣品中一種或多種分析物的方法。
輸入到系統中的輸入301可以包括樣品載片的一個或多個FoV圖像。存在
Figure 02_image015
個FoV,其中每一個包括
Figure 02_image017
個焦平面,每個焦平面包括紅色、綠色和藍色通道圖像(如在圖3B中所示)。
在圖3A所示的實施方式中,系統300可以接收作為輸入的在圖像預處理模組310的多個圖像301。多個圖像301可以包括多個FoV和針對每個FoV的多個焦平面。圖像預處理模組310可以輸出多個輸出圖像311,包括經顏色校正的圖像和自適應灰度強度圖像。多個經顏色校正的圖像和自適應灰度強度圖像可以在候選物件檢測模組320和特徵提取模組330作為輸入被接收。候選物件檢測模組320接收經顏色校正的圖像和自適應灰度強度圖像,並輸出包含候選物件及其所有
Figure 02_image018
個焦平面的經顏色校正的R、G、B圖像修補321。特徵提取模組330接收作為輸入的經顏色校正的R、G、B圖像修補321(基於在輸出圖像311中的多個經顏色校正的圖像和自適應灰度強度圖像)。特徵提取模組330提取並輸出在經顏色校正的R、G、B圖像修補321中的候選物件的特徵向量331和自適應灰度強度圖像修補。特徵向量是表示物件的數值特徵的多維向量。在其它方面,特徵向量是代表包括描述物件的一個或多個特性(例如,顏色,大小,位置等)的一個或多個變數的向量。物件分類器340接收特徵向量331作為輸入和輸出的分類物件資料341,其對應於每一個作為分析物或偽像的候選物件類別。在診斷模組350,分類物件資料被接收作為輸入,該診斷模組350判定並提供對樣品的診斷。診斷模組可以輸出診斷351和分析物(例如,寄生蟲原蟲)的相對濃度。圖像分析系統模組310、320、330、340和350中的每一個在下文中被詳細描述。
A. 圖像預處理模組
被組織染色(例如,用Giemsa染劑)的顯微鏡載片通常在載片內部(載片內)和在來自不同試樣的載片之間(載片間)呈現顏色變化。這種顏色變化可由染劑的pH和染色過程的持續時間的差異所導致。未校正的、這些顏色差異可能會降低其用途在於檢測和分類圖像中的感興趣物件的圖像分析系統的操作性能。
白平衡技術可以用於標準化圖像中的顏色。白平衡技術可以按如下計算線性顏色變換。圖像中最亮像素的平均顏色被計算並表示為紅-綠-藍列向量:
Figure 02_image019
其中,R,G,B分別為紅色通道、綠色通道和藍色通道的像素值。總和為最亮像素,N是包括在總和中的像素個數。
對角變換矩陣A按下式計算:
Figure 02_image020
像素
Figure 02_image021
的經顏色校正的值
Figure 02_image022
是通過等式1限定的線性變換獲得:
Figure 02_image023
其中,
Figure 02_image024
被選擇以使得經顏色校正的像素值是位於範圍[0,k]內;k通常被選擇為1或255。從此點開始,在本公開中,為簡化注釋,素數
Figure 02_image026
R G ’、 B 將被捨棄而由
Figure 02_image028
R G B 取代,意味著經顏色校正的值是預定的。
如上所述,在一些實施方式中,對於每個血液樣品,至少300個量級的FoV可以被捕獲。不是所有的這些圖像將包含白色部分,因此,對每個單獨的FoV圖像進行白平衡會導致顏色失真。為了解決該問題,通過在顯微鏡載片的白色部分上單獨獲取一個或多個圖像來判定白平衡變換是可行的。然而,這引入了額外的掃描步驟到工作流。
本文的系統和方法避免由迫使每個FoV根據自身最亮像素進行白平衡而引入的顏色失真。本文的系統和方法還免於需要作為額外步驟的額外地掃描載片中的清晰區域。
圖3A中的圖像預處理模組310可以被配置成通過跨多個FoV累積最亮像素來判定對樣品進行白平衡變換。圖4示出了圖像預處理模組310的方塊圖。在一個實施方式中,輸入FoV圖像301的總集的子集401在子模組400被隨機選擇。在FoV圖像401的子集中的FoV的數量是足夠大,以便在像素集合中包括清晰區域的機率接近1。使用由在等式2中的公式所定義的經顏色校正的紅色通道、綠色通道、藍色通道的像素值的加權和,通過子模組410,FoV圖像401的子集被轉換為標準的灰度強度圖像411:
Figure 02_image029
其中,
Figure 02_image030
為像素的標準灰度強度值。
使用灰度強度值;在子集411中的最亮像素451的採樣的紅色值、綠色值和藍色值是通過子模組450選擇並被儲存在資料記憶體(例如,記憶體的儲存媒體)中。子模組460根據所儲存的來自最亮像素451的採樣中的每一個的紅色、綠色、藍色的值來計算白平衡變換461。白平衡變換參數461可以被保存在資料儲存中。子模組470應用白平衡變換到輸入圖像301,以產生經顏色校正的FoV圖像471。白平衡變換演算法及其相關參數在本文中被詳細描述。
圖像預處理模組允許等式1中的變換矩陣的一般仿射矩陣。
Figure 02_image032
在一個實施方式中,仿射矩陣A 是旋轉矩陣(也記作A )。
如上所述,向量 是最亮像素451的採樣的平均色。這些像素被示出在圖5中的紅、綠、藍的像素值空間中。白色是由白色向量
Figure 02_image034
表示。白平衡變換通過使向量
Figure 02_image036
圍繞垂直於白色向量
Figure 02_image038
和平均色向量
Figure 02_image036
兩者的軸向量n旋轉到向量 的旋轉來限定。圖5是在紅軸、綠軸和藍軸的色彩值空間內的向量
Figure 02_image036
Figure 02_image038
n 之間關係的示意圖。旋轉軸向量n 可以通過使用叉積的系統來計算:
Figure 02_image040
旋轉矩陣A可以通過使用以下等式3的系統來計算:
Figure 02_image041
在等式3中,
Figure 02_image043
是在旋轉軸n 方向上的單位向量,其中,
Figure 02_image045
表示標準的L2 範數。向量
Figure 02_image047
Figure 02_image049
之間的角度 的餘弦可以通過點積
Figure 02_image050
來計算,其中
Figure 02_image052
Figure 02_image054
再次參照圖3A,圖像預處理模組310可以補償在輸入圖像301中的以上所概述的顏色變化並且輸出包括經顏色校正的FoV圖像和自適應灰度強度圖像的多個輸出圖像311,每一個都包括在其中的一個或多個焦平面。在圖像分析系統300的處理流水線的下一個階段是候選物件檢測模組320。候選物件檢測模組320被配置為查找有可能為分析物(例如,瘧疾寄生蟲)的圖像位置。為了找到這樣的潛在分析物的位置,候選物件檢測模組320可以使用多個輸出圖像311中的多個自適應灰度變換圖像和多個經顏色校正的(例如,經白平衡變換的)圖像。多個輸出圖像311包括多個自適應灰度變換圖像,而多個經顏色校正的圖像可由圖像預處理模組310確定並輸出。
候選寄生蟲細胞核可以通過應用暗閾值(dark threshold)到標準灰度強度圖像來檢測,其是通過式2中所示的加權和來計算的。 該加權和可被視為先前介紹的且在圖5中示出的紅色、綠色和藍色像素空間的投影。 投影是在由等式4所定義的向量的方向上:
Figure 02_image056
將像素的紅色、綠色和藍色值作為列向量
Figure 02_image057
,等式2中的灰度投影可以被寫成
Figure 02_image059
。為了檢測候選寄生蟲細胞核,暗閾值可被應用到每個像素的標準灰度強度圖像強度
Figure 02_image061
,然後,一個或多個區域、顏色以及形狀篩檢程式(例如,候選物件簇)可被應用到通過應用暗閥值檢測到的斑點(blob)。標準暗閾值是至少部分地基於候選物件的每個像素的灰度強度和背景或樣品中存在的其它非分析物像素的灰度強度之間所確定的差異來作用的篩檢程式。因此,標準的暗閾值可以被用於過濾(選擇或刪除)不超出(例如,之上)暗閾值的像素。
上面提到的技術,用於檢測候選寄生蟲細胞核的敏感性和特異性的性能是有限的。儘管總體趨勢寄生蟲細胞核是深色的,而背景是淺色的,但在寄生蟲細胞核和背景灰度像素值之間的重疊很大。圖6A示出了背景像素601、白血細胞細胞核像素602和寄生蟲細胞核像素603的灰度強度長條圖。寄生蟲細胞核和背景灰度強度值之間的重疊在圖6A中被示為交叉陰影線區域604。
使寄生蟲細胞核和背景灰度強度值之間的重疊最小化增強本文的檢測演算法的靈敏度和特異性的性能。本文的系統和方法確定(例如,習得)和應用自適應灰度投影向量 ,取代等式4中定義的標準灰度投影向量
Figure 02_image063
。 這些確定可以使用機器學習技術來完成。這樣的應用可以提供對應於白血細胞細胞核像素和分析物(例如,瘧疾寄生蟲)像素的灰度強度值與對應於背景像素的灰度強度值的更大分離。
本文所公開的重疊的最小化利用容易在標準灰度強度圖像中檢測並且類似於寄生蟲細胞核質進行染色的血液成分的存在。
在Giemsa染劑下,如上所述,環狀寄生蟲的核質染色成品紅色。具體地,核質在一般情況下比周圍的背景物質更暗,該背景物質包括已通過在Giemsa染色過程中使用的水的作用被裂解的紅血細胞(RBC)物質以及如血小板之類的其它血液成分。這種背景物質可以染色從淺粉色到中藍染色的寬顏色範圍。除了寄生蟲(如果血液被如此感染的話),裂解的RBC和血小板;WBC在血塗片中是無處不在的。如上所述,WBC細胞核在Giemsa下染色成深品紅色,與寄生蟲細胞核質相同的顏色,但經染色的WBC細胞核在大多數情況下比經染色的寄生蟲細胞核更暗,因為它們較大並吸收更多的光。 WBC細胞核比較容易檢測和分類,因為他們較大、形狀規則且顏色為深品紅色。因此,在一些實施方式中,WBC細胞核可以作為寄生蟲細胞核的易於檢測的類似物。本文的系統和方法應用暗閾值到標準灰度強度圖像,隨後通過區域、顏色或形狀濾波器中的一個或多個以足夠高的敏感性和特異性而得到WBC細胞核。
再次參照圖4中的圖像預處理模組的示意圖,WBC檢測器子模組420使用上文概述的直接的WBC檢測演算法被應用於灰度FoV圖像的子集411,由此產生指示哪些圖像像素是WBC細胞核的部分的一系列二進位圖像421。子模組430累計所檢測的WBC細胞核像素431的R G B 值的隨機樣品並將它們儲存在資料記憶體中。不屬於WBC的部分的像素被分類為潛在的背景像素。暗像素被從背景像素排除,以避免背景像素受到寄生蟲細胞核像素(因為它們太小而不能由WBC檢測器檢測到)或者來自對應於染色偽像(例如,RBC,血小板等)的暗區的像素任一者的污染。本文的系統和方法可以包括子模組440,該子模組440可累計合格的背景像素441的隨機樣品並儲存這些隨機樣品在資料記憶體中。
WBC細胞核像素值431和背景像素值441可通過機器學習演算法(或模組)來用於確定優化WBC細胞核和背景之間的分離的自適應灰度投影向量
Figure 02_image065
(在紅色、綠色、藍色像素值空間內)。在一個實施方式中,脊迴歸(ridge regression)技術可以用於(例如,通過至少一個處理器被儲存在至少一個記憶體儲存媒體中)來習得最優向量
Figure 02_image065
。在一些實施方式中,設計矩陣X可以通過如根據下面的矩陣堆疊用於WBC細胞核和背景像素的紅色、綠色和藍色值來進行構造:
Figure 02_image067
其中,N 是WBC細胞核像素的數目,M 是所累計的背景像素的數目。對應的目標變數η向量可以被構造為在M 個0上面堆疊N 個1,如根據下面的矩陣:
Figure 02_image069
在一些實施方式中,脊迴歸旨在尋找使具有由下面等式5所定義的公式的L2 -正規化的優化問題最小化的向量
Figure 02_image065
Figure 02_image070
其中c是適當選擇的正規化常數。本文的方法和系統可以使用被用來通過具有公式
Figure 02_image071
的投影計算自適應灰度強度
Figure 02_image073
的自適應灰度方向向量
Figure 02_image065
如圖6B所示,使用自適應灰度強度圖像代替標準灰度強度圖像致使WBC細胞核和背景灰度強度值之間的分離比在標準灰度強度圖像發現的分離更大,因而也導致在寄生蟲細胞核和背景灰度強度值之間的更大分離。用於自適應灰度強度圖像的背景像素611、WBC細胞核像素612和寄生蟲細胞核像素613的灰度強度長條圖被示於圖6B中,其中,可以看出重疊區域614相比於在圖6A中的使用標準灰度強度圖像確定的重疊區域604顯著降低。
在一些實施方式中,多項式迴歸可以用於代替如上描述的線性迴歸。多項式迴歸是線性迴歸的延伸,並允許目標變數η向量和一個或多個預測器變數(例如,ξ )之間的非線性關係。例如,多項式迴歸可通過本文的方法和系統被用來尋找目標變數η和二階多項式預測器變數ζ之間的線性關係。在一個實施例中,二階多項式預測器變數ζ可以由以下等式6來限定。
Figure 02_image075
在一些實施方式中,高階多項式可摻入用來確定自適應灰度強度的迴歸中,以提供自適應灰度強度圖像。這個理念可以進一步推廣到包括為R G B 值的有理函數的預測器變數組分。在一個實施方式中,24-組分的預測器變數ζ可以被用來確定自適應灰度強度以提供使背景像素和WBC和分析物像素之間的強度值更大分離的自適應灰度強度圖像。在一個實施方式中,24-組分的預測器變數ζ可具有由以下等式(7)所定義的公式:
Figure 02_image076
其中,
Figure 02_image077
為適當選擇的常數,以防止比值的分母消失。在其它實施方式中,使用R、G、B成分的其它非線性函數。在目標和預測器變數之間引入非線性關係用作進一步增強在自適應灰度強度圖像中寄生蟲細胞核像素和背景像素之間的分離。一些正規化形式用於上面公開的迴歸計算。正規化用來抵消預測器變數ζ的成分之間的多重共線性的負面結果。在各種不同實施方式中,正則迴歸技術是從以下中選出的:脊迴歸,套索迴歸,主成分迴歸和偏最小二乘迴歸。
再次參照圖4,子模組480計算預測器變數ξ或ζ和目標變數η之間的迴歸模型。迴歸模型481的參數可被儲存在資料記憶體中且由子模組490使用,與輸入圖像301一起,來計算自適應灰度強度圖像491。經顏色校正的圖像471與自適應灰度強度圖像491是圖像預處理模組310的輸出圖像311(圖3A和3C)。輸出圖像311包括nxy 個FoV,每個FoV包括nz 個焦平面,每個焦平面包括經顏色校正的紅、綠和藍成分的圖像(多個)以及自適應灰度強度圖像(多個),如圖 3C所示。
如前面提到的,位於FoV中的寄生蟲可以是在所捕獲的nz 個焦平面中的任一個中的最佳聚焦。圖7是根據一個實施方式的具有多個焦平面的不同FoV中的圖像的並排比較圖,其中一個FoV包括寄生蟲,另一個FoV包括偽像(artifact)。圖7示出了具有多個焦平面的FoV的並排比較,一個FoV包括分析物(例如,寄生蟲),另一FoV在其中包括偽像(例如,血小板)。本文的圖像分析系統組態成針對每個輸入FoV檢查所有焦平面以尋找潛在寄生蟲的位置。寄生蟲的外觀在每個焦平面圖像中將不同。每個FoV可以包括1個或更多個焦平面(例如1個、2個、3個、4個、5個、6個、7個、8個、9個或超過9個焦平面)。圖7的左列示出了在一個實施方式中具有nz =7個焦平面(例如,七個不同的焦平面)的含有寄生蟲的FoV的一小部分。在一些實施方式中,指示候選物件的像素中的一個或多個集群(例如,斑點或多個斑點)可以在一個或多個焦平面中在寄生蟲的附近進行檢測,如通過在針對每個焦平面的自適應灰度強度圖像上應用閾值來進行。以此同樣的方式,候選物件可以在比背景暗的偽像附近例如在血小板的附近進行檢測。圖7的右列示出了包含不是寄生蟲而是偽像(例如,它可以是血小板或染劑集合)的候選物件的FoV的一小部分。
B. 候選物件檢測模組
圖8A是也示出在圖3A中的候選物件檢測模組320的示意圖。輸出圖像311(例如,設置經顏色校正的RGB和自適應灰色圖像)被輸入到候選物件檢測模組310。候選物件檢測模組310可包括每個如下所述配置的多個子模組。子模組810可以在自適應灰度圖像上執行閾值化操作和輸出一個或多個檢測遮罩811。子模組820可被配置成關聯所檢測的指示彼此接近(在<x, y>圖像座標中)的候選物件的像素集群(以下稱為“斑點”)為候選物件的一部分並且輸出物件集群821的位置。子模組830可以配置成通過以用於包含檢測到的候選物件的圖像修補(例如,其中具有候選物件的FoV的節段)的最高聚焦得分確定焦平面來為每個候選物件或其一部分尋找最佳聚焦831的平面。子模組830可以針對每個候選物件判定、選擇和輸出具有最高聚焦得分831的一個或多個焦平面。在一個實施方式中,Brenner得分可以被用來尋找最佳聚焦831,這是由z 表示。其它聚焦得分可以用在其他實施方式中。在圖7所示的實施方式中,z =5是用於其中左列內的候選物件(寄生蟲)的最佳焦平面。用於在圖7的右列中的候選物件(偽像)的最佳焦平面為z =4。子模組830還識別在最佳焦平面中的最暗斑點,並判別(例如,確定、假定或至少暫時分配)這個斑點表示感興趣的候選物件。在另一個實施方式中,最圓斑點被分配為代表感興趣的候選物件。越圓的斑點可以更緊密地對應於瘧疾寄生蟲或其部分(如細胞質或細胞核)。在各種不同的實施方式中,其他屬性或屬性的組合被用於選擇代表性斑點。在圖7的兩列中,斑點中心都是由十字標示,分別為z =5和z =4。
參照圖8A,子模組840被配置成針對每個候選物件確定(例如,計算)主要斑點的屬性841。屬性(如面積、圓度、灰度強度等)是由子模組840計算。子模組850可被配置為至少部分地基於所確定的屬性來過濾候選物件。至少部分基於所確定的屬性來過濾候選物件減少了如在851所示的候選物件集合中的偽像數量。子模組850可以配置為或包括偽像分類器,該偽像分類器被配置為至少部分地基於一個或多個屬性對候選物件進行評分。子模組850可以被配置為基於本文所公開的任何所確定的屬性中的一個或多個來確定用於候選物件的得分,諸如與至少部分地基於一個或多個候選物件的一個或多個特性(強度,顏色,形狀,大小等)該候選物件是分析物的可能性相關的得分。子模組850可以被配置為丟棄具有低於閾值得分的得分的候選物件。
子模組850的偽像分類器可以利用其地面實況(ground truth)個體(如分析物或非分析物)通過標注過程已知的物件圖像進行預訓練,由此寄生蟲被人類專家預先標記。標注過程儲存大量寄生蟲的<x,y>位置和最佳焦平面。接近已知寄生蟲位置的候選物件被認為代表寄生蟲。不接近已知的寄生蟲位置的候選物件被認為代表偽像。已知寄生蟲和偽像的屬性和地面實況類別被用於預訓練偽像分類器850。在一個實施方式中,偽像分類器被配置為非線性核SVM。在其它實施方式中,使用其它分類器。子模組860可以被配置為提取並輸出經過濾的候選物件的圖像修補861。圖像修補861是包含候選物件的經色彩校正的RGB圖像和自適應灰度強度圖像的小部分。這些圖像修補861(圖3A中的321)被輸出到特徵提取模組,該特徵提取模組被示於圖3A中的方框330。
以下參照(圖8B-8G)公開了候選物件檢測模組的其他方面。例如,本公開的系統和方法可以用於檢測非常小並且包括圖像中的總像素的可忽略比例(例如,10%或更少,5%或更少,或者2%或更少)的部分的物件。本公開的系統和方法可以計算空間變化/自適應閾值(對於灰度強度),其通過越過(riding)噪底來避免高雜訊區域中的假陽性檢測,並且其通過將灰度強度閾值降低來回應於低噪區域以實現低雜訊區域中的最大靈敏度。本文公開的系統和方法不依賴於大的暗的物件(諸如WBC(或明亮的物件))的存在來推斷合理的閾值;同時考慮已知的大的暗的物件,例如WBC(或明亮的物件),以避免它們扭曲空間變化噪底的計算。以下參照(圖8B-8G)公開了候選物件檢測模組的其他方面。
圖8B是圖3A和8A的候選物件檢測模組320的斑點檢測子模組810的示意圖。斑點檢測子模組810可以接收一個或多個輸出圖像311(例如,來自圖像預處理模組310的自適應灰度強度圖像)作為輸入;和一個或多個二進位圖像421(例如,來自圖像預處理模組310),諸如WBC檢測輸入(例如遮罩)。輸出圖像311和二進位圖像421的自適應灰度強度圖像由斑點檢測子模組810的閾值確定子模組812接收。基於在自適應灰度強度圖像和二值圖像421上執行的操作的數量,閾值確定子模組812可以輸出每個圖像修補和/或圖像的FOV的自適應灰度(強度)閾值。從閾值確定子模組812輸出的自適應灰度(強度)閾值可説明確定斑點是否是圖像的候選物件、WBC、背景或任何其他方面。然後通過斑點識別子模組814應用自適應灰度強度閾值以檢測並定位從斑點識別子模組814輸出的斑點(例如,候選目標集群)作為一個或多個(候選目標)檢測遮罩811。
灰度強度圖像或其部分(例如,FoV或圖像修補)的典型背景可以包括染色和其他雜訊(例如,諸如血小板、部分裂解或未裂解的紅血細胞、染色聚集體之類的偽像)。候選寄生蟲細胞核(例如,候選物件)通常比來自染色載片的圖像中的背景更暗。因此,它們可以通過將灰度閾值應用於灰度強度圖像或等效地通過將亮度閾值應用於反轉灰度強度圖像來檢測。這些暗度和/或亮度閾值可以表示為灰度強度閾值。貫穿本公開,可以採用反轉灰度強度圖像的慣例。因此,可以將亮度閾值應用於反轉灰度強度圖像以檢測潛在的寄生蟲位置。
灰度強度閾值的值對於由圖像分析系統或技術實現的檢測靈敏度可能是關鍵的。然而,整個圖像、FOV和/或圖像修補的單個灰度強度閾值會導致誤報和遺漏寄生蟲(例如,不容易與背景區分的寄生蟲)。這樣的誤報和/或遺漏寄生蟲可能是由於圖像、FoV或圖像修補的特徵和內容的局部變化(例如背景的一種或多種顏色或灰度強度的變化,或WBC和/或RBC的存在)而導致。
具有選定值的局部灰度(強度)閾值可以將圖像像素有效地劃分為兩個類別之一:具有等於或低於閾值的灰度強度的像素或具有高於閾值的灰度強度的像素。取決於圖像的亮度是否已反轉,等於、低於或高於閾值的灰度強度可指示像素是背景的一部分或候選物件的一部分。此外,當WBC被計入圖像或FoV的整體灰度強度的計算中時,計算的灰度強度閾值可能太暗或太亮而不能提供可靠的候選物件檢測,尤其是在目標寄生蟲的低群體水平下。
在本文公開的圖像分析應用和系統中,高雜訊區域可受益於高灰度強度閾值,以避免可能由該區域中的偽像觸發的誤報。而低雜訊區域可受益於低灰度強度閾值(例如,低於高灰度強度閾值)以向候選物件(例如寄生蟲)提供相對較高的靈敏度。應用於圖像的所有FoV或圖像修補的單個全域閾值可能是圖像中高雜訊區域和低雜訊區域的衝突需求之間的折衷。應用於圖像、FOV或圖像修補的單個全域閾值可能由於圍繞候選物件和偽像的局部靈敏度的損失而導致一些誤報和遺漏候選物件(例如寄生蟲)。
一些閾值技術假定FoV或圖像修補中的像素的雙峰分佈,諸如閾值以上的類別或群體和閾值以下的類別或群體,並且基於雙峰群體計算閾值。這樣的技術可以最小化類別內灰度強度變化的加權平均值,或者等同地使平均灰度強度的類別間差異最大化(在下文中稱為“簡單雙峰技術”),但是當被檢測到的寄生蟲構成圖像的一小部分(例如,小於10%、小於5%、小於2%、小於1%或小於0.5%)時,這樣的技術與本文公開的技術相比,不是準確的。例如,當要檢測的物件代表圖像中總像素總數的一小部分(例如,小於10%,小於5%,小於2%,小於1%或小於0.5%)時,這樣的簡單雙峰技術基於相對平衡的圖像內容(例如,兩類像素的相對接近的分割,例如70%:30%至50%:50%或甚至80%:20%)失去準確性或者無法識別物件。當在血液塗片的灰度強度圖像中將檢測到可能構成血液樣品的相對小部分的小瘧疾寄生蟲(與WBC相比)時,可能發生這種準確性的損失。
一些閾值化技術可以分別在等於或低於閾值或在高於閾值對每類雙峰像素類別建模,其高斯分佈的比例、平均值和方差是根據類別中的像素計算的(以下稱為“高斯雙峰技術”)。這樣的高斯雙峰技術可以選擇使模型化分佈與從灰度強度圖像自身計算出的經驗灰度強度分佈之間的誤差最小化的閾值。然而,高斯雙峰技術仍然不能識別當類別的不平衡是極端的情況下將物件與背景分離的灰度強度閾值,例如當一個類別僅包括小於總像素的10%,小於總像素的5%,小於總像素的2%,小於總像素的1%或小於總像素的0.5%,這可能是血塗片圖像上的瘧疾寄生蟲的情況。在WBC和寄生蟲出現在相同FoV中的情況下,如果其中的群體相對平衡,則高斯雙峰技術可以計算合理的閾值。然而,高斯雙峰技術依賴於WBC的存在來提供類別中的一些像素,並且WBC不出現,並且不能依賴於出現在每個圖像、FoV或圖像修補中。因此,由高斯雙峰技術確定的閾值可能不可靠。
前面提到的閾值化技術(簡單和高斯雙峰技術)僅為整個FoV計算單個恒定灰度強度閾值。在許多FoV中,可能存在有密集的偽像(高噪底)的區域和幾乎沒有偽像(低噪底)的區域兩者。本文中的“雜訊”的詞用於指示不感興趣的圖像元素(例如,諸如血小板之類的偽像,部分裂解或未裂解的紅細胞,染色聚集體等)。在本公開中雜訊也可以被稱為背景。這與大多數影像處理應用程式有些相反,其中“雜訊”一詞是指圖像中的小的不需要的元素(例如,失落像素),目的是減少雜訊並保留背景。如本文下面更詳細解釋的,“噪底”可以是視窗、圖像修補或FoV的局部中值灰度強度值(折扣WBC)。
這裡公開的系統和方法都確定每個FoV中的一個或多個視窗、圖像修補或區域的灰度強度閾值,並且這樣做並沒有將不感興趣的物件(例如,WBC)的像素資訊或特徵併入到所述確定中。例如,通過用替換中值灰度強度值替代WBC像素的灰度強度值來確定自適應灰度強度閾值(例如,FoV的多個圖像修補(例如,區域)中的每一個的單獨和獨特灰度強度閾值),該替換中值灰度強度值可以是來自整個自適應灰度強度圖像(例如,具有足夠大的群體以確保像素的平均灰度強度的準確性的隨機採樣)的像素的中值或平均灰度強度。在這樣的替代之後,使用來自整個視窗的像素的中值灰度強度來計算自適應灰度強度閾值,其包括用於取代WBC像素值的替換中間灰度強度值。局部自適應閾值可以包括在每個視窗中計算的局部中值灰度強度值,或者可以包括一些偏離選定量的值(例如,比局部中值灰度強度值亮或暗10%的值) 。下面進一步描述局部中值灰度強度值和基於其的局部自適應閾值的計算。
圖8B是根據一實施方式的圖3A和圖8A的候選物件檢測模組的斑點檢測子模組的示意圖。圖8B中所示的閾值確定子模組812可以計算局部中值灰度強度值(其可以在視窗、FoV和/或圖像修補之間變化)的準確的局部閾值,即使當要檢測的物件表示圖像中的像素的微小部分(例如,10%或更少,5%或更少,2%或更少,1%或更少或0.5%或更少)時也如此。閾值確定子模組812不依賴於FoV中WBC的存在來計算準確的或有效的閾值。FoV中存在的WBC也不會如本文所公開的那樣剔除閾值確定(例如,閾值確定計算)。閾值確定子模組812計算空間變化的閾值(例如,局部自適應閾值),在高雜訊區域中選擇高閾值,由此避免這些區域中的誤報率,同時在低雜訊區域中選擇低閾值,從而也在這些地區實現高度的靈敏度。閾值確定子模組812可以通過局部估計噪底來計算空間變化(例如,局部自適應)的閾值。
斑點檢測子模組810可以包括並執行在圖像上的多個操作以識別其中的斑點。在圖8C-8D中描繪了由斑點檢測子模組810執行的操作的示意圖。閾值確定子模組812可以確定圖像的局部自適應灰度強度閾值,如下所述。
圖8C是輸入到圖8B的斑點檢測子模組中的視場圖像。圖8C示出了血塗片圖像的FoV 870。FoV 870可以作為來自輸出圖像311的自適應灰度強度圖像和/或一個二進位圖像421被提供。圖8C所示的輸入FoV 870包含四種瘧疾寄生蟲876、878、882和886。輸入FoV 870還含有三種WBC 872、874和880。輸入FoV 870具有偽像884(例如血小板或染色劑聚集物)。另外,輸入FoV 870具有高雜訊區域871以及低雜訊區域881。
閾值確定子模組812可以通過局部地確定圖像(例如,自適應灰度強度圖像)中的一個或多個視窗890上的中值灰度強度值來估計噪底。閾值確定子模組812可以確定FoV或視窗890的全圖像或局部(例如,FoV中的一個或多個離散視窗)中值灰度強度值。例如,閾值確定子模組812可以計算(例如,確定)圖8C所示的視窗890的中值灰度強度值。圖像(例如,視窗)中的位置的中值灰度強度值可以為局部自適應閾值提供值,高於或低於該值的來自視窗內的像素強度值可以指示存在候選物件或其集群(例如,斑點)。
圖8D是圖8C的已被修改的視野輸入圖像。圖8D示出了血塗片圖像的經校正後的FoV 870'。閾值確定模組812可以從WBC檢測遮罩輸入(例如,二進位圖像421)接收關於FoV 870中的WBC 872、874和884的存在的資訊。如果輸入FoV 870包含一個或多個WBC 872、874和884,則閾值確定模組812可以用來自整個圖像的中值灰度像素強度(例如,整個圖像或其一個或多個部分的中值灰度強度,或排除具有WBC的像素的中值灰度像素強度)取代屬於WBC 872、874和880的像素,以產生校正的FoV 870'。這在圖8D中示意性地示出,在圖8D中,屬於圖8C的WBC 872、874和880的像素的灰度強度已被分別用物件892、894和896中所示的全圖像的中值灰度像素強度值替換。在校正的FoV 870'中由中值灰度像素強度替換WBC像素後,噪底或閾值估計(例如,視窗的中值像素強度估計)將不會通過提高WBC附近的閾值來回應於WBC。考慮WBC會降低對WBC附近寄生蟲敏感性的不良影響。換言之,在確定視窗的中值像素強度估計(例如,局部噪底估計)時WBC的考慮將使噪底估計偏向趨向於降低對寄生蟲敏感性的閾值(例如,寄生蟲,如在灰度強度上與WBC類似的瘧疾)。因此,閾值確定子模組812可以通過局部地確定圖像中的一個或多個視窗上的中值灰度強度值,同時減少由於存在WBC而引起的中間像素灰度強度的任何變化,來估計噪底。WBC的位置是已知的並且在WBC檢測遮罩中提供。在一些實施方式中,視窗中的至少一些可以在其中包含一個或多個候選物件(例如,斑點),並且當進行噪底估計時來自候選物件的像素有助於計算視窗的中值像素強度。例如,當計算中值灰度強度或局部噪底時,考慮候選物件中的像素的灰度強度值,因為與迄今未知的候選物件或其集群相對應的像素不對應於WBC,並因此用於計算中。在一些實施方式中,視窗中的候選物件的量可以表示像素的群體,該群體是如此小(例如,小於10%,小於5%,小於2%)以致由其確定的自適應灰度閾值不偏向於提供不準確的結果。局部噪底可用於設置或確定局部自適應灰度(強度)閾值。例如,局部噪底可以用作局部自適應灰度閾值,或者可以使用高於或低於局部噪底的一些灰度強度值作為局部自適應灰度閾值。
回到圖8C,可以確定在圖像中的多個視窗890中的一個或多個上的中值灰度強度值(對於像素)。視窗890可以在所謂的“滑動視窗濾波器”中以規則圖案定位(例如平鋪或放置)在圖像(例如,FoV)內/上。儘管可以應用滑動視窗方法來降低在圖像中的雜訊;但在本公開中,滑動視窗濾波器用於估計FoV或視窗890中的雜訊(例如,背景)。可以選擇視窗890的大小以提供期望的噪底估計樣品大小或空間解析度。例如,較大的視窗可能導致更穩健的噪底估計,但也會擴大噪底估計的空間範圍,這可能導致丟失小的低雜訊區域。相反,較小的視窗可能允許更好的空間解析度,但在噪底估計中可能不太穩健。在一些實施方式中,視窗890的大小可具有至少約10個像素的至少一個維度(例如,寬度和/或高度),諸如約10個像素至約100,000個像素,約100個像素至約10,000個像素,約10個像素至約1000個像素,小於約10,000個像素,或小於約100,000個像素。
可以選擇滑動視窗濾波器的“步幅”(例如,視窗濾波器的連續應用之間的距離)以提供選定的解析度或計算負擔。例如,可以用一個像素的步幅來計算滑動視窗濾波器,使得當計算整個視窗890的中值灰度強度值時,則視窗890向右移動一個像素,並且再次計算中值灰度強度值,等等。在實施方式中,每個局部中值灰度強度值(例如,通過替換WBC像素計算)可以與從中確定它們的相應視窗相關。一個像素的步幅可以以與原始圖像相同的解析度計算中值濾波的灰度強度圖像,但是計算負擔可能非常高(例如,高達四倍於兩個像素的步幅)。在實施方式中,步幅可以是兩個或更多像素,例如至少兩個像素,至少五個像素,至少10個像素,至少50個像素,至少100個像素,至少1000個像素或至少10,000個像素。這可以減少計算負擔,但降低濾波圖像的解析度,從而可能降低噪底估計的保真度。在一些實施方式中,當滑動視窗步幅大於一個像素時,可以將中值濾波圖像內插至輸入圖像的原始解析度。在一些實施方式中,可以回應於特定選擇的解析度或計算負擔來選擇不同的步幅。
在一些實施方式中,可以使用一個或多個視窗890來確定圖像的每個部分的中值灰度強度值(例如,針對自適應灰度閾值的噪底估計),例如圖像的每個部分的局部變化/自適應中值灰度強度(例如,噪底)。在一些實施方式中,可以使用全圖像的灰度強度值或FoV或其中的視窗的局部變化的中值灰度強度值來替換圖像中的WBC像素以確定局部自適應灰度閾值。這種技術可以通過減少由於諸如WBC之類的已知非分析物引起的變化的影響而使得能更接近地逼近圖像中的實際背景(例如雜訊)。例如,與視窗中已知的WBC相對應的像素可以用針對該視窗確定的中值灰度強度值或用全圖像的中值灰度強度值來替換。如上所述,中值灰度強度值可以在圖像或其部分上變化。類似地,所確定的局部自適應灰度(強度)閾值可以在圖像或其部分上變化。因此,用於檢測諸如血液之類的流體中的分析物的系統和方法可以將多個局部自適應灰度(強度)閾值應用於圖像的對應視窗以產生在圖像或其部分中的噪底的空間變化/自適應估計(例如,背景和候選物件的中值灰度強度值)。
可以為FoV中的每個視窗、整個FoV或整個圖像(例如,通過閾值確定模組812)估計噪底,並且噪底可以根據所討論的圖像的部分在空間上變化。中值濾波的灰度強度圖像或噪底圖像是FoV或圖像中噪底的空間變化/自適應估計的圖像。感興趣物件的像素大部分在其在圖像中的位置處可以具有高於噪底圖像的中值灰度強度值(例如,局部自適應閾值)的灰度強度值。感興趣的物件可能包括寄生蟲和WBC。可以通過從灰度強度圖像減去噪底圖像並應用閾值來檢測感興趣的物件。
斑點檢測子模組814可應用閾值(例如,局部自適應閾值)來識別FoV/圖像中的任何感興趣的物件(例如,斑點)的存在和/或位置。局部自適應閾值可包括超過或低於選定值(例如,噪底估計或高於噪底估計的量)的一些灰度或顏色強度值。例如,可以選擇局部自適應閾值來識別高於噪底的灰度或顏色強度值或高於這些值的一些值。因此,噪底圖像加上局部自適應閾值可被認為是(空間變化/自適應)閾值圖像。具有高於(例如,或低於,具體取決於圖像是非反轉灰度強度圖像)在閾值圖像中的值的灰度強度的圖像中的任何像素可被認為是感興趣的物件。換句話說,可以通過從灰度強度圖像中減去噪底圖像並且識別具有大於選定(灰度強度)閾值的灰度強度值的任何像素(例如,灰度值)來識別或檢測感興趣物件(例如,斑點)(例如,應用閾值)。感興趣物件的像素組或集群可指示一個或多個斑點的存在。斑點檢測模組814可將一個或多個視窗、FoV和/或焦平面中的像素的一個或多個組或集群識別為斑點,並輸出一個或多個檢測遮罩811,其指示斑點的位置,例如在特定視窗、FoV和/或焦平面中。斑點檢測模組814可以將一個或多個檢測遮罩811輸出到圖2的斑點集群子模組220。
圖8E是圖8C的視場圖像的像素的灰度強度長條圖900。圖8E以實線904示出了圖8C的FoV圖像的灰度強度長條圖900。長條圖900描繪了反轉灰度強度(從右到左表示為從0到1.0,其中1為100%)與像素數目(以任意單位)的關係圖。背景的灰度強度從零延伸到約0.75。長條圖中的約0.9處的凸塊908可對應於圖像870中的WBC的灰度強度值(圖8C)。圖像870中的寄生蟲的灰度強度值(圖8C)可以在從約0.3到約0.8的範圍內。因此,背景和寄生蟲的灰度強度可能會重疊。此外,因為與整個圖像相比,像素的數量可以忽略不計,所以寄生蟲在長條圖中沒有明顯的峰值。
豎直線912對應於由簡單雙峰技術計算的(恒定)閾值。可以看出,將簡單雙峰技術閾值應用於灰度強度圖像將導致大量的誤報檢測(線912右側的值),這可能使圖像分析系統不堪重負。豎直線914對應於(恒定的)高斯雙峰技術閾值。如圖8C和8E所示,高斯雙峰技術閾值的應用將成功地檢測高雜訊區域中的一個寄生蟲(例如,如圖所示,由高於約0.76(例如,高於0.76但低於約0.8)的閾值的灰度強度值指示的物件),但會完全錯過其他三個寄生蟲(例如,低於約0.76的灰度強度範圍內的物件)。
本文公開的閾值化技術可以提供能夠分辨與圖像的特定區域中的背景具有類似灰度強度的物件的局部變化閾值。例如,區域916對應於可以通過本公開的技術計算的閾值的範圍。這些是上述閾值圖像中像素的值。因此,高於以上計算的閾值圖像中的像素的值的任何值可指示感興趣物件或斑點(例如寄生蟲)的存在。
這些結果的照明視圖可以通過沿著穿過圖8C的圖像870的路徑檢查灰度強度和閾值來獲得。圖8F是穿過圖8C的視場圖像的路徑的圖示。圖8F示出了穿過圖8C的圖像870的路徑899。視窗890(圖8C)可以沿著路徑899進行追蹤以沿著路徑899產生像素的變化的灰度強度閾值確定。路徑899經過WBC 874、寄生蟲876、寄生蟲878、寄生蟲882、偽像884、和寄生蟲886。路徑899經過高雜訊區域871和低雜訊區域881。
局部自適應閾值可以根據圖像中的位置而變化。圖8F中沿著路徑899的局部自適應閾值的值在圖8G被顯示為具有可變值的線917(例如,閾值分佈)。圖8G是作為圖8F的路徑899上的位置的函數的反轉灰度強度的圖形950(當路徑899從左向右行進時,以關聯位置的任意單位)。高雜訊區域871對應於橫坐標位置965左邊的圖形950的部分,而低雜訊區域881對應於圖8G中橫坐標位置965右邊的圖形950的部分。在圖8G中的峰值974、976、978、982、984和986分別對應於WBC 874、寄生蟲876、寄生蟲878、寄生蟲882、偽像884和寄生蟲886(各自在圖8F中)。在圖8G 中,簡單雙峰技術閾值912、高斯雙峰技術閾值914、可變閾值(局部自適應閾值,示為線917處的閾值分佈並且如本文所述計算)和實際灰度強度960被示出。可以看出,簡單雙峰技術閾值912具有恒定值,其可以識別WBC 874和所有四個寄生蟲876、878、882和886,如由在簡單雙峰技術閾值912上延伸的實際灰度強度960的對應的峰值974、976、978、982和986所證明的WBC 874和所有四個寄生蟲876、878、882和886。然而,許多誤報檢測也可以由簡單雙峰技術閾值912指示(例如,因為雙峰群體中像素類別的各自群體的大的不平衡),如前所述,這可能會導致圖像分析系統出現問題。例如,對應於偽像884的峰984可能被錯誤地識別為感興趣的物件。
還可以看出,高斯雙峰技術閾值914具有恒定值,並且可以僅檢測WBC 874和寄生蟲878,如延伸超過高斯雙峰技術閾值914的峰值974和978所示出的。使用高斯雙峰技術閾值914可能導致寄生蟲876、882和886(各自在圖8F中)由於對應的峰值976、982和986低於高斯雙峰值技術閾值914而未被檢測到。
沿著圖8F的路徑899的局部自適應(灰度強度)閾值(例如,閾值圖像的灰度強度)在圖8G 中被顯示為點劃線(線917的閾值分佈)。用於圖像的特定路徑、線或視窗的局部自適應閾值可以在區域916的任何值(圖8E)之間自適應地變化。閾值圖像沿著路徑899的灰度強度值對應於線917處的閾值分佈。如圖所示,線917處的閾值分佈(以及用於確定和應用此處描述的閾值的技術)可以提供可變或自適應閾值以識別感興趣的物件(例如,斑點)(否則該物件通過簡單高斯雙峰技術閾值914將不能檢測到),並且防止超過包含的閾值雙峰技術閾值912(防止誤報);同時允許偽像884(圖8F)和/或其他非分析物(例如,非寄生蟲)作為感興趣的物件排除。
雖然線上917處設置的閾值分佈檢測到所有所需的物件,即WBC 874和所有四個寄生蟲876、878、882和886,但它也不會檢測到大量的誤報,因為它越過(ride)噪底。也就是說,線上917處設置的閾值分佈粗略地跟蹤圖像中的局部平均灰度強度。例如,可以看出,在高雜訊區域871中線上917處設置的閾值分佈的值通常高於實際灰度強度值960(例如,除了在與感興趣的物件相對應的峰值處),使得誤報在高雜訊區域871中被避免。在低雜訊區域881中,響應於該區域中的較低雜訊水平,線上917處設置的閾值分佈的值相對較低,但仍大體上高於實際灰度強度值960(例如,除了對應於感興趣的物件的峰值)。因為偽像884不存在於圖8B的二進位圖像421的WBC檢測輸入遮罩(例如,偽像884未被識別為WBC)中,因此線上917處設置的閾值分佈可以在峰984處越過(例如,延伸超過)偽像884。當確定包含偽像884的視窗的灰度強度閾值時,二進位圖像421的WBC輸入檢測遮罩中的這種不存在將導致偽像884被視為背景,由此導致越過偽像884的灰度強度值的灰度強度閾值。與極度較小的寄生蟲不同(例如,比偽像884小至少50%、75%或90%),偽像884的相對尺寸可以使灰度強度閾值確定傾向遠到足以導致線上917處設置的閾值分佈(例如,局部自適應閾值)超過偽像灰度強度。發明人目前認為,在大多數情況下,某些寄生蟲(例如,環狀瘧疾寄生蟲)沒有大到足以導致閾值確定模組812(圖8B)使局部灰度強度閾值確定傾向到足以使閾值分佈越過寄生蟲。這樣的確定可以取決於視窗和其中的偽像和/或寄生蟲的相對尺寸。例如,對應於偽像的具有大百分比像素(例如,50%或更多)的視窗可能產生越過其中的任何寄生蟲的自適應閾值。相比之下,僅具有微小量的包含寄生蟲的像素(例如,小於10%、5%、2%、1%)的窗口可能不會導致計算的自適應閾值高於對應於寄生蟲的像素的強度。相應地,可以選擇視窗的大小以提供能夠在檢測寄生蟲的同時越過偽像884的自適應(灰度強度)閾值。
回到圖8B,並且根據圖8G,斑塊識別模組814可以用於識別超過線上917處設置的閾值分佈(或局部自適應閾值)的實際灰度強度960的一個或多個峰值的存在。超過線上917處設置的閾值分佈的實際灰度強度960的一個或多個峰值可以被斑點識別子模組814識別為感興趣的物件(例如,斑點)並且作為檢測遮罩811輸出。斑點識別子模組814可以將檢測遮罩811輸出到斑點集群子模組820(圖8A),如本文所述的。
C. 特徵提取模組
圖9是也示於圖3A中的特徵提取模組330的示意圖。特徵提取模組330被配置成將每個候選物件表示為特徵向量並輸出該特徵向量。特徵向量(多個)可由圖 3A的物件分類器模組340歸類為寄生蟲(甚至為其寄生蟲的種類或階段)或偽像。如圖9所示,特徵提取模組330被配置為計算兩種類型的特徵中的至少一個。特徵可以為手動特徵或自動特徵。特徵提取模組330具有兩組輸入,一組用於手動特徵提取,另一組用於自動特徵提取。特徵提取模組330可以工作在兩種模式(手動特徵提取開啟(ON)或手動特徵提取關斷(OFF))中的一種下。在各種不同實施方式中,手動特徵提取可以是ON或OFF,而自動特徵提取一直為ON。
特徵提取的第一種方法是在電腦視場中的手動特徵提取或特徵工程(feature engineering)。這些是被有意設計成衡量候選物件的特定屬性的特徵,且在很大程度上依賴於已學習的(例如,先前已知的或預程式設計的)領域知識。
用於手動特徵的輸入901是包含候選物件的經顏色校正的R、G、B圖像修補和其所有的nz 焦平面。特徵提取模組330的子模組910賦予三個手動特徵911給特徵向量。
第一手動特徵是候選物件的最佳聚焦得分(例如,Brenner得分)。返回參考圖7,針對nz 焦平面中的每個在圖像修補區域上計算聚焦得分,最佳焦平面是具有最高焦點得分的焦平面。第二手動特徵是跨越在其中具有候選物件特徵的FoV的焦平面上的焦點得分的標準差(和/或其它偏差測量值)。這背後的動機是,一些偽像(如在試樣上的氣泡和灰塵顆粒)將在所有焦平面上具有相同的焦點得分,因為它們遠離聚焦,而環形瘧疾寄生蟲(或其它分析物)將具有包圍最佳焦平面的狹窄聚焦得分分佈,從而具有小的聚焦得分標準差。
子模組910可以被配置為提取第三手動特徵,這就是所謂的紅移得分(“紅移”在此被用作描述性的術語且與由多普勒效應所造成的紅移現象不相關)。紅移得分有助於在寄生蟲和偽像之間進行區分。紅移得分依賴於兩個概念的融合。第一個概念是光色散,其是指根據波長的折射率變化。這意味著,未校正的、簡單鏡頭將在不同焦平面(例如,距離鏡頭不同長度)處聚焦不同波長的光。
圖10A和10B是光線通過簡單鏡頭和具有消色差校正的鏡頭分別被折射到不同焦平面的示意圖。在圖10A中,在光譜的紅色、綠色和藍色部分中的三個具有代表性波長的光線被分別示出來聚焦在平面1001、1002和1003。隨著光通過簡單鏡頭1010,紅色、綠色和藍色波長折射到不同的焦平面。簡單鏡頭的焦點與波長的曲線1030被示於圖10C中,針對開始聚焦在1001、1002和1003的光線的代表性焦平面是分別由曲線1030上的點1031、1032和1033表示。
帶有消色差校正的鏡頭有助於限制由分散所造成的色像差的量。消色差校正鏡頭示於圖10B中,具有在光譜的紅色、綠色和藍色部分中的三個具有代表性的波長。消色差校正鏡頭可以包括例如為凸起狀的簡單的鏡頭元件1010(例如,冕牌玻璃元件),其安裝或結合到為凹入狀的消色差元件1020(例如,火石玻璃元件)。消色差校正鏡頭被設計成使兩種波長聚焦在同一平面上,如聚焦在圖10B中所示的平面1005。如圖所示,在一些實施方式中,兩個波長是在光譜的紅色和藍色部分。
用於消色差鏡頭的聚焦與波長的關係曲線被示出為在圖10C中的曲線1040, 用於將聚焦在1004和1005的光線的代表性焦平面在曲線1040上分別由點1044和1045表示。在圖10C中可看到,曲線1040的在光譜的紅色區域(640-700納米)中的部分比曲線1040的在藍色區域(450-500納米)的部分更加平緩地傾斜向上。因此,隨著在顯微鏡的聚焦設置朝向曲線圖的上部移動,藍色光將比紅光更快速地散焦。隨著顯微鏡焦點上移,綠光不會如光的紅色成分或藍色成分那樣迅速脫焦。這可以從圖10C中的曲線1040的底部的相對平直度看出來,其是在光譜的綠色區域。第一構思依賴於這種隨著顯微鏡聚焦調整而在光焦平面上的變化。
紅移得分所依賴的第二構思是在染色(如用Giemasa)時分析物(例如,DNA)的光吸收特性。圖11是吸收光譜1101的曲線圖,其示出了在光譜的綠色區域中的峰吸收。綠光通過亞甲藍和曙紅Y的結合的吸收在DNA存在的情況下被擴增。這意味著在含DNA(例如,細胞核)的顯微鏡載片上的材料將在很大程度上吸收綠光並傳輸紅光和藍光,這導致它們在透射光顯微鏡上成品紅色。偽像物件不包含DNA,並且因此往往在光譜的綠色部分中較少吸收。因此,偽像不會在圖像中呈現品紅。
基於上面觀察到的向上方改變顯微鏡的焦平面將使藍色波長比紅色波長更快散焦,隨後品紅物件將顯得更紅,因為光的藍色成分將已擴散到更大的空間區域,比紅光更明顯。這是紅移得分的基礎,其測量在所檢測到的候選物件的最暗部的紅色增深,這對於真正的瘧疾寄生蟲而言是寄生蟲細胞的細胞核。更加均等地透過紅色、綠色和藍色光的偽像將不會隨著顯微鏡的焦點向上移動而變得更紅,如上所述它抵消了紅色和藍色成分的紅移效應。因此,紅移得分提供了用於區分寄生蟲和偽像之間的基礎。
本文所公開的系統和方法被配置為針對紅移來分析候選物件圖像並在此基礎上提供得分。如上所述,手動特徵提取子模組910(和相關聯的顯微鏡)可以被配置為確定紅移得分。而DNA、瘧疾寄生蟲和紅色被作為例子提供,紅移得分的構思可應用於不同的顏色和分析物,而沒有限制。
由特徵提取模組提取的第二類型特徵是自動特徵,該自動特徵可以通過包括至少一個記憶體存放裝置和至少一個處理器的系統自動學習,諸如卷積神經網路(CNN)。CNN為學習代表性的多個級別的深學習模型(由電腦系統應用的)。以原始輸入層開始,每個連續層(例如,卷積、彙集、子採樣或完全連接層)代表在略微更抽象級別下圖像中的資訊。在每一層的權重(篩檢程式)使用標準學習步驟如誤差反向傳播(backprop)進行學習。在CNN中,(計算的)每一層由不同的多個神經元(處理模組)執行,並且在每個卷積層中的神經元不完全與在系統的相鄰層中的所有神經元互連。相反,在卷積層中的神經元只具有選定的與相鄰卷積層的連線性,以減少對連續卷積層執行的輸入量。在每個卷積層,卷積內核定義與在前層的神經元的連線性的區域。卷積內核有時被稱為在卷積層的神經元的感受野(receptive field)。在CNN的一個或多個最終層是具有與緊接在前的層的完全連線性的完全連接層,基於由其提供的資料有效地執行高級推理(已經在整個層被反復抽象)。在一些實施方式中,一個或多個地面實況(例如,包含已由人類專家識別的地面實況物件的圖像修補)可以被用來通過學習步驟來訓練CNN的權重。 CNN可以被儲存在具有一個或多個處理器(例如,中央處理單元(CPU)或圖形處理單元(GPU))的電腦且由該電腦執行。地面實況圖像或圖像修補可以包括已知的陽性樣品(例如,對於CNN被識別為具有所感興趣的分析物)和已知的陰性樣品(例如,對於CNN被識別為在其中沒有分析物,或在其中僅具有已知的偽像或其它非分析物物件)。因此,CNN可以從已知的分析物和非分析物種類兩者學習權重,其可以被用於識別樣品中的該權重。
在一個實施方式中,電腦視覺系統(例如可操作地連接到數位記錄器的顯微鏡)可以可操作地連接到CNN。這種系統可以在精度方面超過人力級性能。自動特徵提取子模組920可被配置為至少部分地基於權重、彙集和非線性操作的前饋應用來執行特徵提取。
由於模型的豐富性,需要大量的資料來訓練CNN。如果沒有足夠的資料可用於訓練,則可能會出現過度擬合,從而導致正則性能較差。在一些實施方式中,本文的系統和方法可以至少部分地基於訓練資料本身通過生成偽像資料來增加訓練資料量。這個過程被稱為增強。增強可以採取適用於訓練圖像的一個或多個隨機變換的形式。增強變換的實例為平移、旋轉、縮放、反射和顏色失真。
一種用於顏色失真的技術包括以下步驟。首先,計算在R、G、B顏色空間中的訓練圖像的主成分變換。特徵向量被分別以相應特徵值λ1 、λ2 、λ3 表示為p1 、p2 、p3 。三個亂數r1 、r2 、r3 是從有界分佈進行採樣,該有界分佈如具有零平均值和標準差0.1的高斯分佈。為了產生增強圖像,下面的量被添加到圖像中的每個像素:
Figure 02_image079
在CNN的訓練期間每個圖像演示採樣一次亂數r1 、r2 、r3
上述用於顏色失真的技術可導致不切實際的彩色圖像。理想的是引入產生具有現實顏色的圖像而同時提供足夠的顏色失真以避免CNN的過擬合的顏色失真方法(和用於執行該方法的系統)。這種彩色失真可以有助於歸一化由於從一個樣品到另一樣品染劑的顏色變化引起的在圖像的顏色變化。例如,在Giemsa染劑下,存在於經染色的樣品中的嗜鹼性藍和嗜酸性曙紅(紅色)的相對量取決於染劑的pH值,pH值在區域中變化。本文的通過失真方法的顏色歸一化可以實現更準確的診斷。在本公開的第二種顏色增強方法中,圖像的紅色、綠色和藍色通道(例如,成分)中的每一個都可以是伽馬非線性失真的,其也被稱為伽馬校正失真,但在這種情況下,它是被用來變換圖像的顏色而不是校正它們。伽瑪校正是通過在等式8中的以下非線性變換所定義:
Figure 02_image080
其中,
Figure 02_image081
是輸入值,
Figure 02_image083
是輸出值,並且0<γ<∞是非線性的指數,並且α是比例常數。當輸入值
Figure 02_image081
在[0,1]的範圍內時,比例常數α=1。本公開的顏色增強方法從具有零平均值和標準差σ的高斯分佈採樣4個亂數
Figure 02_image085
。隨後,γ的4個值通過關係式 進行計算,其中 是自然對數的底。經增強的紅、綠、藍和自適應灰色通道/成分圖像分別由等式9生成,具體如下:
Figure 02_image087
每次增強每個圖像採樣一次亂數
Figure 02_image088
。相應地,各R、G、B和強度
Figure 02_image089
通道可以被單獨地且集體地增強,以提供對用來訓練適合與本文的系統和方法使用的CNN的資料的較大採樣。
再次參照圖9,圖像修補921是到CNN的特徵提取器930的輸入。在一些實施方式中,已使用資料增強方案被增強的地面實況圖像修補的增強組可以被用於訓練CNN來識別分析物或非分析物物件。即,原始圖像或其部分諸如圖像修補被使用如上所述的平移、旋轉、縮放、反射和基於伽馬的色彩失真進行增強。在一些實施方式中,至少一個處理器(與CNN相關聯的)被配置成至少部分地基於根據任何本文公開的任意方法已增強的地面實況圖像修補、經顏色校正的圖像修補或灰度強度圖像修補的經增強的組中的一個或多個來學習成組的權重。例如,地面實況圖像修補可以通過資料增強方案進行增強,該資料增強方案包括對地面實況圖像修補的紅色、綠色、藍色或灰度強度成分中的一者或多者的隨機伽馬校正。在一些實施方式中,在每個候選物件的最佳焦平面處的圖像修補被呈現以用於CNN訓練。在其他實施方式中,所有焦平面的圖像修補都被呈現以用於CNN訓練。在一些實施方式中,至少一個處理器被配置成使用增強方案來增強經顏色校正的圖像修補和自適應灰度強度圖像修補。在一些實施方式中,顏色校正的圖像斑點和自適應灰度強度圖像修補的輸出可包括使用增強方案來增強顏色校正的圖像斑點和自適應灰度強度圖像修補。在一些實施方式中,在CNN特徵提取器的測試階段,不進行增強。在其他實施方式中,在測試階段期間進行增強,且如圖3A中的塊340所示的分類器模組的輸出在每個測試樣品的增強版本上被平均化。在一些實施方式中,所述至少一個處理器被配置成在對應於經顏色校正的圖像修補和自適應灰度強度圖像修補中的每一個的增強版本的特徵向量上對機器學習分類器的輸出進行平均化。
CNN特徵提取子模組930的輸出是特徵向量的CNN成分931。在使用手動和CNN特徵兩者的實施方式中,手動特徵911和CNN特徵931可以被組合以形成完整的輸出特徵向量941。在沒有人工特徵的實施方式中,不執行手動特徵提取子模組910,手動特徵911不被前置到輸出特徵向量941。
返回到圖3A中的系統圖,特徵提取模組330的輸出是候選物件的特徵向量331。
D. 物件分類器模組
物件分類模組340被配置成對應於分析物(例如,寄生蟲)或偽像將特徵向量331分類。物件分類器模組340被配置為使用機器學習分類器將來自特徵向量提取模組330的特徵向量331或輸出進行分類,作為寄生蟲或偽像。機器學習分類器可以是儲存在一個或多個記憶體儲存媒體中的程式,該程式可由一個或多個處理器(如可在電腦系統或網路中的)執行。物件分類器模組340的不同實施方式可以包括不同類型的分類器。在一個實施方式中,物件分類器模組340被配置為線性支援向量機。例如,線性支援向量機可包括被配置為執行線性支援向量分類的計算設備。在各種實施方式中,物件分類器模組340可以被配置為以下類型的分類器中的一個或多個:非線性內核支援向量機、神經網路、邏輯迴歸、隨機森林決策樹、梯度提升決策樹、AdaBoost或Naïve Bayes分類器。
物件分類器模組340的輸出可以包括候選物件為寄生蟲(例如,分析物)或偽像的經校準的機率。物件分類模組340被配置為輸出經分類的物件資料341(圖3A)。經分類的物件資料341可以包括對應於一個或多個地面實況物件和一個或多個候選物件之間的相似性(例如,指示其範圍)的一個或多個得分。相似性可以表示為候選物件(或其一種或多個方面)是分析物如寄生蟲(或其一個或多個方面)的機率。在一些實施方式中,物件分類器模組340(機器學習分類器)可以被配置成通過在對應於輸入圖像修補中的每一個的增強版本的特徵向量上平均化機器學習分類器的輸出(例如,機率)來將一個或多個特徵向量分類。
E. 診斷模組
診斷模組350(圖3A)可被配置成至少部分地基於經分類的物件資料341(即,無論是陽性——樣品確實包含瘧疾寄生蟲,或是陰性——樣品沒有包含瘧疾寄生蟲)來確定並輸出針對樣品(例如,血液載片)的診斷結果351。診斷結果351可包括對寄生蟲血症的估計(如在下面等式10使用的
Figure 02_image090
)。在一些實施方式中,診斷模組350可被配置為確定寄生蟲血症。在一些實施方式中,診斷模組被配置為運行對其物件分類器得分高於某一閾值
Figure 02_image092
的候選物件
Figure 02_image094
的數目進行計算的診斷演算法。在一些實施方式中,多於一種類型的候選物件(例如,環形瘧疾寄生蟲和晚期寄生蟲物件)可以在同一時間進行計數。隨後,物件分類器得分高於
Figure 02_image092
的候選物件的數量在某一水平
Figure 02_image096
下被閾值化。換句話說,如果
Figure 02_image098
,則樣品被標記為陽性,否則標記為陰性。閾值
Figure 02_image092
Figure 02_image096
可以在其診斷結果是已知的驗證集上進行優化,或由人類專家通過顯微鏡檢查或或分子測試如聚合酶鏈反應(PCR)進行優化。優化是至少部分基於針對驗證集的給定目標,如最大化平衡精度,或在固定的特異性水平下最大化靈敏度。
本文所公開的圖像分析系統(作為現實世界的系統)可以具有依賴於應用到物件分類器的閥值的一些殘餘雜訊。換言之,在一些物件分類器的閾值下,一些非寄生蟲物件將具有高於閾值的得分。在一些實施方式中,在驗證集的陰性樣品上計算作為物件分類器得分閥值 的函數的中值物件級負正類率(false positive rate)
Figure 02_image101
。同時,在驗證集的陽性樣品上計算作為同一分類器閥值
Figure 02_image103
的函數的中值物件級真正類率(sensitivity rate)。隨後,使用如下的等式10計算估計的原蟲率:
Figure 02_image105
其中
Figure 02_image106
是具有高於閥值
Figure 02_image103
的分類器得分的候選物件個數。要理解,
Figure 02_image090
為物件分類器得分閥值
Figure 02_image103
的函數。分類器得分閥值
Figure 02_image103
是通過在整個驗證集上優化給定目標(諸如原蟲率均方差)來確定。
F. 系統硬體
圖12是根據一個實施方式的用於確定樣品中分析物存在的系統1200的示意圖。在一些實施方式中,系統1200可以被配置為執行本文所公開的任何演算法或其他操作中的一個或多個。該系統可包括計算設備1202。在一些實施方式中,計算設備1202可包括至少一個記憶體儲存媒體1210和至少一個處理器1220。在一些實施方式中,計算設備1202可包括使用者介面1230。系統1200可包括可操作地連接到其上的成像裝置1240。系統元件的各方面在下文中更詳細地描述。
在一些實施方式中,計算設備1202可包括個人電腦、電腦網路、一個或多個伺服器、膝上型電腦、平板電腦或蜂巢電話中的一個或多個。在一些實施方式中,計算設備1202中的一個或多個元件可以被整合到顯微鏡(成像裝置)中。在一些實施方式中,計算設備的一個或多個元件可以位於成像設備的遠端位置。在這種實施方式中,計算設備1202的一個或多個元件可以通過有線或無線連接1206可操作地連接到成像裝置1240。在一些實施方式中,計算裝置的一個或多個元件可被配置成如通過光碟、快閃記憶體驅動器、電子郵件或其它手段接收由成像設備間接捕獲的圖像。
至少一個記憶體儲存媒體1210可以包括硬碟驅動器、固態硬碟、磁片或任何其他有形的、非揮發性記憶體存放裝置中的一者或多者。至少一個記憶體儲存媒體1210可以包括本文公開的在其上儲存可讀和可執行程式的模組或子模組機器中的任意一個。在一些實施方式中,系統1200可以包括多個記憶體儲存媒體1210,每一個記憶體儲存媒體1210具有儲存在其上的一個或多個模組或子模組。
至少一個處理器1220可以被配置為讀取並執行儲存在至少一個記憶體儲存媒體1210的一個或多個程式。例如,至少一個處理器1220可以被配置為讀取和執行本文所公開的模組或子模組中的任意一個中的一個或多個。在一些實施方式中,至少一個處理器1220可包括多個處理器。在這樣的實施方式中,多個處理器中的每一個可被配置為讀取並執行儲存在至少一個儲存媒體1220上的一個或多個模組或子模組。在一些實施方式中,多個處理器1220中的每一個可以可操作地連接到相應的多個記憶體儲存媒體1220中的一個,並專用於且構造成只運行本文的模組或子模組中的一個。
在一些實施方式中,使用者介面1230可包括顯示幕、鍵盤、觸控式螢幕、一個或多個指示器(例如,燈、蜂鳴器、揚聲器等)或一個或多個按鈕(例如,電源或啟動按鈕)中的一個或多個。在一些實施方式中,使用者介面可以是物理地連接到計算裝置。在一些實施方式中,使用者介面1230可被配置成顯示來自本文公開的模組或子模組中的任一個的輸出或輸入。例如,使用者介面1230可以被配置成顯示診斷結果、原蟲率或本文公開的任何資料或圖像中的一者或多者。在一些實施方式中,使用者介面可被配置為接收來自使用者的輸入,例如通過鍵盤、USB埠等接收。使用者介面1230可經由有線或無線連接可操作地連接到計算設備。在一些實施方式中,使用者介面1230可位於計算設備1202的遠端位置,如距離計算設備1202遠端的電腦上、平板電腦上或蜂巢電話上。在這樣的實施方式中,一個或多個模組上可以距離使用者介面1202遠端地執行。
在一些實施方式中,計算設備1202可包括電源1208。電源1208可以包括一個或多個電池(例如,鋰離子電池、鉛酸電池、鎳鎘電池或任何其它合適的電池)、太陽能電池或電插頭(例如,牆上插頭)。電源1208可以可操作地連接到系統1200的元件中的任一個並且構造成提供功率給該元件。
成像裝置1240可包括在其上具有數位圖像記錄器的顯微鏡諸如高功率顯微鏡。數位成像裝置1240能夠構造成在其上保持樣品載片1250。數位成像設備1240可包括高功率鏡頭和數位圖像記錄器以捕獲樣品載片的一個或多個高解析度的圖像。該一個或多個高解析度的圖像可以包括樣品載片1250的一個或多個FoV的圖像和每個FoV的一個或多個焦平面的圖像。成像裝置可直接連接(例如,有線或無線連接)或間接連接(例如,經由電腦網路)到計算設備(例如,連接到計算設備的一個或多個記憶體儲存媒體、一個或多個處理器或使用者介面中的一者或多者)。在這樣的實施方式中,成像裝置1240可以被配置為輸出一個或多個樣品圖像到至少一個記憶體儲存媒體1210或至少一個處理器1220。在一些實施方式中,成像設備1240可被配置成回應於來自計算裝置(或者其元件,如處理器)的一個或多個指令。在這種實施方式中,成像設備1240可以至少部分地基於儲存在至少一個記憶體儲存媒體1210且由至少一個處理器1220執行的操作指令來進行操作。例如,成像裝置1220可以至少部分地基於來自計算裝置1202的指令來改變焦平面或FoV之間的距離或數目。
本文公開的單獨的模組或子模組中的任一個可以被儲存在、包括如本文所公開的機器學習設備或電腦或使用如本文所公開的機器學習設備或電腦來應用。
在一些實施方式中,用於確定血液中分析物的存在的電腦系統可以包括被配置為儲存樣品載片的多個圖像的至少一個記憶體儲存媒體。多個圖像可以包括多個視場,每個視場包括樣品載片的唯一的x和y座標以及多個焦平面,每個焦平面具有樣品載片的唯一的z座標。記憶體儲存媒體可以包括儲存在其中的操作指令(例如,一個或多個模組)。電腦系統可以包括可操作地耦合到至少一個記憶體儲存媒體的至少一個處理器。該至少一個處理器可以執行儲存在記憶體儲存媒體中的一個或多個機器可讀指令。一個或多個機器可讀指令可以包括如本文所公開的一個或多個模組或子模組,其可以由單個處理器執行或者每個由專用於所述模組的單獨處理器執行。該至少一個處理器可以確定白平衡變換並且將該白平衡變換應用於該多個圖像中的每一個,以有效地產生如本文所公開的多個經顏色校正的圖像。該至少一個處理器可以確定自適應灰度變換並且將自適應灰度變換應用於該多個圖像中的每一個,以為這裡公開的多個圖像中的每一個提供自適應灰度強度圖像。如本文所公開的,該至少一個處理器可以檢測並識別經顏色校正的圖像和自適應灰度強度圖像中的一個或多個候選物件。如本文所公開的,至少一個處理器可以對自適應灰度強度圖像執行自適應閾值化操作並且基於此輸出一個或多個候選物件。該至少一個處理器可以將一個或多個檢測到的候選物件集群為包括一個或多個相鄰候選物件/集群的集群,並且關聯(例如,聚合)所檢測到的候選物件的集群(其指示一個或多個相鄰候選物件的集群是單個候選物件),並且輸出一個或多個相鄰候選物件的集群的位置。如本文所公開的,位置可以包括一個或多個包含一個或多個相鄰候選物件的圖像修補。如本文所公開的,該至少一個處理器可以為每個單個候選物件定位具有最佳聚焦的焦平面。如本文所公開的,至少一個處理器可以確定每個單個候選物件具有最佳聚焦的焦平面中的每個單個候選物件的屬性(例如,顏色、圓度、形狀)。如本文所公開的,該至少一個處理器可以至少部分地基於一個或多個確定的屬性來過濾每個單個候選物件。如本文所公開的,該至少一個處理器可以提取並輸出一個或多個圖像修補,每個圖像修補包含一個或多個候選物件中的至少一個經過濾的單個候選物件。
本文公開的系統可以在其中包括候選物件檢測模組和斑點檢測模組(例如,具有閾值確定子模組和斑點識別子模組),以如本文所公開的,通過局部估計自適應灰度強度圖像中的一個或多個視窗中的噪底,確定在自適應灰度圖像中的多個視場和多個焦平面中的多個視窗中的至少一些視窗的灰度強度的局部自適應閾值。如本文所公開,候選物件檢測模組(例如,其中的斑點識別模組)可至少部分地基於局部自適應閾值來識別自適應灰度強度圖像中的一個或多個斑點。
本文所公開的電腦系統可以包括用於引導(以及系統可以執行)本文所公開的任何動作的機器可讀程式。該系統可以包括一個或多個成像裝置(例如,裝有照相機的顯微鏡)。這樣的系統可以提供濃度遠低於當前使用濃度的樣品中的寄生蟲(例如瘧疾)的自動檢測。這樣的系統可以允許早期檢測(例如,低寄生蟲血症)和早期治療以前不能用自動化系統實現的疾病(例如瘧疾)。本文的系統使得能夠在沒有訓練有素的人類顯微鏡專家的情況下可靠、及早發現寄生蟲。
G. 診斷分析物的方法
圖13是根據一個實施方式的用於確定樣品中的分析物存在的方法1300的流程圖。用於診斷樣品中的分析物的方法和單獨動作也相對於本文所公開的模組和子模組中的每一個如上所述,且為簡潔起見,相對於方法1300沒有重複逐字地描述。方法1300包括使用樣品載片的多個圖像來確定樣品中分析物的存在。方法1300可以包括如利用記憶體儲存媒體或處理器接收樣品載片的多個圖像的動作1305。多個圖像可以包括:多個FoV,每一個都包括樣品載片的唯一的x和y座標;和多個焦平面,每一個都具有樣品載片的唯一的z座標。方法1300可以包括使用系統1200的一個或多個元件來執行任何本文所公開的動作。
方法1300可以包括應用白平衡變換到多個圖像中的每一個圖像,以有效產生多個經色彩校正的圖像的動作1310。方法1300可以包括應用自適應灰度變換到多個圖像中的每個圖像以為所述多個圖像中的每一個提供自適應灰度強度圖像的動作1320。方法1300可以包括檢測和識別在多個經顏色校正的(例如,經白平衡的)圖像和自適應灰度強度圖像中的一個或多個候選物件的動作1330。方法1300可以包括至少部分地基於其一個或多個特性的得分來過濾一個或多個候選物件並且輸出一個或多個經顏色校正的圖像修補和一個或多個自適應灰度強度圖像修補的動作1340 。方法1300可以包括從經顏色校正的圖像修補和自適應灰度強度圖像修補提取一個或多個特徵向量並輸出該一個或多個特徵向量的動作1350。方法1300可以包括每個特徵向量對應於偽像或分析物進行分類的動作1360。方法1300可以包括判定經分類的特徵向量是高於還是低於與陽性診斷相關聯的閾值水平的動作1370。每個動作1310至1370將在下面更詳細地討論。
應用白平衡變換到多個圖像中的每一個圖像以有效產生多個經顏色修正的圖像的動作1310可以使用相對於以上公開的圖像預處理模組310所公開的任意技術來進行。例如,動作1310可以包括從選定的多個圖像的子集中選擇多個最亮的像素,使得清晰像素存在於子集中的機率接近(基本上是)1,如本文所公開的。動作1310可以包括計算和應用多個圖像的子集的每個像素的標準灰度強度來確定如本文所公開的多個圖像的子集中的每個圖像內的多個最亮像素。動作1310可以包括確定如本文所公開的多個最亮像素中的每一個的紅色值R、綠色值G和藍色值B。動作1310可以包括計算如本文中所公開的多個最亮像素中的平均色所限定的平均色向量。動作1310可以包括確定白色向量並確定垂直於平均色向量和白色向量兩者且由平均色向量和白色向量兩者的交積計算的軸向量。動作1310可以包括由軸向量以及在白色向量和平均色向量之間的角度計算仿射變換矩陣;和應用仿射變換矩陣到多個圖像中的每個圖像中的每個像素,以提供多個經顏色校正的圖像。
應用自適應灰度變換到多個圖像中的每個圖像以為多個圖像中的每一個提供自適應灰度強度圖像的動作1320可以使用相對於以上公開的圖像預處理模組310中公開的任意技術來進行。例如,動作1320可以包括接收作為輸入的多個經顏色校正的圖像和標準灰度強度圖像,並在所選擇的暗閾值下對標準灰度強度圖像進行閥值化以檢測可能潛在地是白血細胞細胞核斑點。動作1320可包括通過屬性(例如,顏色、面積或形狀篩檢程式)過濾潛在的白血細胞細胞核斑點以確定如本文所公開的白血細胞細胞核。動作1320可以包括輸出作為白血細胞向量資料的來自在其中包含白血細胞細胞核的輸入的經顏色校正的圖像的一個或多個像素的紅色值R、綠色值G以及藍色值B。動作1320可以包括輸出作為背景向量資料的根據對在經顏色校正的圖像中灰度強度比暗閾值亮的像素隨機採樣所確定的多個合格背景像素的紅色值R、綠色值G和藍色值B。動作1320可以包括由白血細胞向量資料和背景向量資料確定自適應灰度投影向量。動作1320可以包括輸出多個自適應灰度強度圖像。
在多個經顏色校正的圖像和自適應灰度強度圖像中檢測和識別一個或多個候選物件的動作1330可以使用相對於上述公開的候選物件檢測模組320所公開的技術中的任一個來進行。例如,檢測和識別一個或多個候選物件可以包括:基於多個經顏色校正的圖像或多個自適應灰度強度圖像中的一者或多者來確定一個或多個潛在分析物的位置。動作1330可以包括確定多個FoV中哪些FoV在其中包括一個或多個候選物件。動作1330可以在其中包括一個或多個候選物件的集群,以提供由在其中的相鄰的(例如,臨近的或重疊的)候選物件所限定的候選物件集群。集群至少部分地基於在候選物件之間的接近性或距離。動作1330可以包括確定具有用於一個或多個候選物件中的每個候選物件的最佳聚焦得分的焦平面,如本文所公開的。
至少部分地基於其一個或多個特性的得分來過濾一個或多個候選物件並且輸出一個或多個經顏色校正的圖像修補和一個或多個自適應灰度強度圖像修補的動作1340可以使用相對於上述公開的候選物件檢測模組320所公開的技術中的任一個來進行。動作1340可包括輸出一個或多個候選物件中的每一個的一個或多個特性的得分,所述一個或多個特性包括面積、灰度強度、形狀或色彩中的至少一種。動作1340可包括至少部分地基於至少部分地基於一個或多個特性的得分來過濾候選物件。過濾一個或多個候選物件可以包括比較至少部分地基於一個或多個候選物件的一個或多個特性的得分與至少部分地基於該一個或多個特性的閥值。過濾候選物件可以包括輸出得分高於閾值得分的一個或多個候選物件作為潛在分析物的位置並且拒絕得分低於閥值得分的一個或多個候選物件。動作1340可以包括輸出自適應灰度和經顏色校正的圖像修補以及在其中具有潛在分析物位置的相關聯的焦平面。
由經顏色校正的圖像修補和自適應灰度強度圖像修補提取一個或多個特徵向量並輸出一個或多個特徵向量的動作1350可以使用相對於上述所公開的特徵提取模組330所公開的技術中的任一種來進行。例如,動作1350可以包括接收作為輸入的對應於在多個圖像中一個或多個潛在分析物位置的多個經顏色校正的圖像修補和多個自適應灰度強度圖像修補並輸出各自代表潛在分析物的一個或多個特徵向量。動作1350可以包括接收一個或多個經顏色校正的圖像修補和一個或多個自適應灰度強度圖像修補,並且至少部分地基於一個或多個地面實況圖像修補來教導CNN成組的權重。在一些實施方式中,教導成組的權重包括使用資料增強方案增強一個或多個地面實況圖像(例如,圖像修補)。資料增強方案可以包括地面實況圖像修補的紅色、綠色、藍色或灰度強度成分中的一者或多者的隨機伽馬校正。在一些實施方式中,教導成組的權重到CNN可以包括接受作為地面實況的地面實況樣品中的分析物的一個或多個經標注的圖像和地面實況樣品中的偽像的一個或多個經標注的圖像。經標注的圖像可以包括已知的分析物和偽像,已知的分析物和偽像配置成訓練CNN來識別該已知的分析物和偽像的特性。在一些實施方式中,接受作為地面實況的地面實況樣品中的分析物的一個或多個經標記的圖像和地面實況樣品中的偽像的一個或多個經標記的圖像可以包括至少部分地基於一個或多個地面實況圖像修補對機器學習分類器教導成組的權重。動作1350可以包括確定並提取在對應於一個或多個潛在分析物位置的多個經顏色校正的圖像和多個自適應灰度強度圖像中的一個或多個候選物件的一個或多個特徵(例如,一個或多個的手動特徵或自動特徵)。動作1350可以包括將一個或多個經提取的特徵表示為一個或多個特徵向量。
分類每個特徵向量作為對應於偽像或分析物進行分類的動作1360可以使用相對於上述公開的物件分類器模組340所公開的技術中的任一種來進行。例如,動作1360可以包括接收作為輸入的候選物件的一個或多個特徵向量和分類一個或多個特徵向量作為對應於偽像或分析物。分類可通過已利用如上述所公開的成組的地面實況圖像或相關聯的向量進行訓練的機器學習分類器對特徵向量評分來進行,其中高得分(例如,高機率)被歸類為分析物,低得分(例如,低機率)被歸類為分析物以外的東西,如背景或偽像。在一些實施方式中,對一個或多個特徵向量分類可以包括平均化機器學習分類器在對應於經顏色校正的圖像修補和自適應灰度強度圖像修補的增強版本的特徵向量上的得分。在一些實施方式中,方法可以包括輸出在其中包含候選物件的一個或多個圖像修補(例如,分類為分析物或偽像)以用於通過用戶檢查。這種圖像修補可以輸出到使用者介面,例如電腦螢幕。
判定經分類的特徵向量是高於還是低於與陽性診斷相關聯的閾值水平的動作1370可以使用相對於上述公開的診斷模組350中所公開的技術中的任一種來進行。例如,判定經分類的分析物是高於還是低於與陽性診斷相關聯的閥值水平可以包括基於一個或多個被歸類於分析物的特徵向量的量來判定是否存在分析物和給予分析物存在或不存在的指示,或其與閾值或背景雜訊值的關係。在一個實施方式中,方法1300可以包括輸出診斷結果或分析物濃度到例如使用者介面(例如,顯示分析物濃度的診斷結果)。
在一些實施方式中,方法1300可以包括從受試者獲得樣品例如獲得血液樣品的動作。在一些實施方式中,方法1300可以包括在樣品載片上塗抹樣品。在一些實施方式中,方法1300可以包括獲取多個樣品載片的多個圖像。多個(樣品)圖像可以包括多個FoV和焦平面。在一個實施方式中,方法1300可以包括輸出多個來自所述成像裝置(樣品)的圖像。方法1300可包括在計算設備處接收多個(樣品)圖像。
在一些實施方式中,方法1300可以包括確定在樣品(例如,瘧原蟲)中分析物的濃度或量。在一些實施方式中,分析物可包括寄生蟲,如瘧疾、眼絲蟲、包柔螺旋體屬、蠕蟲、結核病、錐蟲病或任何其他寄生蟲。在一些實施方式中,本文的系統和方法可用於基於它們的一個或多個特性來檢測特定的寄生蟲(例如,瘧疾)的構象或種類。
在簡化形式下,檢測樣品中的分析物的方法可包括接受作為地面實況的來自地理位置的生物樣品中的分析物(例如,瘧疾寄生蟲)的成組的經標注的圖像。該方法可包括從自動化的顯微鏡裝置接受成組的未表徵的圖像、從在地理位置所獲取的生物樣品中獲得的未表徵的圖像。該方法可包括預處理成組的未表徵的圖像,以創建成組的一致顏色外觀的圖像。該方法可以包括使成組的一致顏色外觀的圖像進行候選位置分類以生成成組的候選物件的圖像。該方法還可以包括部分地基於地面實況使成組的候選物件的圖像進行寄生蟲檢測分類,以產生成組的經標記的物件。該方法可以包括使成組的經標記的物件經受描繪在成組的經標記的物件的每一個中的結構(例如,細胞核和細胞質)的分段分析。該方法可以包括在成組的經標記的物件中的每一個上執行特徵提取分析。該方法可以進一步包括用涉及在每個經標記的物件中存在分析物(例如,瘧疾寄生蟲)的機率的分類器得分來分類經標記的物件中的每一個。在一些實施方式中,該方法1300可以包括至少部分地基於對應於地理位置、季節或與樣品相關聯的其他標準中的一者或多者的中繼資料(meta-data)來輸入與來自記憶體儲存的一個或多個候選寄生蟲種類相關聯的地面真實資料,並使用該地面真實資料來判定或識別如上公開的樣品中的寄生蟲的種類、階段或類型。
圖14是用於確定樣品中分析物的存在的方法1400的流程圖。上文也相對於本文公開的每個模組和子模組描述了用於診斷樣品中的分析物的方法和單個動作,並且為了簡潔起見,不相對於方法1400逐字重複。方法1400可以包括接收樣品載片的多個圖像的動作1410,所述多個圖像包括多個視場,每個視場均包括樣品載片的唯一的x和y座標;以及多個焦平面,每個焦平面具有樣品載片的唯一的z座標。方法1400包括將白平衡變換應用於多個圖像中的每一個以有效產生多個經顏色校正的圖像的動作1420。方法1400包括將自適應灰度變換應用於多個圖像中的每一個以為多個圖像中的每一個提供自適應灰度強度圖像的動作1430。方法1400包括檢測和識別多個經顏色校正的圖像和自適應灰度強度圖像中的一個或多個候選物件的動作1440。動作1440包括對自適應灰度強度圖像執行自適應閾值化操作並基於其輸出一個或多個候選物件。動作1440包括將所述一個或多個檢測到的候選物件集群為包括一個或多個候選物件/集群的集群,並且將指示一個或多個相鄰候選物件是單個候選物件的檢測到的候選物件的集群相關聯,並輸出一個或多個相鄰候選物件的所述集群的位置,所述位置包括包含所述一個或多個相鄰候選物件的集群的一個或多個圖像修補。動作1440包括識別每個單個候選物件具有最佳聚焦的所述焦平面;確定每個單個候選物件具有最佳聚焦的所述焦平面中的每個單個候選物件的屬性。動作1440包括至少部分基於一個或多個確定的屬性過濾每個單個候選物件。動作1440包括提取並輸出一個或多個圖像修補,每個圖像修補包含所述一個或多個候選物件中的至少一個經過濾的單個候選物件。在實施方式中,方法1400的一個或多個動作可以被省略或以不同於上面提供的循序執行。例如,動作1410可以被省略。
方法1400可以包括接收樣品載片的多個圖像的動作1410,所述多個圖像包括多個視場,每個視場均包括樣品載片的唯一的x和y座標;以及多個焦平面,每個焦平面具有樣品載片的唯一的z座標。在實施方式中,接收樣品載片的多個圖像可以包括從與電腦視覺系統相關聯的顯微鏡接收多個圖像,所述電腦視覺系統例如系統1200或本文公開的任何系統。在實施方式中,接收樣品載片的多個圖像可以包括在圖像預處理模組處接收多個圖像。
方法1400包括將白平衡變換應用於多個圖像中的每一個以有效產生多個經顏色校正的圖像的動作1420。將白平衡變換應用於多個圖像中的每一個以有效產生多個經顏色校正的圖像的動作1420可以與以上在一個或多個方面公開的動作1310類似或相同。例如,可以使用本文公開的關於圖像預處理模組310的任何技術來執行將白平衡變換應用於多個圖像中的每一個以有效產生多個經顏色校正的圖像的動作1420。例如,動作1420可以包括從所選擇的多個圖像的子集中選擇多個最亮像素,使得如本文中所公開的,位於子集中的清晰像素的存在的機率接近(是基本上接近)1。動作1420可以包括如本文所公開的計算和應用所述圖像的子集的每個像素的標準灰度強度來確定在所述多個圖像中的所述子集中的每一個圖像中的所述多個最亮像素。動作1420可以包括如本文所公開的確定所述多個最亮像素中的每一個的紅色值R、綠色值G和藍色值B。動作1420可以包括如本文所公開的計算由所述多個最亮像素的平均色定義的平均色向量。動作1420可以包括確定白色向量並確定軸向量,該軸向量垂直於所述平均色向量和所述白色向量兩者,並且由所述平均色向量和所述白色向量兩者的交叉乘積來計算。動作1420可以包括由所述軸向量和在所述平均色向量與所述白色向量之間的角度來計算仿射變換矩陣,並且將所述仿射變換矩陣應用於多個圖像的每個圖像中的每個像素以提供多個經顏色校正的圖像。在實施方式中,應用所述白平衡變換可包括:應用所述白平衡變換到由其中的紅色值R、綠色值G和藍色值B限定的所述多個圖像的每一個像素的色向量,並且在其基礎上輸出經顏色校正的圖像。
方法1400包括將自適應灰度變換應用於多個圖像中的每一個以為多個圖像中的每一個提供自適應灰度強度圖像的動作1430。將自適應灰度變換應用於多個圖像中的每一個以為多個圖像中的每一個提供自適應灰度強度圖像的動作1430可以使用本文關於圖像預處理模組310公開的任何技術來執行。例如,動作1430可以包括以下項中的一項或多項:接收作為輸入的多個經顏色校正的圖像和標準灰度強度圖像;在暗閾值下將所述標準灰度強度圖像閥值化以檢測一個或多個斑點;過濾檢測到的一個或多個斑點的顏色、面積或形狀中的至少一者以定位並識別在高敏感度和特異性下的白血細胞細胞核;輸出作為白血細胞向量資料的來自在其中包含白血細胞細胞核的經顏色校正的圖像的一個或多個像素的紅色值R、綠色值G和藍色值B;輸出作為背景向量資料的從對於在經顏色校正的圖像中在灰度強度上比所述暗閾值更亮(或者對於非反轉灰度強度圖像,在灰度強度比亮度閾值更暗)的像素隨機採樣所確定的多個合格背景像素的紅色值R、綠色值G和藍色值B;或根據所述白血細胞向量資料和背景向量資料確定自適應灰度投影向量。動作1430可以包括將自適應灰度變換應用於多個圖像中的一個或多個或其部分以提供一個或多個自適應灰度強度圖像。在實施方式中,將自適應灰度變換應用於多個圖像可以包括例如向候選物件檢測模組(或其中的閾值確定子模組)輸出多個自適應灰度強度圖像。
在實施方式中,應用自適應灰度變換可以包括:使用多個白血細胞像素、多個合格背景像素和迴歸(例如,使用本文公開的迴歸技術中的任一種)作為向量來確定和應用所述自適應灰度投影。在實施方式中,應用自適應灰度變換可以包括:計算自適應灰度投影向量和應用該自適應灰度投影向量到所述多個經顏色校正的圖像中的每一個以有效地提供多個自適應灰度強度圖像。應用自適應灰度級變換可以包括接收多個經顏色校正的圖像和標準灰度強度圖像作為輸入,並確定其一個或多個部分(例如,視窗、FoV、圖像修補)的局部自適應灰度強度。動作1430可以包括使用局部自適應灰度強度來確定圖像的自適應灰度變換。
動作1430可以包括通過屬性(例如,顏色、面積或形狀濾波器)來過濾潛在的WBC細胞核斑點以識別本文公開的WBC細胞核。通過屬性過濾潛在的WBC細胞核斑點可以包括在暗閾值處對標準灰度強度圖像進行閾值化以檢測可能是WBC細胞核的斑點。動作1430可以包括將從其中包含WBC細胞核的輸入色彩校正的圖像的一個或多個像素的紅色值R、綠色值G和藍色值B作為WBC向量資料輸出。動作1430可以包括作為背景向量資料輸出的從對於在經顏色校正的圖像中在灰度強度上比所述暗閾值更亮的像素隨機採樣所確定的多個合格背景像素的紅色值R、綠色值G和藍色值B。動作1430可以包括從WBC向量資料和背景向量資料確定自適應灰度投影向量。動作1430可以包括輸出多個自適應灰度強度圖像和WBC檢測遮罩。
方法1400包括檢測和識別多個經顏色校正的圖像和自適應灰度強度圖像中的一個或多個候選物件的動作1440。動作1440可以包括對自適應灰度強度圖像執行自適應閾值化操作並基於其輸出一個或多個候選物件。動作1440可以包括將所述一個或多個檢測到的候選物件集群為包括一個或多個候選物件/集群的集群,並且將指示一個或多個相鄰候選物件是單個候選物件的檢測到的候選物件的集群相關聯(例如,聚合),並輸出一個或多個相鄰候選物件的所述集群的位置,所述位置包括包含所述一個或多個相鄰候選物件的集群的一個或多個圖像修補。動作1440可以包括識別每個單個候選物件具有最佳聚焦的所述焦平面,並確定每個單個候選物件具有最佳聚焦的所述焦平面中的每個單個候選物件的屬性。動作1440可以包括至少部分基於一個或多個確定的屬性過濾每個單個候選物件。動作1440可以包括提取並輸出一個或多個圖像修補,每個圖像修補包含所述一個或多個候選物件中的至少一個經過濾的單個候選物件。
對自適應灰度強度圖像執行自適應閾值化操作並基於其輸出一個或多個候選物件(斑點)檢測遮罩可以包括為FoV或圖像的一個或更多視窗確定自適應閾值(例如,與自適應灰度圖像區分的局部自適應灰度強度閾值)。例如,執行自適應閾值化操作可以包括使用本文參照圖8A-8G 所公開的任何閾值化技術來確定自適應閾值。例如,執行自適應閾值化操作可以包括確定圖像或其部分的自適應(灰度強度)閾值,並且應用自適應閾值以確定是否有任何像素超過或低於自適應閾值,這樣的像素指示感興趣的物件(例如候選物件和/或斑點)的存在。
在實施方式中,執行自適應閾值化操作可以包括接收一個或多個自適應灰度強度圖像並接收一個或多個WBC檢測遮罩,所述一個或多個WBC檢測遮罩包括關於WBC在多個視場和多個焦平面中的位置的資訊。此外,執行自適應閾值化操作可以包括使用一個或多個自適應灰度強度圖像和WBC檢測遮罩來確定自適應灰度強度圖像中的一個或多個區域的灰度強度的局部自適應閾值。例如,確定自適應灰度強度圖像中的一個或多個區域的灰度強度的局部自適應閾值可以包括:確定所述自適應灰度圖像中的多個視場和多個焦平面中的多個視窗中的至少一些視窗的所述局部自適應(灰度強度)閾值,所述自適應灰度圖像包括包含在其中的一個或多個候選物件的至少一些視窗,該確定通過局部估計所述至少一些視窗的噪底來實現。確定自適應閾值可以包括確定視窗、圖像修補或FoV的噪底,並且基於此選擇自適應閾值。自適應閾值可以設置在噪底或者高於或低於噪底的一些值(例如,噪底加上面的某個增量灰度強度)。
局部估計至少一些視窗的噪底可以使用上面關於圖8A-8G 所公開的估計技術來進行。例如,可以通過確定至少一些視窗中的每個視窗中的像素的中值灰度強度來執行局部估計至少一些視窗中的噪底。在實施方式中,局部估計至少一些視窗的噪底可以包括確定所述自適應灰度強度圖像中的至少一些視窗中的每個視窗中的像素的中值灰度強度,折扣由於WBC的存在而導致的所述中值像素灰度強度值中的任何變化,例如通過用全圖像、全FoV或全視窗的中值灰度強度值替換WBC的像素值。例如,確定自適應灰度強度圖像中的至少一些視窗中的每個視窗中的中值像素灰度強度值可以包括:接收記錄在所述多個視場的視場(例如,來自WBC檢測遮罩)中的一個或多個所識別的視窗內的WBC的存在和位置的資訊。當WBC被指示為存在時,確定中值像素灰度強度值可以包括:以從所述視場中的所有像素確定的替換中值灰度像素強度值替換所述視場的所述一個或多個所識別的視窗的特定區域中的包含所述WBC的像素。在實施方式中,確定自適應灰度強度圖像中的至少一些視窗中的每個視窗中的中值像素灰度強度值還可以包括:在WBC像素已被所述替換中值灰度強度值替換之後,確定所述一個或多個所識別的視窗中的每個視窗中的所有像素的局部中值像素灰度強度值。這個中值灰度強度是噪底。噪底可以設置為局部自適應(灰度強度)閾值,或者可以通過灰度強度中的某個增量修改,以將自適應閾值設置為高於或低於噪底。在實施方式中,確定自適應灰度強度圖像中的至少一些視窗中的每個視窗中的中值像素灰度強度值還可以包括:針對一個或多個所識別的視窗中的每個視窗輸出局部自適應閾值。視窗、圖像修補或FoV的局部自適應閾值可以基於其中的局部中值灰度強度值。例如,局部自適應閾值可以是局部中值灰度強度值(例如噪底)或者高於該值或低於該值的一些值。
在實施方式中,方法1400還可以包括將局部自適應閾值應用於自適應灰度強度圖像的至少一些視窗中的每個視窗。在實施方式中,將局部自適應閾值應用於多個視場中的相應圖像修補包括確定相應圖像修補中存在一個或多個候選物件,所述一個或多個候選物件具有高於或低於局部自適應閾值的灰度強度,具體取決於圖像修補的灰度強度是否已被反轉。例如,將局部自適應閾值應用於自適應灰度強度圖像的至少一些視窗中的每個視窗並且確定對應圖像修補中存在一個或多個候選物件可以包括確定至少一些視窗中的任何像素是否具有低於(或高於,對於反轉灰度強度)局部自適應閾值的灰度強度值。具有低於(或高於,對於反轉灰度強度圖像)局部自適應閾值的灰度強度值的像素可以指示像素處存在感興趣物件(例如,候選物件)。例如,確定相應圖像修補中存在一個或多個候選物件可以包括:確定存在具有低於局部自適應閾值的灰度強度的一個或多個候選物件(如由與其對應的像素的灰度強度值所指示的)。在實施方式中,確定存在具有低於局部自適應閾值的灰度強度的一個或多個候選物件可以包括:基於自適應灰度強度圖像的暗閾值確定在低於局部自適應閾值的每個圖像修補中存在一個或多個候選物件(例如,低於暗閾值的像素指示感興趣的物件)。在實施方式中,所述方法可以包括:反轉所述自適應灰度強度圖像的亮度以產生多個反轉灰度強度圖像;基於所述多個反轉灰度強度圖像確定所述局部自適應閾值;以及基於所述多個反轉灰度強度圖像的亮度閾值(例如,較亮的像素指示感興趣的物件),確定在高於所述局部自適應閾值的每個圖像修補中存在所述一個或多個候選物件。可以輸出具有較高值(或較低值,具體取決於灰度強度是否反轉)的像素作為感興趣的物件(例如候選物件)。
在實施方式中,可以通過本文所公開的斑點檢測子模組執行:將自適應灰度變換應用於多個圖像中的每一個以便為多個圖像中的每一個提供自適應灰度強度圖像,對自適應灰度強度圖像執行自適應閾值化操作,並基於此輸出一個或多個候選物件集群檢測遮罩(例如,檢測遮罩811,圖8B)。
在實施方式中,方法1400可以包括將一個或多個檢測到的候選物件集群到包括一個或多個候選物件/集群的集群中,並將檢測到的候選物件的集群關聯(例如,分組)以指示一個或多個相鄰候選物件是單個候選物件。在實施方式中,方法1400可以包括輸出一個或多個相鄰候選物件(例如,斑點)的集群的位置,所述位置包括包含一個或多個相鄰候選物件的集群的一個或多個圖像修補。在實施方式中,將指示一個或多個相鄰候選物件是單個候選物件的檢測到的候選物件的集群關聯並且輸出一個或多個相鄰候選物件的集群的位置可以包括:確定所述多個視場的哪些視場包括在其內的一個或多個候選物件,並且至少部分基於視場中的一個或多個候選物件的相鄰候選物件之間的距離來集群一個或多個候選物件,以提供通過其中的相鄰候選物件定義的候選物件集群。
在實施方式中,識別針對每個單個候選物件具有最佳聚焦的焦平面可以包括:針對具有每個單個候選物件的每個圖像修補確定具有最高聚焦得分的焦平面。在實施方式中,該方法可以進一步包括(自動地)為每個候選物件選擇具有最高聚焦得分的相應焦平面並輸出該相應的焦平面例如至子模組840(例如,用於斑點屬性提取)。
在實施方式中,方法1400可以包括確定在每個單個候選物件具有最佳聚焦的焦平面中的每個單個候選物件的屬性。確定在每個單個候選物件具有最佳聚焦的焦平面中的每個單個候選物件的屬性可以包括:確定在每個單個候選物件具有最佳聚焦的焦平面中的每個單個候選物件的面積、圓度、形狀或灰度強度中的一個或多個。在實施方式中,確定每個單個候選物件的屬性可以包括:基於其一個或多個確定的屬性或特徵來識別一個或多個斑點(例如,在具有最高聚焦得分的焦平面中)。例如,方法1400可以包括:識別在每個單個候選物件具有最高聚焦得分的焦平面中的最暗斑點並且將最暗斑點作為感興趣的候選物件分配。方法1400可以包括:識別在每個單個候選物件具有最高聚焦得分的焦平面中的最圓斑點並將最圓斑點作為感興趣的候選物件分配。在實施方式中,方法1400可以包括:輸出(在每個單個候選物件具有最佳聚焦的焦平面中的)每個單個候選物件的一個或多個確定的屬性,並基於該一個或多個確定的屬性將每個單個候選物件分類為偽像或候選物件。
在實施方式中,方法1400包括至少部分地基於一個或多個確定的屬性來過濾每個單個候選物件。例如,至少部分基於一個或多個確定的屬性來過濾每個單個候選物件可以包括:使用被配置為至少部分基於一個或多個確定的屬性來給每個單個候選物件評分的偽像分類器。在實施方式中,方法1400可以包括基於如本文所公開的一個或多個確定的屬性來確定每個單個候選物件的得分。例如,確定得分可以包括基於對應於已知分析物的已知屬性對一個或多個確定的屬性進行評分。已知屬性可以被偽像過濾子模組(例如,子模組850)用作範本或標準,以便為所述一個或多個屬性設置閾值得分。例如,至少部分地基於一個或多個確定的屬性來過濾每個單個候選物件可以包括:基於訓練到記憶體儲存媒體中並被至少一個處理器訪問的地面實況物件的屬性來確定閾值得分,並且基於所確定的屬性相對於所述閾值得分的得分來過濾每個單個候選物件。在實施方式中,至少部分地基於一個或多個確定的屬性來過濾每個單個候選物件可以包括丟棄具有低於閾值得分的得分的單個候選物件並且保留具有高於閾值得分的得分的單個候選物件。所保留的單個候選物件的一個或多個圖像修補可以包括經顏色校正的紅色、藍色和綠色圖像以及包含至少一個單個候選物件的視場和焦平面的自適應灰度強度圖像的小區域。
在實施方式中,方法1400可以包括提取並輸出一個或多個圖像修補,每個圖像修補包含一個或多個候選物件中的至少一個過濾後的單個候選物件。例如,提取和輸出可以包括提取並輸出所保留(例如,基於具有高於閾值得分的得分的單個候選物件而保留)的單個候選物件的一個或多個圖像修補。在實施方式中,提取和輸出可以包括輸出保留用於其中的單個候選物件(例如,被保留的單個候選物件)的特徵提取的單個候選物件的一個或多個圖像修補。
在實施方式中,方法1400可以包括至少部分基於至少部分基於一個或多個單個候選物件的一個或多個特徵的得分來過濾一個或多個候選物件,並輸出每個過濾後的候選物件的一個或多個經顏色校正的圖像修補和一個或多個自適應灰度強度圖像修補。方法1400可以包括從經顏色校正的圖像修補和所述自適應灰度強度圖像修補提取所述一個或多個特徵向量並輸出一個或多個特徵向量。在實施方式中,從經顏色校正的圖像修補和自適應灰度強度圖像修補中提取一個或多個特徵向量可以包括:接收作為輸入的對應於所述多個圖像中的一個或多個潛在分析物的位置的多個經顏色校正的圖像修補和多個自適應灰度強度圖像修補;並輸出每個都代表潛在分析物的一個或多個特徵向量。在實施方式中,從經顏色校正的圖像修補和自適應灰度強度圖像修補中提取一個或多個特徵向量可以包括:確定和提取對應於所述一個或多個潛在分析物的位置的所述多個經顏色校正的圖像修補和所述多個自適應灰度強度圖像修補中的一個或多個候選物件的一個或多個特徵;以及將與所述一個或多個候選物件相關聯的一個或多個特徵表示為一個或多個特徵向量。
在實施方式中,確定並提取一個或多個候選物件的一個或多個特徵(例如屬性)包括從一個或多個候選物件提取一個或多個自動學習的特徵。提取自動學習的特徵可以包括至少部分地基於其中具有一個或多個地面實況物件的地面實況圖像修補來教導機器學習模組成組的權重。一個或多個地面實況物件可以包括分析物的樣品和/或偽像的樣品。機器學習模組包括卷積神經網路或任何其他機器學習模組。在實施方式中,教導機器學習模組可以包括接收地面實況樣品中的分析物的一個或多個注釋圖像和地面實況樣品中的偽像的一個或多個注釋圖像作為地面實況。在實施方式中,至少部分地基於地面實況圖像修補來教導機器學習模組成組的權重可以包括使用資料增強方案來增強地面實況圖像修補。例如,資料增強方案可以包括如本文所公開的地面實況圖像修補的紅色、綠色、藍色或灰度強度分量中的一個或多個的隨機伽馬校正。
在實施方式中,從所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補提取所述一個或多個特徵向量可以包括:至少部分地基於最佳聚焦得分來確定含有所述一個或者多個候選物件的多個經顏色校正的圖像修補和自適應灰度強度圖像修補中的每個圖像修補的最佳焦平面。所述最佳聚焦得分可以包括來自在其中具有候選物件的圖像修補中的所述多個焦平面的多個聚焦得分的最高得分。從所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補提取所述一個或更多個特徵向量可以包括:確定在其中具有所述候選物件的每個圖像修補的所述多個焦平面的全部上的聚焦得分的標準差;和至少部分地基於在每個圖像修補的所述多個焦平面之間的候選物件的最暗部的紅色變化來針對每個圖像修補確定紅移得分。
方法1400可以包括將每個特徵向量分類為對應於偽像或分析物。在實施方式中,將每個特徵向量分類為對應於偽像或分析物包括:接收作為輸入的候選物件的一個或多個特徵向量並且將所述一個或多個特徵向量分類為對應於所述偽像或所述分析物中的一個。方法1400可以包括確定被分類為分析物的特徵向量是否高於或低於與陽性診斷相關聯的閾值水平。在實施方式中,將每個特徵向量分類為對應於偽像或分析物可以包括:使用輸出得分的機器學習分類器,該得分表示所述一個或多個候選物件的一個或多個特徵向量中的每一個對應於分析物。
在實施方式中,輸出所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補可以包括使用資料增強方案來增強所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補,並且將所述一個或多個特徵向量分類可以包括在對應於所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補中的每一個的增強版本的特徵向量上平均化所述機器學習分類器的輸出。可以使用這裡使用的任何資料增強方案,例如所述經顏色校正的圖像修補或所述自適應灰度強度圖像修補中的經顏色校正的紅色、綠色、藍色或自適應灰度強度成分中的一者或多者的隨機伽馬校正。
在實施方式中,判定經分類為對應於分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閥值水平可以包括:基於被分類為分析物(例如,寄生蟲)的一個或多個特徵向量的量值來判定分析物是否存在並輸出所述分析物存在或不存在的指示。在實施方式中,本文的所述方法可以包括至少部分地基於包括候選物件的形狀、大小或顏色中的一者或多者的一個或多個圖像特性(例如,候選物件的確定屬性)來識別一個或多個候選物件的種類。
在實施方式中,本文所公開的方法可以包括用顯微鏡記錄一個或多個樣品載片(例如血液載片)的一個或多個圖像。
在實施方式中,可以使用至少一個記憶體儲存媒體來執行本文所公開的方法,所述至少一個記憶體儲存媒體包括如本文所公開的一個或多個模組和/或子模組。例如,可以使用儲存在記憶體儲存媒體中的圖像預處理模組、候選物件檢測模組、特徵提取模組、分類模組和診斷模組中的每一個作為電腦可讀程式來執行本文所公開的方法,所述電腦可讀程式可由可操作地耦合到所述至少一個記憶體儲存媒體的至少一個處理器執行。在實施方式中,候選物件檢測模組可以包括候選物件集群(例如,斑點)檢測子模組、候選物件(例如,斑點)集群子模組、最佳聚焦檢測子模組、候選物件集群屬性提取子模組、偽像過濾子模組和縮略圖提取子模組,如上所述。在實施方式中,候選物件檢測集群子模組可以包括如參照圖8A-8G所公開的閾值確定子模組和斑點識別子模組。
在一實施方式中,一種用於確定血液中的分析物的存在和/或濃度的方法可以包括接收樣品載片的多個圖像,所述多個圖像包括:多個視場,每一個視場包括所述樣品載片的唯一的x和y座標;和多個焦平面,每一個焦平面具有所述樣品載片的唯一的z座標。該方法可以包括應用白平衡變換到所述多個圖像中的每一個以有效產生多個經顏色校正的圖像。該方法可以包括應用自適應灰度變換到所述多個圖像中的每一個以針對所述多個圖像中的每一個提供自適應灰度強度圖像。該方法可以包括檢測和識別在所述多個經顏色校正的圖像和所述自適應灰度強度圖像中的一個或多個候選物件,包括,對自適應灰度強度圖像執行自適應閾值化操作並且基於此輸出一個或多個候選物件集群。執行自適應閾值化操作可以包括接收一個或多個自適應灰度強度圖像並接收包括關於所述多個視場和多個焦平面中的白血細胞的位置的資訊的白血細胞檢測遮罩。執行自適應閾值化操作可以包括使用所述一個或多個自適應灰度強度圖像和白血細胞檢測遮罩來確定所述自適應灰度強度圖像中的一個或多個區域的灰度強度的局部自適應閾值。確定局部自適應閾值可以包括確定所述自適應灰度圖像中的所述多個視場和多個焦平面中的多個視窗中的至少一些視窗的所述局部自適應閾值,所述自適應灰度圖像包括其中包含一個或多個候選物件的至少一些視窗,該確定通過局部估計所述至少一些視窗的噪底來實現,該估計通過以下途徑進行:確定所述自適應灰度強度圖像中的所述至少一些視窗中的每個視窗中的中值灰度強度值,折扣由於白血細胞的存在而導致的所述中值像素灰度強度值的任何變化。確定所述自適應灰度強度圖像中的所述至少一些視窗中的每個視窗中的中值灰度強度值包括:接收記錄在所述多個視場中的視場中的一個或多個所識別的視窗內的白血細胞的存在和位置的資訊。確定所述自適應灰度強度圖像中的所述至少一些視窗中的每個視窗中的中值灰度強度值包括:當白血細胞被指示為存在時,以從所述視場中的所有像素確定的替換中值灰度像素強度值替換所述視場的所述一個或多個所識別的視窗的特定區域中的包含所述白血細胞的像素。確定所述自適應灰度強度圖像中的所述至少一些視窗中的每個視窗中的中值灰度強度值包括:在包含像素的白血細胞已被所述替換中值灰度像素強度值替換之後,確定所述一個或多個所識別的視窗中的每個視窗中的所有像素的局部中值灰度強度值。確定所述自適應灰度強度圖像中的所述至少一些視窗中的每個視窗中的中值灰度強度值包括:基於其中的所述局部中值灰度強度值輸出用於所述一個或多個所識別的視窗中的每個視窗的局部自適應閾值。檢測和識別多個顏色校正後的圖像和自適應灰度強度圖像中的一個或多個候選物件包括:關聯指示一個或多個相鄰候選物件的集群是單個候選物件的檢測到的候選物件的集群,並且輸出一個或多個相鄰候選物件的所述集群的位置,所述位置包括包括所述一個或多個相鄰候選物件的一個或多個圖像修補。檢測和識別多個顏色校正後的圖像和自適應灰度強度圖像中的一個或多個候選物件包括:識別每個單個候選物件具有最佳聚焦的焦平面,並且確定在每個單個候選物件具有最佳聚焦的焦平面中的每個單個候選物件的屬性。檢測和識別多個顏色校正後的圖像和自適應灰度強度圖像中的一個或多個候選物件包括:至少部分地基於一個或多個確定的屬性來過濾每個單個候選物件;以及提取並輸出一個或多個圖像修補,每個圖像修補包含一個或多個候選物件中的至少一個經過濾的單個候選物件。該方法包括:至少部分地基於至少部分地基於所述一個或多個候選物件的一個或多個特性的得分來過濾所述一個或多個候選物件,並且針對每個經過濾的單個候選物件輸出一個或多個經顏色校正的圖像修補和一個或多個自適應灰度強度圖像修補。該方法包括:從所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補提取一個或多個特徵向量並輸出所述一個或多個特徵向量。該方法包括:將每一個特徵向量分類為對應於偽像或分析物。該方法包括:判定被分類為分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。
本文公開的任何動作、系統元件、模組或子模組可以與本文公開的任何實施方式一起使用。
讀者將意識到現有技術已經發展到系統的多個方面的硬體和軟體實現方式之間幾乎沒有區別的程度;硬體或軟體的使用一般是(但是並非總是如此,在某些背景下,硬體與軟體之間的選擇變得很重要)表示成本與效率權衡的設計選擇。讀者應理解,存在可以使本文描述的方法和/或系統和/或其他技術發揮作用的各種載體(例如,硬體、軟體和/或韌體),並且較佳的載體會根據所採用的方法和/或系統和/或其他技術的背景的變化而變化。例如,如果實施者確定速度和精確度是最重要的,那麼實施者可以選擇主要的硬體和/或韌體載體;可替代地,如果靈活性最重要,那麼實施者可以選擇主要為軟體的實現方式;或者再者可替代地,實施者可以選擇硬體、軟體、和/或韌體的一些組合。因此,存在可以使得本文所述的方法和/或設備和/或其他技術實現的幾種可行的載體,它們每一個都不內在地優於其他,因為將要利用的任何載體是取決於將採用載體的背景以及實施者的具體考量(例如,速度、靈活性或可預測性),任意一者都可能發生變化。讀者應意識到實現方式的光學方面將通常採用光學定向的硬體、軟體和或韌體。
前面的詳細描述已通過使用方塊圖、流程圖和/或示例闡述了設備和/或過程的各個實施方式。就這些結構圖、流程圖和/或示例包含一個或更多個功能和/或操作而言,應當理解的是,這樣的方塊圖、流程圖或示例內的每個功能和/或操作可以通過範圍廣泛的硬體、軟體、韌體或實際上它們的任意組合單獨地和/或共同地實施。在一個實施方式中,本文所述的主題的幾個部分可通過特殊應用積體電路(ASIC)、場可程式邏輯閘陣列(FPGA)、數位訊號處理器(DSP)或其它整合格式來實施。然而,本發明所屬技術領域中具有通常知識者將意識到,本文公開的實施方式的一些方面全部或部分地可以相等地在積體電路中實施,作為在一台或更多台電腦上運行的一個或更多個電腦程式(例如,作為在一個或更多個電腦系統上運行的一個或更多個程式)、作為在一個或更多個處理器上運行的一個或更多個程式(例如,作為在一個或多個微處理器上運行的一個或更多個程式)、作為韌體或作為實際上其任意組合,並且設計電路和/或撰寫代碼給軟體和或韌體正好會在本發明所屬技術領域中具有通常知識者根據本公開的的技術範圍內。此外,讀者應理解,本文所述的主題的方面能夠作為各種形式的程式產品被分佈,並且不管實際上用來實施分佈的訊號承載媒體的特定類型而應用本文所述的主題的說明性實施方式。訊號承載媒體的示例包括,但不限於下列:可記錄型媒體,例如軟碟、硬碟驅動器、光碟(CD)、數位視訊光碟(DVD)、數位磁帶、電腦記憶體等等;以及傳輸型媒體,例如數位和/或類比通信媒體(例如,光纖電纜、波導、有線通信鏈路、無線通訊鏈路等等)。
在一般意義上,本文所述的各種實施方式可通過各種類型的機電系統被單獨地和/或共同地實施,所述機電系統具有:寬範圍的電氣元件,如硬體,軟體,韌體或其任意組合;和可賦予機械力或運動的寬範圍的元件,諸如剛體、彈簧或扭轉機構、液壓和電磁致動設備,或它們的任意組合。因此,如這裡使用的“機電系統”包括但不限於與換能器(例如,致動器、電動機、壓電晶體等)可操作地耦合的電子電路、具有至少一個分立的電路的電子電路、具有至少一個積體電路的電子電路、具有至少一個特殊應用積體電路的電子電路、形成由電腦程式配置的通用計算設備(例如,通過至少部分地執行本文描述的過程和/或設備的電腦程式配置的通用電腦、或者至少部分地執行本文描述的過程和/或設備的電腦程式配置的微處理器)的電子電路、形成記憶體設備(例如,隨機存取記憶體的形式)的電子電路、形成通信設備(例如,數據機、通信交換機或光電設備)的電子電路、和連接到其上的任何非電類似物,如光學或其他類似物。本發明所屬技術領域中具有通常知識者也將理解,機電系統的實例包括但不限於各種消費電子系統以及其它系統(諸如機動運輸系統、工廠自動化系統、安全系統以及通信/計算系統)。本發明所屬技術領域中具有通常知識者將認識到本文所用的“機電”不必限於具有電氣和機械致動兩者的系統,除非上下文可能另有規定。
在一般意義上講,能夠由範圍廣泛的硬體、軟體、韌體和/或它們的任意組合單獨地並且/或者共同地實施的本文所述的一些方面可以看成是包含各種類型的“電子電路”。因此,本文使用的“電子電路”包括但不限於:具有至少一個分立電路的電子電路,具有至少一個積體電路的電子電路,具有至少一個特殊應用積體電路的電子電路,形成由電腦程式配置成的計算設備(例如,由至少部分地執行本文所述的方法和/或設備的電腦程式配置成的通用電腦,或者由至少部分地執行本文所述的方法和/或設備的電腦程式配置成的微處理器)的電子電路,形成存放裝置(例如,隨機存取記憶體形式)的電子電路,和/或形成通信設備(例如,數據機、通信開關、光電設備等)的電子電路。本文所述的主題可以以類比或數位方式或者它們的一些組合實施。
本公開已經參照各種示例性實施方式進行。然而,本發明所屬技術領域中具有通常知識者將認識到,可以對實施方式作出改變和修改而不脫離本公開的範圍。例如,各種操作步驟以及用於執行操作步驟的元件可以在根據特定應用或考慮任何數量的與系統的操作相關聯的成本函數的替代方式下實施;例如,一個或多個步驟可被刪除、修改或與其它步驟相結合。
此外,如將被本發明所屬技術領域中具有通常知識者可以理解的,本公開的內容(包括部件)的原理可以體現在包含在儲存媒體中的具有電腦可讀程式碼裝置的電腦可讀儲存媒體上的電腦程式產品。可以使用任何有形的、非臨時性電腦可讀儲存媒體,包括磁存放裝置(硬碟、軟碟等等)、光儲存裝置(CD-ROM、DVD光碟、藍光光碟等等)、快閃記憶體和/或類似物。這些電腦程式指令可以被載入到通用電腦、專用電腦或者其他可程式設計資料處理設備上以生產機器,使得在電腦或其它可程式設計資料處理裝置上執行的指令創建用於實現指定功能的裝置。這些電腦程式指令還可以儲存在可引導電腦或其它可程式設計資料處理設備以特定方式工作的電腦可讀記憶體,使得儲存在電腦可讀記憶體中的指令產生製造的物品,包括實施實現所指定的功能的裝置。該電腦程式指令還可以載入到電腦或其它可程式設計資料處理設備上以使將在電腦或其它可程式設計裝置上執行一系列操作步驟,以產生電腦實現的過程,使得電腦或其他可程式設計設備上執行的指令提供用於實現指定功能的步驟。
在一個實施方式中,本文所公開的印刷系統可以以這樣的方式整合:列印系統作為列印功能(例如,三維列印)專用配置的獨特系統進行操作,並且列印系統的任何相關聯的計算設備作為專用電腦用於所要求保護的系統的目的進行操作,而不是作為通用電腦。在一個實施方式中,列印系統中的至少一個相關聯的計算設備作為用於所要求保護的系統的目的的專用電腦進行操作,而不是作為通用電腦。在一個實施方式中,列印系統的相關聯的計算設備中的至少一個與特定的ROM硬連接以指示所述至少一個計算設備。在一個實施方式中,本發明所屬技術領域中具有通常知識者認識到,所述列印設備和列印系統影響至少在三維印刷的技術領域中的改進。
為了概念清楚起見,本文描述的元件(例如,步驟)、設備和物件以及伴隨它們的討論被用作示例。因此,本文中使用的所闡述的具體範例和伴隨的討論旨在代表它們更一般的類別。一般而言,本文使用任何具體範例也旨在代表其類別,並且不包括這樣的具體的元件(例如,步驟)、裝置和物件不應當視為表示期望限制。
對於本文使用基本上任何複數和/或單數的術語,讀者可以將複數理解為單數和/或將單數理解為單數,只要適合於上下文和/或應用即可。為清楚起見,各種單數/複數置換在本文中未明確闡述。
本文所述的主題有時候說明:包括在其它不同元件中的不同元件、或與其它不同元件連接的不同元件。應當理解,這種描述架構僅僅是示例性的,並且事實上,可以實施獲得相同功能的許多其他架構。在概念意義上,獲得相同功能的任何元件設置被有效地“關聯”,以便獲得所需的功能。因此,本文中的被組合以獲得特定功能的任意兩個元件可以被視為彼此“相關聯”,以便獲得所需的功能,而與架構或中間組件無關。同樣地,這樣關聯的兩個元件也可以視為彼此“可操作地連接”或“可操作地耦合”以獲得所需的功能,並且能這樣關聯的任何兩個元件也可以視為彼此“可操作地耦合”以獲得所需的功能。可操作地可耦合的具體實例包括但不限於:在物理上可匹配的和/或在物理上相互作用的元件;和/或通過無線方式可交互的、和/或通過無線方式相互作用的元件;和/或在邏輯上相互作用的元件、和/或在邏輯上可相互作用的元件等。
在一些情況下,一個或更多個元件在本文中可以稱為“被配置成”。讀者應認識到,“被配置成”可一般包括活動狀態元件和/或非活動狀態元件和/或待機狀態元件,除非上下文另有要求。
雖然已經圖示並描述了本文所述的主題的特定方面,但將顯而易見的是,基於本文的教導,可在不脫離本文所述的主題及其寬泛範圍的情況下可以進行變化和修改,因此所附申請專利範圍在其範圍內將涵蓋落入本文所述的主題的真正精神和範圍內的所有這些變化和修改。此外,應當理解的是,本發明是由所附的申請專利範圍限定。一般而言,本文所用的術語,並且尤其是所附申請專利範圍(例如,所附申請專利範圍的主體)中的術語一般旨在作為“開放式”術語(例如,術語“包括”應當理解成“包括但不限於”,術語“具有”應當理解成“至少具有”,術語“包含”應當理解成“包含但不限於”等)。本發明所屬技術領域中具有通常知識者進一步應當理解的是,如果旨在表示引入的請求項表述的具體數量,則請求項中會明確表述這樣的含義,並且在不存在這種表述時,就不存在這種含義。例如,為了幫助理解,以下所附申請專利範圍可以包含使用引導語“至少一個”和“一個或多個”以引入請求項表述。然而,使用這種短語不應當被理解成暗示著不定冠詞“一個(a)”或“一種(an)”引入的請求項表述將包含這種引入的請求項表述的任何特定請求項限定為發明僅包含一個這種表述,甚至當同一請求項包括引導短語“一個或多個”或“至少一個”以及例如不定冠詞“一個”或“一種”時(例如,“一個(a)”和/或“一種(an)”通常應當理解成“至少一個”或“一個或更多個”)也如此;對於用於引入請求項表述的定冠詞的使用同樣如此。此外,即使明確表述了引入的請求項表述的具體數量,這種表述通常應當理解成意味著至少表述的數量(例如,“兩個表述”的直白表述,在沒有其他修飾語的情況下,通常意味著至少兩個表述,或者兩個或更多個表述)。此外,在那些使用類似於“A、B和C中的至少一個等”的慣用語的情況下,一般這種結構旨在表示慣用的意義(例如“具有A、B和C中的至少一個的系統”將包括但不限於只有A的系統、只有B的系統、只有C的系統、有A和B兩者的系統、有A和C兩者的系統、有B和C兩者的系統和/或有A、B和C三者的系統等)。在那些使用類似於“A、B或C中的至少一個等”的慣用語的情況下,一般這種結構旨在表示慣用的意義(例如“具有A、B或C中的至少一個的系統”將包括但不限於只有A的系統、只有B的系統、只有C的系統、有A和B兩者的系統、有A和C兩者的系統、有B和C兩者的系統和/或有A、B和C三者的系統等)。提供兩個或更多個替代術語的實質上任何反義連接詞和/或短語,無論是在說明書申請專利範圍或圖式中,應當理解成考慮包括術語之一、術語中的任一個或兩個術語的可能性。例如,短語“A或B”通常理解成包括“A”或“B”或“A和B”的可能性。
對於所附申請專利範圍,在其中陳述的操作一般可以以任何循序執行。此類替代順序的例子可包括重疊的、交錯的、中斷的、重新排序的、遞增的、預備的、補充的、同時的、顛倒的或其他變化排序,除非上下文另外指示。對於上下文,即使諸如“回應於”、“涉及到”或其他過去時態的形容詞一般也並不排除這樣的變體,除非上下文另外指示。
雖然本文已公開了各個方面和實施方式,但是本文所公開的各個方面和實施方式是為了說明的目的,並不旨在是限制性的,其真正的範圍和精神由下面的請求項指定。
201‧‧‧染色質點
202‧‧‧細胞質
300‧‧‧系統
301‧‧‧圖像
310‧‧‧圖像預處理模組
311‧‧‧輸出圖像
320‧‧‧候選物件檢測模組
321‧‧‧圖像修補
330‧‧‧特徵提取模組
331‧‧‧特徵向量
340‧‧‧物件分類器模組
341‧‧‧分類物件資料
350‧‧‧診斷模組
351‧‧‧診斷
400‧‧‧子模組
401‧‧‧子集
410‧‧‧子模組
411‧‧‧灰度強度圖像
420‧‧‧子模組
421‧‧‧二進位圖像
430‧‧‧子模組
431‧‧‧像素值
440‧‧‧子模組
441‧‧‧像素值
450‧‧‧子模組
451‧‧‧像素值
460‧‧‧子模組
461‧‧‧白平衡變換參數
470‧‧‧子模組
471‧‧‧圖像
480‧‧‧子模組
481‧‧‧迴歸模型
490‧‧‧子模組
491‧‧‧圖像
Figure 02_image036
Figure 02_image038
n ‧‧‧向量
θ‧‧‧角度
601‧‧‧背景像素
602‧‧‧白血細胞細胞核像素
603‧‧‧寄生蟲細胞核像素
611‧‧‧背景像素
612‧‧‧WBC細胞核像素
613‧‧‧寄生蟲細胞核像素
810‧‧‧子模組
811‧‧‧檢測遮罩
812‧‧‧子模組
814‧‧‧子模組
820‧‧‧子模組
821‧‧‧物件集群
830‧‧‧子模組
831‧‧‧最佳聚焦
840‧‧‧子模組
841‧‧‧屬性
850‧‧‧子模組
851‧‧‧偽像
860‧‧‧子模組
861‧‧‧圖像修補
870‧‧‧FoV
870’ ‧‧‧
871‧‧‧高雜訊區域
872‧‧‧WBC
874‧‧‧WBC
876‧‧‧寄生蟲
878‧‧‧寄生蟲
880‧‧‧WBC
881‧‧‧低雜訊區域
882‧‧‧寄生蟲
884‧‧‧偽像
886‧‧‧寄生蟲
899‧‧‧路徑
890‧‧‧視窗
892‧‧‧物件
894‧‧‧物件
896‧‧‧物件
900‧‧‧長條圖
901‧‧‧輸入
904‧‧‧實線
908‧‧‧凸塊
910‧‧‧子模組
911‧‧‧手動特徵
912‧‧‧線
914‧‧‧線
916‧‧‧區域
921‧‧‧圖像修補
930‧‧‧特徵提取器
931‧‧‧CNN成分
941‧‧‧輸出特徵向量
950‧‧‧圖形
965‧‧‧橫坐標位置
974‧‧‧峰值
976‧‧‧峰值
978‧‧‧峰值
982‧‧‧峰值
984‧‧‧峰值
986‧‧‧峰值
1001‧‧‧平面
1002‧‧‧平面
1003‧‧‧平面
1004‧‧‧平面
1005‧‧‧平面
1010‧‧‧鏡頭
1020‧‧‧消色差元件
1030‧‧‧曲線
1031‧‧‧點
1032‧‧‧點
1033‧‧‧點
1040‧‧‧曲線
1044‧‧‧點
1045‧‧‧點
1101‧‧‧曲線
1200‧‧‧系統
1202‧‧‧計算設備
1206‧‧‧連接
1208‧‧‧電源
1210‧‧‧記憶體儲存媒體
1220‧‧‧處理器
1230‧‧‧使用者介面
1240‧‧‧成像裝置
1250‧‧‧樣品載片
1300‧‧‧方法
1305-1370‧‧‧動作
1400‧‧‧方法
1410-1440‧‧‧動作
圖1為瘧疾生命週期圖。
圖2A是環形寄生蟲的示意圖。
圖2B是環形寄生蟲的示意圖。
圖2C是根據一個實施方式的多個圖像的示意圖。
圖3A是根據一個實施方式的自動檢測和量化樣品中的一種或多種分析物的系統的多個模組的示意圖。
圖3B是根據一個實施方式的輸入到圖3A的系統的模組中的多個圖像的示意圖。
圖3C是根據一個實施方式的輸入到圖3A的系統的模組中的多個圖像的示意圖。
圖4是根據一個實施方式的圖3A的系統的圖像預處理模組的詳細示意圖。
圖5是根據一個實施方式的在紅軸、綠軸和藍軸的色值空間中的不同向量之間的關係的示意圖。
圖6A是根據一個實施方式的用於不同灰度圖像的不同像素的灰度強度長條圖。
圖6B是根據一個實施方式的用於不同灰度圖像的不同像素的灰度強度長條圖。
圖7是根據一個實施方式的具有多個焦平面的不同FoV中的圖像的並排比較圖。
圖8A是根據一個實施方式的圖3A中的系統的候選物件檢測模組的詳細示意圖。
圖8B是根據一個實施方式的圖3A和圖8A中的候選物件檢測模組的斑點檢測子模組的詳細示意圖。
圖8C是根據一個實施方式的圖8B的斑點檢測模組的FoV輸入圖像。
圖8D是根據一個實施方式的圖8C的已經被修改的FoV輸入圖像。
圖8E是根據一個實施方式的圖8C的FoV圖像的像素的灰度強度長條圖。
圖8F是根據一個實施方式的穿過圖8C的FoV圖像的路徑的圖示。
圖8G是根據一個實施方式的作為圖8F的路徑上的位置的函數的反轉灰度強度的圖形。
圖9是根據一個實施方式的圖3A中的系統的特徵提取模組的詳細示意圖。
圖10A是通過簡單鏡頭和帶消色差校正的鏡頭折射到焦平面的光線的示意圖。
10B是通過簡單鏡頭和帶消色差校正的鏡頭折射到不同焦平面的光線的示意圖。
圖10C是針對圖10A和10B中示出的簡單鏡頭和帶消色差校正的鏡頭的聚焦與波長曲線的圖。
圖11是根據一個實施方式的經Giemsa染色的DNA樣品的吸收光譜圖。
圖12是根據一個實施方式的用於判定樣品中分析物存在的系統的示意圖。
圖13是根據一個實施方式的用於判定樣品中分析物存在的方法的流程圖。
圖14是根據一個實施方式的用於判定樣品中分析物存在的方法的流程圖。
300‧‧‧系統
301‧‧‧圖像
310‧‧‧圖像預處理模組
311‧‧‧輸出圖像
320‧‧‧候選物件檢測模組
321‧‧‧圖像修補
330‧‧‧特徵提取模組
331‧‧‧特徵向量
340‧‧‧物件分類器模組
341‧‧‧分類物件資料
350‧‧‧診斷模組
351‧‧‧診斷

Claims (86)

  1. 一種用於確定血液中的分析物的存在的系統,所述系統包括: 至少一個記憶體儲存媒體,其被配置成儲存樣品載片的多個圖像,所述多個圖像包括: 多個視場,每一個視場包括所述樣品載片的唯一的x和y座標;和 多個焦平面,每一個焦平面具有所述樣品載片的唯一的z座標; 至少一個處理器,其能操作地耦合到所述至少一個記憶體儲存媒體,所述至少一個處理器被配置為: 確定白平衡變換並應用該白平衡變換到所述多個圖像中的每一個以有效產生多個經顏色校正的圖像; 確定自適應灰度變換並應用該自適應灰度變換到所述多個圖像中的每一個以針對所述多個圖像中的每一個提供自適應灰度強度圖像; 檢測和識別在所述經顏色校正的圖像和所述自適應灰度強度圖像中的一個或多個候選物件,並且所述至少一個處理器還被配置為, 對所述自適應灰度強度圖像執行自適應閾值化操作並基於其輸出一個或多個候選物件; 將所述一個或多個檢測到的候選物件集群為包括一個或多個相鄰候選物件/集群的集群,且關聯指示一個或多個相鄰候選物件的集群是單個候選物件的所檢測到的候選物件的集群並且輸出一個或更多個相鄰候選物件的所述集群的位置,所述位置包括包含所述一個或多個相鄰候選物件的一個或多個圖像修補; 定位每個單個候選物件具有最佳聚焦的所述焦平面; 確定在每個單個候選物件具有最佳聚焦的所述焦平面中的每個單個候選物件的屬性; 至少部分地基於一個或多個確定的屬性來過濾每個單個候選物件;以及 提取並輸出一個或多個圖像修補,每個圖像修補包含所述一個或多個候選物件中的至少一個經過濾的單個候選物件。
  2. 根據請求項1所述的系統,其還包括: 閾值確定模組,其被配置為確定所述自適應灰度強度圖像中的一個或多個區域的灰度強度的局部自適應閾值,並且能操作地耦合到, 被配置為從其接收一個或多個自適應灰度強度圖像的圖像預處理模組;以及 被配置為從其接收白血細胞檢測遮罩的白血細胞檢測模組,所述白血細胞檢測遮罩包括關於在所述多個視場和多個焦平面中的白血細胞的位置的資訊。
  3. 根據請求項2所述的系統,其中所述閾值確定模組被配置為, 確定在所述自適應灰度圖像中的所述多個視場和多個焦平面中的多個視窗中的至少一些視窗的灰度強度的所述局部自適應閾值,所述自適應灰度圖像包括至少一些視窗,所述至少一些視窗包含在其中的一個或多個候選物件,該確定通過局部估計所述視窗中的所述至少一些的噪底來實現。
  4. 根據請求項3所述的系統,其中所述閾值確定模組被配置為通過以下方式來局部估計所述視窗中的至少一些的噪底:確定所述自適應灰度強度圖像中的所述至少一些視窗中的每個視窗中的中值灰度強度值,對由於存在白血細胞而導致的所述中值灰度強度值中的任何變化進行折扣,以在所述至少一些視窗中的每個視窗中產生所述局部自適應閾值。
  5. 根據請求項4所述的系統,其中所述閾值確定模組被配置為, 接收記錄所述多個視場中的視場的一個或多個所識別的視窗內的白血細胞的存在和位置的資訊; 當指示白血細胞存在時,用從在所述視場中的所有像素確定的替換中值灰度強度值替換在所述視場的所述一個或多個所識別的視窗的特定區域中的包含白血細胞的像素; 在包含像素的白血細胞已被所述替換中值灰度強度值替換之後,確定所述一個或多個所識別的視窗中的每個視窗中的所有像素的局部中值灰度強度值;以及 基於其中的所述局部中值灰度強度值輸出用於所述一個或多個所識別的視窗中的每一個視窗的所述局部自適應閾值。
  6. 根據請求項5所述的系統,其中所述閾值確定子模組能操作地耦合到斑點識別子模組,所述斑點識別子模組被配置為接收所述局部自適應閾值並將所述局部自適應閾值應用於對應於所述至少一些視窗的所述自適應灰度強度圖像中的每一個。
  7. 根據請求項2所述的系統,其還包括能操作地耦合到所述閾值確定子模組的斑點識別子模組,所述斑點識別子模組被配置為從所述閾值確定子模組接收一個或多個局部自適應閾值。
  8. 根據請求項7所述的系統,其中所述斑點識別子模組被配置為將所述局部自適應閾值應用於所述多個視場中的對應圖像修補並且確定所述對應圖像修補中一個或多個候選物件的存在,該一個或多個候選物件具有低於所述局部自適應閾值的灰度強度。
  9. 根據請求項7所述的系統,其中,所述斑點識別子模組被配置為基於其暗度閾值來確定在低於所述局部自適應閾值的每個圖像修補中所述一個或多個候選物件的存在。
  10. 根據請求項1所述的系統,其還包括斑點檢測子模組,其中所述斑點檢測子模組被配置為, 反轉所述自適應灰度強度圖像的亮度以產生多個反轉灰度強度圖像; 基於所述多個反轉灰度強度圖像確定所述灰度強度的局部自適應閾值;以及 基於所述多個反轉灰度強度圖像的亮度閾值,確定在高於所述局部自適應閾值的每個圖像修補中所述一個或多個候選物件的存在。
  11. 根據請求項1所述的系統,其中所述至少一個處理器進一步被配置以便為具有每個單個候選物件的每一圖像修補確定具有最高聚焦得分的所述焦平面。
  12. 根據請求項11所述的系統,其中,所述至少一個處理器被配置以便為每個候選物件選擇並輸出具有最高聚焦得分的相應的焦平面。
  13. 根據請求項11所述的系統,其中,所述至少一個處理器被配置為識別所述焦平面中對於每個單個候選物件具有最高聚焦得分的最暗斑點,並將所述最暗斑點作為感興趣的候選物件分配。
  14. 根據請求項11所述的系統,其中,所述至少一個處理器被配置為識別在所述焦平面中對於每個單個候選物件具有最高聚焦得分的最圓斑點,並將所述最圓斑點作為感興趣的候選物件分配。
  15. 根據請求項1所述的系統,其中所述至少一個處理器被配置為確定每個單個候選物件的面積、圓度或灰度強度中的一個或多個。
  16. 根據請求項1所述的系統,其中,所述至少一個處理器被配置為輸出在每個單個候選物件具有最佳聚焦的所述焦平面中的每個單個候選物件的確定的屬性,以基於所述一個或多個確定的屬性將每個單個候選物件分類為偽像或候選物件。
  17. 根據請求項16所述的系統,其中所述至少一個處理器進一步配置為或包括偽像分類器,所述偽像分類器被配置為至少部分地基於一個或多個確定的屬性來為每個單個候選物件評分。
  18. 根據請求項17所述的系統,其中,所述至少一個處理器被配置為基於所確定的所述屬性中的一個或多個來確定候選物件的得分。
  19. 根據請求項18所述的系統,其中,所述至少一個處理器被配置為丟棄具有低於閾值得分的得分的單個候選物件並且保留具有高於所述閾值得分的得分的每個單個候選物件。
  20. 根據請求項19所述的系統,其中,所述至少一個處理器被配置為提取並輸出所保留的每個單個候選物件的一個或多個圖像修補。
  21. 根據請求項20所述的系統,其中所保留的每個單個候選物件的所述一個或多個圖像修補包括:經顏色校正的紅色、藍色和綠色圖像以及至少包含一個單個候選物件的視場和焦平面的自適應灰度強度圖像的小區域。
  22. 根據請求項21所述的系統,其中,所述至少一個處理器被配置為輸出為所保留的每個單個候選物件的特徵提取而保留的每個單個候選物件的所述一個或多個圖像修補。
  23. 根據請求項1所述的系統,其中,所述至少一個處理器被配置為, 確定白平衡變換並應用該白平衡變換到所述多個圖像中的每一個以有效產生多個經顏色校正的圖像; 確定自適應灰度變換並應用該自適應灰度變換到所述多個圖像中的每一個以針對所述多個圖像中的每一個提供自適應灰度強度圖像; 至少部分地基於所述一個或多個候選物件的一個或多個特性來提取所述一個或多個圖像修補中的所述一個或多個候選物件並對其評分,至少部分地基於得分來過濾所述一個或多個候選物件,並且針對每個經過濾的候選物件輸出一個或多個經顏色校正的圖像修補和一個或多個自適應灰度強度圖像修補; 從所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補提取一個或多個特徵向量並輸出所述一個或多個特徵向量; 將所述一個或多個特徵向量中的每一個分類為對應於偽像或分析物;以及 判定被分類為分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。
  24. 根據請求項23所述的系統,其中所述至少一個記憶體儲存媒體包括在其中儲存的作為可由所述至少一個處理器執行的電腦可讀程式的圖像預處理模組、候選物件檢測模組、特徵提取模組、分類模組和診斷模組。
  25. 一種用於確定血液中的分析物的存在的方法,該方法包括: 接收樣品載片的多個圖像,所述多個圖像包括, 多個視場,每一個視場包括所述樣品載片的唯一的x和y座標;和 多個焦平面,每一個焦平面具有所述樣品載片的唯一的z座標; 應用白平衡變換到所述多個圖像中的每一個以有效產生多個經顏色校正的圖像; 應用自適應灰度變換到所述多個圖像中的每一個以針對所述多個圖像中的每一個提供自適應灰度強度圖像; 檢測和識別在所述多個經顏色校正的圖像和所述自適應灰度強度圖像中的一個或多個候選物件,包括, 對所述自適應灰度強度圖像執行自適應閾值化操作並且基於此輸出一個或多個候選物件, 將所述一個或多個檢測到的候選物件集群為包括一個或多個候選物件/集群的集群,且關聯指示一個或多個相鄰候選物件是單個候選物件的所檢測到的候選物件的集群並且輸出所述一個或多個相鄰候選物件的集群的位置,所述位置包括包含所述一個或多個相鄰候選物件的集群的一個或多個圖像修補; 識別每個單個候選物件具有最佳聚焦的所述焦平面; 確定在每個單個候選物件具有最佳聚焦的所述焦平面中的每個單個候選物件的屬性; 至少部分基於一個或多個確定的屬性過濾每個單個候選物件;以及 提取並輸出一個或多個圖像修補,每個圖像修補包含所述一個或多個候選物件中的至少一個經過濾的單個候選物件。
  26. 根據請求項25所述的方法,其中對所述自適應灰度強度圖像執行自適應閾值化操作並基於此輸出一個或多個候選物件包括: 接收一個或多個自適應灰度強度圖像並接收包含關於所述多個視場和多個焦平面中的白血細胞的位置的資訊的白血細胞檢測遮罩;以及 使用所述一個或多個自適應灰度強度圖像和白血細胞檢測遮罩來確定所述自適應灰度強度圖像中的一個或多個區域的灰度強度的局部自適應閾值。
  27. 根據請求項26所述的方法,其中確定所述自適應灰度強度圖像中的一個或多個區域的灰度強度的局部自適應閾值包括:確定所述自適應灰度圖像中的所述多個視場和多個焦平面中的多個視窗中的至少一些視窗的所述局部自適應閾值,所述自適應灰度圖像包括至少一些視窗,所述至少一些視窗包含在其中的一個或多個候選物件,該確定通過局部估計所述視窗中的所述至少一些的噪底來實現。
  28. 根據請求項27所述的方法,其中局部估計所述視窗中的所述至少一些的噪底包括:確定所述自適應灰度強度圖像中的所述至少一些視窗中的每個視窗中的中值灰度強度值,對由於存在白血細胞而導致的所述中值灰度強度值中的任何變化進行折扣。
  29. 根據請求項28所述的方法,其中確定所述自適應灰度強度圖像中的所述至少一些視窗中的每個視窗中的中值灰度強度值包括: 接收記錄所述多個視場中的視場的一個或多個所識別的視窗內的白血細胞的存在和位置的資訊; 當指示白血細胞存在時,用從在所述視場中的所有像素確定的替換中值灰度強度值替換在所述視場的所述一個或多個所識別的視窗的特定區域中的包含白血細胞的像素; 在包含像素的白血細胞已被所述替換中值灰度強度值替換之後,確定所述一個或多個所識別的視窗中的每個視窗中的所有像素的局部中值灰度強度值;以及 基於其中的所述局部中值灰度強度值輸出針對一個或多個所識別的視窗中的每個視窗的所述局部自適應閾值。
  30. 根據請求項29所述的方法,其還包括將所述局部自適應閾值應用於所述自適應灰度強度圖像中的所述至少一些視窗中的每一個視窗。
  31. 根據請求項26所述的方法,其還包括將所述局部自適應閾值應用於所述多個視場中的對應圖像修補並且確定所述對應圖像修補中存在一個或多個候選物件,該一個或多個候選物件具有低於所述局部自適應閾值的灰度強度。
  32. 根據請求項31所述的方法,其中,確定所述對應圖像修補中存在一個或多個候選物件,該一個或多個候選物件具有低於所述局部自適應閾值的灰度強度包括:基於所述自適應灰度強度圖像的暗閾值來確定在低於所述局部自適應閾值的每個圖像修補中所述一個或多個候選物件的存在。
  33. 根據請求項31所述的方法,其還包括: 反轉所述自適應灰度強度圖像的亮度以產生多個反轉灰度強度圖像; 基於所述多個反轉灰度強度圖像確定所述局部自適應閾值;以及 基於所述多個反轉灰度強度圖像的亮度閾值,確定在高於所述局部自適應閾值的每個圖像修補中所述一個或多個候選物件的存在。
  34. 根據請求項25所述的方法,其中識別每個單個候選物件具有最佳聚焦的所述焦平面包括:針對具有每個單個候選物件的每個圖像修補確定具有最高聚焦得分的所述焦平面。
  35. 根據請求項34所述的方法,其還包括針對每個候選物件選擇並輸出具有最高聚焦得分的相應的焦平面。
  36. 根據請求項34所述的方法,其還包括識別所述焦平面中對於每個單個候選物件具有最高聚焦得分的最暗斑點,並將所述最暗斑點作為感興趣的候選物件分配。
  37. 根據請求項34所述的方法,其還包括識別在所述焦平面中對於每個單個候選物件具有最高聚焦得分的最圓斑點,並將所述最圓斑點作為感興趣的候選物件分配。
  38. 根據請求項25所述的方法,其中確定在每個單個候選物件具有最佳聚焦的所述焦平面中的每個單個候選物件的屬性包括:確定在每個單個候選物件具有最佳聚焦的所述焦平面中的每個單個候選物件的面積、圓度、形狀或灰度強度中的一個或多個。
  39. 根據請求項25所述的方法,其還包括輸出在每個單個候選物件具有最佳聚焦的所述焦平面中的每個單個候選物件的一個或多個確定的屬性,以基於所述一個或多個確定的屬性將每個單個候選物件分類為偽像或候選物件。
  40. 根據請求項39所述的方法,其中至少部分地基於一個或多個確定的屬性來過濾每個單個候選物件包括:使用偽像分類器,所述偽像分類器被配置為至少部分地基於所述一個或多個確定的屬性來為每個單個候選物件評分。
  41. 根據請求項40所述的方法,其還包括基於所述一個或多個確定的屬性來確定每個單個候選物件的得分。
  42. 根據請求項41所述的方法,其中,確定得分包括:基於對應於已知分析物的已知屬性對所述一個或多個確定的屬性進行評分。
  43. 根據請求項41所述的方法,其中,至少部分地基於一個或多個確定的屬性來過濾每個單個候選物件包括:丟棄具有低於閾值得分的得分的單個候選物件並且保留具有高於所述閾值得分的得分的所述單個候選物件。
  44. 根據請求項43所述的方法,其還包括提取並輸出所保留的所述單個候選物件的一個或多個圖像修補。
  45. 根據請求項44所述的方法,其中所保留的所述單個候選物件的所述一個或多個圖像修補包括:經顏色校正的紅色、藍色和綠色圖像以及至少包含一個單個候選物件的視場和焦平面的自適應灰度強度圖像的小區域。
  46. 根據請求項43所述的方法,其還包括輸出為所保留的所述單個候選物件的特徵提取而保留的所述單個候選物件的所述一個或多個圖像修補。
  47. 根據請求項25所述的方法,其還包括: 至少部分地基於至少部分地基於所述一個或多個候選物件的一個或多個特性的得分來過濾所述一個或多個候選物件,並且針對每個經過濾的候選物件輸出一個或多個經顏色校正的圖像修補和一個或多個自適應灰度強度圖像修補; 從所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補提取一個或多個特徵向量並輸出所述一個或多個特徵向量; 將每一個特徵向量分類為對應於偽像或分析物;以及 判定被分類為分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。
  48. 根據請求項47所述的方法,其中,該方法是使用至少一個記憶體儲存媒體進行,所述至少一個記憶體儲存媒體包括作為可由可操作地耦合到所述至少一個記憶體儲存媒體的至少一個處理器執行的電腦可讀程式儲存在其中的圖像預處理模組、候選物件檢測模組、特徵提取模組、分類模組和診斷模組中的每一個。
  49. 根據請求項48所述的方法,其中,所述候選物件檢測模組包括候選物件集群檢測模組、候選物件集群模組、最佳聚焦檢測模組、候選物件集群屬性提取模組、偽像過濾模組和縮略圖提取模組。
  50. 根據請求項49所述的方法,其中所述候選物件集群檢測模組包括強度閾值確定子模組和斑點識別子模組,所述斑點識別子模組被配置為識別具有不同於閾值灰度強度的灰度強度的候選物件集群。
  51. 根據請求項47所述的方法,其中應用白平衡變換到所述多個圖像包括:使用在所述多個圖像中的多個最亮像素。
  52. 根據請求項51所述的方法,其中應用白平衡變換包括確定所述白平衡變換,所述確定所述白平衡變換包括: 選擇來自隨機選擇的所述多個圖像的子集的多個最亮像素,使得在其中清晰像素的存在機率基本上為1; 計算和應用所述多個圖像的所述子集的每個像素的標準灰度強度來確定在所述多個圖像中的所述子集中的每一個中的所述多個最亮像素; 確定所述多個最亮像素中的每一個的紅色值R、綠色值G和藍色值B; 計算由所述多個最亮像素的平均色定義的平均色向量; 確定白色向量; 確定軸向量,該軸向量垂直於所述平均色向量和所述白色向量兩者,並且由所述平均色向量和所述白色向量兩者的交叉乘積來計算;以及 確定仿射變換矩陣,所述仿射變換矩陣根據所述軸向量和在所述平均色向量與所述白色向量之間的角度來計算。
  53. 根據請求項52所述的方法,其中應用所述白平衡變換包括:應用所述白平衡變換到由其中的紅色值R、綠色值G和藍色值B限定的所述多個圖像的每一個像素的色向量,並且基於此輸出經顏色校正的圖像。
  54. 根據請求項47所述的方法,其中應用自適應灰度變換到所述多個圖像包括:輸出多個自適應灰度強度圖像。
  55. 根據請求項54所述的方法,其中應用自適應灰度變換包括: 接收作為輸入的多個經顏色校正的圖像和標準灰度強度圖像; 在暗閾值下將所述標準灰度強度圖像閥值化以檢測一個或多個斑點; 過濾所檢測到的一個或多個斑點的顏色、面積或形狀中的至少一者以定位並識別在高敏感度和特異性下的白血細胞細胞核; 輸出作為白血細胞向量資料的來自在其中包含白血細胞細胞核的所述經顏色校正的圖像的一個或多個像素的紅色值R、綠色值G和藍色值B; 輸出作為背景向量資料的從對於在所述經顏色校正的圖像中在灰度強度上比所述暗閾值更亮的像素隨機採樣所確定的多個合格背景像素的紅色值R、綠色值G和藍色值B;以及 根據所述白血細胞向量資料和背景向量資料確定自適應灰度投影向量。
  56. 根據請求項54所述的方法,其中應用自適應灰度變換包括:使用多個白血細胞像素、多個合格背景像素和迴歸來確定和應用所述自適應灰度投影向量。
  57. 根據請求項56所述的方法,其中使用迴歸包括使用脊迴歸、套索迴歸、主成分迴歸或偏最小二乘迴歸中的一者或多者。
  58. 根據請求項54所述的方法,其中應用自適應灰度變換包括:計算自適應灰度投影向量和應用該自適應灰度投影向量到所述多個經顏色校正的圖像中的每一個以有效地提供多個自適應灰度強度圖像。
  59. 根據請求項54所述的方法,其中應用自適應灰度變換包括:使用二階或更高階的多項式預測器變數矩陣來計算和應用多項式迴歸。
  60. 根據請求項54所述的方法,其中應用自適應灰度變換包括:使用具有紅色值R、綠色值G和藍色值B的有理函數的預測器變數矩陣來計算和應用多項式迴歸。
  61. 根據請求項47所述的方法,其中檢測和識別一個或多個候選物件包括:基於多個經顏色校正的圖像或多個自適應灰度強度圖像中的一個或多個來確定一個或多個潛在分析物的位置。
  62. 根據請求項47所述的方法,其中關聯指示一個或多個相鄰候選物件的集群是單個候選物件的所檢測到的候選物件的集群並且輸出一個或更多個相鄰候選物件的所述集群的位置包括: 確定所述多個視場中的哪些視場在其中包括一個或多個候選物件; 至少部分地基於在視場中的所述一個或多個候選物件中的相鄰候選物件之間的距離來集群一個或多個候選物件,以提供由其中的所述相鄰候選物件定義的候選物件集群。
  63. 根據請求項47所述的方法,其中至少部分地基於一個或多個確定的屬性來過濾每個單個候選物件包括:基於被訓練到記憶體儲存媒體中且由至少一個處理器訪問的地面實況物件的屬性來確定閥值得分。
  64. 根據請求項47所述的方法,其中從所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補提取所述一個或多個特徵向量包括: 接收作為輸入的對應於所述多個圖像中的一個或多個潛在分析物的位置的多個經顏色校正的圖像修補和多個自適應灰度強度圖像修補;以及 輸出每個都代表潛在分析物的一個或多個特徵向量。
  65. 根據請求項64所述的方法,其中從所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補提取所述一個或更多個特徵向量包括: 確定和提取對應於所述一個或多個潛在分析物的位置的所述多個經顏色校正的圖像修補和所述多個自適應灰度強度圖像修補中的一個或多個候選物件的一個或多個特徵;以及 將與所述一個或多個候選物件相關聯的一個或多個特徵表示為一個或多個特徵向量。
  66. 根據請求項65所述的方法,其中確定和提取所述一個或多個候選物件的一個或多個特徵包括提取一個或多個自動習得的特徵。
  67. 根據請求項66所述的方法,其中提取所述自動習得的特徵包括:至少部分地基於在其中具有一個或多個地面實況物件的地面實況圖像修補來教導機器學習模組成組的權重,其中所述一個或多個地面實況物件包括所述分析物的樣品和偽像的樣品。
  68. 根據請求項67所述的方法,其中所述機器學習模組包括卷積神經網路。
  69. 根據請求項68所述的方法,其中至少部分地基於地面實況圖像修補來教導所述機器學習模組成組的權重包括使用資料增強方案來增強所述地面實況圖像修補。
  70. 根據請求項69所述的方法,其中所述資料增強方案包括所述地面實況圖像修補的紅色、綠色、藍色或灰度強度成分中的一者或者多者的隨機伽馬校正。
  71. 根據請求項64所述的方法,其中從所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補提取所述一個或多個特徵向量包括: 至少部分地基於最佳聚焦得分來確定含有所述一個或者多個候選物件的多個經顏色校正的圖像修補和自適應灰度強度圖像修補中的每個圖像修補的最佳焦平面,所述最佳聚焦得分包括來自在其中具有候選物件的圖像修補中的所述多個焦平面的多個焦點得分的最高得分; 確定在其中具有所述候選物件的每個圖像修補的所述多個焦平面的全部上的焦點得分的標準差;和 至少部分地基於在每個圖像修補的所述多個焦平面之間的候選物件的最暗部的紅色變化來針對每個圖像修補確定紅移得分。
  72. 根據請求項47所述的方法,其中將每個特徵向量分類為對應於偽像或分析物包括:接收作為輸入的候選物件的一個或多個特徵向量並且將所述一個或多個特徵向量分類為對應於所述偽像或所述分析物中的一個。
  73. 根據請求項72所述的方法,其中將每個特徵向量分類為對應於偽像或分析物包括:使用輸出表示所述一個或多個候選物件的一個或多個特徵向量中的每一個對應於分析物的得分的機器學習分類器。
  74. 根據請求項73所述的方法,其中輸出所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補包括使用資料增強方案來增強所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補,並且將所述一個或多個特徵向量分類包括在對應於所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補中的每一個的增強版本的特徵向量上平均化所述機器學習分類器的輸出。
  75. 根據請求項74所述的方法,其中所述資料增強方案包括所述經顏色校正的圖像修補或所述自適應灰度強度圖像修補中的經顏色校正的紅色、綠色、藍色或自適應灰度強度成分中的一者或多者的隨機伽馬校正。
  76. 根據請求項47所述的方法,還包括:接受作為地面實況的在地面實況樣品中的所述分析物的一個或多個經標記的圖像和在地面實況樣品中的偽像的一個或多個經標記的圖像。
  77. 根據請求項76所述的方法,其中接收作為地面實況的在地面實況樣品中的所述分析物的一個或多個經標記的圖像和在地面實況樣品中的偽像的一個或多個經標記的圖像包括:至少部分地基於一個或多個習得的地面實況樣品圖像修補來教導機器學習分類器成組的權重。
  78. 根據請求項77所述的方法,其中所述機器學習分類器包括卷積神經網路,並且至少部分地基於所述一個或多個地面實況樣品圖像修補來教導所述機器學習分類器成組的權重包括:將在地面實況樣品中的所述分析物的所述一個或多個經標記的圖像和在地面實況樣品中的偽像的所述一個或多個經標記的圖像載入到所述卷積神經網路中。
  79. 根據請求項78所述的方法,其中至少部分地基於所述一個或多個地面實況樣品圖像修補來教導所述機器學習分類器成組的權重包括:使用資料增強方案來增強所述一個或多個地面實況樣品圖像修補。
  80. 根據請求項79所述的方法,其中所述資料增 方案包括所述一個或多個地面樣品實況圖像修補的紅色、綠色、藍色或灰度強度成分中的一者或多者的隨機伽馬校正。
  81. 根據請求項47所述的方法,其中判定經分類為對應於分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閥值水平包括:基於被分類為分析物的一個或多個特徵向量的量值來判定所述分析物是否存在並給出所述分析物存在或不存在的指示。
  82. 根據請求項47所述的方法,其還包括至少部分地基於包括形狀、大小或顏色中的一者或多者的一個或多個圖像特性來識別一個或多個候選物件的種類。
  83. 根據請求項47所述的方法,其中所述分析物包括寄生蟲。
  84. 根據請求項83所述的方法,其中所述寄生蟲包括瘧疾寄生蟲。
  85. 根據請求項47所述的方法,其還包括用顯微鏡記錄一個或多個樣品載片的一個或多個圖像。
  86. 一種用於確定血液中的分析物的存在的方法,該方法包括: 接收樣品載片的多個圖像,所述多個圖像包括: 多個視場,每一個視場包括所述樣品載片的唯一的x和y座標;和 多個焦平面,每一個焦平面具有所述樣品載片的唯一的z座標; 應用白平衡變換到所述多個圖像中的每一個以有效產生多個經顏色校正的圖像;以及 應用自適應灰度變換到所述多個圖像中的每一個以針對所述多個圖像中的每一個提供自適應灰度強度圖像; 檢測和識別在所述多個經顏色校正的圖像和所述自適應灰度強度圖像中的一個或多個候選物件,包括, 對所述自適應灰度強度圖像執行自適應閾值化操作並且基於此輸出一個或多個候選物件集群, 接收一個或多個自適應灰度強度圖像並接收包括關於所述多個視場和多個焦平面中的白血細胞的位置的資訊的白血細胞檢測遮罩; 使用所述一個或多個自適應灰度強度圖像和白血細胞檢測遮罩來確定所述自適應灰度強度圖像中的一個或多個區域的灰度強度的局部自適應閾值,包括, 確定所述自適應灰度圖像中的所述多個視場和多個焦平面中的多個視窗中的至少一些視窗的所述局部自適應閾值,所述自適應灰度圖像包括至少一些視窗,所述至少一些視窗其中包含一個或多個候選物件,該確定通過局部估計所述視窗中的所述至少一些的噪底來實現,該局部估計通過以下途徑進行:確定所述自適應灰度強度圖像中的所述至少一些視窗中的每個視窗中的中值灰度強度值,折扣由於白血細胞的存在而導致的所述中值灰度強度值中的任何變化; 其中確定所述自適應灰度強度圖像中的所述至少一些視窗中的每個視窗中的中值灰度強度值包括: 接收記錄在所述多個視場中的視場中的一個或多個所識別的視窗內的白血細胞的存在和位置的資訊; 當白血細胞被指示為存在時,以從所述視場中的所有像素確定的替換中值灰度強度值替換所述視場的所述一個或多個所識別的視窗的特定區域中的包含所述白血細胞的像素; 在包含像素的白血細胞已被所述替換中值灰度強度值替換之後,確定所述一個或多個所識別的視窗中的每個視窗中的所有像素的局部中值灰度強度值;以及 基於其中的所述局部中值灰度強度值輸出用於所述一個或多個所識別的視窗中的每個視窗的局部自適應閾值, 將指示一個或多個相鄰候選物件是單個候選物件的檢測到的候選物件的集群相關聯,並輸出一個或多個相鄰候選物件的所述集群的位置,所述位置包括包含所述一個或多個相鄰候選物件的一個或多個圖像修補; 識別每個單個候選物件具有最佳聚焦的所述焦平面; 確定在每個單個候選物件具有最佳聚焦的焦平面中的每個單個候選物件的屬性; 至少部分基於一個或多個確定的屬性過濾每個單個候選物件;以及 提取並輸出一個或多個圖像修補,每個圖像修補包含所述一個或多個候選物件中的至少一個經過濾的單個候選物件, 至少部分地基於至少部分地基於所述一個或多個候選物件的一個或多個特性的得分來過濾所述一個或多個候選物件,並且針對每個經過濾的單個候選物件輸出一個或多個經顏色校正的圖像修補和一個或多個自適應灰度強度圖像修補; 從所述經顏色校正的圖像修補和所述自適應灰度強度圖像修補提取一個或多個特徵向量並輸出所述一個或多個特徵向量; 將每一個特徵向量分類為對應於偽像或分析物;以及 判定被分類為分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。
TW107105375A 2017-02-15 2018-02-13 圖像分析系統及相關方法 TWI756365B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/433,656 2017-02-15
US15/433,656 US10061972B2 (en) 2015-05-28 2017-02-15 Image analysis systems and related methods

Publications (2)

Publication Number Publication Date
TW201832181A TW201832181A (zh) 2018-09-01
TWI756365B true TWI756365B (zh) 2022-03-01

Family

ID=63169640

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107105375A TWI756365B (zh) 2017-02-15 2018-02-13 圖像分析系統及相關方法

Country Status (5)

Country Link
EP (1) EP3583544A4 (zh)
CN (1) CN110462627B (zh)
TW (1) TWI756365B (zh)
WO (1) WO2018152157A1 (zh)
ZA (1) ZA201906008B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111051964B (zh) 2017-05-22 2022-03-11 乐卓博大学 光学显微镜检查的图像对比度增强
KR102172213B1 (ko) * 2018-06-04 2020-10-30 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
JP7175158B2 (ja) * 2018-10-29 2022-11-18 アークレイ株式会社 情報処理装置、測定システム、及びプログラム
TWI687898B (zh) 2018-11-23 2020-03-11 宏碁股份有限公司 影像正規化方法及影像處理裝置
TWI664582B (zh) * 2018-11-28 2019-07-01 靜宜大學 細胞檢測方法、裝置與系統
WO2020110072A1 (en) * 2018-11-29 2020-06-04 La Trobe University Automated method of identifying a structure
TWI694414B (zh) * 2018-12-18 2020-05-21 國立成功大學 卷積神經網路分析方法、電腦程式產品與電子裝置
CN109872312B (zh) 2019-02-15 2022-12-20 腾讯科技(深圳)有限公司 医学图像分割方法、装置、系统及图像分割方法
CN112215880B (zh) * 2019-07-10 2022-05-06 浙江商汤科技开发有限公司 一种图像深度估计方法及装置、电子设备、存储介质
TWI828109B (zh) * 2019-09-24 2024-01-01 美商應用材料股份有限公司 用於組織分割之機器學習模型的交互式訓練
TWI719696B (zh) 2019-11-01 2021-02-21 財團法人工業技術研究院 臉部影像重建方法與系統
TWI719713B (zh) * 2019-11-14 2021-02-21 緯創資通股份有限公司 物件偵測方法、電子裝置與物件偵測系統
CN111526366B (zh) * 2020-04-28 2021-08-06 深圳市思坦科技有限公司 图像处理方法、装置、摄像设备和存储介质
WO2022021287A1 (zh) * 2020-07-31 2022-02-03 华为技术有限公司 实例分割模型的数据增强方法、训练方法和相关装置
KR20230034384A (ko) 2020-08-07 2023-03-09 나노트로닉스 이미징, 인코포레이티드 낮은 snr 이미징 조건에서의 잡음 감소를 위한 딥 러닝 모델
CN113205518B (zh) * 2021-07-05 2021-09-07 雅安市人民医院 医疗车图像信息处理方法及装置
KR102419738B1 (ko) * 2021-08-31 2022-07-12 주식회사 별하늘친구 인공지능을 이용하는 얼룩검사 학습을 위한 이미지 데이터를 생성하는 방법
WO2023081446A1 (en) * 2021-11-05 2023-05-11 Thread Robotics Inc. System and method for automated cell positioning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6172349B1 (en) * 1997-03-31 2001-01-09 Kla-Tencor Corporation Autofocusing apparatus and method for high resolution microscope system
US7706606B1 (en) * 2006-05-31 2010-04-27 Adobe Systems Incorporated Fast, adaptive color to grayscale conversion
US8103102B2 (en) * 2006-12-13 2012-01-24 Adobe Systems Incorporated Robust feature extraction for color and grayscale images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2083739A1 (en) * 1991-12-06 1993-06-07 James W. Bacus Blood cell analyzer
US6215892B1 (en) * 1995-11-30 2001-04-10 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US6718053B1 (en) * 1996-11-27 2004-04-06 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
AU6342000A (en) * 1999-07-09 2001-02-05 Chromavision Medical Systems, Inc. Automated method for image analysis of residual protein
AU2001234765A1 (en) * 2000-02-01 2001-08-14 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US7236623B2 (en) * 2000-04-24 2007-06-26 International Remote Imaging Systems, Inc. Analyte recognition for urinalysis diagnostic system
US8605981B2 (en) * 2010-11-05 2013-12-10 Cytognomix Inc. Centromere detector and method for determining radiation exposure from chromosome abnormalities
DE102010063965A1 (de) * 2010-12-22 2012-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bestimmung von Objekten einer Farbaufnahme
US20130094750A1 (en) * 2011-10-12 2013-04-18 Tolga Tasdizen Methods and systems for segmentation of cells for an automated differential counting system
CA2914475C (en) * 2013-07-18 2020-08-25 Ventana Medical Systems, Inc. Auto-focus methods and systems for multi-spectral imaging
JP6667541B2 (ja) * 2015-01-31 2020-03-18 ベンタナ メディカル システムズ, インコーポレイテッド スライドサムネイル画像を使用する関心範囲検出のためのシステム及び方法
US9836839B2 (en) * 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6172349B1 (en) * 1997-03-31 2001-01-09 Kla-Tencor Corporation Autofocusing apparatus and method for high resolution microscope system
US7706606B1 (en) * 2006-05-31 2010-04-27 Adobe Systems Incorporated Fast, adaptive color to grayscale conversion
US8103102B2 (en) * 2006-12-13 2012-01-24 Adobe Systems Incorporated Robust feature extraction for color and grayscale images

Also Published As

Publication number Publication date
CN110462627A (zh) 2019-11-15
ZA201906008B (en) 2021-02-24
EP3583544A4 (en) 2020-08-12
WO2018152157A1 (en) 2018-08-23
EP3583544A1 (en) 2019-12-25
CN110462627B (zh) 2023-09-01
TW201832181A (zh) 2018-09-01

Similar Documents

Publication Publication Date Title
TWI756365B (zh) 圖像分析系統及相關方法
CN107646115B (zh) 图像分析系统及相关方法
US10061972B2 (en) Image analysis systems and related methods
JP7261414B2 (ja) 分析方法
Mehanian et al. Computer-automated malaria diagnosis and quantitation using convolutional neural networks
US11199690B2 (en) Determining a degree of red blood cell deformity within a blood sample
Linder et al. A malaria diagnostic tool based on computer vision screening and visualization of Plasmodium falciparum candidate areas in digitized blood smears
Díaz et al. A semi-automatic method for quantification and classification of erythrocytes infected with malaria parasites in microscopic images
Quinn et al. Automated blood smear analysis for mobile malaria diagnosis
Vink et al. An automatic vision‐based malaria diagnosis system
Poostchi et al. Malaria parasite detection and cell counting for human and mouse using thin blood smear microscopy
Costa Filho et al. Automatic identification of tuberculosis mycobacterium
Dave et al. Computer aided diagnosis of malaria disease for thin and thick blood smear microscopic images
Mohammed et al. Detection and classification of malaria in thin blood slide images
Memeu et al. Detection of plasmodium parasites from images of thin blood smears
Memeu A rapid malaria diagnostic method based on automatic detection and classification of plasmodium parasites in stained thin blood smear images
de Souza Oliveira et al. A new approach for malaria diagnosis in thick blood smear images
US20190311482A1 (en) Methods, systems, and computer readable media for using synthetically trained deep neural networks for automated tracking of particles in diverse video microscopy data sets
Adi et al. Identifying the developmental phase of plasmodium falciparum in malaria-infected red blood cells using adaptive color segmentation and back propagation neural network
Dantas Oliveira et al. An automatic system for computing malaria parasite density in thin blood films
KR102562741B1 (ko) 인공지능을 이용하여 적혈구 검체에서 말라리아 감염을 진단하는 방법 및 그 장치
Nugroho et al. Optimization of General Threshold Value for Preprocessing in Plasmodium Parasites Detection
Sulistyawati et al. Automatic segmentation of malaria parasites on thick blood film using blob analysis
PadmavathiPragada Automated Machine Learning Based Malaria Parasite Detection and Classification (AML-MPDC) Technique Using Blood Smear Images
Vanitha et al. Automated Detection of Malaria Parasite from Giemsa-Stained Thin Blood Smear Images