TW201710949A - 圖像分析系統及相關方法 - Google Patents

圖像分析系統及相關方法 Download PDF

Info

Publication number
TW201710949A
TW201710949A TW105116623A TW105116623A TW201710949A TW 201710949 A TW201710949 A TW 201710949A TW 105116623 A TW105116623 A TW 105116623A TW 105116623 A TW105116623 A TW 105116623A TW 201710949 A TW201710949 A TW 201710949A
Authority
TW
Taiwan
Prior art keywords
images
image
candidate objects
vector
color
Prior art date
Application number
TW105116623A
Other languages
English (en)
Inventor
卡理理查德 錢普林
查爾斯 德拉漢特
馬修P 霍寧
胡黎明
肖恩K 麥圭爾
克洛西 墨哈尼安
克萊馬修 湯普森
本杰明K 威爾遜
Original Assignee
脫其泰有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 脫其泰有限責任公司 filed Critical 脫其泰有限責任公司
Publication of TW201710949A publication Critical patent/TW201710949A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本文所公開的實施方式有關於用於確定在生物樣品中的分析物的存在和量化的系統和方法。用於確定分析物的存在的系統和方法利用包括在其中具有多個焦平面的多個視場的樣品載片的多個影像。該系統和方法利用配置成對所述多個影像進行顏色和灰階強度平衡並且基於此判定多個影像是否在其中含有分析物的演算法。

Description

圖像分析系統及相關方法
本發明有關於一種影像分析系統及其相關方法。
優先權申請(多個申請)的所有主題被通過引用以這些主題與本申請不相抵觸的程度併入本文。
顯微技術用於診斷多種疾病、血液病症等。某些顯微鏡技術需要專門的顯微鏡或其它設備以達到足夠的解析度用於恰當的診斷。
顯微鏡可以被用於使用塗片(如厚的血塗片)來檢測分析物(如瘧疾)。典型地,顯微鏡包括具有相對淺的景深(depth of field)的油浸鏡頭來實現檢測引起瘧疾的寄生原生動物所需的解析度。鏡頭典型地呈現出只有幾微米(約1微米或小於1微米)的景深。通常,塗片的整個厚度被成像以決定性地診斷由分析物存在所指示的病症。然而,塗片的厚度大於幾微米,這可能會導致診斷的問題,具體取決於影像的焦平面。為確保對整個塗片進行分析,樣品與鏡頭之間的距離可以減少或增加,以擷取在塗片的各個視場(FoV)的多個焦平面。
典型的顯微鏡包括被配置成以微米級位移增加或減少鏡頭和樣品之間的距離的常規聚焦系統。然而,這種常規聚焦系統可能是昂貴的和複雜的,這使得常規聚焦系統不適於瘧疾最常見的區域,如在貧困地區。典型的診斷措施包括利用技術人員來掃描在顯微鏡的載片,以在視覺上判定是否存在分析物。然而,限制顯微鏡操作人員(human microscopist)的靈敏度和一致性的因素包括人與人之間和人內在的可變性、疏忽、眼睛疲勞、疲乏和缺少培訓。缺少培訓在少資源配置下尤其重要,其中相比於瘧疾等疾病的負擔,高素質的顯微鏡操作人員可能是供不應求的。此外,技術人員可能不能夠確定或定量在樣品載片中的特別低濃度的分析物(例如,低寄生蟲血症)。
因此,顯微鏡的開發人員和使用者持續尋求對於用於確定分析物存在的顯微鏡和診斷技術的改善。
本文所公開的實施方式有關於用於診斷、識別和量化生物樣品中的生物分析物的系統和方法。在一個實施方式中,公開了一種用於確定血液中的分析物的存在的系統。該系統包括被配置成儲存樣品載片的多個影像的至少一個儲存器儲存介質。所述多個影像包括:多個視場,每一個包括所述樣品載片的唯一的x和y座標;和多個焦平面,每一個具有所述樣品載片的唯一的z座標。所述系統包括可操作地耦接到所述至少一個儲存器儲存介質的至少一個處理器。所述至少一個處理器被配置為確定白平衡轉換並施加該白平衡轉換到所述多個影像中的每一個以有效產生多個經顏色校正的影像。所述至少一個處理器被配置為確定自適應灰階轉換並施加該自適應灰階轉換到所述多個影像中的每一個以針對所述多個影像中的每一個提供自適應灰階強度影像。所述至少一個處理器被配置為檢測和識別在所述多個經顏色校正的影像和自適應灰階強度影像中的一個或多個候選對象。所述至少一個處理器被配置為至少部分地基於所述一個或多個候選對象的一個或多個特性來提取和評分所述一個或多個候選對象,至少部分地基於得分來過濾所述一個或多個候選對象,並且針對每個經過濾的候選對象輸出一個或多個經顏色校正的影像補丁和一個或多個自適應灰階強度影像補丁。所述至少一個處理器被配置為從所述經顏色校正的影像補丁和所述自適應灰階強度影像補丁提取一個或多個特徵向量並輸出所述一個或多個特徵向量。所述至少一個處理器被配置為將每一個特徵向量分類為對應於假影或分析物。所述至少一個處理器被配置為判定被分類為分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。
在一個實施方式中,公開了一種確定血液中的分析物的存在的方法。所述方法包括接收樣品載片的多個影像。所述多個影像包括:多個視場,每一個包括所述樣品載片的唯一的x和y座標;和多個焦平面,每一個具有所述樣品載片的唯一的z座標。該方法包括施加白平衡轉換到所述多個影像中的每一個以有效產生多個經顏色校正的影像。該方法包括施加自適應灰階轉換到所述多個影像中的每一個以針對所述多個影像中的每一個提供自適應灰階強度影像。該方法包括檢測和識別在所述多個經顏色校正的影像和所述自適應灰階強度影像中的一個或多個候選對象。該方法包括至少部分地基於為至少部分地基於所述一個或多個候選對象的一個或多個特性的得分來過濾所述一個或多個候選對象,並且針對每個經過濾的候選對象輸出一個或多個經顏色校正的影像補丁和一個或多個自適應灰階強度影像補丁。該方法包括從所述經顏色校正的影像補丁和所述自適應灰階強度影像補丁提取一個或多個特徵向量並輸出所述一個或多個特徵向量。該方法包括將每一個特徵向量分類為對應於假影或分析物。該方法包括判定被分類為分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。
在一個實施方式中,公開了一種用於確定血液中的瘧疾寄生蟲的存在的系統。該系統包括配置成擷取血液載片的多個影像的顯微鏡。所述多個影像中的每一個包括:多個視場,每一個包括血液載片的唯一的x和y座標;和多個焦平面,每一個具有血液載片的唯一的z座標。該系統包括配置為儲存所述血液載片的多個影像的至少一個儲存器儲存介質。該系統包括可操作地耦接到所述至少一個儲存器儲存介質的至少一個處理器。所述至少一個處理器被配置為確定白平衡轉換並施加該白平衡轉換到所述多個影像中的每一個以有效產生多個經顏色校正的影像。所述至少一個處理器被配置為確定自適應灰階轉換並施加該自適應灰階轉換到所述多個影像中的每一個以針對所述多個影像中的每一個提供自適應灰階強度影像。所述至少一個處理器被配置為檢測和識別在所述多個經顏色校正的影像和自適應灰階強度影像中的一個或多個候選對象。所述至少一個處理器被配置為提取和評分所述一個或多個候選對象的一個或多個特性,至少部分地基於得分來過濾所述一個或多個候選對象。所述至少一個處理器被配置為提取所述一個或多個經過濾的候選對象的經顏色校正的影像補丁和自適應灰階強度影像補丁並且針對每個經過濾的候選對象輸出輸出一個或多個特徵向量。所述至少一個處理器被配置為將每一個特徵向量分類為假影或分析物。所述至少一個處理器被配置為判定被分類為分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。
來自任意所公開的實施方式中的特徵可彼此組合使用,而沒有限制。另外,對於本領域的普通技術人員而言,本發明的其它特徵和優點通過考慮以下詳細描述和圖示將變得顯而易見。
前面的概述僅是說明性的並無意以任何方式進行限制。除了以上描述的說明方面、實施方式和特徵,進一步的方面、實施方式和特徵參考圖示和下面的詳細描述也將變得顯而易見。
本文所公開的實施方式有關於影像分析系統和使用該影像分析系統的方法。本文所公開的影像包括任何電腦可讀格式(諸如png、jpeg、gif、tiff、bmp或任何其它適當的檔案類型)的影像。本文的影像分析系統和相關方法能夠解決和分析在載片上的樣品塗片(例如,厚的血塗片)的在整個豎直厚度(例如,基本上平行於顯微鏡上的光軸或z軸)和橫向部分(例如,基於x軸和y軸的尺寸)上的影像。本文的系統和方法可以識別在不同焦平面(z-水平)上的實際上為同一對象的對象,但這些對象由於不同焦深而呈現不同或者由於相機抖動而造成具有不同的x-y座標。如下面更詳細解釋的,血塗片可使用限定血塗片的分散的橫向(子)部分的多個視場(FoV)和限定在血塗片的整個厚度上的分散(垂直堆疊的)的平面的多個焦平面進行分析。本文的影像分析系統可以準確地識別樣品中的寄生蟲(多個寄生蟲)或其它分析物的存在以及在一些實施方式中它們的種類或階段。本文所公開的系統和方法可以在等同於或優於訓練有素的顯微鏡操作人員的操作水平下提供對於生物樣本中的一種或多種分析物的自動診斷和量化中的一者或多者。如本文中所使用的,術語“分析物”並非旨在限於特定的化學種類,而是旨在至少延伸到在進行分析的樣品中的寄生蟲(例如,瘧疾等)、血液成分或其它對象中的一者或更多者。本文公開的系統和方法提供了全面的機器學習框架,其利用包括支援向量機(SVM)和卷積神經網路(CNN)的電腦視覺和機器學習技術來檢測分析物。
本文的影像分析系統和相關方法包括多個模組(例如,程式或演算法),該多個模組配置成執行不同的功能,以便即使在低濃度(例如,低寄生蟲血症)下和無需人工觀察的情況下也準確地判定樣品中的感染或病症的存在。該多個模組可包括預處理模組、候選檢測模組、特徵提取模組、分類模組和診斷模組。雖然為了清楚起見在此作為單獨的“模組”進行描述,但“模組”中的每一個可以是一種或多種演算法或者基於該一種或多種演算法的、儲存在至少一個儲存裝置中且可以由可操作地與其相連的處理器執行的機器可讀程式。多個模組可包括儲存在至少一個控制器(例如,電腦)的儲存器儲存介質中或儲存在其一個或多個處理器中的分散式編程模組和子模組,在該一個或多個處理器中每一個具有配置為執行相關模組的功能的程式。
通常,每個模組被配置成使控制器或處理器執行下面描述的功能。雖然通常為便於理解而直接在下面描述功能的高級概況,但每個模組的具體方面在以下更詳細公開。
影像預處理模組可以產生多個影像的自適應白平衡的彩色影像和自適應灰階強度影像,包括樣品載片的多個視場和多個焦平面(例如,多個焦平面中的每一個基本上垂直於光軸)。候選檢測模組可以至少部分地基於影像中的候選對象的一個或多個屬性(例如,強度、顏色類型、焦點水平或其它屬性)來識別一個或多個候選對象、基於相同屬性來識別並排除一個或多個假影(例如,樣品中的如非寄生對象(包括白血球)之類的非分析物對象),並且可以提取含有每個候選對象的經顏色校正的影像補丁和自適應灰階強度影像補丁。特徵提取模組可以識別和輸出特定影像中的一個或多個候選對象的一個或多個資料集(例如,特定的FoV及其焦平面的一個或多個向量)。特徵提取模組可以將所述識別建立在手動功能的基礎上,該手動功能包括候選對象的一個或更多個最佳焦點得分(focus score)、在視場中的橫跨焦平面的焦點得分的標準差(或其它離散測量)、或紅移得分。特徵提取模組可以至少部分地基於一個或多個自動特徵來另外地或替代地識別和輸出一個或多個影像,該一個或多個自動特徵包括陽性樣品、陰性樣品或兩者的電腦習得的屬性(例如,通過卷積神經網路習得的一個或多個向量)。分類模組可被配置成至少部分地基於由已知的陽性和陰性樣品習得的權重(例如,包括寄生蟲的存在、類型、階段或種類)來判定所提取的特徵是否具有高概率得分(表明分析物或假影存在)並且確定樣品中的分析物(例如,寄生蟲蟲體)的濃度的估計值。
下面的數學符號將被用在整個本公開中所公開的演算法中使用的方程式中。斜體小寫或大寫字母代表標值(例如,)。粗斜體小寫字母表示列向量(例如,)。粗斜體大寫字母表示矩陣(例如,)。上標T 表示矩陣轉置(例如,)。影像平面座標被稱為,並且在垂直方向上的座標,即,平行於光軸的座標被稱為
本公開的影像分析系統接收作為輸入的一系列的從高解析度影像捕捉設備(例如,高解析度顯微鏡)獲取的生物樣本的影像,並產生作為輸出的有關於一種或多種分析物(例如,如寄生蟲之類的病原體或如血液成分之類的天然存在的組分)的存在、種類以及計數的有關生物樣本的狀態的診斷資訊。
在一個實施方式中,生物樣本包括樣品的顯微鏡載片(例如,血塗片),並且本文的影像分析系統分析一個或多個所擷取的樣品載片影像,以判定在其中存在或不存在一種或多種分析物(例如,瘧疾寄生蟲)。本文的影像分析系統分析樣品載片以用於識別分析物的存在、計數和種類。雖然本文所公開的系統和方法不限於與血塗片一起使用,但血塗片將貫穿本公開用作實施例來說明構思,並且應該理解的是,本公開適用於其它生物樣品而沒有限制。
在一個實施方式中,在對於其中的一個或多個分析物(例如瘧疾)進行病理組織診斷之前,血塗片用Giemsa染劑進行染色。Giemsa染劑是亞甲基藍、曙紅Y和天青B的組合;它將紅血球(紅血球,下文中稱為“RBC”)染成粉紅色,將白血球細胞核(白血球,下文中稱為“WBC”)染成深褐紫紅色。瘧疾寄生蟲細胞核也將染成紫紅色,但在外觀上不像白血球細胞核那樣暗。瘧疾寄生蟲細胞質會輕度染色到中等藍色。本文所公開的系統和方法不限於檢測瘧疾,但瘧疾將貫穿本公開作為實施方式示例使用以說明構思,並且應該理解的是,本公開也適用於其它分析物而沒有限制。此外,可使用對在所檢測的分析物進行補充的其它染劑和染色方法。例如,合適的染劑可以包括Field染劑、Jaswant Singh Bhattacharya(JSB)染劑、Leishman染劑等等。
在一個實施方式中,本文的系統和方法可以用來至少部分基於分析物的形狀、顏色或大小來檢測和量化樣品中的分析物的數量。在一些實施方式中,分析物可以有超過一個的構象或外觀。本文的系統和方法可被構造成檢測或量化分析物的一種或多種構象、類型、或種類。作為一個實施方式示例,人類的瘧疾寄生蟲屬於五種不同瘧原蟲屬:惡性瘧原蟲,間日瘧原蟲,卵形瘧原蟲,三日瘧原蟲和諾氏瘧原蟲。這些種類中的每一種類的個體在其生命週期中都經歷一系列複雜的階段。在每個階段,寄生蟲呈現出不同的物理外觀,本文的系統和方法可以檢測並識別來自五種不同種類中的每一個的寄生蟲。
圖1是美國國立過敏和傳染病研究所(National Institute of Allergy and Infectious Diseases)的瘧疾生命週期慣例示意圖。圖1的右側示出了發生在在蚊子體內的瘧疾寄生蟲的生命週期中的階段。該圖的左側示出了受感染的人體內的各個階段。在蚊子體內,瘧疾寄生蟲以配子體(雌性和雄性兩者)開始。該配子體繁殖以形成配子,該配子最終發展和繁衍成子孢子。子孢子遷移到蚊子唾液腺。當蚊子叮咬人類時,子孢子進入血液流並行進到肝且感染肝細胞(hepatocytes,liver cells)。子孢子繁殖成裂殖子,使受感染宿主的肝細胞破裂並返回到血液流中。個別裂殖子感染紅血球並發展成環的形式,這是不成熟的滋養體。環形式發展成比較成熟的滋養體,並最終成為裂殖體。每個裂殖體將分裂成多個裂殖子,其中的每一個都尋求它自己的紅血球進行感染。以這種方式,生殖週期的無性部分自身重複,由示於圖1的左上方的人體血球週期所指示。有些裂殖子可發展成配子體,其如果是由正在叮咬的蚊子所注入的,將繼續寄生蟲的生命週期。
不同的種類具有不同的生命週期持續時間且具有(即使在相同生命週期階段下)獨特的物理外觀。由於治療方案在瘧疾種類之間有所不同,因此在進行組織病理學方面的瘧疾診斷時區別它們是很重要的。本公開的系統和方法可以在不同的瘧疾階段或種類(或分析物)之間自動區分。
圖2A和2B是環形寄生蟲的示意圖。環形寄生蟲通常見於周邊血液中。環形寄生蟲的物理外觀變化很大。環形寄生蟲通常設有一個(圖2A)或兩個(圖2B)染色質點201,其含有寄生蟲的核質。在如上所述的Giemsa染劑的條件下染色質點201染成紫紅色。環形寄生蟲還採用纖細的細胞質202,其在如上所述的Giemsa染色的條件下輕度染色成中等藍色。染色質點201通常直徑約為1微米,整個環形的直徑為約3微米。本文的系統和方法可用於識別或量化約200奈米或更大的分析物,例如為約200奈米至約100微米、約500奈米至約10微米、約1微米至約5微米或小於約50微米的分析物。在一個實施方式中,為了獲得這樣小的對象的高品質的影像,使用具有高解析度鏡頭的顯微鏡。例如,合適的高解析度顯微鏡可以包括具有數值孔徑(numerical aperture)大於或等於約1.2的油浸100倍的物鏡。顯微鏡可以配備有數位影像擷取裝置,諸如照相機。本文的高倍率光學系統的景深(depth-of-field)可為約0.35微米或更小(例如,0.3微米,0.2微米,0.1微米,或者介於任何前述數值之間的範圍),而血塗片可以比這厚幾倍。在多個實施方式中,針對每個FoV擷取多個焦平面,以擷取寄生蟲的可豎直地定位於血塗片的底部和頂部之間的任何位置處的聚焦影像。每個FoV所擷取的焦平面數量被指定為
圖2C是根據一個實施方式的多個影像301的示意圖。多個影像301成多行和成多列地配置。影像的行和列共同限定血塗片或其他樣品載片。例如,血塗片可以基本上完全由在y行、x列和z焦平面的集合中排列的多個影像擷取。所擷取的FoV的數量被指定為。每個FOV的橫向範圍(例如,x和y範圍)是由鏡頭的放大倍數或成像裝置的影像感測器大小中的一者或多者所限定。血塗片的給定尺寸可能需要多個FoV以為本文目的提供合適的影像解析度。每個FoV可具有多個與之對應的焦平面影像。例如,在多個影像中對應於x、y座標的FoV可以包括對應於焦平面數量的z焦平面影像,在所述焦平面,影像在相應FoV被擷取。即,對應於FoV的特定影像可由唯一的x和y座標指定,焦平面可由FoV中的唯一的z座標指定。每個影像(例如,特定的FoV和焦平面)在其中可以包含多個影像補丁。影像補丁是FoV的橫向分段(在特定的焦平面),該FoV的橫向分段在其中具有一個或多個候選對象並限定血液載片的更小分段。本文所公開的系統和方法利用由nxy 個FoV和nz 個焦平面組成的多個影像來識別和量化樣品中的分析物。
在一些實施方式中,本文的由顯微鏡擷取的FoV的大小可以在10,000平方微米或以上(例如10,000平方微米至約20,000平方微米)的量級。在一些實施方式中,本文的由顯微鏡擷取的Fov的大小可小於約10,000平方微米(如1000平方微米至約10,000平方微米)。約10,000平方微米的FoV對應於在厚的血塗片樣本中的約3x10-4 微升的血液。在瘧疾患者的具有100個寄生蟲原蟲/微升的血塗片的FoV中寄生蟲的數量將是泊松分佈(Poisson distribution)的,每個FoV平均具有3×10-2 個寄生蟲。
在一些實施方式中,300個FoV或更多個可以被擷取以實現充分統計,以用於在低寄生蟲血症下的寄生蟲的可靠檢測和計數。例如,約300至2000個FoV可以被擷取或約500至1000個FoV可以被擷取。在一些實施方式中,300個FoV或更少可以被擷取以實現充分統計,以用於在低寄生蟲血症下的寄生蟲的可靠檢測和計數。例如,約10至300個FoV可以被擷取或約50至200個FoV可以被擷取。用於特定分析物的最低可檢測的原蟲水平被稱為檢測限(LoD)。一般來說,所擷取的FoV數量越多,則LoD越低。
前面的段落提供了作為本文所公開的影像分析系統的輸入的影像的特徵的概述。
圖3A是根據一個實施方式的自動檢測和量化樣品中的一種或多種分析物的系統300的多個模組的示意圖。模組可以是共同配置為判定寄生蟲在樣品中的存在的演算法或包括該演算法的控制器(例如,以電子方式儲存在其中)。圖3B和3C分別是輸入到系統300的模組中的多個影像301和該模組的輸出影像311的示意圖。
參照圖3A,一個或多個模組包括影像預處理模組310、候選對象檢測模組320、特徵提取模組330、對象分類器模組340和診斷模組350。如以上所指出的,本文的模組和子模組可以是指儲存在至少一個儲存器儲存裝置(例如,電腦硬碟)並且可通過可操作地連接到其上的至少一個處理器執行的一個或多個演算法和機器可讀程式。本文所描述的模組和子模組類似地可指的是自動檢測和量化樣品中一種或多種分析物的方法。
輸入到系統中的輸入301可以包括樣品載片的一個或多個FoV影像。存在個FoV,其中每一個包括個焦平面,每個焦平面包括紅色、綠色和藍色通道影像(如在圖3B中所示)。
在圖3A所示的實施方式中,系統300可以接收作為輸入的在影像預處理模組310的多個影像301。多個影像301可以包括多個FoV和針對每個FoV的多個焦平面。影像預處理模組310可以輸出多個輸出影像311,包括經顏色校正的影像和自適應灰階強度影像。多個經顏色校正的影像和自適應灰階強度影像可以在候選對象檢測模組320和特徵提取模組330作為輸入被接收。候選對象檢測模組320接收經顏色校正的影像和自適應灰階強度影像,並輸出包含候選對象及其所有個焦平面的經顏色校正的R G B 影像補丁321。特徵提取模組330接收作為輸入的經顏色校正的R G B 影像補丁321(基於在輸出影像311中的多個經顏色校正的影像和自適應灰階強度影像)。特徵提取模組330提取並輸出在經顏色校正的R G B 影像補丁321中的候選對象的特徵向量331和自適應灰階強度影像補丁。特徵向量是表示對象的數值特徵的多維向量。在其它方面,特徵向量是代表包括描述對象的一個或多個特性(例如,顏色,大小,位置等)的一個或多個變數的向量。對象分類器340接收特徵向量331作為輸入和輸出的分類對象資料341,其對應於每一個作為分析物或假影的候選對象類別。在診斷模組350,分類對象資料被接收作為輸入,該診斷模組350判定並提供對樣品的診斷。診斷模組可以輸出診斷351和分析物(例如,寄生蟲原蟲)的相對濃度。影像分析系統模組310、320、330、340和350中的每一個在下文中被詳細描述。 A. 影像預處理模組
被組織染色(例如,用Giemsa染劑)的顯微鏡載片通常在載片內部(載片內)和在來自不同試樣的載片之間(載片間)呈現顏色變化。這種顏色變化可由染劑的pH和染色過程的持續時間的差異所導致。未校正的、這些顏色差異可能會降低其用途在於檢測和分類影像中的感興趣對象的影像分析系統的操作性能。
白平衡技術可以用於標準化影像中的顏色。白平衡技術可以按如下計算線性顏色轉換。影像中最亮像素的平均顏色被計算並表示為紅-綠-藍列向量: 其中,R G B 分別為紅色通道、綠色通道和藍色通道的像素值。總和為最亮像素,N 是包括在總和中的像素個數。
對角轉換矩陣A按下式計算:
像素的經顏色校正的值是通過等式1限定的線性轉換獲得: 其中,被選擇以使得經顏色校正的像素值是位於範圍[0,k]內;k通常被選擇為1或255。從此點開始,在本公開中,為簡化注釋,素數R ’、 G ’、 B 將被捨棄而由R G B 取代,意味著經顏色校正的值是預定的。
如上所述,在一些實施方式中,對於每個血液樣品,至少300個量級的FoV可以被擷取。不是所有的這些影像將包含白色部分,因此,對每個單獨的FoV影像進行白平衡會導致顏色失真。為了解決該問題,通過在顯微鏡載片的白色部分上單獨獲取一個或多個影像來判定白平衡轉換是可行的。然而,這引入了額外的掃描步驟到工作流程中。
本文的系統和方法避免由迫使每個FoV根據自身最亮像素進行白平衡而引入的顏色失真。本文的系統和方法還免於需要作為額外步驟的額外地掃描載片中的清晰區域。
圖3A中的影像預處理模組310可以被配置成通過跨多個FoV累積最亮像素來判定對樣品進行白平衡轉換。圖4示出了影像預處理模組310的方塊圖。在一個實施方式中,輸入FoV影像301的總集的子集401在子模組400被隨機選擇。在FoV影像401的子集中的FoV的數量是足夠大,以便在像素集合中包括清晰區域的概率接近1。使用由在等式2中的公式所定義的經顏色校正的紅色通道、綠色通道、藍色通道的像素值的加權和,通過子模組410,FoV影像401的子集被轉換為標準的灰階強度影像411: 其中,為像素的標準灰階強度值。
使用灰階強度值;在子集411中的最亮像素451的採樣的紅色值、綠色值和藍色值是通過子模組450選擇並被儲存在儲存資料儲存器(例如,儲存器的儲存介質)中。子模組460根據所儲存的來自最亮像素451的採樣中的每一個的紅色、綠色、藍色的值來計算白平衡轉換461。白平衡轉換參數461可以被保存在資料儲存中。子模組470施加白平衡轉換到輸入影像301,以產生經顏色校正的FoV影像471。白平衡轉換演算法及其相關參數在本文中被詳細描述。
影像預處理模組允許等式1中的轉換矩陣的一般仿射矩陣。
在一個實施方式中,仿射矩陣 A 是旋轉矩陣(也記作 A )。
如上所述,向量是最亮像素451的採樣的平均色。這些像素被示出在圖5中的紅、綠、藍的像素值空間中。白色是由白色向量表示。白平衡轉換通過使向量圍繞垂直於白色向量和平均色向量兩者的軸向量n 旋轉到向量的旋轉來限定。圖5是在紅軸、綠軸和藍軸的色彩值空間內的向量n 之間關係的示意圖。旋轉軸向量n 可以通過使用叉積的系統來計算:
旋轉矩陣 A 可以通過使用以下等式3的系統來計算:
在等式3中,是在旋轉軸 n 方向上的單位向量,其中,表示標準的L2 範數。向量之間的角度的餘弦可以通過點積來計算,其中
再次參照圖3A,影像預處理模組310可以補償在輸入影像301中的以上所概述的顏色變化並且輸出包括經顏色校正的FoV影像和自適應灰階強度影像的多個輸出影像311,每一個都包括在其中的一個或多個焦平面。在影像分析系統300的處理流程的下一個階段是候選對象檢測模組320。候選對象檢測模組320被配置為查找有可能為分析物(例如,瘧疾寄生蟲)的影像位置。為了找到這樣的潛在分析物的位置,候選對象檢測模組320可以使用多個輸出影像311中的多個自適應灰階轉換影像和多個經顏色校正的(例如,經白平衡轉換的)影像。多個輸出影像311包括多個自適應灰階轉換影像,而多個經顏色校正的影像可由影像預處理模組310確定並輸出。
候選寄生蟲核可以通過應用暗閾值(dark threshold)到標準灰階強度影像來檢測,其是通過式2中所示的加權和來計算的。 該加權和可被視為先前介紹的且在圖5中示出的紅色、綠色和藍色像素空間的投影。 投影是在由等式4所定義的向量的方向上:
將像素的紅色、綠色和藍色值作為列向量,等式2中的灰階投影可以被寫成。為了檢測候選寄生蟲核,暗閾值可被應用到每個像素的標準灰階強度影像強度,然後,一個或多個區域、顏色以及形狀過濾器(例如,候選對象簇)可被應用到通過應用暗閥值檢測到的斑點(blob)。標準暗閾值是至少部分地基於候選對象的每個像素的灰階強度和背景或樣品中存在的其它非分析物像素的灰階強度之間所確定的差異來作用的過濾器。因此,標準的暗閾值可以被用於過濾(選擇或刪除)不超出(例如,之上)暗閾值的像素。
上面提到的技術,用於檢測候選寄生蟲核的敏感性和特異性的性能是有限的。儘管總體趨勢寄生蟲核是深色的,而背景是淺色的,但在寄生蟲核和背景灰階像素值之間的重疊很大。圖6A示出了背景像素601、白血球細胞核像素602和寄生蟲核像素603的灰階強度長條圖。寄生蟲核和背景灰階強度值之間的重疊在圖6A中被示為交叉陰影線區域604。
使寄生蟲核和背景灰階強度值之間的重疊最小化增強本文的檢測演算法的靈敏度和特異性的性能。本文的系統和方法確定(例如,習得)和應用自適應灰階投影向量,取代等式4中定義的標準灰階投影向量。 這些確定可以使用機器學習技術來完成。這樣的應用可以提供對應於白血球細胞核像素和分析物(例如,瘧疾寄生蟲)像素的灰階強度值與對應於背景像素的灰階強度值的更大分離。
本文所公開的重疊的最小化利用容易在標準灰階強度影像中檢測並且類似於寄生蟲核質進行染色的血液成分的存在。
在Giemsa染劑下,如上所述,環狀寄生蟲的核質染色成紫紅色。具體地,核質在一般情況下比周圍的背景物質更暗,該背景物質包括已通過在Giemsa染色過程中使用的水的作用被裂解的紅血球(RBC)物質以及如血小板之類的其它血液成分。這種背景物質可以染色從淺粉紅色到中藍染色的寬顏色範圍。除了寄生蟲(如果血液被如此感染的話),裂解的RBC和血小板;WBC在血塗片中是無處不在的。如上所述,WBC細胞核在Giemsa下染色成深褐紫紅色,與寄生蟲核質相同的顏色,但經染色的WBC細胞核在大多數情況下比經染色的寄生蟲核更暗,因為它們較大並吸收更多的光。 WBC細胞核比較容易檢測和分類,因為他們較大、形狀規則且顏色為深褐紫紅色。因此,在一些實施方式中,WBC細胞核可以作為寄生蟲核的易於檢測的類似物。本文的系統和方法應用暗閾值到標準灰階強度影像,隨後通過區域、顏色或形狀濾波器中的一個或多個以足夠高的敏感性和特異性而得到WBC細胞核。
再次參照圖4中的影像預處理模組的示意圖,WBC檢測器子模組420使用上文概述的直接的WBC檢測演算法被應用於灰階FoV影像的子集411,由此產生指示哪些影像像素是WBC細胞核的部分的一系列二進位影像421。子模組430累計所檢測的WBC細胞核像素431的R G B 值的隨機樣本並將它們儲存在儲存資料儲存器中。不屬於WBC的部分的像素被分類為潛在的背景像素。暗像素被從背景像素排除,以避免背景像素受到寄生蟲核像素(因為它們太小而不能由WBC檢測器檢測到)或者來自對應於染色假影(例如,RBC,血小板等)的暗區的像素任一者的污染。本文的系統和方法可以包括子模組440,該子模組440可累計合格的背景像素441的隨機樣本並儲存這些隨機樣本在儲存資料儲存器中。
WBC細胞核像素值431和背景像素值441可通過機器學習演算法(或模組)來用於確定最佳化WBC細胞核和背景之間的分離的自適應灰階投影向量(在紅色、綠色、藍色像素值空間內)。在一個實施方式中,稜回歸(ridge regression)技術可以用於(例如,通過至少一個處理器被儲存在至少一個儲存器儲存介質中)來習得最優向量。在一些實施方式中,設計矩陣X可以通過如根據下面的矩陣堆疊用於WBC細胞核和背景像素的紅色、綠色和藍色值來進行構造:其中,N 是WBC細胞核像素的數目,M 是所累計的背景像素的數目。對應的目標變數η 向量可以被構造為在M 個0上面堆疊N 個1,如根據下面的矩陣:
在一些實施方式中,稜回歸旨在尋找使具有由下面等式5所定義的公式的L2 -正規化化的最佳化問題最小化的向量 其中c是適當選擇的正規化化常數。本文的方法和系統可以使用被用來通過具有公式的投影計算自適應灰階強度的自適應灰階方向向量
如圖6B所示,使用自適應灰階強度影像代替標準灰階強度影像致使WBC細胞核和背景灰階強度值之間的分離比在標準灰階強度影像發現的分離更大,因而也導致在寄生蟲核和背景灰階強度值之間的更大分離。用於自適應灰階強度影像的長條圖被示於圖6B中,其中,可以看出重疊區域614相比於在圖6A中的使用標準灰階強度影像確定的重疊區域604顯著降低。
在一些實施方式中,多項式回歸可以用於代替如上描述的線性回歸。多項式回歸是線性回歸的延伸,並允許目標變數η 向量和一個或多個預測器變數(例如, ξ )之間的非線性關係。例如,多項式回歸可通過本文的方法和系統被用來尋找目標變數η 和二階多項式預測器變數ζ 之間的線性關係。在一個實施例中,二階多項式預測器變數ζ 可以由以下等式6來限定。
在一些實施方式中,高階多項式可摻入用來確定自適應灰階強度的回歸中,以提供自適應灰階強度影像。這個理念可以進一步推廣到包括為R G B 值的有理函數的預測器變數組分。在一個實施方式中,24-組分的預測器變數ζ 可以被用來確定自適應灰階強度以提供使背景像素和WBC和分析物像素之間的強度值更大分離的自適應灰階強度影像。在一個實施方式中,24-組分的預測器變數ζ 可具有由以下等式(7)所定義的公式: 其中,為適當選擇的常數,以防止比值的分母消失。在其它實施方式中,使用R、G、B成分的其它非線性函數。在目標和預測器變數之間引入非線性關係用作進一步增強在自適應灰階強度影像中寄生蟲核像素和背景像素之間的分離。一些正規化化形式用於上面公開的回歸計算。正規化化用來抵消預測器變數ζ 的成分之間的多重共線性的負面結果。在各種不同實施方式中,正規化回歸技術是從以下中選出的:稜回歸,套索回歸,主成分回歸和偏最小平方回歸。
再次參照圖4,子模組480計算預測器變數ξζ 和目標變數η 之間的回歸模型。回歸模型481的參數可被儲存在儲存資料儲存器中且由子模組490使用,與輸入影像301一起,來計算自適應灰階強度影像491。經顏色校正的影像471與自適應灰階強度影像491是影像預處理模組310的輸出影像311(圖3A和3C)。輸出影像311包括nxy 個FoV,每個FoV包括nz 個焦平面,每個焦平面包括經顏色校正的紅、綠和藍成分的影像(多個)以及自適應灰階強度影像(多個),如圖 3C所示。
如前面提到的,位於FoV中的寄生蟲可以是在所擷取的nz 個焦平面中的任一個中的最佳聚焦。圖7是具有多個焦平面的FoV的並排比較,一個FoV包括分析物(例如,寄生蟲),另一FoV在其中包括假影(例如,血小板)。本文的影像分析系統組態成針對每個輸入FoV檢查所有焦平面以尋找潛在寄生蟲的位置。寄生蟲的外觀在每個焦平面影像中將不同。每個FoV可以包括1個或更多個焦平面(例如1個、2個、3個、4個、5個、6個、7個、8個、9個或超過9個焦平面)。圖7的左列示出了在一個實施方式中具有nz =7個焦平面(例如,七個不同的焦平面)的含有寄生蟲的FoV的一小部分。在一些實施方式中,指示候選對象的像素中的一個或多個叢集(例如,斑點或多個斑點)可以在一個或多個焦平面中在寄生蟲的附近進行檢測,如通過在針對每個焦平面的自適應灰階強度影像上應用閾值來進行。以此同樣的方式,候選對象可以在比背景暗的假影附近例如在血小板的附近進行檢測。圖7的右列示出了包含不是寄生蟲而是假影(例如,它可以是血小板或染劑集合)的候選對象的FoV的一小部分。 B. 候選對象檢測模組
圖8是也示出在圖3A中的候選對象檢測模組320的示意圖。輸出影像311(例如,設置經顏色校正的RGB和自適應灰色影像)被輸入到候選對象檢測模組310。候選對象檢測模組310可包括每個如下所述配置的多個子模組。子模組810可以在自適應灰階影像上執行閾值操作和輸出一個或多個檢測遮罩811。子模組820可被配置成關聯所檢測的指示彼此接近(在<x, y >影像座標中)的候選對象的像素叢集(以下稱為“斑點”)為候選對象的一部分並且輸出對象叢集821的位置。子模組830可以配置成通過以用於包含檢測到的候選對象的影像補丁(例如,其中具有候選對象的FoV的節段)的最高聚焦得分確定焦平面來為每個候選對象或其一部分尋找最佳聚焦831的平面。子模組830可以針對每個候選對象判定、選擇和輸出具有最高聚焦得分831的一個或多個焦平面。在一個實施方式中,Brenner得分可以被用來尋找最佳聚焦831,這是由z 表示。其它聚焦得分可以用在其他實施方式中。在圖7所示的實施方式中,z =5是用於其中左列內的候選對象(寄生蟲)的最佳焦平面。用於在圖7的右列中的候選對象(假影)的最佳聚焦平面為z =4。子模組830還識別在最佳焦平面中的最暗斑點,並判別(例如,確定、假定或至少暫時分配)這個斑點表示感興趣的候選對象。在另一個實施方式中,最圓的斑點被分配為代表感興趣的候選對象。越圓的斑點可以更緊密地對應於瘧疾寄生蟲或其部分(如細胞質或細胞核)。在各種不同的實施方式中,其他屬性或屬性的組合被用於選擇代表性斑點。在圖7的兩列中,斑點中心都是由十字標示,分別為z =5和z =4。
參照圖8,子模組840被配置成針對每個候選對象確定(例如,計算)主要斑點的屬性841。屬性(如面積、圓度、灰階強度等)是由子模組840計算。子模組850可被配置為至少部分地基於所確定的屬性來過濾候選對象。至少部分基於所確定的屬性來過濾候選對象減少了如在851所示的候選對象集合中的假影數量。子模組850可以配置為或包括假影分類器,該假影分類器被配置為至少部分地基於一個或多個屬性對候選對象進行評分。子模組850可以被配置為基於本文所公開的任何所確定的屬性中的一個或更多個來確定用於候選對象的得分,諸如與至少部分地基於一個或多個候選對象的一個或多個特性(強度,顏色,形狀,大小等)該候選對象是分析物的可能性相關的得分。子模組850可以被配置為捨棄具有低於閾值得分的候選對象。
子模組850的假影分類器可以利用其地面真相(ground truth)個體(如分析物或非分析物)通過註解處理已知的對象影像進行預訓練,由此寄生蟲被人類專家預先標記。註解處理儲存大量寄生蟲的<x y >位置和最佳焦平面。接近已知寄生蟲位置的候選對象被認為代表寄生蟲。不接近已知的寄生蟲位置的候選對象被認為代表假影。已知寄生蟲和假影的屬性和地面真相類別被用於預訓練假影分類器850。在一個實施方式中,假影分類器被配置為非線性核SVM。在其它實施方式中,使用其它分類器。子模組860可以被配置為提取並輸出經過濾的候選對象的影像補丁861。影像補丁861是包含候選對象的經色彩校正的RGB影像和自適應灰階強度影像的小部分。這些影像補丁861(圖3A中的321)被輸出到特徵提取模組,該特徵提取模組被示於圖3A中的方框330。 C. 特徵提取模組
圖9是也示於圖3A中的特徵提取模組330的示意圖。特徵提取模組330被配置成將每個候選對象表示為特徵向量並輸出該特徵向量。特徵向量(多個)可由圖 3A的對象分類器模組340歸類為寄生蟲(甚至為其寄生蟲的種類或階段)或假影。如圖9所示,特徵提取模組330被配置為計算兩種類型的特徵中的至少一個。 特徵可以為手動特徵或自動特徵。特徵提取模組330具有兩組輸入,一組用於手動特徵提取,另一組用於自動特徵提取。特徵提取模組330可以工作在兩種模式(手動特徵提取開啟(ON)或手動特徵提取關斷(OFF))中的一種下。在各種不同實施方式中,手動特徵提取可以是ON或OFF,而自動特徵提取一直為ON。
特徵提取的第一種方法是在電腦視場中的手動特徵提取或特徵工程(feature engineering)。這些是被有意設計成衡量候選對象的特定屬性的特徵,且在很大程度上依賴於已學習的(例如,先前已知的或預編程的)領域知識。
用於手動特徵的輸入901是包含候選對象的經顏色校正的R、G、B影像補丁和其所有的nz 焦平面。特徵提取模組330的子模組910賦予三個手動特徵911給特徵向量。
第一手動特徵是候選對象的最佳聚焦得分(例如,Brenner得分)。返回參考圖7,針對nz 焦平面中的每個在影像補丁區域上計算聚焦得分,最佳聚焦平面是具有最高焦點得分的聚焦平面。第二手動特徵是跨越在其中具有候選對象特徵的FoV的焦平面上的焦點得分的標準差(和/或其它偏差測量值)。這背後的動機是,一些假影(如在試樣上的氣泡和灰塵顆粒)將在所有焦平面上具有相同的焦點得分,因為它們遠離聚焦,而環形瘧疾寄生蟲(或其它分析物)將具有包圍最佳焦平面的狹窄聚焦得分分佈,從而具有小的聚焦得分標準差。
子模組910可以被配置為提取第三手動特徵,這就是所謂的紅移得分(“紅移”在此被用作描述性的術語且與由多普勒效應所造成的紅移現象不相關)。紅移得分有助於在寄生蟲和假影之間進行區分。紅移得分依賴於兩個概念的融合。第一個概念是光色散,其是指根據波長的折射率變化。這意味著,未校正的、簡單鏡頭將在不同焦平面(例如,距離鏡頭不同長度)處聚焦不同波長的光。
圖10A和10B是光線通過簡單鏡頭和具有消色差校正的鏡頭分別被折射到不同焦平面的示意圖。在圖10A中,在光譜的紅色、綠色和藍色部分中的三個具有代表性波長的光線被分別示出來聚焦在平面1001、1002和1003。隨著光通過簡單鏡頭1010,紅色、綠色和藍色波長折射到不同的焦平面。簡單鏡頭的焦點與波長的曲線1030被示於圖10C中,針對開始聚焦在1001、1002和1003的光線的代表性焦平面是分別由曲線1030上的點1031、1032和1033表示。
具有消色差校正的鏡頭有助於限制由分散所造成的色像差的量。消色差校正鏡頭示於圖10B中,具有在光譜的紅色、綠色和藍色部分中的三個具有代表性的波長。消色差校正鏡頭可以包括例如為凸起狀的簡單的鏡頭元件1010(例如,冕牌玻璃元件),其安裝或結合到為凹入狀的消色差元件1020(例如,火石玻璃元件)。消色差校正鏡頭被設計成使兩種波長聚焦在同一平面上,如聚焦在圖10B中所示的平面1005。如圖所示,在一些實施方式中,兩個波長是在光譜的紅色和藍色部分。
用於消色差鏡頭的聚焦與波長被示出為在圖10C中的曲線1040, 用於將聚焦在1004和1005的光線的代表性焦平面在曲線1040上分別由點1044和1045表示。在圖10C中可看到,曲線1040的在光譜的紅色區域(640-700奈米)中的部分比曲線1040的在藍色區域(450-500奈米)的部分更加平緩地傾斜向上。因此,隨著在顯微鏡的聚焦設置朝向曲線圖的上部移動,藍色光將比紅光更快速地散焦。隨著顯微鏡焦點上移,綠光不會如光的紅色成分或藍色成分那樣迅速失焦。這可以從圖10C中的曲線1040的底部的相對平直度看出來,其是在光譜的綠色區域。第一構思依賴於這種隨著顯微鏡聚焦調整而在光焦平面上的變化。
紅移得分所依賴的第二構思是在染色(如用Giemasa)時分析物(例如,DNA)的光吸收特性。圖11是吸收光譜1101的曲線圖,其示出了在光譜的綠色區域中的峰值吸收。綠光通過亞甲藍和曙紅Y的結合的吸收在DNA存在的情況下被擴增。這意味著在含DNA(例如,細胞核)的顯微鏡載片上的材料將在很大程度上吸收綠光並傳輸紅光和藍光,這導致它們在透射光顯微鏡上呈紫紅色。假影對象不包含DNA,並且因此往往在光譜的綠色部分中較少吸收。因此,假影不會在影像中呈現紫紅。
基於上面觀察到的向上方改變顯微鏡的焦平面將使藍色波長比紅色波長更快散焦,隨後紫紅對象將顯得更紅,因為光的藍色成分將已擴散到更大的空間區域,比紅光更明顯。這是紅移得分的基礎,其測量在所檢測到的候選對象的最暗部的紅色增深,這對於真正的瘧疾寄生蟲而言是寄生蟲細胞的細胞核。更加均等地透過紅色、綠色和藍色光的假影將不會隨著顯微鏡的焦點向上移動而變得更紅,如上所述它抵消了紅色和藍色成分的紅移效應。因此,紅移得分提供了用於區分寄生蟲和假影之間的基礎。
本文所公開的系統和方法被配置為針對紅移來分析候選對象影像並在此基礎上提供得分。如上所述,手動特徵提取子模組910(和相關聯的顯微鏡)可以被配置為確定紅移得分。而DNA、瘧疾寄生蟲和紅色被作為例子提供,紅移得分的構思可應用於不同的顏色和分析物,而沒有限制。
由特徵提取模組提取的第二類型特徵是自動特徵,該自動特徵可以通過包括至少一個儲存器儲存設備和至少一個處理器的系統自動學習,諸如卷積神經網路(CNN)。CNN為學習代表性的多個級別的深度學習模型(由電腦系統應用的)。以原始輸入層開始,每個連續層(例如,卷積、彙集、子採樣或全連接層)代表在略微更抽象級別下影像中的資訊。在每一層的權重(過濾器)使用標準學習步驟如誤差倒傳遞法(backprop)進行學習。在CNN中,(計算的)每一層由不同的多個神經元(處理模組)執行,並且在每個卷積層中的神經元不完全與在系統的相鄰層中的所有神經元互連。相反,在卷積層中的神經元只具有選定的與相鄰卷積層的連線性,以減少對連續卷積層執行的輸入量。在每個卷積層,卷積核心定義與在前層的神經元的連線性的區域。卷積核心有時被稱為在卷積層的神經元的接受域(receptive field)。在CNN的一個或多個最終層是具有與緊接在前的層的完全連線性的全連接層,基於由其提供的資料有效地執行高級推理(已經在整個層被反復提取)。在一些實施方式中,一個或多個地面真相(例如,包含已由人類專家識別的地面真相對象的影像補丁)可以被用來通過學習步驟來訓練CNN的權重。 CNN可以被儲存在具有一個或多個處理器(例如,中央處理單元(CPU)或圖形處理單元(GPU))的電腦且由該電腦執行。地面真相影像或影像補丁可以包括已知的陽性樣品(例如,對於CNN被識別為具有所感興趣的分析物)和已知的陰性樣品(例如,對於CNN被識別為在其中沒有分析物,或在其中僅具有已知的假影或其它非分析物對象)。因此,CNN可以從已知的分析物和非分析物種類兩者學習權重,其可以被用於識別樣品中的該權重。
在一個實施方式中,電腦視覺系統(例如可操作地連接到數位記錄器的顯微鏡)可以可操作地連接到CNN。這種系統可以在精度方面超過人力級性能。自動特徵提取子模組920可被配置為至少部分地基於權重、彙集和非線性操作的前饋應用來執行特徵提取。
由於模型的豐富性,需要大量的資料來訓練CNN。如果沒有足夠的資料可用於訓練,則可能會出現過度擬合,從而導致正規化性能較差。在一些實施方式中,本文的系統和方法可以至少部分地基於訓練資料本身通過產生假影資料來增加訓練資料量。這個過程被稱為增強。增強可以採取適用於訓練影像的一個或多個隨機轉換的形式。增強轉換的實例為平移、旋轉、縮放、反射和顏色失真。
一種用於顏色失真的技術包括以下步驟。首先,計算在R、G、B顏色空間中的訓練影像的主成分轉換。特徵向量被分別以相應特徵值λ1 、λ2 、λ3 表示為p1 、p2 、p3 。三個亂數r1 、r2 、r3 是從有界分佈進行採樣,該有界分佈如具有零平均值和標準差0.1的高斯分佈。為了產生增強影像,下面的量被添加到影像中的每個像素:
在CNN的訓練期間每個影像表示採樣一次亂數r1 、r2 、r3
上述用於顏色失真的技術可導致不切實際的彩色影像。理想的是引入產生具有現實顏色的影像而同時提供足夠的顏色失真以避免CNN的過度擬合的顏色失真方法(和用於執行該方法的系統)。這種彩色失真可以有助於歸一化由於從一個樣本到另一樣本染劑的顏色變化引起的在影像的顏色變化。例如,在Giemsa染劑下,存在於經染色的樣品中的嗜鹼性藍和嗜酸性曙紅(紅色)的相對量取決於染劑的pH值,pH值在區域中變化。本文的通過失真方法的顏色歸一化可以實現更準確的診斷。在本公開的第二種顏色增強方法中,影像的紅色、綠色和藍色通道(例如,成分)中的每一個都可以是伽馬非線性失真的,其也被稱為伽馬校正失真,但在這種情況下,它是被用來轉換影像的顏色而不是校正它們。伽瑪校正是通過在等式8中的以下非線性轉換所定義: 其中,是輸入值,是輸出值,並且0<γ<∞是非線性的指數,並且α是比例常數。當輸入值在[0,1]的範圍內時,比例常數α=1。本公開的顏色增強方法從具有零平均值和標準差σ的高斯分佈採樣4個亂數。隨後,γ的4個值通過關係式進行計算,其中是自然對數的底。經增強的紅、綠、藍和自適應灰色通道/成分影像分別由等式9產生,具體如下: 每次增強每個影像採樣一次亂數。相應地,各R、G、B和強度信道可以被單獨地且集體地增強,以提供對用來訓練適合與本文的系統和方法使用的CNN的資料的較大採樣。
再次參照圖9,影像補丁921是到CNN的特徵提取器930的輸入。在一些實施方式中,已使用資料增強方案被增強的地面真相影像補丁的增強組可以被用於訓練CNN來識別分析物或非分析物對象。即,原始影像或其部分諸如影像補丁被使用如上所述的平移、旋轉、縮放、反射和基於伽馬的色彩失真進行增強。在一些實施方式中,至少一個處理器(與CNN相關聯的)被配置成至少部分地基於根據任何本文公開的任意方法已增強的地面真相影像補丁、經顏色校正的影像補丁或灰階強度影像補丁的經增強的組中的一個或多個來學習成組的權重。例如,地面真相影像補丁可以通過資料增強方案進行增強,該資料增強方案包括對地面真相影像補丁的紅色、綠色、藍色或灰階強度成分中的一者或多者的隨機伽馬校正。在一些實施方式中,在每個候選對象的最佳焦平面處的影像補丁被呈現以用於CNN訓練。在其他實施方式中,所有焦平面的影像補丁都被呈現以用於CNN訓練。在一些實施方式中,至少一個處理器被配置成使用增強方案來增強經顏色校正的影像補丁和自適應灰階強度影像補丁。在一些實施方式中,顏色校正的影像斑點和自適應灰階強度影像補丁的輸出可包括使用增強方案來增強顏色校正的影像斑點和自適應灰階強度影像補丁。在一些實施方式中,在CNN特徵提取器的測試階段,不進行增強。在其他實施方式中,在測試階段期間進行增強,且如圖3A中的塊340所示的分類器模組的輸出在每個測試樣品的增強版本上被平均化。在一些實施方式中,所述至少一個處理器被配置成在對應於經顏色校正的影像補丁和自適應灰階強度影像補丁中的每一個的增強版本的特徵向量上對機器學習分類器的輸出進行平均化。
CNN特徵提取子模組930的輸出是特徵向量的CNN成分931。在使用手動和CNN特徵兩者的實施方式中,手動特徵911和CNN特徵931可以被組合以形成完整的輸出特徵向量941。在沒有人工特徵的實施方式中,不執行手動特徵提取子模組910,手動特徵911不被前置到輸出特徵向量941。
返回到圖3A中的系統圖,特徵提取模組330的輸出是候選對象的特徵向量331。 D. 對象分類器模組
對象分類模組340被配置成對應於分析物(例如,寄生蟲)或假影將特徵向量331分類。對象分類器模組340被配置為使用機器學習分類器將來自特徵向量提取模組330的特徵向量331或輸出進行分類,作為寄生蟲或假影。機器學習分類器可以是儲存在一個或多個儲存器儲存介質中的程式,該程式可由一個或多個處理器(如可在電腦系統或網路中的)執行。對象分類器模組340的不同實施方式可以包括不同類型的分類器。在一個實施方式中,對象分類器模組340被配置為線性支援向量機。例如,線性支援向量機可包括被配置為執行線性支援向量分類的電腦設備。在各種實施方式中,對象分類器模組340可以被配置為以下類型的分類器中的一個或多個:非線性核心支援向量機、神經網路、邏輯回歸、隨機森林決策樹、梯度提升決策樹、AdaBoost或Naïve Bayes分類器。
對象分類器模組340的輸出可以包括候選對象為寄生蟲(例如,分析物)或假影的經校準的概率。對象分類模組340被配置為輸出經分類的對象資料341(圖3A)。經分類的對象資料341可以包括對應於一個或多個地面真相對象和一個或多個候選對象之間的相似性(例如,指示其範圍)的一個或多個得分。相似性可以表示為候選對象(或其一種或多個方面)是分析物如寄生蟲(或其一個或多個方面)的概率。在一些實施方式中,對象分類器模組340(機器學習分類器)可以被配置成通過在對應於輸入影像補丁中的每一個的增強版本的特徵向量上平均化機器學習分類器的輸出(例如,概率)來將一個或多個特徵向量分類。 E. 診斷模組
診斷模組350(圖3A)可被配置成至少部分地基於經分類的對象資料341(即,無論是陽性——樣品確實包含瘧疾寄生蟲,或是陰性——樣品沒有包含瘧疾寄生蟲)來確定並輸出針對樣品(例如,血液載片)的診斷結果351。診斷結果351可包括對寄生蟲血症的估計(如在下面等式10使用的)。在一些實施方式中,診斷模組350可被配置為確定寄生蟲血症。在一些實施方式中,診斷模組被配置為運行對其對象分類器得分高於某一閾值的候選對象的數目進行計算的診斷演算法。在一些實施方式中,多於一種類型的候選對象(例如,環形瘧疾寄生蟲和晚期寄生蟲對象)可以在同一時間進行計數。隨後,對象分類器得分高於的候選對象的數量在某一水平下被閾值化。換句話說,如果,則樣品被標記為陽性,否則標記為陰性。閾值可以在其診斷結果是已知的驗證集上進行最佳化,或由人類專家通過顯微鏡檢查或分子測試如聚合酶鏈反應(PCR)進行最佳化。最佳化是至少部分基於針對驗證集的給定目標,如最大化平衡精度,或在固定的特異性水平下最大化靈敏度。
本文所公開的影像分析系統(作為現實世界的系統)可以具有依賴於施加到對象分類器的閥值的一些殘餘雜訊。換言之,在一些對象分類器的閾值下,一些非寄生蟲對象將具有高於閾值的得分。在一些實施方式中,在驗證集的陰性樣本上計算作為對象分類器得分閥值的函數的平均對象級假陽性率(false positive rate)。同時,在驗證集的陽性樣本上計算作為同一分類器閥值的函數的平均對象級真陽性率(sensitivity rate)。隨後,使用如下的等式10計算估計的原蟲率: 其中是具有高於閥值的分類器得分的候選對象個數。要理解,為對象分類器得分閥值的函數。分類器得分閥值是通過在整個驗證集上最佳化給定目標(諸如原蟲率平方差)來確定。 F. 系統硬體
圖12是根據一個實施方式的用於確定樣品中分析物存在的系統1200的示意圖。在一些實施方式中,系統1200可以被配置為執行本文所公開的任何演算法或其他操作中的一個或多個。該系統可包括電腦設備1202。在一些實施方式中,電腦設備1202可包括至少一個儲存器儲存介質1210和至少一個處理器1220。在一些實施方式中,電腦設備1202可包括使用者介面1230。系統1200可包括可操作地連接到其上的成像裝置1240。系統元件的各方面在下文中更詳細地描述。
在一些實施方式中,電腦設備1202可包括個人電腦、電腦網路、一個或多個伺服器、膝上型電腦、平板電腦或手機中的一個或多個。在一些實施方式中,電腦設備1202中的一個或多個元件可以被整合到顯微鏡(成像裝置)中。在一些實施方式中,電腦設備的一個或多個元件可以位於成像設備的遠端位置。在這種實施方式中,電腦設備1202的一個或多個元件可以通過有線或無線連接1206可操作地連接到成像裝置1240。在一些實施方式中,電腦裝置的一個或多個元件可被配置成如通過光碟、儲存快閃儲存器、電子郵件或其它手段接收由成像設備間接擷取的影像。
至少一個儲存器儲存介質1210可以包括硬碟、快閃儲存器、磁碟或任何其他有形的、非短暫性儲存器儲存設備中的一者或多者。至少一個儲存器儲存介質1210可以包括本文公開的在其上儲存可讀和可執行程式的模組或子模組機器中的任意一個。在一些實施方式中,系統1200可以包括多個儲存器儲存介質1210,每一個儲存器儲存介質1210具有儲存在其上的一個或多個模組或子模組。
至少一個處理器1220可以被配置為讀取並執行儲存在至少一個儲存器儲存介質1210的一個或多個程式。例如,至少一個處理器1220可以被配置為讀取和執行本文所公開的模組或子模組中的任意一個中的一個或多個。在一些實施方式中,至少一個處理器1220可包括多個處理器。在這樣的實施方式中,多個處理器中的每一個可被配置為讀取並執行儲存在至少一個儲存介質1220上的一個或多個模組或子模組。在一些實施方式中,多個處理器1220中的每一個可以可操作地連接到相應的多個儲存器儲存介質1220中的一個,並專用於且構造成只運行本文的模組或子模組中的一個。
在一些實施方式中,使用者介面1230可包括顯示螢幕、鍵盤、觸控式螢幕、一個或多個指示器(例如,燈、蜂鳴器、揚聲器等)或一個或多個按鈕(例如,電源或啟動按鈕)中的一個或多個。在一些實施方式中,使用者介面可以是物理地連接到電腦裝置。在一些實施方式中,使用者介面1230可被配置成顯示來自本文公開的模組或子模組中的任一個的輸出或輸入。例如,使用者介面1230可以被配置成顯示診斷結果、原蟲率或本文公開的任何資料或影像中的一者或多者。在一些實施方式中,使用者介面可被配置為接收來自使用者的輸入,例如通過鍵盤、USB端口等接收。使用者介面1230可經由有線或無線連接可操作地連接到電腦設備。在一些實施方式中,使用者介面1230可位於電腦設備1202的遠端位置,如距離電腦設備1202遠端的電腦上、平板電腦上或手機上。在這樣的實施方式中,一個或多個模組上可以距離使用者介面1202遠端地執行。
在一些實施方式中,電腦設備1202可包括電源1208。電源1208可以包括一個或多個電池(例如,鋰離子電池、鉛酸電池、鎳鎘電池或任何其它合適的電池)、太陽能電池或電插頭(例如,牆上插頭)。電源1208可以可操作地連接到系統1200的元件中的任一個並且構造成提供功率給該元件。
成像裝置1240可包括在其上具有數位影像記錄器的顯微鏡諸如高功率顯微鏡。數位成像裝置1240能夠構造成在其上保持樣品載片1250。數位成像設備1240可包括高功率鏡頭和數位影像記錄器以擷取樣品載片的一個或多個高解析度的影像。該一個或多個高解析度的影像可以包括樣品載片1250的一個或多個FoV的影像和每個FoV的一個或多個焦平面的影像。成像裝置可直接連接(例如,有線或無線連接)或間接連接(例如,經由電腦網路)到電腦設備(例如,連接到電腦設備的一個或多個儲存器儲存介質、一個或多個處理器或使用者介面中的一者或多者)。在這樣的實施方式中,成像裝置1240可以被配置為輸出一個或多個樣品影像到至少一個儲存器儲存介質1210或至少一個處理器1220。在一些實施方式中,成像設備1240可被配置成回應於來自電腦裝置(或者其元件,如處理器)的一個或多個指令。在這種實施方式中,成像設備1240可以至少部分地基於儲存在至少一個儲存器儲存介質1210且由至少一個處理器1220執行的操作指令來進行操作。例如,成像裝置1220可以至少部分地基於來自電腦裝置1202的指令來改變焦平面或FoV之間的距離或數目。
本文公開的單獨的模組或子模組中的任一個可以包括或使用如本文所公開的機器學習設備或電腦。 G. 診斷分析物的方法
圖13是根據一個實施方式的用於確定樣品中的分析物存在的方法1300的流程圖。用於診斷樣品中的分析物的方法和單獨動作也相對於本文所公開的模組和子模組中的每一個如上所述,且為簡潔起見,相對於方法1300沒有重複逐字地描述。方法1300包括使用樣品載片的多個影像來確定樣品中分析物的存在。方法1300可以包括如利用儲存器儲存介質或處理器接收樣品載片的多個影像的動作1305。多個影像可以包括:多個FoV,每一個都包括樣品載片的唯一的x和y座標;和多個焦平面,每一個都具有樣品載片的唯一的z座標。方法1300可以包括使用系統1200的一個或多個元件來執行任何本文所公開的動作。
方法1300可以包括施加白平衡轉換到多個影像中的每一個影像,以有效產生多個經色彩校正的影像的動作1310。方法1300可以包括施加自適應灰階轉換到多個影像中的每個影像以為所述多個影像中的每一個提供自適應灰階強度影像的動作1320。方法1300可以包括檢測和識別在多個經顏色校正的(例如,經白平衡的)影像和自適應灰階強度影像中的一個或多個候選對象的動作1330。方法1300可以包括至少部分地基於其一個或多個特性的得分來過濾一個或多個候選對象並且輸出一個或多個經顏色校正的影像補丁和一個或多個自適應灰階強度影像補丁的動作1340 。方法1300可以包括從經顏色校正的影像補丁和自適應灰階強度影像補丁提取一個或多個特徵向量並輸出該一個或多個特徵向量的動作1350。方法1300可以包括每個特徵向量對應於假影或分析物進行分類的動作1360。方法1300可以包括判定經分類的特徵向量是高於還是低於與陽性診斷相關聯的閾值水平的動作1370。每個動作1310至1370將在下面更詳細地討論。
施加白平衡轉換到多個影像中的每一個影像以有效產生多個經顏色修正的影像的動作1310可以使用相對於以上公開的影像預處理模組310所公開的任意技術來進行。例如,動作1310可以包括從選定的多個影像的子集中選擇多個最亮的像素,使得清晰像素存在於子集中的概率接近(基本上是)1,如本文所公開的。動作1310可以包括計算和施加多個影像的子集的每個像素的標準灰階強度來確定如本文所公開的多個影像的子集中的每個影像內的多個最亮像素。動作1310可以包括確定如本文所公開的多個最亮像素中的每一個的紅色值R、綠色值G和藍色值B。動作1310可以包括計算如本文中所公開的多個最亮像素中的平均色所限定的平均色向量。動作1310可以包括確定白色向量並確定垂直於平均色向量和白色向量兩者且由平均色向量和白色向量兩者的向量積計算的軸向量。動作1310可以包括由軸向量以及在白色向量和平均色向量之間的角度計算仿射轉換矩陣;和施加仿射轉換矩陣到多個影像中的每個影像中的每個像素,以提供多個經顏色校正的影像。
施加自適應灰階轉換到多個影像中的每個影像以為多個影像中的每一個提供自適應灰階強度影像的動作1320可以使用相對於以上公開的影像預處理模組310中公開的任意技術來進行。例如,動作1320可以包括接收作為輸入的多個經顏色校正的影像和標準灰階強度影像,並在暗閾值下對標準灰階強度影像進行閥值化以檢測可能潛在地是白血球細胞核斑點。動作1320可包括通過屬性(例如,顏色、面積或形狀過濾器)過濾潛在的白血球細胞核斑點以確定如本文所公開的白血球細胞核。動作1320可以包括輸出作為白血球向量資料的來自在其中包含白血球細胞核的輸入的經顏色校正的影像的一個或多個像素的紅色值R、綠色值G以及藍色值B。動作1320可以包括輸出作為背景向量資料的根據對在經顏色校正的影像中灰階強度比暗閾值亮的像素隨機採樣所確定的多個合格背景像素的紅色值R、綠色值G和藍色值B。動作1320可以包括由白血球向量資料和背景向量資料確定自適應灰階投影向量。動作1320可以包括輸出多個自適應灰階強度影像。
在多個經顏色校正的影像和自適應灰階強度影像中檢測和識別一個或多個候選對象的動作1330可以使用相對於上述公開的候選對象檢測模組320所公開的技術中的任一個來進行。例如,檢測和識別一個或多個候選對象可以包括:基於多個經顏色校正的影像或多個自適應灰階強度影像中的一者或多者來確定一個或多個潛在分析物的位置。動作1330可以包括確定多個FoV中哪些FoV在其中包括一個或多個候選對象。動作1330可以在其中包括一個或多個候選對象的叢集,以提供由在其中的相鄰的(例如,臨近的或重疊的)候選對象所限定的候選對象叢集。叢集至少部分地基於在候選對象之間的接近性或距離。動作1330可以包括確定具有用於一個或多個候選對象中的每個候選對象的最佳聚焦得分的焦平面,如本文所公開的。
至少部分地基於其一個或多個特性的得分來過濾一個或多個候選對象並且輸出一個或多個經顏色校正的影像補丁和一個或更多個自適應灰階強度影像補丁的動作1340可以使用相對於上述公開的候選對象檢測模組320所公開的技術中的任一個來進行。動作1340可包括輸出一個或多個候選對象中的每一個的一個或多個特性的得分,所述一個或多個特性包括面積、灰階強度、形狀或色彩中的至少一種。動作1340可包括至少部分地基於至少部分地基於一個或多個特性的得分來過濾候選對象。過濾一個或多個候選對象可以包括比較至少部分地基於一個或多個候選對象的一個或多個特性的得分與至少部分地基於該一個或多個特性的閥值。過濾候選對象可以包括輸出得分高於閾值得分的一個或多個候選對象作為潛在分析物的位置並且拒絕得分低於閥值得分的一個或多個候選對象。動作1340可以包括輸出自適應灰階和經顏色校正的影像補丁以及在其中具有潛在分析物位置的相關聯的焦平面。
由經顏色校正的影像補丁和自適應灰階強度影像補丁提取一個或多個特徵向量並輸出一個或多個特徵向量的動作1350可以使用相對於上述所公開的特徵提取模組330所公開的技術中的任一種來進行。例如,動作1350可以包括接收作為輸入的對應於在多個影像中一個或多個潛在分析物位置的多個經顏色校正的影像補丁和多個自適應灰階強度影像補丁並輸出各自代表潛在分析物的一個或多個特徵向量。動作1350可以包括接收一個或多個經顏色校正的影像補丁和一個或多個自適應灰階強度影像補丁,並且至少部分地基於一個或多個地面真相影像補丁來教導CNN成組的權重。在一些實施方式中,教導成組的權重包括使用資料增強方案增強一個或多個地面真相影像(例如,影像補丁)。資料增強方案可以包括地面真相影像補丁的紅色、綠色、藍色或灰階強度成分中的一者或多者的隨機伽馬校正。在一些實施方式中,教導成組的權重到CNN可以包括接受作為地面真相的地面真相樣品中的分析物的一個或多個經註解的影像和地面真相樣品中的假影的一個或多個經註解的影像。經註解的影像可以包括已知的分析物和假影,已知的分析物和假影配置成訓練CNN來識別該已知的分析物和假影的特性。在一些實施方式中,接受作為地面真相的地面真相樣品中的分析物的一個或多個經標記的影像和地面真相樣品中的假影的一個或多個經標記的影像可以包括至少部分地基於一個或多個地面真相影像補丁對機器學習分類器教導成組的權重。動作1350可以包括確定並提取在對應於一個或多個潛在分析物位置的多個經顏色校正的影像和多個自適應灰階強度影像中的一個或多個候選對象的一個或多個特徵(例如,一個或多個的手動特徵或自動特徵)。動作1350可以包括將一個或多個經提取的特徵表示為一個或多個特徵向量。
分類每個特徵向量作為對應於假影或分析物進行分類的動作1360可以使用相對於上述公開的對象分類器模組340所公開的技術中的任一種來進行。例如,動作1360可以包括接收作為輸入的候選對象的一個或多個特徵向量和分類一個或多個特徵向量作為對應於假影或分析物。分類可通過已利用如上述所公開的成組的地面真相影像或相關聯的向量進行訓練的機器學習分類器對特徵向量評分來進行,其中高得分(例如,高概率)被歸類為分析物,低得分(例如,低概率)被歸類為分析物以外的東西,如背景或假影。在一些實施方式中,對一個或多個特徵向量分類可以包括平均化機器學習分類器在對應於經顏色校正後的影像補丁和自適應灰階強度影像補丁的增強版本的特徵向量上的得分。在一些實施方式中,方法可以包括輸出在其中包含候選對象的一個或多個影像補丁(例如,分類為分析物或假影)以用於通過使用者檢查。這種影像補丁可以輸出到使用者介面,例如電腦螢幕。
判定經分類的特徵向量是高於還是低於與陽性診斷相關聯的閾值水平的動作1370可以使用相對於上述公開的診斷模組350中所公開的技術中的任一種來進行。例如,判定經分類的分析物是高於還是低於與陽性診斷相關聯的閥值水平可以包括基於一個或多個被歸類於分析物的特徵向量的量來判定是否存在分析物和給予分析物存在或不存在的指示,或其與閾值或背景雜訊值的關係。在一個實施方式中,方法1300可以包括輸出診斷結果或分析物濃度到例如使用者介面(例如,顯示分析物濃度的診斷結果)。
在一些實施方式中,方法1300可以包括從受試者獲得樣品例如獲得血液樣品的動作。在一些實施方式中,方法1300可以包括在樣品載片上塗抹樣品。在一些實施方式中,方法1300可以包括獲取多個樣品載片的多個影像。多個(樣品)影像可以包括多個FoV和焦平面。在一個實施方式中,方法1300可以包括輸出多個來自所述成像裝置(樣品)的影像。方法1300可包括在電腦設備處接收多個(樣品)影像。
在一些實施方式中,方法1300可以包括確定在樣品(例如,瘧原蟲)中分析物的濃度或量。在一些實施方式中,分析物可包括寄生蟲,如瘧疾、眼絲蟲、包柔螺旋體屬、蠕蟲、結核病、錐蟲病或任何其他寄生蟲。在一些實施方式中,本文的系統和方法可用於基於它們的一個或多個特性來檢測特定的寄生蟲(例如,瘧疾)的構象或種類。
在簡化形式下,檢測樣品中的分析物的方法可包括接受作為地面真相的來自地理位置的生物樣品中的分析物(例如,瘧疾寄生蟲)的成組的經註解的影像。該方法可包括從自動化的顯微鏡裝置接受成組的未鑑定的影像、從在地理位置所獲取的生物樣品中獲得的未鑑定的影像。該方法可包括預處理成組的未鑑定的影像,以創建成組的一致顏色外觀的影像。該方法可以包括使成組的一致顏色外觀的影像進行候選位置分類以產生成組的候選對象的影像。該方法還可以包括部分地基於地面真相使成組的候選對象的影像進行寄生蟲檢測分類,以產產生組的經標記的對象。該方法可以包括使成組的經標記的對象經受描繪在成組的經標記的對象的每一個中的結構(例如,細胞核和細胞質)的分段分析。該方法可以包括在成組的經標記的對象中的每一個上執行特徵提取分析。該方法可以進一步包括用有關於在每個經標記的對象中存在分析物(例如,瘧疾寄生蟲)的概率的分類器得分來分類經標記的對象中的每一個。在一些實施方式中,該方法1300可以包括至少部分地基於對應於地理位置、季節或與樣本相關聯的其他標準中的一者或多者的元資料(meta-data)來輸入與來自儲存器儲存的一個或多個候選寄生蟲種類相關聯的地面真實資料,並使用該地面真實資料來判定或識別如上公開的樣品中的寄生蟲的種類、階段或類型。
讀者將意識到現有技術已經發展到系統的多個方面的硬體和軟體實現方式之間幾乎沒有區別的程度;硬體或軟體的使用一般是(但是並非總是如此,在某些背景下,硬體與軟體之間的選擇變得很重要)表示成本與效率權衡的設計選擇。讀者應理解,存在可以使本文描述的方法和/或系統和/或其他技術發揮作用的各種載體(例如,硬體、軟體和/或韌體),並且較佳的的載體會根據所採用的方法和/或系統和/或其他技術的背景的變化而變化。例如,如果實施者確定速度和精確度是最重要的,那麼實施者可以選擇主要的硬體和/或韌體載體;可替代地,如果靈活性最重要,那麼實施者可以選擇主要為軟體的實現方式;或者再者可替代地,實施者可以選擇硬體、軟體、和/或韌體的一些組合。因此,存在可以使得本文所述的方法和/或設備和/或其他技術實現的幾種可行的載體,它們每一個都不內在地優於其他,因為將要利用的任何載體是取決於將採用載體的背景以及實施者的具體考量(例如,速度、靈活性或可預測性),任意一者都可能發生變化。讀者應意識到實現方式的光學方面將通常採用光學定向的硬體、軟體和或韌體。
前面的詳細描述已通過使用方塊圖、流程圖和/或示例闡述了設備和/或過程的各個實施方式。就這些結構圖、流程圖和/或示例包含一個或更多個功能和/或操作而言,應當理解的是,這樣的方塊圖、流程圖或示例內的每個功能和/或操作可以通過範圍廣泛的硬體、軟體、韌體或實際上它們的任意組合單獨地和/或共同地實施。在一個實施方式中,本文所述的主題的幾個部分可通過特殊應用積體電路(ASIC)、可規劃邏輯閘陣列(FPGA)、數位訊號處理器(DSP)或其它整合格式來實施。然而,本領域技術人員將意識到,本文公開的實施方式的一些方面全部或部分地可以相等地在積體電路中實施,作為在一台或更多台電腦上運行的一個或更多個電腦程式(例如,作為在一個或更多個電腦系統上運行的一個或更多個程式)、作為在一個或更多個處理器上運行的一個或更多個程式(例如,作為在一個或多個微處理器上運行的一個或更多個程式)、作為韌體或作為實際上其任意組合,並且設計電路和/或撰寫代碼給軟體和或韌體正好會在本領域技術人員根據本公開的的技術範圍內。此外,讀者應理解,本文所述的主題的方面能夠作為各種形式的程式產品被分佈,並且不管實際上用來實施分佈的信號承載介質的特定類型而應用本文所述的主題的說明性實施方式。信號承載介質的示例包括,但不限於下列:可記錄型介質,例如軟碟、硬碟、光碟(CD)、數位光碟(DVD)、數位磁帶、電腦儲存器等等;以及傳輸型介質,例如數位和/或類比通訊介質(例如,光纖電纜、波導、有線通訊鏈路、無線通訊鏈路等等)。
在一般意義上,本文所述的各種實施方式可通過各種類型的機電系統被單獨地和/或共同地實施,所述機電系統具有:寬範圍的電氣元件,如硬體,軟體,韌體或其任意組合;和可賦予機械力或運動的寬範圍的元件,諸如剛性機構、彈簧或扭轉機構、液壓和電磁致動設備,或它們的任意組合。因此,如這裡使用的“機電系統”包括但不限於換能器(例如,致動器、電動機、壓電晶體等)可操作地耦合的電子電路、具有至少一個分散式電路的電子電路、具有至少一個積體電路的電子電路、具有至少一個特殊應用積體電路的電子電路、形成由電腦程式配置的通用電腦設備(例如,通過至少部分地執行本文描述的過程和/或設備的電腦程式配置的通用電腦、或者至少部分地執行本文描述的過程和/或設備的電腦程式配置的微處理器)的電子電路、形成儲存器設備(例如,隨機存取儲存器的形式)的電子電路、形成通訊設備(例如,數據機、通訊交換機或光電設備)的電子電路、和連接到其上的任何非電類似物,如光學或其他類似物。本領域的技術人員也將理解,機電系統的實例包括但不限於各種消費電子系統以及其它系統(諸如機動運輸系統、工廠自動化系統、安全系統以及通訊/計算系統)。本領域技術人員將認識到本文所用的“機電”不必限於具有電氣和機械致動兩者的系統,除非上下文可能另有規定。
在一般意義上講,能夠由範圍廣泛的硬體、軟體、韌體和/或它們的任意組合單獨地並且/或者共同地實施的本文所述的一些方面可以看成是包含各種類型的“電子電路”。因此,本文使用的“電子電路”包括但不限於:具有至少一個分散式電路的電子電路,具有至少一個積體電路的電子電路,具有至少一個特殊應用積體電路的電子電路,形成由電腦程式配置成的電腦設備(例如,由至少部分地執行本文所述的方法和/或設備的電腦程式配置成的通用電腦,或者由至少部分地執行本文所述的方法和/或設備的電腦程式配置成的微處理器)的電子電路,形成儲存設備(例如,隨機存取儲存器形式)的電子電路,和/或形成通訊設備(例如,資料機、通訊開關、光電設備等)的電子電路。本文所述的主題可以以類比或數位方式或者它們的一些組合實施。
本公開已經參照各種示例性實施方式進行。然而,本領域的技術人員將認識到,可以對實施方式作出改變和修改而不脫離本公開的範圍。例如,各種操作步驟以及用於執行操作步驟的元件可以在根據特定應用或考慮任何數量的與系統的操作相關聯的成本函數的替代方式下實施;例如,一個或多個步驟可被刪除、修改或與其它步驟相結合。
此外,如將被本領域的普通技術人員可以理解的,本公開的內容(包括部件)的原理可以反映在包含在儲存介質中的具有電腦可讀程式碼裝置的電腦可讀儲存介質上的電腦程式產品。可以使用任何有形的、非臨時性電腦可讀儲存介質,包括磁儲存設備(硬碟、軟碟等等)、光儲存裝置(CD-ROM、DVD光碟、藍光光碟等等)、快閃儲存器和/或類似物。這些電腦程式指令可以被載入到通用電腦、專用電腦或者其他可編程資料處理設備上以生產機器,使得在電腦或其它可編程資料處理裝置上執行的指令創建用於實現指定功能的裝置。這些電腦程式指令還可以儲存在可引導電腦或其它可編程資料處理設備以特定方式工作的電腦可讀儲存器,使得儲存在電腦可讀儲存器中的指令產生製造的物品,包括實施實現所指定的功能的裝置。該電腦程式指令還可以載入到電腦或其它可編程資料處理設備上以使將在電腦或其它可編程裝置上執行一系列操作步驟,以產生電腦實現的過程,使得電腦或其他可編程設備上執行的指令提供用於實現指定功能的步驟。
在一個實施方式中,本文所公開的印刷系統可以以這樣的方式整合:列印系統作為列印功能(例如,三維列印)專用配置的獨特系統進行操作,並且列印系統的任何相關聯的電腦設備作為專用電腦用於所要求保護的系統的目的進行操作,而不是作為通用電腦。在一個實施方式中,列印系統中的至少一個相關聯的電腦設備作為用於所要求保護的系統的目的的專用電腦進行操作,而不是作為通用電腦。在一個實施方式中,列印系統的相關聯的電腦設備中的至少一個與特定的ROM固線式連接以指示所述至少一個電腦設備。在一個實施方式中,本領域的技術人員認識到,所述列印設備和列印系統影響至少在三維印刷的技術領域中的改進。
為了概念清楚起見,本文描述的元件(例如,步驟)、設備和對象以及伴隨它們的討論被用作示例。因此,本文中使用的所闡述的具體範例和伴隨的討論旨在代表它們更一般的類別。一般而言,本文使用任何具體範例也旨在代表其類別,並且不包括這樣的具體的元件(例如,步驟)、裝置和對象不應當視為表示期望限制。
對於本文使用基本上任何複數和/或單數的術語,讀者可以將複數理解為單數和/或將單數理解為單數,只要適合於上下文和/或應用即可。為清楚起見,各種單數/複數置換在本文中未明確闡述。
本文所述的主題有時候說明:包括在其它不同元件中的不同元件、或與其它不同元件連接的不同元件。應當理解,這種描述架構僅僅是示例性的,並且事實上,可以實施獲得相同功能的許多其他架構。在概念意義上,獲得相同功能的任何元件設置被有效地“關聯”,以便獲得所需的功能。因此,本文中的被組合以獲得特定功能的任意兩個元件可以被視為彼此“相關聯”,以便獲得所需的功能,而與架構或中間元件無關。同樣地,這樣關聯的兩個元件也可以視為彼此“可操作地連接”或“可操作地耦接”以獲得所需的功能,並且能這樣關聯的任何兩個元件也可以視為彼此“可操作地耦接”以獲得所需的功能。可操作地可耦接的具體實例包括但不限於:在物理上可匹配的和/或在物理上相互作用的元件;和/或通過無線方式可交互的、和/或通過無線方式相互作用的元件;和/或在邏輯上相互作用的元件、和/或在邏輯上可相互作用的元件等。
在一些情況下,一個或更多個元件在本文中可以稱為“被配置成”。讀者應認識到,“被配置成”可一般包括活動狀態元件和/或非活動狀態元件和/或待機狀態元件,除非上下文另有要求。
雖然已經圖示並描述了本文所述的主題的特定方面,但將顯而易見的是,基於本文的教導,可在不脫離本文所述的主題及其廣義範圍的情況下可以進行變化和修改,因此所附申請專利範圍在其範圍內將涵蓋落入本文所述的主題的真正精神和範圍內的所有這些變化和修改。此外,應當理解的是,本發明是由所附的申請專利範圍限定。一般而言,本文所用的術語,並且尤其是所附申請專利範圍(例如,所附申請專利範圍的主體)中的術語一般旨在作為“開放式”術語(例如,術語“包括”應當理解成“包括但不限於”,術語“具有”應當理解成“至少具有”,術語“包含”應當理解成“包含但不限於”等)。本領域技術人員進一步應當理解的是,如果旨在表示引入的請求項敘述的具體數量,則請求項中會明確敘述這樣的含義,並且在不存在這種敘述時,就不存在這種含義。例如,為了幫助理解,以下所附申請專利範圍可以包含使用引導語“至少一個”和“一個或多個”以引入請求項敘述。然而,使用這種片語不應當被理解成暗示著不定冠詞“一個(a)”或“一種(an)”引入的請求項敘述將包含這種引入的請求項敘述的任何特定請求項限定為發明僅包含一個這種敘述,甚至當同一請求項包括引導片語“一個或多個”或“至少一個”以及例如不定冠詞“一個”或“一種”時(例如,“一個(a)”和/或“一種(an)”通常應當理解成“至少一個”或“一個或更多個”)也如此;對於用於引入請求項敘述的定冠詞的使用同樣如此。此外,即使明確敘述了引入的請求項敘述的具體數量,這種敘述通常應當理解成意味著至少敘述的數量(例如,“兩個敘述”的直接敘述,在沒有其他修飾語的情況下,通常意味著至少兩個敘述,或者兩個或更多個敘述)。此外,在那些使用類似於“A、B和C中的至少一個等”的慣用語的情況下,一般這種結構旨在表示慣用的意義(例如“具有A、B和C中的至少一個的系統”將包括但不限於只有A的系統、只有B的系統、只有C的系統、有A和B兩者的系統、有A和C兩者的系統、有B和C兩者的系統和/或有A、B和C三者的系統等)。在那些使用類似於“A、B或C中的至少一個等”的慣用語的情況下,一般這種結構旨在表示慣用的意義(例如“具有A、B或C中的至少一個的系統”將包括但不限於只有A的系統、只有B的系統、只有C的系統、有A和B兩者的系統、有A和C兩者的系統、有B和C兩者的系統和/或有A、B和C三者的系統等)。提供兩個或更多個替代術語的實質上任何反義連接詞和/或片語,無論是在說明書、申請專利範圍或圖示中,應當理解成考慮包括術語之一、術語中的任一個或兩個術語的可能性。例如,片語“A或B”通常理解成包括“A”或“B”或“A和B”的可能性。
對於所附申請專利範圍,在其中陳述的操作一般可以以任何循序執行。此類替代順序的例子可包括重疊的、交錯的、中斷的、重新排序的、遞增的、預備的、補充的、同時的、顛倒的或其他變化排序,除非上下文另外指示。對於上下文,即使諸如“回應於”、“有關於”或其他過去時態的形容詞一般也並不排除這樣的變體,除非上下文另外指示。
本文所描述的主題的各方面被載於下列編號的條款中: 1. 一種用於確定血液中的分析物的存在的系統,所述系統包括: 至少一個儲存器儲存介質,其被配置成儲存樣品載片的多個影像,所述多個影像包括: 多個視場,每一個包括所述樣品載片的唯一的x和y座標;和 多個焦平面,每一個具有所述樣品載片的唯一的z座標; 至少一個處理器,其可操作地耦接到所述至少一個儲存器儲存介質,所述至少一個處理器被配置為: 確定白平衡轉換並施加該白平衡轉換到所述多個影像中的每一個以有效產生多個經顏色校正的影像; 確定自適應灰階轉換並施加該自適應灰階轉換到所述多個影像中的每一個以針對所述多個影像中的每一個提供自適應灰階強度影像; 檢測和識別在所述多個經顏色校正的影像和自適應灰階強度影像中的一個或多個候選對象; 至少部分地基於所述一個或多個候選對象的一個或多個特性來提取和評分所述一個或多個候選對象,至少部分地基於得分來過濾所述一個或多個候選對象,並且針對每個經過濾的候選對象輸出一個或多個經顏色校正的影像補丁和一個或多個自適應灰階強度影像補丁; 從所述經顏色校正的影像補丁和所述自適應灰階強度影像補丁提取一個或多個特徵向量並輸出所述一個或多個特徵向量; 將所述一個或多個特徵向量中的每一個分類為對應於假影或分析物;和 判定被分類為分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。 2. 根據條款1所述的系統,其中所述至少一個儲存器儲存介質包括在其中儲存的作為可由所述至少一個處理器執行的電腦可讀程式的影像預處理模組、候選對象檢測模組、特徵提取模組、分類模組和診斷模組。 3. 根據條款1所述的系統,其中所述至少一個處理器被配置成至少部分地基於所述多個影像中的多個最亮像素來確定白平衡轉換並施加該白平衡轉換到所述多個影像。 4.根據條款3所述的系統,其中至少一個處理器被配置成根據如下來確定所述白平衡轉換: 來自隨機選擇的所述多個影像的子集的多個最亮像素,使得在其中清晰像素的存在概率基本上為1; 所述多個影像的所述子集的每個像素的計算出的標準灰階強度,以確定在所述多個影像中的所述子集的每一個中的所述多個的最亮像素; 所述多個最亮像素中的每一個的紅色值R、綠色值G和藍色值B; 由所述多個最亮像素的平均色確定的平均色向量; 白色向量; 軸向量,其垂直於平均色向量和白色向量兩者,並且由平均色向量和白色向量兩者的交叉乘積來計算;和 仿射轉換矩陣,其由所述軸向量和在所述平均色向量與所述白色向量之間的角度來計算。 5.根據條款4所述的系統,其中所述至少一個處理器被配置成施加所述白平衡轉換到由其中的R、G和B值限定的所述多個影像的像素中的每一個的顏色向量,並且在其基礎上輸出經顏色校正的影像。 6.根據條款1所述的系統,其中所述至少一個處理器被配置成確定自適應灰階轉換並施加該自適應灰階轉換到所述多個影像並且輸出多個自適應灰階強度影像。 7.根據條款1所述的系統,其中至少一個處理器被配置成: 接收作為輸入的多個經顏色校正的影像和標準灰階強度影像; 在暗閾值下將所述標準灰階強度影像閥值化以檢測斑點; 過濾一個或多個檢測到的斑點的顏色、區域或形狀中的至少一者來以找到並識別在高敏感度和特異性下的白血球細胞核; 輸出作為白血球向量資料的來自在其中包含白血球細胞核的經顏色校正的影像的一個或多個像素的紅色值R、綠色值G和藍色值B到所述儲存器儲存介質;和 輸出作為背景向量資料的對於在經顏色校正的影像中在灰階強度上比暗閾值更亮的像素隨機採樣所確定的多個合格背景像素的紅色值R、綠色值G和藍色值B到所述儲存器儲存介質;和 提供所述白血球向量資料和背景向量資料給儲存在所述至少一個儲存器儲存介質中並由所述至少一個處理器執行的機器學習模組,所述機器學習模組配置為確定自適應灰階投影向量。 8.根據條款7所述的系統,其中所述至少一個處理器被配置為確定: 基於自適應灰階投影向量的自適應灰階轉換,其是至少部分地基於多個白血球像素和多個合格背景像素;和 使用回歸的自適應灰階投影向量。 9.根據條款8所述的系統,其中所述至少一個處理器被配置為執行包括一個或多個稜回歸、套索回歸、主成分回歸或偏最小平方回歸的正規化化回歸來確定所述自適應灰階投影向量。 10.根據條款8所述的系統,其中所述至少一個處理器被配置為計算和施加自適應灰階強度到所述多個影像中的每一個以有效地提供多個自適應灰階強度影像。 11.根據條款8所述的系統,其中所述至少一個處理器被配置為使用二階或更高階的多項式預測變數矩陣來計算和施加多項式回歸,以便確定和施加所述自適應灰階轉換。 12.根據條款8所述的系統,其中所述至少一個處理器被配置為使用具有在其中的所述一個或多個像素的紅色值R、綠色值G和藍色值B的有理函數的預測變數矩陣來計算和施加所述自適應灰階轉換。 13.根據條款1所述的系統,其中所述至少一個處理器被配置成基於多個經顏色校正的影像或多個自適應灰階強度影像中的一個或多個來確定一個或多個潛在分析物的位置。 14.根據條款13所述的系統,其中所述至少一個處理器被配置成: 確定所述多個視場中的哪些視場在其中包括一個或多個候選對象; 至少部分地基於在視場中的一個或多個候選對象中的一個或多個相鄰候選對象之間的距離來提供由其中的一個或多個相鄰候選對象定義的候選對象叢集; 針對所述一個或多個候選對象中的每一個確定具有最佳聚焦得分的焦平面; 至少部分地基於所述一個或多個候選對象中的每一個的一個或多個特性來輸出所述一個或多個候選對象中的每一個的得分,所述一個或多個特性包括區域、灰階強度、形狀或顏色中的至少一個;和 至少部分地基於所述一個或多個特性的所述得分來過濾所述一個或多個候選對象。 15.根據條款14所述的系統,其中所述至少一個處理器被配置成通過將所述一個或多個候選對象的所述一個或多個特性的得分與針對所述一個或多個特性中的每一個的閾值得分進行比較來過濾所述一個或多個候選對象,輸出具有在所述閥值得分之上的得分的所述一個或多個候選對象作為潛在分析物位置,並拒絕具有在所述閥值得分之下的得分的所述一個或多個候選對象。 16.根據條款15所述的系統,其中所述至少一個處理器被配置成基於被訓練到所述至少一個儲存器儲存介質和由所述至少一個處理器獲取的地面真相對象的屬性來確定閾值得分。 17.根據條款15所述的系統,其中所述至少一個處理器被配置為輸出對應於一個或多個潛在分析物的位置的經顏色校正的影像補丁和自適應灰階強度影像補丁。 18.根據條款1所述的系統,其中所述至少一個處理器被配置為接收作為輸入的對應於所述一個或多個潛在分析物的位置的多個經顏色校正的影像補丁和多個自適應灰階強度影像補丁並且輸出各自表示潛在分析物的一個或多個特徵向量。 19.根據條款18所述的系統,其中,所述至少一個處理器被配置成通過確定以下中的一者或多者來確定和提取所述一個或多個候選對象的一個或多個手動特徵: 針對含有所述一個或多個候選對象的多個經顏色校正後的影像補丁和自適應灰階強度影像補丁中的每個影像補丁的最佳焦平面,所述最佳聚焦得分包括來自在其中具有所述一個或多個候選對象的影像補丁中的多個聚焦平面的多個焦點得分的最高得分; 所有的在其中具有所述一個或多個候選對象的影像補丁的多個焦平面上的焦點得分的分散的標準差或其他衡量值;和 至少部分地基於在每個影像補丁的多個焦平面之間的一個或多個候選對象的最暗部的紅色變化的紅移得分。 20.根據條款1所述的系統,其中所述至少一個處理器被配置成確定並提取在所述多個影像中的一個或多個候選對象的一個或多個特徵,並且將所述一個或多個特徵表示為一個或多個特徵向量。 21.根據條款20所述的系統,其中,所述至少一個處理器被配置成確定並提取所述一個或多個候選對象的一個或多個特徵,其中所述一個或多個特徵是自動習得的特徵。 22.根據條款20所述的系統,其中所述系統包括機器學習模組,所述機器學習模組配置成至少部分地基於在其中具有一個或多個地面真相對象的多個地面真相影像來自動學習成組的權重,其中,所述一個或多個地面真相對象包括分析物的樣品和假影的樣品。 23.根據條款22所述的系統,其中,所述機器學習模組包括卷積神經網路。 24.根據條款23所述的系統,其中所述至少一個處理器被配置來至少部分地基於使用資料增強方案增強的成組的地面真相影像補丁來在卷積神經網路中學習成組的權重。 25.根據條款24所述的系統,其中所述資料增強方案包括地面真相影像補丁的紅色、綠色、藍色或灰階強度成分中的一者或多者的隨機伽馬校正。 26.根據條款1所述的系統,其中所述至少一個處理器被配置為接收作為輸入的所述一個或多個候選對象的一個或多個特徵向量並且將所述一個或多個特徵向量分類為對應於所述假影或所述分析物中的一個。 27.根據條款26所述的系統,其中所述至少一個處理器被配置為輸出表示所述一個或多個候選對象的所述一個或多個特徵向量中的每一個對應於分析物的得分的機器學習分類器。 28.根據條款27所述的系統,其中所述至少一個處理器被配置為使用增強方案來增強所述經顏色校正的影像補丁和所述自適應灰階強度影像補丁,並且在對應於所述經顏色校正的影像補丁和所述自適應灰階強度影像補丁中的每一個的增強版本的特徵向量上平均化所述機器學習分類器的輸出。 29.根據條款28所述的系統,其中,所述資料增強方案包括所述輸入影像補丁的經顏色校正的紅色、綠色、藍色或自適應灰階強度成分中的一者或多者的隨機伽馬校正。 30.根據條款26所述的系統,其中所述至少一個儲存器儲存介質和至少一個處理器包括配置成至少部分地基於所述一個或多個地面真相影像補丁進行學習的機器學習分類器。 31.根據條款1所述的系統,其中所述至少一個處理器被配置成確定是否存在分析物和給出分析物存在或不存在的指示。 32.根據條款31所述的系統,其中所述分析物包括寄生蟲。 33.根據條款32所述的系統,其中所述寄生蟲包括瘧疾寄生蟲。 34.根據條款1所述的系統,其中所述系統包括影像擷取裝置。 35.根據條款34所述的系統,其中所述影像擷取裝置包括顯微鏡。 36.根據條款1所述的系統,其中所述系統被配置為至少部分地基於包括形狀、大小或顏色中的一者或者多者的一個或多個影像特性來識別一個或多個候選對象的種類。 37.一種用於確定血液中的分析物的存在的方法,該方法包括: 接收樣品載片的多個影像,所述多個影像包括, 多個視場,每一個包括所述樣品載片的唯一的x和y座標;和 多個焦平面,每一個具有所述樣品載片的唯一的z座標; 施加白平衡轉換到所述多個影像中的每一個以有效產生多個經顏色校正的影像;和 施加自適應灰階轉換到所述多個影像中的每一個以針對所述多個影像中的每一個提供自適應灰階強度影像; 檢測和識別在所述多個經顏色校正的影像和所述自適應灰階強度影像中的一個或多個候選對象; 至少部分地基於至少部分地基於所述一個或多個候選對象的一個或多個特性來過濾所述一個或多個候選對象,並且針對每個經過濾的候選對象輸出一個或多個經顏色校正的影像補丁和一個或多個自適應灰階強度影像補丁; 從所述經顏色校正的影像補丁和所述自適應灰階強度影像補丁提取一個或多個特徵向量並輸出所述一個或多個特徵向量; 將每一個特徵向量分類為對應於假影或分析物;和 判定分類為分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。 38.根據條款37所述的方法,其中,該方法是利用至少一個儲存器儲存介質進行,所述至少一個儲存器儲存介質包括作為可由可操作地耦接到所述至少一個儲存器儲存介質的至少一個處理器執行的電腦可讀程式儲存在其中的影像預處理模組、候選對象檢測模組、特徵提取模組、分類模組和診斷模組。 39.根據條款37所述的方法,其中施加白平衡轉換到所述多個影像包括使用在所述多個影像中的多個最亮像素。 40.根據條款39所述的方法,其中施加白平衡轉換包括確定白平衡轉換,所述確定白平衡轉換包括: 選擇來自隨機選擇的所述多個影像的子集的多個最亮像素,使得在其中清晰像素的存在概率基本上為1; 計算和施加所述多個影像的所述子集的每個像素的標準灰階強度來確定在所述多個影像中的所述子集的每一個中的所述多個最亮像素; 確定所述多個最亮像素中的每一個的紅色值R、綠色值G和藍色值B; 計算由所述多個最亮像素的平均色定義的平均色向量; 確定白色向量; 確定軸向量,該軸向量垂直於平均色向量和白色向量兩者,並且由平均色向量和白色向量兩者的交叉乘積計算;和 確定仿射轉換矩陣,所述仿射轉換矩陣由所述軸向量和在所述平均色向量與所述白色向量之間的角度計算。 41.根據條款40所述的方法,其中施加所述白平衡轉換包括:施加所述白平衡轉換到由其中的紅色值R、綠色值G和藍色值B限定的所述多個影像的每一個像素的顏色向量,並且在其基礎上輸出經顏色校正的影像。 42.根據條款37所述的方法,其中施加自適應灰階轉換到所述多個影像包括輸出多個自適應灰階強度影像。 43.根據條款42所述的方法,其中施加自適應灰階轉換包括: 接收作為輸入的多個經顏色校正的影像和標準灰階強度影像; 在暗閾值下將所述標準灰階強度影像閥值化以檢測一個或多個斑點; 過濾一個或多個檢測到的斑點的顏色、區域或形狀中的至少一者來找到並識別在高敏感度和特異性下的白血球細胞核; 輸出作為白血球向量資料的來自在其中包含白血球細胞核的經顏色校正的影像的一個或多個像素的紅色值R、綠色值G和藍色值B; 輸出作為背景向量資料的對於在經顏色校正的影像中在灰階強度上比暗閾值更亮的像素隨機採樣所確定的多個合格背景像素的紅色值R、綠色值G和藍色值B;和 根據所述白血球向量資料和背景向量資料確定自適應灰階投影向量。 44.根據條款42所述的方法,其中施加自適應灰階轉換包括:使用多個白血球像素、多個合格背景像素和回歸作為向量來確定和施加自適應灰階投影。 45.根據條款44所述的方法,其中使用回歸包括使用稜回歸、套索回歸、主成分回歸或偏最小平方回歸中的一者或多者。 46.根據條款42所述的方法,其中施加自適應灰階轉換包括:計算和施加自適應灰階強度到所述多個影像中的每一個以有效地提供多個自適應灰階強度影像。 47.根據條款42所述的方法,其中施加自適應灰階轉換包括:使用具有二階或更高階的多項式預測變數矩陣來計算和施加多項式回歸。 48.根據條款42所述的方法,其中施加自適應灰階轉換包括:使用具有紅色值R、綠色值G和藍色值B的有理函數的預測變數矩陣來計算和施加多項式回歸。 49.根據條款37所述的方法,其中檢測和識別一個或多個候選對象包括:基於多個經顏色校正的影像或多個自適應灰階強度影像中的一個或多個來確定一個或多個潛在分析物的位置。 50.根據條款37所述的方法,其中檢測和識別一個或多個候選對象包括: 確定所述多個視場中的哪些視場在其中包括一個或多個候選對象; 至少部分地基於在視場中的一個或多個候選對象的相鄰候選對象之間的距離來群集一個或多個候選對象進行,以提供由其中的相鄰候選對象定義的候選對象叢集; 針對所述一個或多個候選對象中的每一個確定具有最佳聚焦得分的焦平面; 至少部分地基於所述一個或多個候選對象中的每一個的一個或多個特性來輸出得分,所述一個或多個特性包括區域、灰階強度、形狀或顏色中的至少一者;和 至少部分地基於所述一個或多個特性的所述得分來過濾所述候選對象。 51.根據條款50所述的方法,其中至少部分地基於所述一個或多個特性的得分來過濾所述候選對象包括:基於被訓練到儲存器儲存介質中且由至少一個處理器獲取的地面真相對象的屬性來確定閥值得分。 52.根據條款50所述的方法,其中過濾所述候選對象包括: 通過將所述一個或多個候選對象的所述一個或多個特性的得分與用於所述一個或多個特性中的每一個的閾值得分進行比較來過濾所述一個或多個候選對象; 輸出具有在所述閥值得分之上的得分的所述一個或多個候選對象作為潛在分析物位置,並且 拒絕具有在所述閥值得分之下的得分的所述一個或多個候選對象。 53.根據條款52所述的方法,還包括輸出對應於一個或多個潛在分析物的位置的經顏色校正的影像補丁和自適應灰階強度影像補丁。 54.根據條款37的方法,其中從所述經顏色校正的影像補丁和所述自適應灰階強度影像補丁提取一個或多個特徵向量包括: 接收作為輸入的對應於所述多個影像中的一個或多個潛在分析物的位置的多個經顏色校正的影像補丁和多個自適應灰階強度影像補丁;和 輸出每個代表潛在分析物的一個或多個特徵向量。 55.根據條款54所述的方法,其中從所述經顏色校正的影像補丁和所述自適應灰階強度影像補丁提取一個或更多個特徵向量包括: 確定和提取一個或多個候選對象的在對應於所述一個或多個潛在分析物的位置的多個經顏色校正的影像補丁和多個自適應灰階強度影像補丁內的一個或多個特徵;和 將與所述一個或多個候選對象相關聯的一個或多個特徵表示為一個或多個特徵向量。 56.根據條款55所述的方法,其中確定和提取候選對象的一個或多個特徵包括提取一個或多個自動習得的特徵。 57.根據條款56所述的方法,其中提取所述自動習得的特徵包括:至少部分地基於在其中具有一個或多個地面真相對象的地面真相影像補丁來教導機器學習模組成組的權重,其中所述一個或多個地面真相對象包括分析物的樣品和假影的樣品。 58.根據條款57所述的方法,其中所述機器學習模組包括卷積神經網路。 59.根據條款58的方法,其中至少部分地基於地面真相影像補丁來教導所述機器學習模組成組的權重包括使用資料增強方案來增強所述地面真相影像補丁。 60.根據條款59所述的方法,其中所述資料增強方案包括所述地面真相影像補丁的紅色、綠色、藍色或灰階強度成分中的一者或者多者的隨機伽馬校正。 61.根據條款54所述的方法,其中從所述經顏色校正的影像補丁和所述自適應灰階強度影像補丁提取一個或更多個特徵向量包括: 至少部分地基於最佳聚焦得分來確定含有所述候選對象的多個經顏色校正後的影像補丁和自適應灰階強度影像補丁中的每個影像補丁的最佳焦平面,所述最佳聚焦得分包括來自在其中具有候選對象的影像補丁中的多個聚焦平面的多個焦點得分的最高得分; 確定在其中具有所述候選對象的每個影像補丁的多個焦平面的全部上的焦點得分的標準差;和 至少部分地基於在每個影像補丁的多個焦平面之間的候選對象的最暗部的紅色變化來針對每個影像補丁確定紅移得分。 62.根據條款37所述的方法,其中將每個特徵向量分類為對應於假影或分析物包括接收作為輸入的候選對象的一個或多個特徵向量並且將所述一個或多個特徵向量分類為對應於假影或分析物中的一個。 63.根據條款62所述的方法,其中將每個特徵向量分類為對應於假影或分析物包括使用輸出表示所述一個或多個候選對象的一個或多個特徵向量中的每一個對應於分析物的得分的機器學習分類器。 64.根據條款63所述的方法,其中輸出所述經顏色校正的影像補丁和所述自適應灰階強度影像補丁使用增強方案來增強所述經顏色校正的影像補丁和所述自適應灰階強度影像補丁,並且分類所述一個或多個特徵向量包括在對應於所述經顏色校正的影像補丁和所述自適應灰階強度影像補丁中的每一個的增強版本的特徵向量上平均化所述機器學習分類器的輸出。 65.根據條款64所述的方法,其中所述資料增強方案包括所述經顏色校正的影像補丁或所述自適應灰階強度影像補丁中的經顏色校正的紅色、綠色、藍色或自適應灰階強度成分中的一者或多者的隨機伽馬校正。 66.根據條款37所述的方法,還包括:接受作為地面真相的在地面真相樣品中的分析物的一個或多個經標記的影像和在地面真相樣品中的假影的一個或多個經標記的影像。 67.根據條款66所述的方法,其中接收作為地面真相的在地面真相樣品中的分析物的一個或多個經標記的影像和在地面真相樣品中的假影的一個或多個經標記的影像包括:至少部分地基於一個或多個習得的地面真相影像補丁來教導機器學習分類器成組的權重。 68.根據條款67所述的方法,其中所述機器學習分類器包括卷積神經網路,並且至少部分地基於一個或多個地面真相影像補丁來教導機器學習分類器成組的權重包括將在地面真相樣本中的分析物的一個或多個經標記的影像和在地面真相樣本中的假影的一個或多個經標記的影像載入到所述卷積神經網路中。 69.根據條款68所述的方法,其中至少部分地基於一個或多個地面真相影像補丁來教導所述機器學習分類器成組的權重包括使用資料增強方案來增強所述地面真相影像補丁。 70.根據條款69所述的方法,其中所述資料增強方案包括地面真相影像補丁的紅色、綠色、藍色或灰階強度成分中的一者或多者的隨機伽馬校正。 71.根據條款37所述的方法,其中判定經分類為對應於分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閥值水平包括:基於被分類為分析物的一個或多個特徵向量的量值來判定分析物是否存在並給出所述分析物存在或不存在的指示。 72.根據條款37所述的方法,還包括至少部分地基於包括形狀、大小或顏色中的一者或多者的一個或多個影像特性來識別一個或多個候選對象的種類。 73.根據條款37所述的方法,其中所述分析物包括寄生蟲。 74.根據條款73所述的方法,其中所述寄生蟲包括瘧疾寄生蟲。 75.根據條款37所述的方法,其還包括用顯微鏡記錄一個或多個樣品載片的一個或多個影像。 76.用於確定血液中的瘧疾寄生蟲的存在的自動化系統,該系統包括: 配置成擷取血液載片的多個影像的顯微鏡,所述多個影像中的每一個包括: 多個視場,每一個包括血液載片的唯一的x和y座標;和 多個焦平面,每一個具有血液載片的唯一的z座標; 至少一個儲存器儲存介質,其配置為儲存所述血液載片的多個影像; 至少一個處理器,其可操作地耦接到所述至少一個儲存器儲存介質,所述至少一個處理器被配置為: 確定白平衡轉換並施加該白平衡轉換到所述多個影像中的每一個以有效產生多個經顏色校正的影像;和 確定自適應灰階轉換並施加該自適應灰階轉換到所述多個影像中的每一個以針對所述多個影像中的每一個提供自適應灰階強度影像; 檢測和識別在所述多個經顏色校正的影像和自適應灰階強度影像中的一個或多個候選對象; 提取和評分所述一個或多個候選對象的一個或多個特性,至少部分地基於得分來過濾所述一個或多個候選對象; 提取所述一個或多個經過濾的候選對象的經顏色校正的影像補丁和自適應灰階強度影像補丁; 針對每個經過濾的候選對象輸出一個或多個特徵向量; 將每一個特徵向量分類為假影或分析物;和 判定被分類分析物的所述特徵向量是高於還是低於與陽性診斷相關聯的閾值水平。
雖然本文已公開了各個方面和實施方式,但是本文所公開的各個方面和實施方式是為了說明的目的,並不旨在是限制性的,其真正的範圍和精神由下面的請求項指定。
201‧‧‧染色質點
202‧‧‧細胞質
300‧‧‧系統
301‧‧‧多個影像、FoV影像、系統中的輸入、輸入影像
310‧‧‧影像預處理模組、候選對象檢測模組
311‧‧‧輸出影像
320‧‧‧候選對象檢測模組
321‧‧‧R、G、B影像補丁
330‧‧‧特徵提取模組、方框、特徵向量提取模組
331‧‧‧特徵向量
340‧‧‧對象分類器模組、對象分類器、對象分類模組、組
341‧‧‧分類對象資料、分類的對象資料
350‧‧‧診斷模組
351‧‧‧診斷、診斷結果
400‧‧‧子模組
401‧‧‧子集、FoV影像
410‧‧‧子模組
411‧‧‧灰階強度影像、子集
420‧‧‧子模組
421‧‧‧二進位影像
430‧‧‧子模組
431‧‧‧ WBC細胞核像素
440‧‧‧子模組
441‧‧‧背景像素、背景像素值
450‧‧‧子模組
451‧‧‧最亮像素
460‧‧‧子模組
461‧‧‧白平衡轉換、白平衡轉換參數
470‧‧‧子模組
471‧‧‧FoV影像
480‧‧‧子模組
481‧‧‧回歸模型
490‧‧‧子模組
491‧‧‧自適應灰階強度影像
601‧‧‧背景像素
602‧‧‧白血球像素
603‧‧‧寄生蟲核像素
604‧‧‧交叉陰影線區域、重疊區域
614‧‧‧重疊區域
810‧‧‧子模組
811‧‧‧檢測遮罩
820‧‧‧子模組
821‧‧‧對象叢集
830‧‧‧子模組
831‧‧‧最佳聚焦、最高聚焦得分
840‧‧‧子模組
841‧‧‧屬性
850‧‧‧子模組、假影分類器
860‧‧‧子模組
861‧‧‧影像補丁
910‧‧‧子模組、手動特徵提取子模組
901‧‧‧輸入
911‧‧‧手動特徵
920‧‧‧自動特徵提取子模組
921‧‧‧影像補丁
930‧‧‧特徵提取器、特徵提取子模組
931‧‧‧CNN成分、CNN特徵
941‧‧‧輸出特徵向量
1001、1002、1003、1004、1005‧‧‧平面
1010‧‧‧簡單鏡頭、鏡頭元件
1020‧‧‧消色差元件
1030‧‧‧曲線
1031、1032、1033‧‧‧點
1040‧‧‧曲線
1044、1045‧‧‧點
1101‧‧‧光譜
1200‧‧‧系統
1202‧‧‧電腦設備
1206‧‧‧連接
1208‧‧‧電源
1210‧‧‧存儲器存儲介質
1220‧‧‧處理器、存儲介質
1230‧‧‧使用者介面
1240‧‧‧成像裝置
1250‧‧‧樣品載片
1300‧‧‧方法
1305~1370‧‧‧動作
圖1為瘧疾生命週期圖。
圖2A和2B是環形寄生蟲的示意圖。
圖2C是根據一個實施方式的多個影像的示意圖。
圖3A是根據一個實施方式的自動檢測和量化樣品中的一種或多種分析物的系統的多個模組的示意圖。
圖3B和3C是根據一個實施方式的輸入到圖3A的系統的模組中的多個影像的示意圖。
圖4是根據一個實施方式的圖3A的系統的影像預處理模組的詳細示意圖。
圖5是根據一個實施方式的在紅軸、綠軸和藍軸的色值空間中的不同向量之間的關係的示意圖。
圖6A和6B是根據不同實施方式的用於不同灰階影像的不同像素的灰階強度長條圖。
圖7是根據一個實施方式的具有多個焦平面的不同FoV中的影像的並排比較,其中一個FoV包括寄生蟲,另一個FoV包括假影(artifact)。
圖8是根據一個實施方式的圖3A中的系統的候選對象檢測模組的詳細示意圖。
圖9是根據一個實施方式的圖3A中的系統的特徵提取模組的詳細示意圖。
圖10A和10B是分別通過簡單鏡頭和具有消色差校正的鏡頭折射到不同焦平面的光線的示意圖。
圖10C是針對圖10A和10B中示出的簡單鏡頭和具有消色差校正的鏡頭的聚焦與波長曲線的圖。
圖11是根據一個實施方式的經Giemsa染色的DNA樣品的吸收光譜圖。
圖12是根據一個實施方式的用於判定樣本中分析物存在的系統的示意圖。
圖13是根據一個實施方式的用於判定樣本中分析物存在的方法的示意圖。
300‧‧‧系統
301‧‧‧多個影像、FoV影像、系統中的輸入、輸入影像
310‧‧‧影像預處理模組、候選對象檢測模組
311‧‧‧輸出影像
320‧‧‧候選對象檢測模組
321‧‧‧R、G、B影像補丁
330‧‧‧特徵提取模組、方框、特徵向量提取模組
331‧‧‧特徵向量
340‧‧‧對象分類器模組、對象分類器、對象分類模組、組
341‧‧‧分類對象資料、分類的對象資料
350‧‧‧診斷模組
351‧‧‧診斷、診斷結果

Claims (53)

  1. 一種用於確定血液中的分析物的存在的系統,該系統包括: 至少一個儲存器儲存介質,其被配置成儲存一樣品載片的複數個影像,該些影像包括: 複數個視場,每一個包括該樣品載片的唯一的x和y座標;和 複數個焦平面,每一個具有該樣品載片的唯一的z座標; 至少一個處理器,其可操作地耦接到該些儲存器儲存介質,該些處理器被配置為: 確定一白平衡轉換並施加該白平衡轉換到該些影像中的每一個以有效產生複數個經顏色校正的影像; 確定一自適應灰階轉換並施加該自適應灰階轉換到該些影像中的每一個以針對該些影像中的每一個提供一自適應灰階強度影像; 檢測和識別在該些經顏色校正的影像和該自適應灰階強度影像中的至少一個候選對象; 至少部分地基於該些候選對象的至少一個特性來提取和評分該些候選對象,至少部分地基於得分來過濾該些候選對象,並且針對每個經過濾的該些候選對象輸出至少一個經顏色校正的影像補丁和至少一個自適應灰階強度影像補丁; 從該些經顏色校正的影像補丁和該些自適應灰階強度影像補丁提取至少一個特徵向量並輸出該些特徵向量; 將該些特徵向量中的每一個分類為對應於一假影或一分析物;和 判定被分類為該分析物的該些特徵向量是高於還是低於與陽性診斷相關聯的一閾值水平。
  2. 根據請求項1所述的系統,其中該些儲存器儲存介質包括在其中儲存的作為可由該些處理器執行的電腦可讀程式的一影像預處理模組、一候選對象檢測模組、一特徵提取模組、一分類模組和一診斷模組。
  3. 根據請求項1所述的系統,其中該些處理器被配置成至少部分地基於該些影像中的複數個最亮像素來確定該白平衡轉換並施加該白平衡轉換到該些影像。
  4. 根據請求項3所述的系統,其中該些處理器被配置成根據如下來確定該白平衡轉換: 來自隨機選擇的該些影像的一子集的該些最亮像素,使得在其中一清晰像素的存在概率基本上為1; 該些影像的該子集的每個像素的計算出的一標準灰階強度,以確定該些影像中的該些子集中的每一個中的該些最亮像素; 該些最亮像素中的每一個的紅色值R、綠色值G和藍色值B; 該些最亮像素的平均色確定的一平均色向量; 一白色向量; 一軸向量,其垂直於該平均色向量和該白色向量兩者,並且由該平均色向量和該白色向量兩者的交叉乘積來計算;和 一仿射轉換矩陣,其由該軸向量和在該平均色向量與該白色向量之間的一角度來計算。
  5. 根據請求項4所述的系統,其中該些處理器被配置成施加該白平衡轉換到由其中的紅色值R、綠色值G和藍色值B限定的該些影像的像素中的每一個的一顏色向量,並且在其基礎上輸出該些經顏色校正的影像。
  6. 根據請求項1所述的系統,其中該些處理器被配置成確定該自適應灰階轉換並施加該自適應灰階轉換到該些影像並且輸出該些自適應灰階強度影像。
  7. 根據請求項1所述的系統,其中該些處理器被配置成: 接收作為輸入的該些經顏色校正的影像和一標準灰階強度影像; 在一暗閾值下將該標準灰階強度影像閥值化以檢測一斑點; 過濾至少一個檢測到的斑點的顏色、區域或形狀中的至少一者來找到並識別在高敏感度和特異性下的一白血球細胞核; 輸出作為一白血球向量資料的來自在其中包含該白血球細胞核的該些經顏色校正的影像的一個或多個像素的紅色值R、綠色值G和藍色值B到該些儲存器儲存介質;和 輸出作為一背景向量資料的對於在該些經顏色校正的影像中在灰階強度上比該暗閾值更亮的像素隨機採樣所確定的複數個合格背景像素的紅色值R、綠色值G和藍色值B到該些儲存器儲存介質;和 提供該白血球向量資料和該背景向量資料給儲存在該些儲存器儲存介質中並由該些處理器執行的一機器學習模組,該機器學習模組配置為確定一自適應灰階投影向量。
  8. 根據請求項7所述的系統,其中該些處理器被配置為確定: 基於該自適應灰階投影向量的該自適應灰階轉換,其是至少部分地基於複數個白血球像素和該些合格背景像素;和 使用回歸的該自適應灰階投影向量。
  9. 根據請求項8所述的系統,其中該些處理器被配置為計算和施加一自適應灰階強度到該些影像中的每一個以有效地提供該些自適應灰階強度影像。
  10. 根據請求項1所述的系統,其中該些處理器被配置成基於該些經顏色校正的影像或該些自適應灰階強度影像中的一個或多個來確定至少一個潛在分析物的位置。
  11. 根據請求項10所述的系統,其中該些處理器被配置成: 確定該些視場中的哪些視場在其中包括該些候選對象; 至少部分地基於在該些視場中的該些候選對象的至少一個相鄰候選對象之間的距離來群集該些候選對象以提供由其中的該些相鄰候選對象定義的一候選對象叢集; 針對所述該些候選對象中的每一個確定具有一最佳聚焦的一得分的一焦平面; 至少部分地基於該些候選對象中的每一個的至少一個特性來輸出該些候選對象中的每一個的該得分,該些特性包括區域、灰階強度、形狀或顏色中的至少一個;和 至少部分地基於該些特性的該得分來過濾該些候選對象。
  12. 根據請求項11所述的系統,其中該些處理器被配置成通過將該些候選對象的該些特性的該得分與針對該些特性中的每一個的一閾值得分進行比較來過濾該些候選對象,輸出具有在該閥值得分之上的得分的該些候選對象作為該些潛在分析物的位置,並拒絕具有在該閥值得分之下的得分的該些候選對象。
  13. 根據請求項12所述的系統,其中該些處理器被配置成基於被訓練到該些儲存器儲存介質和由該些處理器獲取的地面真相對象的屬性來確定該閾值得分。
  14. 根據請求項1所述的系統,其中該些處理器被配置為接收作為輸入的對應於在該些影像中該些潛在分析物的位置的該些經顏色校正的影像補丁和該些自適應灰階強度影像補丁並且輸出各自表示該些潛在分析物的該些特徵向量。
  15. 根據請求項14所述的系統,其中,所述該些處理器被配置成通過確定以下中的一者或多者來確定和提取該些候選對象的至少一個手動特徵: 針對含有該些候選對象的該些經顏色校正的影像補丁和該些自適應灰階強度影像補丁中的每個影像補丁的最佳焦平面,該最佳聚焦的該得分包括來自在其中具有該些候選對象的影像補丁中的多個聚焦平面的複數個焦點得分的最高得分; 所有的在其中具有該些候選對象的影像補丁的該些焦平面上的該些焦點得分的分散的標準差或其他衡量值;和 至少部分地基於在每個影像補丁的該些焦平面之間的該些候選對象的最暗部的紅色變化的每個影像補丁的一紅移得分。
  16. 根據請求項1所述的系統,其中該些處理器被配置成確定並提取在該些影像中的該些候選對象的至少一個特徵,並且將該些特徵表示為該些特徵向量。
  17. 根據請求項1所述的系統,其中該些處理器被配置為接收作為輸入的該些候選對象的該些特徵向量並且將該些特徵向量分類為對應於該假影或該分析物中的一個。
  18. 根據請求項17所述的系統,其中該些處理器被配置作為輸出表示該些候選對象的該些特徵向量中的每一個對應於該分析物的得分的一機器學習分類器。
  19. 根據請求項17所述的系統,其中該些儲存器儲存介質和該些處理器包括配置成至少部分地基於至少一個地面真相影像補丁進行學習的一機器學習分類器。
  20. 根據請求項1所述的系統,其中該些處理器被配置成確定是否存在該分析物和給出該分析物存在或不存在的指示。
  21. 根據請求項20所述的系統,其中該分析物包括一寄生蟲。
  22. 根據請求項21所述的系統,其中該寄生蟲包括一瘧疾寄生蟲。
  23. 根據請求項1所述的系統,其中該系統包括一影像擷取裝置。
  24. 根據請求項23所述的系統,其中該影像擷取裝置包括一顯微鏡。
  25. 一種用於確定血液中的分析物的存在的方法,該方法包括: 接收一樣品載片的複數個影像,該些影像包括, 複數個視場,每一個包括該樣品載片的唯一的x和y座標;和 複數個焦平面,每一個具有該樣品載片的唯一的z座標; 施加一白平衡轉換到該些影像中的每一個以有效產生複數個經顏色校正的影像;和 施加一自適應灰階轉換到該些影像中的每一個以針對該些影像中的每一個提供一自適應灰階強度影像; 檢測和識別在該些經顏色校正的影像和該自適應灰階強度影像中的至少一個候選對象; 至少部分地基於該些候選對象的一個或多個特性來過濾該些候選對象,並且針對每個經過濾的該些候選對象輸出至少一個經顏色校正的影像補丁和至少一個自適應灰階強度影像補丁; 從該些經顏色校正的影像補丁和該些自適應灰階強度影像補丁提取至少一個特徵向量並輸出該些特徵向量; 將該些特徵向量分類為對應於一假影或一分析物;和 判定被分類為該分析物的該些特徵向量是高於還是低於與陽性診斷相關聯的一閾值水平。
  26. 根據請求項25所述的方法,其中施加該白平衡轉換到該些影像包括:使用在該些影像中的複數個最亮像素。
  27. 根據請求項26所述的方法,其中施加該白平衡轉換包括確定該白平衡轉換,所述確定該白平衡轉換包括: 選擇來自隨機選擇的該些影像的一子集的該些最亮像素,使得在其中一清晰像素的存在概率基本上為1; 計算和施加該些影像的該子集的每個像素的一標準灰階強度來確定在該些影像中的該子集中的每一個中的該些最亮像素; 確定該些最亮像素中的每一個的紅色值R、綠色值G和藍色值B; 計算由該些最亮像素的平均色定義的一平均色向量; 確定一白色向量; 確定一軸向量,該軸向量垂直於該平均色向量和該白色向量兩者,並且由該平均色向量和該白色向量兩者的交叉乘積來計算;和 確定一仿射轉換矩陣,該仿射轉換矩陣由該軸向量和在該平均色向量與該白色向量之間的一角度來計算。
  28. 根據請求項27所述的方法,其中施加該白平衡轉換包括:施加該白平衡轉換到由其中的紅色值R、綠色值G和藍色值B限定的該些影像的每一個像素的一顏色向量,並且在其基礎上輸出該些經顏色校正的影像。
  29. 根據請求項25所述的方法,其中施加該自適應灰階轉換到該些影像包括:輸出該些自適應灰階強度影像。
  30. 根據請求項29所述的方法,其中施加該自適應灰階轉換包括: 接收作為輸入的該些經顏色校正的影像和一標準灰階強度影像; 在一暗閾值下將該標準灰階強度影像閥值化以檢測至少一個斑點; 過濾檢測到的該些斑點的顏色、區域或形狀中的至少一者以找到並識別在高敏感度和特異性下的一白血球細胞核; 輸出作為一白血球向量資料的來自在其中包含該白血球細胞核的該些經顏色校正的影像的一個或多個像素的紅色值R、綠色值G和藍色值B; 輸出作為一背景向量資料的對於在該些經顏色校正的影像中在灰階強度上比該暗閾值更亮的像素隨機採樣所確定的複數個合格背景像素的紅色值R、綠色值G和藍色值B;和 根據該白血球向量資料和該背景向量資料確定一自適應灰階投影向量。
  31. 根據請求項29所述的方法,其中施加該自適應灰階轉換包括:使用複數個白血球像素、該些合格背景像素和一回歸作為向量來確定和施加所述自適應灰階投影。
  32. 根據請求項31所述的方法,其中使用該回歸包括使用稜回歸、套索回歸、主成分回歸或偏最小平方回歸中的一者或多者。
  33. 根據請求項29所述的方法,其中施加該自適應灰階轉換包括:計算一自適應灰階強度和施加該自適應灰階強度到該些影像中的每一個以有效地提供該些自適應灰階強度影像。
  34. 根據請求項29所述的方法,其中施加該自適應灰階轉換包括:使用具有二階或更高階的一多項式預測變數矩陣來計算和施加多項式回歸。
  35. 根據請求項29所述的方法,其中施加該自適應灰階轉換包括:使用具有紅色值R、綠色值G和藍色值B的一有理函數的預測變數矩陣來計算和施加多項式回歸。
  36. 根據請求項25所述的方法,其中檢測和識別該些候選對象包括:基於該些經顏色校正的影像或該些自適應灰階強度影像中的一個或多個來確定至少一個潛在分析物的位置。
  37. 根據請求項25所述的方法,其中檢測和識別該些候選對象包括: 確定該些視場中的哪些視場在其中包括該些候選對象; 至少部分地基於在該些視場中的該些候選對象的一相鄰候選對象之間的距離來群集該些候選對象,以提供由其中的該相鄰候選對象定義的一候選對象叢集; 針對該些候選對象中的每一個確定具有一最佳聚焦的一得分的該些焦平面; 至少部分地基於該些候選對象中的每一個的至少一個特性來輸出該得分,該些特性包括區域、灰階強度、形狀或顏色中的至少一者;和 至少部分地基於該些特性的該得分來過濾該些候選對象。
  38. 根據請求項37所述的方法,其中至少部分地基於該些特性的該得分來過濾該些候選對象包括:基於被訓練到至少一個儲存器儲存介質中且由至少一個處理器獲取的地面真相對象的屬性來確定一閥值得分。
  39. 根據請求項37所述的方法,其中過濾該些候選對象包括: 通過將該些候選對象的一個或多個特性的得分與用於該些特性中的每一個的該閾值得分進行比較來過濾該些候選對象; 輸出具有在該閥值得分之上的得分的該些候選對象作為該些潛在分析物的位置,並且 拒絕具有在該閥值得分之下的得分的該些候選對象。
  40. 根據請求項39所述的方法,還包括輸出對應於該些潛在分析物的位置的該些經顏色校正的影像補丁和該些自適應灰階強度影像補丁。
  41. 根據請求項25的方法,其中從該些經顏色校正的影像補丁和該些自適應灰階強度影像補丁提取該些特徵向量包括: 接收作為輸入的對應於該些影像中的該些潛在分析物的位置的該些經顏色校正的影像補丁和該些自適應灰階強度影像補丁;和 輸出每個代表該些潛在分析物的該些特徵向量。
  42. 根據請求項41所述的方法,其中從該些經顏色校正的影像補丁和該些自適應灰階強度影像補丁提取該些特徵向量包括: 確定和提取對應於該些潛在分析物的位置的該些經顏色校正的影像補丁和該些自適應灰階強度影像補丁中的該些候選對象的至少一個特徵;和 將與該些候選對象相關聯的該些特徵表示為該些特徵向量。
  43. 根據請求項41所述的方法,其中從該些經顏色校正的影像補丁和該些自適應灰階強度影像補丁提取所述該些特徵向量包括: 至少部分地基於一最佳聚焦的一得分來確定含有該些候選對象的該些經顏色校正後的影像補丁和該些自適應灰階強度影像補丁中的每個影像補丁的最佳焦平面,該最佳聚焦的該得分包括來自在其中具有該些候選對象的影像補丁中的所述多個聚焦平面的複數個焦點得分的最高得分; 確定在其中具有該些候選對象的每個影像補丁的該些焦平面的全部上的該些焦點得分的標準差;和 至少部分地基於在每個影像補丁的該些焦平面之間的該些候選對象的最暗部的紅色變化來針對每個影像補丁確定一紅移得分。
  44. 根據請求項25所述的方法,其中將每個該些特徵向量分類為對應於該假影或該分析物包括:接收作為輸入的該些候選對象的該些特徵向量並且將該些特徵向量分類為對應於該假影或該分析物中的一個。
  45. 根據請求項44所述的方法,其中將每個該些特徵向量分類為對應於該假影或該分析物包括:使用輸出表示該些候選對象的該些特徵向量中的每一個對應於該分析物的得分的一機器學習分類器。
  46. 根據請求項25所述的方法,還包括:接受作為地面真相的在一地面真相樣品中的該分析物的至少一個經標記的影像和在該地面真相樣品中的該假影的該些經標記的影像。
  47. 根據請求項46所述的方法,其中接收作為地面真相的在該地面真相樣品中的該分析物的該些經標記的影像和在該地面真相樣品中的該假影的該些經標記的影像包括:至少部分地基於習得的至少一個地面真相影像補丁來教導一機器學習分類器成組的權重。
  48. 根據請求項47所述的方法,其中該機器學習分類器包括一卷積神經網路,並且至少部分地基於該些地面真相影像補丁來教導該機器學習分類器成組的權重包括:將在該地面真相樣品中的該分析物的該些經標記的影像和在該地面真相樣本品的該假影的該些經標記的影像載入到該卷積神經網路中。
  49. 根據請求項48所述的方法,其中至少部分地基於該些地面真相影像補丁來教導該機器學習分類器成組的權重包括:使用一資料增強方案來增強該些地面真相影像補丁。
  50. 根據請求項25所述的方法,其中判定經分類為對應於該分析物的該些特徵向量是高於還是低於與陽性診斷相關聯的該閥值水平包括:基於被分類為該分析物的該些特徵向量的量值來判定該分析物是否存在並給出該分析物存在或不存在的指示。
  51. 根據請求項25所述的方法,還包括至少部分地基於包括形狀、大小或顏色中的一者或多者的至少一個影像特性來識別該些候選對象的種類。
  52. 根據請求項25所述的方法,其還包括用一顯微鏡記錄一個或多個樣品載片的該些影像。
  53. 一種用於確定血液中的瘧疾寄生蟲的存在的自動化系統,該系統包括: 配置成擷取一血液載片的複數個影像的一顯微鏡,該些影像中的每一個包括: 複數個視場,每一個包括該血液載片的唯一的x和y座標;和 複數個焦平面,每一個具有該血液載片的唯一的z座標; 至少一個儲存器儲存介質,其配置為儲存該血液載片的該些影像; 至少一個處理器,其可操作地耦接到該些儲存器儲存介質,該些處理器被配置為: 確定一白平衡轉換並施加該白平衡轉換到該些影像中的每一個以有效產生複數個經顏色校正的影像;和 確定一自適應灰階轉換並施加該自適應灰階轉換到該些影像中的每一個以針對該些影像中的每一個提供一自適應灰階強度影像; 檢測和識別在該些經顏色校正的影像和該自適應灰階強度影像中的至少一個候選對象; 提取和評分該些候選對象的至少一個特性,至少部分地基於一得分來過濾該些候選對象; 提取經過濾的該些候選對象的該些經顏色校正的影像補丁和該自適應灰階強度影像補丁; 針對每個經過濾的該些候選對象輸出至少一個特徵向量; 將每一個該些特徵向量分類為一假影或一分析物;和 判定被分類為該分析物的該些特徵向量是高於還是低於與陽性診斷相關聯的一閾值水平。
TW105116623A 2015-05-28 2016-05-27 圖像分析系統及相關方法 TW201710949A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562167452P 2015-05-28 2015-05-28
US15/154,824 US9836839B2 (en) 2015-05-28 2016-05-13 Image analysis systems and related methods

Publications (1)

Publication Number Publication Date
TW201710949A true TW201710949A (zh) 2017-03-16

Family

ID=57393678

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105116623A TW201710949A (zh) 2015-05-28 2016-05-27 圖像分析系統及相關方法

Country Status (8)

Country Link
US (1) US9836839B2 (zh)
EP (1) EP3304050A4 (zh)
JP (1) JP2018517209A (zh)
CN (1) CN107646115B (zh)
HK (1) HK1247380A1 (zh)
TW (1) TW201710949A (zh)
WO (1) WO2016191462A1 (zh)
ZA (1) ZA201708766B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI711008B (zh) * 2018-05-22 2020-11-21 大陸商杭州智微信息科技有限公司 一種基於飽和度聚類的骨髓白血球細胞定位方法
TWI727497B (zh) * 2019-11-11 2021-05-11 瑞昱半導體股份有限公司 基於感測器特性的影像處理方法
TWI728621B (zh) * 2019-02-01 2021-05-21 大陸商北京市商湯科技開發有限公司 圖像處理方法及其裝置、電子設備、電腦可讀儲存媒體和電腦程式
TWI731396B (zh) * 2018-08-31 2021-06-21 日商日立全球先端科技股份有限公司 圖案檢查系統
US11282295B2 (en) 2017-07-20 2022-03-22 Beijing Sankuai Online Technology Co., Ltd Image feature acquisition
TWI796664B (zh) * 2021-04-01 2023-03-21 宏正自動科技股份有限公司 影像校正方法與裝置
US11741343B2 (en) 2019-11-07 2023-08-29 National Central University Source separation method, apparatus, and non-transitory computer-readable medium
TWI819627B (zh) * 2022-05-26 2023-10-21 緯創資通股份有限公司 用於深度學習網路的優化方法、運算裝置及電腦可讀取媒體
TWI830803B (zh) * 2018-11-02 2024-02-01 美商好樂杰公司 數位影像系統及方法

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE538435C2 (en) * 2014-05-14 2016-06-28 Cellavision Ab Method, device and computer program product for determining color transforms between images comprising a plurality of image elements
US10699417B2 (en) * 2016-10-03 2020-06-30 Sigtuple Technologies Private Limited Method and system for acquisition of optimal images of object in multi-layer sample
EP3336774B1 (en) * 2016-12-13 2020-11-25 Axis AB Method, computer program product and device for training a neural network
WO2018140014A1 (en) * 2017-01-25 2018-08-02 Athelas, Inc. Classifying biological samples using automated image analysis
EP3579981A4 (en) 2017-02-07 2021-03-31 Essenlix Corporation COMPRESSED OPEN FLOW TEST AND USE
US11883824B2 (en) 2017-02-09 2024-01-30 Essenlix Corporation Assay using different spacing heights
TWI756365B (zh) * 2017-02-15 2022-03-01 美商脫其泰有限責任公司 圖像分析系統及相關方法
US10742850B2 (en) * 2017-04-17 2020-08-11 Canon Kabushiki Kaisha Image processing apparatus and control method thereof for white balance adjustment
US20180313950A1 (en) * 2017-05-01 2018-11-01 Farrokh Mohamadi CNN-Based Remote Locating and Tracking of Individuals Through Walls
US10255693B2 (en) * 2017-05-02 2019-04-09 Techcyte, Inc. Machine learning classification and training for digital microscopy images
US10902581B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify foreign object
US10902577B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify object
US10726307B2 (en) 2017-06-30 2020-07-28 Ai Systems Co., Ltd. Real-time identification of moving objects in video images
JP7336755B2 (ja) * 2017-07-28 2023-09-01 パナソニックIpマネジメント株式会社 データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム
US20200333322A1 (en) * 2017-07-31 2020-10-22 Essenlix Corporation Assays with reduced interference
WO2019034328A1 (en) * 2017-08-15 2019-02-21 Siemens Healthcare Gmbh IDENTIFYING THE QUALITY OF CELLULAR IMAGES ACQUIRED USING DIGITAL HOLOGRAPHIC MICROSCOPY USING CONVOLUTIONAL NEURAL NETWORKS
US10083375B1 (en) * 2017-10-13 2018-09-25 StradVision, Inc. Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
US10049323B1 (en) * 2017-10-13 2018-08-14 StradVision, Inc. Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
JP2021500901A (ja) * 2017-10-26 2021-01-14 エッセンリックス コーポレーション Crofおよび機械学習を使用する画像ベースのアッセイのシステムおよび方法
US10807095B2 (en) 2017-10-26 2020-10-20 Essenlix Corporation Making and tracking assay card
US11609224B2 (en) 2017-10-26 2023-03-21 Essenlix Corporation Devices and methods for white blood cell analyses
US11237113B2 (en) 2017-10-26 2022-02-01 Essenlix Corporation Rapid pH measurement
CA3079438A1 (en) * 2017-11-30 2019-06-06 Nantomics, Llc Detecting intratumor heterogeneity of molecular subtypes in pathology slide images using deep-learning
CA3084287A1 (en) * 2017-12-20 2019-06-27 Intervet International B.V. System for external fish parasite monitoring in aquaculture
US11825814B2 (en) 2017-12-20 2023-11-28 Intervet Inc. System for external fish parasite monitoring in aquaculture
US11980170B2 (en) 2017-12-20 2024-05-14 Intervet Inc. System for external fish parasite monitoring in aquaculture
CN111837157B (zh) * 2018-03-08 2024-08-23 株式会社岛津制作所 细胞图像解析方法、细胞图像解析装置、及学习模型创建方法
EP3547211B1 (en) * 2018-03-30 2021-11-17 Naver Corporation Methods for training a cnn and classifying an action performed by a subject in an inputted video using said cnn
JP7061504B2 (ja) 2018-04-16 2022-04-28 株式会社小松製作所 作動油の監視システム及び作動油の監視方法
US10706328B2 (en) * 2018-05-07 2020-07-07 Google Llc Focus-weighted, machine learning disease classifier error prediction for microscope slide images
JP2019195304A (ja) 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
US20210200986A1 (en) * 2018-05-25 2021-07-01 Sony Corporation Control device, control method, and program
EP3574751A1 (en) * 2018-05-28 2019-12-04 Bayer Animal Health GmbH Apparatus for fly management
KR102172213B1 (ko) * 2018-06-04 2020-10-30 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
EP3591582B1 (en) * 2018-07-06 2024-09-04 Tata Consultancy Services Limited Method and system for automatic object annotation using deep network
WO2020011549A1 (en) * 2018-07-11 2020-01-16 Vilniaus Universitetas Computer-implemented process on an image of a biological sample
EP3598194A1 (de) * 2018-07-20 2020-01-22 Olympus Soft Imaging Solutions GmbH Verfahren zur mikroskopischen auswertung
JP7115114B2 (ja) * 2018-07-27 2022-08-09 コニカミノルタ株式会社 X線画像物体認識システム
JP7218118B2 (ja) * 2018-07-31 2023-02-06 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
EP3833242B1 (en) * 2018-08-07 2024-01-03 BriteScan, LLC Portable scanning device for ascertaining attributes of sample materials
CN110007455B (zh) * 2018-08-21 2021-01-26 腾讯科技(深圳)有限公司 病理显微镜、显示模组、控制方法、装置及存储介质
KR102641116B1 (ko) 2018-08-23 2024-02-27 삼성전자주식회사 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
KR102174379B1 (ko) * 2018-08-27 2020-11-04 주식회사 딥바이오 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2020047177A1 (en) * 2018-08-28 2020-03-05 Essenlix Corporation Assay accuracy improvement
KR102103727B1 (ko) * 2018-09-03 2020-04-24 네이버 주식회사 스킴―픽셀cnn을 이용한 이미지 자동 생성 방법 및 이미지 자동 생성 장치
KR102210806B1 (ko) * 2018-10-02 2021-02-01 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
US10818386B2 (en) * 2018-11-21 2020-10-27 Enlitic, Inc. Multi-label heat map generating system
CN113454439A (zh) * 2018-11-29 2021-09-28 乐卓博大学 鉴定结构的自动化方法
CN111527508B (zh) * 2018-12-03 2023-08-29 戴斯数字有限责任公司 利用动态关系认知的数据交互平台
US10311336B1 (en) * 2019-01-22 2019-06-04 StradVision, Inc. Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US10896316B2 (en) 2019-02-04 2021-01-19 Tokitae, LLC Automated microscopy scanning systems and methods
WO2020163658A1 (en) * 2019-02-06 2020-08-13 Essenlix Corporation Assays with reduced interference (iii)
US11783917B2 (en) 2019-03-21 2023-10-10 Illumina, Inc. Artificial intelligence-based base calling
US11210554B2 (en) 2019-03-21 2021-12-28 Illumina, Inc. Artificial intelligence-based generation of sequencing metadata
CN112533525B (zh) 2019-03-27 2024-05-03 Hoya株式会社 内窥镜用处理器、信息处理装置、程序、信息处理方法以及学习模型的生成方法
JP7381003B2 (ja) * 2019-04-26 2023-11-15 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
US11593649B2 (en) * 2019-05-16 2023-02-28 Illumina, Inc. Base calling using convolutions
RU2732895C1 (ru) * 2019-05-27 2020-09-24 Общество с ограниченной ответственностью "ПЛАТФОРМА ТРЕТЬЕ МНЕНИЕ" Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей
JP7279526B2 (ja) * 2019-05-31 2023-05-23 富士通株式会社 解析プログラム、解析装置及び解析方法
US20210082570A1 (en) * 2019-09-13 2021-03-18 Celly.AI Artificial intelligence (ai) powered analysis of objects observable through a microscope
JP2022550916A (ja) * 2019-10-10 2022-12-05 ジョージア テック リサーチ コーポレイション 深紫外線顕微鏡を用いた無標識の血液学的および組織病理学的分析
US11200671B2 (en) * 2019-12-31 2021-12-14 International Business Machines Corporation Reference image guided object detection in medical image processing
US11410387B1 (en) 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
US11451758B1 (en) * 2020-02-12 2022-09-20 Meta Platforms Technologies, Llc Systems, methods, and media for colorizing grayscale images
CN115136244A (zh) 2020-02-20 2022-09-30 因美纳有限公司 基于人工智能的多对多碱基判读
CN111402307B (zh) * 2020-03-17 2023-04-18 中国科学院云南天文台 一种电水准图像的处理方法
EP3896967A1 (en) * 2020-04-17 2021-10-20 Leica Microsystems CMS GmbH Digital imaging device and method for generating a digital color image
US11379697B2 (en) 2020-05-20 2022-07-05 Bank Of America Corporation Field programmable gate array architecture for image analysis
US11295430B2 (en) 2020-05-20 2022-04-05 Bank Of America Corporation Image analysis architecture employing logical operations
CN111951217B (zh) * 2020-07-07 2022-01-14 北京鹰瞳科技发展股份有限公司 模型训练方法、医疗图像处理方法及电子设备
CN113256636B (zh) * 2021-07-15 2021-11-05 北京小蝇科技有限责任公司 一种自底向上的寄生虫虫种发育阶段及图像像素分类方法
KR102562741B1 (ko) * 2022-09-29 2023-08-02 노을 주식회사 인공지능을 이용하여 적혈구 검체에서 말라리아 감염을 진단하는 방법 및 그 장치
CN117522718B (zh) * 2023-11-20 2024-04-30 广东海洋大学 基于深度学习的水下图像增强方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996009600A1 (en) * 1994-09-20 1996-03-28 Neopath, Inc. Apparatus for identification and integration of multiple cell patterns
US6172349B1 (en) * 1997-03-31 2001-01-09 Kla-Tencor Corporation Autofocusing apparatus and method for high resolution microscope system
US7236623B2 (en) * 2000-04-24 2007-06-26 International Remote Imaging Systems, Inc. Analyte recognition for urinalysis diagnostic system
US8326084B1 (en) 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
US7706612B2 (en) * 2004-11-23 2010-04-27 Carestream Health, Inc. Method for automatic shape classification
US7706606B1 (en) * 2006-05-31 2010-04-27 Adobe Systems Incorporated Fast, adaptive color to grayscale conversion
US8103102B2 (en) 2006-12-13 2012-01-24 Adobe Systems Incorporated Robust feature extraction for color and grayscale images
US8150165B2 (en) 2008-04-11 2012-04-03 Recognition Robotics, Inc. System and method for visual recognition
JP5380026B2 (ja) * 2008-09-24 2014-01-08 シスメックス株式会社 標本撮像装置
EP2353042A4 (en) 2008-10-14 2013-06-26 Sanford Burnham Med Res Inst AUTOMATED SCANNING CYTOMETRY USING CHROMATIC ABERRATION FOR ACQUIRING MULTIPLANE IMAGES
US8284998B2 (en) * 2010-07-01 2012-10-09 Arcsoft Hangzhou Co., Ltd. Method of estimating depths from a single image displayed on display
DE102010063965A1 (de) * 2010-12-22 2012-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bestimmung von Objekten einer Farbaufnahme
US9041791B2 (en) * 2011-02-01 2015-05-26 Roche Diagnostics Hematology, Inc. Fast auto-focus in imaging
US20120207360A1 (en) 2011-02-11 2012-08-16 Courosh Mehanian Systems and Methods for Object Identification
US10001622B2 (en) 2011-10-25 2018-06-19 Sanford Burnham Medical Research Institute Multifunction autofocus system and method for automated microscopy
WO2013113707A1 (en) * 2012-02-01 2013-08-08 Ventana Medical Systems, Inc. System for detecting genes in tissue samples
US9063091B2 (en) * 2012-04-06 2015-06-23 Ixensor Inc. Test strips and method for reading test strips
CA2865678C (en) * 2012-04-19 2018-03-13 Susanne BALDUS Method and device for determining an analyte concentration in blood
EP2883037B1 (en) * 2012-08-08 2023-06-07 Healthy.io Ltd. Method and apparatus for performing and quantifying color changes induced by specific concentrations of biological analytes in an automatically calibrated environment
CN103020639A (zh) * 2012-11-27 2013-04-03 河海大学 一种白细胞自动识别计数方法
EP2989499A1 (en) * 2013-07-18 2016-03-02 Ventana Medical Systems, Inc. Auto-focus methods and systems for multi-spectral imaging

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282295B2 (en) 2017-07-20 2022-03-22 Beijing Sankuai Online Technology Co., Ltd Image feature acquisition
TWI711008B (zh) * 2018-05-22 2020-11-21 大陸商杭州智微信息科技有限公司 一種基於飽和度聚類的骨髓白血球細胞定位方法
TWI731396B (zh) * 2018-08-31 2021-06-21 日商日立全球先端科技股份有限公司 圖案檢查系統
TWI830803B (zh) * 2018-11-02 2024-02-01 美商好樂杰公司 數位影像系統及方法
US11977215B2 (en) 2018-11-02 2024-05-07 Hologic, Inc. Digital imaging system and method
TWI728621B (zh) * 2019-02-01 2021-05-21 大陸商北京市商湯科技開發有限公司 圖像處理方法及其裝置、電子設備、電腦可讀儲存媒體和電腦程式
US11741343B2 (en) 2019-11-07 2023-08-29 National Central University Source separation method, apparatus, and non-transitory computer-readable medium
TWI727497B (zh) * 2019-11-11 2021-05-11 瑞昱半導體股份有限公司 基於感測器特性的影像處理方法
TWI796664B (zh) * 2021-04-01 2023-03-21 宏正自動科技股份有限公司 影像校正方法與裝置
TWI819627B (zh) * 2022-05-26 2023-10-21 緯創資通股份有限公司 用於深度學習網路的優化方法、運算裝置及電腦可讀取媒體

Also Published As

Publication number Publication date
EP3304050A1 (en) 2018-04-11
ZA201708766B (en) 2019-06-26
CN107646115A (zh) 2018-01-30
US9836839B2 (en) 2017-12-05
CN107646115B (zh) 2022-02-18
WO2016191462A1 (en) 2016-12-01
EP3304050A4 (en) 2019-02-27
HK1247380A1 (zh) 2018-09-21
US20160350914A1 (en) 2016-12-01
JP2018517209A (ja) 2018-06-28

Similar Documents

Publication Publication Date Title
TWI756365B (zh) 圖像分析系統及相關方法
CN107646115B (zh) 图像分析系统及相关方法
US10061972B2 (en) Image analysis systems and related methods
JP7261414B2 (ja) 分析方法
Mehanian et al. Computer-automated malaria diagnosis and quantitation using convolutional neural networks
US20230127698A1 (en) Automated stereology for determining tissue characteristics
US11199690B2 (en) Determining a degree of red blood cell deformity within a blood sample
Vink et al. An automatic vision‐based malaria diagnosis system
Costa Filho et al. Automatic identification of tuberculosis mycobacterium
EP4229460A2 (en) Systems and methods for autofocus and automated cell count using artificial intelligence
JP2011527056A (ja) 印環細胞検出器及び関連する方法
Mohammed et al. Detection and classification of malaria in thin blood slide images
Chakrabortya et al. A combined algorithm for malaria detection from thick smear blood slides
Davidson et al. Automated detection and staging of malaria parasites from cytological smears using convolutional neural networks
Memeu A rapid malaria diagnostic method based on automatic detection and classification of plasmodium parasites in stained thin blood smear images
US10664978B2 (en) Methods, systems, and computer readable media for using synthetically trained deep neural networks for automated tracking of particles in diverse video microscopy data sets
Ahn et al. Human-level blood cell counting on lens-free shadow images exploiting deep neural networks
de Souza Oliveira et al. A new approach for malaria diagnosis in thick blood smear images
Paul et al. A review on computational methods based on machine learning and deep learning techniques for malaria detection
WO2023034441A1 (en) Imaging test strips
Dantas Oliveira et al. An automatic system for computing malaria parasite density in thin blood films
Govindaraju Application of convolutional neural network for leukocyte quantification from a smartphone based microfluidic biosensor
Christian Ramarolahy et al. Classification and generation of microscopy images with plasmodium falciparum via artificial neural networks
KR102436336B1 (ko) 인공지능 기반의 미세조류 검출장치 및 그 방법
KR102562741B1 (ko) 인공지능을 이용하여 적혈구 검체에서 말라리아 감염을 진단하는 방법 및 그 장치