TWI773057B - 抗細胞抗體之自動判讀系統及其自動判讀方法 - Google Patents

Abstract

本發明提供一種抗細胞抗體之自動判讀系統及其自動判讀方法，其係能夠自動地分析所有抗細胞抗體免疫染色影像，並且有效且正確地判讀抗細胞抗體免疫影像對應之細胞形態分類，包含國際ANA染色形態共識（International Consensus on ANA Patterns，ICAP）分類標準之勝任級別（competent level）、專家級別（expert level）及混合形態。藉此，能夠有效地縮短判讀之時間及人力成本，並且增加判讀結果之一致性及診斷正確性。

Description

抗細胞抗體之自動判讀系統及其自動判讀方法

本發明係有關於一種自體免疫疾病之輔助判讀方法，特別係指一種抗細胞抗體之自動判讀系統及其自動判讀方法。

按，抗細胞抗體（anti-cellular antibody, ACA）間接免疫螢光法，又被稱為抗核抗體（anti-nuclear antibody, ANA）間接免疫螢光測定法（indirect immunofluorescence assay，IIFA）係為自體免疫疾病篩檢之黃金標準，其主要係將血清檢體經處理後，於螢光顯微鏡下判斷細胞是否有被螢光染色，若有明顯螢光染色，則被判斷為陽性，並進而根據螢光染色結果提供臨床醫生分析病患可能帶有哪種自體抗體以及何種自體免疫疾病。

臨床上判斷分析ANA形態係大多以人工判讀方式進行，且必須要仰賴有經驗之醫檢師判讀才能得到可信賴之結果，惟，ANA間接免疫螢光染色法之檢驗需求量大，而並非各家醫療院所皆有具判讀ANA形態經驗之醫檢師，並且人工判讀需要耗費大量時間，更會對醫檢師眼睛造成傷害；而為了改善人工判讀ANA形態之缺失，目前已有針對ANA形態辨識之自動判讀機器，不過，自動判讀機器僅能判讀6種ANA形態，亦即無法正確判讀混合形態（mixed pattern），且不符合ICAP（International Consensus on ANA Patterns）國際分類法，因此，臨床上仍須以人工判讀方式進行。

本發明之主要目的即在於提供一種抗細胞抗體之自動判讀系統及其自動判讀方法，其係能夠自動地分析所有抗細胞抗體免疫染色影像，並且有效且正確地判讀抗細胞抗體免疫影像對應之細胞形態分類，包含國際ANA染色形態共識（International Consensus on ANA Patterns，ICAP）分類標準之勝任級別（competent level）、專家級別（expert level）及混合形態。

本發明之另一目的係在於提供一種抗細胞抗體之自動判讀系統及其自動判讀方法，係能夠有效地縮短判讀之時間及人力成本，並且增加判讀結果之一致性及診斷正確性。

緣是，為了達成上述目的，本發明係揭露一種抗細胞抗體之自動判讀系統係包含有一資料模組、一輸入模組及一處理模組，其中，該資料模組中係存放複數筆樣本免疫染色影像之細胞形態分類及其分類特徵，並得定期或不定期地被更新，且得以全部或至少一部資料作為機器學習之輸入來源；該輸入模組係取得自一待測樣本中取得至少一待析免疫染色影像；該處理模組係透過機器學習之演算模式處理來自該資料模組之資料，並演算出一組分類標準，並得分析該待析免疫染色影像之特徵後，再透過該分類標準判斷該待析免疫染色影像之細胞分類形態。

更進一步來說，該處理模組係具有一運算單元，接收來自該資料模組內之該些樣本免疫染色影像之細胞形態分類及其分類特徵，經運算而建構出一組分類標準，一辨識單元，接收該待析免疫染色影像並進行辨識處理，得到一辨識結果，包含該待析免疫染色影像中之細胞質、細胞核及/或分裂中期細胞之有無、外型、亮度、分佈，及彼此間之關聯性等參數，一分析單元，依據該分類標準分析處理該辨識結果，得到該待析免疫染色影像對應細胞形態分類之一判讀結果。

又，該分析單元更包含有一初判讀部及一終判讀部；其中，該初判讀部係依據該分類標準分析該辨識結果，得到一初判結果；該終判讀部係依據一預定閥值或是多數決演算法分析該初判結果，產出該判讀結果。

其中，該分類特徵係包含有細胞質、細胞核及分裂中期細胞之有無、數量、比例、亮度、分佈、外型，及彼此間之關聯性等。

其中，該輸入模組係包含有一影像成像單元，用以自該待測樣本中取得一預定數量之待析免疫染色影像。

本發明之另一實施例中係揭露一種抗細胞抗體之自動判讀方法，其係提供一細胞形態分類標準，透過該細胞形態分類標準分析該待析樣本及其待析參數，進而判讀出該待析樣本所對應之細胞形態分類。

其中，該待析樣本係為以一預定抗體進行免疫細胞染色之影像。

於本發明之一實施例中，判讀該待析樣本之步驟更包含有：

判斷該待析樣本之染色結果，若細胞核、細胞質及分裂中期細胞未被染色，則判斷該待析樣本係為無反應（Non-reactive，AC-0），若細胞核、細胞質及分裂中期細胞有被染色，則比對該細胞形態分類標準而得到一分類候選結果，其中，當該待析樣本包含有多種免疫細胞染色形態時，該分類候選結果中之細胞形態分類為出現機率大於一預定數值者，如0.5。

分析該分類候選結果，當該分類候選結果僅包含單一細胞分類形態時，判讀該待析樣本之分類結果為該分類候選結果；而當該分類候選結果包含多個細胞分類形態，則先分析該分類候選結果中是否包含有AC-1、AC-2及/或AC-4之細胞形態分類，若有AC-2、及AC-1及/或AC-4，則需排除AC-1及/AC-4，將AC-2列入初分類結果，若無AC-2，但有AC-1，將AC-1納入該待析樣本之初分類結果，並且依據一預定閥值，自其他細胞分類形態中篩選出超出該預定閥值之細胞分類形態，作為該待析樣本之初分類結果，若無AC-2及AC-1，依據該定閥值，自該些細胞分類形態中篩選出超出該預定閥值之細胞分類形態，作為該待析樣本之初分類結果；其中，該預定閥值係為細胞分類形態出現之機率，如預定閥值係可設定為出現機率為大於等於0.5。

分析該初分類結果，其中，若該初分類結果僅包含單一細胞分類形態時，則判讀該待析樣本之分類結果為初分類結果；而當該初分類結果為在不同影像中包含複數個細胞分類形態時，則分析是否符合細胞形態分類中之混合形態，意即將細胞分類形態出現次數大於或等於2者納入分類結果，若分類結果中含有2種以上的細胞分類形態時，則該待析樣本之分類結果係為混合形態。

本發明係揭露一種抗細胞抗體之自動判讀系統及其自動判讀方法，其係透過輸入大量抗細胞抗體免疫影像、其分類特徵及其細胞分類形態至處理模組，使處理模組透過機器學習或深度學習建立一套細胞形態分類標準，並且分析模組係得依據該細胞形態分類標準判讀待析樣本所對應之細胞形態分類，以達到自動判讀待析樣本之細胞形態分類之功效，同時也能夠達到縮短判讀時間、增進判讀效率及準確度之功效。

本發明所揭「機器學習」，係指一種透過機器辨識大量樣本、資料、經驗等資訊，並從中獲得特徵，藉以訓練機器建立運作模式或規則之演算法，進而能夠達到機器具有人工智慧的目的。

本發明所揭「深度學習」，係為機器學習之一環，惟，若應用於影像類型等資料，與機器學習之差異在於，深度學習係省取提取特徵之步驟，直接透過卷積之方式提取特徵後進行分類（意即建立出演算規則），其中，最具代表性之深度學習演算法為卷積神經網絡（Convolutional Neural Network，CNN），其包含許多不同架構。而如同本發明所屬技術領域且具通常知識者所周知者，卷積神經網絡包含許多不同架構，例如VGG19、ResNet50V2、DenseNet121、MobileNetV2、Xception、InceptionResNetV2。

本發明所揭「間接免疫螢光測定法（indirect immunofluorescence assay，IIFA）」，係為本發明所屬技術領域周知用以於人類上皮細胞篩選出自體抗體之主要診斷工具，並且可作為全身性自體免疫疾病（systemic autoimmune rheumatic diseases, SARD）之黃金標準，例如紅斑狼瘡（systemic lupus erythematosus, SLE）、薛格連氏症候群（Sjogren's syndrome, SjS)、系統性硬化症（systemic sclerosis, SSc）。而透過HEp-2細胞（human epithelial cells）經間接免疫螢光測定所得圖像提供臨床相關訊息，可作為後續抗原特異性檢測之依據。

本發明所揭「國際ANA染色形態共識（International Consensus on ANA Patterns，ICAP）」，係為ANA形態之國際分類法，目前已經分出29種具代表性的形態，其中，細胞形態被分為三大類：細胞核形態、細胞質形態、有絲分裂形態，並每種形態均已被定義和詳細描述，如下表1至表3所示，；而細胞形態更被分為勝任級別（competent level）與專家級別（expert level），以臨床上進行人工判讀來說，醫檢師至少需要識別所有勝任級別之細胞形態。

表1：細胞核染色之形態與其特徵

分類	特徵描述
AC-1	間期細胞核質均勻染（Nuclear homogeneous），分裂中期細胞染色質也均勻染。
AC-2	間期細胞核質緻密小顆粒染（有些區域緻密，有些區域鬆散），分裂中期細胞染色質也緻密小顆粒染。
AC-3	間期細胞核質內多個（40-80/cell）離散的亮點，分裂中期細胞染色質也多個（40-80/cell）離散的亮點。
AC-4	間期細胞核質內細緻密點染（核仁有的有染有的沒染），分裂中期細胞染色質沒有染。
AC-5	間期細胞核質內大粗糙顆粒染（核仁有的有染有的沒染），分裂中期細胞染色質沒有染。
AC-6	間期細胞核質內多個（6-20/cell）可數離散的亮點。
AC-7	間期細胞核質內少量（1-6/cell）可數離散的亮點。
AC-8	間期細胞核仁內均勻亮染，分裂中期細胞染色質沒染。
AC-9	間期細胞核仁不規則亮染，像土塊鬆散脫落（Cajal bodies），分裂中期細胞染色質會較亮。
AC-10	間期細胞核仁點狀亮，分裂中期細胞染色質內可見一些小亮點 （NOR90）。
AC-11	間期細胞核質均勻染，外圍特別亮，細胞交界處也特別亮，分裂中期細胞染色質沒染。
AC-12	間期細胞細胞核外圍點狀亮染，細胞交界處也特別亮，分裂中期細胞染色質沒染。
AC-13	間期細胞根據不同細胞時期，不同細胞核質內多形性的亮度、大小、顆粒皆不同的亮染，分裂中期細胞染色質沒染。
AC-14	根據不同細胞時期，細胞核質內有不同的亮度的染色，分裂中期細胞染色質有著絲粒（centromere）。
AC-29	符合下列五項特徵 1.     間期細胞出現AC4 態樣（Nucleoplasm fine speckled）及其特徵。 2.     有絲分裂細胞染色質有亮染（AC1特徵）。 3.     染色質裡面可以看到NORs（有絲分裂細胞染色質內的小亮點）。 4.     細胞質有染。 5.     核仁有染。

表2：細胞質染色之形態與其特徵

分類	特徵描述
AC-15	細胞核纖維線狀染（fibrillar linear）。
AC-16	細胞質纖維絲狀染，細胞核邊緣局部會很亮。
AC-17	細胞質纖維短段染。
AC-18	細胞質許多離散亮點。
AC-19	細胞質雲霧狀均勻染。
AC-20	細胞質細緻亮顆粒。
AC-21	細胞質粗糙顆粒纖維染。
AC-22	細胞質、細胞核周圍某一端,帶狀不連續的點或顆粒亮染。
AC-23	細胞質棒狀+環狀染。

表3：分裂細胞染色之形態與其特徵

分類	特徵描述
AC-24	分裂中期細胞旁兩側亮點或細胞質的中心體（centrosome）處亮染。
AC-25	分裂中期細胞裡像雨傘狀（spindle fibers）的分開亮染，核質不一定有染（核質有染的可以歸為AC26 NuMa-like pattern）。
AC-26	分裂中期細胞裡像雨傘狀的分開亮染跟AC24很像,但核質需有染（speckled AC4）。
AC-27	分裂中期細胞快結束時細胞間的亮染。
AC-28	只有分裂中期細胞的染色體有染，間期細胞都沒有染。

本發明所使用之自動影像擷取設備（NOVA View）用以觀察細胞圖像之激發波長為400nm（DAPI）和490nm（FITC）。NOVA View軟體利用DAPI螢光定位HEp-2細胞並聚焦，並以FITC信號為基礎進行圖像分析；針對每個盤中每孔皆至少要獲取3張細胞圖像，並且，每張細胞圖像必須包含有至少25個間期細胞（interphase）及2個有絲分裂（中期）細胞；而該軟體透過FITC圖像測出平均強度之單位為光強度單位（LIU），其係用以區分正樣本和負樣本，另藉由特定模式之稀釋曲線，可以將測得之LIU轉換為估計的終點滴度。根據先前研究指出，細胞染色影像以NOVA View自動影像擷取設備於間接免疫螢光（IIF）1：80篩選稀釋度下與以螢光顯微鏡透過人工判讀已經達到高度一致性。

以下，為能更進一步說明本發明，將茲舉若干實施例並搭配圖式做詳細說明如後。

請參圖1，本發明第一實施例所揭抗細胞抗體之自動判讀系統(10)，其主要包含有一資料模組(20)、一輸入模組(30)及一處理模組(40)，其中：

該資料模組(20)係存放有複數樣本免疫染色影像之細胞形態分類及其分類特徵，其中，該分類特徵係包含有細胞質、細胞核及分裂中期細胞之有無、數量、比例、亮度、分佈、外型，及彼此間之關聯性等，而該些樣本免疫染色影像之細胞形態分類係得為自動影像擷取設備進行判讀之結果、人工判讀之結果，亦或綜合機器及人工判讀所得之結果。

該輸入模組(30)係包含有一影像成像單元(31)，自該待測樣本中取得數量至少為3之待析免疫染色影像；更進一步來說，該輸入模組(30)係得更包含有一影像調整單元(32)，調整該待析免疫染色影像之像素、強度、亮度、尺寸、色調或其他與影像顯示相關之參數值，例如移除該待析免疫染色影像中不必要之顏色，使經處理後之該待析免疫染色影像中僅呈現之單一顏色的免疫染色結果。

該處理模組(40)係具有一運算單元(41)，以該資料模組(20)內之該些樣本免疫染色影像之細胞形態分類及其分類特徵作為輸入資料而一預定演算模型進行經運算，輸出一分類標準，一辨識單元(42)，接收各該待析免疫染色影像並進行辨識處理，輸出一辨識結果，其中，該辨識結果包含有該待析免疫染色影像中之細胞質、細胞核及/或分裂中期細胞之有無、外型、亮度、分佈，及彼此間之關聯性等參數，一分析單元(43)，依據該分類標準分析處理該辨識結果，得到該待析免疫染色影像對應細胞形態分類之一判讀結果；

其中，該分析單元(43)係更包含有一初判讀部(431)，依據該分類標準分析該辨識結果，得到一初判結果，一終判讀部(432)，依據一預定閥值篩選出該初判結果，並得更以多數決演算法產出該判讀結果（亦可稱為終判結果）。

透過上述元件之組成，本發明第一實施例中所揭抗細胞抗體之自動判讀系統(10)係以該資料模組儲存大量抗細胞抗體免疫影像及其細胞形態分類結果、特徵等資料，並且，該資料模組(20)之資料能夠即時地被更新，再將該資料模組(20)內之資料作為輸入資料，使該運算單元(41)能夠透過一預定機器學習演算法或是模型建構出與ANA 細胞形態相關之一分類標準，而該分類標準係包含有各細胞形態分類相對應之特徵、判讀待析影像之步驟及流程等；因此，當該輸入單元(30)獲得該些待析免疫染色影像後，該辨識單元(42)會先進行辨識處理，而後該分析單元(43)再根據該分類標準分析該辨識結果，以產出各該待析免疫染色影像之判讀結果，並得對應出一預定之細胞形態分類，藉此而能提供予臨床醫療作為後續治療手段或是疾病判斷之基礎，以縮短判讀ANA IIFA 影像所需成本，及能夠達到自動化輔助判斷自體免疫疾病之功效。

請參圖2，於本發明第二實施例中係揭露一種抗細胞抗體之自動判讀方法，其包含以下步驟：

步驟101：輸入一待析樣本。

其中，該待析樣本係為至少一免疫細胞染色影像。

步驟102：處理該待析樣本，得到一待析參數。

其中，該待析參數包含有細胞質、細胞核及/或分裂中期細胞之染色結果、外型、亮度、分佈，及彼此間之關聯性等。

步驟103：提供一細胞形態分類標準。

其中，該細胞形態分類標準係由複數已知免疫染色影像之細胞形態分類及其分類特徵經運算處理而得者，並且，該些已知免疫染色影像係得於運算處理前先進行影像擴增處理或/及影像調整處理，以提高該細胞形態分類標準之準確性。

步驟104：依據該細胞形態分類標準，對該待析參數進行分析處理，得到該待析樣本對應之細胞形態分類。

更進一步來說，如圖3所示，步驟104中更包含有以下步驟：

步驟104-1：依序判斷該待析樣本中之細胞核、細胞質及分裂中期細胞之染色情形。

若細胞核、細胞質及分裂中期細胞都沒有被染色，則判斷該待析樣本係為無反應（Non-reactive），輸出AC-0之判讀結果；

若為細胞核、細胞質及分裂中期細胞中至少任一有被染色，則根據該細胞形態分類標準，以不同部位顯示染色結果為基礎進一步分析該待析參數後，得到一分類候選結果，其中，該分類候選結果會包含至少一細胞形態分類。

舉例來說，若細胞核沒被染色，但細胞質有被染色，則需分析細胞質之圖樣特徵，並且再分析分裂中期細胞是否有出現特殊特徵，例如：AC-24具有中心體亮染之特徵、AC-25具有分裂中期細胞裡像雨傘狀的分開亮染之特徵；

若細胞核被染色，但細胞質沒被染色，則需先找到分裂中期細胞，並分析細胞核之圖樣，再分析分裂中期細胞是否有出現特殊特徵及細胞重疊或是交界處有無特殊特徵，如AC-11具有平滑細胞外圍亮染且細胞交界處特別亮之特徵、AC-12具有細胞核外圍點狀亮染且細胞交界處特別亮之特徵、AC-27具有細胞間橋（intercellular bridge）之特徵；

若細胞核及細胞質皆有被染色，先找出分裂中期細胞，再分析核質之圖樣、分裂中期細胞是否有出現特殊特徵及細胞重疊或是交界處有無特殊特徵。

步驟104-2：分析該分類候選結果。

當該分類候選結果僅包含單一細胞分類形態時，判讀該待析樣本之分類結果為該分類候選結果；

當該分類候選結果包含多個細胞分類形態，則先分析該分類候選結果中是否包含有AC-2之細胞形態分類，若該分類候選結果包含有AC-2，判讀該待析樣本之分類結果為AC-2，若該分類候選結果中不包含AC-2，再分析該待析樣本之分類候選結果是否包含有AC-1之細胞分類形態，若有該分類候選結果中包含有AC-1，將AC-1納入該待析樣本之初分類結果，並且依據一預定閥值，自其他細胞分類形態中篩選出超出該預定閥值之細胞分類形態，作為該待析樣本之初分類結果，反之，若該分類候選結果不包含有AC-1，依據該預定閥值，自該些細胞分類形態中篩選出超出該預定閥值之細胞分類形態，作為該待析樣本之初分類結果；

其中，該預定閥值係為一數值，可代表出現次數或出現機率，意即透過統計分析上之多數決模式篩選出重複率滿足該預定閥值之細胞分類形態，並將之納入該初分類結果，例如：該預定閥值為0.5，表示該分類候選結果中之細胞形態分類為出現機率大於或等於0.5者始能被納入初分類結果。

步驟104-3：分析該初分類結果。

若該初分類結果僅包含單一細胞分類形態時，判讀該待析樣本之分類結果為初分類結果，亦即終判讀部採用初判讀部之結果，分類結果為單一細胞分類形態；

若該初分類結果為在不同影像中包含複數個細胞分類形態，則僅將出現次數大於或等於一預定值者納入分類結果，意即終判讀部會依據所設定之數值篩選出符合之細胞分類形態，而若所篩選出之細胞分類形態係為2種以上時，則分類結果係為混合形態，舉例來說，可將出現次數設定為大於或等於2。

藉由本發明所揭抗細胞抗體之自動判讀方法係能夠直接由免疫染色影像之內容準確地判讀出其所對應之細胞分類形態，並且克服習知技術中無法準確判讀出混合形態或是專家等級之細胞分類形態之缺失，而透過該抗細胞抗體之自動判讀方法所提供之分類結果，係能夠提供臨床上做更進一步抗體檢驗或是疾病治療之參考，不需再仰賴大量人力進行影像之判讀。

又，必須要強調者，透過本發明所揭抗細胞抗體之自動判讀系統及其自動判讀方法，操作者僅需要提供待析樣品之ANA IIFA影像，而非以與特定自體免疫疾病相關之抗體進行染色後之影像作為判讀之輸入來源，換言之，本發明所揭抗細胞抗體之自動判讀系統及其自動判讀方法係大幅縮短檢測時間與檢測成本，更提高自動檢測之準確率。

能更進一步說明本發明之技術特徵及其功效，以下將舉例並搭配圖表做詳細說明如後。

實例一：收集樣本及其ANA IIFA圖像

自台灣台中榮民總醫院的NOVA View影像自動影像擷取設備自樣本收集到90109份具有ANA IIFA圖像（每個樣本會產出3-8個圖像），並若樣本及其圖像符合下列條件之任一，即將之排除：缺乏正式報告、週期性預先測試樣本、嚴重異常曝光的圖像，剩餘樣本為34982個。如下表4所示，18380個IIFA圖像被判讀為陰性（AC-0），而陰性之定義為細胞核、細胞質及分裂中期細胞都為陰性免疫螢光染色；其餘16602的ANA IIFA圖像（來自10641個患者）被判讀為非AC-0並會對應到1個以上之細胞形態分類；並且後續進行相關之抗體測試；其中，表4中之MSA為myositis specific antibody panel之縮寫。

表4：ANA圖樣分類分佈

ICAP勝任等級分類	病患數量 (％)	樣本數量 (％)	用於機器學習的數量	實驗室提供的相關測試	臨床判斷接受後續測試之患者數量/陽性數量(%)
訓練	驗證	測試
核均質（AC-1）	6293 (24.3)	8717 (24.9)	21596	5398	3106	抗DsDNA抗體	2166/472 (21.8)
抗組蛋白抗體	115/30 (26.1)
核密集具有細斑點（AC-2）	247  (1)	401 (1.1)	981	244	95	無	無
著絲粒（AC-3）	545  (2.1)	910 (2.6)	2239	561	307	抗著絲粒抗體	304/293 (96.4)
核斑點（AC-4/AC-5）	10632 (41)	15078 (43.1)	37577	9396	5813	抗SSA/SSB抗體	5403/1547 (28.6)
抗Mi2、TIF NXP2、SAE1、 Ku、Ro52的自身抗體 (MSA panel)	1039/442 (42.5)
抗Sm/RNP抗體	245/144 (58.8)
離散核點（AC-6/AC-7）	446 (1.7)	755 (2.2)	1882	470	213	抗NXP2抗體	25/2 (8)
核仁（AC-8/AC-9/AC-10）	782 (3)	1022 (2.9)	2524	630	326	抗-PM-Scl 75/100 (MSA panel)或 Scl-70抗體	187/9 (26.2)
細胞質纖維（AC-15/AC-16/AC-17）	107 (0.4)	129 (0.4)	410	103	28	無	無
細胞質斑點（AC-18/AC-19/AC-20）	2005 (7.7)	2534 (7.2)	6380	1595	1122	抗PL-7、PL-12、Jo-1、 SRP、EJ、OJ、 MDA5、Ro52抗體 (MSA panel)	153/110 (71.9)
抗Jo-1抗體	90/13 (14.4)
抗核醣體-P抗體	26/10 (38.5)
細胞質網狀/AMA（AC-21）	264 (1)	380 (1.1)	980	245	105	抗粒線體抗體	89/53 (59.6)
抗粒線體-M2抗體	10/9 (90)
Pola/Golgi-like（AC-22）	37 (0.1)	55 (0.2)	463	116	15	無	無
棒狀與環狀（AC-23）	44 (0.2)	54 (0.2)	635	159	18	無	無
AC-0	11373 (44.1)	16376 (47.1)
非AC-0	15299 (59.3)	18380 (52.9)

實例二：影像處理（一）

由於實例一中各細胞形態分類之數量不平均而可能造成機器學習結果不佳，再收集部分具有細胞質纖維、細胞質網狀/AMA或細胞質為Polar/Golgi-like圖樣等陽性表現之患者血清，做更進一步之ANA測試，以得到121個細胞質纖維陽性之圖像、74個細胞質網狀/AMA陽性之圖像，及406個細胞質為Pola/Golgi-like之圖像，並且，透過亮度增減技術來擴增呈桿狀與環狀之細胞態樣的圖樣，得到624個增強後之圖像；上述圖樣仍投入輸入端，作為機器學習之訓練數據，如上表4所示。

實例三：影像處理（二）

由於所有HEp-2 細胞ANA IIFA 圖像資訊都只存在綠色通道（green channel），因此需移除ANA IIFA圖像中藍色及紅色通道，以避免雜訊，並且，更得對各ANA IIFA圖像進行影像預處理透過像素調整方法，適當地增強影像之強度對比，以使強度值能夠均一化至0～1之間的比例，其中，強度調整方法如下：

輸入圖像增加值＝（輸入圖像-輸入圖像最小強度值）/（輸入圖像最大強度值-輸入圖像最小強度值）

實例四：機器學習之訓練規則

由於根據ICAP之分類規則，ANA細胞形態分類必須要同時考慮到分裂中期細胞、間期細胞（interphase cell），因此，輸入圖像是基於HEp-2細胞影像之圖像等級（specimen-level 或稱 image-level），而非基於HEp-2細胞影像之細胞等級（cell-level）。

以本實例來說，所有的圖樣都依據80：20之比例進行訓練及驗證，並調整尺寸為299 X 299像素。於GPU機器學習環境（NVIDIA TITAN V, 12GB RAM）下進行30期（epoch）之訓練，最小批量為30。

實例五：機器學習之判讀規則

由於ANA檢查針對每個樣品至少會有3張免疫螢光影像，故需結合所有判讀結果，並且以多數決之方式來決定最終之判讀結果，因此，對於每個HEp-2細胞圖像，藉由預訓練模型在11種可能的細胞形態分類上產出概率分佈，並選擇概率大於等於0.5之細胞形態分類作為初判讀圖像預測結果；於每個樣本之圖像中，採取至少被兩個HEp-2細胞圖像所得圖像預測結果支持的細胞形態分布作為最終判讀結果；惟，初判讀例外情形如下：

1.判斷是否出現核質均勻染（AC-1）之情形的主要關鍵在於分裂中期細胞，但是典型的分裂中期細胞可能僅會出現在各樣本的所有影像中之一張，所以只要其中一張圖像預測結果含有核質均勻染陽性（即AC-1），則最終之判讀就將核質均勻染陽性（AC-1）納入終判讀結果；

2.AC-2理論上是不會和AC-1及/或AC-4共存，所以當圖像預測結果是AC-2時，則自動忽略AC-1及AC-4。

舉例來說，請參圖8，於本例中，初判讀部的閥值設為大於或等於0.5，終判讀部的閥值設為次數為2或2以上；根據此設定，初判讀部先依據所設定之閥值自各免疫螢光影像之分類候選結果中進行篩選並且同時分析是否有上述初判讀例外情形；由於本例中沒有初判讀例外情形，故初判讀部留下AC-4（2次）、AC-19（2次）、AC-6（1次）之初分類結果，而後終判讀部再依據所設定之閥值篩選出分類結果，即為AC-4及AC-19之混合形態。

又請參圖9，於該例中，初判讀部與終判讀部的閥值設定同於上例，然由於影像1及影像2之分類候選結果中含有AC-2之細胞分類形態，此即為初判讀例外情形，因此，於影像1及影像2之初分類結果係會留下AC-2，而影像3中因為沒有出現AC-2，所以初分類結果留下AC-1及AC-4；基於AC-2於初分類結果中之出現次數等於2，所以終判讀部僅留下AC-2作為分類結果。

請再參圖10，於該例中，初判讀部與終判讀部的閥值設定同於上例；而雖然初分類結果中AC-4出現3次、AC-1出現1次，然基於前述初判讀例外情形之規則，只要初分類結果中有出現AC-1，就應將AC-1納入分類結果中，不用考慮AC-1之出現次數，故於本例中之分類結果為AC-1及AC-4之混合形態。

實例六：分類判讀結果之評估方式

透過精確度（陽性預測正確的比例）、靈敏度（recall，正確分類陽性的比例及F1分數（精確度和召回率的加權平均表現），其分別以下列算式運算所得：

精確度＝真陽性/（真陽性+偽陽性）

靈敏度＝真陽性/（真陽性+偽陰性）

F1分數＝（2 X精準度 X 靈敏度）/（精準度 + 靈敏度）

此外，Kappa值（Cohen’s kappa）亦能作為評估分類結果是否一致的指標，其中：

Kappa值＝（P ₀-P _C）/（1-P _C）

P ₀為觀測一致性（observed agreement），兩種測量結果一致的百分比；

P _C為期望一致性（chance agreement），兩種測量結果預期相同的百分比。

實例七：以比較不同機器學習模型進行演算之結果

藉由測試數據1評估不同預訓練模型之效果，其中，該測試數據1（如圖3）包含1985個樣本及其所產生之6195個圖像，結果如表5所示。

由表5之結果可知，以InceptionResNetV2模型進行演算可以得到最高F1分數（0.86）和最高kappa值（0.82），是以，將通過轉移學習技術（transfer learning technique）採取InceptionResNetV2模型作為機器學習之演算法，演算架構如圖4所示。

將測試數據1以InceptionResNetV2模型進行演算，而對於不同細胞分類形態之精準度、靈敏度、F1分數及Kappa值係如表6所示，其中，Kappa值係顯示InceptionResNetV2模型預測結果與具有經驗醫檢師判讀結果間之一致性。

由表6之結果顯示，精準度係介於0.73～1.00之間，平均為0.93；靈敏度係介於0.64～1.00之間，平均為0.81；F1分數係係介於0.72～1.00之間，平均為0.86。F1分數最高之三種細胞分類形態之圖像特徵為棒狀與環狀、核斑點及著絲粒，而F1分數最低之四種細胞分類形態之圖像特徵為細胞質斑點、核仁、離散核點、細胞質纖維。再者，各細胞形態分類之Kappa值在0.67到1.00，平均為0.82，表示以機器學習所得之分類判斷標準進行判讀之結果與人工判讀結果間達成幾乎完美的一致性。

換言之，由上述結果可以證實本發明所揭抗細胞抗體之自動判讀系統及其自動判讀方法係能夠準確地判讀出ANA IIFA影像之細胞形態分類，以達到降低人工判讀之成本並提升判讀效率。

表5：以不同預訓練模型進行演算後之F1分數及Kappa值

預訓練模型	F1 分數	Kappa值
InceptionResNetV2	0.86	0.82
MobileNetV2	0.81	0.76
Xception	0.78	0.74
VGG19	0.78	0.73
ResNet50V2	0.73	0.68
DenseNet121	0.68	0.63

表6：測試數據1中各細胞形態分類以InceptionResNetV2進行演算之結果

	精準度	靈敏度	F1 分數	Kappa值
核均質	0.92	0.87	0.89	0.79
核密集具有細斑點	0.88	0.79	0.83	0.83
著絲粒	1.00	0.88	0.93	0.93
核斑點	0.98	0.99	0.99	0.74
離散核點	0.94	0.70	0.80	0.79
核仁	1.00	0.64	0.78	0.77
細胞質纖維	0.73	0.89	0.80	0.80
細胞質斑點	0.82	0.65	0.72	0.67
細胞質網狀/AMA	0.92	0.73	0.81	0.81
Polar/Golgi-like	1.00	0.80	0.89	0.89
棒狀與環狀	1.00	1.00	1.00	1.00

實例八：一致性測試

隨機選擇175個樣本所產生之544個圖像，作為測試數據2，並分別將5個經驗豐富醫檢師人工判讀之結果、2個初級醫檢師人工判讀之結果和以InceptionResNetV2模型進行判讀之結果兩兩相比，分析彼此間之一致性，結果如圖5至圖7所示。

由圖5至圖7之結果係顯示，5位經驗豐富之醫檢師對11種細胞形態分類進行判讀所得結果的平均一致性為0.849，代表幾乎完美的一致性；而5位經驗豐富之醫檢師與2位初級醫檢師所得之判讀結果的平均一致性為0.528，代表為中等一致性；而以本發明所揭抗細胞抗體之自動判讀方法，透過機器學習（如InceptionResNetV2演算法）進行判讀所得之結果與5位有豐富經驗醫檢師所得之判讀結果間的一致性為0.844，代表彼此間呈現幾乎完美的一致性。

由上述結果證實，本發明所揭抗細胞抗體之自動判讀系統及其自動判讀方法判讀ANA IIFA影像之正確度係明顯高於初級人員，意即透過本發明所揭抗細胞抗體之自動判讀系統及其自動判讀方法進行ANA IIFA影像判讀，不僅能夠降低人工判讀因人為因素所造成之錯誤率，並能夠判斷出多種細胞形態分類，包含混合形態及專家等級之細胞形態分類，不僅能夠節省人力及時間成本，更能達到準確且快速地判讀ANA IIFA影像之功效，以達到輔助臨床上對於自體免疫疾病之判斷與治療之功效。

(10)抗細胞抗體之自動判讀系統 (20)資料模組                                                   (30)輸入模組 (31)影像成像單元                                        (32)影像調整單元 (40)處理模組                                               (41)運算單元 (42)辨識單元                                               (43)分析單元 (431)初判讀部                                             (432)終判讀部 (101)輸入一待析樣本 (102)處理該待析樣本，得到一待析參數 (103)提供一細胞形態分類標準 (104)依據該細胞形態分類標準，對該待析參數進行分析處理，得到該待析樣本對應之細胞形態分類 (104-1)依序判斷該待析樣本中之細胞核、細胞質及分裂中期細胞之染色情形 (104-2)分析該分類候選結果 (104-3)分析該初分類結果

圖1係為本發明第一實施例之示意圖。 圖2係為本發明第二實施例之流程圖。 圖3係為本發明實例中所述機器學習模型架構圖。 圖4係為本發明實例中所述進行判讀之流程圖。 圖5係為分析以不同經驗豐富醫檢師所得判讀結果間的一致性，其中，A1至A5分別代表5位不同經驗豐富醫檢師，而表格內之數字代表該些醫檢師之間對於各種形態判讀一致性之結果，並Kappa值小於0代表一致性不佳、0-0.2代表一致性很低、0.21-0.40代表一致性少、0.41-0.60代表一致性中、0.61-0.80代表一致性強、0.81-1代表將近完美的一致性。 圖6係為分析以經驗豐富醫檢師與以初級醫檢師所得判讀結果間的一致性，其中，A1至A5分別代表5位不同經驗豐富醫檢師，F1至F2分別代表2位初級醫檢師，表格內數字代表不同經驗豐富醫檢師與初級醫檢師之間對於各種形態判讀一致性之結果。 圖7係為分析以經驗豐富醫檢師與以自動判讀系統所得判讀結果間的一致性，其中，A1至A5分別代表5位不同經驗豐富醫檢師，AI代表自動判讀系統，表格內數字代表不同經驗豐富醫檢師與自動判讀系統之間對於各種形態判讀一致性之結果。 圖8係為本發明所揭機器學習判讀規則之流程示意圖（一）。 圖9係為本發明所揭機器學習判讀規則之流程示意圖（二）。 圖10係為本發明所揭機器學習判讀規則之流程示意圖（三）。

Claims (10)

1. 一種抗細胞抗體之自動判讀系統，係包含有：一資料模組，存放有複數樣本免疫染色影像之細胞形態分類及其分類特徵，其中，該分類特徵係包含有細胞質、細胞核及分裂中期細胞之有無、數量、比例、亮度、分佈、外型，及彼此間之關聯性等；一輸入模組，自一待測樣本中取得至少一待析免疫染色影像；一處理模組，具有一運算單元，接收來自該資料模組內之該些樣本免疫染色影像之細胞形態分類及其分類特徵，經一深度學習演算法運算而建構出一組分類標準，其中，該深度學習演算法對於各細胞分類型態之精準度係至少為0.73、靈敏度係至少為0.64、F1分數至少為0.72、Kappa值至少為0.67，一辨識單元，接收該待析免疫染色影像並進行辨識處理，得到一辨識結果，包含該待析免疫染色影像中之細胞質、細胞核及/或分裂中期細胞之有無、外型、亮度、分佈，及彼此間之關聯性等參數，一分析單元，將該辨識結果依據該分類標準中所列各細胞型態分類之特性進行比對及判斷，得到該待析免疫染色影像對應細胞形態分類之一判讀結果。
2. 如請求項1所述抗細胞抗體之自動判讀系統，其中，該輸入模組係包含有一影像成像單元，用以自該待測樣本中取得一預定數量之待析免疫染色影像。
3. 如請求項2所述抗細胞抗體之自動判讀系統，其中，該分析單元更包含有一初判讀部及一終判讀部；該初判讀部係依據該分類標準篩選出該辨識結果所對應之細胞分類型態，得到一初判結果；該終判讀部係依據一預定閥值或是多數決演算法自該初選結果中篩選出該判讀結果。
4. 一種抗細胞抗體之自動判讀方法，其包含有下列步驟：a.輸入一待析樣本，得到該待析樣本之至少一影像；b.處理該影像，得到一待析參數，其中，該待析參數包含有細胞質、細胞核及/或分裂中期細胞之染色結果、外型、亮度、分佈，及彼此間之關聯性等；c.提供一細胞形態分類標準，其係由複數已知免疫染色影像之細胞形態分類及其分類特徵經一深度學習演算法運算處理而得者，其中，該深度學習演算法對於各細胞分類型態之精準度係至少為0.73、靈敏度係至少為0.64、F1分數至少為0.72、Kappa值至少為0.67；d.以該細胞形態分類標準比對該待析樣本之影像得到之該待析參數，篩選出符合該待析樣本所對應之細胞形態分類。
5. 如請求項4所述抗細胞抗體之自動判讀方法，其中，該影像係為以一預定抗體進行免疫細胞染色之影像。
6. 如請求項4所述抗細胞抗體之自動判讀方法，其中，該些已知免疫細胞染色影像於運算處理前係進行影像擴增處理。
7. 如請求項4所述抗細胞抗體之自動判讀方法，其中，該影像之數量至少為3。
8. 如請求項7所述抗細胞抗體之自動判讀方法，其中，該步驟d中係更包含下列步驟：步驟d1：根據各該影像之染色結果判斷該待析參數中之細胞核、細胞質及分裂中期細胞的有無，若為無，則判斷該待析樣本係為無反應(Non-reactive，AC-0)，若為有，則比對該細胞形態分類標準而得到一分類候選結果；步驟d2：分析該分類候選結果，其中： 當該分類候選結果僅包含單一細胞分類形態時，判讀該待析樣本之分類結果為該分類候選結果；當該分類候選結果係為至少一影像中分別包含複數細胞分類形態，則先分析該些影像之該分類候選結果中是否包含有AC-1、AC-2及/或AC-4之細胞形態分類，若有AC-2、及AC-1及/或AC-4，則需排除AC-1及/AC-4，將AC-2列入初分類結果，若無AC-2，但有AC-1，將AC-1納入該待析樣本之初分類結果，並且依據一預定閥值，自其他細胞分類形態中篩選出超出該預定閥值之細胞分類形態，作為該待析樣本之初分類結果，若無AC-2及AC-1，依據該預定閥值，自該些細胞分類形態中篩選出符合該預定閥值之細胞分類形態，作為該待析樣本之初分類結果；步驟d3：分析該初分類結果，其中，若該初分類結果僅包含單一細胞分類形態時，判讀該待析樣本之分類結果為初分類結果；而當該初分類結果包含複數個細胞分類形態時，則需依據一預定條件分析是否符合細胞形態分類中之混合形態，其中，該預定條件包含有若初分類結果中含有AC-1，AC-1應納入分類結果，並其他初分類結果中之細胞分類形態應出現一預定次數者始能納入分類結果。
9. 如請求項8所述抗細胞抗體之自動判讀方法，其中，該預定閥值係為細胞分類形態出現機率。
10. 如請求項8所述細胞抗體之自動判讀方法，其中，該預定閥值係設為大於或等於0.5，並該預定次數係設為大於或等於2。

Images