TWI672637B - 自體免疫抗體免疫螢光影像型態識別方法 - Google Patents

自體免疫抗體免疫螢光影像型態識別方法 Download PDF

Info

Publication number
TWI672637B
TWI672637B TW107115132A TW107115132A TWI672637B TW I672637 B TWI672637 B TW I672637B TW 107115132 A TW107115132 A TW 107115132A TW 107115132 A TW107115132 A TW 107115132A TW I672637 B TWI672637 B TW I672637B
Authority
TW
Taiwan
Prior art keywords
function
immunofluorescence
layer
recognition method
image type
Prior art date
Application number
TW107115132A
Other languages
English (en)
Other versions
TW201947453A (zh
Inventor
郭昶甫
林器弘
陳宜凌
邱孟君
Original Assignee
長庚醫療財團法人林口長庚紀念醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 長庚醫療財團法人林口長庚紀念醫院 filed Critical 長庚醫療財團法人林口長庚紀念醫院
Priority to TW107115132A priority Critical patent/TWI672637B/zh
Priority to CN201910329387.8A priority patent/CN110443105A/zh
Priority to US16/397,290 priority patent/US10943157B2/en
Priority to EP19172304.8A priority patent/EP3564857A1/en
Application granted granted Critical
Publication of TWI672637B publication Critical patent/TWI672637B/zh
Publication of TW201947453A publication Critical patent/TW201947453A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本發明揭露一種自體免疫抗體的免疫螢光影像型態識別方法，其包含以下步驟：輸入複數個原始細胞免疫螢光影像；藉由處理器進行複數個卷積神經網路之運算，複數個卷積神經網路包含卷積層、池化層及啟動層以取得複數個卷積特徵資料；進行識別程序，取得原始細胞免疫螢光影像分屬於複數個抗核抗體影像特徵之比例；以及將判斷結果輸出。

Description

自體免疫抗體免疫螢光影像型態識別方法
本發明是關於一種自體免疫抗體的免疫螢光影像型態識別方法，特別是關於一種利用卷積神經網路(Convolutional neural networks, CNN)運算，對原始細胞免疫螢光影像進行分析，判讀免疫螢光影像中分屬各種自體免疫抗體特徵類型的判斷方法。
抗核抗體(Antinuclear antibodies, ANA)可視為一組將人體細胞中各種與細胞核相關成分作為標靶原的自體免疫抗體的總稱。這些自體免疫抗體存在於各種不同的免疫疾病，例如類風溼性關節炎、紅斑性狼瘡、硬皮症、乾燥症、皮肌炎等，對於風濕疾病的診斷佔有非常重要的角色。目前篩檢自體免疫抗體的標準篩檢方法是採用免疫螢光法(Indirect Immunofluorescence, IIF)進行檢驗，測定結果大於或等於 1:80稀釋後可判讀出型別就認為是有意義的陽性，即與多種自身免疫疾病相關。同時，透過免疫螢光法進行篩檢後所獲得之細胞影像，也可用以瞭解自體免疫抗體的樣態。然而，上述判讀或樣態分類都是經由人工判讀，除了再現性的判讀及濃度稀釋的費時費工外，由於自體免疫疾病病人口逐年增加，免疫螢光方法使用越趨普遍，未來檢驗量勢必逐年增加檢驗而造成人工判讀上的負擔。
對此，利用機器學習的技術來處理免疫螢光影像的判讀，似為解決上述人工判讀需耗費人力成本及判讀一致性問題的解決方式。然而，要利用機器學習技術來進行判讀，現有技術上必須先對原始細胞免疫螢光影像進行前處理，包含細胞範圍邊界的界定切割、像素模糊化處理等，經過處理後的免疫螢光影像才由機器進行分類判讀。上述的前處理過程反而增加了判讀的步驟，降低判斷抗核抗體結果的判讀效率，但若不進行原始細胞免疫螢光影像的前處理程序，則判讀結果的準確率無法達到要求的水準。因此，目前現有的抗核抗體的檢驗及判斷方法，仍無法以簡化且準確的方式，利用機器學習來完成抗核抗體的判讀。
有鑑於此，如何建立一種機器學習模型，使其能直接讀取原始細胞之免疫螢光影像，擷取其中的特徵，有效的對抗核抗體進行分類及判讀，提升判讀結果的的效率及準確性，將是相關醫學產業所希望達成之目標。因此，本發明之發明人思索並設計一種自體免疫抗體的免疫螢光影像判斷方法，針對現有技術之缺失加以改善，進而增進產業上之實施利用。
有鑑於上述習知技藝之問題，本發明之目的就是在提供一種自體免疫抗體的免疫螢光影像判斷方法，以解決習知之自動判讀準確率過低及需要對免疫螢光影像進行額外的前處理程序之問題。
根據本發明之一目的，提出一種自體免疫抗體的免疫螢光影像型態識別方法，其包含下列步驟：通過一輸入裝置輸入複數個原始細胞影像，將複數個原始細胞免疫螢光影像分別轉換成複數個三原色圖層；藉由一處理器將複數個三原色圖層進行複數個卷積神經網路之運算，複數個卷積神經網路分別包含以卷積層、池化層及啟動層運算後取得複數個卷積特徵資料，再以複數個卷積特徵資料作為下一階卷積神經網路之輸入；藉由處理器進行判斷程序，將複數個卷積特徵資料與複數個神經元進行全連接，判斷複數個原始細胞免疫螢光影像分屬於複數個抗核抗體特徵之比例；以及通過一輸出裝置將複數個原始細胞免疫螢光影像之判斷結果輸出。
較佳地，卷積層可包含觸發函數，觸發函數包含Sigmoid函數、Tanh函數、ReLU函數、PReLU函數、ArcTan函數、ELU函數、SoftPlus函數、Sinusoid函數、Sinc函數、Bent identity函數或Gaussian函數。
較佳地，池化層可包含最大池化或平均池化之運算方式。
較佳地，啟動層可包含在同一層運算中進行不同大小模板的卷積運算及最大池化運算，再將資料進行級聯。
較佳地，複數個抗核抗體特徵可包含陰性(Negative)、核心(Nuclear)、細胞質(Cytoplasmic)及有絲分裂(Mitotic)之表現型。
較佳地，核心之表現型可包含均質型(Homogeneous)、斑點型(Speckle)、著絲點型(Centromere)、核仁型(Nucleolar)、核膜型(Nuclear envelope)及多形性型(Pleomorphic)。
較佳地，細胞質之表現型可包含纖維狀型(Fibrillar)、斑點型(Speckle)、AMA型、高基氏體型(Golgi)及桿與環型(Rods and rings)。
較佳地，有絲分裂之表現型可包含著絲點型(Centromere)、紡錘絲型(Spindle fibers)、細胞間橋型(Intercellular bridge)及有絲分裂染色體膜型(Mitotic chromosomal envelope)。
較佳地，輸入之複數個原始細胞免疫螢光影像可進行10層卷積神經網路運算以取得複數個卷積特徵資料。
較佳地，複數個卷積神經網路當中的各卷積層可分別具有預定像素尺寸之卷積核。
承上所述，依本發明之自體免疫抗體的免疫螢光影像型態識別方法，其可具有一或多個下述優點：
(1) 此自體免疫抗體的免疫螢光影像型態識別方法能直接分析原始細胞免疫螢光影像，無須對免疫螢光影像進行前處理的步驟，有效提升判讀效率。
(2) 此自體免疫抗體的免疫螢光影像型態識別方法能夠透過機器學習方式自動分析及判讀細胞免疫螢光影像資料，無須透過人工判讀方式判斷抗核抗體型別，減輕檢驗人員負擔並降低判讀程序所需成本。
(3) 此自體免疫抗體的免疫螢光影像型態識別方法能透過多層的卷積神經網路運算，擷取細胞免疫螢光影像深層的特徵，使得判讀結果更為準確，提升判斷的正確率。
為利貴審查委員瞭解本發明之技術特徵、內容與優點及其所能達成之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，合先敘明。
請參閱第1圖，其係為本發明實施例之自體免疫抗體的免疫螢光影像型態識別方法之流程圖。如圖所示，自體免疫抗體的免疫螢光影像型態識別方法包含以下步驟(S1~S4)：
步驟S1：輸入複數個原始細胞免疫螢光影像。在通過免疫螢光法檢驗後所產生的原始免疫螢光影像，可透過輸入裝置輸入此分析的系統當中。此處的輸入裝置可為拍攝或擷取裝置，如攝影機，收集檢驗之影像，或者利用電腦介面或網路介面傳送及接收原始細胞免疫螢光影像的檔案，並將其儲存於儲存裝置，如電腦的記憶體或者伺服器的資料庫當中。同時，原始細胞免疫螢光影像進一步透過影像轉換軟體轉換成三原色(紅、綠、藍)之圖層，作為後續機器學習的輸入資料。相較於現有技術需要將免疫螢光影像當中的細胞外型畫出(Outline)，才能對區分出的細胞進行分析，本實施例則是將原始免疫螢光影像作為輸入資料，無需進行額外的前處理步驟，有效提升分析的效率。
步驟S2：進行複數個卷積神經網路之運算。由上述的原始細胞免疫螢光影像輸入後，無須經過切割細胞邊界或判斷細胞外緣等前處理程序，直接以轉換好之原始細胞免疫螢光影像的三原色圖層進行卷積神經網路之運算，此處卷積神經網路包含卷積層(convolution layer)、池化層(pooling layer)及啟動層(inception layer)的運算，在本實施例當中，原始細胞免疫螢光影像可通過多次的卷積神經網路運算，發掘免疫螢光影像當中更深層的特徵，使得後續判斷或分類的結果更為準確。上述卷積層、池化層及啟動層的運算準則可同樣儲存在分析的電腦或伺服器當中，利用電腦或伺服器當中之處理器執行指令來進行各層的運算，這裡的處理器包含中央處理器、微處理器、多核心處理器等。以下將分別描述各層運算之內容：
首先，卷積層(convolution layer)是由預定尺寸之卷積核 ，將前一層的特徵資料 進行卷積並加上偏差值 後，得到卷積後的特徵資料 ，如以下方程式(1)所示。卷積操作是將卷積核透過滑動方式在資料上移動，計算內積得到新的特徵。卷積核的尺寸在不同階段的卷積神經網路運算當中可設計不同大小，使得不同階段的卷積能有所差異。
(1)
接著，卷積層可包含觸發層(Activation layer)，使用觸發函數 f，將上層的卷積後特徵資料 轉換成 。使用觸發函數是要利用非線性函數，避免以上層輸入的線性組合作為這一層的輸出。常見的觸發函數包含Sigmoid函數、Tanh函數或ReLU函數。請參閱第2圖，其係為本發明實施例之觸發函數之示意圖。如圖所示，Sigmoid函數如方程式(2)所示，其輸出映射在0與1之間。Tanh函數如方程式(3)所示，其以0為中心，分布在-1到1之間。ReLU函數如方程式(4)所示，有部分的神經元輸出為0。
(2)
(3)
(4)
在上述觸發函數當中，Sigmoid函數及Tanh函數由於深度學習的發展於隱藏層的層數越來越多，使用網路模型進行倒傳遞時容易產生梯度消失的現象，導致訓練出現問題。因此在本實施例當中，以ReLU函數為較佳的觸發函數，其部分神經元輸出為0使得網路模型更加稀疏，減少過度擬合的現象。
除了上述觸發函數外，PReLU函數、ArcTan函數、ELU函數、SoftPlus函數、Sinusoid函數、Sinc函數、Bent identity函數或Gaussian函數也可作為卷積層的觸發函數。其中，PReLU函數如方程式(5)所示，其為ReLU函數之改進，增加了可學習參數a；ArcTan函數如方程式(6)所示；ELU函數與PReLU類似，為負值輸入增加了一個非零輸出，防止靜默神經元出現，倒數收斂為零；SoftPlus函數如方程式(7)所示，可返回任何大於零的值；Sinusoid函數如方程式(8)所示，形成正弦曲線，值域在-1到1之間；Sinc函數如方程式(9)所示，其在x為零時定義值為1；Bent identity函數如方程式(10)所示，允許非線性行為，可在1的任意一側返回值；Gaussian函數如方程式(11)所示，值域在0到1之間。本發明之實施例可選用上述激活函數作為觸發層之觸發函數，但本發明不以此為限。
(5)
(6)
(7)
(8)
(9)
(10)
(11)
接著，池化層(pooling layer)運算包含最大池化方式或平均池化方式。最大池化是回傳每一個特徵映射的最大值，而平均池化則是回傳每一個特徵映射的平均值，亦即經過卷積層及觸發層後的特徵，被池化後成為一個新的特徵。池化層的運算透過不重疊的1 n的核，計算核內的最大值或平均值，將免疫螢光影像資料的資料維度縮小了n倍。在本實施例當中，不同階段的卷積神經網路運算當中，池化層將特徵資料縮小的維度可有所不同。除此之外，在部分卷積神經網路運算當中，也可重新組合卷積後之特徵資料，避免資料維度縮至太小而無法呈現實際免疫螢光影像特徵。
最後，啟動層(inception layer)運算則是利用樹狀網路架構的方式，讓網路模型的深度及寬度都增加。請參閱第3圖，其係為本發明實施例之啟動層之示意圖。如圖所示，前一層的特徵資料，同時併行1x1、3x3及5x5的卷積及3x3的最大池化，最後再進行級聯。使得啟動層能取得不同級別(level)的特徵。但為了避免網路計算量過大，於3x3及5x5的卷積之前先做1x1的卷積，降低輸入通道數量，使得網路分析深度增加，但資料運算量反而減少了，進而提升運算的效率。此外，在每一個卷積層後都可設置觸發函數，如ReLU函數。
上述的卷積神經網路特徵萃取程序，可以對原始細胞免疫螢光影像內容進行多個階段的卷積神經網路運算，取得複數個卷積特徵資料，而這些卷積特徵資料又可做為另一卷積神經網路的輸入資料，再次進行卷積層、池化層及啟動層的運算，藉由多次的卷積神經網路運算，找到更深層的隱藏特徵。
步驟S3：進行判斷程序。在經過處理器進行上述特徵萃取的運算之後，取得的複數個卷積特徵資料可與複數個神經元進行全連接，判斷原始細胞免疫螢光影像分屬於各種自體免疫抗體特徵之比例。請參閱第4圖，其係為本發明實施例之多層感知類神經網路之示意圖。如圖所示，其係為本發明實施例之多層感知類神經網路之示意圖。結合兩層的全連結(Fully-connected)方式，使運算層中每一神經元連接下一層之所有神經元進行運算。但本實施例不侷限於此，在另一實施例當中，也可使用丟棄(Dropout)方式，藉由設定機率 p使各個隱藏層中有複數個神經元不加入運算，例如設定機率 p可為0.5。使用丟棄的方式原因是為避免產生訓練資料預測結果好，但測試資料的結果卻不佳之過度擬合的現象。利用丟棄的方式設定機率，隨機的讓訓練每一次迭代(epoch)修正權重時，隱藏層的神經元有一定的機率消失，使得權重更新時可能不會每個神經元都被更新，藉此防止過度擬合現象。例如，在訓練時可選擇丟棄方式，在實際測試時可選擇全連結方式。
多層感知類神經網路的輸出層可以使用softmax函數進行分類預測，如以下方程式(12)所示，以其作為表達預測結果之機率。
(12)
各種自體免疫抗體特徵的分類，則參考International Consensus on ANA Patterns (ICAP)中分類的方式，請參閱第5圖，其係為本發明實施例之自體免疫抗體特徵分類之示意圖。如圖所示，細胞分類主要包含陰性(Negative)、核心(Nuclear)、細胞質(Cytoplasmic)及有絲分裂(Mitotic)之表現型。陰性代表判定不具備抗核抗體特徵樣態，核心之表現型可包含均質型(Homogeneous)、斑點型(Speckle)、著絲點型(Centromere)、核仁型(Nucleolar)、核膜型(Nuclear envelope)及多形性型(Pleomorphic)。細胞質之表現型可包含纖維狀型(Fibrillar)、斑點型(Speckle)、AMA型、高基氏體型(Golgi)及桿與環型(Rods and rings)。有絲分裂之表現型則可包含著絲點型(Centromere)、紡錘絲型(Spindle fibers)、細胞間橋型(Intercellular bridge)及有絲分裂染色體膜型(Mitotic chromosomal envelope) 。
步驟S4：將判斷結果輸出。在通過上述運算步驟取得原始細胞免疫螢光影像屬於各種自體免疫抗體特徵分類的比例後，可將此判斷結果儲存在儲存裝置當中，並通過一輸出裝置將此判斷結果傳送至對應處理人員，例如通過有線或無線網路傳輸方式將結果傳送到醫護人員或醫檢人員的電腦、手機、平板。使其能依據判斷結果進行後續診斷或提供進一步指示。
請參閱第6圖，其係為本發明實施例之自體免疫抗體的免疫螢光影像判斷方法之示意圖。如圖所示，在本實施例當中，對應於上述的判斷步驟，可進行10層之卷積神經網路運算。詳言之，由輸入層輸入原始細胞免疫螢光影像後，經由卷積層及池化層的運算，再進行4次的啟動層運算(啟動層1至啟動層4)，亦即經過16次的卷積神經網路，最後通過池化層後，經過全連結層產生屬於各種抗核抗體特徵的分類比例，最後經由輸出層輸出。其中各個啟動層的運算，也可分為多個卷積層後再經由級聯層整合，其詳細內容類似於前述實施例之啟動層運算，因此不再重複描述。整體來說，本實施例可經過10層的卷積神經網路運算，取得最佳的結果。在這當中，各層卷積核大小及資料維度設計在各卷積神經網路運算區塊當中可相同也可依需求調整。同時，進行越多層原則上可以發掘更深層的特徵，然而相應的運算時間也會增加，因而降低分析效率。因此，本實施例執行的卷積神經網路運算次數及各區塊運算層數可依需求而進行調整。
以下將以醫院檢驗實驗室檢驗自體免疫抗體的資料當中，抽取15000人的資料進行分析，這些資料已由臨床醫師進行型別判定完成。將這些資料作為本實施例自體免疫抗體免疫螢光影像型態識別方法之輸入資料，經過進行複數個卷積神經網路之運算，產生判斷結果後，再與已判定之結果進行比較，檢視其判斷的正確率。其中，網路分析分成兩階段：第一階段為訓練集，約12000人照片當作輸入，擷取圖片的特徵，後輸入卷積神經網路中來提升網路訓練的效能，其輸出之結果請參閱第7圖，在訓練集(電腦有學習過的資料)的結果，正確率可達99.45%。第二階段為驗證集，將3000人照片當作測試集確認模型結果是否能在沒有學習過的圖片中，依然能獲得良好的分類結果。輸出之結果請參閱第8圖，在驗證集(電腦沒有學習過的資料)的結果，正確率仍可達96.32%。
相較於本實施例的判讀結果，現有技術若是經由細胞畫分後，針對單一細胞判讀的準確率僅能達到80%，若是針對一整張免疫螢光影像判讀，包含各種不同類型細胞免疫螢光影像進行判讀，準確率也僅在70%至80%之間。由上述實際操作驗證結果可以顯示，本實施例所使用的自體免疫抗體型態識別方法確實能達到明顯優於現有技術的判讀準確率。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
S1~S4‧‧‧步驟
第1圖係為本發明實施例之自體免疫抗體的免疫螢光影像型態識別方法之流程圖。
第2圖係為本發明實施例之觸發函數之示意圖。
第3圖係為本發明實施例之啟動層之示意圖。
第4圖係為本發明實施例之多層感知類神經網路之示意圖。
第5圖係為本發明實施例之自體免疫抗體特徵分類之示意圖。
第6圖係為本發明實施例之自體免疫抗體的免疫螢光影像判斷方法之示意圖。
第7圖係為本發明實施例之自體免疫抗體判斷結果之示意圖。
第8圖係為本發明實施例之另一自體免疫抗體判斷結果之示意圖。

Claims (10)

  1. 一種自體免疫抗體的免疫螢光影像型態識別方法，其包含下列步驟： 通過一輸入裝置輸入複數個原始細胞免疫螢光影像，將該複數個原始細胞免疫螢光影像分別轉換成複數個三原色圖層； 藉由一處理器將該複數個三原色圖層進行複數個卷積神經網路之運算，該複數個卷積神經網路分別包含以一卷積層、一池化層及一啟動層運算後取得複數個卷積特徵資料，再以該複數個卷積特徵資料作為下一階卷積神經網路之輸入； 藉由該處理器進行一判斷程序，將該複數個卷積特徵資料與複數個神經元進行全連接，判斷該複數個原始細胞免疫螢光影像分屬於複數個抗核抗體特徵之比例；以及 通過一輸出裝置將該複數個原始細胞免疫螢光影像之判斷結果輸出。
  2. 如申請專利範圍第1項所述之自體免疫抗體的免疫螢光影像型態識別方法，其中該卷積層包含一觸發函數，該觸發函數包含Sigmoid函數、Tanh函數、ReLU函數、PReLU函數、ArcTan函數、ELU函數、SoftPlus函數、Sinusoid函數、Sinc函數、Bent identity函數或Gaussian函數。
  3. 如申請專利範圍第1項所述之自體免疫抗體的免疫螢光影像型態識別方法，其中該池化層包含一最大池化或一平均池化之運算方式。
  4. 如申請專利範圍第1項所述之自體免疫抗體的免疫螢光影像型態識別方法，其中該啟動層包含在同一層運算中進行不同大小模板的卷積運算及最大池化運算，再將資料進行級聯。
  5. 如申請專利範圍第1項所述之自體免疫抗體的免疫螢光影像型態識別方法，其中該複數個抗核抗體特徵包含陰性(Negative)、核心(Nuclear)、細胞質(Cytoplasmic)及有絲分裂(Mitotic)之表現型。
  6. 如申請專利範圍第5項所述之自體免疫抗體的免疫螢光影像型態識別方法，其中核心之表現型包含均質型(Homogeneous)、斑點型(Speckle)、著絲點型(Centromere)、核仁型(Nucleolar)、核膜型(Nuclear envelope)及多形性型(Pleomorphic)。
  7. 如申請專利範圍第5項所述之自體免疫抗體的免疫螢光影像型態識別方法，其中細胞質之表現型包含纖維狀型(Fibrillar)、斑點型(Speckle)、AMA型、高基氏體型(Golgi)及桿與環型(Rods and rings)。
  8. 如申請專利範圍第5項所述之自體免疫抗體的免疫螢光影像型態識別方法，其中有絲分裂之表現型包含著絲點型(Centromere)、紡錘絲型(Spindle fibers)、細胞間橋型(Intercellular bridge)及有絲分裂染色體膜型(Mitotic chromosomal envelope) 。
  9. 如申請專利範圍第1項所述之自體免疫抗體的免疫螢光影像型態識別方法，其中輸入之該複數個原始細胞免疫螢光影像進行10層卷積神經網路運算以取得該複數個卷積特徵資料。
  10. 如申請專利範圍第1項所述之自體免疫抗體的免疫螢光影像型態識別方法，其中該複數個卷積神經網路當中的各該卷積層分別具有一預定像素尺寸之一卷積核。
TW107115132A 2018-05-03 2018-05-03 自體免疫抗體免疫螢光影像型態識別方法 TWI672637B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW107115132A TWI672637B (zh) 2018-05-03 2018-05-03 自體免疫抗體免疫螢光影像型態識別方法
CN201910329387.8A CN110443105A (zh) 2018-05-03 2019-04-23 自体免疫抗体的免疫荧光影像型态识别方法
US16/397,290 US10943157B2 (en) 2018-05-03 2019-04-29 Pattern recognition method of autoantibody immunofluorescence image
EP19172304.8A EP3564857A1 (en) 2018-05-03 2019-05-02 Pattern recognition method of autoantibody immunofluorescence image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107115132A TWI672637B (zh) 2018-05-03 2018-05-03 自體免疫抗體免疫螢光影像型態識別方法

Publications (2)

Publication Number Publication Date
TWI672637B true TWI672637B (zh) 2019-09-21
TW201947453A TW201947453A (zh) 2019-12-16

Family

ID=66379800

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107115132A TWI672637B (zh) 2018-05-03 2018-05-03 自體免疫抗體免疫螢光影像型態識別方法

Country Status (4)

Country Link
US (1) US10943157B2 (zh)
EP (1) EP3564857A1 (zh)
CN (1) CN110443105A (zh)
TW (1) TWI672637B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI772882B (zh) * 2019-12-13 2022-08-01 美商自治醫療裝置公司 自動化、基於雲端、定點照護(poc)的病原及抗體陣列檢測系統與方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI705414B (zh) * 2018-05-29 2020-09-21 長庚醫療財團法人林口長庚紀念醫院 自體免疫抗體免疫螢光影像分類系統及其分類方法
CN111403004A (zh) * 2020-02-26 2020-07-10 广州和硕信息技术有限公司 一种人工智能ana检测图文报告系统
CN111402957B (zh) * 2020-03-10 2021-05-18 成都益安博生物技术有限公司 一种基于神经网络的免疫特征识别方法
CN111460996B (zh) * 2020-03-31 2022-02-15 东南大学 基于极限学习深度网络融合模型的货车车辆号牌识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130052662A1 (en) * 2011-08-23 2013-02-28 University Of Medicine And Dentistry Of New Jersey Method for Automated Autoantibody Detection and Identification
TW201408323A (zh) * 2012-07-18 2014-03-01 Shanghai Birdie Biotech Inc 用於靶向免疫療法的化合物
TW201538982A (zh) * 2014-04-15 2015-10-16 Nat Univ Tsing Hua 檢測裝置、檢測方法、檢測試片及檢測系統
TW201613648A (en) * 2014-01-10 2016-04-16 Shanghai Birdie Biotech Inc Compounds and compositions for immunotherapy

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1327148B1 (en) * 2000-10-17 2009-04-15 Bio-Rad Laboratories, Inc. Pattern recognition method for diagnosis of systemic autoimmune diseases
EP1817708A4 (en) * 2004-10-18 2014-08-27 Wellstat Vaccines Llc SYSTEMS AND METHODS FOR OBTAINING, STORING, PROCESSING AND USING IMMUNOLOGICAL INFORMATION RELATING TO AN INDIVIDUAL OR A POPULATION
CN100416599C (zh) * 2006-06-29 2008-09-03 武汉大学 一种遥感影像的人工免疫非监督分类方法
WO2014177700A1 (en) * 2013-05-02 2014-11-06 Universite D'aix-Marseille Indirect immunofluorescence method for detecting antinuclear autoantibodies.
CA2944829C (en) * 2014-05-23 2022-10-25 Ting Chen Systems and methods for detection of biological structures and/or patterns in images
CN106096616A (zh) * 2016-06-08 2016-11-09 四川大学华西医院 一种基于深度学习的磁共振影像特征提取及分类方法
CN106529605B (zh) * 2016-11-28 2019-06-11 东华大学 基于免疫理论的卷积神经网络模型的图像识别方法
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
US11593656B2 (en) * 2017-12-31 2023-02-28 Astrazeneca Computational Pathology Gmbh Using a first stain to train a model to predict the region stained by a second stain
CN108510004B (zh) * 2018-04-04 2022-04-08 深圳大学 一种基于深度残差网络的细胞分类方法及系统
TWI705414B (zh) * 2018-05-29 2020-09-21 長庚醫療財團法人林口長庚紀念醫院 自體免疫抗體免疫螢光影像分類系統及其分類方法
US11449987B2 (en) * 2018-12-21 2022-09-20 Wisconsin Alumni Research Foundation Image analysis of epithelial component of histologically normal prostate biopsies predicts the presence of cancer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130052662A1 (en) * 2011-08-23 2013-02-28 University Of Medicine And Dentistry Of New Jersey Method for Automated Autoantibody Detection and Identification
TW201408323A (zh) * 2012-07-18 2014-03-01 Shanghai Birdie Biotech Inc 用於靶向免疫療法的化合物
TW201613648A (en) * 2014-01-10 2016-04-16 Shanghai Birdie Biotech Inc Compounds and compositions for immunotherapy
TW201538982A (zh) * 2014-04-15 2015-10-16 Nat Univ Tsing Hua 檢測裝置、檢測方法、檢測試片及檢測系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI772882B (zh) * 2019-12-13 2022-08-01 美商自治醫療裝置公司 自動化、基於雲端、定點照護(poc)的病原及抗體陣列檢測系統與方法

Also Published As

Publication number Publication date
CN110443105A (zh) 2019-11-12
EP3564857A1 (en) 2019-11-06
US20190340473A1 (en) 2019-11-07
TW201947453A (zh) 2019-12-16
US10943157B2 (en) 2021-03-09

Similar Documents

Publication Publication Date Title
TWI705414B (zh) 自體免疫抗體免疫螢光影像分類系統及其分類方法
TWI672637B (zh) 自體免疫抗體免疫螢光影像型態識別方法
CN110059741B (zh) 基于语义胶囊融合网络的图像识别方法
US11756199B2 (en) Image analysis in pathology
CN111680755A (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
JP2016103759A (ja) 画像処理装置、画像処理方法、及びプログラム
Justiawan et al. Comparative analysis of color matching system for teeth recognition using color moment
Li et al. Deep learning-based defects detection of certain aero-engine blades and vanes with DDSC-YOLOv5s
Turi et al. Classification of Ethiopian coffee beans using imaging techniques
CN114841974A (zh) 一种水果内部结构无损检测方法、系统、电子设备及介质
Rocha et al. Malaria parasites detection and identification using object detectors based on deep neural networks: a wide comparative analysis
CN115292538A (zh) 一种基于深度学习的地图线要素提取方法
Huang et al. HEp-2 cell images classification based on textural and statistic features using self-organizing map
Wan et al. C2BNet: a deep learning architecture with coupled composite backbone for parasitic EGG detection in microscopic images
Furtado Deep semantic segmentation of diabetic retinopathy lesions: what metrics really tell us
CN113627522B (zh) 基于关系网络的图像分类方法、装置、设备及存储介质
Lu Convolutional Neural Network (CNN) for COVID-19 Lung CT Scans Classification Detection
CN107784662B (zh) 一种图像目标显著性度量方法
Fomene Developing a machine learning model for malaria diagnosis in rural areas
Rocha et al. Automatic measurement of fish from images using convolutional neural networks
Agarwal et al. IndianFoodNet: Detecting Indian Food Items Using Deep Learning
Salahin et al. One-Stage Methods of Computer Vision Object Detection to Classify Carious Lesions from Smartphone Imaging. Oral 2023, 3, 176–190
Kumar et al. IoT based leukemia detection using Fuzzy C-means clustering Technique
Kumar et al. AI-integrated smart board to analyze sketches to study the stress level of patients.
Sandag et al. Enhancing Monkeypox Disease Detection Performance: A Transfer Learning Approach for Accurate Image Identification

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees