TWI781027B - 用於染色影像的神經網路系統與影像染色轉換方法 - Google Patents

用於染色影像的神經網路系統與影像染色轉換方法 Download PDF

Info

Publication number
TWI781027B
TWI781027B TW110148087A TW110148087A TWI781027B TW I781027 B TWI781027 B TW I781027B TW 110148087 A TW110148087 A TW 110148087A TW 110148087 A TW110148087 A TW 110148087A TW I781027 B TWI781027 B TW I781027B
Authority
TW
Taiwan
Prior art keywords
image
category
generator
coloring
discriminator
Prior art date
Application number
TW110148087A
Other languages
English (en)
Other versions
TW202326751A (zh
Inventor
李建樹
馬耀賢
Original Assignee
國立臺南大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺南大學 filed Critical 國立臺南大學
Priority to TW110148087A priority Critical patent/TWI781027B/zh
Application granted granted Critical
Publication of TWI781027B publication Critical patent/TWI781027B/zh
Publication of TW202326751A publication Critical patent/TW202326751A/zh

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明提出一種用於染色影像的神經網路系統，採用循環式生成對抗網路搭配專責且事先訓練的色彩分類器。此網路可以有效地將一個染色類別的影像轉換至另一個染色類別，專責的色彩分類器可以提升效能也可以讓訓練更加穩定。

Description

用於染色影像的神經網路系統與影像染色轉換方法
本揭露是關於使用循環生成對抗網路進行切片影像的色彩轉換。
癌症的檢查有許多方法，但僅有做病理組織切片才有辦法進行確認，病理組織切片主要是由患者手術中的腫瘤或是細針抽吸所得的組織檢體進行石蠟包裹程序而來，切片後的組織會依照不同病兆的特性而染以不同的染劑。近年來，技術上已經可以將載波片上的整個組織切片掃描成為數位影像(whole slide image，WSI)。而在WSI影像生成程序中會產生染色色彩變異的瑕疵，色彩變異的來源包含染色試劑的批次不同或製造商不同、組織切片的厚度不同、染色條件不同、或是掃描儀模型不同所造成，這些瑕疵都可能弱化系統的判讀能力。
本揭露的實施例提出一種用於染色影像的神經網 路系統，包括第一生成器、第一鑑別器、第二生成器、第二鑑別器、以及色彩分類器。色彩分類器用以在第一訓練方向與第二訓練方向被執行之前根據屬於第一染色類別的第一染色影像以及屬於第二染色類別的第二染色影像所訓練，用以輸出一數值以表示屬於第一染色類別或第二染色類別。在第一訓練方向中：第一生成器的輸入為屬於第一染色類別的第三染色影像，第一生成器的輸出為屬於第二染色類別的第一生成影像；第二鑑別器的輸入為第一生成影像，第二鑑別器的輸出為多個第二類別數值，第二類別數值用以分別表示第一生成影像中多個區域是否是生成的；第二生成器的輸入為第一生成影像，第二生成器的輸出為屬於第一染色類別的第一還原影像，第一還原影像對應於第三染色影像；以及色彩分類器的輸入為第一生成影像。在第二訓練方向中：第二生成器的輸入為屬於第二染色類別的第四染色影像，第二生成器的輸出為屬於第一染色類別的第二生成影像；第一鑑別器的輸入為第二生成影像，第一鑑別器的輸出為多個第一類別數值，第一類別數值用以分別表示第二生成影像中多個區域是否是生成的；第一生成器的輸入為第二生成影像，第一生成器的輸出為屬於第二染色類別的第二還原影像，第二還原影像對應於第四染色影像；以及色彩分類器的輸入為第二生成影像。
在一些實施例中，第一生成器與第二生成器為U網路(U-Net)，此U網路包含四次降取樣與四次升取樣。
在一些實施例中，色彩分類器包含三個卷積層、兩 個全連接層、以及一個激活函數。
在一些實施例中，第一訓練方向包含第一訓練步驟與第二訓練步驟。第一訓練步驟的損失函數如以下數學式1所示。
Figure 110148087-A0305-02-0005-5
其中
Figure 110148087-A0305-02-0005-28
為第一生成影像，
Figure 110148087-A0305-02-0005-29
為第一生成影像的分布，D B 為第二鑑別器，A為第四染色影像，P real(A)為第四染色影像的分布，
Figure 110148087-A0305-02-0005-17
為分布
Figure 110148087-A0305-02-0005-30
與分布P real(A)的線性組合的分布，
Figure 110148087-A0305-02-0005-18
為分布
Figure 110148087-A0305-02-0005-19
中取樣出的影像。
在一些實施例中，第二訓練步驟的損失函數如以下數學式2~5所示。
Figure 110148087-A0305-02-0005-2
Figure 110148087-A0305-02-0005-3
Figure 110148087-A0305-02-0005-4
[數學式5]L obj =L adv +αL cyc +βL color
其中P data(A)為第三染色影像的分布，A為從分布P data(A)取樣出的染色影像，D B 為第二鑑別器，G A2B 為第一生成器，G B2A 為第二生成器，C color 為色彩分類器，α與β為實數。
在一些實施例中，實數α為10，實數β為1。
以另一個角度來說，本揭露的實施例提出一種影像染色轉換方法，由處理器所執行。此影像染色轉換方法適用於神經網路系統，此神經網路系統包括第一生成器、第一鑑別器、第二生成器、第二鑑別器以及色彩分類器。影像染色轉換方法包括：在第一訓練方向與第二訓練方向被執行之前根據屬於第一染色類別的多個第一染色影像以及屬於第二染色類別的多個第二染色影像訓練色彩分類器，色彩分類器用以輸出一數值以表示屬於第一染色類別或第二染色類別。在第一訓練方向中：將屬於第一染色類別的第三染色影像輸入至第一生成器，第一生成器的輸出為屬於第二染色類別的第一生成影像；將第一生成影像輸入至第二鑑別器，第二鑑別器的輸出為多個第二類別數值，第二類別數值用以分別表示第一生成影像中多個區域是否是生成的；將第一生成影像輸入至第二生成器，第二生成器的輸出為屬於第一染色類別的第一還原影像，第一還原影像對應於第三染色影像；以及將第一生成影像輸入至色彩分類器。在第二訓練方向中：將屬於第二染色類別的第四染色影像輸入至第二生成器，第二生成器的輸出為屬於第一染色類別的第二生成影像；將第二生成影像輸入至第一鑑別器，第一鑑別器的輸出為多個第一類別數值，第一類別數值用以分別表示第二生成影像中多個區域是否是生成的；將第二生成影像輸入至第一生成器，第一生成器的輸出為屬於第二染色類別的第二還原影像，第二還原影像對應於第四染色影像；將第二生成影像輸入至色彩分類器。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100:神經網路系統
101:第一生成器
102:第二生成器
111:第一鑑別器
112:第二鑑別器
120:色彩分類器
131,132:染色影像
141:第一生成影像
142:第二生成影像
151:第一還原影像
152:第二還原影像
160:第一訓練方向
170:第二訓練方向
210,220:特徵圖
241~243:串接
231~233:批次正規化
301,302:區域
311,312:類別數值
401~403:卷積層
404~405:全連接層
406:激活函數
501~511:步驟
520:第一訓練方向
530:第二訓練方向
圖1是根據一實施例繪示用於染色影像的神經網路系統架構圖。
圖2是根據實施例繪示U網路的示意圖。
圖3是根據一實施例繪是染色影像中多個區域的示意圖。
圖4是根據一實施例繪示色彩分類器的架構示意圖。
圖5是根據一實施例繪示影像染色轉換方法的流程圖。
關於本文中所使用之「第一」、「第二」等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。
在此實施例中，訓練資料可以從Camelyon16這個比賽所提供的資料庫中取得，這個資料庫由Radboud大學醫學中心與Universiteit Utrecht醫學中心所提供，影像大小為256x256，其中包括了多張腫瘤影像與非腫瘤影像。在實驗測試階段則採用了論文Shaban,M.Tarek,et al."Staingan：Stain style transfer for digital histological images." 2019 Ieee 16th international symposium on biomedical imaging (Isbi 2019).IEEE,2019.所提供的資料庫。然而，本揭露並不在此限，在其他實施例中也可以從其他資料庫中取得切片影像。此外，所取得的切片影像可以是關於淋巴、乳房、肝臟或任意的器官或組織，本揭露也不限制切片影像的內容。在此，從不同資料庫中取得的切片影像是設定為屬於不同的染色類別，以下將提出一種神經網路，可以將屬於一個染色類別的切片影像轉換至另一個染色類別。在此關注的重點在於染色，在以下段落中，從資料庫取得的切片影像稱為染色影像。
圖1是根據一實施例繪示用於染色影像的神經網路系統架構圖。請參照圖1，神經網路系統100包括了第一生成器101、第一鑑別器111、第二生成器102、第二鑑別器112與色彩分類器120。在此，神經網路系統100是採用循環式生成對抗網路(cycle Generative Adversarial Network，cycle GAN)的架構，因此包含了第一訓練方向160與第二訓練方向170，值得注意的是在第一訓練方向160中的第一生成器101、第二生成器102與色彩分類器120是分別相同於第二訓練方向170中的第一生成器101、第二生成器102與色彩分類器120。
首先，第一生成器101(在以下數學式中寫為G A2B )的輸入為屬於第一染色類別的染色影像131，第一生成器101的輸出則是屬於第二染色類別的生成影像141。第一生成器101採用的是U網路(U-Net)，例如圖2所示， 所繪示的方塊為特徵圖(feature map)，例如特徵圖210為輸入，而特徵圖220為輸出，特徵圖上的數字代表深度，例如特徵圖210、220的深度都是3。圖2中向下的箭頭是降取樣，而向上的箭頭是升取樣，因此這個U網路包含四次降取樣與四次升取樣。在此U網路中也包含了批次正規化(batch normalization)231~233與串接241~243(將兩個特徵圖串接在一起成為深度更大的特徵圖)。其餘向右的箭頭可以是卷積層、批次正規化、激活函數(activation function)或其組合，所採用的激活函數例如為整流線性單位(Rectified Linear Unit，ReLU)函數、sigmoid函數等等。然而，圖2的U網路僅是範例，在其他實施例中也可以採用其他架構的U網路，採用U網路的考量在於組織切片影像在進行染色轉換時，除了色彩以外，保留原有影像組織結構也是相當重要的要求，因為病理切片影像若是染色轉換後產生組織結構失真，則會影響後續的判讀，而U網路具有優異的細部紋理保留能力。此U網路的前半部進行了四次的降取樣來提取高階特徵，後半部則對應進行了四次升取樣來恢復影像解析度，為了減少降取樣過程帶來的結構損失，透過串接特徵作法，使得升取樣恢復的特徵圖中能同時保留低階特徵，進而維持影像基本架構。
第二生成器102(在以下數學式中寫為G B2A )的架構與第一生成器101的架構相同，在第一訓練方向160中第二生成器102的輸入是生成影像141，輸出是屬於第一染 色類別的還原影像151，還原影像151是對應至染色影像131，在訓練時還原影像151與染色影像131要越像越好。
第二鑑別器112(在以下數學式中標記為DB)的輸入為生成影像141，第二鑑別器112的輸出為多個類別數值，這些類別數值用以分別表示生成影像141中多個區域是否是生成的，第二鑑別器112也可稱為Markovian鑑別器。具體來說，請參照圖3，在圖3的例子中將生成影像141切割為9個區域，例如區域301、302。第二鑑別器112會輸出九個類別數值(例如類別數值311、312)以分別對應至這些區域，類別數值311用以表示區域301內的影像是否是生成的，類別數值312用以表示區域302內的影像是否是生成的，以此類推。習知的鑑別器只輸出單一數值，這只能反映整體的生成影像品質，無法反映所生成的影像中那些區域的表現較好。換句話說，習知做法的感受野(inception field)為整張影像，造成網路較難依據單一數值的變化來優化整個生成影像，這種方式對於追求高分辨率與追求細節表現的任務來說，相對不適合。在此實施例中，感受野縮小為對應的區域，因此網路可以針對每個區域進行優化。圖3僅是範例，本揭露並不限制區域的數目。第二鑑別器112可採用任意的網路架構，例如LeNet、AlexNet、VGG、GoogLeNet、ResNet或是VOLO等。所採用的損失函數(loss function)可以是均方誤差(Mean square error，MSE)、平均絕對值誤差 (Mean absolute error，MAE)、交叉熵(cross-entropy)、Huber損失函數、Log-Cosh損失函數等，本揭露並不在此限。
請參照回圖1，在第一訓練方向160中，色彩分類器120(在以下數學式中寫為C color )的輸入為生成影像141，輸出為一個數值，用以表示輸入的生成影像屬於第一染色類別或第二染色類別。在生成對抗網路中，生成器與鑑別器是彼此相互抗衡的，如何維持雙方的平衡非常重要，若是發生一方的能力遠高過另一方時，有可能造成能力較差的一方放棄進步的情形。生成器主要是依據鑑別器給出的反饋來優化自己的生成能力，因此鑑別器鑑別圖像真假的標準是相當重要的。在訓練階段中，若初期給予鑑別器的訓練數據不夠具有代表性時很容易造成後面的訓練崩潰，我們在實驗過程中發現，有時候在訓練初期會有出現色彩轉換方向不正確的問題，這很容易導致整體網路訓練朝向非期待的方向前進。在此實施例中是要執行染色轉換任務，色彩的轉換理當為第一要求，為了穩定色彩轉換的過程，額外設置了一個預先訓練完成的色彩分類器120，讓整體網路在訓練初期能透過這個已經具有色彩分類能力的分類器輔助生成器的優化，穩定整體網路的訓練過程。
在一些實施例中，色彩分類器120的架構如圖4所示，包括了三個卷積層401~403、兩個全連接層404、405以及激活函數406。舉例來說，卷積層401、402的核心大小為3x3，通道數都是32；卷積層403的核心大 小為3x3，通道數為64；全連接層404的輸出有64個神經元；全連接層405的輸出有一個神經元；而激活函數406為sigmoid函數。然而，本揭露並不限制色彩分類器120的架構，在其他實施例中也可以採用任意的網路架構，例如LeNet、AlexNet、VGG、GoogLeNet、ResNet或是VOLO等。所採用的損失函數(loss function)可以是均方誤差(Mean square error，MSE)、平均絕對值誤差(Mean absolute error，MAE)、交叉熵(cross-entropy)、Huber損失函數、Log-Cosh損失函數等。在此實施例中，色彩分類器120是一個簡單的二分類網路，能夠判斷輸入的影像屬於源域(第一染色類別)或是目標域(第二染色類別)，透過此色彩分類能力讓整體網路在訓練初期獲得較明確的優化方向，即使鑑別器訓練初期使用了較不具染色代表性的訓練樣本，由於色彩分類器120是預先訓練完成的，可以補助整體網路不致崩潰。
請參照圖1，在第二訓練方向170中，第二生成器102的輸入為屬於第二染色類別的染色影像132，第二生成器102的輸出為屬於第一染色類別的生成影像142。第一鑑別器111(在以下數學式中寫為D A )的輸入為生成影像142，第二鑑別器111的輸出為多個類別數值，這些類別數值用以分別表示生成影像142中多個區域是否是生成的，第一鑑別器111的網路架構可以和第二鑑別器112相同。第一生成器101的輸入為生成影像142，第一生成器101的輸出為屬於第二染色類別的還原影像152，還原影 像152對應於染色影像132，也就是說還原影像152與染色影像132越像越好。另外，色彩分類器120的輸入為生成影像142，色彩分類器120的輸出為一個數值，用以表示生成影像142屬於第一染色類別或是第二染色類別。
接下來說明如何訓練整個網路，這包括三個階段。第一個階段是從第一染色類別與第二染色類別各取得多張染色影像當作訓練樣本來訓練色彩分類器120，色彩分類器120的輸出為一數值，用以表示輸入的影像屬於第一染色類別或是第二染色類別。
第二個階段是第一訓練方向160，此訓練方向還包括兩個訓練步驟。第一個步驟是從第一染色類別與第二染色類別各取得多張染色影像，值得注意的是這些染色影像不同於第一階段所使用的染色影像。第一訓練步驟的損失函數如以下數學式1所示。
Figure 110148087-A0305-02-0013-6
其中
Figure 110148087-A0305-02-0013-16
代表期望值，P real(A)為染色影像132的分布，A為從分布P real(A)抽樣出來的染色影像132。
Figure 110148087-A0305-02-0013-31
為生成影像141的分布，
Figure 110148087-A0305-02-0013-33
為從分布
Figure 110148087-A0305-02-0013-34
抽樣的生成影像141。D B 是第二鑑別器112。換言之，染色影像132與生成影像141同樣屬於第二染色類別，真正的染色影像132與假的生成影像141可用來訓練第二鑑別器112。
Figure 110148087-A0305-02-0013-20
也是一個分布，是分布
Figure 110148087-A0305-02-0013-35
與分布P real(A)的線性組合，例如要形成3：2的線性組合可以從分布
Figure 110148087-A0305-02-0013-36
抽樣出三張影像，從分布P real(A)抽樣 出兩張影像，將這三張影像與兩張影像合併，這五張影像便可以模擬分佈
Figure 110148087-A0305-02-0014-21
。
Figure 110148087-A0305-02-0014-22
為從分布
Figure 110148087-A0305-02-0014-23
中取樣出的影像，
Figure 110148087-A0305-02-0014-24
為梯度運算子。在數學式1中是用機率分布來表示，實作上分布
Figure 110148087-A0305-02-0014-37
是由第一生成網路101所產生，因此第一訓練階段是要訓練(更新)第一生成網路101與第二鑑別器112的參數。
第二個訓練步驟的損失函數如以下數學式2~5所示。
Figure 110148087-A0305-02-0014-7
Figure 110148087-A0305-02-0014-8
Figure 110148087-A0305-02-0014-9
[數學式5]L obj =L adv +αL cyc +βL color
其中P data(A)是染色影像131的分布，G A2B 為第一生成器101，G B2A 為第二生成器102，C color 為色彩分類器120。α與β為實數，在一些實施例中實數α為10，實數β為1。在此訓練步驟中是由三個損失函數L adv 、L cyc 、L color 來組成整個網路的損失函數L obj 。其中，G A2B (A)便是生成影像141，將生成影像141輸入至第二鑑別器112可以得到對抗損失L adv ，可以反映生成影像與真實的染色影像之間的差異程度。G B2A (G A2B (A))是還原影像151，損失函數L cyc 是用來衡量生成 器101、102是否可以產生生成影像並還原回來。另外，將生成影像141輸入至色彩分類器120，計算分類結果與正確答案之間的交叉熵(cross-entropy)當作損失函數L color ，以此反映生成影像141的色彩逼近真實染色的程度。
第三個階段是進行第二訓練方向170，第二訓練方向170大致上相同於第一訓練方向160。簡單來說，在上述數學式1中P real(A)替換為染色影像131的分布，
Figure 110148087-A0305-02-0015-38
替換為生成影像142的分布，鑑別器D B 替換為鑑別器D A 。在上述數學式2~5中，P data(A)替換為染色影像132的分布，生成器G A2B 與生成器G B2A 互換，鑑別器D B 替換為鑑別器D A ，其餘的計算則相同，在此不再贅述。
經過上述的訓練，生成器101與生成器102可以將一個染色類別的影像轉換至另一個染色類別。在一個實驗中，我們用第一染色類別的影像來訓練神經網路以偵測癌症，但用第二染色類別的影像來做測試，舊有做法的效果並不好，但是透過生成器102可以將第二染色類別的影像轉換至第一染色類別，結果可以提升癌症的判讀準確率。此外，經過實驗發現，使用專責且預先訓練的色彩分類器120可以提升效能，也可以讓整個網路的訓練更穩定(不至於訓練失敗)。
圖5是根據一實施例繪示影像染色轉換方法的流程圖，此方法可以適用於圖1的神經網路系統。在步驟501，根據屬於第一染色類別的第一染色影像以及屬於第二染色類別的第二染色影像訓練色彩分類器，色彩分類器用以輸 出一數值以表示屬於第一染色類別或第二染色類別。第一訓練方向520包括步驟502~506。在步驟502，將屬於第一染色類別的第三染色影像輸入至第一生成器，第一生成器的輸出為屬於第二染色類別的第一生成影像。在步驟503，將第一生成影像輸入至第二鑑別器，第二鑑別器的輸出為多個第二類別數值，些第二類別數值用以分別表示第一生成影像中多個區域是否是生成的。在步驟504，將第一生成影像輸入至第二生成器，第二生成器的輸出為屬於第一染色類別的第一還原影像，第一還原影像對應於第三染色影像。在步驟505，將第一生成影像輸入至色彩分類器。在步驟506，根據數學式1~5更新參數。第二訓練方向530包括步驟507~511。在步驟507，將屬於第二染色類別的第四染色影像輸入至第二生成器，第二生成器的輸出為屬於第一染色類別的第二生成影像。在步驟508，將第二生成影像輸入至第一鑑別器，第一鑑別器的輸出為多個第一類別數值，這些第一類別數值用以分別表示第二生成影像中多個區域是否是生成的。在步驟509，將第二生成影像輸入至第一生成器，第一生成器的輸出為屬於第二染色類別的第二還原影像，第二還原影像對應於第四染色影像。在步驟510，將第二生成影像輸入至色彩分類器。在步驟511，根據數學式1~5更新參數。上述更新參數的程序可以採用梯度下降法(Gradient descent)、反向傳播(Backpropagation)等，本揭露並不在此限。然而，圖5中各步驟已詳細說明如上，在此便不再贅述。值得注 意的是，圖5中各步驟可以實作為多個程式碼或是電路，本發明並不在此限。此外，圖5的方法可以搭配以上實施例使用，也可以單獨使用。換言之，圖5的各步驟之間也可以加入其他的步驟。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:神經網路系統
101:第一生成器
102:第二生成器
111:第一鑑別器
112:第二鑑別器
120:色彩分類器
131,132:染色影像
141:第一生成影像
142:第二生成影像
151:第一還原影像
152:第二還原影像
160:第一訓練方向
170:第二訓練方向

Claims (7)

  1. 一種用於染色影像的神經網路系統，包括：第一生成器；第一鑑別器；第二生成器；第二鑑別器；以及色彩分類器，用以在第一訓練方向與第二訓練方向被執行之前根據屬於第一染色類別的多個第一染色影像以及屬於第二染色類別的多個第二染色影像所訓練，用以輸出一數值以表示屬於該第一染色類別或該第二染色類別，其中在該第一訓練方向中：該第一生成器的輸入為屬於該第一染色類別的第三染色影像，該第一生成器的輸出為屬於該第二染色類別的第一生成影像；該第二鑑別器的輸入為該第一生成影像，該第二鑑別器的輸出為多個第二類別數值，該些第二類別數值用以分別表示該第一生成影像中多個區域是否是生成的；該第二生成器的輸入為該第一生成影像，該第二生成器的輸出為屬於該第一染色類別的第一還原影像，該第一還原影像對應於該第三染色影像；以及該色彩分類器的輸入為該第一生成影像，其中在該第二訓練方向中：該第二生成器的輸入為屬於該第二染色類別的第四染色影像，該第二生成器的輸出為屬於該第一染色類別的第二 生成影像；該第一鑑別器的輸入為該第二生成影像，該第二鑑別器的輸出為多個第一類別數值，該些第一類別數值用以分別表示該第二生成影像中多個區域是否是生成的；該第一生成器的輸入為該第二生成影像，該第一生成器的輸出為屬於該第二染色類別的第二還原影像，該第二還原影像對應於該第四染色影像；以及該色彩分類器的輸入為該第二生成影像。
  2. 如請求項1所述之神經網路系統，其中該第一生成器與該第二生成器為U網路(U-Net)，該U網路包含四次降取樣與四次升取樣。
  3. 如請求項2所述之神經網路系統，其中該色彩分類器包含三個卷積層、兩個全連接層、以及一激活函數。
  4. 如請求項3所述之神經網路系統，其中該第一訓練方向包含第一訓練步驟與第二訓練步驟，該第一訓練步驟的損失函數如以下數學式1所示，
    Figure 110148087-A0305-02-0020-13
     其中
    Figure 110148087-A0305-02-0020-39
    為該第一生成影像，
    Figure 110148087-A0305-02-0020-40
    為該第一生成影像的分布，D B 為該第二鑑別器，A為該第四染色影像，P real(A)為該第 四染色影像的分布，
    Figure 110148087-A0305-02-0021-25
    為該分布
    Figure 110148087-A0305-02-0021-41
    與該分布P real(A)的線性組合的分布，
    Figure 110148087-A0305-02-0021-26
    為該分布
    Figure 110148087-A0305-02-0021-27
    中取樣出的影像。
  5. 如請求項4所述之神經網路系統，其中該第二訓練步驟的損失函數如以下數學式2~5所示，
    Figure 110148087-A0305-02-0021-10
    Figure 110148087-A0305-02-0021-11
    Figure 110148087-A0305-02-0021-12
     [數學式5]L obj =L adv +αL cyc +βL color 其中P data(A)為該第三染色影像的分布，A為從該分布P data(A)取樣出的染色影像，D B 為該第二鑑別器，G A2B 為該第一生成器，G B2A 為該第二生成器，C color 為該色彩分類器，α與β為實數。
  6. 如請求項5所述之神經網路系統，其中該實數α為10，該實數β為1。
  7. 一種影像染色轉換方法，由一處理器所執行，該影像染色轉換方法適用於一神經網路系統，該神經網路系統包括第一生成器、第一鑑別器、第二生成器、第二鑑 別器以及色彩分類器，該影像染色轉換方法包括：在第一訓練方向與第二訓練方向被執行之前根據屬於第一染色類別的多個第一染色影像以及屬於第二染色類別的多個第二染色影像訓練該色彩分類器，該色彩分類器用以輸出一數值以表示屬於該第一染色類別或該第二染色類別；在該第一訓練方向中：將屬於該第一染色類別的第三染色影像輸入至該第一生成器，該第一生成器的輸出為屬於該第二染色類別的第一生成影像；將該第一生成影像輸入至該第二鑑別器，該第二鑑別器的輸出為多個第二類別數值，該些第二類別數值用以分別表示該第一生成影像中多個區域是否是生成的；將該第一生成影像輸入至該第二生成器，該第二生成器的輸出為屬於該第一染色類別的第一還原影像，該第一還原影像對應於該第三染色影像；以及將該第一生成影像輸入至該色彩分類器；以及在該第二訓練方向中：將屬於該第二染色類別的第四染色影像輸入至該第二生成器，該第二生成器的輸出為屬於該第一染色類別的第二生成影像；將該第二生成影像輸入至該第一鑑別器，該第一鑑別器的輸出為多個第一類別數值，該些第一類別數值用以分別表示該第二生成影像中多個區域是否是生成的； 將該第二生成影像輸入至該第一生成器，該第一生成器的輸出為屬於該第二染色類別的第二還原影像，該第二還原影像對應於該第四染色影像；以及將該第二生成影像輸入至該色彩分類器。
TW110148087A 2021-12-22 2021-12-22 用於染色影像的神經網路系統與影像染色轉換方法 TWI781027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW110148087A TWI781027B (zh) 2021-12-22 2021-12-22 用於染色影像的神經網路系統與影像染色轉換方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110148087A TWI781027B (zh) 2021-12-22 2021-12-22 用於染色影像的神經網路系統與影像染色轉換方法

Publications (2)

Publication Number Publication Date
TWI781027B true TWI781027B (zh) 2022-10-11
TW202326751A TW202326751A (zh) 2023-07-01

Family

ID=85475757

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110148087A TWI781027B (zh) 2021-12-22 2021-12-22 用於染色影像的神經網路系統與影像染色轉換方法

Country Status (1)

Country Link
TW (1) TWI781027B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170053398A1 (en) * 2015-08-19 2017-02-23 Colorado Seminary, Owner and Operator of University of Denver Methods and Systems for Human Tissue Analysis using Shearlet Transforms
CN108765408A (zh) * 2018-05-31 2018-11-06 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN110909756A (zh) * 2018-09-18 2020-03-24 苏宁 用于医学图像识别的卷积神经网络模型训练方法和装置
TWI689944B (zh) * 2017-11-30 2020-04-01 美商南坦生物組學有限責任公司 利用深度學習檢測病理學切片影像中分子亞型的腫瘤內異質性
CN111462052A (zh) * 2020-03-16 2020-07-28 清华大学 基于图神经网络的医疗影像分析方法及系统
CN112233085A (zh) * 2020-10-14 2021-01-15 南通大学 一种基于像素预测增强的宫颈细胞图像分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170053398A1 (en) * 2015-08-19 2017-02-23 Colorado Seminary, Owner and Operator of University of Denver Methods and Systems for Human Tissue Analysis using Shearlet Transforms
TWI689944B (zh) * 2017-11-30 2020-04-01 美商南坦生物組學有限責任公司 利用深度學習檢測病理學切片影像中分子亞型的腫瘤內異質性
CN108765408A (zh) * 2018-05-31 2018-11-06 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN110909756A (zh) * 2018-09-18 2020-03-24 苏宁 用于医学图像识别的卷积神经网络模型训练方法和装置
CN111462052A (zh) * 2020-03-16 2020-07-28 清华大学 基于图神经网络的医疗影像分析方法及系统
CN112233085A (zh) * 2020-10-14 2021-01-15 南通大学 一种基于像素预测增强的宫颈细胞图像分割方法

Also Published As

Publication number Publication date
TW202326751A (zh) 2023-07-01

Similar Documents

Publication Publication Date Title
Wang et al. Dire for diffusion-generated image detection
Patravali et al. 2D-3D fully convolutional neural networks for cardiac MR segmentation
El Achi et al. Automated diagnosis of lymphoma with digital pathology images using deep learning
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
Wang et al. DSSAE: Deep stacked sparse autoencoder analytical model for COVID-19 diagnosis by fractional Fourier entropy
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN110826467B (zh) 一种电子显微镜图像重建系统及其方法
CN108629772A (zh) 图像处理方法及装置、计算机设备和计算机存储介质
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN111242233A (zh) 一种基于融合网络的阿尔兹海默病分类方法
CN114266898A (zh) 一种基于改进EfficientNet的肝癌识别方法
CN114581701A (zh) 一种t2加权影像特征生成动态增强影像特征的方法
CN111680755A (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN110443105A (zh) 自体免疫抗体的免疫荧光影像型态识别方法
Appan K et al. Retinal image synthesis for cad development
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
CN117094980A (zh) 基于深度学习的超声乳腺结节图像可解释性方法
CN117392082A (zh) 基于全尺度跳跃连接的肝脏ct图像分割方法及系统
CN114387264B (zh) 一种he染色病理图像数据扩充与增强的方法
Hou High-fidelity diabetic retina fundus image synthesis from freestyle lesion maps
TWI781027B (zh) 用於染色影像的神經網路系統與影像染色轉換方法
Kadirappa et al. DeepHistoNet: A robust deep‐learning model for the classification of hepatocellular, lung, and colon carcinoma
Amirrajab et al. Cardiac MR image segmentation and quality control in the presence of respiratory motion artifacts using simulated data
Jurgas et al. Robust multiresolution and multistain background segmentation in whole slide images
Thebille et al. Deep learning-based bias transfer for overcoming laboratory differences of microscopic images

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent