TW202341065A

TW202341065A - 用於在低信號雜訊比成像情況下減少雜訊之方法、系統及非暫時性電腦可讀媒體

Info

Publication number: TW202341065A
Application number: TW112120866A
Authority: TW
Inventors: 丹尼斯Ｙ夏羅寇; 東尼斯拉夫依瓦諾; 強納森李
Original assignee: 美商奈米創尼克影像公司
Priority date: 2020-08-07
Filing date: 2021-08-06
Publication date: 2023-10-16
Also published as: KR20230034384A; TW202211154A; EP4193330A1; US20220044362A1; WO2022031903A1; CN116097391A; US12008737B2; JP2023536623A

Abstract

本文中所揭示之實施例大體上係關於一種用於在低信號雜訊比成像情況下減少雜訊之系統。一運算系統獲得一樣本之一影像集。該影像集包含該樣本之至少兩個影像。該運算系統將該樣本之該影像集輸入至一經訓練去雜訊模型中。該經訓練去雜訊模型經組態以輸出該樣本之一單一去雜訊影像。該運算系統接收該樣本之一單一去雜訊影像作為自該經訓練去雜訊模型之輸出。

Description

用於在低信號雜訊比成像情況下減少雜訊之方法、系統及非暫時性電腦可讀媒體

雜訊係成像系統之一有害但固有之組分且在使通常產生低信號之螢光樣本成像時尤其係一問題。通常需要高曝光時間，但樣本通常對光敏感且在照明下會降解。當成像之後必須保存樣本時，尤其成問題，此時曝光時間被最小化。因此，低曝光時間導致影像中之大量雜訊，即非常低之信號雜訊比(SNR)。一般而言，目標係在限制曝光同時最佳化影像品質。

在一些實施例中，本文中揭示一種系統。該系統包含一成像設備及一運算系統。該成像設備經組態以擷取一背景上之一樣本之影像。該運算系統與該成像設備通信。該運算系統包含一或多個處理器及一記憶體。該記憶體具有儲存於其上之程式化指令，其等在由該一或多個處理器執行時引起該運算系統執行操作。該等操作包含由該運算系統自該成像設備獲得該樣本之一影像集。該影像集包含該樣本在該背景下之至少兩個影像。該等操作進一步包含由該運算系統藉由將該樣本之該影像集輸入至一去雜訊模型中來使該影像集去雜訊。該去雜訊模型經組態以輸出該樣本之一單一去雜訊影像。該等操作進一步包含產生該樣本之該單一去雜訊影像作為自該去雜訊模型之輸出。

在一些實施例中，本文中揭示一種方法。一運算系統自成像設備獲得樣本之一影像集。該影像集包含該樣本抵靠背景之至少兩個影像。該運算系統藉由將該樣本之該影像集輸入至一去雜訊模型中來使該影像集去雜訊。該去雜訊模型經組態以輸出該樣本之該單一去雜訊影像。該運算系統產生該樣本之該單一去雜訊影像作為自該去雜訊模型之輸出。

在一些實施例中，本文中揭示一種非暫時性電腦可讀媒體。該非暫時性電腦可讀媒體包含一或多個序列之指令，其等在由一或多個處理器執行時引起一運算系統執行操作。該等操作包含由該運算系統自成像設備獲得樣本之一影像集。該影像集包含該樣本抵靠背景之至少兩個影像。該等操作進一步包含由該運算系統藉由將該樣本之該影像集輸入至一去雜訊模型中來使該影像集去雜訊。該去雜訊模型經組態以輸出該樣本之一單一去雜訊影像。該等操作進一步包含產生該樣本之該單一去雜訊影像作為自該去雜訊模型之輸出。

相關申請案之交叉参考本申請案主張2020年8月7日申請之美國臨時申請案第63/062,589號之優先權，該案之全文以引用方式全部併入本文中。

低信號雜訊比(SNR)條件會降低顯微成像品質，其使下游分析複雜化。藉由減少雜訊來提高SNR之一習知方法係平均大量依序獲取之影像。然而，獲取時間之增加減少輸出量且對於光敏樣本而言係有問題的。

本文中所描述之一或多個技術藉由使用基於U-Net架構之一深度學習模型來改良習知程序，該模型顯著減少獲得異常高SNR所需之影像數量。例如，去雜訊模型可採用至少兩個(例如五個)雜訊灰階影像作為一輸入且可產生一單一去雜訊影像作為輸出。在一些實施例中，去雜訊模型可在具有添加雜訊之合成產生之實例上訓練且在真實資料上微調。本方法在最小化長時間曝光造成之降解同時增強樣本特徵。

移除雜訊之習知方法涉及平均。在相同成像情況下，在相同位置收集大量影像，且接著平均以自信號移除雜訊。儘管該方法在提高SNR中很有效，但歸因於需要收集大量影像以充分去雜訊，所以該方法耗時且引起光敏樣本之強度大幅下降，稱為光漂白。

相比而言，本文中所描述之一或多個技術使用基於U-Net架構之一深度學習模型以自依低曝光度收集之少量輸入影像產生一去雜訊影像。在一些實施例中，去雜訊模型可首先在合成資料上訓練，且接著在真實資料上微調。藉由首先使用合成資料，該訓練程序避免收集及漂白大量真實樣本之必要性。透過此程序，本系統表明，僅使用少量雜訊影像來使具有低信號雜訊比之影像高度去雜訊。使用傳統方法來達成相同品質之去雜訊需要極其多實例。

去雜訊之傳統方法(諸如均值及中值投影)涉及在相同位置處獲取諸多雜訊影像且將其組合以消除隨機雜訊。此等技術非常受歡迎，因為其運算起來相對簡單。然而，其等受限，因為其僅能消除具有對稱分佈之雜訊，諸如高斯雜訊。已提出使用影像先驗作為正則化之各種其他方法。儘管此等方法比傳統方法達成更合理之輸出品質，但歸因於其運算量大，模型之即時性較慢。例如，習知模型通常分別需要每影像約22 MS及500 ms。相比而言，本模型能夠在每影像約1 ms內達成充分去雜訊效能。

在過去幾年中，卷積神經網路(CNN)之進步導致影像去雜訊中之很大改良。CNN係具有諸多層之神經網路，其等對輸入影像及隨後所得之特徵圖執行具有各種可訓練濾波器之一系列卷積。一此系統建議藉由併入剩餘學習及批量正規化之一去雜訊CNN (DnCNN)，其優於傳統基於非CNN之方法。最近，具有可靠去雜訊效能之其他CNN方法(諸如RED30、MemNet、BM3D-Net、MWCNN及FFDNet)亦被開發。然而，此等方法假定高斯雜訊具有一恆定標準偏差，且其等在高於模型訓練之雜訊位準上表現不佳。相比而言，即使存在更高位準之雜訊，當前去雜訊模型亦表現良好。

此外，已經提出不進行恆定西格瑪假設之盲CNN去雜訊器，例如FFDNet及CBDNet。此等方法在真實雜訊影像上取得令人滿意之結果，但需要使用更高雜訊位準來訓練。相比而言，當前去雜訊模型可使用適量雜訊來訓練，且在低雜訊及高雜訊位準上表現良好。

此外，大多數CNN去雜訊方法應用於照片編輯領域，且僅將一單一影像作為輸入。本系統不限於具有一單一影像，因為自動螢光成像平台(nSpec)可獲取任意數量之影像以進一步後處理。本系統使用在低曝光下拍攝之至少兩個(例如五個)影像，以歸因於使用多個影像而允許更穩健且藉由使用低曝光時間來避免光漂白。

在一些實施例中，本去雜訊模型可與螢光成像技術一起使用。在一些實施例中，本去雜訊模型可用於明場成像。在一些實施例中，本去雜訊模型可用於暗場成像。在一些實施例中，本去雜訊模型可用於具有反射光(落射)顯微術之顯微術中。在一些實施例中，本去雜訊模型可與透射光(透光)照明一起使用。

圖1係繪示根據實例性實施例之一例示性運算環境100的一方塊圖。如圖中所展示，運算環境100可包含一成像設備102及一運算系統104。成像設備102可經組態以擷取一樣本106抵靠一背景108之一或多個影像。

如上文所提供，低信號雜訊比情況會降低顯微成像品質，其使下游分析複雜化。為考量此，成像設備102可經組態以擷取樣本106抵靠背景108之一或多個影像且將一或多個影像提供至運算系統104用於去雜訊。儘管運算系統104可被展示為與成像設備102分離之一組件，但熟習技術者明白，運算系統104或其功能可併入至成像設備102中而非作為一單獨組件。

如圖中所展示，運算系統104可包含一去雜訊模型110。去雜訊模型可經組態以接收樣本106之一或多個影像且產生一去雜訊影像用於下游分析。在一些實施例中，去雜訊模型110可表示基於U-Net模型之一卷積神經網路(CNN)。

圖2繪示根據實例性實施例之去雜訊模型110之一實例性架構200。在一些實施例中，至去雜訊模型110之輸入201可為在相同位置處取得之雜訊影像(例如五個影像)之一堆疊。去雜訊模型110可分成兩半：左側之一卷積/降取樣半部202接著右側之一去卷積/升取樣半部204。在一些實施例中，降取樣半部202可包含數對卷積層206接著一最大池化層208 (除最後層之外)。在一些實施例中，最後兩對卷積層206包含用於數值穩定之一批量正規化層210。各種層中之特徵圖之數目可開始於4個且使最後一對層加倍至64個。

在一些實施例中，升取樣半部204可包含4個區塊，其等包含一升取樣層212接著三重卷積層214。特徵圖之數目可自左半部之末端之64個反向減少至4個。在升取樣半部204之末端處，可增加兩個特徵圖之另一卷積層216以提高影像中之特徵之銳度。最終，去雜訊模型110可輸出如輸入影像般大小之一去雜訊單通道影像218。

在一些實施例中，一合成資料集及一經驗資料集可用於訓練及測試。例如，用於訓練之影像可為16位元，但僅跨越65536之完整16位元範圍中之1350之一動態範圍。在一些實施例中，複數個影像可產生有一平坦背景且含有一或多個(例如三個)幾何物件，諸如多邊形、圓形、橢圓形及其類似者。幾何物件之信號強度可變動，即—高於背景強度(白色)，接近背景強度(灰色)及低於背景強度(黑色)。

以下表1中給出例示性強度之一總結：

特徵	強度
黑色	400至500
灰色	1100至1200
背景	1190至1210
白色	1650至1750

表1

在一些實施例中，為產生幾何物件，三角形可被放置於一背景影像內，且形狀不規則性可被引入以重現經驗資料集。此可藉由使用另一三角形隨機切出三角形之部分來執行。為複製經驗資料，各黑色三角形可包含沿頂部之一強度梯度，範圍自背景值到三角形值，其可跨越三角形之高度的五分之二。例如，放置一黑色三角形之可能性可為0.5，一灰色三角形係0.35且一白色三角形係0.15。

經驗資料集可使用一自動螢光檢測工具來收集。在一些實施例中，成像可藉由成像設備102來執行。例如，成像設備102可在具有39um厚之EPI層之一4H-SiC樣本上使用一10x物鏡(例如奧林巴斯MplanFL N, NA=0.3)。在一些實施例中，為激發光致發光回應，一紫外LED可用作具有約369 nm之峰值波長之光源。在一些實施例中，一綠色帶通濾波器可用於發射。在一些實施例中，樣本平面處之功率可約為500 mW。在一些實施例中，可收集兩個經驗資料集，即一個在100 ms曝光時具有一較低雜訊位準且一個在50 ms曝光時具有一較高雜訊位準。在一些實施例中，可收集來自樣本上之12個不同位置之資料。在一些實施例中，可在每次曝光(每雜訊位準)之各位置處收集10個雜訊影像及一背景影像(其中關閉光源)。在一些實施例中，可在各位置處在1000 ms曝光時收集一實況(ground truth)影像。另外，可自樣本之一均勻部分收集用於平場校正(flat field correction)之影像。平場校正可如下應用於各影像： I _corrected = 其中DF係背景影像且FF係平場校正影像。經驗資料可含有高亮、灰階及暗色三角形特徵。三角形特徵可稍微不規則，有時切成片且有些具有一強度梯度。白色斑點及劃痕存在於經驗資料中，但此等非受關注且不包含於合成資料中。

在一些實施例中，去雜訊模型110可首先在一合成資料集上訓練。合成資料集可包含(但不限於)近似已知影像之資料、黃金模板、已知特徵之相關扭曲影像及其類似者。例如，留出100個影像用於測試；剩餘影像可被分成一組800個用於訓練且200個用於驗證。在一些實施例中，可藉由添加高斯雜訊來針對各合成影像產生多個(例如五個)雜訊影像。例如，針對測試資料，可添加低(σ=200或13%)、中(σ=600或40%)及高(σ=1000或66%)高斯雜訊。一般而言，可根據影像應用程序指定來添加雜訊。

在合成資料上訓練去雜訊模型110之後，可在經驗資料集上微調去雜訊模型110。例如，12個影像位置中之8個可用於訓練，且另外4個用於測試。此等4個位置中之3個位置可能靠近且部分重疊。可對中等位準之雜訊影像(50 ms曝光)執行微調，且對具有低(100 ms)、中(50 ms)及高(25 ms)雜訊位準之影像進行測試。

本方法與均值投影之傳統去雜訊方法之間的一比較在此呈現。均值投影將N個影像相加且平均各像素之強度以獲得一輸出影像： I _proj =( )

為比較，平均合成資料集之各組5個雜訊影像及經驗資料集之各組10個雜訊影像。為在高雜訊位準下進行詳細比較，產生100個雜訊影像之10個合成集合及1000個雜訊影像之10個合成集合。

藉由計算均方誤差(MSE)及峰值信號雜訊比(PSNR)來量化模型效能。N個影像之MSE運算如下： MSE=( ) 其中 I係去雜訊影像且e係對應實況影像。由於資料係16位元且不跨越整個範圍，所以表達MSE可被表達為動態範圍之一百分比： %MSE=100* 其中R係資料之動態範圍。PSNR經如下運算： SNR=10

在一些實施例中，去雜訊模型110可僅在合成資料上首先被訓練及測試。在一些實施例中，去雜訊模型110可僅在一中等雜訊位準上訓練，在所有雜訊位準下表現良好，其中一PSNR超過30。其實質上優於均值投影方法，其最佳達成25之一PSNR。此外，如圖4中所繪示，與去雜訊模型(σ=1.08%−1.62%)相比，均值投影方法之誤差之標準偏差要寬得多(σ=3.50%−16.93%)。如圖4中所繪示，去雜訊模型效能以綠色展示，且均值投影效能以紅色展示。均值投影具有更廣泛之一更高誤差及更廣泛之誤差傳播。

依此方式，去雜訊模型110比習知方法產生更多可重複結果。

此外，針對傳統均值投影方法，隨著用於去雜訊之影像數量呈指數增長，均值投影方法之誤差自24%MSE降至2%MSE。均值投影方法通常需要大量影像(例如1000個影像)來達成去雜訊模型110僅用五個影像就能夠達成之去雜訊位準相同之去雜訊位準。例如，下文展示之表2提供平均誤差及標準偏差作為影像動態範圍之一百分比。如所提供，習知均值投影方法需要大約1000個影像來達成與僅2個至5個影像所能達成之相同位準之去雜訊。

方法	#影像之	%MSE
卷積均值投影模型	5
100
1000
深度去雜訊模型	5

表2

在一些實施例中，可在經驗資料上微調及測試去雜訊模型110。

圖3係繪示根據實例性實施例之訓練去雜訊模型110之一方法300的一流程圖。方法300可開始於步驟302。

在步驟302中，可產生一合成資料集。在一些實施例中，合成資料集可由運算系統104產生。合成資料集可包含(但不限於)近似已知影像之資料、黃金模板、已知特徵之相關扭曲影像及其類似者。例如，留出100個影像用於測試；剩餘影像可被分成一組800個用於訓練且200個用於驗證。在一些實施例中，可藉由添加高斯雜訊來針對各合成影像產生多個(例如五個)雜訊影像。例如，針對測試資料，可添加低(σ=200或13%)、中(σ=600或40%)及高(σ=1000或66%)高斯雜訊。一般而言，可根據影像應用程序指定來添加雜訊。

在步驟304中，運算系統104可在合成資料集上訓練去雜訊模型110。例如，去雜訊模型110可基於合成資料集來學習如何使一影像或多個影像去雜訊。

在步驟306中，運算系統104可產生用於微調去雜訊模型110之一經驗資料集。例如，運算系統104可產生將被放置於成像設備102之一背景影像內以擷取經驗資料集之幾何物件(例如多邊形、圓形、橢圓形及其類似者)。在一些實施例中，運算系統104可引入形狀不規則性以再現經驗資料集。例如，運算系統104可使用另一三角形來隨機切出三角形之部分。為複製經驗資料，各黑色三角形可包含沿頂部之一強度梯度，範圍自背景值到三角形值，其可跨越三角形之高度的五分之二。例如，放置一黑色三角形之可能性可為0.5，一灰色三角形係0.35且一白色三角形係0.15。在一些實施例中，經驗資料集可使用一自動螢光檢測工具來收集。在一些實施例中，成像可藉由成像設備102來執行。

在步驟308中，運算系統104可使用經驗資料集來微調去雜訊模型110。例如，運算系統104可使用針對經驗資料集產生之實際影像來執行去雜訊模型110之另一輪訓練。

圖4係繪示根據實例性實施例之用於使一樣本之影像去雜訊之一方法400的一流程圖。方法400可開始於步驟402。

在步驟402中，運算系統104可獲得一樣本之一影像集。例如，運算系統104可自成像設備102接收樣本106抵靠背景108之一影像集。一般而言，影像集可包含樣本106抵靠背景108之至少兩個影像。

在步驟404中，運算系統104可將樣本106之影像集輸入至經訓練去雜訊模型110中。去雜訊模型110可經組態以分析影像集以產生一單一去雜訊影像。例如，去雜訊模型110可處理影像集以自其移除雜訊。

在步驟406中，運算系統104可輸出樣本之一單一去雜訊影像。例如，如上文所提供，去雜訊模型110可基於提供為至其之輸入之影像集來輸出一單一去雜訊影像。單一去雜訊影像可由運算系統104或其他運算系統用於含於單一去雜訊影像中之樣本106之下游分析。

圖5A繪示根據實例性實施例之系統匯流排運算系統500之一架構。系統500之一或多個組件可使用一匯流排505彼此電通信。系統500可包含一處理器(例如一或多個CPU、GPU或其他類型之處理器) 510及將包含系統記憶體515 (諸如唯讀記憶體(ROM) 520及隨機存取記憶體(RAM) 525)之各種系統組件耦合至處理器510之一系統匯流排505。系統500可包含與處理器510直接連接，緊鄰處理器510或整合為處理器510之部分之高速記憶體之一快取區。系統500可將來自記憶體515及/或儲存裝置530之資料複製至快取區512用於由處理器510快速存取。依此方式，快取區512可提供避免處理器510等待資料同時延遲之一效能提升。此等及其他模組可控制或經組態以控制處理器510以執行各種動作。亦可使用其他系統記憶體515。記憶體515可包含具有不同效能特性之多個不同類型之記憶體。處理器510可表示一單一處理器或多個處理器。處理器510可包含一通用處理器或經組態以控制處理器510之一硬體模組或軟體模組(諸如儲存於儲存裝置530中之服務1 532、服務2 534及服務5 536)以及其中軟體指令併入至實際處理器設計中之一專用處理器之一或多者。處理器510本質上可為一完全獨立運算系統，含有多個核心或處理器、一匯流排、記憶體、控制器、快取區等等。一多核心處理器可為對稱或不對稱的。

為使使用者與系統500相互作用，一輸入裝置545可為任何數目之輸入機構，諸如用於語音之一麥克風、用於姿勢或圖形輸入之一觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等等。一輸出裝置535 (例如一顯示器)亦可為熟習技術者已知之數個輸出機構之一或多者。在一些例項中，多模式系統可使一使用者能夠提供多個類型之輸入以與系統500通信。通信介面540通常可操縱及管理使用者輸入及系統輸出。對任何特定硬體配置之操作不存在限制，且因此此處之基本特徵可容易替換為改良硬體或韌體配置，因為其等正被開發。

儲存裝置530可為一非揮發性記憶體且可為一硬碟或可儲存可由一電腦存取之資料之其他類型之電腦可讀媒體，諸如磁帶、快閃記憶體卡、固態記憶體裝置、數位多功能光碟、盒式磁帶、隨機存取記憶體(RAM) 525、唯讀記憶體(ROM) 520及其等之混合。

儲存裝置530可包含用於控制處理器510之服務532、534及536。可考慮其他硬體或軟體模組。儲存裝置530可連接至系統匯流排505。在一態樣中，執行一特定功能之一硬體模組可包含儲存於一電腦可讀媒體中之軟體組件，其與用於實施功能之必要硬體組件(諸如處理器510、匯流排505、輸出裝置535 (例如一顯示器)等等)連接。

圖5B繪示根據實例性實施例之具有一晶片組架構之一電腦系統550。電腦系統550可為可用於實施所揭示技術之電腦硬體、軟體及韌體之一實例。系統550可包含一或多個處理器555，表示能夠執行經組態以執行經識別運算之軟體、韌體及硬體之任何數目之實體及/或邏輯相異資源。一或多個處理器555可與可控制輸入至及輸出自一或多個處理器555之一晶片組560通信。在此實例中，晶片組560將資訊輸出至輸出565 (諸如一顯示器)且可將資訊讀取及寫入至儲存裝置570，其可包含(例如)磁性媒體及固態媒體。晶片組560亦自RAM 575讀取資料且將資料寫入至RAM 575。用於與各種使用者介面組件585介接之一橋580可經提供用於與晶片組560介接。此等使用者介面組件585可包含一鍵盤、一麥克風、觸控偵測及處理電路系統、一指向裝置(諸如一滑鼠)等等。一般而言，至系統550之輸入可來自機器產生及/或人工產生之各種源之任何者。

晶片組560亦可與可具有不同實體介面之一或多個通信介面590介接。此等通信介面可包含用於有線及無線區域網路、用於寬頻無線網路以及個人區域網路之介面。本文中所揭示之用於產生、顯示及使用GUI之方法之一些應用可包含通過實體介面接收有序資料集或由一或多個處理器555分析儲存於儲存裝置570或575中之資料而由機器本身產生。此外，機器可透過使用者介面組件585接收來自一使用者之輸入且執行適當功能，諸如藉由使用一或多個處理器555解譯此等輸入之瀏覽功能。

應瞭解，實例性系統500及550可具有超過一個處理器510、555或可為網路連接在一起以提供更大處理能力之運算裝置之一群組或叢集之部分。

如上文所討論，本文中所提供之一或多個技術使用基於U-Net架構之一深度學習模型，其需要至少兩個(例如五個)雜訊影像來產生一去雜訊影像。相比而言，針對具有大量雜訊之合成資料而言，傳統平均投影方法需要1000個影像，而使用當前去雜訊模型至少需要2個(例如5個)。去雜訊模型亦能夠使用至少兩個(例如5個影像)來達成對經驗資料之一改良去雜訊位準，因此減少對經驗螢光樣本品質有害之光漂白效應。

儘管上文係針對本文中所描述之實施例，但可在不背離其等基本範疇的情況下設計其他及進一步實施例。例如，本發明之態樣可在硬體或軟體或硬體及軟體之一組合中實施。本文中所描述之一實施例可實施為用於與一電腦系統一起使用之一程式產品。程式產品之(若干)程式界定實施例(包含本文中所描述之方法)之功能且可含於各種電腦可讀儲存媒體上。繪示性電腦可讀儲存媒體包含(但不限於)：(i)資訊永久儲存於其上之不可寫入儲存媒體(例如一電腦內之唯讀記憶體(ROM)裝置，諸如可由一CD-ROM驅動器讀取之CD-ROM光碟、快閃記憶體、ROM晶片或任何類型之固態非揮發性記憶體)；及可變資訊儲存於其上之可寫入儲存媒體(例如一軟碟驅動器內之軟碟或硬碟驅動器或任何類型之固態隨機存取記憶體)。此等電腦可讀儲存媒體在攜載導引所揭示實施例之功能之電腦可讀指令時係本發明之實施例。

熟習技術者應瞭解，先前實例係例示性而非限制性。期望熟習技術者在閱讀說明書及研究圖式之後即明白所有排列、增強、等效物及改良包含於本發明之真實精神及範疇內。因此，期望以下隨附申請專利範圍包含如落入此等教示之真實精神及範疇內之所有此等修改、排列及等效物。

100:運算環境 102:成像設備 104:運算系統 106:樣本 108:背景 110:去雜訊模型 200:實例性架構 201:輸入 202:卷積/降取樣半部 204:去卷積/升取樣半部 206:卷積層 208:最大池化層 210:批量正規化層 212:升取樣層 214:三重卷積層 216:卷積層 218:去雜訊單通道影像 300:方法 302:步驟 304:步驟 306:步驟 308:步驟 400:方法 402:步驟 404:步驟 406:步驟 500:系統匯流排運算系統 505:系統匯流排 510:處理器 512:快取區 515:系統記憶體 520:唯讀記憶體(ROM) 525:隨機存取記憶體(RAM) 530:儲存裝置 532:服務 534:服務 535:輸出裝置 536:服務 540:通信介面 545:輸入裝置 550:電腦系統 555:處理器 560:晶片組 565:輸出 570:儲存裝置 575:RAM 580:橋 585:使用者介面組件 590:通信介面

因此可藉由參考實施例獲得更詳細瞭解本發明之上述特徵的方式、上文簡要概括之本發明之一更特定描述，實施例之若干者係在附圖中加以說明。然而，應注意，該等圖式僅繪示本發明之典型實施例且因此不應被視為限制其範疇，此係因為本發明可容許其他等效實施例。

圖1係繪示根據實例性實施例之一例示性運算環境的一方塊圖。

圖2繪示根據實例性實施例之去雜訊模型之實例性架構。

圖3係繪示根據實例性實施例之訓練一去雜訊模型之一方法的一流程圖。

圖4係繪示根據實例性實施例之使用一經訓練去雜訊方法來使影像去雜訊之一方法的一流程圖。

圖5A繪示根據實例性實施例之一系統匯流排運算系統架構。

圖5B繪示根據實例性實施例之具有一晶片組架構之一電腦系統。

為促進理解，在可行的情況下使用相同元件符號來指示圖式共有之相同元件。可考慮一實施例中揭示之元件可在無具體敘述的情況下有益地用於其他實施例。

100:運算環境

102:成像設備

104:運算系統

106:樣本

108:背景

110:去雜訊模型

Claims

一種用以對一樣本的雜訊影像去雜訊的系統，其包括：一成像設備，其經組態以擷取一背景上之一樣本之影像；及一運算系統，其與該成像設備通信，該運算系統包括一或多個處理器及一記憶體，該記憶體具有編碼於其上之程式指令，其在由該一或多個處理器執行時引起該運算系統執行包括以下之操作：由該運算系統自該成像設備獲得該樣本之一雜訊影像集，其中該雜訊影像集包含該樣本在該背景下之至少兩個雜訊影像；由該運算系統藉由將該樣本之該雜訊影像集輸入至一去雜訊模型中來使該雜訊影像集去雜訊，該去雜訊模型經組態以輸出該樣本之一單一去雜訊影像；及產生該樣本之該單一去雜訊影像作為自該去雜訊模型之輸出。
如請求項1之系統，其中該等操作進一步包括：由該運算系統產生用於訓練該去雜訊模型之一合成資料集，該合成資料集包括複數個合成影像，且針對各合成影像，自該各自合成影像導出複數個雜訊影像；及由該運算系統訓練該去雜訊模型以基於該合成資料集來使一目標雜訊影像集去雜訊。
如請求項2之系統，其中該等操作進一步包括：由該運算系統產生用於在該訓練之後微調該去雜訊模型之一經驗資料集；及由該運算系統基於該經驗資料集來微調該去雜訊模型。
如請求項3之系統，其中由該運算系統產生用於在該訓練之後微調該去雜訊模型之該經驗資料集包括：產生將被放置於用於由該成像設備擷取之一背景影像內之複數個幾何物件；及基於放置於該背景影像內之該複數個幾何物件來自該成像設備接收複數個微調影像，該複數個微調影像界定該經驗資料集。
如請求項4之系統，其中該等操作進一步包括：將形狀不規則性引入至放置於該背景影像內之該複數個幾何物件。
如請求項1之系統，其中該去雜訊模型係包括一降取樣部分接著一升取樣部分之一卷積神經網路。
如請求項1之系統，其中該運算系統係該成像設備之一組件。
一種用以對一樣本的雜訊影像去雜訊的方法，其包括：由一運算系統自一成像設備獲得一樣本之一雜訊影像集，其中該雜訊影像集包含該樣本抵靠一背景之至少兩個影像；由該運算系統藉由將該樣本之該雜訊影像集輸入至一去雜訊模型中來使該雜訊影像集去雜訊，該去雜訊模型經組態以輸出該樣本之一單一去雜訊影像；及產生該樣本之該單一去雜訊影像作為自該去雜訊模型之輸出。
如請求項8之方法，其進一步包括：由該運算系統產生用於訓練該去雜訊模型之一合成資料集，該合成資料集包括複數個合成影像，且針對各合成影像，自該各自合成影像導出複數個雜訊影像；及由該運算系統訓練該去雜訊模型以基於該合成資料集來使一目標雜訊影像集去雜訊。
如請求項9之方法，其進一步包括：由該運算系統產生用於在該訓練之後微調該去雜訊模型之一經驗資料集；及由該運算系統基於該經驗資料集來微調該去雜訊模型。
如請求項10之方法，其中由該運算系統產生用於在該訓練之後微調該去雜訊模型之該經驗資料集包括：產生將被放置於用於由該成像設備擷取之一背景影像內之複數個幾何物件；及基於放置於該背景影像內之該複數個幾何物件來自該成像設備接收複數個微調影像，該複數個微調影像界定該經驗資料集。
如請求項11之方法，其進一步包括：將形狀不規則性引入至放置於該背景影像內之該複數個幾何物件。
如請求項8之方法，其中該去雜訊模型係包括一降取樣部分接著一升取樣部分之一卷積神經網路。
如請求項8之方法，其中該運算系統係該成像設備之一組件。
一種非暫時性電腦可讀媒體，其包括一或多個序列之指令，該等指令在由一或多個處理器執行時引起一運算系統執行包括以下之對一樣本的雜訊影像去雜訊的操作：由該運算系統自一成像設備獲得一樣本之一雜訊影像集，其中該雜訊影像集包含該樣本抵靠一背景之至少兩個影像；由該運算系統藉由將該樣本之該雜訊影像集輸入至一去雜訊模型中來使該雜訊影像集去雜訊，該去雜訊模型經組態以輸出該樣本之一單一去雜訊影像；及產生該樣本之該單一去雜訊影像作為自該去雜訊模型之輸出。
如請求項15之非暫時性電腦可讀媒體，其進一步包括：由該運算系統產生用於訓練該去雜訊模型之一合成資料集，該合成資料集包括複數個合成影像，且針對各合成影像，自該各自合成影像導出複數個雜訊影像；及由該運算系統訓練該去雜訊模型以基於該合成資料集來使一目標雜訊影像集去雜訊。
如請求項16之非暫時性電腦可讀媒體，其進一步包括：由該運算系統產生用於在該訓練之後微調該去雜訊模型之一經驗資料集；及由該運算系統基於該經驗資料集來微調該去雜訊模型。
如請求項17之非暫時性電腦可讀媒體，其中由該運算系統產生用於在該訓練之後微調該去雜訊模型之該經驗資料集包括：產生將被放置於用於由該成像設備擷取之一背景影像內之複數個幾何物件；及基於放置於該背景影像內之該複數個幾何物件來自該成像設備接收複數個微調影像，該複數個微調影像界定該經驗資料集。
如請求項18之非暫時性電腦可讀媒體，其進一步包括：將形狀不規則性引入至放置於該背景影像內之該複數個幾何物件。
如請求項15之非暫時性電腦可讀媒體，其中該去雜訊模型係包括一降取樣部分接著一升取樣部分之一卷積神經網路。