TW202326752A - 光學影像處理方法及其應用 - Google Patents

Abstract

此處提供一種從皮膚的光學影像中分割特徵的方法，該方法包含以下步驟：接收包含目標物的至少一個特徵的皮膚光學影像；從背景訊號中增強該目標物之該特徵訊號的對比度；在增強的光學影像中分割出目標物，以及從皮膚的光學影像中量化該特徵。

Description

光學影像處理方法及其應用

本發明是關於一種從皮膚的光學影像中分割特徵的方法，本發明亦關於一種用於診斷皮膚狀況之電腦輔助系統及一種辨識色素失調的方法。

傳統上，只有組織病理學切片被用來顯示皮膚中的細胞變化。然而，這種被奉為圭臬的標準方法是侵入性的，並不被美容患者所青睞。近幾十年來，越來越多的非侵入性成像工具，如光學同調斷層掃描(OCT)、反射共聚焦顯微鏡(RCM)和多光子顯微鏡，已經成為可用於檢測皮膚細胞變化的新發現，並可能影響醫師的治療決策。

如上所述，非侵入性技術已經能在細胞解析度水準上檢測到色素變化。最近開發的細胞解析度全域光學同調斷層掃描(FF-OCT)設備，還能對皮膚淺層進行即時、非侵入性的成像，並為淺表層皮膚疾病提供了一種有效的數位皮膚切片方法。然而，定量測量色素的數量和強度，並分析其在不同皮膚層中分佈的研究仍然很少。

本發明是關於一種從皮膚的光學影像中分割出特徵的方法，用於提供一種嶄新的方法，標記來自於非侵入性光學影像中的特徵。

一方面，本發明提供了一種處理皮膚光學影像的方法，包括

a)接收一皮膚光學影像，其中包含一目標物且該目標物含一特徵；

b)選擇性地進行降躁以降低該光學影像的雜訊；

c)從背景訊號中增強該目標物之該特徵訊號的對比度；

d)透過該特徵之至少一閾值，分割出該目標物；

e)選擇性地對分割出之該目標物進行分類；以及

f)從該皮膚之該光學影像量化該目標物之該特徵。

另一方面，本發明提供了一種用於診斷皮膚狀況之電腦輔助系統，包括：一光學成像器，被配置為提供一皮膚之一光學影像；一處理器，係與該成像器耦合，一顯示器，係與該處理器耦合，及一儲存器，係與該處理器耦合，該儲存器攜帶程式指令，當在該處理器上執行該程式指令時，能使其執行本發明所揭示的方法。

另一方面，本發明也提供了一種辨識色素失調的方法，該方法包括：

1)接收疑似色素失調之一皮膚之一光學影像；

2)選擇性地進行降躁以降低該光學影像的雜訊；

3)從背景訊號中增強一目標物之一特徵之訊號對比度，其中所述目標物是黑色素、黑色素體、黑色素細胞、嗜黑色素細胞、活化的黑色素細胞或其組合；

4)透過該特徵之至少一閾值，分割出該目標物；

5)可選地對分割目標物進行分類，其中特徵是亮度或細長結構；

6)從該皮膚之該光學影像，量化該目標物之該特徵；以及

7)透過該量化值辨識疑似色素失調之該皮膚。

援引併入

本說明書中提到的所有出版物、專利和專利申請在此透過引用納入，其範圍和每一單獨出版物、專利或專利申請被具體地和單獨地指明透過引用而納入的範圍相同。

1:光學影像

2:增強對比度

3:目標物分割

4:目標物分類

5:特徵量化

6:降低雜訊

7:電腦輔助診斷

20:對比增強

21:強化細長結構特徵

31:影像二值化

32:目標物分類

透過參考以下的詳細描述和附圖，可以更好地理解本發明的特徵和優點，其中闡述的說明性實施方案案例中使用了本發明的原理：

圖1A/B為示例流程圖，說明如何從皮膚的光學影像將目標物分類(1A)，以及示例流程圖更包含選擇性地降噪步驟及電腦輔助診斷步驟之(1B)。

圖2為透過降噪卷積神經網路(DnCNN)深度學習降低雜訊之示例方法。

圖3A/B為透過將示例影像(3A)降噪處理，以產生低光斑之真實影像(3B)。

圖4為一流程圖，說明用於降低光學影像雜訊之基於空間複合的降躁卷積神經網路(SC-DnCNN)訓練結構，該影像例如為光學同調斷層掃描(OCT)影像。

圖5A-F為一系列影像，說明透過本發明方法將目標物分類(即黑色素分類)。

圖6為目標物分類後標記黑色素之示例影像。

圖7A/B顯示未經SC-DnCNN降噪(7A)及經SC-DnCNN降噪(7B)之OCT影像比較示例(例如皮損周圍的皮膚影像)。

圖8為一流程圖，說明將活化黑色素細胞(樹突細胞)分類的方法。

圖9為透過本發明之方法將OCT影像中的活化黑色素細胞(樹突細胞)進行標記。

皮膚是人體最大的器官。皮膚包括三層：表皮為皮膚的最外層；真皮在含有毛囊和汗液的表皮層之下；以及更深的皮下組織是由脂肪和結締組織組成。黑色素細胞有樹突，將黑色素體輸送到角質形成細胞。皮膚的顏色是由黑色素細胞所造成，黑色素細胞能產生黑色素且位於表皮。

皮膚色素沉著是透過在黑色素體的特殊膜結合細胞器中產生黑色素，並透過將這些細胞器從黑色素細胞轉移到周圍的角質細胞來完成。色素沉著障礙(或皮膚色素失調)是人類皮膚顏色的紊亂，無論是失去還是減少，都可能與黑色素細胞的喪失、或黑色素細胞不能產生黑色素、或正確運輸黑色素體有關。大多數色素沉著障礙都與黑色素的產生不足或過剩有關。部份情況下，皮膚色素失調為白化病、黃褐斑或白癜風。

在一些色素失調疾病中，如黃褐斑，活化的黑色素細胞具有樹突狀形態，因此，活化的黑色素細胞也被稱為樹突細胞(dendritic cell)。

深色皮膚類型者容易患色素失調，如黃褐斑、曬斑和雀斑，其中黃褐斑特別不易治療，而且經常復發。皮膚中的黑色素含量通常被用來監測治療反應和對黃褐斑患者進行分類。現有的黑色素測量工具僅限於皮膚表面檢測，無法觀察到黑色素在實際組織中的分佈。

為了更準確地評估皮膚的黑色素相關參數，並為每種類型的皮膚提供更具體的治療，需要直接檢測實際的黑色素特徵(如含量、密度、面積或分佈)。

包括光學同調斷層掃描(OCT)、反射共聚焦顯微鏡(RCM)和共聚焦光學同調斷層掃描在內的非侵入性技術，可用於以細胞解析度檢測皮膚淺層中的色素變化，以執行淺表皮膚病的數位皮膚切片。在一些實施案例中，組織光學影像由光學同調斷層掃描(OCT)設備、反射共焦顯微鏡(RCM)設備、雙光子共焦顯微鏡設備、超音波成像器等提供。在某些實施案例中，光學影像透過OCT設備或RCM設備提供。在某些實施案例中，組織光學影像由OCT設備提供。利用非侵入性設備，如FF-OCT設備，3D皮膚影像技術便可提供卓越的能力，讓皮膚組織結構可視化並識別皮膚層的特定特徵，用以輔助診斷皮膚之疾病和失調。在一些實施案例中，組織光學影像為包含表皮切片影像之組織光學影像。舉例來說，組織光學影像可以是選自三維影像(3D影像)、截面影像(B掃描)和垂直截面影像(E掃描)的組中的至少一個。在某些實施案例中，組織光學影像是B掃描影像。

在一些實施案例中，本發明提供了一種處理皮膚的光學影像方法，以及由此能夠輔助檢測(或識別)皮膚病和/或失調(例如色素失調)的應用。本發明的方法可用於電腦輔助系統中，該電腦輔助系統包括被配置為提供皮膚光學影像的光學成像器；耦合到成像器的處理器、耦合到處理器的顯示器和耦合到處理器的儲存器，所述儲存器搭載程式指令，當在處理器上執行時，便可執行本發明所揭示的方法。

圖1A提供了如何對皮膚的光學影像中的目標物進行分類的流程示例，包括接收皮膚的光學影像，該皮膚的光學影像包含目標物且目標物含至少一特徵(該目標物即為感興趣的目標，如黑色素或活化的黑色素細胞)(步驟1)；從背景訊號中增強該目標物之該特徵訊號的對比度(步驟2)；透過該特徵之至少一閾值，在增強對比的光學影像中分割出該目標物(步驟3)；選擇性地對分割出之該目標物進行分類(步驟4)；以及從皮膚之光學影像量化該目標物之該特徵(步驟5)。在一些實施案例中，該特徵選自以下群組，包含亮度、顆粒面積、顆粒大小、顆粒形狀、分佈位置及其組合。

選擇性地降噪步驟選項

藉由採用平行檢測的二維影像感測器和低空間同調性光源照明，像FF-OCT這樣的非侵入式設備，只需沿軸向進行一維機械掃描即可獲得三維卷積影像。然而，由於同調檢測的性質，即使在空間同調性較低的光源下，具細胞解析度的斷層生物影像品質也可能受到光斑雜訊的影響。空間複合(special compounding)是一種透過將相鄰B掃描影像進行平均，來顯著降低光斑對比度，而不會大幅降低解析度的技術。對於上述FF-OCT裝置中同時採集的二維資料和B掃描影像固有對準的截面成像方式，無需影像對位的預處 理，即可實現基於空間複合的降噪步驟。在一些實施案例中，該步驟包括接近5μm的厚度維度中，將解調後的資料(demodulated data)做平均，其中5μm的厚度近似於H&E的典型厚度。由於來自相鄰B掃描影像的樣本結構具有一定程度的相關性，因此可以透過平均來提高訊息雜訊比(SNR)，所得到的影像結果顯示了有限厚度內的平均樣本結構。

雖然一般影像濾波(即高斯、中值濾波)可用來抑制光斑雜訊，但缺點是會丟失影像細節，特別是影像特徵與光斑顆粒尺寸相似者。

在一些實施案例中，降噪步驟包括使用降噪神經網路，諸如基於空間複合的降噪卷積神經網路(SC-DnCNN)，該降噪神經網路係使用複合的影像資料(compounded image data)來訓練，並能在保留影像細節的同時從訊號中區分雜訊。

空間複合(SC)是一種常用來減少光斑和高斯雜訊的技術。SC的原理是透過重複測量目標物使之位置微小變化來導出光斑圖案的變化，隨之，將量測樣本所得的去相關後之多幅影像進行平均，以獲得低光斑影像。

為了訓練該降噪模型，雜訊被定義為在特定厚度內影像平均前後的差值。訓練好的SC-DnCNN模型透過深度卷積神經網路強大的學習能力，能自動從資料中提取多個特徵作為表示，透過對單次B掃描影像進行雜訊預測來提高影像品質。此外，實現空間複合所需的採樣厚度可以減小，以提高成像速度。

圖1B為圖1A之進一步的特定實施例，其包括用於降低光學影像雜訊的可選降雜訊步驟(6)和電腦輔助診斷步驟(7)。在一些實施案例中，透過基於空間複合的去雜訊卷積神經網路(SC-DnCNN)來降低光學影像 的雜訊，其提供了有效的降噪並改善了影像品質，同時保持了光學影像的細節，尤其是OCT影像。

SC-DnCNN是像素級的雜訊預測方法，在一些實施例中，該方法用於區分訊號中的雜訊，從而改善影像品質，繼承了降噪卷積神經網路(DnCNN)的優點，採用殘差學習和批標準化(BN)，加快訓練過程並提高了降噪性能。如圖2所示，DnCNN的深層架構基於視覺幾何組(VGG)網路的概念，並且由多個較小的卷積層組成。這些層的組成可以分為三種主要類型。第一種類型出現在第一層中。該演算法使用大小為3×3的64個濾波器產生64個特徵圖，然後對這些特徵圖進行校正的線性單元(RELU)進行非線性轉換，作為下一層的輸入。從第二層到倒數第二層，所有這些卷積層都屬於第二類。同樣，在輸入圖上使用了64個大小為3×3×64的篩檢程式，但與前一層不同的是，在ReLU之前添加了BN。BN是一種將輸入值的分佈調整為正態分佈的標準化方法，不僅避免了梯度消失的問題，而且大大加快了訓練速度。最後，在最後一層採用3×3×64的濾波器作為輸出重構。

在模型訓練中，應用了深度殘差網路(ResNet)的殘差學習概念，簡化了最佳化的過程。不同的是，DnCNN沒有在幾個層之間增加快捷連接，而是直接將網路的輸出改變為殘差圖塊。這代表DnCNN的最佳化目標不是真實乾淨影像與網路輸出之間的均方誤差，而是真實殘差影像與網路輸出之間的均方誤差。從雜訊影像中減去乾淨的影像即可得到殘差影像，即雜訊圖。將雜訊波隨機添加到清晰影像以模擬雜訊波影像。舉例來說，對於OCT影像，雜訊主要由光斑雜訊組成，其為結構訊號的雜訊乘積。因此，真實的雜訊分布(ground truth)是透過真實的OCT影像產生而非透過模擬而產生。

不限於本發明所揭示之實施例，SC-DnCNN由包含雜訊影像和乾淨影像的資料庫來訓練，其中乾淨影像是透過對N個相鄰光學影像進行平均來獲得，而雜訊影像是透過對M個相鄰光學影像進行平均來獲得的。舉例來說，N是2到20，特別是5到15，尤其是7到12。圖3A/B顯示由降噪步驟處理的一系列示例影像(3A)，該降噪步驟利用基於SC產生真實雜訊分布影像進而產生低光斑之真實影像(3B)。11個像素線被激活以獲取橫截面(B掃描或橫截面掃描)OCT影像；因此，會產生11個相鄰的虛擬切片供SC(空間複合)處理。複合影像的厚度約為5μm，接近組織切片之後度。關於乾淨的影像，低散斑的合成影像是透過11次相鄰的B掃描得到的，這代表N=11。反之，雜訊影像是由M個像素行合成得到的平均影像，其中M<11。

圖4顯示具有光學影像的SC-DnCNN模型的訓練示例和結構。該模型的訓練過程可以透過以下的例子來解釋。在這個例子中，選擇使用由5個像素線合成的雜訊影像訓練模型，來改善橫切面掃描(E掃描或水平掃描)的影像品質。為了訓練SC-DnCNN模型，在每對影像(雜訊影像和雜訊分布圖)中隨機裁剪大小為50×50的512對圖塊。將網路層數設置為20層，並使用隨機梯度下降法自動學習濾波核的權重。在這種深度學習中，模型訓練的參數設置，包括動量(momentum)、學習率(learning rate)、小批量大小(mini-batch size)和曆元數(epochs)，分別為0.9%、0.001、128%和50%。總共透過335幅B掃描OCT影像對模型進行了訓練和驗證。整個FF-OCT掃描採集的所有B影像掃描資料規格為1,024×715像素，影像解析度約為0.5μm/像素，儲存在8位元的像素深度。

增強對比度

為了產生更合適的光學影像以識別目標物(即皮膚中感興趣的目標)中的特徵，並執行進一步的影像分析，在一些實施例中，將使用一些基於掃描深度和影像亮度的後處理方法。首先，執行影像校正以補償依賴於深度的訊號衰減。可以基於與皮膚表面的距離來設置影像像素的權重，以調整設備(例如OCT)衍射極限對組織中成像深度的影響。

在一些實施例中，會在過程中增強對比度，例如透過銳化或亮化影像來突出關鍵特徵(如所選的特徵)，舉例來說，進行對比度受限的自適應直方圖均衡化(contrast-limited adaptive histogram equalization)。與普通的直方圖均衡化不同之處是，對比度受限的自適應直方圖均衡化的優點是改善影像的局部對比度，增強了影像各區域邊緣的清晰度。此方法並非在整個影像上使用對比度變換函數，而是在影像中的小區域上操作幾個直方圖來重新分配影像的亮度值。然後使用雙線性插值法合併相鄰區域，以消除人為邊界。

目標物分割

目標物分割是將影像分割成多個影像段的過程，也稱為影像區域或影像目標物(像素集)。舉例來說，為了從OCT影像的背景組織中提取與黑色素(目標物)相關的特徵，透過將影像分割成具有給定亮度等級b的兩個部分(前景和背景)來創建二質化影像。透過強度閾值，將灰度影像中亮度大於等級b的所有像素替換為值1，並且將其他像素替換為值0。在一些實施案例中，目標物分割過程由用於分析強度、梯度或紋理以產生一組目標物區域的閾值、叢集和/或區域生長的演算法來處理。

在一些實施案例中，目標物分割步驟的目標物是黑色素、黑色素體、黑色素細胞、噬黑色素細胞、活化的黑色素細胞(樹突細胞)或其組 合。在某些實施例中，特徵不限於選自群組包括數量、皮膚內部分佈、皮膚中所佔用面積、大小、密度、亮度、特定形狀和其他光訊號特徵中所選擇而組成。

於此以E-Scan OCT影像作為範例，說明從本發明的皮膚光學影像中分割色素特徵的過程。如圖5A-F所示，首先，提供包含與周圍組織相比具有高反射強度之黑色素特徵的OCT E掃描影像(5A)。接下來，在透過SC-DnCNN降低OCT影像的雜訊之後，有效地提高了特徵的對比度，如圖5B所示顯示影像。接著，透過對比度受限的自適應直方圖均衡化(CLAHE)來增強黑色素訊號，以拉伸每個局部區域(約12.5×12.5μm²)的對比度，以進一步增強黑色素的特徵，其強度強於周圍訊號，如圖5C所示。透過實驗確定了CLAHE中的幾項指定參數，包括影像圖磚(tiles)的數量、創建對比度變換函數的分佈類型和控制對比度增強效果的限制因數，分別為40×40、指數(λ=0.1)和0.001。然後，如圖5D所示，給出閾值為0.6的相對寬鬆亮度水準，以濾除其局部訊號未達到特定强度的目標，這代表增强影像中超過153灰度級的所有點數都被視為黑色素的候選。接著，如圖5E所示，對OCT影像進行二值化處理，並從直徑大於0.5mm的OCT影像中選取黑色素特徵，以及面積大於8.42um 2的黑色素特徵(約為直徑為3.3um)，如圖5F所示。根據聚集的黑色素的顆粒大小，黑色素分為兩種類型：顆粒黑色素(直徑在0.5~3.3um)和聚集體黑色素(直徑>3.3um)。圖6顯示了標記的顆粒黑色素和具集體黑色素，它們可以用不同的顏色標記。

根據本發明的實踐，降噪步驟是可選擇性的使用的。圖7A/B顯示未經過SC-DnCNN訓練後的降噪步驟之OCT影像(圖7A)，和經過SC- DnCNN訓練後的降噪步驟之OCT影像(圖7B)(如病灶周圍皮膚影像)比較。比較使用SC-DnCNN和不使用SC-DnCNN進行目標物分割處理結果，經SC-DnCNN處理的OCT產生的影像具有明顯的低光斑雜訊和高畫質晰度，如圖7B所示。這些效果可能有助於更好地觀察影像細節，並在黑色素識別能力方面顯示出明顯的優勢。該演算法在FF-OCT影像處理中尤為有效。

特徵量化

特徵量化為醫生監控皮膚病或失調(如區分色素失調)提供了一種有效的方法。

於此為黑色素特徵進行量化的範例。在某些實施例中，黑色素相關參數(特徵)列於表1中，其中特徵量化是以表1為基礎。以E-Scan獲取的影像為例，說明黑色素特徵量化的整體影像處理流程。基於相同概念下，對於B掃描影像和C掃描影像，可合理、有彈性地調整影像處理、分析方法及步驟。

表1：E-掃描OCT影像中黑色素相關參數(特徵)的定量特徵。

於此所提供之特徵量化範例中，使用了包含面部棘狀層、真皮-表皮交界處(DEJ)和乳頭狀真皮等三層的96幅病灶皮膚影像，以及48幅病灶周圍皮膚影像。黑色素特徵如本文所述被分割。對於黑色素特徵量化，係根據本發明所提供之方法，於分割的黑色素中，將量化的特徵分為兩組：顆粒黑色素和聚集體黑色素。根據表1，基於面積的特徵分別計算從光學影像分割的所有顆粒黑色素和聚集體黑色素的總面積。所有顆粒黑色素基於分佈的特徵G_密度(G_Density)是基於影像中組織總面積來計算其面積的比例，其中組織被定義為增強影像中灰度值大於38的訊號。所有聚集體黑色素的分佈特徵都與它們在二維空間中的距離有關。C_距離平均值(C_Distance_Mean)和C_距離_SD(C_Distance_SD)分別使用每個聚集體黑色素的中心點來計算彼此之間距離的平均值和標準差。此外，基於形狀和亮度的特徵分別提供統計資訊，以確定影像中所有黑色素的大小和強度。關於提取C_圓度(C_Roundness)特徵，將聚集體黑色素圓度的簡單定義為

為了探討黃褐斑和黑色素之間的相關性，透過幾種統計假設試驗，評估定量特徵在區分病灶影像和病灶周圍皮膚影像中的可行性。為了進行比較，對影像降噪前後的所有資料進行了測試，以觀察SC-DnCNN模型用在本發明方法的效果。透過柯爾莫哥洛夫-斯米爾諾夫(Kolmogorov-Smirnov)檢驗以確定特徵是否為常態分佈。然後，分別用常態分佈的均值±SD和非常態分佈的中位數，用學生t檢定和曼惠特尼U檢定(Mann-Whitney U-test)來評價病灶和病灶周圍皮膚各項特徵的差異。經顯著性分析，p值<0.05，顯示差異相當顯著。

表2到表3列出了本發明方法下，使用和不使用SC-DnCNN的結果差異。提取並分析了影像降噪前後所有特徵的p值和均值±SD。表2顯示C_距離_平均值，這是一個代表所有聚合體黑色素每個中心點平均距離的特徵，在去雜訊的情況下，病灶和病灶周圍皮膚之間有顯著差異(p=0.0402)。在本發明使用SC-DnCNN的情況下，病灶周圍皮膚和病變影像中聚合體黑色素的平均距離分別為200um和193.5um，而未使用SC-DnCNN的情況下，它們分別為206.1um和200.3um。病灶影像的C_距離平均值有小於病灶周圍皮膚影像的趨勢。然而，當不進行影像去雜訊時，其差異並不顯著(p=0.0502)。

表2：使用顯著特徵的p值和均值±SD來識別降噪影像中的病灶。

表3：顯著特徵的p-值和平均值±SD被用來識別未經SC-DnCNN處理之病灶子集。

此外，根據皮膚分層，將資料集劃分為三個子集(棘狀層、真皮-表皮交界處和乳頭真皮層)，並評估每個子集中能夠區分病灶的黑色素特徵間的差異。表3並總結了影像降噪前後每個子集產生的不同特徵之p值和平均值±SD。在棘狀層，這兩個顯著特徵都象徵著聚合體黑色素的分佈，其中C_距離_平均值(C__Distance_Mean)越大，黑色素就越分散。此外，C_距離_SD(C_Distance_SD)越小，整個影像中的黑色素分佈就越均勻。這代表，與病灶周圍皮膚相比，病灶的聚合體黑色素的分佈在影像的局部區域更為集中。影像降噪前C_距離-平均值和C_距離_SD的p-值分別為0.0036和0.0202，影像降噪後分別為0.0032和0.0312。在不執行影像降噪步驟的情況下，病灶和病灶周圍皮膚的真皮-表皮交界處(DEJ)和乳頭真皮層的所有定量特徵都沒有顯著差異。透過SC-DnCNN，DEJ內所有密度的p-值由0.1393降至0.0426。對於病灶影像，黑色素顆粒密度的特徵有高於病灶周圍皮膚影像的趨勢。

根據本發明的定量結果，其適用於定量評估和屬於病灶的部分黑色素特徵，包括在不同皮膚層中的型態。當觀察病灶的OCT影像時，聚集體黑色素在棘狀層表現得很集中，而顆粒狀黑色素在DEJ有較高的密度。不同的皮膚層會產生不同型態的黑色素，它們在OCT影像上的顯示態樣也各不相同。

在特定實施例中，提供了一種識別皮膚色素失調的方法，包括：接收可疑色素失調之皮膚的光學影像；選擇性地進行降噪以降低光學影像的雜訊；從背景訊號中增強目標物之特徵之訊號對比度，其中所述目標物是黑色素、黑色素體、黑色素細胞、噬黑色素細胞、活化的黑色素細胞或其組合；在增強對比度的光學影像中，透過該特徵之至少一閾值，分割出目標物；對分割的目標物進行分類；從該皮膚之該光學影像，量化目標物之該特徵；以及透過量化值辨識疑似色素失調的皮膚。

在部分實施案例還提供了分割目標物之另一實施例，其中該目標物是具有樹突形態的活化黑色素細胞，也稱為「樹突細胞」。如前所述，紫外線或雷射治療會活化黑色素細胞形成樹突的功能，將黑色素分泌到表皮層，以保護皮膚的損傷，因此，樹突狀形態的黑色素細胞被稱為「樹突細胞」。一般分割樹突細胞的步驟與圖1a相同。圖8為一流程圖，係從OCT示例影像中對活化黑色素細胞(樹突細胞)進行分類/分級的方法(在每個步驟中均具有示例影像)。增强對比度步驟基於樹突狀細胞的各種形態，如細長結構的增强。在提供OCT影像之後，該OCT影像是透過空間複合的過程對5至10個相鄰光學影像進行平均而獲得；增強OCT影像的樹突細胞對比度(20)；接著，樹突細胞的細長結構特徵透過例如基於黑賽(Hessian)矩陣的弗蘭吉凡賽(Frangi Vessel)濾波(21)進行特徵強化。在目標物分割步驟中，透過閾值 化將增強的光學影像轉換為二質化影像(31)，讓影像更容易分析，然後對樹突細胞進行分類(32)以進行辨識，其顆粒大小<42um ²。而後如圖9所示標記樹突細胞的分類。

根據本發明之實施，基於表4中列出的特徵來對分割之樹突細胞進行量化。

表4：樹突細胞的相關參數。

某些實施例提供一種處理皮膚的光學影像的方法，包括：a.接收包含目標物之特徵的皮膚光學影像；b.選擇性地進行降躁以降低該光學影像的雜訊；c.從背景訊號中增強該目標物之該特徵訊號的對比度；d.在增強對比度的光學影像中，透過該特徵之至少一閾值，分割出該目標物：e.選擇性地對分 割出之該目標物進行分類；以及f.從該皮膚之該光學影像量化該目標物之該特徵。在部分實施例中，該方法更包括在特徵量化之後的電腦輔助診斷步驟。在部分實施例中，光學影像是光學同調斷層掃描(OCT)影像、反射共焦顯微鏡(RCM)影像或共焦光學同調斷層掃描影像。在部分實施例中，選擇性地透過基於空間複合的降躁卷積神經網路(SC-DnCNN)來降低該光學影像的雜訊。在特定實施例中，SC-DnCNN被訓練用以區分出光學影像的雜訊。在特定實施例中，SC-DnCNN係透過包含雜訊影像和乾淨影像的資料庫來訓練。在特定實施例中，透過平均N個相鄰光學影像來獲得乾淨影像，透過平均M個相鄰光學影像來獲得雜訊影像，並且N大於M。在部分實施例中，目標物是黑色素、黑色素體、黑色素細胞、噬黑色素細胞、活化的黑色素細胞或其組合。在特定實施案中，特徵是亮度、顆粒面積、顆粒大小、顆粒形狀或在皮膚中的分佈位置。在部分實施例中，特徵是亮度和/或顆粒形狀(例如細長的結構)。在部份實施例中，透過平均至少兩個相鄰的光學影像來獲取光學影像。在部分實施例中，目標物是黑色素、黑色素細胞或活化的黑色素細胞。在部分實施例中，目標物是黑色素。在特定實施例中，步驟e包括將目標物分類為顆粒黑色素或聚集體黑色素。

在一些實施例中，提供了一種用於皮膚狀況診斷(舉例來說，皮膚病或諸如皮膚色素失調診斷的疾病)的電腦輔助系統，其包括一光學成像器，被配置為提供皮膚之光學影像；一處理器(如電腦)，係與該成像器耦合、一顯示器，係與該處理器耦合、以及一儲存器，係與該處理器耦合，所述儲存器攜帶程式指令，當在處理器上執行時，所述程式指令使其執行於電腦程式中執行本發明方法(見圖1B)。在一些實施案例中，成像器是光學同調斷 層掃描(OCT)設備、反射共焦顯微鏡(RCM)設備、共焦光學同調斷層掃描設備等。在特定實施案例中，成像器是光學同調斷層掃描(OCT)設備。

在一些實施例中，本發明方法用於標記與黑色素相關的目標物，包括顆粒黑色素、聚合體黑色素、樹突細胞或其組合。根據黑色素的形態可以計算出各種定量特徵，並用於描述病灶的外觀。

在一些實施例中，前述之的系統、網路、方法和媒介包含至少一個電腦程式，或其使用相同的程式。電腦程式包含可在數位處理設備CPU中執行的一串指令，該串指令能執行特定任務，其可能適用於任何適合的演算法。電腦可讀指令可被設置為執行特定任務或實現特定抽象資料類型的程式模組，諸如函數、目標物、應用程式介面(API)、資料結構等。於此，本領域的技術人員將認識到，電腦程式可以用各種語言的各種版本來編寫。

在一些實施案例中，電腦系統或雲端運算服務透過網路鏈路和網路適配器連接到雲端。在一個實施案例中，電腦系統被建置為各種運算設備，例如伺服器、PC、筆電、平板電腦、智慧型手機、物聯網(IoT)設備和消費電子產品。在一個實施案例中，電腦系統在其他系統中實現或作為其他系統的一部分來實現。

基於本發明方法能夠獲得即時、穩定的檢測結果，並且在描述黑色素特徵時具有客觀性和準確性，因此該方法無疑是解決能這種色素分類問題要求、極具吸引力的工具。

雖然本文已出示並且闡述了本發明的較佳具體例，但對於熟習本領域技術人士而言，這些具體例顯然僅供例示。熟習本領域技術人士可以完成許多更改、變化和取代，而不會悖離本發明。應當理解的是，本文所敘述之 本發明具體例的各種替代方案均可供用於實施本發明。本發明意欲以下列請求項來界定本發明的範圍，並且藉此涵蓋落入這些請求項之範圍內的方法和結構以及其均等物。

1:光學影像

2:增強對比度

3:目標物分割

4:目標物分類

5:特徵量化

Claims (23)

1. 一種處理一皮膚的光學影像的方法，包括

   a)接收一皮膚光學影像，其中包含一目標物且該目標物含一特徵；

   b)選擇性地進行降躁以降低該光學影像的雜訊；

   c)從背景訊號中增強該目標物之該特徵訊號的對比度；

   d)在增強對比度的光學影像中，透過該特徵之至少一閾值，分割出該目標物；

   e)選擇性地對分割出之該目標物進行分類；以及

   f)從該皮膚之該光學影像量化該目標物之該特徵。
2. 如請求項1的方法，於步驟e後更包含一電腦輔助診斷之步驟。
3. 如請求項1的方法，其中步驟b係透過一基於空間複合的降躁卷積神經網路(SC-DnCNN)來降低該光學影像的雜訊。
4. 如請求項3所述的方法，其中該SC-DnCNN係被訓練用以區分該光學影像之雜訊。
5. 如請求項4的方法，其中該SC-DnCNN之訓練係透過包含雜訊影像和乾淨影像的資料庫來進行。
6. 如請求項5所述的方法，其中該乾淨影像係透過將N個相鄰光學影像進行平均而獲得，該雜訊影像係透過將M個相鄰光學影像進行平均而獲得，並且N大於M。
7. 如請求項1的方法，該目標物是黑色素、黑色素體、黑色素細胞、嗜黑色素細胞、活化的黑色素細胞或其組合。
8. 如請求項7的方法，其中該特徵是亮度、顆粒面積、顆粒尺寸、顆粒形狀或在皮膚中的分佈位置。
9. 如請求項8的方法，其中該特徵是亮度。
10. 如請求項1的方法，其中該光學影像是透過對至少兩個相鄰的光學影像進行平均而獲得。
11. 如請求項7的方法，其中該目標物是黑色素、黑色素細胞或活化的黑色素細胞。
12. 如請求項11的方法，其中該目標物是黑色素。
13. 如請求項12的方法，其中該步驟e包括將該目標物分類為一顆粒黑色素(grain melanin)或一聚集體黑色素(confetti melanin)。
14. 如請求項1所述的方法，其中該光學影像是一光學同調層掃描(OCT)影像、一反射共焦顯微鏡(RCM)影像或一共焦光學同調斷層掃描影像。
15. 一種用於診斷皮膚狀況之電腦輔助系統，包括一光學成像器，被配置為提供一皮膚之一光學影像；一處理器，係與該成像器耦合，一顯示器，係與該處理器耦合，及一儲存器，係與該處理器耦合，該儲存器攜帶程式指令，當在該處理器上執行該程式指令時，能使其執行請求項2所述的方法。
16. 如請求項15的電腦輔助系統，其中該成像器是一光學同調斷層掃描(OCT)裝置、一反射共焦顯微鏡(RCM)裝置或一共焦光學同調斷層掃描裝置。
17. 如請求項16的電腦輔助系統，其中成像器是一光學同調斷層掃描(OCT)裝置。
18. 如請求項15的電腦輔助系統，其中該儲存器包括一雲端儲存器。
19. 一種用於診斷皮膚狀況的電腦輔助系統，包括一請求項15的光學成像器，其被配置為用於提供一皮膚之一光學影像；以及一顯示器，其被配置為輸出該診斷。
20. 如請求項15的電腦輔助系統，其中該皮膚狀況是一皮膚癌或一皮膚色素失調。
21. 如請求項20的電腦輔助系統，其中該色素失調是白化病、黃褐斑或白癜風。
22. 如請求項20的電腦輔助系統，其中該色素失調是黃褐斑。
23. 一種辨識皮膚的色素失調的方法，包括

    1)接收疑似色素失調之一皮膚之一光學影像；

    2)選擇性地進行降躁以降低該光學影像的雜訊；

    3)從背景訊號中增強一目標物之一特徵之訊號對比度，其中所述目標物是黑色素、黑色素體、黑色素細胞、嗜黑色素細胞、活化的黑色素細胞或其組合；

    4)在增強對比度的光學影像中，透過該特徵之至少一閾值，分割出該目標物；

    5)從該皮膚之該光學影像，量化該目標物之該特徵；以及

    6)透過該量化值辨識疑似色素失調之該皮膚。

Images