TWI796784B

TWI796784B - 圖像分割線補償方法及裝置

Info

Publication number: TWI796784B
Application number: TW110133651A
Authority: TW
Inventors: 黃士龢; 鄞銘佐
Original assignee: 宏碁智醫股份有限公司
Priority date: 2021-09-09
Filing date: 2021-09-09
Publication date: 2023-03-21
Also published as: US20230073729A1; TW202310801A; EP4148666A1

Abstract

一種圖像分割線補償方法及裝置。此方法包括下列步驟：應用分割模型對所擷取的醫學影像進行圖像分割，以獲得包括醫學影像中多個分層間的至少一條分割線的分割影像；應用經訓練的分類模型的卷積核對分割影像進行卷積運算，以預測分割影像中與各分割線的當前像素連接的下一像素的位置，其中包括限定所預測的像素為當前像素在預測方向上的相鄰像素；以及連接所預測的像素以形成各分割線的經補償分割線。

Description

圖像分割線補償方法及裝置

本揭露是有關於一種影像處理方法及裝置，且特別是有關於一種圖像分割線補償方法及裝置。

光學同調斷層掃描(Optical Coherence Tomography；OCT)與眼底檢查相比更能看出視網膜裡的病變，其可清楚地觀察到視網膜的各層，因此對於較細微的黃斑部病變，OCT可以提供肉眼看不到的橫斷切面影像，也可以計算出肉眼無法評估的視網膜厚度，提供眼科醫師更精準地診斷與治療。

圖像分割(image segmentation)是電腦視覺領域的一個重要的研究方向，是圖像語義理解的重要一環，且該研究的日漸進步也已經到深度學習領域，從原本的影像辨識變成透過模型密集地對輸入影像中的各個像素做預測，以劃分OCT各層。然而，劃分結果會受到模型預測的影響而產生斷裂，此時有必要對分割結果中的斷裂處進行補償。

對於斷裂補償，目前的做法是應用線性插值法，基於鄰近像素利用插值法算出中間像素，用以補償斷裂線段。舉例來說，圖1是習知應用線性插值法補償影像斷裂線段的範例。請參照圖1，影像12是習知分割模型對OCT影像進行圖像分割所獲得的分割影像，其中包括多條分割線。其中，分割線12a由於經過分割模型預測的關係，其在中間凹陷的部位產生斷裂。影像14則是針對影像12中斷裂線段實施線性插值法後所產生的結果影像。如影像14中的補償線段14a所示，由於線性插值法是基於鄰近像素作為參考，當目標像素附近的顏色相近或是過遠時，其插值結果通常不夠平滑或無期望的效果。

本揭露一實施例提供一種圖像分割(segmentation)線補償方法，適用於具處理器的電子裝置。此方法包括下列步驟：應用分割模型對所擷取的醫學影像進行圖像分割，以獲得包括醫學影像中多個分層間的至少一條分割線的分割影像；應用經訓練的分類模型的卷積核(kernel)對分割影像進行卷積運算，以預測分割影像中與各分割線的當前像素連接的下一像素的位置，其中包括限定所預測的像素為當前像素在預測方向上的相鄰像素；以及連接所預測的像素以形成各分割線的經補償分割線。

本揭露一實施例提供一種圖像分割線補償裝置，其包括影像擷取裝置、儲存裝置及處理器。其中，影像擷取裝置是用以擷取醫學影像，儲存裝置是用以儲存電腦程式。處理器耦接影像擷取裝置及儲存裝置，經配置以載入並執行電腦程式以應用分割模型對所擷取的醫學影像進行圖像分割，以獲得包括醫學影像中多個分層間的至少一條分割線的分割影像，應用經訓練的分類模型的卷積核對分割影像進行卷積運算，以預測分割影像中與各分割線的當前像素連接的下一像素的位置，其中包括限定所預測的像素為當前像素在預測方向上的相鄰像素，以及連接所預測的像素以形成各分割線的經補償分割線。

為讓本揭露能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

12、14、62、64、66、68:影像

12a:分割線

14a:補償線段

20:圖像分割線補償裝置

22:影像擷取裝置

24:儲存裝置

26:處理器

42:醫學影像

44:分割模型

46:分割影像

50:分類模型

52:輸入影像

54:卷積影像

56:運算層

60、60a:卷積核

H:高度

W:長度

S302~S306:步驟

圖1是習知應用線性插值法補償影像斷裂線段的範例。

圖2是根據本發明一實施例所繪示的圖像分割線補償裝置的方塊圖。

圖3是依照本發明一實施例所繪示的圖像分割線補償方法的流程圖。

圖4是依照本發明一實施例所繪示的使用U-Net進行圖像分割的示意圖。

圖5是依照本發明一實施例所繪示的使用分類模型對分割影像中的分割線進行補償的示意圖。

圖6A至圖6D是依照本發明一實施例所繪示的使用卷積核對分割影像進行卷積運算的示意圖。

本揭露實施例提出一種圖像分割線補償方法及裝置，通過建立一個採用卷積神經網路(Convolutional Neural Networks，CNN)架構的分類模型，並使用預定的卷積核(kernel)來掃描長度為W的分割影像，從而輸出一個長度為W-1的序列。其中，透過設定[-1,0,+1]的限制條件，以限制卷積核預測下一個像素點x的y座標走勢，藉此可達到每個x、y方向的像素點都是相連的。且因為是基於分類模型，其經訓練後不僅可以做到補償遺失的像素，也能從影像中學習應該連接的特徵和位置，與插值演算法相比更智慧且具自適應性。

圖2是根據本發明一實施例所繪示的圖像分割線補償裝置的方塊圖。請參考圖2，本發明實施例的圖像分割線補償裝置20例如是具有運算能力的檔案伺服器、資料庫伺服器、應用程式伺服器、工作站或個人電腦等計算機裝置，其中包括影像擷取裝置22、儲存裝置24及處理器26等元件，這些元件的功能分述如下：影像擷取裝置22例如是通用序列匯流排(Universal Serial Bus，USB)、RS232、藍芽(Bluetooth，BT)、無線相容認證(Wireless fidelity，Wi-Fi)等有線或無線的傳輸介面，其是用以接收由相機、攝影機、斷層掃描儀等影像來源裝置所提供的醫學影像，並輸出經處理後的影像。在一實施例中，影像擷取裝置22亦可包括支援乙太網路(Ethernet)或是支援802.11g、802.11n、802.11ac等無線網路標準的網路卡，使得圖像分割線補償裝置20可連接網路上的資料庫或伺服器，並經由網路擷取醫學影像。

儲存裝置24例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或類似元件或上述元件的組合，而用以儲存可由處理器26執行的電腦程式。

處理器26例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、微控制器(Microcontroller)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合，本發明不在此限制。在本實施例中，處理器24可從儲存裝置22載入電腦程式，以執行本發明實施例的圖像分割線補償方法。

圖3是依照本發明一實施例所繪示的圖像分割線補償方法的流程圖。請同時參照圖2及圖3，本實施例的方法適用於上述的圖像分割線補償裝置20。以下即搭配圖像分割線補償裝置20的各項元件說明本實施例的圖像分割線補償方法的詳細步驟。

在步驟S302中，圖像分割線補償裝置20是由處理器26 應用分割模型對影像擷取裝置22所擷取的醫學影像進行圖像分割，以獲得包括醫學影像中多個分層間的至少一條分割線的分割影像。其中，圖像分割線補償裝置20可使用任意格式的影像或圖片作為輸入資料，而不限制提供此影像或圖片的裝置的廠牌、顏色、大小或機器的參數設定，只要是處理器26能夠讀取的影像或圖片都符合。此外，為因應後續需要對影像進行分割，處理器26在擷取到醫學影像後，例如會先對所擷取的醫學影像進行前處理，例如解碼、去噪、比例調整等，但本實施例不限於此。

在取得經處理的醫學影像後，處理器26即可執行經訓練的分割模型，以從醫學影像中擷取多個分層之間的分割線。所述的分割模型例如是傅立葉卷積神經網路(Fourier Convolutional Neural Networks，FCNN)模型或是U-Net、Seg-Net、Deeplab等語意分割模型，但本實施例不限於此。

以U-Net為例，圖4是依照本發明一實施例所繪示的使用U-Net進行圖像分割的示意圖。請參照圖4，本實施例是將醫學影像42作為輸入影像輸入採用U-Net架構的分割模型44。分割模型44例如是由編碼器對輸入影像進行多次的卷積、池化和下取樣運算，以提取輸入影像中的多個特徵，再由解碼器對特徵圖進行多次的拼接、卷積和上取樣運算，而獲得尺寸與輸入影像相同的分割影像46作為輸出影像。其中，在U-Net架構中，每一層的編碼器會與對面的解碼器對接，使得編碼器的資料能夠額外輸出到同層的解碼器，藉此可在影像重建的過程中確保重要資訊不會遺失。

回到圖3的流程，在步驟S304中，處理器26應用經訓練的分類模型的卷積核對分割影像進行卷積運算，以預測分割影像中與各分割線的當前像素連接的下一像素的位置，其中包括限定所預測的像素為當前像素在預測方向上的相鄰像素。所述的相鄰像素包括當前像素在預測方向上的下一像素以及下一像素在與預測方向垂直的垂直方向上的相鄰像素。舉例來說，若預測方向為向右，則所預測的像素會限定在當前像素的右側相鄰像素，以及該右側相鄰像素的上下兩側的相鄰像素。所述的分類模型例如是AlexNet、VGG、ResNet、InceptionNet、GoogLeNet或DenseNet等卷積神經網路(convolutional neural network，CNN)模型，但本實施例不限於此。

舉例來說，圖5是依照本發明一實施例所繪示的使用分類模型對分割影像中的分割線進行補償的示意圖。請參照圖5，本實施例是以卷積神經網路為例，蒐集前一階段的輸出(即，經由圖4的圖像分割處理所獲得的分割影像46)作為分類模型50的輸入影像52，與分類模型50的卷積核進行卷積運算，而獲得卷積層52和54，再將此卷積層54送入分類模型50的全連接層56(例如包括用於特徵擷取，以及用於輸出決定結果的輸出層)，其中分類模型50各個卷積核、卷積層和全連接層節點的權重例如是使用大量的訓練資料(包括輸入及輸出影像)訓練所得，因此可對分割影像46進行分類運算，最終輸出包括經補償分割線的輸出影像 48。

在一些實施例中，處理器26在對分割影像進行分類之前，例如會通過檢測分割影像中的各條分割線的斷裂區段，並依據斷裂區段的大小來決定分類模型所使用的卷積核的大小，從而考慮到斷裂區段兩個端點的位置，使得斷裂區段能夠平滑地連接。其中，處理器26例如會計算所檢測的斷裂區段的兩個端點像素在卷積核的預測方向上的距離(像素)，據以設定卷積核在預測方向上的長度，使得該卷積核的長度大於所述距離。舉例來說，若分割影像中所有分割線的斷裂區段的長度最長為2個像素，則可選擇使用長度為4或6個像素的卷積核來對分割影像進行卷積運算。

在一些實施例中，處理器26例如還會根據對於醫學影像的使用需求，決定分類模型所使用的卷積核大小及填充(padding)大小其中之一或其組合。舉例來說，若要增加分割線補償的精細度，則可選擇使用較小的卷積核來進行卷積運算。

最後，在步驟S306中，處理器26會連接所預測的像素以形成各分割線的經補償分割線。即，處理器26最終輸出的是已經過修補斷裂區段的完整的分割線。

舉例來說，圖6A至圖6D是依照本發明一實施例所繪示的使用卷積核對分割影像進行卷積運算的示意圖。請參照圖6A，影像62是經由圖像分割後所獲得的分割影像，其大小為H*W。在本實施例中，分類模型所使用的卷積核60的大小為H*2，步伐長度為1，填充大小為0，輸出為Y。其中，箭頭所指的地方代表斷裂處。經由卷積核60由左至右掃描影像62中的H*2空間，最終可輸出一個長度為W-1的輸出Y的序列。其中，通過設定[-1,0,+1]的限制條件，限制卷積核60預測下一個像素點x的y座標走勢，以此達到每個x、y方向的像素點都是相連的，結果如圖6B的影像64所示，與圖6A相比，原本箭頭所指的斷裂處已經被補上。由分類模型接收其預測每個像素所產生的序列，例如[1,0,-1,...,-1,Pred _W-2 ,Pred _W-1]，將此序列繪成如圖6C所示的影像66以作為最終輸出的結果影像。

在一些實施例中，上述的分類模型也可以根據不同的需求改變參數，例如若欲使卷積核能夠涵括到比較廣的特徵區域，可將卷積核改為如圖6D的影像68所示的大小為(H+2)*4的卷積核60a，其中，步伐長度為1、填充大小為1。藉此，即能達到卷積核變大但仍然維持輸出Y的長度為W-1的條件。

需說明的是，上述參數的調整，需符合下列的限制條件：

kernel_size=2 * padding+2 (2)

其中，kernel_size為卷積核大小、stride為步伐長度(固定為1)、padding為填充大小，為從上述式(2)可以得到填充大小會隨著卷積核大小自動調整，同時須滿足為正整數，目的是保證輸出Y的長度必須是W-1。

綜上所述，本揭露實施例的圖像分割線補償方法及裝置，應用經訓練的分類模型從分割影像中提取特徵，通過將輸出Y的長度固定為W-1，並限制所預測的像素為預測方向上的相鄰像素，使得分類模型可萃取更多的資訊，以更精準地連接線條。藉此，即便影像內物件像素的顏色相近，可做到線條的平滑連接，且在未來面對不同的影像資訊時，也能夠透過調整部分參數達到客制化需求，以求不同任務的精準要求。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。

S302~S306：步驟

Claims

一種圖像分割(segmentation)線補償方法，適用於具處理器的電子裝置，所述方法包括下列步驟：應用分割模型對所擷取的醫學影像進行圖像分割，以獲得包括所述醫學影像中多個分層間的至少一分割線的分割影像；應用經訓練的分類模型的卷積核(kernel)對所述分割影像進行卷積運算，以預測所述分割影像中與各所述分割線的當前像素連接的下一像素的位置，其中包括限定所預測的所述下一像素為所述當前像素在預測方向上的相鄰像素；以及連接所預測的所述下一像素以形成各所述分割線的經補償分割線。
如請求項1所述的圖像分割線補償方法，更包括：檢測各所述分割線的斷裂區段，並依據所述斷裂區段的大小決定所述分類模型的所述卷積核的大小。
如請求項2所述的圖像分割線補償方法，其中依據所述斷裂區段的大小決定所述分類模型的所述卷積核的大小的步驟包括：計算所檢測的所述斷裂區段的兩個端點像素在所述卷積核的所述預測方向上的距離，據以設定所述卷積核在所述預測方向上的長度，使得所述長度大於所述距離。
如請求項1所述的圖像分割線補償方法，更包括：根據對於所述醫學影像的使用需求，決定所述分類模型所使用的卷積核大小及填充(padding)大小其中之一或其組合。
如請求項1所述的圖像分割線補償方法，其中所述相鄰像素包括所述當前像素在所述預測方向上的下一像素以及所述下一像素在與所述預測方向垂直的垂直方向上的相鄰像素。
一種圖像分割線補償裝置，包括：影像擷取裝置，擷取醫學影像；儲存裝置，儲存電腦程式；以及處理器，耦接所述影像擷取裝置及所述儲存裝置，經配置以載入並執行所述電腦程式以：應用分割模型對所擷取的所述醫學影像進行圖像分割，以獲得包括所述醫學影像中多個分層間的至少一分割線的分割影像；應用經訓練的分類模型的卷積核對所述分割影像進行卷積運算，以預測所述分割影像中與各所述分割線的當前像素連接的下一像素的位置，其中包括限定所預測的所述下一像素為所述當前像素在預測方向上的相鄰像素；以及連接所預測的所述下一像素以形成各所述分割線的經補償分割線。
如請求項6所述的圖像分割線補償裝置，其中所述處理器更檢測各所述分割線的斷裂區段，並依據所述斷裂區段的大小決定所述分類模型的所述卷積核的大小。
如請求項7所述的圖像分割線補償裝置，其中包括計算所檢測的所述斷裂區段的兩個端點像素在所述卷積核的所述預測方向上的距離，據以設定所述卷積核在所述預測方向上的長度，使得所述長度大於所述距離。
如請求項6所述的圖像分割線補償裝置，其中所述處理器更根據對於所述醫學影像的使用需求，決定所述分類模型所使用的卷積核大小及填充大小其中之一或其組合。
如請求項6所述的圖像分割線補償裝置，其中所述相鄰像素包括所述當前像素在所述預測方向上的下一像素以及所述下一像素在與所述預測方向垂直的垂直方向上的相鄰像素。