TW202320012A

TW202320012A - 快速抑制數位影像中的背景高頻雜訊的資料處理方法

Info

Publication number: TW202320012A
Application number: TW110142127A
Authority: TW
Inventors: 孫啟光; 卡地巴
Original assignee: 國立臺灣大學
Priority date: 2021-11-12
Filing date: 2021-11-12
Publication date: 2023-05-16
Also published as: TWI776733B; US20230153953A1; EP4181054A1; JP7385311B2; JP2023072643A; EP4181054B1

Abstract

本發明公開一種快速抑制數位影像中的背景高頻雜訊的資料處理方法。資料處理方法包括配置影像處理器對輸入影像執行第一增強處理、像素合併處理或第一雙線性內插處理、第一高斯模糊處理、第二雙線性內插處理、第一減法處理、第二高斯模糊處理、第二增強處理及第二減法處理，以從該輸入影像減去減法遮罩並產生輸出影像。

Description

快速抑制數位影像中的背景高頻雜訊的資料處理方法

本發明涉及一種資料處理方法，特別是涉及一種快速抑制數位影像中的背景高頻雜訊的資料處理方法。

在類比訊號數位化的過程中，由於設備及器材因素，數位化後的影像可能被高頻雜訊污染。雖然有許多類比濾波器可用於改善訊號品質，但需要專用硬體配置且可能限制訊號擷取系統的有效頻寬。

本發明所要解決的技術問題在於，針對現有技術的不足提供一種快速抑制數位影像中的背景高頻雜訊的資料處理方法，可用於快速抑制數位影像中的高頻背景雜訊，並還原經過雜訊破壞的目標訊號。

為了解決上述的技術問題，本發明所採用的其中一技術方案是提供一種快速抑制數位影像中的背景高頻雜訊的資料處理方法，其包括配置一處理器執行下列步驟：取得一輸入影像，其中該輸入影像具有一第一尺寸且包括多個像素或多個資料點；對該輸入影像執行一第一增強處理，以將該輸入影像乘上一第一增強因數，並產生一第一增強後影像；對該第一增強後影像執行一像素合併(pixel-binning)處理，以將該第一增強後影像以一縮小因數縮小為具有一第二尺寸的一第一調整後影像；對該第一調整後影像以一第一核心尺寸的高斯核執行一第一高斯模糊(Gaussian Blur)處理以得到一模糊影像；對該模糊影像執行一雙線性內插(Bilinear Interpolation)處理以從該第二尺寸放大為具有該第一尺寸的一第二調整後影像；對該第二調整後影像執行一第一減法處理，以從該第二調整後影像減去該增強後影像，以產生一雜訊相關影像；對該雜訊相關影像以具有一第二核心尺寸的高斯核執行一卷積運算，以產生一第二模糊影像；對該第二模糊影像執行一第二增強處理，以將該第二模糊影像乘上一第二增強因數，並產生具有該第一尺寸的一減法遮罩；對該輸入影像執行一第二減法處理，以從該輸入影像減去該減法遮罩，以產生一輸出影像。

本發明的其中一有益效果在於，本發明所提供的快速抑制數位影像中的背景高頻雜訊的資料處理方法，具有以下優點：

1.可用於超高速雜訊抑制，且不需任何額外硬體配置。

2.與現有基於模糊的去雜訊演算法不同，不需抑制原始影像的解析度。

3.可在雜訊強度比目標訊號強度更強的情形下，以超高速處理時間復原目標訊號的資訊。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

以下是通過特定的具體實施例來說明本發明所公開有關“快速抑制數位影像中的背景高頻雜訊的資料處理方法”的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不背離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

圖1為根據本發明一實施例繪示的資料處理方法的流程圖。參閱圖1所示，本發明一實施例提供一種快速抑制數位影像中的背景高頻雜訊的資料處理方法，其可在包括一或多個處理器(例如中央處理器及影像處理器)及儲存器的計算裝置上實現。例如，中央處理器及影像處理器可經配置從儲存器存取電腦可讀取指令，以控制計算裝置執行本發明提供的資料處理方法。

儲存器為可用以儲存資料的任何儲存裝置，可為例如，但不限於隨機存取記憶體(random access memory；RAM)、唯讀記憶體(read only memory；ROM)、快閃記憶體、硬碟或其他可用以儲存資料的儲存裝置。

計算裝置可例如由資料庫、一般處理器、影像處理器、計算機、伺服器、或其他具特定邏輯電路的獨特硬體裝置或具特定功能的設備來實作，如將程式碼和處理器/晶片整合成獨特硬體。更詳細地說，資料處理方法可使用電腦程式實現，電腦程式可儲存於一非暫態電腦可讀取記錄媒體中，例如唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。

參閱圖1所示，資料處理方法包括配置一影像處理器執行下列步驟：

步驟S10：取得輸入影像INPUT。

其中，輸入影像INPUT具有第一寬度及第一高度，且包括多個像素或多個資料點。並且，需要注意的，輸入影像INPUT必須為未經過任何類型的低通濾波器處理過的影像，以避免將原本的輸入影像INPUT中的高頻部分的強度分佈到其較暗的鄰近部分，而無法在後續步驟中產生有效的減法遮罩。

請參考圖2，其為根據本發明一實施例繪示的輸入影像的示意圖。輸入影像INPUT可例如為一8位元的灰階數位影像，其具有10*10個像素，對應於該些資料點，且每個資料點上的數字代表該處的灰階值。

步驟S11：對輸入影像INPUT執行第一增強處理，以將輸入影像乘上第一增強因數(factor)，並產生第一增強後影像AMP1。此步驟是為了增強輸入影像INPUT的影像中較弱的低頻資訊，最好能夠接近飽和。

其中，第一增強處理可由下式(1)表示：

…式(1)；

其中，

為輸入影像INPUT，

為第一增強後影像AMP1，r表示該些像素或該些資料點的縱軸位置，c表示該些像素或該些資料點的橫軸位置，

為第一增強因數。理想情況下，對於 8 位元的影像來說，第一增強因數可以選擇為目標最小強度乘以 255.0的倒數。在本發明的較佳實施例中，第一增強因數

的範圍可為1.0＜

≤5.0。

步驟S12：對第一增強後影像AMP1執行像素合併(pixel-binning)處理或第一雙線性內插(bilinear interpolation)處理，以將第一增強後影像AMP1以縮小因數縮小為具有第二寬度及第二高度的第一調整後影像RESIZE1。簡而言之，像素合併係用以對一目標像素的周遭像素進行合併，用以將目標像素的亮度提升。

此處，第一雙線性內插處理可用於將第一增強後影像AMP1的尺寸縮小，並在縮小的過程中將連續圖塊的連接處出現的偽影(Artifact)最小化。

其中，像素合併處理或第一雙線性內插處理可由下式(2)表示：

…式(2)；

其中，

、

為第一寬度及第一高度，

、

為第二寬度及第二高度，

為該第一調整後影像，

、

分別代表該第一調整後影像中的多個像素或多個資料點的縱軸位置及橫軸位置。

舉例而言，可將第一增強後影像AMP1以縮小因數為三來執行像素合併處理或第一雙線性內插(bilinear interpolation)處理，取得的第一調整後影像RESIZE1實質上為第一增強後影像的平滑層(Smooth layer)。

步驟S13：對第一調整後影像執行第一高斯模糊(Gaussian Blur)處理，以通過使用第一核心尺寸的高斯核對第一調整後影像RESIZE1執行卷積運算以得到第一模糊影像BLUR1。

其中，第一高斯模糊處理可由下式(3)表示：

…式(3)；

其中

為第一模糊影像BLUR1，

為第一核心尺寸。

高斯模糊實際上為一種低通濾波器，在影像處理領域中被廣泛使用，且通常用於減少影像雜訊以及降低細節層次。高斯模糊也用於電腦視覺演算法中的預先處理階段，以增強影像在不同比例大小下的影像效果。

需要說明的，為了獲得第一增強後影像AMP1的平滑層，首先進行了 3 倍縮小，並使用第一核心尺寸例如為29×29的高斯核來執行第一高斯模糊處理。倘若想要在未經像素合併處理的情況下取得類似的平滑層，則將需要一個更大尺寸的高斯核，這對於中到大型數據集來說是相當昂貴的。而在本發明的實施例中，減少尺寸的平滑層將有助於在特定應用中更好的保存有用的高頻資訊。

步驟S14：對第一模糊影像BLUR1執行第二雙線性內插(Bilinear Interpolation)處理以從第二寬度及第二高度(

)調整為具有第一寬度及第一高度(

)的第二調整後影像RESIZE2。

第二雙線性內插處理由下式(4)表示：

…式(4)；

其中，

為第二調整後影像RESIZE2。

類似的，第二雙線性內插處理可用於將第一模糊影像BLUR1的尺寸放大，並在放大的過程中將連續圖塊的連接處出現的偽影(Artifact)最小化。

步驟S15：對第二調整後影像RESIZE2及增強後影像AMP1執行第一減法處理，以從第二調整後影像RESIZE2減去增強後影像AMP1，以產生雜訊相關影像SUB1。

可進一步參考圖3，其為根據本發明一實施例繪示的雜訊相關影像SUB1的示意圖。如圖所示，步驟S15的目的在於，對應雜訊及低頻結構的位置產生零強度，同時將雜訊的鄰近區塊保留為非零強度。如圖2的框選位置

為高頻雜訊像素，其值為127，而在圖3中的相同的框選位置則為零，而該框選位置的鄰近區塊則保留為非零強度。此外，圖2中心區域的低頻結構在圖3則用零來填充。需要注意的，在第一減法處理中產生的負值的像素或資料點均以零來替代。

步驟S16：對雜訊相關影像SUB1執行第二高斯模糊處理，以通過使用第二核心尺寸的高斯核對雜訊相關影像SUB1執行卷積運算以得到第二模糊影像BLUR2。

例如，可採用將第二核心尺寸為M×M（M可例如為3）的高斯核來對雜訊相關影像SUB1執行高斯模糊，以重新分配非零強度，其目的是使雜訊相關影像SUB1中對應於雜訊的位置(由於週遭仍為非零)改變為非零值。

步驟S17：對第二模糊影像BLUR2執行第二增強處理，以將第二模糊影像BLUR2乘上第二增強因數，並產生具有第一尺寸的減法遮罩MASK。舉例來說，第二增強因數可例如為2.0以加強非零值，並獲得與背景雜訊區域對應的，且有一定強度的像素(資料點)。

可進一步參考圖4，其為根據本發明一實施例繪示的減法遮罩的示意圖。如圖4所示，在經過第二增強因數放大的減法遮罩MASK中，先前提到的框選位置的值為156，明顯高於圖2的框選位置

的127。

步驟S18：對輸入影像INPUT及減法遮罩MASK執行第二減法處理，以從輸入影像INPUT減去減法遮罩MASK，以產生輸出影像SUB2。

其中，第一減法處理、第二高斯模糊處理、第二增強處理及第二減法處理可由下式(5)表示：

…式(5)；

其中，

為輸出影像SUB2，

為第二增強因數，

為第二核心尺寸。在本發明的較佳實施例中，第二增強因數的範圍為

≤10.0，而第二核心尺寸的範圍可由M來定義，其中，M ≤ 7。

需要說明的是，M必須為大於1的奇數，且由於牽涉到計算資訊，盡可能的越低越好。在一些高頻雜訊污染嚴重的情形下，使用較高的M將有助於抑制高頻雜訊。此外，取決於高頻雜訊的污染程度，亦可使用較高的第二增強因數(

)。

可進一步參考圖5，其為根據本發明一實施例繪示的輸出影像的示意圖。如圖5所示，在從輸入影像INPUT中減去減法遮罩MASK 之後，圖2的框選位置

在圖5的框選位置

減少到零，同時保留影像中心的低頻結構。

可進一步參考圖6，其為根據本發明一實施例繪示的輸入影像集與應用本發明的資料處理方法的影像集的比較結果。

對於一些雜訊密度低、訊號強度與雜訊污染等級相當，或訊號強度比雜訊污染等級更高，並且目標訊號沒有受到太大破壞的情形下，可以直接應用高通濾波器來分離雜訊，並從原始輸入影像中減去來恢復目標訊號。然而，當雜訊的密度及強度更高時，這種方法可能無法區分被雜訊破壞的低頻資訊，尤其是在訊號強度相對較弱的情況下。

例如，當高通濾波器被應用來分離圖6左側標示有A、B、C的三張影像時，僅有A影像的雜訊可以被有效的處理。然而，當應用本發明的資料處理方法時，可以看到標示有J、K、L的三張影像均能夠有效的抑制雜訊，並還原目標訊號的資訊。

此外，為了評估處理速度，本發明的實施例進一步提供在 i7-9800X CPU以及兩個支持 CUDA的GPU，Quadro P1000及Quadro RTX 8000（CUDA核心數分別為640及4608）上執行本發明的資料處理方法。

請參考圖7，其為根據本發明一實施例針對i7-9800X CPU、Quadro P1000 GPU及Quadro RTX 8000 GPU繪製的輸入影像尺寸的處理時間的曲線圖。對於小的影像尺寸，9800X、P1000及RTX 8000的處理時間是相同的。然而，隨著影像尺寸變大，CPU 處理時間往往呈指數增長，如i7-9800X CPU的曲線所示。而9800X、P1000等GPU相較於CPU，其處理時間有明顯成長。

此外，從圖7可知，在 10000 × 10000影像尺寸（8位元）下， i7-9800X CPU的處理時間大於250ms，而RTX 8000的處理時間則小於20ms，表明性能至少提高了12 倍以上。類似的，對於 1000 × 1000 大小的 8 位圖像，RTX 8000 處理時間小於300µs。換言之，證明了本發明所提供的快速抑制數位影像中的背景高頻雜訊的資料處理方法，在針對1000×1000大小的8位元輸入影像進行去雜訊處理時，可達到半次毫秒(sub-half-millisecond)等級的處理速度。

[實施例的有益效果]

1.可用於高達半次毫秒(sub-half-millisecond)等級的超高速雜訊抑制，且不需任何額外硬體配置。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。

INPUT:輸入影像 AMP1:第一增強後影像 RESIZE1:第一調整後影像 BLUR1:第一模糊影像 RESIZE2:第二調整後影像 SUB1:雜訊相關影像 BLUR2:第二模糊影像 MASK:減法遮罩 SUB2:輸出影像

圖1為根據本發明一實施例繪示的資料處理方法的流程圖。

圖2為根據本發明一實施例繪示的輸入影像的示意圖。

圖3為根據本發明一實施例繪示的雜訊相關影像的示意圖。

圖4為根據本發明一實施例繪示的減法遮罩的示意圖。

圖5為根據本發明一實施例繪示的輸出影像的示意圖。

圖6為根據本發明一實施例繪示的輸入影像集與應用本發明的資料處理方法的影像集的比較結果。

圖7為根據本發明一實施例針對i7-9800X CPU、Quadro P1000 GPU及Quadro RTX 8000 GPU繪製的輸入影像尺寸的處理時間的曲線圖。

代表圖為流程圖，故無符號簡單說明。

Claims

一種快速抑制數位影像中的背景高頻雜訊的資料處理方法，其包括配置一影像處理器執行下列步驟：取得一輸入影像，其中該輸入影像具有一第一寬度及一第一高度，且包括多個像素或多個資料點；對該輸入影像執行一第一增強處理，以將該輸入影像乘上一第一增強因數，並產生一第一增強後影像；對該第一增強後影像執行一像素合併(pixel-binning)處理或一第一雙線性內插(Bilinear Interpolation)處理，以將該第一增強後影像以一縮小因數進行調整(resize)，以產生一第一調整後影像，係具有以該縮小因數小於該第一寬度的一第二寬度，以及以該縮小因數小於該第二高度的一第二高度；對該第一調整後影像執行一第一高斯模糊(Gaussian Blur)處理，以通過使用一第一核心尺寸的高斯核對該第一調整後影像執行卷積運算以得到一第一模糊影像；對該第一模糊影像執行一第二雙線性內插(Bilinear Interpolation)處理以將該第一模糊影像從該第二寬度及該第二高度放大為具有該第一寬度及該第一高度的一第二調整後影像；對該第二調整後影像及該第一增強後影像執行一第一減法處理，以從該第二調整後影像減去該第一增強後影像，以產生一雜訊相關影像；對該雜訊相關影像執行一第二高斯模糊處理，以通過使用一第二核心尺寸的高斯核對該雜訊相關影像執行卷積運算以得到一第二模糊影像；對該第二模糊影像執行一第二增強處理，以將該第二模糊影像乘上一第二增強因數，並產生具有該第一寬度及該第一高度的一減法遮罩；對該輸入影像及該減法遮罩執行一第二減法處理，以從該輸入影像減去該減法遮罩，以產生一輸出影像。
如請求項1所述的資料處理方法，其中，該第一增強處理係由下式表示：
；其中
為該輸入影像，
為該第一增強後影像， r表示該些像素或該些資料點的縱軸位置， c表示該些像素或該些資料點的橫軸位置，
為該第一增強因數。
如請求項2所述的資料處理方法，其中，1.0＜
≤5.0。
如請求項2所述的資料處理方法，其中該像素合併處理或該第一雙線性內插處理係由下式表示：
；其中，
、
為該第一尺寸的縱軸長度及橫軸長度，
、
為該第二尺寸的縱軸長度及橫軸長度，
為該第一調整後影像，
、
分別代表該第一調整後影像中的多個像素或多個資料點的縱軸位置及橫軸位置。
如請求項4所述的資料處理方法，其中該縮小因數為3。
如請求項4所述的資料處理方法，其中，該第一高斯模糊處理係由下式表示：
；其中
為該模糊影像，
為該第一核心尺寸。
如請求項6所述的資料處理方法，其中該第一核心尺寸為29
29。
如請求項6所述的資料處理方法，其中該第二雙線性內插處理由下式表示：
，其中
為該第二調整後影像。
如請求項1所述的資料處理方法，其中該第一減法處理、該第二高斯模糊處理、該第二增強處理及該第二減法處理係由下式表示：
；其中，
為該輸出影像，
為該第二增強因數，
為該第二核心尺寸。
如請求項9所述的資料處理方法，其中
≤10.0，M ≤ 7。