TWI401943B - 用於一影像處理系統之影像處理方法及其相關影像處理裝置 - Google Patents

Description

用於一影像處理系統之影像處理方法及其相關影像處理裝置

本發明係指一種於用於一影像處理系統之影像處理方法及其相關影像處理裝置，尤指一種可有效抑制調升過度及背景雜訊的影像處理方法及其相關影像處理裝置。

在習知數位影像處理系統中，影像處理器可能會對數位影像訊號進行隔行至逐行掃描轉換(針對交錯類型的訊號而言)、影像縮放處理、位移和邊緣檢測與插補以及色彩空間轉換等等。這些影像處理中有某些運作需使用低通內插濾波器，會造成影像銳利度降低。例如，在NTSC規格的電視廣播訊號顯示系統中，係以交錯的隔行掃描方式來顯示影像資料。隔行掃描方式係因應傳統陰極射線管(CRT)的運作特性而產生，用以於每一畫面的顯示過程中掃瞄顯示幕兩次，工作原理係將一影像畫面分割成兩個圖場，其中一圖場係由奇數掃瞄線組成，而另一圖場則係由偶數掃瞄線組成。至於隔行掃描到逐行掃描的轉換，由於其轉換過程中會利用到低通濾波處理，故會降低逐行掃描後之影像銳利度。此外，影像縮放處理也會造成影像銳利度降低的情形。影像縮放處理係放大或縮小一特定格式之影像，以使其符合另一種格式。例如，畫面長寬比為4：3的標準NTSC影像必須進行水平及垂直縮放處理，才能顯示在長寬比為16：9的顯示幕上。亦即，電視接收到的訊號必須經過縮放處理，以產生符合所欲顯示之格式的影像資料。此一運作過程同樣包含有低通內插的處理程序，故亦會導致縮放後之影像銳利度降低的問題。

一般而言，任何包含有低通內插濾波特性的影像處理過程，都會導致部分影像細節的損失。因此，習知技術通常會在影像資料處理過程的某些環節當中，增加控制影像銳利度的步驟。常見的方式係利用峰化(Peaking)處理來使影像中的邊緣部位更加銳利化，以加強影像邊緣的視覺效果。然而，習知的峰化處理程序卻往往會導致影像的邊緣部位有調升過度(overshoot)的不良情形發生，因而降低了影像的畫質。

請參考第1圖，第1圖為習知銳利化控制單元10之方塊圖。銳利化控制單元10包含有一高通濾波器100、一核化(Coring)運算單元102、一乘法器104及一加法器106。高通濾波器100會對輸入影像訊號進行高通濾波處理。接著，核化運算單元102對濾波後之影像訊號進行非線性核化函數運算，其所對應的輸入及輸出關係係如第2圖所示。由第2圖可知，只有在雜訊水準(以臨界值Th表示)兩旁的資料才會被用到，以消除資料中的雜訊，並將低於臨界值的資料降至0。接著，乘法器104將核化運算單元102的運算結果乘上一縮放因子(Scaling Factor，又稱為增益)SF以增加或降低訊號量值，然後再與原始的影像進行合併。

在銳利化控制單元10，高頻的資訊會通過高通濾波器100，故前述的銳利度調整程序會加強影像中較高頻的邊緣，亦即，僅有點狀物和對角線的部分會有加強的效果。換句話說，銳利化控制單元10可大幅增強硬邊緣(Hard Edge)的銳利度，但對於軟邊緣(Soft Edge)的銳利度增強效果則非常有限。此處所稱之軟邊緣係指視覺上並非特別顯著之邊緣，如影像中較為模糊的邊緣或是由些微亮度變化所形成的影像邊緣。硬邊緣則指在視覺上非常明顯而清晰可見的邊緣，如強烈對比或劇烈亮度變化所形成的影像邊緣。第1圖之銳利化控制單元100會利用乘法器104調整影像訊號的增益。由於高通濾波器100濾波後之影像訊號中與軟邊緣相對應的成分是非常小的值，即使調整了增益，軟邊緣部分的影像銳利度亦僅能獲得相當有限的增強效果。相反地，濾波後之影像訊號中與硬邊緣相對應的成分是非常大的值，在調整了增益之後，硬邊緣部分的影像銳利度能獲致非常顯著的增強效果。但這不是理想的情況，因為硬邊緣在定義上原本就是原始影像中非常清晰可見的邊緣，故實際上應該加強的部分是軟邊緣的部分。然而，倘若將縮放因子SF提升到足以有效加強軟邊緣的水準，則會導致硬邊緣部分的影像產生調升過度(Overshoot)且背景雜訊亦會被放大。因此，為了避免造成影像硬邊緣部分產生調升過度的不良結果，習知的銳利化控制單元100僅能提供軟邊緣相當有限的銳利度增強效果。

因此，本發明之主要目的即在於提供用於一影像處理系統之影像處理方法及其相關影像處理裝置。

本發明揭露一種用於一影像處理系統之影像處理方法，用以提升經銳利化處理後之影像的品質，包含有接收複數個原始影像資料；對該複數個原始影像資料進行銳利化處理，以產生複數個銳利化影像資料；根據該複數個原始影像資料，調整該複數個銳利化影像資料；以及輸出調整後之該複數個銳利化影像資料。

本發明另揭露一種用於一影像處理系統之影像處理裝置，用以提升經銳利化處理後之影像的品質，包含有一接收端，用來接收複數個原始影像資料；一銳利化控制單元，耦接於該接收端，用來對該複數個原始影像資料進行銳利化處理，以產生複數個銳利化影像資料；一銳利化補償單元，耦接於該接收端與該銳利化控制單元，用來根據該複數個原始影像資料，調整該複數個銳利化影像資料；以及一輸出端，耦接於該銳利化補償單元，用來輸出調整後之該複數個銳利化影像資料。

請參考第3圖，第3圖為本發明實施例用於一影像處理系統之影像處理流程30之示意圖。影像處理流程30可提升經銳利化處理後的影像品質，其包含以下步驟：步驟300：開始。

步驟302：接收複數個原始影像資料。

步驟304：對該複數個原始影像資料進行銳利化處理，以產生複數個銳利化影像資料。

步驟306：根據該複數個原始影像資料，調整該複數個銳利化影像資料。

步驟308：輸出調整後之該複數個銳利化影像資料。

步驟310：結束。

根據影像處理流程30，本發明係於原始影像資料經銳利化處理後，根據原始影像資料之值，調整銳利化影像資料。換句話說，當原始影像資料經銳化處理後，本發明會根據原始影像資料，調整銳利化後的影像資料，以避免調升過度並防止背景雜訊被放大。

在影像處理流程30中，步驟304係對原始影像資料進行銳利化處理，其可以任何銳利化處理流程實現，如先將原始影像資料進行高通濾波運算及核化運算後，再將核化運算結果乘以一增益值並與原始影像資料累加，以產生銳利化影像資料。另外，較佳地，步驟306係根據原始影像資料之最大值與最小值，調整經銳利化處理後的影像資料。舉例來說，若一銳利化影像資料之值大於複數個原始影像資料之最大值時，可將該銳利化影像資料之值設為該複數個原始影像資料之最大值或將該銳利化影像資料之值除以一預設值，以衰減該銳利化影像資料之值。相反地，若一銳利化影像資料之值小於複數個原始影像資料之最小值時，則可將該銳利化影像資料之值設為該複數個原始影像資料之最小值或將該銳利化影像資料之值乘以一預設值，以放大該銳利化影像資料之值。如此一來，可避免調升過度及背景雜訊被放大的問題。

在習知技術中，當透過提升縮放因子(即增益值)以加強軟邊緣時，硬邊緣部分的影像會產生調升過度的現象，且背景雜訊亦會被放大，因而造成影像品質下降。相較之下，本發明係根據原始影像資料之極值，適度調整銳利化後的資料。因此，當提升軟邊緣部分影像的強度時，本發明可抑制硬邊緣部分的影像產生調升過度的現象，並避免背景雜訊被放大。

關於影像處理流程30的硬體實現，請參考第4圖，第4圖為本發明實施例用於一影像處理系統之一影像處理裝置40之示意圖。影像處理裝置40可提升經銳利化處理後之影像品質，其包含有一接收端400、一銳利化控制單元402、一銳利化補償單元404及一輸出端406。在影像處理裝置40中，銳利化控制單元402用以對接收端400所接收之原始影像資料IN(m)~IN(n)進行銳利化處理，以產生銳利化影像資料IN_S(m)~IN_S(n)，而銳利化補償單元404則根據原始影像資料IN(m)~IN(n)調整銳利化影像資料IN_S(m)~IN_S(n)，並透過輸出端406輸出調整結果OUT。因此，當原始影像資料IN(m)~IN(n)經銳利化控制單元402銳化處理後，銳利化補償單元404會根據原始影像資料IN(m)~IN(n)，調整銳利化後的影像資料IN_S(m)~IN_S(n)，以避免調升過度並防止背景雜訊被放大。

在第4圖中，銳利化控制單元402可以是任何可實現銳利化運算的電路或裝置等，如第1圖之銳利化控制單元10。另一方面，較佳地，銳利化補償單元404係根據原始影像資料IN(m)~IN(n)之最大值與最小值，調整銳利化影像資料IN_S(m)~IN_S(n)。舉例來說，若一銳利化影像資料IN_S(i)之值大於原始影像資料IN(m)~IN(n)之一最大值MAX時，可將銳利化影像資料IN_S(i)之值設為最大值MAX，以衰減銳利化影像資料IN_S(i)之值；相反地，若銳利化影像資料IN_S(i)之值小於原始影像資料IN(m)~IN(n)之最小值MIN時，則可將銳利化影像資料IN_S(i)之值設為最小值MIN，以放大該銳利化影像資料之值。在此情形下，銳利化補償單元404可以以下程式碼實現(相關函式運算係業界所習知，不再贅述)：MAX＝max(IN(m),IN(m＋1),...IN(n－1),IN(n)) MIN＝min(IN(m),IN(m＋1),...IN(n－i),IN(n)) if(IN_S(i)>MAX) OUT＝MAX； else if(IN_S(i)<MIN) OUT＝MIN； else OUT＝IN_S(i)； end 除此之外，亦可於銳利化影像資料IN_S(i)之值大於最大值MAX時，將銳利化影像資料IN_S(i)之值除以一預設值，以及於銳利化影像資料IN_S(i)之值小於最小值MIN時，將銳利化影像資料IN_S(i)之值乘以該預設值，則對應的程式碼如下：MAX＝max(IN(m),IN(m＋1),...IN(n－1),IN(n)) MIN＝min(IN(m),IN(m＋1),...IN(n－1),IN(n)) if(IN_S(i)>MAX) OUT＝IN_S(i)/A； else if(IN_S(i)<MIN) OUT＝IN_S(i)* B； else OUT＝IN_S(i)； end 其中，A、B表示預設值。

特別注意的是，上述程式碼僅為實現銳利化補償單元404之實施例，本領域具通常知識者當可設計符合需求之電路、程式碼等，而不限於此。

綜上所述，本發明係根據原始影像資料之極值，適度調整銳利化後的資料。因此，當提升軟邊緣部分影像的強度時，本發明可有效抑制硬邊緣部分的影像產生調升過度的現象，並避免背景雜訊被放大。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10．．．銳利化控制單元

100．．．高通濾波器

102．．．核化運算單元

104．．．乘法器

106．．．加法器

30．．．影像處理流程

300、302、304、306、308、310．．．步驟

40．．．影像處理裝置

400．．．接收端

402．．．銳利化控制單元

404．．．銳利化補償單元

406．．．輸出端

IN(m)~IN(n)．．．原始影像資料

IN_S(m)~IN_S(n)．．．銳利化影像資料

OUT．．．調整結果

第1圖為習知銳利化控制單元之方塊圖。

第2圖非線性核化函數運算所對應之輸入及輸出關係示意圖。

第3圖為本發明實施例用於一影像處理系統之影像處理流程之示意圖。

第4圖為本發明實施例用於一影像處理系統之影像處理裝置之示意圖。

30．．．影像處理流程

300、302、304、306、308、310．．．步驟

Claims (12)

1. 一種用於一影像處理系統之影像處理方法，用以提升經銳利化處理後之影像的品質，包含有：接收複數個原始影像資料；對該複數個原始影像資料進行銳利化處理，以產生複數個銳利化影像資料；根據該複數個原始影像資料之最大值或最小值，調整該複數個銳利化影像資料；以及輸出調整後之該複數個銳利化影像資料；其中，根據該複數個原始影像資料之最大值與最小值調整該複數個銳利化影像資料，係於該複數個銳利化影像資料之一第一銳利化影像資料之值大於該複數個原始影像資料之最大值時，衰減該第一銳利化影像資料之值，而於該複數個銳利化影像資料之一第二銳利化影像資料之值小於該複數個原始影像資料之最小值時，放大該第二銳利化影像資料之值。
2. 如請求項1所述之影像處理方法，其中對該複數個原始影像資料進行銳利化處理以產生該複數個銳利化影像資料，包含有：對該複數個原始影像資料進行高通濾波運算，以產生複數個高通濾波運算結果； 對該複數個高通濾波運算結果進行核化(Coring)運算，以產生複數個核化運算結果；將該複數個核化運算結果乘以一增益值，以產生複數個邊緣加強資料；以及累加該複數個邊緣加強資料與該複數個原始影像資料，以產生該複數個銳利化影像資料。
3. 如請求項1所述之影像處理方法，其中衰減該第一銳利化影像資料之值係將該第一銳利化影像資料之值設為該複數個原始影像資料之最大值。
4. 如請求項1所述之影像處理方法，其中衰減該第一銳利化影像資料之值係將該第一銳利化影像資料之值除以一預設值。
5. 如請求項1所述之影像處理方法，其中放大該第二銳利化影像資料之值係將該第二銳利化影像資料之值設為該複數個原始影像資料之最小值。
6. 如請求項1所述之影像處理方法，其中放大該第二銳利化影像資料之值係將該第二銳利化影像資料之值乘以一預設值。
7. 一種用於一影像處理系統之影像處理裝置，用以提升經銳利化處理後之影像的品質，包含有： 一接收端，用來接收複數個原始影像資料；一銳利化控制單元，耦接於該接收端，用來對該複數個原始影像資料進行銳利化處理，以產生複數個銳利化影像資料；一銳利化補償單元，包含有：一極值判斷單元，耦接於該接收端，用來判斷該複數個原始影像資料之最大值或最小值；以及一限制器，耦接於該極值判斷單元與該銳利化控制單元，用來根據該複數個原始影像資料之最大值或最小值，調整該複數個銳利化影像資料；以及一輸出端，耦接於該銳利化補償單元，用來輸出調整後之該複數個銳利化影像資料；其中，該限制器係於該複數個銳利化影像資料之一第一銳利化影像資料之值大於該複數個原始影像資料之最大值時，衰減該第一銳利化影像資料之值，或於該複數個銳利化影像資料之一第二銳利化影像資料之值小於該複數個原始影像資料之最小值時，放大該第二銳利化影像資料之值。
8. 如請求項7所述之影像處理裝置，其中該銳利化控制單元包含有：一高通濾波器，耦接於該接收端，用來對該複數個原始影像資料進行高通濾波運算，以產生複數個高濾波運算結果；一核化(Coring)運算單元，耦接於該高通濾波器，用來對該 複數個高濾波運算結果進行核化運算，以產生複數個核化運算結果；一乘法器，耦接於該核化運算單元，用來將該複數個核化運算結果乘以一增益值，以產生複數個邊緣加強資料；以及一加法器，耦接於該乘法器及該接收端，用來累加該複數個邊緣加強資料與該複數個原始影像資料，以產生該複數個銳利化影像資料。
9. 如請求項7所述之影像處理裝置，其中該限制器衰減該第一銳利化影像資料之值係將該第一銳利化影像資料之值設為該複數個原始影像資料之最大值，以衰減該第一銳利化影像資料之值。
10. 如請求項7所述之影像處理裝置，其中該限制器衰減該第一銳利化影像資料之值係將該第一銳利化影像資料之值除以一預設值，以衰減該第一銳利化影像資料之值。
11. 如請求項7所述之影像處理裝置，其中該限制器放大該第二銳利化影像資料之值係將該第二銳利化影像資料之值設為該複數個原始影像資料之最小值，以放大該第二銳利化影像資料之值。
12. 如請求項7所述之影像處理裝置，其中該限制器放大該第二 銳利化影像資料之值係將該第二銳利化影像資料之值乘以一預設值，以放大該第二銳利化影像資料之值。