TWI720513B

TWI720513B - 影像放大方法

Info

Publication number: TWI720513B
Application number: TW108120794A
Authority: TW
Inventors: 李宇軒; 余念恩; 蔡正義
Original assignee: 元智大學
Priority date: 2019-06-14
Filing date: 2019-06-14
Publication date: 2021-03-01
Also published as: TW202046243A

Abstract

本發明係一種影像放大方法，包含針對整個影像，利用每四個原始像素產生相對應的四個目標像素(Target pixel)，其中原始像素點和目標像素之間具有強烈的空間關聯性，尤其是梯度資訊包含水平及垂直梯度，而梯度是承襲原始像素點的紋理，因而利用內插計算梯度以生成目標像素，進而達到影像縮放的目的。因此，本發明提供低複雜度的演算法架構，不僅降低了計算的負擔，又能達到高品質的影像縮放，非常適合應用於手機、平板電腦、視訊影像傳輸、多媒體嵌入式系統、視頻編碼系統的領域。

Description

影像放大方法

本發明係有關於一種影像放大方法，尤其是在影像縮放以及硬體設計方面，利用內插計算水平及垂直梯度，藉以生成目標像素，而實現快速影像縮放功能，具有4K UHD解析度吞吐量且低複雜度的特點。

由於顯示器之快速發展，使得影像之清晰度越趨進步。影像顯示科技有差距是源於顯示器和來源之大小不同，主要是因為顯示的清晰度優於原始影像。

影像縮放能使用於各種生活常見的顯示平台，比如手機、電腦、電視、相機或電子看板，這些顯示媒體大小尺寸不一，要如何在不同顯示器顯示同一解析度的影像或是固定解析度的儀器上顯示不同解析度的圖像，一直是大家在研究的重要議題。

眾所周知，影像放大演算法可有效提升此差異，而通常品質良好的影像縮放需要較複雜的運算，所以會需要比較好的硬體效能。普遍來說，精密的影像放大演算法利用邊界偵測和濾波器去加強結果，然而卻會增加許多的計算效能。

此外，全高清(Full-HD)已成為基本需求，4K的市場需求也在漸漸提升中，甚至2020之冬季奧運也宣布將採用8K進行傳播。然而，現今影像還是停留低畫質，比如1080P，或甚至是720P。

簡言之，目前常用的影像縮放基本演算法有三種，分別為相鄰內插(Nearest Neighbor Interpolation)、雙線性內插(Bilinear Interpolation)、雙立方內插(Bicubic Interpolation)。

相鄰內插法是最簡單也最快速的演算法，主要是直接選取最鄰近的像素點以產生圖像，但是會造成影像塊效應(Blocking Artifact)，使得生成的圖片有明顯的鋸齒狀，影響圖像品質。

雙線性內插是使用相鄰的四個像素(2x2)，並在兩個方向分別進行線性差值，也就是等比平均，這個方法不易產生鋸齒缺點，但是放大的圖片會有模糊的現象，影響清析度。

雙立方內插改進了雙線性差值的演算法，是目前比較常用的演算法，使用原圖中的十六個像素點(4x4)，因此，圖片放大後模糊的程度比雙線性內插來得輕微，不過缺點是運算時間較久，降低整體處理速度。

換言之，上述習用技術無法達到4K UHD解析度的吞吐量需求。

因此，非常需要一種創新的影像放大方法，主要是基於梯度計算之內插法以考量原始來源的紋理，進而利用垂直與水平梯度以進行做計算，不僅可承襲來源紋路，甚至利用空間相關性以擴展到目標像素，所以在省去邊界偵測和濾波器時，卻依然維持影像放大後的品質，並在1080升至4K時，相對擁有較好的運算效能和視覺品質，藉以解決上述習用技術的所有問題。

本發明之主要目的在於提供一種影像放大方法，係用以放大具多個像素的影像資料，主要包含以下步驟：步驟S1，接收影像資料；步驟S10，擷取影像資料中相鄰的四原始像素，包含第一原始像素、第二原始像素、第三原始像素、第四原始像素；步驟S20，計算四原始像素所對應的四距離參數，分別代表四原始像素所包圍之四邊形的四邊長；步驟S40，計算四原始像素中某一原始像素的水平梯度及垂直梯度；步驟S50，計算原始像素所對應之目標像素的水平梯度及垂直梯度，該目標像素為第一目標像素、第二目標像素、第三目標像素或第四目標像素；步驟S60，利用目標像素的水平梯度及垂直梯度以計算目標像素；如果還未完成第一目標像素、第二目標像素、第三目標像素以及第四目標像素，則回到步驟S30；如果還未完成成影像資料的所有像素，則回到步驟S10；以及結束。

更具體而言，第一原始像素、第二原始像素、第三原始像素、第四原始像素分別為SA、SB、SC、SD；四距離參數為Gx1、Gy1、Gx2、Gy2，且Gx1=SB-SA、Gy1=SC-SA、Gx2=SD-SC、Gy2=SD-SB；原始像素的水平梯度及垂直梯度是表示成yi*Gxi/Gyi及xi*Gyi/Gxi， xi,yi為梯度的加權因數，i=1、2、3、4。

此外，第一、第二、第三、第四標像素是分別表示成：Ta=1/2(SA+y1*Gx1/Gy1+SA+x1*Gy1/Gx1)、Tb=1/2(SB+y2*Gx1/Gy2+SB-x2*Gy2/Gx1)、Tc=1/2(SC+x3*Gy1/Gx2+SC-y3*Gx2/Gy1)、Td=1/2(SD-x4*Gy2/Gx2+SD-y4*Gx2/Gy2)。

本發明的影像放大方法利用基於梯度計算之內插法，同時考量原始來源的紋理，藉原始像素點而採取垂直與水平梯度的方式做運算，進而將影像從1080p放大至4K。因此，雖然沒有使用需要複雜運算的邊界偵測和濾波器，卻依然維持影像放大後的品質，且所需的硬體效能相對較低。

以下配合圖示及元件符號對本發明之實施方式做更詳細的說明，俾使熟習該項技藝者在研讀本說明書後能據以實施。

請參考第一圖，本發明實施例影像放大方法的操作流程圖。如第一圖所示，本發明的影像放大方法包括步驟S1、S20、S30、S40、S50、S60、S70、S80，用以對輸入的影像資料進行影像放大功能，可大幅降低計算量，提高處理速度，並保持高品質的影像。

首先，本發明的影像放大方法是從步驟S1開始，接收具有以矩陣方式排列之多個像素的影像資料，並進入步驟S10，擷取影像資料中相鄰的四原始像素(Source Pixel)，如第二圖所示，包含第一原始像素SA、第二原始像素SB、第三原始像素SC、第四原始像素SD，分別代表左上、右上、左下、右下共四個角落的像素。

在步驟S30中，計算第一原始像素SA的水平梯度及垂直梯度，分別為Gx1/Gy1及Gy1/Gx1，並在步驟S40中，計算第一目標像素(Target Pixel)Ta的水平梯度及垂直梯度，分別為y1*Gx1/Gy1及x1*Gy1/Gx1，其中x1,y1為梯度的加權因數，接著在步驟S50中，利用水平梯度及垂直梯度以計算第一目標像素Ta，亦即，Ta=1/2(SA+y1*Gx1/Gy1+SA+x1*Gy1/Gx1)。

之後，在步驟S60中判斷是否完成四目標像素。如果還未完成，比如本實例中目前只完成第一目標像素Ta，另有第二目標像素Tb、第三目標像素Tc、第四目標像素Td未完成，則回到步驟S30，重複執行步驟S30至S50，藉以產生其餘的第二目標像素Tb、第三目標像素Tc、第四目標像素Td。如果已完成四目標像素，則進入步驟S70，判斷是否完成影像資料的所有像素。如果未完成所有像素，則回到步驟S10，重複執行步驟S10至S60，直到完成所有像素為止，最後進入步驟S80，結束。

具體而言，針對第二原始像素SB、第三原始像素SC、第四原始像素SD重複執行步驟S30至S50，可產生第二目標像素Tb、第三目標像素Tc、第四目標像素Td，並分別表示成： Tb=1/2(SB+y2*Gx1/Gy2+SB-x2*Gy2/Gx1)， Tc=1/2(SC+x3*Gy1/Gx2+SC-y3*Gx2/Gy1)， Td=1/2(SD-x4*Gy2/Gx2+SD-y4*Gx2/Gy2)，其中x2、y2、x3、y3、x4、y4為梯度的加權因數。要注意的是，上述的加權因數x1、y1、x2、y2、x3、y3、x4、y4是預設值，可為0至1之間。

進一步而言，本發明的方法利用水平梯度及垂直梯度的內插方式，將解析度為NxM像素的原始影像資料放大成解析度為(3N-2)X(3M-2)的放大影像資料，亦即放大將近9倍，其中N、M為大於1的正整數。

綜上所述，本發明的特點在於省去需要複雜運算的邊緣偵測和濾波器，轉而利用基於梯度計算之內插法，並同時考量原始來源的紋理，利用原始像素點而採取垂直與水平梯度的方式做運算，進而將影像從1080p放大至4K，雖然沒有使用邊界偵測和濾波器，卻依然維持影像放大後的品質，且所需的硬體效能相對較低。

以上所述者僅為用以解釋本發明之較佳實施例，並非企圖據以對本發明做任何形式上之限制，是以，凡有在相同之發明精神下所作有關本發明之任何修飾或變更，皆仍應包括在本發明意圖保護之範疇。

S1、S10、S20、S30、S40:步驟 S50、S60、S70、S80:步驟 SA:第一原始像素 SB:第二原始像素 SC:第三原始像素 SD:第四原始像素 Ta:第一目標像素 Tb:第二目標像素 Tc:第三目標像素 Td:第四目標像素

第一圖顯示依據本發明實施例影像放大方法的操作流程圖。第二圖顯示依據本發明實施例影像放大方法中四原始像素及四目標像素的示意圖。

S1、S10、S20、S30、S40:步驟

S50、S60、S70、S80:步驟

Claims

一種影像放大方法，用用以放大具有以矩陣方式排列之一影像資料料，包括：步驟S1，接收該影像資料；步驟S10，擷取該影像資料中相鄰的四原始像素，包含一第一原始像素、一第二原始像素、一第三原始像素、一第四原始像素，是分別代表位於該影像資料的左上、右上、左下、右下共四個角落的像素；步驟S20，計算該四原始像素所對應的四距離參數，分別代表該四原始像素所包圍之一四邊形的四邊長；步驟S30，計算該四原始像素中某一原始像素的一水平梯度及一垂直梯度；步驟S40，計算該原始像素所對應之一目標像素的一水平梯度及一垂直梯度，該目標像素為一第一目標像素、一第二目標像素、一第三目標像素或一第四目標像素，且該目標像素是位於該第一原始像素、該第二原始像素、該第三原始像素以及該第四原始像素所包圍的一區域內，而不與該第一原始像素、該第二原始像素、該第三原始像素以及該第四原始像素在同一列，也不與該第一原始像素、該第二原始像素、該第三原始像素以及該第四原始像素在同一行；步驟S50，利用該目標像素的水平梯度及垂直梯度以計算該目標像素；如果還未完成該第一目標像素、該第二目標像素、該第三目標像素以及該第四目標像素，則回到該步驟S30；如果還未完成成該影像資料的所有像素，則回到該步驟S10；以及結束，其中該影像資料是包含1080或720個像素，該步驟S10中該第一原始像素、該第二原始像素、該第三原始像素、該第四原始像素分別為SA、SB、SC、SD，該步驟 S20中該四距離參數為Gx1、Gy1、Gx2、Gy2，且Gx1=SB-SA、Gy1=SC-SA、Gx2=SD-SC、Gy2=SD-SB，該步驟S30中該原始像素的水平梯度及垂直梯度是表示成yi*Gxi/Gyi及xi*Gyi/Gxi，xi及yi為梯度的加權因數，i=1、2、3、4，該步驟S50中，該第一目標像素是表示成Ta=1/2(SA+y1*Gx1/Gy1+SA+x1*Gy1/Gx1)，該第二目標像素是表示成Tb=1/2(SB+y2*Gx1/Gy2+SB-x2*Gy2/Gx1)，該第三目標素是表示成Tc=1/2(SC+x3*Gy1/Gx2+SC-y3*Gx2/Gy1)，該第四目標像素是表示成Td=1/2(SD-x4*Gy2/Gx2+SD-y4*Gx2/Gy2)。
依據申請專利範圍第1項所述之影像放大方法，其中該影像資料的該等像素是以一矩陣方式排列。