TWI466063B - 影像內插的處理方法 - Google Patents

Description

影像內插的處理方法

本發明是有關於一種影像內插的處理方法，且特別是有關於一種強化邊緣效果的影像內插處理方法。

目前普遍使用於影像放大的方法可分為內插法以及超解析度(super-resolution)，內插放大影像的方法，習知技術有雙線性內插法(bilinear interpolation)、雙立方內插法(bicubic interpolation)等，來對影像做各種不同的影像放大。超解析度方法之運算複雜度較內插法為高，常需要大量的訓練樣本資料，建立放大模型，以作為預測原始影像放大之依據，因此需要較多的計算時間。

雙線性內插法目前應用相當普遍，其方法是先後對水平及垂直方向做鄰近兩個像素點的內插，雖然簡單且運算速度快，但是因缺乏影像高頻資訊而導致放大後的影像模糊，且容易產生區塊效應(block effect)。

雙立方內插法是參考原始影像中四個像素點的亮度值，乘上其權重值以決定其內插結果的亮度值。相較於雙線性內插法，利用雙立方內插法放大後的影像，其邊緣銳利程度效果較好，但隨著邊緣銳利程度的提升，影像邊緣的過衝(overshoot)現象也隨之增加。此外，當放大倍率調高時，利用雙立方內插法放大後的影像與真實光學放大的影像結果差距愈來愈大。

有鑑於此，本發明提供一種影像內插的處理方法，可依據不同的邊緣型態選擇不同的內插處理方法，以提高放大後的影像在邊緣區域的影像品質。

本發明提出一種影像內插的處理方法，包括下列步驟。首先，針對原始影像中的選定區域，利用邊緣偵測(edge detection)法偵測此選定區域有無邊緣存在，並決定此邊緣的邊緣方向。在邊緣方向的法線方向上，利用原始影像中的像素點內插出多個輪廓像素點，以構成邊緣輪廓線，其中目標像素點位於邊緣輪廓線上。接著，判斷邊緣輪廓線的亮度值變化趨勢，並找出輪廓像素點中的兩極值點。判斷目標像素點位於漸層(transition)區域或非漸層區域。若目標像素點位於非漸層區域，則根據兩極值點的亮度值與目標像素點的亮度值，計算一內插調整值。再根據此內插調整值，對選定區域進行內插處理，以獲得目標像素點的內插結果。

在本發明之一實施例中，所述之判斷邊緣輪廓線的亮度值變化趨勢之步驟包括利用在邊緣輪廓線上靠近目標像素點的多個輪廓像素點來判斷邊緣輪廓線的亮度值變化趨勢為遞增或遞減趨勢。

在本發明之一實施例中，所述之兩極值點包括最大極值點以及最小極值點。最大極值點為在邊緣輪廓線上自目標像素點位置往亮度值變化趨勢遞增方向上的輪廓像素點中具有最大亮度值者。最小極值點為在邊緣輪廓線上自目標像素點位置往亮度值變化趨勢遞減方向上的輪廓像素點中具有最小亮度值者。

在本發明之一實施例中，所述之判斷目標像素點位於漸層區域或非漸層區域包括下列步驟。根據兩極值點的亮度值與目標像素點的亮度值，判斷目標像素點的亮度值靠近兩極值點之哪一者的亮度值，定義此極值點為目標極值點。自目標像素點位置，往目標極值點的那端判斷輪廓像素點中是否有轉折點存在。若往目標極值點的那端存在著轉折點，則目標像素點位於非漸層區域。若往目標極值點的那端不存在轉折點，則目標像素點位於漸層區域。

在本發明之一實施例中，所述之自目標像素點位置，往目標極值點的那端判斷輪廓像素點中是否有轉折點存在包括下列步驟。當目標極值點位於邊緣輪廓線之左側時，若邊緣輪廓線左側多個像素點的亮度變化趨勢和邊緣輪廓線的亮度變化趨勢相反或邊緣輪廓線左側起始多個像素點亮度變化趨勢小於一門檻值，則存在轉折點，反之，則不存在轉折點；當目標極值點位於該邊緣輪廓線之右側時，若邊緣輪廓線右側多個像素點的亮度變化趨勢和邊緣輪廓線的亮度變化趨勢相反或邊緣輪廓線右側起始數個像素點亮度變化趨勢小於一門檻值，則存在轉折點，反之，則不存在轉折點。

在本發明之一實施例中，所述之根據兩極值點的亮度值與輪廓像素點的亮度值變化，計算內插調整值包括下列步驟。計算最大極值點與最小極值點之中心點，並利用最大極值點的亮度值與最小極值點的亮度值進行算術平均以獲得中心點的亮度值。此外，利用中心點的亮度值、目標像素點的亮度值與前述之目標極值點，計算此內插調整值。

在本發明之一實施例中，所述之根據內插調整值，對選定區域進行內插處理，以獲得目標像素點的內插結果的步驟包括根據內插調整值，對選定區域進行雙向性內插(bilateral interpolation)處理，以獲得目標像素點的內插結果。

在本發明之一實施例中，所述之影像內插的處理方法包括若目標像素點位於漸層區域，則對選定區域進行雙線性內插處理，以獲得目標像素點的內插結果。

在本發明之一實施例中，所述之在判斷目標像素點位於漸層區域或非漸層區域的步驟之前，更包括利用邊緣偵測法偵測選定區域內的所有像素點的邊緣強度及邊緣方向，藉以判定目標像素點的區域型別，其中區域型別包括邊緣區域、平滑(smooth)區域以及紋理(texture)區域。

在本發明之一實施例中，所述之影像內插的處理方法；若目標像素點的區域型別為邊緣區域，則接著判斷目標像素點位於漸層區域或非漸層區域；若目標像素點的區域型別為平滑區域，則對選定區域進行雙線性內插處理；若目標像素點的區域型別為紋理區域，則對選定區域進行雙立方內插處理。

基於上述，本發明所提供之影像內插的處理方法，除了可依據不同的邊緣型態選擇不同的內插處理方法，以提升放大後的影像在邊緣區域的影像品質之外，還可分辨影像是否為平滑或紋理區域，而給予不同的內插處理方法。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依照本發明一實施例所繪示之影像內插的處理方法的流程圖。請參照圖1，首先如步驟S110所示，針對原始影像中的選定區域，利用邊緣偵測(edge detection)法偵測此選定區域有無邊緣存在，並決定此邊緣的邊緣方向。圖2是依照本發明一實施例所繪示之選定區域與輪廓像素點的示意圖。搭配圖1與圖2說明如下：選定區域20為原始影像中的其中一區塊，選定區域包含多數個原始像素點OP，並利用原始像素點OP雙線性內插出一目標像素點DP，此目標像素點DP例如是位於選定區域20的中央位置。接著，可利用邊緣偵測法來計算選定區域20的邊緣強度，邊緣偵測法包括利用索貝爾運算子(Sobel operator)、Canny運算子或拉普拉斯運算子(Laplace operator)等等來計算選定區域20在四個不同方向(水平、垂直及兩對角線方向)的強度，藉以計算邊緣方向。在本實施例中，如圖2所示，邊緣方向為一垂直方向，邊緣方向的法線方向就是水平方向。

接著，如步驟S120所述，在邊緣方向的法線方向上，利用原始像素點內插出多個輪廓像素點，以構成邊緣輪廓線，其中目標像素點位於邊緣輪廓線上。如圖2所示，利用列R1與列R2上相對應的兩個原始像素點OP，即可內插出輪廓像素點IP，這些輪廓像素點IP皆位於同一水平方向以構成邊緣輪廓線，且此邊緣輪廓線與目標像素點DP位於同一直線上。

求出邊緣輪廓線後，便可執行步驟S130，判斷邊緣輪廓線的亮度值變化趨勢，並找出輪廓像素點中的兩極值點。在此須說明的是，若原始影像為灰階影像，則亮度值為像素點的灰階值；若原始影像為彩色階影像，則亮度值可為像素點的R/G/B值之組合或為像素點的明度值/彩度值之組合。

圖3是依照本發明一實施例所繪示之邊緣輪廓線的亮度值變化趨勢示意圖，(a)極值點，(b)中心點與目標極值點。請同時配合參照圖1與圖3，利用在邊緣輪廓線上靠近目標像素點的數個輪廓像素點來決定邊緣輪廓線的亮度值變化趨勢是遞增或是遞減，如圖3(a)所示，此邊緣輪廓線的亮度值變化趨勢為一遞減趨勢。接著找出輪廓像素點中的兩極值點，兩極值點包括最大極值點以及最小極值點。最大極值點為在邊緣輪廓線上自目標像素點位置往亮度變化趨勢遞增方向上的輪廓像素點中具有最大亮度值者。最小極值點為在邊緣輪廓線上自目標像素點位置往亮度變化趨勢遞減方向上的輪廓像素點中具有最小亮度值者。如圖3(a)所示，此邊緣輪廓線具有一最大極值點Max以及一最小極值點Min。

得到兩極值點後，便可執行步驟S140，判定目標像素點位於漸層(transition)區域或非漸層區域。首先，根據兩極值點的亮度值與目標像素點的亮度值，判斷目標像素點的亮度值靠近哪個極值點的亮度值，並定義較靠近之極值點為目標極值點DE。請配合參照圖3(b)，最大極值點Max與最小極值點Min之中心點C的亮度值，可由最大極值點Max的亮度值與最小極值點Min的亮度值進行算術平均得到。若目標像素點DP的亮度值大於中心點C的亮度值，則目標極值點DE為最大極值點Max；反之，則目標極值點DE為最小極值點Min。因此在圖3(b)所示之實施例，目標極值點DE即為最大極值點Max。

接下來，則自目標像素點位置，往目標極值點的那端判斷輪廓像素點中是否有轉折點存在。圖4(a)至圖4(c)繪示為三種不同端點狀況的邊緣輪廓線的範例。如圖4(a)至圖4(c)所示，由輪廓像素點所構成的邊緣輪廓線，三者的邊緣輪廓線變化趨勢均為由左至右遞減。以下即根據圖4舉例說明如何判斷邊緣輪廓線是否有轉折點存在。

請參照圖4(a)，目標極值點DE在左側，輪廓像素點IP_1、IP_2的亮度變化趨勢為由左至右遞增和邊緣輪廓線變化趨勢相反，所以判定有轉折點存在。

另參照圖4(b)，目標極值點DE在左側，左側的輪廓像素點並無和邊緣輪廓線變化趨勢相反的變化趨勢。而在左側起始的數個輪廓像素點進入一平坦區域，意即在左側起始的數個輪廓像素點之亮度值變化極小，此情況亦判定有轉折點存在。在本實施例中，若IP_1亮度值減IP_2亮度值為第一遞減差值Diff_1，IP_2亮度值減IP_3亮度值為第二遞減差值Diff_2。將第一差值Diff_1與第二差值Diff_2進行相加獲得一端點檢查值，若此端點檢查值小於一趨勢門檻值，代表邊緣輪廓線左側屬於一平坦區域或是為非由左至右遞減趨勢，因此，判定有轉折點存在。其中，趨勢門檻值可由本領域具通常知識者依據實際情況做設定。

又參照圖4(c)，目標極值點在左側，左側的輪廓像素點並無和邊緣輪廓線變化趨勢相反的變化趨勢。前述之端點檢查值也大於趨勢門檻值。意即，此邊緣輪廓線不存在任何轉折點，則判斷此目標像素點位於漸層區域。

回到圖1，在步驟S140中，藉由判斷邊緣輪廓線中是否存在轉折點，來判定目標像素點位於漸層區域或非漸層區域。若在目標極值點的那端不存在轉折點，則判定目標像素點位於漸層區域，則接續步驟S150，對選定區域直接進行雙線性內插處理，以獲得目標像素點的內插結果。若在目標極值點的那端存在著轉折點，則判定目標像素點位於非漸層區域，並且接續步驟S160。

在步驟S160中，根據兩極值點的亮度值與目標像素點的亮度值，計算一內插調整值。請配合參照圖5，利用前述之中心點C的亮度值、目標像素點DP的亮度值與前述之目標極值點的亮度值，以及搭配事先所設定的邊緣強化曲線，計算出調整後的目標像素點的內插調整值DP’。

最後，於步驟S170中，再根據此內插調整值，對選定區域進行內插處理，以獲得目標像素點的內插結果。於本實施例中，可根據此內插調整值，對選定區域進行雙向性內插(bilateral interpolation)處理，以獲得目標像素點的內插結果。雙向性內插處理，第一個權重可以是與目標像素點的距離，第二個權重可以是和內插調整值的亮度值差。

上述實施例用以說明本發明可利用判斷目標像素點位於漸層區域或非漸層區域，而適當給予不同的內插處理方法。然而上述是針對影像中的選定區域位於邊緣區域，也就是存在邊緣輪廓線的情況做處理，當影像中的選定區域屬於其他類型的影像例如是平滑(smooth)區域或紋理(texture)區域時，本發明另提供一種當選定區域不存在邊緣輪廓線的處理方法。

圖6是依照本發明另一實施例所繪示之影像內插的處理方法的流程圖。請參照圖6，圖6所示之影像內插的處理方法與圖1所示的影像內插的處理方法大致相似，故以下僅就兩者不同之處進行說明。

在判定目標像素點位於漸層區域或非漸層區域的步驟之前，更包括利用邊緣偵測法偵測選定區域內的所有像素點的邊緣強度及邊緣方向，藉以判定目標像素點的區域型別，其中區域型別包括邊緣區域、平滑區域以及紋理區域。因為若目標像素點所在的選定區域為邊緣區域，才能進一步利用邊緣像素點內插出多個輪廓像素點，以構成邊緣輪廓線，也才能判斷此目標像素點位於漸層區域或非漸層區域。若目標像素點所在的選定區域為平滑區域或紋理區域，其影像特性不同於邊緣區域的影像特性，因此給予不同的內插處理。

因此，在本實施例中，在步驟S610針對原始影像中的選定區域，利用邊緣偵測法偵測此選定區域的邊緣強度和邊緣方向之後，則接續步驟S620，判斷目標像素點所在的選定區域之區域型別。若目標像素點的區域型別為紋理區域，則接續步驟S630，對選定區域進行雙立方內插處理；若目標像素點的區域型別為平滑區域，則接續步驟S640，對選定區域進行雙線性內插處理；若目標像素點的區域型別為邊緣區域，則接續步驟S650~S690，步驟S650~S690與圖1所示之步驟S120~S170相似，故在此不再贅述。

須說明的是，本發明之影像內插的處理方法適用於各種影像擷取裝置或影像處理裝置，影像擷取裝置例如是數位相機、攝影機、或具備相機功能之手機、智慧型手機或平板電腦等；影像處理裝置例如是電腦或其他具備影像處理功能之處理器等。因此，本發明之影像內插的處理方法可由軟體、硬體或其組合實作而得，在此不加以限制。

綜上所述，本發明所提供之影像內插的處理方法，可依據影像中具不同特性的區域型別給予不同的內插處理方法。在平滑區域的影像可使用保持低雜訊效果的內插處理法；在紋理區域則利用能強化銳力程度且保持自然的細節表現的內插處理法；在邊緣區域還可依據不同的邊緣型態選擇不同的內插處理方法，若邊緣位於非漸層區域，則進行邊緣強化的內插處理，可加強影像邊緣的銳利程度；若邊緣位於漸層區域，則直接利用雙線性內插處理。據此，本發明所提供之影像內插的處理方法不會產生影像邊緣的過衝現象問題，在影像邊緣區域更能接近真實光學放大的影像結果。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

20．．．選定區域

OP．．．原始像素點

IP、IP_1~IP_3．．．輪廓像素點

Max．．．最大極值點

Min．．．最小極值點

DP．．．目標像素點

DP’．．．內插調整值

DE．．．目標極值點

R1、R2．．．與內插出輪廓像素點相關的原始像素點所在之列

C．．．中心點

S110~S170．．．影像內插的處理方法之各步驟

S610~S690．．．影像內插的處理方法之各步驟

圖1是依照本發明一實施例所繪示之影像內插的處理方法的流程圖。

圖2是依照本發明一實施例所繪示之選定區域與輪廓像素點的示意圖。

圖3是依照本發明一實施例所繪示之邊緣輪廓線的亮度值變化趨勢示意圖，(a)極值點，(b)中心點與目標極值點。

圖4(a)至圖4(c)繪示為三種不同端點狀況的邊緣輪廓線的範例。

圖5繪示為一種利用目標極值點與中心點設定內插調整值的示意圖。

圖6是依照本發明另一實施例所繪示之影像內插的處理方法的流程圖。

S110~S170．．．影像內插的處理方法之各步驟

Claims (9)

1. 一種影像內插的處理方法，包括：針對一原始影像中的一選定區域，利用一邊緣偵測法偵測該選定區域有無一邊緣存在，並決定該邊緣的一邊緣方向；在該邊緣方向的法線方向上，利用原始影像中的多個像素點內插出多個輪廓像素點，以構成一邊緣輪廓線，其中一目標像素點位於該邊緣輪廓線上；判斷該邊緣輪廓線的亮度值變化趨勢，並找出該些輪廓像素點中的兩極值點；判斷該目標像素點位於一漸層區域或一非漸層區域，包括：根據該兩極值點的亮度值與該目標像素點的亮度值，判斷該目標像素點的亮度值靠近該兩極值點之哪一者的亮度值，定義該極值點為一目標極值點；自該目標像素點位置，往該目標極值點的一端判斷該些輪廓像素點中是否有一轉折點存在；若該些輪廓像素點中存在該轉折點，該目標像素點位於該非漸層區域；以及若該些輪廓像素點中不存在該轉折點，該目標像素點位於該漸層區域；若該目標像素點位於該非漸層區域，根據該兩極值點的亮度值與該目標像素點的亮度值，計算一內插調整值；以及 根據該內插調整值，對該選定區域進行內插處理，以獲得該目標像素點的一內插結果。
2. 如申請專利範圍第1項所述之影像內插的處理方法，其中判斷該邊緣輪廓線的亮度值變化趨勢之步驟包括：利用該邊緣輪廓線上靠近該目標像素點的多個輪廓像素點來判斷該邊緣輪廓線的亮度值變化趨勢為一遞增趨勢或一遞減趨勢。
3. 如申請專利範圍第2項所述之影像內插的處理方法，其中：該兩極值點包括一最大極值點以及一最小極值點，其中該最大極值點為自該目標像素點位置往該邊緣輪廓線的亮度值變化趨勢為遞增趨勢之方向上的該些輪廓像素點中具有最大亮度值者，該最小極值點為自該目標像素點位置往該邊緣輪廓線的亮度值變化趨勢為該遞減趨勢之方向上的該些輪廓像素點中具有最小亮度值者。
4. 如申請專利範圍第1項所述之影像內插的處理方法，其中自該目標像素點位置，往該目標極值點的一端判斷該些輪廓像素點中是否有該轉折點存在的步驟包括：當該目標極值點位於該邊緣輪廓線之左側時，若該邊緣輪廓線左側多個像素點的亮度變化趨勢和該邊緣輪廓線的亮度變化趨勢相反或該邊緣輪廓線左側起始多個像素點亮度變化趨勢小於一門檻值，則存在該轉折點，反之，則不存在該轉折點；以及當該目標極值點位於該邊緣輪廓線之右側時，若該邊 緣輪廓線右側多個像素點的亮度變化趨勢和該邊緣輪廓線的亮度變化趨勢相反或該邊緣輪廓線右側起始數個像素點亮度變化趨勢小於一門檻值，則存在該轉折點，反之，則不存在該轉折點。
5. 如申請專利範圍第1項所述之影像內插的處理方法，其中根據該兩極值點的亮度值與該目標像素點的亮度值，計算該內插調整值的步驟包括：計算該最大極值點與該最小極值點之一中心點，並利用該最大極值點的亮度值與該最小極值點的亮度值進行算術平均以獲得該中心點的亮度值；若該目標像素點的亮度值大於該中心點的亮度值，則該目標極值點為該最大極值點，反之，則該目標極值點為該最小極值點；以及利用該中心點的亮度值、該目標像素點的亮度值與該該目標極值點的亮度值，計算該內插調整值。
6. 如申請專利範圍第1項所述之影像內插的處理方法，其中根據該內插調整值，對該選定區域進行內插處理，以獲得該目標像素點的該內插結果的步驟包括：根據該內插調整值，對該選定區域進行雙向性內插處理，以獲得該目標像素點的該內插結果。
7. 如申請專利範圍第1項所述之影像內插的處理方法，更包括：若該目標像素點位於該漸層區域，對該選定區域進行雙線性內插處理，以獲得該目標像素點的一內插結果。
8. 如申請專利範圍第1項所述之影像內插的處理方法，其中在判斷該目標像素點位於該漸層區域或該非漸層區域的步驟之前，更包括：利用該邊緣偵測法偵測該選定區域內的所有像素點的邊緣強度及邊緣方向，藉以判定該目標像素點的一區域型別，其中該區域型別包括一邊緣區域、一平滑區域以及一紋理區域。
9. 如申請專利範圍第8項所述之影像內插的處理方法，其中：若該目標像素點的該區域型別為該邊緣區域，接著判斷該目標像素點位於該漸層區域或該非漸層區域，若該目標像素點的該區域型別為該平滑區域，對該選定區域進行雙線性內插處理，若該目標像素點的該區域型別為該紋理區域，對該選定區域進行雙立方內插處理。