TWI386032B - 型樣偵測方法與相關的影像處理裝置 - Google Patents

Description

型樣偵測方法與相關的影像處理裝置

本發明係相關於影像中型樣之偵測，尤指一種藉由檢測一影像中至少一條像素線上像素值之變化狀況，來判斷該影像中一影像區域所對應之型樣為何的方法。

像素插補(pixel interpolation)運算是一種應用相當廣泛的影像處理技術。舉例來說，在進行視訊去交錯化(de－interlacing)處理或是影像縮放(image－scaling)處理時，便會利用像素插補運算來產生所需的像素值。一般而言，像素插補運算的成效，對插補出之影像的畫質有相當大的影響。

而在習知技術中，會使用邊緣偵測運算或移動偵測運算的結果，來作為選擇插補方式的依據(例如可選擇圖場內(intra－field)或圖場間(inter－field)的插補方式)。然而，僅依據邊緣偵測運算或移動偵測運算的結果不見得能決定出適當的插補方式，如此將可能產生不理想的插補錯誤，造成影像品質的下降，或造成動態影像呈現上的不穩定現象發生。

因此，本發明的目的之一，在於提供一種可檢測影像區域所對應之型樣的型樣偵測方法，以及相關的影像處理裝置。

本發明的實施例揭露一種型樣偵測方法，用來判斷一影像中一影像區域所對應之型樣為何。該型樣偵測方法包含有：檢測該影像中一第一像素線上第一複數個像素值之變化狀況；檢測該影像中一第二像素線上第二複數個像素值之變化狀況；以及依據檢測出該第一複數個像素值之變化狀況以及該第二複數個像素值之變化狀況，來判斷該影像區域所對應之型樣為何。其中該第一、第二像素線係對應於該影像區域。

本發明的實施例還揭露一種影像處理裝置，用來處理一影像。該影像處理裝置包含有：一線型樣偵測模組，用來檢測該影像中一第一像素線上第一複數個像素值之變化狀況以及一第二像素線上第二複數個像素值之變化狀況，以判斷該影像中一影像區域所對應之型樣為何；以及一影像處理模組，耦接於該線型樣偵測模組，用來依據該線型樣偵測模組檢測出該影像區域所對應之型樣，選擇性地執行複數種影像處理運算中的至少一種。其中，該第一、第二像素線係對應於該影像區域。

本發明所揭露之影像處理裝置以及相關方法可應用於各種相關的影像處理領域之中，例如圖像處理運算、MPEG編解碼運算、視訊解碼運算、或數位電視等等。第1圖所示為一實施例之影像處理裝置100的示意圖。於本實施例中，影像處理裝置100包含有一線型樣偵測模組(line－pattern detecting module)120以及一影像處理模組140，其中，線型樣偵測模組120係用來檢測一影像中一第一像素線上第一複數個像素值之變化狀況以及一第二像素線上第二複數個像素值之變化狀況，以判斷該影像中一影像區域所對應之型樣為何。影像處理模組140則用來依據線型樣偵測模組120檢測出該影像區域所對應之型樣，選擇性地執行複數種影像處理運算中的至少一種。

舉例來說，若欲將本實施例之影像處理裝置100應用於視訊去交錯化的處理中，則該影像可為一視訊資料中的一圖框，該圖框所對應的一圖場(其包含有該圖框中半數的掃描線)係為線型樣偵測模組120以及影像處理模組140所接收到的輸入訊號，該影像區域可為該圖框中第Y條掃描線(並未包含於該圖場中)上的一欲插補像素，該第一、第二像素線則可分別為該圖框中第Y－K、Y＋J條掃描線(包含於該圖場中)(在較佳的情況下，K與J皆等於1)。影像處理模組140可為一插補運算模組，用來依據線型樣偵測模組120檢測出該欲插補像素所對應之型樣，來選擇執行圖場內(intra－field)或圖場間(inter－field)插補運算以得出該欲插補像素；影像處理模組140亦可依據線型樣偵測模組120檢測出該欲插補像素所對應之型樣，來選擇插補運算時的插補搜尋範圍(或搜尋角度)，並據以插補得出該欲插補像素。例如當線型樣偵測模組120檢測出該欲插補像素對應於一右斜邊緣型樣時，則影像處理模組140在執行插補運算時即不需往左斜的角度進行插補範圍的搜尋。

此外，若欲將本實施例之影像處理裝置100應用於影像縮放處理之中，則該影像可為一目標影像，該目標影像中已存在的像素資訊係構成線型樣偵測模組120以及影像處理模組140所接收到的輸入訊號，該影像區域可為該目標影像中第Y條像素線(欲插補像素線)上的一欲插補像素，該第一、第二像素線則可分別為該目標影像中第Y－K、Y＋J條像素線(已存在的像素線)。影像處理模組140可為一插補運算模組，用來依依據線型樣偵測模組120檢測出該欲插補像素所對應之型樣，來選擇插補運算時的插補搜尋範圍(或搜尋角度)，並據以插補得出該欲插補像素。當然，以上所述的兩種應用僅為舉例說明，熟悉影像處理技術者，應可將本發明實施例所揭露之概念應用於各種影像(視訊)處理的相關領域之中。

而線型樣偵測模組120係用來沿著該第一、第二像素線的方向(其可為該影像的水平方向)，對該第一、第二複數個像素值進行循序的像素值運算，以得出該第一、第二複數個像素值的變化狀況，再據以判斷該影像區域所對應之型樣為何。而此處所謂「像素值的循序運算」可以有多種不同的作法，舉例而言，假設該目標像素值為P(X,Y)，該第一複數個像素值依序為P(X－5,Y－1)、P(X－4,Y－1)、......P(X＋4,Y－1)、P(X＋5,Y－1)，該第二複數個像素值依序為P(X－5,Y＋1)、P(X－4,Y＋1)、......P(X＋4,Y＋1)、P(X＋5,Y＋1)，則對於該第一像素線，線型樣偵測模組120可依序計算出J＝－4~＋5時，[P(X＋J,Y－1)－P(X＋J－1,Y－1)]的值，再將所得出的差值與至少一預設閥值作比較，若所得出的差值大於一第一預設閥值(例如＋10)，則記錄下一對應於「正(變化)」的旗標(flag)，若所得出的差值小於一第二預設閥值(例如－10)，則記錄下一對應於「負(變化)」的旗標，若所得出的差值介於該第一、第二預設閥值之間，則記錄下一對應於「無(變化)」的旗標。由於對該第二複數個像素值的運算可相同於前述，故在此不多作贅述。接下來，線型樣偵測模組120可比對前述運算所得出的旗標是否吻合於複數個預設組合的其中之一，以判斷該影像區域所對應之型樣為何。

舉例來說，若對該第一、第二複數個像素值運算得出的旗標分別吻合於「無、無、無、無、無、無、無、無、無、無」以及「無、無、無、無、無、無、無、無、無、無」時，可判斷該影像區域係對應於「平滑型樣」；若對該第一、第二複數個像素值運算得出的旗標分別吻合於「正、負、正、負、正、負、正、負、正、負」、「正、負、正、負、正、負、正、負、正、負」時，可判斷該影像區域係對應於「雜亂型樣」；若對該第一、第二複數個像素值運算得出的旗標分別吻合於「無、無、無、無、正、負、無、無、無、無」、「無、無、無、無、正、負、無、無、無、無」時，可判斷該影像區域係對應於「垂直邊緣型樣」；若對該第一、第二複數個像素值運算得出的旗標分別吻合於「無、無、無、無、無、無、正、負、無、無」、「無、無、正、負、無、無、無、無、無、無」時，可判斷該影像區域係對應於「右斜邊緣型樣」。當然，此處所舉，僅為四個較簡單的例子，設計者亦可依據影像處理模組140的運作需求，自行決定要讓線型樣偵測模組120能判斷其他哪些預設型樣(例如：低角度邊緣型樣、高角度邊緣型樣、尖端型樣、物件邊界型樣、或線段穿越型樣......)，而本發明並不以此為限。

底下將說明為何可利用旗標分佈狀況來得知影像區域所對應的型樣。舉例來說，若旗標分別吻合於「無、無、無、無、無、無、無、無、無、無」以及「無、無、無、無、無、無、無、無、無、無」時，可得知此影像區域的像素值分佈較為平均，因此吻合了第4圖中所繪示的平滑型樣之像素值分佈狀況，故可合理判斷影像區域相對應於平滑型樣。又如，若旗標分別吻合於「無、無、無、無、正、負、無、無、無、無」、「無、無、無、無、正、負、無、無、無、無」時，可判斷此影像區域的像素值大部份為均勻，但在某幾個像素點，會有特別極端的像素值，因此吻合了第8圖中所示的垂直邊緣型樣，故可合理判斷影像區域相對應於垂直邊緣型樣。

前述的型樣偵測方法可簡述如第11圖。第11圖繪示了根據本發明之一實施例的型樣偵測方法之流程圖，其包含：

步驟1101

依序計算第一複數個像素值與一第一值的第一差異。

步驟1103

依序計算該第一複數個像素值與一第二值的第二差異。

步驟1105

依據第一差異以及第二差異，來判斷該影像區域所對應之型樣為何(也就是，根據第一差異以及第二差異來產生旗標，並以一預定組合來比較第一差異以及第二差異。)

請參閱第2圖和第3圖。而在前述例子當中，「像素值的循序運算」係為由X-5至X+5的循序運算，當然「像素值的循序運算」亦可以示由X+5至X-5的循序運算，或由X至X-5並由X至X+5的循序運算。此外，在執行減法運算時，亦可以使用一變數來作為減法運算中減號右側的基準數，再依序將該第一(或第二)複數個像素值來作為減法運算中減號左側的數值，並視減法運算的執行狀況來可適性地修正該變數的值。當然，亦可以使用一定值來作為減法運算中減號右側的基準數，再依序將該第一(或第二)複數個像素值來作為減法運算中減號左側的數值。請注意，線型樣偵測模組120對該第一、第二像素線所執行之「像素值的循序運算」可以有很多種不同的實施方式，以上的所舉的例子僅為幾種可行的實施方式，不應被視為本發明的限制條件。

當然，型樣判定的方式有很多種，不一定要如前文所述一般，先設定旗標再檢測旗標是否吻合於預設的組合以判定該影像區域 所對應之型樣為何。只要是先檢測出該第一、第二複數個像素值之變化狀況，再依據檢測所的得結果來判斷該影像區域所對應之型樣為何，皆應屬本發明之涵蓋範圍。舉例來說，若檢測出該第一、第二複數個像素值係不規則地變化，則線型樣偵測模組120可判斷該影像區域對應於一雜亂(mess)型樣；若檢測出該第一、第二複數個像素值皆相互近似，則線型樣偵測模組120可判斷該影像區域對應於一平滑(smooth)型樣；若檢測出該第一複數個像素值皆近似於一第一值且該第二複數個像素值皆近似於一第二值且該第一值不等於該第二值，則線型樣偵測模組120可判斷該影像區域對應於一水平邊緣型樣。當然，設計者亦可依據影像處理模組140的運作需求，自行決定要讓線型樣偵測模組120能判斷其他哪些預設型樣，而本發明並不以此為限。

第4-10圖繪示了不同型樣的像素值分佈的示意圖。像素P代表了要內插的像素。此外，像素線Top_Y以及像素線Bot_Y可為影像中本已存在的像素線或是插補的像素線。

請注意，雖然在上實施例中，係使用兩條水平的像素線來作為型樣檢測的依據，然而，習知技藝者在瞭解本發明實施例的概念與作法之後，亦可以自行選擇型樣檢測時所欲使用之像素線的數目，且所使用之像素線亦不限定於沿著水平方向，亦可沿著垂直方向、或其不同的方向。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100‧‧‧影像處理裝置

120‧‧‧線型樣偵測模組

140‧‧‧影像處理模組

第1圖為本發明一實施例之影像處理裝置的示意圖。

第2圖繪示了如何計算像素差異之示意圖。

第3圖繪示了如何計算像素差異之另一示意圖。

第4圖繪示了平滑型樣的示意圖。

第5圖繪示了雜亂型樣的示意圖。

第6圖繪示了尖端型樣的示意圖。

第7圖繪示了低角度邊緣型樣的示意圖。

第8圖繪示了垂直邊緣型樣的示意圖。

第9圖繪示了水平邊緣型樣的示意圖。

第10圖繪示了物件邊界型樣的示意圖。

第11圖繪示了根據本發明之一實施例的型樣偵測方法之流程圖。

100．．．影像處理裝置

120．．．線型樣偵測模組

140．．．影像處理模組

Claims (11)

1. 一種型樣偵測方法，用來判斷一影像中一影像區域所對應之型樣，該影像區域包含一第一像素線及一第二像素線，該第一像素線包含第一複數個像素，該第二像素線包含第二複數個像素，該型樣偵測方法包含有：藉由循序計算該第一複數個像素值之結果，以獲得一第一變化狀況；藉由循序計算該第二複數個像素值之結果，以獲得一第二變化狀況；依據該第一變化狀況以及該第二變化狀況來產生一第一旗標以及一第二旗標；以及比對該第一旗標以及該第二旗標是否符合複數個預設型樣組合其中之一，其中該些預設型樣組合包含一平滑型樣、一雜亂型樣、一垂直邊緣型樣以及一右斜邊緣型樣。
2. 如申請專利範圍第1項所述之型樣偵測方法，其中依據該第一變化狀況以及該第二變化狀況來產生一第一旗標以及一第二旗標之該步驟包含：比較該第一變化狀況與一第一預設閥值及一第二預設閥值，以產生該第一旗標；以及比較該第二變化狀況與該第一預設閥值及該第二預設閥值，以產生該第二旗標；其中，該第一預設閥值大於該第二預設閥值。
3. 如申請專利範圍第2項所述之型樣偵測方法，其中該第一及第二預設閥值之至少其中之一係可調整的。
4. 如申請專利範圍第1項所述之型樣偵測方法，其中該影像區域包含有一目標像素，該第一像素線係為該目標像素上方的一第一水平像素線，以及該第二像素線係為該目標像素下方的一第二水平像素線。
5. 如申請專利範圍第4項所述之型樣偵測方法，其中該目標像素係為該影像中的欲插補像素。
6. 如申請專利範圍第4項所述之型樣偵測方法，其中該第一水平像素線為該影像的一已存在像素線或一插補產生之像素線，而該第二水平像素線為該影像的一已存在像素線或一插補產生之像素線。
7. 一種影像處理裝置，用來處理一影像，該影像包含一第一像素線及一第二像素線，該第一像素線包含第一複數個像素，該第二像素線包含第二複數個像素，該影像處理裝置包含有：一線型樣偵測模組用以循序計算該第一複數個像素值之結果，以獲得一第一變化狀況，且藉由循序計算該第二複數個像素值之結果，以獲得一第二變化狀況，並依據該第一變化狀況以及該第二變化狀況來產生一第一旗標以 及一第二旗標，更比對該第一旗標以及該第二旗標是否符合複數個預設型樣組合其中之一，其中該些預設型樣組合包含一平滑型樣、一雜亂型樣、一垂直邊緣型樣以及一右斜邊緣型樣；以及一影像處理模組，耦接於該線型樣偵測模組，用來依據該線型樣偵測模組判斷出該影像區域所對應之型樣，選擇性地執行複數種影像處理運算中的至少一種，其中該複數種影像處理運算至少包含下列其中之一：決定插補搜尋範圍；決定插補搜尋角度；以及選擇圖場內(intra-field)或圖場間(inter-field)插補。
8. 如申請專利範圍第7項所述之影像處理裝置，其中該線型樣偵測模組更比較該第一變化狀況與一第一預設閥值及一第二預設閥值，以產生該第一旗標；以及比較該第二變化狀況與該第一預設閥值及該第二預設閥值，以產生該第二旗標；其中，該第一預設閥值大於該第二預設閥值。
9. 如申請專利範圍第8項所述之影像處理裝置，其中該第一與第二預設閥值之至少其中之一係可調整的。
10. 如申請專利範圍第7項所述之影像處理裝置，其中該影像區域包含有一目標像素，該第一像素線係為該目標像素上方的一第一水平像素線，以及該第二像素線係為該目標像素下方 的一第二水平像素線。
11. 如申請專利範圍第10項所述之影像處理裝置，其中該目標像素係為該影像中的欲插補像素，該第一、第二水平像素線皆為該影像中的已存在像素線或插補產生之像素線，以及該影像處理模組包含有一插補運算單元，其係用來依據該線型樣偵測模組所判斷出該影像區域所對應之型樣以產生該目標像素。