TWI508542B

TWI508542B - 影像處理方法及影像處理裝置

Info

Publication number: TWI508542B
Application number: TW098133341A
Authority: TW
Inventors: Ren Kuan Liang; Cheng Yu Liao
Original assignee: Mstar Semiconductor Inc
Priority date: 2009-10-01
Filing date: 2009-10-01
Publication date: 2015-11-11
Also published as: TW201114246A; US8743288B2; US20110080518A1

Description

影像處理方法及影像處理裝置

本發明係與影像處理方法及影像處理裝置相關，並且尤其與可提昇影像品質的方法及裝置相關。

近年來，由於相關製造技術漸趨成熟且製造成本降低，各種尺寸的顯示設備都愈來愈普及。如何提升顯示設備的品質並令其顯示特性更貼近使用者的需求皆為其設計者高度重視的議題。

一般而言，顯示設備能夠呈現的最大影像解析度(亦即影像在縱向與橫向的畫素個數)是固定的。然而，連接到顯示設備的各種信號來源(例如DVD播放器、有線電視纜線、無線電視天線…)所提供的視訊信號之原始解析度可能都不相同。為了配合顯示設備的解析度規格，這些提供視訊信號的裝置可能會預先將本身之輸出影像的尺寸(也就是解析度)調整為符合顯示設備螢幕規範的大小。

如熟悉此技術領域者所知，要將低解析度影像擴大為高解析度影像，必須增加影像中的畫素數量。比方說，要將原本解析度為800*600畫素的影像轉換為解析度為1200*900畫素的影像，影像處理裝置必須在影像的每一橫列中加入400個畫素，並在影像的每一直行中加入300個畫素。這些新增畫素的灰階值大多是藉由內插運算來決定。

經過內插運算來擴大尺寸的影像通常具有較和緩的灰階變化。對觀看者來說，這種畫面有時候是比較平板甚至模糊的。轉換前後的解析度差異太大時，觀看者往往會明顯感覺出影像畫質不甚理想。然而，現有的顯示設備並沒有辦法根據自己收到的信號判斷這些影像是否經過解析度轉換處理，因此亦無法避免上述影像品質不佳的問題。

為解決上述問題，本發明提供一種判斷影像是否曾經過由低至高之解析度轉換的方法與裝置，亦提出針對這種視訊信號改善影像品質的方法與裝置。

根據本發明之一具體實施例為一影像處理裝置，用以處理包含複數個區域之一影像，該影像處理裝置包含一判斷單元與一調整單元。該判斷單元係用以決定該等區域各自對應之一灰階變化程度，並根據該等灰階變化程度判斷該影像是否為由低解析度轉換為高解析度之一轉換後影像。若該影像為該轉換後影像，該調整單元即針對該影像執行一影像品質提升處理。

根據本發明之另一具體實施例為一影像處理方法，其包含步驟(a)提供一影像，該影像包含複數個區域；步驟(b)分別判斷該等區域各自對應之一灰階變化程度；以及步驟(c)根據該等灰階變化程度決定該影像是否為由低解析度轉換為高解析度之一轉換後影像。

根據本發明之另一具體實施例亦為一影像處理裝置，其包含一判斷單元與一調整單元。該判斷單元係用以判斷一視訊串流中是否包含由低解析度轉換成高解析度的一轉換後影像。若該判斷單元的判斷結果為該視訊串流包含該轉換後影像，該調整單元即針對該視訊串流執行一影像品質提升處理。

根據本發明之另一具體實施例亦為一種影像處理方法，其包含步驟(a)提供一視訊串流；步驟(b)判斷該視訊串流中是否包含由低解析度轉換成高解析度的一轉換後影像；以及步驟(c)若步驟(b)的判斷結果為是，針對該視訊串流執行一影像品質提升處理。

關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。

請參閱圖一，圖一為根據本發明之一具體實施例中的影像處理方法流程圖。該方法首先執行步驟S11，提供一張包含複數個區域的影像。舉例而言，解析度為1200*900畫素的影像可被區分為多個各自包含3*1畫素的小區域。這些區域的劃分是虛擬的，不表示影像中原本就存在著實體分隔線，或是必須在影像中加入分隔線。

接著，步驟S12係分別判斷該等區域各自對應之一灰階變化程度。步驟S13則是根據該等灰階變化程度決定該影像是否為由低解析度轉換為高解析度之一轉換後影像。如先前所述，經過解析度轉換來擴大尺寸的影像通常具有灰階變化較平緩的特性。因此，若步驟S11中接收的影像為轉換後影像，步驟S12所找出的多數區域之灰階變化程度應該都不會太高。根據這個原則，步驟S13可判斷此影像是否為先前曾經過解析度轉換而擴大尺寸的影像。

在上述步驟S13之後，根據本發明的影像處理方法可進一步包含提升影像品質的步驟S14。更明確地說，若步驟S13判定步驟S11中提供的影像為轉換後影像，該方法即可針對該影像執行一影像品質提升處理。此外，這張影像有可能是屬於某個包含多張影像的視訊串流的一部分。如果步驟S13判定這張影像為轉換後影像，表示該影像所屬的視訊串流可能經過由低至高的解析度轉換。因此，根據本發明的影像處理方法可針對包含該影像的視訊串流執行影像品質提升處理。實務上，此影像品質提升處理可為銳化處理，但不以此為限。

相對地，若步驟S13判定步驟S11提供中的影像並非轉換後影像，該方法就不會對這張影像或該影像所屬的視訊串流執行影像品質提升處理。

假設該影像中的某個區域包含複數個畫素，並且該等畫素各自具有一灰階值。步驟S12可根據該等灰階值計算這個區域之一最大灰階差距(亦即這個區域中最大灰階值減去最小灰階值的結果)，做為這個區域的灰階變化程度。另一方面，步驟S13可以首先計算各個區域的灰階變化程度的總和，再比較該總和與一總和門檻值。若該總和低於該總和門檻值，表示這張影像整體的灰階變化程度偏低，因此可能為經過解析度轉換的影像。

在一實施例中，該影像之每一區域皆包含3個依序排列的畫素，而步驟12正在處理的區域稱為目標區域，目標區域依序包含一第一畫素、一第二畫素及一第三畫素。第一畫素具有第一灰階值P1，第二畫素具有第二灰階值P2，第三畫素具有第三灰階值P3。minmax(P1,P2,P3)代表計算這三個灰階值中的最大灰階值減去最小灰階值所得的最大灰階差距。med(P1,P2,P3)代表這三個灰階值的中間灰階值；abs[P2-med(P1,P2,P3)]則是代表計算P2與這個中間灰階值之差異絕對值。

圖二為根據最大灰階差距minmax(P1,P2,P3)及中間灰階值med(P1,P2,P3)決定該目標區域之灰階變化程度的方法。首先，步驟S201係計算最大灰階差距minmax(P1,P2,P3)。接著，步驟S202比較最大灰階差距minmax(P1,P2,P3)與一第一門檻值T1的大小。如果最大灰階差距minmax(P1,P2,P3)大於第一門檻值T1，表示這三個畫素所組成的範圍有一定程度的灰階變化，該方法即執行步驟S204，將一第一評估值設為A1。如果最大灰階差距minmax(P1,P2,P3)小於第一門檻值T1，該方法即執行步驟S203，將該第一評估值設為A0。A1大於A0。換句話說，當最大灰階差距minmax(P1,P2,P3)較高時，相對應的第一評估值也會比較大。

步驟S205係計算差異絕對值abs[P2-med(P1,P2,P3)]。若這個計算結果等於零，表示P2等於中間灰階值med(P1,P2,P3)。也就是說，雖然這三個畫素所組成的範圍有一定程度的灰階變化(步驟S202的判斷結果)，但P1、P2、P3這三個值是由低至高或由高至低依序排列的。由此可看出，當P2等於中間灰階值med(P1,P2,P3)，這個範圍之內沒有出現低-高-低或是高-低-高這樣的灰階變化。此外，若差異絕對值abs[P2-med(P1,P2,P3)]愈高，表示這個區域中低-高-低或是高-低-高的灰階變化愈劇烈。

步驟S206係比較差異絕對值abs[P2-med(P1,P2,P3)]與一第二門檻值T2的大小。如果差異絕對值abs[P2-med(P1,P2,P3)]小於第二門檻值T2，該方法即執行步驟S207，將一第二評估值設為B0。如果差異絕對值abs[P2-med(P1,P2,P3)]大於第二門檻值T2，則該方法會執行步驟S208，比較差異絕對值abs[P2-med(P1,P2,P3)]與一第三門檻值T3的大小。而第三門檻值T3高於第二門檻值T2。

如果差異絕對值abs[P2-med(P1,P2,P3)]大於第三門檻值T3，在步驟S209中第二評估值會被設為B3。如果差異絕對值abs[P2-med(P1,P2,P3)]小於第三門檻值T3，該方法會繼續執行步驟S210，比較差異絕對值abs[P2-med(P1,P2,P3)]與一第四門檻值T4的大小。第四門檻值T4介於第二門檻值T2和第三門檻值T3之間。

如果差異絕對值abs[P2-med(P1,P2,P3)]大於第四門檻值T4，在步驟S211中第二評估值會被設為B2。如果差異絕對值abs[P2-med(P1,P2,P3)]小於第四門檻值T4，該方法會執行步驟S212，將該第二評估值設為B1。

B0、B1、B2、B3為四個由小到大依序增加的數值。舉例而言，這四個值可以分別被設定為0、1、4、32。由圖二可看出，差異絕對值abs[P2-med(P1,P2,P3)]愈高，相對應產生的第二評估值愈大。第二評估值可被視為差異絕對值abs[P2-med(P1,P2,P3)]所對應的一個加權值。

根據本發明的影像處理方法可同時根據最大灰階差距minmax(P1,P2,P3)與差異絕對值abs[P2-med(P1,P2,P3)]評估該目標區域的灰階變化程度，也可以僅由這兩個數值中選擇一個做為判斷目標區域之灰階變化程度的依據。

步驟S11所提供的影像包含複數個區域，根據本發明的影像處理方法可在步驟S12中分別針對該影像之各個區域執行如圖二所示之步驟，找出各個區域之灰階變化程度所對應的第一評估值和第二評估值。根據本發明的步驟S13可以將所有區域的第一評估值、第二評估值累加，做為評估整張影像是否為轉換後影像的依據。如果累加後的第一評估值及第二評估值都顯示這張影像的整體灰階變化不夠大，則根據本發明的影像處理方法可判定此影像為先前曾經過解析度轉換擴大尺寸的影像。在一實施例中，本發明的影像處理方法可僅依據影像的局部，判斷此影像是否為經過解析度轉換擴大尺寸的影像，舉例來說，依據1/4、1/2、或2/3張影像內容來判斷此影像是否為經過解析度轉換擴大尺寸的影像。

請參閱圖三(A)，圖三(A)為根據本發明之一具體實施例中的影像處理裝置方塊圖。這個影像處理裝置主要包含一判斷單元31與一調整單元32。判斷單元31則是用以接收包含複數個區域之一影像，並決定該等區域各自對應之一灰階變化程度，以根據該等灰階變化程度判斷該影像是否為由低解析度轉換為高解析度之一轉換後影像。若判斷單元31判斷此影像為轉換後影像，調整單元32即針對該影像或該影像所屬的視訊串流執行一影像品質提升處理，實務上，此影像品質提升處理可為銳化處理，但不以此為限。

圖三(B)係繪示判斷單元31之一實施範例。於此範例中，判斷單元31包含第一計算電路31A、第一決定電路31B、第一比較電路31C、第二計算電路31D、第二決定電路31E、加總電路31F，以及第二比較電路31G。

第一計算電路31A係用以執行圖二中的步驟S201，亦即根據一目標區域中的三個灰階值計算該目標區域之最大灰階差距minmax(P1,P2,P3)。第一決定電路31B係用以執行步驟S202~步驟S204，亦即根據minmax(P1,P2,P3)決定該目標區域之灰階變化程度的第一個指標，即第一評估值。

第一比較電路31C係用以比較該第一灰階值、該第二灰階值與該第三灰階值，並由其中選出一中間灰階值。換句話說，第一比較電路31C負責計算med(P1,P2,P3)。第二計算電路31D則係用以計算abs[P2-med(P1,P2,P3)]。第二決定電路31E將執行步驟S206~步驟S212，根據abs[P2-med(P1,P2,P3)]決定該目標區域之灰階變化程度的第二個指標，即第二評估值。

加總電路31F係用以分別計算各個區域的第一評估值總和及第二評估值總和。第二比較電路31G則係用以將第一評估值總和與一第一總和門檻值比較，並將第二評估值總和與一第二總和門檻值比較。如果這兩個總和都低於各自對應的門檻值，則判斷單元31即判定該影像為該轉換後影像。

圖三(B)所示之功能方塊示意圖乃判斷單元之一較佳實施例，實施上，判斷單元31可以僅包含第一計算電路31A、第一決定電路31B、加總電路31F，以及第二比較電路31G，以藉由第一評估值之總和來評估該影像是否為該轉換後影像。判斷單元31亦可以僅包含第一比較電路31C、第二計算電路31D、第二決定電路31E、加總電路31F，以及第二比較電路31G，以藉由第二評估值之總和來評估該影像是否為該轉換後影像。

請參閱圖四(A)，圖四(A)為根據本發明之另一具體實施例中的影像處理方法流程圖。該方法首先執行步驟S41，提供一視訊串流。接著，步驟S42為判斷該視訊串流中是否包含M張由低解析度轉換成高解析度的轉換後影像，M為一正整數。如果步驟S42的判斷結果為是，該方法即執行步驟S43，針對該視訊串流執行一影像品質提升處理(例如一銳化處理)。相對地，若步驟S42的判斷結果為否，該方法重新執行步驟S42，繼續偵測該視訊串流中是否包含轉換後影像。

當M等於1，表示只要偵測到該視訊串流中包含一張轉換後影像，該方法就會執行步驟S43。當M大於1，表示步驟S42必須偵測到該視訊串流中包含不只一張轉換後影像，該方法才會執行步驟S43。實務上，步驟S42有兩種不同的可能性。第一種為判斷該視訊串流中是否包含M張連續的轉換後影像。第二種則是判斷該視訊串流中是否包含M張轉換後影像，即使這M張轉換後影像在該視訊串流中不連續也沒關係。

圖四(B)為圖四(A)所示之影像處理方法之一延伸範例。在這個範例中，若步驟S42的判斷結果為是，除了步驟S43之外，該方法還會執行步驟S44，判斷該視訊串流中在該M張的轉換後影像之後是否包含P張的非轉換影像，P亦為一正整數。如果步驟S44的判斷結果為是，表示先前的判斷可能有誤差，或者視訊串流中接下來的這一段影像已經不再是轉換後影像。因此，如果步驟S44的判斷結果為是，該方法將執行步驟S45，停止該影像品質提升處理。相對地，如果步驟S44的判斷結果為否，該方法會重新執行步驟S44，繼續偵測該視訊串流中是否包含非轉換影像。

當P等於1，表示只要偵測到該視訊串流中包含一張非轉換影像，該方法就會執行步驟S45。當P大於1，表示步驟S44必須偵測到該視訊串流中包含不只一張轉換後影像，該方法才會執行步驟S45。實務上，步驟S44有兩種不同的可能性。第一種為判斷該視訊串流中是否包含P張連續的非轉換影像。第二種則是判斷該視訊串流中是否包含P張非轉換影像，即使這P張非轉換影像在該視訊串流中不連續也沒關係。

實務上，步驟S42和步驟S44都可以利用圖一及圖二所繪示的流程步驟來分別判斷該視訊串流中的各張影像是否為經過解析度轉換的轉換後影像。

請參閱圖五，圖五為根據本發明之另一具體實施例中的影像處理裝置方塊圖。這個影像處理裝置主要包含一判斷單元51以及一調整單元52。判斷單元51係用以判斷一視訊串流中是否包含M張由低解析度轉換成高解析度的轉換後影像。若判斷單元51的判斷結果為該視訊串流包含該M張轉換後影像，調整單元52即針對該視訊串流執行一影像品質提升處理(例如一銳化處理)。

此外，在判定該視訊串流包含該M張的轉換後影像之後，判斷單元51可以繼續判斷該視訊串流中在該M張的轉換後影像之後是否包含P張的非轉換影像。若判斷單元51判定該視訊串流包含該P張的非轉換影像，調整單元52可停止該影像品質提升處理。

與前一個實施例相同的是，這M張轉換後影像在視訊串流中可以為連續，也可以是不連續的。這P張的非轉換影像在視訊串流中可以為連續，也可以是不連續的。此外，判斷單元51亦可利用圖三(B)之電路來分別判斷該視訊串流中的各張影像是否為經過解析度轉換的轉換後影像。

如上所述，本發明提出了判斷影像是否曾經過由低至高之解析度轉換的方法與裝置，亦提出針對這種視訊串流改善影像品質的方法與裝置，以解決影像經過解析度轉換處理後品質不佳的問題。

藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。

S11~S14．．．流程步驟

S201~S212．．．流程步驟

31．．．判斷單元

32．．．調整單元

31A．．．第一計算電路

31B．．．第一決定電路

31C．．．第一比較電路

31D．．．第二計算電路

31E．．．第二決定電路

31F．．．加總電路

31G．．．第二比較電路

S41~S45．．．流程步驟

51．．．判斷單元

52．．．調整單元

圖一為根據本發明之一具體實施例中的影像處理方法流程圖。

圖二為決定該目標區域之灰階變化程度的方法流程圖。

圖三(A)為根據本發明之一具體實施例中的影像處理裝置方塊圖。圖三(B)為根據本發明之判斷單元的實施範例。

圖四(A)及圖四(B)為根據本發明之另一具體實施例中的影像處理方法流程圖。

圖五為根據本發明之另一具體實施例中的影像處理裝置方塊圖。

S11~S14．．．流程步驟

Claims

一種影像處理方法，包含下列步驟：(a)提供一視訊串流；(b)判斷該視訊串流中是否包含由低解析度轉換成高解析度之一轉換後影像；(c)若步驟(b)的判斷結果為是，針對該視訊串流執行一影像品質提升處理；以及其中該視訊串流包含一影像，該影像包含複數個區域，其中，該些區域各自包含複數個子區域，並且步驟(b)包含：(b1)分別判斷該等區域各自對應之一灰階變化程度，並分別以一評估值代表之，其中該灰階變化程度係相關於每一個該些區域中的該些子區域之間的灰階差異程度及其中間灰階值；以及(b2)將該等評估值經過運算以得出一整體評估值，並將該整體評估值與一門檻值進行比較，以判斷該影像是否為該轉換後影像。
如申請專利範圍第1項所述之影像處理方法，其中步驟(b)為判斷該視訊串流中是否包含連續的該轉換後影像。
如申請專利範圍第1項所述之影像處理方法，其中該影像品質提升處理為一銳化處理。
如申請專利範圍第1項所述之影像處理方法，進一步包含下列步驟：(d)判斷該視訊串流中是否包含一非轉換影像；以及 (e)若步驟(d)的判斷結果為是，停止該影像品質提升處理。
如申請專利範圍第4項所述之影像處理方法，其中步驟(d)為判斷該視訊串流中是否包含連續的該非轉換影像。
一種影像處理裝置，包含：一判斷單元，用以判斷一視訊串流中是否包含由低解析度轉換成高解析度的一轉換後影像；一調整單元，若該判斷單元的判斷結果為該視訊串流包含該轉換後影像，該調整單元即針對該視訊串流執行一影像品質提升處理；以及其中該視訊串流包含一影像，該影像包含複數個區域，其中，該些區域各自包含複數個子區域，並且該判斷單元係分別判斷該等區域各自對應之一灰階變化程度，並分別以一評估值代表之，其中該灰階變化程度係相關於每一個該些區域中的該些子區域之間的灰階差異程度及其中間灰階值，並將該等評估值經過運算以得出一整體評估值，並將該整體評估值與一門檻值進行比較，以判斷該影像是否為該轉換後影像。
如申請專利範圍第6項所述之影像處理裝置，其中該判斷單元係判斷該視訊串流中是否包含連續的該轉換後影像。
如申請專利範圍第6項所述之影像處理裝置，其中該影像品質提升處理為一銳化處理。
如申請專利範圍第6項所述之影像處理裝置，其中該判斷單元判斷該視訊串流中是否包含一非轉換影像；若該判斷單元判定該視訊串流包含該非轉換影像，該調整單元即停止該影像品質提升處理。
如申請專利範圍第9項所述之影像處理裝置，其中該判斷單元係判斷該視訊串流中是否包含連續的該非轉換影像。
一種影像處理方法，包含下列步驟：(a)提供一影像，該影像包含複數個區域，其中，該些區域各自包含複數個子區域；(b)分別判斷該等區域各自對應之一灰階變化程度，並分別以一評估值代表之，其中該灰階變化程度係相關於每一個該些區域中的該些子區域之間的灰階差異程度及其中間灰階值；以及(c)將該等評估值經過運算以得出一整體評估值，並將該整體評估值與一門檻值進行比較，以判斷該影像是否為由低解析度轉換為高解析度之一轉換後影像。
如申請專利範圍第11項所述之影像處理方法，進一步包含下列步驟：若該影像為該轉換後影像，針對該影像執行一影像品質提升處理。
如申請專利範圍第11項所述之影像處理方法，進一步包含下列步驟：若該影像為該轉換後影像，針對包含該影像之一視訊串流執行一影像品質提升處理。
如申請專利範圍第11項所述之影像處理方法，其中該些子區域分別對應至一畫素，該等畫素各自具有一灰階值，並且步驟 (b)包含：根據該等灰階值計算該些子區域之一最大灰階差距；以及根據該最大灰階差距決定該些子區域之該灰階變化程度。
如申請專利範圍第11項所述之影像處理方法，其中該些子區域分別對應至一第一畫素、一第二畫素與一第三畫素，該第一畫素具有一第一灰階值，該第二畫素具有一第二灰階值，該第三畫素具有一第三灰階值，並且步驟(b)包含：由該第一灰階值、該第二灰階值與該第三灰階值中選出一中間灰階值；計算該第二灰階值與該中間灰階值之一差異值；以及根據該差異值決定該些子區域之該灰階變化程度。
如申請專利範圍第15項所述之影像處理方法，其中該灰階變化程度等於該差異值所對應之一加權值。
如申請專利範圍第11項所述之影像處理方法，其中步驟(c)包含：計算該等評估值之一總和以得出該整體評估值，並比較該整體評估值與該門檻值；以及若該整體評估值低於該門檻值，判定該影像為該轉換後影像。
一種影像處理裝置，用以處理包含複數個區域之一影像，其中，該些區域各自包含複數個子區域，該影像處理裝置包含：一判斷單元，用以決定該等區域各自對應之一灰階變化程度，並分別以一評估值代表之，其中該灰階變化程度相關於每一個該些區域中的該些子區域之間的灰階差異程度及其中間灰階值，並將該等評估值經過運算以得出一整體評估值，並將該整體評估值與該門檻值進行比較，以判斷該影像是否為由低解析度轉換為高解析度之一轉換後影像；以及一調整單元，若該影像為該轉換後影像，該調整單元即針對該影像執行一影像品質提升處理。
如申請專利範圍第18項所述之影像處理裝置，其中該些子區域分別對應至一畫素，該等畫素各自具有一灰階值，並且該判斷單元包含：一計算電路，用以根據該等灰階值計算該些子區域之一最大灰階差距；以及一決定電路，用以根據該最大灰階差距決定該些子區域之該灰階變化程度。
如申請專利範圍第18項所述之影像處理裝置，其中該些子區域分別對應至一第一畫素、一第二畫素與一第三畫素，該第一畫素具有一第一灰階值，該第二畫素具有一第二灰階值，該第三畫素具有一第三灰階值，並且該判斷單元包含：一比較電路，用以由該第一灰階值、該第二灰階值與該第三灰階值中選出一中間灰階值；一計算電路，用以計算該第二灰階值與該中間灰階值之一差異值；以及一決定電路，用以根據該差異值決定該些子區域之該灰階變化程度。
如申請專利範圍第20項所述之影像處理裝置，其中該灰階變化程度等於該差異值所對應之一加權值。
如申請專利範圍第18項所述之影像處理裝置，其中該判斷單元包含：一加總電路，用以計算該等評估值之一總和以得出該整體評估值；以及一比較電路，用以比較該整體評估值與該門檻值，若該整體評估值低於該門檻值，該判斷單元即判定該影像為該轉換後影像。