TWI761049B - 影像處理電路及影像處理方法 - Google Patents

Abstract

本發明揭露了一種影像處理方法，其包含有以下步驟：接收一影像資料；針對該影像資料中的連續的多個像素，根據該多個像素之任兩相鄰像素的亮度差以計算出多個連續三點遞增成分值，再根據該多個連續三點遞增成分值以計算出多個連續三點遞增左側成分值以及多個連續三點遞增右側成分值；根據該多個像素之任兩相鄰像素的亮度差、該多個連續三點遞增左側成分值以及該多個連續三點遞增右側成分值，以計算出多個調整後亮度差；以及根據該多個像素的像素值以及該多個調整後亮度差，以產生多個調整後亮度值。

Description

影像處理電路及影像處理方法

本發明係有關於影像處理，尤指一種改善影像清晰度的影像處理方法。

在傳統的影像放大技術中，係使用樣條(Spline)的方式來計算出影像放大後的像素值，然而採用這種方法會造成影像中的斜邊有不規則的形狀出現，而若是要採用不同影像放大技術來減輕這種現象的話，通常會需要大幅的計算量而增加了軟體運算時間或是硬體製造成本。此外，當影像放大倍率較大時，放大後的影像在邊緣會有模糊的過渡帶(edge transition)，因此也需要再經過較大的計算量才能接近原本影像的清晰度。

此外，若是影像邊緣具有較寬的過渡帶，亦即影像內容包含了多個連續亮度遞增/遞減的像素，則也會影響到後續影像放大或其他影像處理的品質。

因此，本發明的目的之一在於提出一種影像處理方法，其可以在使用較低計算量的情形下對多個連續亮度遞增/遞減的像素進行處理，以利相關的 影像處理操作。

在本發明的一個實施例中，揭露了一種影像處理電路，其包含有一接收電路、一成分值計算電路、一亮度差調整電路以及一輸出電路。該接收電路用以接收一影像資料；針對該影像資料中的連續的多個像素，該成分值計算電路根據該多個像素之任兩相鄰像素的亮度差以計算出多個連續三點遞增成分值，再根據該多個連續三點遞增成分值以計算出多個連續三點遞增左側成分值以及多個連續三點遞增右側成分值；該亮度差調整電路用以根據該多個像素之任兩相鄰像素的亮度差、該多個連續三點遞增左側成分值以及該多個連續三點遞增右側成分值，以計算出多個調整後亮度差；以及該輸出電路用以根據該多個像素的像素值以及該多個調整後亮度差，以產生多個調整後亮度值。

在本發明的另一個實施例中，揭露了一種影像處理方法，其包含有以下步驟：接收一影像資料；針對該影像資料中的連續的多個像素，根據該多個像素之任兩相鄰像素的亮度差以計算出多個連續三點遞增成分值，再根據該多個連續三點遞增成分值以計算出多個連續三點遞增左側成分值以及多個連續三點遞增右側成分值；根據該多個像素之任兩相鄰像素的亮度差、該多個連續三點遞增左側成分值以及該多個連續三點遞增右側成分值，以計算出多個調整後亮度差；以及根據該多個像素的像素值以及該多個調整後亮度差，以產生多個調整後亮度值。

100:影像處理電路

102:後端電路

104:顯示面板

110:接收電路

120:成分值計算電路

130:亮度差調整電路

140:輸出電路

300~314:步驟

400:影像處理電路

402:後端電路

404:顯示面板

410:接收電路

420:影像分解電路

430:影像處理單元

440:影像放大電路

450:輸出電路

Din:影像資料

Din1:第一影像資料

Din2:第二影像資料

Din1’:處理後第一影像資料

Din’:放大後影像資料

Dout:輸出影像

第1圖為根據本發明一實施例之影像處理電路的示意圖。

第2圖繪示了影像資料之原始亮度以及輸出影像之調整後亮度的示意圖。

第3圖為根據本發明一實施例之一種影像處理方法的流程圖。

第4圖為根據本發明另一實施例之影像處理電路的示意圖。

第1圖為根據本發明一實施例之影像處理電路100的示意圖。如第1圖所示，影像處理電路100包含了一接收電路110、一成分值計算電路120、一亮度差調整電路130以及一輸出電路140。在本實施例中，影像處理電路100係用來接收一影像資料(影像圖框)Din後進行影像處理以產生一輸出影像Dout，且輸出影像Dout透過一後端電路102的處理之後被傳送到一顯示面板104並顯示在其上。

在影像處理電路100的操作中，接收電路110接收影像資料Din，成分值計算電路120針對影像資料Din中連續三點亮度遞增/遞減的像素來計算出相關成分值，其中上述的相關成分值可以包含連續兩點亮度遞增/遞減的成分值、連續三點亮度遞增/遞減的成分值、及連續四點亮度遞增/遞減的成分值。接著，亮度差調整電路130根據上述的相關成分值來調整影像資料Din中部分像素之間的亮度差。最後，輸出電路140根據調整後的亮度差來產生輸出影像Dout。

詳細舉例來進行說明，在以下的說明中係假設影像資料Din包含了位於圖框中同一列或是同一行之連續的N個像素，且為了方便說明起見，在以下的內容中係以連續的九個像素來進行說明，其中假設影像資料Din在位置‘0’、‘1’、‘2’、‘3’、‘4’、‘5’、‘6’、‘7’、‘8’所對應到之像素的像素值(以下的像素值均以“亮度”為例來進行說明)分別為‘0’、‘0’、‘2’、5’、‘8’、‘11’、‘14’、‘16’、‘16’。接著， 關於成分值計算電路120、亮度差調整電路130以及輸出電路140的操作，請同時參考以下的表一。

在成分值計算電路120的操作中，首先，先計算出兩個像素之間的亮度差，亦即表一中所述的(0,2,3,3,3,3,2,0)；接著，成分值計算電路120根據兩個亮度差的同號成分來計算出連續兩點遞增成分值，其中上述兩個亮度差的同號成分可以是兩個亮度差與‘0’這三個數字的中位數。以表一的例子來說，以位置‘2’的像素來說，相鄰兩個亮度差分別為‘2’、‘3’，故位置‘2’的像素的連續兩點遞增成分值即為(0,2,3)這三個數字的中位數‘2’；以位置‘3’的像素來說，相鄰兩個亮度差分別為‘3’、‘3’，故位置‘2’的像素的連續兩點遞增成分值即為(0,3,3)這三個數字的中位數‘3’。接著，成分值計算電路120再根據兩個連續兩點遞增成分值的同號成分來計算出連續三點遞增成分值，其中上述兩個連續兩點遞增成分值的同號成分可以是兩個連續兩點遞增成分值與‘0’這三個數字的中位數。以表一的例子來說，以位置‘2’、‘3’的像素來說，其連續兩點遞增成分值分別為‘2’、‘3’，故位置‘2’、‘3’的像素間的連續三點遞增成分值即為(0,2,3)這三個數字的中位數‘2’；以位置‘3’、‘4’的像素來說，其連續兩點遞增成分值分別為‘3’、‘3’，故位置‘3’、‘4’的像素間的連續三點遞增成分值即為(0,3,3)這三個數字的中位數‘3’。接著，成分值計算電路120再根據兩個連續三點遞增成分值的同號成分來計算出連續四點遞增成分值，其中上述兩個連續三點遞增成分值的同號成分可以是兩個連續三點遞增成分值與‘0’這三個數字的中位數。以表一的例子來說，以位置‘2’的像素來說，其左右兩側的三點遞增成分值分別為‘0’、‘2’，故位置‘2’ 的像素的連續四點遞增成分值即為(0,0,2)這三個數字的中位數‘0’；以位置‘3’的像素來說，其左右兩側的三點遞增成分值分別為‘2’、‘3’，故位置‘3’的像素的連續四點遞增成分值即為(0,2,3)這三個數字的中位數‘2’。

在計算出連續兩點遞增成分值、連續三點遞增成分值及連續四點遞增成分值之後，成分值計算電路120再根據連續三點遞增成分值及連續四點遞增成分值來計算出連續三點遞增左側成分值及連續三點遞增右側成分值。具體來說，成分值計算電路120將每一個連續三點遞增成分值減去左側的連續四點遞增成分值，以得到連續三點遞增左側成分值，以位於位置‘2’、‘3’之像素間的連續三點遞增成分值‘2’來說，其連續三點遞增左側成分值為‘2’(亦即，2-0=0)；以位於位置‘3’、‘4’之像素間的連續三點遞增成分值‘3’來說，其連續三點遞增左側成分值為‘1’(亦即，3-2=1)。成分值計算電路120另外將每一個連續三點遞增成分值減去右側的連續四點遞增成分值，以得到連續三點遞增右側成分值，以位於位置‘3’、‘4’之像素間的連續三點遞增成分值‘2’來說，其連續三點遞增右側成分值為‘0’(亦即，3-3=0)；以位於位置‘4’、‘5’之像素間的連續三點遞增成分值‘3’來說，其連續三點遞增右側成分值為‘1’(亦即，3-2=1)。

接著，亮度差調整電路130根據亮度差、連續三點遞增左側成分值及連續三點遞增右側成分值來計算出調整後亮度差。具體來說，針對每一個亮度差，亮度差調整電路130根據將該亮度差加上連續三點遞增左側成分值以及連續三點遞增右側成分值，並將該亮度差左側的亮度差減去連續三點遞增左側成分值，且將該亮度差右側的亮度差減去連續三點遞增右側成分值。換句話說，亮度差調整電路130的計算方式可以視為將亮度差往內部移動，以表一的內容來做為說明：根據位置‘2’、‘3’的像素之間的連續三點遞增左側成分值‘2’以將位置 ‘1’、‘2’的像素之間的亮度差‘2’移動到位置‘2’、‘3’的像素之間；根據位置‘3’、‘4’的像素之間的連續三點遞增左側成分值‘1’以將位置‘2’、‘3’的像素之間的亮度差‘1’移動到位置‘3’、‘4’的像素之間；根據位置‘5’、‘6’的像素之間的連續三點遞增右側成分值‘2’以將位置‘6’、‘7’的像素之間的亮度差‘2’移動到位置‘5’、‘6’的像素之間；根據位置‘4’、‘5’的像素之間的連續三點遞增右側成分值‘1’以將位置‘5’、‘6’的像素之間的亮度差‘1’移動到位置‘4’、‘5’的像素之間。根據上述計算結果，亮度差調整電路130可以產生調整後亮度差(0,0,4,4,4,4,0,0)。

之後，輸出電路140根據調整後亮度差來產生位置‘0’~‘8’的調整後像素值‘0’、‘0’、‘0、4’、‘8’、‘12’、‘16’、‘16’、‘16’。

第2圖繪示了影像資料Din之原始亮度以及輸出影像Dout之調整後亮度的示意圖。如第2圖所示，調整後亮度的過渡帶(即位置‘2’~‘6’)小於原始亮度的過渡帶(即位置‘1’~‘7’)，亦即調整後亮度具有更佳的清晰度以及更銳利的邊緣，以使得後端電路102在進行其他操作時，例如影像放大操作，可以維持較清晰的邊緣而不會產生邊緣模糊的問題。

以上實施例係以連續亮度遞增的像素來進行說明，而本領域具有通常知識者在閱讀過以上實施例中應能了解如何實現連續亮度遞減的像素的例子，故相關的細節不再贅述。

以上實施例所述為具有單一方向之多個像素的放大操作，例如影像資料Din的橫向放大操作，接著成分值計算電路120、亮度差調整電路130可以再對另一方向(例如，影像資料Din的縱向)之多個像素的放大操作，以完成整個影 像資料Din的放大來產生輸出影像Dout。由於位於影像邊緣之多個像素通常會具有嚴格遞增/遞減的像素值，因此透過以上實施例的操作可以確實且有效地降低影像在放大過程中造成的邊緣模糊現象，且由於計算內容較為簡易，故僅需要較低的軟體運算或是硬體計算電路，以降低設計與製造上的成本。

在第1圖的實施例中，影像處理電路100主要用來處理影像資料Din中有連續三點亮度遞增/遞減的像素來進行處理，而若是影像資料Din在位置‘0’~‘8’所對應到之像素的像素值並非是遞增/遞減數列或是嚴格遞增/遞減數列，則可以透過其他電路來進行處理，或是將原始亮度拆解為兩組亮度值，其中之一包含了嚴格遞增/遞減亮度值，以供影像處理電路100進行處理。

需注意的是，上述實施例中亮度的計算可以根據採用之色板的不同而包含了多種不同顏色的像素值，以“紅綠藍”色板來說，上述實施例之多個像素的運算係包含了紅色像素值、綠色像素值以及藍色像素值的運算；以“亮度及色差(YUV)”色板來說，上述實施例之多個像素的運算係包含了亮度、藍色色差以及紅色色差的運算；以“青、洋紅、黃、黑(CMYK)”色板來說，上述實施例之多個像素的運算係包含了青色像素值、洋紅色像素值、黃色像素值以及黑色像素值的運算。

第3圖為根據本發明一實施例之一種影像處理方法的流程圖。參考以上實施例的說明，影像處理方法的流程如下所述。

步驟300：流程開始。

步驟302：接收一影像資料。

步驟304：根據多個像素之任兩相鄰像素的亮度差以計算出多個連續 兩點遞增成分值。

步驟306：根據該多個連續兩點遞增成分值以計算出多個連續三點遞增成分值。

步驟308：根據該多個連續三點遞增成分值以計算出多個連續四點遞增成分值。

步驟310：根據該多個連續三點遞增成分值以及該多個連續四點遞增成分值，以計算出多個連續三點遞增左側成分值以及多個連續三點遞增右側成分值。

步驟312：根據該多個像素之任兩相鄰像素的亮度差、該多個連續三點遞增左側成分值以及該多個連續三點遞增右側成分值，以計算出多個調整後亮度差。

步驟314：根據該多個像素的像素值以及該多個調整後亮度差，以產生多個調整後亮度值。

第4圖為根據本發明一實施例之電路400的示意圖。如第4圖所示，影像處理電路400包含了一接收電路410、一影像分解電路420、一影像處理單元430、一影像放大電路440以及一輸出電路450。在本實施例中，影像處理電路400係用來接收一影像資料(影像圖框)Din後進行影像放大操作操作，以產生一輸出影像Dout，且輸出影像Dout透過一後端電路402的處理之後被傳送到一顯示面板404並顯示在其上。

在影像處理電路400的操作中，接收電路410接收影像資料Din，而影像分解電路420將影像資料Din的每一個像素的像素值分為兩部分，以產生一第一影像資料Din1以及一第二影像資料Din2，其中第一影像資料Din1包含連續三 點亮度遞增/遞減的像素。接著，影像處理單元430將第一影像資料Din1進行影像處理以產生一處理後第一影像資料Din1’，影像放大電路440將處理後第一影像資料Din1’與第二影像資料Din2相加後進行放大操作以產生一放大後影像資料Din’。最後，輸出電路450根據放大後影像資料Din’產生輸出影像Dout。

詳細舉例來進行說明，在以下的說明中係假設影像資料Din包含了位於圖框中同一列或是同一行之連續的N個像素，且為了方便說明起見，在以下的內容中係以連續的六個像素來進行說明，其中假設影像資料Din在位置‘0’、‘1’、‘2’、‘3’、‘4’、‘5’所對應到之像素的像素值(以下的像素值均以“亮度”為例來進行說明)分別為‘0’、‘0’、‘5’、‘10’、‘12’、‘12’。在本實施例中，影像分解電路420將影像資料Din拆解為第一影像資料Din1及第二影像資料Din2，其中第一影像資料Din1的亮度為(0,0,2,4,6,6)，且第二影像資料Din2的亮度為(0,0,3,6,6,6)。接著，影像處理單元430對第一影像資料Din1進行處理以產生處理後第一影像資料Din1’，而在本實施例中，影像處理單元430本身即為第1圖所示的影像處理電路100，亦即第一影像資料Din1會經過成分值計算電路120、亮度差調整電路130以及輸出電路140以產生處理後第一影像資料Din1’。由於本領域具有通常知識者應能了解如何使用第1~3圖之實施例的計算方式來對第一影像資料Din1進行計算，故申請人在此直接列出計算結果，亦即處理後第一影像資料Din1’的亮度為(0,0,0,6,6,6)。在影像放大電路440的操作中，係將處理後第一影像資料Din1’與第二影像資料Din2相加以得到亮度(0,0,3,12,12,12)，之後再對相加後的結果進行任意適合的放大操作，例如中華民國第107138896號專利申請案中所述的放大操作，以得到放大後影像資料Din’，在此申請人直接列出計算結果，以四倍放大為例，放大後影像資料Din’為(0,0,0,0,0,0,0,0,3,6,9,9,12,12,12,12,12,12,12,12,12,12)。最後，輸出電路450根據放大後影像資料Din’來產生輸出影像 Dout。

簡要歸納本發明，在本發明之影像處理電路及相關的影像處理方法中，透過成分值計算電路所計算出的多個連續三點遞增/遞減成分值、多個連續三點遞增左側成分值及多個連續三點遞增右側成分值，可以使得調整後亮度具有更佳的清晰度以及更銳利的邊緣，且也可以使得後端電路在進行其他操作時可以維持較清晰的邊緣而不會產生邊緣模糊的問題。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100:影像處理電路

102:後端電路

104:顯示面板

110:接收電路

120:成分值計算電路

130:亮度差調整電路

140:輸出電路

Din:影像資料

Dout:輸出影像

Claims (10)

1. 一種影像處理電路，包含有：一接收電路，用以接收一影像資料；一成分值計算電路，耦接於該接收電路，其中針對該影像資料中的連續的多個像素，該成分值計算電路根據該多個像素之任兩相鄰像素的亮度差以計算出多個連續三點遞增成分值，再根據該多個連續三點遞增成分值以計算出多個連續三點遞增左側成分值以及多個連續三點遞增右側成分值；一亮度差調整電路，耦接於該成分值計算電路，用以根據該多個像素之任兩相鄰像素的亮度差、該多個連續三點遞增左側成分值以及該多個連續三點遞增右側成分值，以計算出多個調整後亮度差；以及一輸出電路，耦接於該亮度差調整電路，用以根據該多個像素的像素值以及該多個調整後亮度差，以產生多個調整後亮度值。
2. 如申請專利範圍第1項所述之影像處理電路，其中該成分值計算電路根據該多個像素之任兩相鄰像素的亮度差以計算出多個連續兩點遞增成分值，再根據該多個連續兩點遞增成分值以計算出該多個連續三點遞增成分值，以及再根據該多個連續三點遞增成分值以計算出多個連續四點遞增成分值；以及該成分值計算電路根據該多個連續三點遞增成分值以及該多個連續四點遞增成分值，以計算出該多個連續三點遞增左側成分值以及該多個連續三點遞增右側成分值。
3. 如申請專利範圍第2項所述之影像處理電路，其中該成分值計算電路根據該任一像素與相鄰兩個像素之間的兩個亮度差的一同號成分以計 算出該多個連續兩點遞增成分值，其中該同號成分為該兩個亮度差與零之間的中位數。
4. 如申請專利範圍第2項所述之影像處理電路，其中該成分值計算電路根據任兩相鄰連續兩點遞增成分值的一同號成分以計算出該多個連續三點遞增成分值，其中該同號成分為該兩相鄰連續兩點遞增成分值與零之間的中位數。
5. 如申請專利範圍第2項所述之影像處理電路，其中針對每一個連續三點遞增成分值，該成分值計算電路將該連續三點遞增成分值減去位於左側之連續四點遞增成分值以得到對應的連續三點遞增左側成分值；且針對每一個連續三點遞增成分值，該成分值計算電路將該連續三點遞增成分值減去位於右側之連續四點遞增成分值以得到對應的連續三點遞增右側成分值。
6. 如申請專利範圍第1項所述之影像處理電路，其中該亮度差調整電路根據該多個像素之任兩相鄰像素的亮度差、該多個連續三點遞增左側成分值以及該多個連續三點遞增右側成分值，以將該多個像素之任兩相鄰像素的亮度差往該多個像素的中央移動，以計算出多個調整後亮度差。
7. 一種影像處理方法，包含有：接收一影像資料；針對該影像資料中的連續的多個像素，根據該多個像素之任兩相鄰像素的亮度差以計算出多個連續三點遞增成分值，再根據該多個連續三點遞 增成分值以計算出多個連續三點遞增左側成分值以及多個連續三點遞增右側成分值；根據該多個像素之任兩相鄰像素的亮度差、該多個連續三點遞增左側成分值以及該多個連續三點遞增右側成分值，以計算出多個調整後亮度差；以及根據該多個像素的像素值以及該多個調整後亮度差，以產生多個調整後亮度值。
8. 如申請專利範圍第7項所述之影像處理方法，其中根據該多個像素之任兩相鄰像素的亮度差以計算出該多個連續三點遞增成分值，再根據該多個連續三點遞增成分值以計算出該多個連續三點遞增左側成分值以及該多個連續三點遞增右側成分值的步驟包含有：根據該多個像素之任兩相鄰像素的亮度差以計算出多個連續兩點遞增成分值；根據該多個連續兩點遞增成分值以計算出該多個連續三點遞增成分值；根據該多個連續三點遞增成分值以計算出多個連續四點遞增成分值；以及根據該多個連續三點遞增成分值以及該多個連續四點遞增成分值，以計算出該多個連續三點遞增左側成分值以及該多個連續三點遞增右側成分值。
9. 如申請專利範圍第8項所述之影像處理方法，其中根據該多個像素之任兩相鄰像素的亮度差以計算出該多個連續兩點遞增成分值的步驟包含有：根據該任一像素與相鄰兩個像素之間的兩個亮度差的一同號成分以計算出 該多個連續兩點遞增成分值，其中該同號成分為該兩個亮度差與零之間的中位數。
10. 如申請專利範圍第7項所述之影像處理方法，其中根據該多個像素之任兩相鄰像素的亮度差、該多個連續三點遞增左側成分值以及該多個連續三點遞增右側成分值，以計算出該多個調整後亮度差的步驟包含有：根據該多個像素之任兩相鄰像素的亮度差、該多個連續三點遞增左側成分值以及該多個連續三點遞增右側成分值，以將該多個像素之任兩相鄰像素的亮度差往該多個像素的中央移動，以計算出多個調整後亮度差。

Images