TW202019147A - 影像像素提升裝置與方法 - Google Patents

Abstract

本發明包含一種影像像素提升方法，包含：對於輸入影像包含的複數輸入像素中的每二相鄰輸入像素，進行下列步驟：根據放大比例決定偏移相位；根據放大比例以及偏移相位，決定對應於二相鄰輸入像素間的複數輸出像素相對二相鄰輸入像素的複數插補相位，其中輸出像素包含於輸出影像中；根據插補相位決定複數組權重值；以及根據輸入像素中至少包含二相鄰輸入像素的複數參考輸入像素的複數輸入像素值以及複數組權重值，產生輸出像素的複數輸出像素值，其中輸出像素值其中之一為輸入像素值由該複數組權重值其中之一組進行加權產生。

Description

影像像素提升裝置與方法

本發明是關於影像像素提升技術，尤其是關於一種影像像素提升裝置與方法。

影像像素提升為將較低解析度的影像提升為較高解析度的影像的技術。在部分應用中，當電子裝置從遠端伺服器存取影像串流時，遠端伺服器將可能隨著網路傳輸的品質的良劣與否，傳送不同解析度的影像至電子裝置。此時，電子裝置需要根據其顯示器的解析度對所接收到的影像進行影像像素提升，再由顯示器進行顯示。

然而，傳統的影像像素提升技術中，往往直接輸出每兩個輸入像素的其中之一做為一個輸出像素，再依據此兩個輸入像素進行內插產生其他的輸出像素。這樣的方式容易造成輸入影像的物件在輸出影像中的位置改變，而產生物件偏移的失真效果。

鑑於先前技術的問題，本發明之一目的在於提供一種影像像素提升裝置與方法，以改善先前技術。

本發明之一目的在於提供一種影像像素提升裝置與方法，以在對輸入影像進行影像像素提升後，可維持輸入影像的物件在輸出影像中的位置，避免放大造成物件偏移的失真效果。

本發明包含一種影像像素提升（up-scaling）方法，包含：對於輸入影像包含的複數輸入像素中的每二相鄰輸入像素，進行下列步驟：根據放大比例決定偏移相位；根據放大比例以及偏移相位，決定對應於二相鄰輸入像素間的複數輸出像素相對二相鄰輸入像素的複數插補相位，其中輸出像素包含於輸出影像中；根據插補相位決定複數組權重值；以及根據輸入像素中至少包含二相鄰輸入像素的複數參考輸入像素的複數輸入像素值以及複數組權重值，產生輸出像素的複數輸出像素值，其中輸出像素值其中之一為輸入像素值由該複數組權重值其中之一組進行加權產生。

本發明另包含一種影像像素提升裝置，包含：偏移相位計算電路、權重計算電路以及輸出像素計算電路。偏移相位計算電路對於輸入影像包含的複數輸入像素中的每二相鄰輸入像素，根據放大比例決定一偏移相位。權重計算電路包含：插補相位計算電路以及權重產生電路。插補相位計算電路根據放大比例以及偏移相位，決定對應於二相鄰輸入像素間的複數輸出像素相對二相鄰輸入像素的複數插補相位，其中輸出像素包含於輸出影像中。權重產生電路根據插補相位決定複數組權重值。輸出像素計算電路根據輸入像素中至少包含二相鄰輸入像素的複數參考輸入像素的複數輸入像素值以及該複數組權重值，產生輸出像素的複數輸出像素值，其中輸出像素值其中之一為輸入像素值由該複數組權重值其中之一組進行加權產生。

有關本發明的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。

本發明之一目的在於提供一種影像像素提升裝置與方法，以在對輸入影像進行影像像素提升後，可維持輸入影像的物件在輸出影像中的位置，避免放大造成物件偏移的失真效果。

請參照圖1。圖1為本發明之一實施例中，影像像素提升裝置100的方塊圖。影像像素提升裝置100接收輸入影像Iin，並根據放大比例SR進行像素提升，以產生輸出影像Iout。舉例而言，於一實施例中，輸入影像Iin可為包含1024×768個像素的影像。當放大比例SR為列方向的2倍時，影像像素提升裝置100可據以進行像素提升並產生包含1024×1536個像素的輸出影像Iout。當放大比例SR為行方向的2倍時，影像像素提升裝置100可據以進行像素提升並產生包含2048×768個像素的輸出影像Iout。而當放大比例SR在列方向以及行方向均為2倍時，影像像素提升裝置100可據以進行像素提升並產生包含2048×1536個像素的輸出影像Iout。

請參照圖2。圖2為本發明之一實施例中，圖1的輸入影像Iin所包含的一列（row）輸入像素P₀ -P_N-1 以及輸出影像Iout所包含的一列輸出像素U₀ -U_2N-1 的示意圖。

以下將搭配圖1及圖2，以列方向的放大為範例，對於影像像素提升裝置100的結構以及運作方式進行更詳細的說明。

依據圖1，影像像素提升裝置100包含偏移相位計算電路110、權重計算電路120以及輸出像素計算電路130。

偏移相位計算電路110對於輸入影像Iin包含的每二相鄰輸入像素，根據放大比例SR決定偏移相位PH。於一實施例中，偏移相位PH為一減放大比例SR之倒數的一半。

在一數值範例中，輸入影像Iin中二相鄰輸入像素（例如輸入像素P₀ 及P₁ ）間的相位差為1。當放大比例SR為2時，每二輸出像素（例如輸出像素U₁ 及U₂ ）間的相位差為放大比例SR之倒數，即為1/2。因此，偏移相位PH為一減放大比例SR之倒數的一半，即為1/4。

請參照圖3。圖3為本發明一實施例中，圖1的權重計算電路120更詳細的方塊圖。權重計算電路120包含插補相位計算電路300以及權重產生電路310。

插補相位計算電路300對每二相鄰輸入像素（例如輸入像素P₀ 及P₁ ），根據放大比例SR以及偏移相位PH，決定對應於此二相鄰輸入像素P₀ 及P₁ 間的輸出像素（例如輸出像素U₁ 及U₂ ）相對輸入像素P₀ 及P₁ 的插補相位。其中，插補相位同時也將代表輸出像素U₁ 及U₂ 在輸出影像Iout的位置。

於一實施例中，插補相位計算電路300包含計數器320、乘法器330、加法器340以及相位計算器350。

計數器320依序對應所有輸出像素U₀ -U_2N-1 進行計數，以產生各輸出像素U₀ -U_2N-1 對應的輸出像素計數值CO。舉例而言，輸出像素U₀ 對應的輸出像素計數值CO為0，輸出像素U₁ 對應的輸出像素計數值CO為1，且輸出像素U₂ 對應的輸出像素計數值CO為2。以此類推，輸出像素U_2N-1 的輸出像素計數值CO為2N-1。

乘法器330及加法器340對於輸入像素P₀ 及P₁ 間的各輸出像素U₁ 及U₂ ，使輸出像素計數值與放大比例SR相乘再與偏移相位PH相減。相位計算器350根據乘法器330以及加法器340的計算結果RE之小數部分決定輸出像素U₁ 及U₂ 的插補相位IP。

以輸出像素U₁ 為例，其計數值為1，與放大比例SR的倒數（1/2）相乘再與偏移相位PH（1/4）相減後，將為1×1/2-1/4=1/4。輸出像素U₁ 的插補相位IP為1/4。而以輸出像素U₂ 為例，其計數值為2，與放大比例SR的倒數（1/2）相乘再與偏移相位PH（1/4）相減後，將為2×1/2-1/4=3/4。輸出像素U₂ 的插補相位IP為3/4。

由上述可知，插補相位IP所代表的意義為輸出像素U₁ 及U₂ 分別與對應的輸入像素P₀ 及P₁ 間的相位關係。其中，輸出像素U₁ 相對輸入像素P₀ 的相位差為1/4，相對輸入像素P₁ 的相位差為3/4。而輸出像素U₂ 相對輸入像素P₀ 的相位差為3/4，相對輸入像素P₁ 的相位差為1/4。

須注意的是，上述實施例是以輸入像素P₀ 及P₁ 間的輸出像素U₁ 及U₂ 為範例進行說明。對輸入像素P₁ 及P₂ 間的輸出像素U₃ 及U₄ 來說，其計數值分別為3及4。在與放大比例SR的倒數（1/2）相乘再與偏移相位PH（1/4）相減後，將分別為3×1/2-1/4=1+1/4以及4×1/2-1/4=1+3/4。在移除整數部分後，剩下的小數部分將分別為1/4及3/4。因此，輸出像素U₃ 相對輸入像素P₁ 的相位差為1/4，相對輸入像素P₂ 的相位差為3/4。而輸出像素U₄ 相對輸入像素P₁ 的相位差為3/4，相對輸入像素P₃ 的相位差為1/4。

權重產生電路310根據輸出像素U₁ 及U₂ 的插補相位IP決定複數組權重值WE。其中，權重值WE的組數將對應於輸出像素U₁ 及U₂ 的數目。以上述的實施例來說，權重產生電路310將產生兩組權重值WE，一組是根據輸出像素U₁ 的插補相位IP決定，並對應於輸出像素U₁ ；另一組是根據輸出像素U₂ 的插補相位IP決定，並對應於輸出像素U₂ 。

於一實施例中，權重產生電路310包含儲存電路360以及查找電路370。儲存電路360儲存查找表365，且查找表365包含用以儲存權重值的複數欄位。查找電路370依據插補相位IP查詢查找表365，以自查找表365找出各組對應權重值WE。

輸出像素計算電路130根據輸入像素P₀ -P_N-1 中，至少包含輸入像素P₀ 及P₁ 的參考輸入像素的輸入像素值以及該複數組權重值，產生輸出像素U₁ 及U₂ 的輸出像素值。

更詳細地說，輸出像素計算電路130根據參考輸入像素的輸入像素值，由對應輸出像素U₁ 的一組權重值進行加權，產生輸出像素U₁ 的輸出像素值。輸出像素計算電路130根據參考輸入像素的輸入像素值，由對應輸出像素U₂ 的一組權重值進行加權，產生輸出像素U₂ 的輸出像素值。

於一實施例中，參考輸入像素的數目以及各組權重值包含的複數個權重值的數目均相當於插補階數。舉例而言，當插補階數為2時，每個輸出像素U₁ 及U₂ 的輸出像素值是由兩個輸入像素決定。此時，參考輸入像素的數目為2，且包含輸入像素P₁ 及P₂ 。因此，參考輸入像素即為輸入像素P₀ 及P₁ 。同時，對應輸出像素U₁ 的該組權重值中將包含數目為2的權重值。

當輸入像素P₀ 及P₁ 的輸入像素值分別為A₁ 及A₂ ，且該組權重值為B₁ 及B₂ 時，輸出像素U₁ 的輸出像素值將為A₁ ×B₁ +A₂ ×B₂ 。類似地，當輸入像素P₀ 及P₁ 的輸入像素值分別為A₁ 及A₂ ，且對應輸出像素U₂ 的該組權重值為C₁ 及C₂ 時，輸出像素U₂ 的輸出像素值將為A₁ ×C₁ +A₂ ×C₂ 。

因此，影像像素提升裝置100將可對應輸入像素P₀ 及P₁ 產生輸出像素U₁ 及U₂ ，其中輸出像素U₁ 及U₂ 將包含於輸出影像Iout中。影像像素提升裝置100可依據上述的方式，對於每二相鄰的輸入像素，例如輸入像素P₁ 及P₂ 、輸入像素P₂ 及P₃ 、…、輸入像素P_N-2 及P_N-1 進行計算，產生包含於輸出影像Iout中的輸出像素U₃ 及U₄ 、輸出像素U₅ 及U₆ 、…、輸出像素U_2N-2 及U_2N-1 ，達到在列方向2倍放大的的功效。進一步地，對於輸入影像Iin的其他列輸入像素，影像像素提升裝置100亦可依據上述的方式進行計算，以使整個輸入影像Iin都能達到在列方向2倍放大的功效。

本發明的影像像素提升裝置100可根據欲進行放大的輸出像素與輸入像素間的相位關係產生權重值，再根據輸入像素值進行加權來產生輸出像素的輸出像素值，使輸入影像Iin包含的物件在將相位納入考慮的情形下，避免放大造成物件偏移的失真效果，並維持像素提升後在輸出影像Iout中的物件位置。

需注意的是，上述的實施方式僅為一範例。於其他實施例中，本領域的通常知識者當可在不違背本發明的精神下進行更動。

舉例而言，上述的實施例是以插補階數為2做為範例進行說明。於其他實施例中，插補階數可為其他數目。舉例而言，當所要計算的目標為對應輸入像素P₁ 及P₂ 間的輸出像素U₂ 及U₃ ，且插補階數為4時，每個輸出像素U₂ 及U₃ 的輸出像素值是由四個輸入像素決定。此時，參考輸入像素的數目為4，且包含輸入像素P₁ 及P₂ 。因此，參考輸入像素將分別為輸入像素P₀ 、P₁ 、P₂ 及P₃ 。同時，對應輸出像素U₂ 及U₃ 的各組權重值將包含數目為4的權重值，以分別藉由四個權重值對輸入像素P₀ 、P₁ 、P₂ 及P₃ 的像素值進行加權，來產生輸出像素U₂ 及U₃ 的輸出像素值。

此外，上述的實施例是以對應輸入像素P₀ 及P₁ 間的輸出像素U₁ 及U₂ 為例進行說明。於一實施例中，當欲計算的目標為輸出像素U₀ 時，由於輸入像素P₀ 位於邊界，輸出像素U₀ 無法對應於兩個相鄰的輸入像素，因此可根據圖2中所繪示的冗餘輸入像素P_d 及其預設輸入像素值，來和輸入像素P₀ 進行計算，透過上述的方式產生輸出像素U₀ 的輸出像素值。

再者，上述的實施例是以列方向放大兩倍為例進行說明。上述的影像像素提升的方式亦可應用於行（column）方向的放大，進一步達到使輸入影像Iin在列方向及行方向均進行放大的功效。舉例來說，影像像素提升裝置100可先對輸入影像Iin進行列方向及行方向其中之一的放大，再將放大的結果進行列方向及行方向另一者的放大。而於其他實施例中，亦可進行其他倍數（例如，但不限於3倍、4倍等）的放大，甚至在列方向及行方向進行不同倍數的放大。

請參照圖4。圖4為本發明一實施例中，一種影像像素提升方法400的流程圖。

除前述電路外，本發明另揭露一種影像像素提升方法400，影像像素提升方法400應用於例如，但不限於圖1的影像像素提升裝置100中，以對輸入影像Iin進行像素提升而產生輸出影像Iout。影像像素提升方法400之一實施例如圖4所示，包含下列步驟：

S410：對於輸入影像包含的複數輸入像素中的每二相鄰輸入像素，根據放大比例決定偏移相位；

S420：根據放大比例以及偏移相位，決定對應於二相鄰輸入像素間的複數輸出像素相對二相鄰輸入像素的複數插補相位，其中輸出像素包含於輸出影像中；

S430：根據插補相位決定複數組權重值；以及

S440：根據輸入像素中至少包含二相鄰輸入像素的複數參考輸入像素的複數輸入像素值以及複數組權重值，產生輸出像素的複數輸出像素值，其中輸出像素值其中之一為輸入像素值由該複數組權重值其中之一組進行加權產生。

需注意的是，上述的實施方式是以電路的結構說明影像像素提升裝置100。於其他實施例中，影像像素提升裝置100亦可由包含處理單元及儲存有電腦可執行指令的記憶體單元的電腦系統所實現。當處理單元自記憶體單元讀取並執行電腦可執行指令時，將可執行影像像素提升裝置100中，包含偏移相位計算電路110、權重計算電路120以及輸出像素計算電路130的各電路的功能，並進一步執行圖4所述的影像像素提升方法400。

綜合上述，本發明中的影像像素提升裝置及方法可在對輸入影像進行影像像素提升後，維持輸入影像的物件在輸出影像中的位置，避免放大造成物件偏移的失真效果。

雖然本發明之實施例如上所述，然而該些實施例並非用來限定本發明，本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範疇，換言之，本發明之專利保護範圍須視本說明書之申請專利範圍所界定者為準。

100:影像像素提升裝置110:偏移相位計算電路120:權重計算電路130:輸出像素計算電路300:插補相位計算電路310:權重產生電路320:計數器330:乘法器340:加法器350:相位計算器360:儲存電路365:查找表370:查找電路400:影像像素提升方法CO:輸出像素計數值Iin:輸入影像Iout:輸出影像IP:插補相位P₀-P_N-1:輸入像素P_d:冗餘輸入像素PH:偏移相位RE:計算結果S410~S440:步驟SR:放大比例U₀-U_2N-1:輸出像素WE:權重值

［圖1］顯示本發明之一實施例中，影像像素提升裝置的方塊圖； ［圖2］顯示本發明之一實施例中，圖1的輸入影像所包含的一列輸入像素以及輸出影像所包含的一列輸出像素的示意圖； ［圖3］顯示本發明之一實施例中，圖1的權重計算電路更詳細的方塊圖；以及 ［圖4］顯示本發明之一實施例中，一種影像像素提升方法的流程圖。

100:影像像素提升裝置

110:偏移相位計算電路

120:權重計算電路

130:輸出像素計算電路

Iin:輸入影像

Iout:輸出影像

PH:偏移相位

SR:放大比例

WE:權重值

Claims (14)

1. 一種影像像素提升（up-scaling）方法，包含： 對於一輸入影像包含的複數輸入像素中的每二相鄰輸入像素，根據一放大比例決定一偏移相位； 根據該放大比例以及該偏移相位，決定對應於該二相鄰輸入像素間的複數輸出像素相對該二相鄰輸入像素的複數插補相位，其中該等輸出像素包含於一輸出影像中； 根據該等插補相位決定複數組權重值；以及 根據該等輸入像素中至少包含該二相鄰輸入像素的複數參考輸入像素的複數輸入像素值以及該複數組權重值，產生該等輸出像素的複數輸出像素值，其中該等輸出像素值其中之一為該等輸入像素值由該複數組權重值其中之一組進行加權產生。
2. 如申請專利範圍第1項所述之影像像素提升方法，其中該偏移相位為一減該放大比例之倒數的一半。
3. 如申請專利範圍第1項所述之影像像素提升方法，其中該等參考輸入像素的數目以及各該複數組權重值包含的複數個權重值的數目均相當於一插補階數。
4. 如申請專利範圍第1項所述之影像像素提升方法，其中決定該等輸出像素的該等插補相位之步驟更包含： 依序對應所有該二相鄰輸入像素對應的該等輸出像素進行計數，以產生對應各該等輸出像素的一輸出像素計數值；以及 根據各該等輸出像素對應的該輸出像素計數值判斷該等輸出像素的該等插補相位。
5. 如申請專利範圍第4項所述之影像像素提升方法，更包含： 對於各該等輸出像素，使該輸出像素計數值與該放大比例的倒數相乘，再與該偏移相位相減，以根據計算結果之一小數部分決定各該等插補相位。
6. 如申請專利範圍第1項所述之影像像素提升方法，其中根據該等插補相位決定該複數組權重值之步驟更包含： 依據該等插補相位查詢一查找表，以自該查找表找出該複數組權重值。
7. 如申請專利範圍第1項所述之影像像素提升方法，其中該輸入影像包含複數邊界輸入像素，該輸出影像包含的部分該等輸出像素分別是由該等邊界輸入像素其中之一與對應之一冗餘輸入像素所產生。
8. 一種影像像素提升裝置，包含： 一偏移相位計算電路，對於一輸入影像包含的複數輸入像素中的每二相鄰輸入像素，根據一放大比例決定一偏移相位； 一權重計算電路，包含： 一插補相位計算電路，根據該放大比例以及該偏移相位，決定對應於該二相鄰輸入像素間的複數輸出像素相對該二相鄰輸入像素的複數插補相位，其中該等輸出像素包含於一輸出影像中；以及 一權重產生電路，根據該等插補相位決定複數組權重值；以及 一輸出像素計算電路，根據該等輸入像素中至少包含該二相鄰輸入像素的複數參考輸入像素的複數輸入像素值以及該複數組權重值，產生該等輸出像素的複數輸出像素值，其中該等輸出像素值其中之一為該等輸入像素值由該複數組權重值其中之一組進行加權產生。
9. 如申請專利範圍第8項所述之影像像素提升裝置，其中該偏移相位為一減該放大比例之倒數的一半。
10. 如申請專利範圍第8項所述之影像像素提升裝置，其中該等參考輸入像素的數目以及各該複數組權重值包含的複數個權重值的數目均相當於一插補階數。
11. 如申請專利範圍第8項所述之影像像素提升裝置，其中該插補相位計算電路包含一計數器，依序對應所有該二相鄰輸入像素對應的該等輸出像素進行計數，以產生各該等輸出像素對應的一輸出像素計數值，其中該等輸出像素的該等插補相位是根據各該等輸出像素對應的該輸出像素計數值判斷。
12. 如申請專利範圍第11項所述之影像像素提升方法，其中該插補相位計算電路更包含： 一乘法器以及一加法器，對於各該等輸出像素，使該輸出像素計數值與該放大比例的倒數相乘再與該偏移相位相減；以及 一相位計算器，根據該乘法器以及該加法器的計算結果之一小數部分決定各該等插補相位。
13. 如申請專利範圍第8項所述之影像像素提升裝置，其中該權重產生電路包含： 一儲存電路，儲存一查找表；以及 一查找電路，依據該等插補相位查詢一查找表，以自該查找表找出該複數組權重值。
14. 如申請專利範圍第8項所述之影像像素提升裝置，其中該輸入影像包含複數邊界輸入像素，該輸出影像包含的部分該等輸出像素分別是由該等邊界輸入像素其中之一與對應之一冗餘輸入像素所產生。

Images