TWI590663B - 影像處理裝置及其影像處理方法 - Google Patents

Description

影像處理裝置及其影像處理方法

本發明是有關於一種電子裝置，且特別是有關於一種影像處理裝置及其影像處理方法。

為了提高影像解析度以使影像更加清晰，並減少影像不連續及影像模糊等缺點，以往採用『移動適應性去交錯(motion adaptive deinterlacing)』、『移動補償去交錯(motion compensated deinterlacing)』等技術，藉以使隔行掃描模式的影像增加移動影像垂直部分的解析度。近年來更利用『移動插補(motion interpolation)』技術來增加畫面更新率(frame rate)。藉由移動插補技術便可估計出相鄰畫面中移動物件的移動軌跡(亦即移動向量)，進而計算並插補出新的像素資料及插補畫面，藉以有效地增加每秒所顯示的畫面場，垂直方向的解析度亦可有效保留，讓影像動作更加流暢、清晰，不致於讓觀賞者感受到畫面跳動，並可 減少動作不連續及影像模糊等缺陷。

移動插補技術通常利用多個移動向量來抓取對應的像素資料，再混合這些像素來形成插補畫面，然此種做法必須利用較大的畫面記憶體頻寬才能達成。

本發明提供一種影像處理裝置及其影像處理方法，可有效降低移動插補技術所需的記憶體頻寬。

本發明的影像處理裝置包括儲存單元以及移動估測與移動補償裝置。儲存單元接收並儲存序列影像資料。移動估測與移動補償裝置耦接該儲存單元，對序列影像資料進行移動估測與移動補償，以產生多個插補畫面，移動估測與移動補償裝置包括共享儲存單元、移動向量估測單元、光暈偵測單元以及移動補償單元。共享儲存單元耦接儲存單元，透過資料匯流排自儲存單元擷取第t-1個畫面的影像資料以及第t-2個畫面的影像資料。移動向量估測單元耦接共享儲存單元，接收第t個畫面的影像資料，並自共享儲存單元擷取第t-1個畫面的影像資料，依據第t個畫面的影像資料與第t-1個畫面的影像資料執行移動向量估測運算，以得到移動向量分布資訊。光暈偵測單元耦接移動向量估測單元，依據移動向量分布資訊判斷各插補畫面的光暈(halo)缺陷位置。移動補償單元耦接移動向量估測單元與光暈偵測單元，自共享儲存單元擷取第t-1個畫面的影像資料以及第t-2個畫面的影像資料，依據 移動向量分布資訊、第t-1個畫面的影像資料以及第t-2個畫面的影像資料執行移動補償運算，以產生介於第t-1個畫面與第t-2個畫面間的插補畫面。

在本發明的一實施例中，上述的移動向量估測單元與移動補償單元以影像畫面的片段(slice)為單位同步地執行移動向量估測運算與移動補償運算。

在本發明的一實施例中，上述的共享儲存單元更以降取樣的方式擷取第t-2個畫面的影像資料，而使移動補償單元自共享儲存單元擷取到降取樣後的第t-2個畫面的影像資料。

在本發明的一實施例中，上述的移動補償單元更依據降取樣後的第t-2個畫面的影像資料執行光暈補償運算，以補償各插補畫面的光暈缺陷。

在本發明的一實施例中，上述的第t個畫面的影像資料為降取樣後的影像資料。

在本發明的一實施例中，上述的影像處理裝置更包括預處理單元，其耦接儲存單元與動向量估測單元，對輸入影像資料進行影像預處理，以產生序列影像資料。

在本發明的一實施例中，上述的儲存單元為動態隨機存取記憶體，共享儲存單元為靜態隨機存取記憶體。

本發明的影像處理裝置的影像處理方法，該影像處理裝置包括儲存單元以及移動估測與移動補償裝置，移動估測與移動補償裝置包括共享儲存單元，影像處理裝置的影像處理方法包括 下列步驟。將序列影像資料儲存至儲存單元。透過資料匯流排自儲存單元擷取第t-1個畫面的影像資料以及第t-2個畫面的影像資料。擷取第t個畫面的影像資料，並自共享儲存單元擷取第t-1個畫面的影像資料。依據第t個畫面的影像資料與第t-1個畫面的影像資料執行移動向量估測運算，以得到移動向量分布資訊，其中移動向量分布資訊用以判斷多個插補畫面的光暈(halo)缺陷位置。自共享儲存單元擷取第t-1個畫面的影像資料以及第t-2個畫面的影像資料。依據移動向量分布資訊、第t-1個畫面的影像資料以及第t-2個畫面的影像資料執行移動補償運算，以產生介於第t-1個畫面與第t-2個畫面間的插補畫面。

在本發明的一實施例中，上述的影像處理裝置的影像處理方法包括，以影像畫面的片段為單位同步地執行該移動向量估測運算與該移動補償運算。

在本發明的一實施例中，上述的影像處理裝置的影像處理方法更包括，以降取樣的方式自儲存單元擷取第t-2個畫面的影像資料，以做為執行移動補償運算的依據。

在本發明的一實施例中，上述的影像處理裝置的影像處理方法包括，依據降取樣後的第t-2個畫面的影像資料執行光暈補償運算，以補償各插補畫面的光暈缺陷。

在本發明的一實施例中，上述的影像處理裝置的影像處理方法更包括，對輸入影像資料進行影像預處理，以產生序列影像資料。

在本發明的一實施例中，上述的儲存單元為動態隨機存取記憶體，共享儲存單元為靜態隨機存取記憶體。

基於上述，本發明實施例的移動估測與移動補償裝置藉由共享儲存單元透過匯流排擷取儲存單元的畫面資料，然後移動向量估測單元與移動補償單元再自共享儲存單元擷取執行移動向量估測運算以及移動補償運算所需的畫面資料，如此便可降低執行移動向量估測運算以及移動補償運算時，移動估測與移動補償裝置與儲存單元間的所需要的匯流排頻寬，亦即可有效地降低移動插補技術所需的記憶體頻寬，此外並可同時降低移動估測與移動補償裝置對儲存空間的需求。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧影像處理裝置

102‧‧‧預處理單元

104‧‧‧儲存單元

106‧‧‧移動估測與移動補償裝置

108‧‧‧共享儲存單元

110‧‧‧移動向量估測單元

112‧‧‧光暈偵測單元

114‧‧‧移動補償單元

t、t-1、t-2‧‧‧第t、t-1、t-2個畫面的影像資料

S1‧‧‧影像物件

H1‧‧‧光暈缺陷區域

S402~S414‧‧‧影像處理裝置的影像處理方法步驟

圖1是依照本發明一實施例的影像處理裝置的示意圖。

圖2是依照本發明的一實施例對應移動向量分布資訊的移動向量分布示意圖。

圖3是依照本發明的一實施例的插補畫面的示意圖。

圖4是依照本發明的一實施例的影像處理裝置的影像處理方法流程示意圖。

圖1是依照本發明的一實施例的影像處理裝置的示意圖，請參照圖1。影像處理裝置100包括預處理單元102、儲存單元104以及移動估測與移動補償裝置106，移動估測與移動補償裝置106耦接預處理單元102以及儲存單元104。預處理單元102用以接收輸入影像資料，並對其進行影像預處理，例如影像壓縮處理或邊緣偵測...等等影像預處理，而產生序列影像資料。儲存單元104可例如以動態隨機存取記憶體來實施(如雙倍資料速率(Double Data Rate，DDR)動態隨機存取記憶體)，而移動估測與移動補償裝置106可例如以晶片來實施，然不以此為限。儲存單元104用以儲存來自預處理單元102的序列影像資料。移動估測與移動補償裝置106用以對序列影像資料進行移動估測與移動補償，以產生多個插補畫面。詳細來說，移動估測與移動補償裝置106包括共享儲存單元108、移動向量估測單元110、光暈偵測單元112以及移動補償單元114，其中共享儲存單元108耦接儲存單元104、移動向量估測單元110以及移動補償單元114，移動向量估測單元110更耦接光暈偵測單元12以及移動補償單元114，而光暈偵測單元112更耦接移動補償單元114。

共享儲存單元108可例如以靜態隨機存取記憶體來實施，其可例如為線暫存器，然不以此為限。共享儲存單元108可透過資料匯流排自儲存單元擷取第t-1個畫面的影像資料以及第t-2個畫面的影像資料，其中t為大於1的正整數。移動向量估測 單元110可自共享儲存單元108擷取第t-1個畫面的影像資料，並依據第t個畫面的影像資料與第t-1個畫面的影像資料執行移動向量估測運算，以得到移動向量分布資訊。光暈偵測單元112可依據移動向量分布資訊判斷各個插補畫面的光暈(halo)缺陷位置，以告知移動補償單元114插補畫面中需進行光暈補償的區域。

舉例來說，圖2是依照本發明的一實施例對應移動向量分布資訊的移動向量分布示意圖，請參照圖2。在本實施例中，移動向量估測單元110所選取的影像區塊數量例如是8×7個，即在水平方向選取8行區塊，在垂直方向選取7列區塊，作為進行移動向量估測的影像區域，然本發明並不限於此，其中標示於各區塊的箭頭可代表對應的移動向量總合的方向及大小。光暈偵測單元112可判斷各影像區塊中的移動向量是否一致指向同一方向，其中若影像區塊中移動向量的方向分佈散亂，代表此影像區塊(如圖2中以斜線區域表示的影像區塊)在用以進行畫面插補的相鄰兩畫面中無對應的畫面資料，因此需對此區域進行光暈補償。

圖3是依照本發明的一實施例的插補畫面的示意圖，請參照圖3。在本實施例中，影像物件S1在用以進行畫面插補的前、後兩張畫面間的位置變化關係為向右移動，如圖3所示，插補畫面中影像物件S1的畫面資料僅有一部分可自前、後張畫面中取得，光暈缺陷區域H1的部分(亦即圖3斜線區域的部分)在前、後張畫面中皆無對應的畫面資料，而須針對此部分畫面內容進行光暈補償。其中光暈缺陷區域H1的分布位置可藉由分析如圖2所示 的移動向量分布資訊提供的移動向量分布找出。

移動補償單元114可自共享儲存單元擷取第t-1個畫面的影像資料以及第t-2個畫面的影像資料，依據移動向量分布資訊、第t-1個畫面的影像資料以及第t-2個畫面的影像資料執行移動補償運算，以產生介於第t-1個畫面與第t-2個畫面間的插補畫面。其中移動補償單元114進行插補畫面的光暈補償時，可例如依據第t-2個畫面的影像資料來執行光暈補償運算。

進一步來說，在本實施例中，移動向量估測單元110與移動補償單元114為以影像畫面的片段(slice)為單位同步地執行移動向量估測運算與移動補償運算，移動向量估測單元110與移動補償單元114可藉由於移動向量估測單元110與移動補償單元114間傳輸的同步信號進行同步。由於移動向量估測單元110與移動補償單元114為以影像畫面的片段為單位同步地執行移動向量估測運算與移動補償運算，因此在進行移動向量估測運算與移動補償運算時，移動向量估測單元110與移動補償單元114僅須自共享儲存單元108擷取對影像畫面的片段進行移動向量估測運算與移動補償運算所需的資料，移動向量估測單元110與移動補償單元114中資料暫存器(其可例如以靜態隨機存取記憶體來實施)可不須具備太大的儲存空間。

也就是說，本實施例的移動估測與移動補償裝置106僅需由共享儲存單元108儲存第t-1個畫面的影像資料以及第t-2個畫面的影像資料，再將其分享給移動向量估測單元110與移動補 償單元114，亦即移動向量估測單元110與移動補償單元114僅須分別具有少量的儲存空間即可滿足執行移動向量估測運算與移動補償運算的需求。而習知技術的影像處理裝置並未具備如本案的共享儲存單元，且未以影像畫面的片段為單位執行移動向量估測運算與移動補償運算，因此在習知技術中執行移動向量估測運算與移動補償運算的裝置須分別具有儲存多個影像畫面的儲存空間。因此相較於習知的影像處理裝置，本案的影像處理裝置執行移動向量估測運算與移動補償運算時所需的儲存空間較少，而可有效降低生產成本。

此外，由於本案的共享儲存單元108為透過匯流排接收並儲存自儲存單元104擷取的畫面資料，然後再將其分享給同樣配置在晶片中的移動向量估測單元110與移動補償單元114，而非如習知技術中執行移動向量估測運算與移動補償運算的裝置直接透過匯流排向儲存畫面資料的裝置擷取畫面資料，因此本案的影像處理裝置100對於系統匯流排頻寬的要求較習知技術要低上許多，可有效降低移動插補技術所需的記憶體頻寬。

值得注意的是，在部分實施例中，移動向量估測單元110所接收的第t個畫面的影像資料可例如為降取樣後的影像資料，共享儲存單元108可以降取樣的方式自儲存單元104擷取第t-2個畫面的影像資料，而使移動補償單元114自共享儲存單元108所擷取到的影像資料為降取樣後的第t-2個畫面的影像資料，並據以執行移動補償。其中移動補償單元114在執行移動補償運算時，插 補畫面中光暈缺陷區域以外的部分的畫面資料主要可由未進行降取樣的第t-1個畫面取得，而插補畫面中的光暈缺陷區域(如圖3實施例中的光暈缺陷區域H1)則可依據降取樣後的第t-2個畫面來執行光暈補償運算，以補償光暈缺陷。由於一般光暈缺陷的補償效果有限，因此依據降取樣後的第t-2個畫面或依據未進行降取樣的第t-2個畫面來進行光暈缺陷的補償，兩者的效果差距並不大，亦即採用依據降取樣後的第t-2個畫面來進行光暈缺陷的補償的方式，對於插補畫面的品質並不會有太大的影響。依據降取樣後的第t-2個畫面來進行光暈缺陷的補償的好處在於，可進一步降低本案的移動估測與移動補償裝置106對於儲存空間的要求，亦即共享儲存單元108以及移動補償單元114中暫存器的容量需求可被降低。

圖4是依照本發明的一實施例的影像處理裝置的影像處理方法流程示意圖，請參照圖4。由上述實施例可知，影像處理裝置的影像處理方法可包括下列步驟。首先，對輸入影像資料進行影像預處理，以產生序列影像資料(步驟S402)，其中影像預處理可例如為影像壓縮處理或邊緣偵測等影像處理。接著，將序列影像資料儲存至儲存單元(步驟S404)，其中儲存單元可例如以雙倍資料速率動態隨機存取記憶體來實施，然不以此為限。然後，透過資料匯流排自儲存單元擷取第t-1個畫面的影像資料以及第t-2個畫面的影像資料(步驟S406)。之後，擷取第t個畫面的影像資料，並自共享儲存單元擷取第t-1個畫面的影像資料(步驟S408)， 其中共享儲存單元可例如以靜態隨機存取記憶體來實施，然不以此為限。然後再依據第t個畫面的影像資料與第t-1個畫面的影像資料執行移動向量估測運算，以得到移動向量分布資訊，其中移動向量分布資訊用以判斷多個插補畫面的光暈缺陷位置(步驟S410)。接著，自共享儲存單元擷取第t-1個畫面的影像資料以及第t-2個畫面的影像資料(步驟S412)。最後再依據移動向量分布資訊、第t-1個畫面的影像資料以及第t-2個畫面的影像資料執行移動補償運算，以產生介於第t-1個畫面與第t-2個畫面間的插補畫面(步驟S414)。其中由於執行移動向量估測運算與移動補償運算所依據的畫面為自共享儲存單元擷取而來，因此上述的移動向量估測運算與移動補償運算為以影像畫面的片段為單位同步地被執行，如此可有效降低影像處理裝置在進行影像畫面插補時對於系統匯流排頻寬的要求，降低移動插補技術所需的記憶體頻寬。

在部分實施例中，步驟S406亦可以降取樣的方式自儲存單元擷取第t-2個畫面的影像資料，並將其做為執行光暈補償運算的依據，如此可在不影響畫面品質的情形下降低移動估測與移動補償裝置執行移動補償運算所須的儲存空間。

綜上所述，本發明的實施例的移動估測與移動補償裝置藉由共享儲存單元透過匯流排擷取儲存單元的畫面資料，然後移動向量估測單元與移動補償單元再自共享儲存單元擷取執行移動向量估測運算以及移動補償運算所需的畫面資料，如此便可降低執行移動向量估測運算以及移動補償運算時，移動估測與移動補 償裝置與儲存單元間的所需要的匯流排頻寬，亦即可有效地降低移動插補技術所需的記憶體頻寬，此外並可同時降低移動估測與移動補償裝置對儲存空間的需求。在部份實施例中，更可以降取樣的方式擷取執行光暈補償運算所依據的畫面資料，以進一步降低移動估測與移動補償裝置對儲存空間的需求。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧影像處理裝置

102‧‧‧預處理單元

104‧‧‧儲存單元

106‧‧‧移動估測與移動補償裝置

108‧‧‧共享儲存單元

110‧‧‧移動向量估測單元

112‧‧‧光暈偵測單元

114‧‧‧移動補償單元

t、t-1、t-2‧‧‧第t、t-1、t-2個畫面的影像資料

Claims (13)

1. 一種影像處理裝置，包括： 一儲存單元，接收並儲存一序列影像資料；以及 一移動估測與移動補償裝置，耦接該儲存單元，對該序列影像資料進行移動估測與移動補償，以產生多個插補畫面，該移動估測與移動補償裝置包括： 一共享儲存單元，耦接該儲存單元，透過資料匯流排自該儲存單元擷取第t-1個畫面的影像資料以及第t-2個畫面的影像資料，其中t為大於2的整數； 一移動向量估測單元，耦接該共享儲存單元，接收第t個畫面的影像資料，並自該共享儲存單元擷取該第t-1個畫面的影像資料，依據該第t個畫面的影像資料與該第t-1個畫面的影像資料執行一移動向量估測運算，以得到一移動向量分布資訊； 一光暈偵測單元，耦接該移動向量估測單元，依據該移動向量分布資訊判斷各該插補畫面的光暈(halo)缺陷位置；以及 一移動補償單元，耦接該移動向量估測單元與該光暈偵測單元，自該共享儲存單元擷取該第t-1個畫面的影像資料以及該第t-2個畫面的影像資料，依據該移動向量分布資訊、該第t-1個畫面的影像資料以及該第t-2個畫面的影像資料執行一移動補償運算，以產生介於該第t-1個畫面與該第t-2個畫面間的該些插補畫面。
2. 如申請專利範圍第1項所述的影像處理裝置，其中該移動向量估測單元與該移動補償單元以影像畫面的片段(slice)為單位同步地執行該移動向量估測運算與該移動補償運算。
3. 如申請專利範圍第1項所述的影像處理裝置，其中該共享儲存單元更以降取樣的方式擷取該第t-2個畫面的影像資料，而使該移動補償單元自該共享儲存單元擷取到降取樣後的該第t-2個畫面的影像資料。
4. 如申請專利範圍第3項所述的影像處理裝置，其中該移動補償單元更依據降取樣後的該第t-2個畫面的影像資料執行光暈補償運算，以補償各該插補畫面的光暈缺陷。
5. 如申請專利範圍第3項所述的影像處理裝置，其中該第t個畫面的影像資料為降取樣後的影像資料。
6. 如申請專利範圍第1項所述的影像處理裝置，更包括： 一預處理單元，耦接該儲存單元與該動向量估測單元，對一輸入影像資料進行影像預處理，以產生該序列影像資料。
7. 如申請專利範圍第1項所述的影像處理裝置，其中該儲存單元為動態隨機存取記憶體，該共享儲存單元為靜態隨機存取記憶體。
8. 一種影像處理裝置的影像處理方法，該影像處理裝置包括一儲存單元以及一移動估測與移動補償裝置，該移動估測與移動補償裝置包括一共享儲存單元，該影像處理裝置的影像處理方法包括： 將一序列影像資料儲存至該儲存單元； 透過資料匯流排自該儲存單元擷取第t-1個畫面的影像資料以及第t-2個畫面的影像資料； 擷取第t個畫面的影像資料，並自該共享儲存單元擷取該第t-1個畫面的影像資料； 依據該第t個畫面的影像資料與該第t-1個畫面的影像資料執行一移動向量估測運算，以得到一移動向量分布資訊，其中該移動向量分布資訊用以判斷多個插補畫面的光暈(halo)缺陷位置； 自該共享儲存單元擷取該第t-1個畫面的影像資料以及該第t-2個畫面的影像資料；以及 依據該移動向量分布資訊、該第t-1個畫面的影像資料以及該第t-2個畫面的影像資料執行一移動補償運算，以產生介於該第t-1個畫面與該第t-2個畫面間的該些插補畫面。
9. 如申請專利範圍第8項所述的影像處理裝置的影像處理方法，包括： 以影像畫面的片段(slice)為單位同步地執行該移動向量估測運算與該移動補償運算。
10. 如申請專利範圍第8項所述的影像處理裝置的影像處理方法，更包括： 以降取樣的方式自該儲存單元擷取該第t-2個畫面的影像資料，以做為執行該移動補償運算的依據。
11. 如申請專利範圍第10項所述的影像處理裝置的影像處理方法，包括： 依據降取樣後的該第t-2個畫面的影像資料執行光暈補償運算，以補償各該插補畫面的光暈缺陷。
12. 如申請專利範圍第8項所述的影像處理裝置的影像處理方法，更包括： 對一輸入影像資料進行影像預處理，以產生該序列影像資料。
13. 如申請專利範圍第8項所述的影像處理裝置的影像處理方法，其中該儲存單元為動態隨機存取記憶體，該共享儲存單元為靜態隨機存取記憶體。