TW201349852A

TW201349852A - 影像處理裝置與影像處理方法

Info

Publication number: TW201349852A
Application number: TW101118385A
Authority: TW
Inventors: Chung-Yi Chen; Yu-Jen Wang
Original assignee: Mstar Semiconductor Inc
Priority date: 2012-05-23
Filing date: 2012-05-23
Publication date: 2013-12-01
Also published as: US20130314428A1; TWI520598B; US9373154B2

Abstract

本發明提供之影像處理裝置包含第一記憶體、第二記憶體、緩衝器、擷取模組及處理模組。第一記憶體係用以儲存具有第一寬度之原始影像。緩衝器具有小於第一寬度之第二寬度。擷取模組自第一記憶體擷取原始影像中之一子影像，並將擷取之該子影像存入緩衝器。處理模組針對儲存於緩衝器中之該子影像進行影像處理程序，以產生一處理後子影像，並將該處理後子影像存入第二記憶體。

Description

影像處理裝置與影像處理方法

本發明與影像處理技術相關，並且尤其與管理/使用影像處理系統中之記憶體的技術相關。

近年來，隨著各種電子產品蓬勃發展，家庭劇院等多媒體系統日益普及。在多數多媒體系統中，最重要的硬體裝置就屬影像顯示設備。為了滿足觀看者對於逼真影像的需求，影像顯示設備的發展趨勢之一是持續提升畫面的尺寸和解析度。一般而言，大尺寸、高解析度的影像顯示設備必須具備較高的運算速度及記憶體容量。

圖一(A)為一影像顯示設備方塊圖範例。縮放器(scaler)12的功能為調整輸入畫面的尺寸，使縮放後畫面的大小/比例與播放模組15的規格相符，並且對輸入畫面施以亮度調整、對比度調整、銳化等影像處理程序。如圖一(A)所示，輸入畫面首先被儲存在第一動態隨機存取記憶體11中。縮放器12通常被設計為以列為單位處理輸入畫面的影像資料。因此縮放器12中有一個線緩衝器(line buffer)12A，用以暫存自第一動態隨機存取記憶體11擷取的列資料。舉例而言，若輸入畫面的解析度為1920列畫素^＊1080欄畫素，線緩衝器12A的寬度就必須至少能容納1920個畫素的影像資料。

縮放器12逐一產生縮放後畫面中的各列影像資料後，會將產生的資料存入第二動態隨機存取記憶體13。框速率轉換(frame rate conversion,FRC)模組14可在縮放後畫面被完整產生並存入後，自第二動態隨機存取記憶體13讀取該縮放後畫面，並將縮放後畫面提供至播放模組15。若輸入畫面的頻率不同於播放模組15的顯示頻率，框速率轉換模組14會負責刪除多餘的影像或插補產生不足的影像，使最後輸出至播放模組15的畫面頻率符合播放模組15的設定。

傳統上，若將輸入畫面解析度由1920畫素^＊1080畫素提高為3840畫素^＊2160畫素，線緩衝器12A的寬度須相對應地由能容納1920個畫素的影像資料擴充為能容納3840個畫素的影像資料。若縮放器12所進行的影像處理程序包含考慮垂直方向的鄰近畫素，線緩衝器12A就必須同時暫存好幾列畫素的影像資料，例如在針對圖一(B)中的第3列畫素進行處理時，於線緩衝器12A中同時暫存第1列~第5列畫素的影像資料(其中的第1、2、4、5列資料為輔助之用)。由此可看出，只要輸入畫面的解析度被提高，線緩衝器12A的容量絕對值便會大幅上升。

為降低緩衝器的硬體成本，本發明提出一種影像處理裝置及影像處理方法。根據本發明之影像處理裝置及影像處理方法係藉由將原始影像分割為寬度較小之子影像來處理以達成縮小緩衝器的目標。在縮減緩衝器容量的情況下，根據本發明之影像處理裝置及影像處理方法不需要額外提高運作/運算速度仍能維持同等的影像品質。

根據本發明之一具體實施例為一種影像處理裝置，其中包含第一記憶體、第二記憶體、緩衝器、擷取模組及處理模組。第一記憶體係用以儲存具有第一寬度之原始影像。緩衝器具有小於第一寬度之第二寬度。擷取模組自第一記憶體擷取原始影像中之一子影像，並將擷取之該子影像存入緩衝器。處理模組針對儲存於緩衝器中之該子影像進行影像處理程序，以產生一處理後子影像，並將該處理後子影像存入第二記憶體。

根據本發明之另一具體實施例為一影像處理方法。該方法首先執行一存入步驟，將具有一第一寬度之一原始影像存入一第一記憶體。隨後，該方法執行一擷取步驟，自該第一記憶體擷取該原始影像中之一子影像，並將該子影像存入一緩衝器。該緩衝器具有小於該第一寬度之一第二寬度，且該子影像之寬度小於等於該第二寬度。接著，該方法執行一處理步驟，針對儲存於該緩衝器中之該子影像進行一影像處理程序，以產生一處理後子影像。接著，該方法執行一儲存步驟，將該處理後子影像存入一第二記憶體。

關於本發明的優點與精神可以藉由以下發明詳述及所附圖式得到進一步的瞭解。

根據本發明之一實施例為圖二所示之影像處理裝置200，其中包含第一記憶體21、擷取模組22、緩衝器23、處理模組24及第二記憶體25。於實際應用中，影像處理裝置200可被整合在各種影像處理系統或影像播放設備中，亦可獨立存在。實務上，第一記憶體21和第二記憶體25可為同一個記憶體的不同區域，亦可各自存在於兩個不同的記憶體中。以下說明將主要以影像處理裝置200每秒接收30張尺寸為3840列畫素^＊2160欄畫素之原始影像的情況為例，但不以此為限。

影像處理裝置200所接收的原始影像首先被儲存在第一記憶體21中；第一記憶體21至少能容納3840畫素^＊2160畫素的影像資料，也就是單張原始影像的影像資料。不同於先前技術，擷取模組22並非以列(亦即3840畫素^＊1畫素)為單位自第一記憶體21擷取影像資料。於此實施例中，如圖三(A)所示，依據垂直中分線，原始影像被虛擬劃分為左側區域L與右側區域R，每一列畫素因此被區分為兩半(例如各自包含1920畫素的左半列L1和右半列R1)。擷取模組22可首先擷取位於左側區域L中的資料，再擷取位於右側區域R的資料。舉例而言，擷取模組22擷取資料的順序可為：L1、L2、L3、...、L2160、R1、R2、R3、...、R2160，其單位擷取量為1920畫素^＊1畫素，總共擷取4320次。

擷取模組22可被視為每次擷取原始影像中的一個子影像，且該子影像會被暫存至緩衝器23，供處理模組24使用。處理模組24係用以分別針對當時儲存於緩衝器23中的子影像進行影像處理程序，以產生一處理後子影像，例如根據儲存於緩衝器23中的左半列L1產生一處理後左半列L1’。舉例而言，處理模組24所執行的影像處理程序可包含縮放尺寸、亮度調整、對比度調整、銳化…等等，但不以此為限。在處理模組24產生處理後左半列L1’並將處理後左半列L1’存入第二記憶體25後，擷取模組22會繼續將左半列L2的影像資料自第一記憶體21擷取至緩衝器23，供處理模組24處理，依此類推，直到處理模組24產生處理後右半列R2160’並將處理後右半列R2160’存入第二記憶體25。

於此實施例中，處理模組24會依照原本擷取模組22擷取資料的順序將各個處理後子影像存入第二記憶體25，例如L1’、L2’、L3’、...、L2160’、R1’、R2’、R3’、...、R2160’，使該等處理後子影像如圖三(B)所示在第二記憶體25中被組合為一完整的處理後影像。第二記憶體25的容量與處理後影像的大小相關，也就是至少能容納單張處理後影像的影像資料。

由以上說明可看出，此實施例中之擷取模組22每次存入緩衝器23的子影像寬度為1920畫素，因此緩衝器23的寬度只要能容納1920畫素便足夠，而非原始影像的單列影像寬度(3840畫素)。易言之，緩衝器23的寬度可小於原始影像的寬度。實務上，處理模組24可被設計為每1/60秒完成對應於半張原始影像的處理程序，使處理模組24的單位時間資料處理量與每1/30秒處理一整張原始影像時相同。相較於先前技術，雖然緩衝器23容量減半，但各個電路區塊的運作速度不需要額外提高為兩倍，並且影像品質不會受到負面影響。

須說明的是，擷取模組22每次自第一記憶體21擷取的子影像大小及/或擷取順序不以上述範例為限。舉例而言，一原始影像可依據垂直線或水平線被虛擬劃分為更多區域，且各區域的大小毋須相等。或者，擷取模組22可先擷取位於右側區域R中的資料，再擷取位於左側區域L的資料。又或者，擷取模組22可自影像的下方開始擷取資料：L2160、L2159、L2158…。在上述範例中，直到位於左側區域之子影像皆擷取完畢後，擷取模組22才開始擷取位於右側區域之子影像。實務上，擷取模組22的擷取順序亦可為：L1、R1、L2、R2、L3、R3、...、L2160、R2160。此外，擷取模組22擷取的子影像之高度不以1畫素為限。只要擷取模組22每次擷取的子影像之寬度小於原始影像的寬度，就可以達到縮減緩衝器23寬度的效果。

另一方面，擷取模組22所擷取的子影像之內容不以單列原始畫素為限。舉例而言，處理模組24可被設計為同時根據P列原始畫素產生R列處理後畫素，P和R分別為一正整數，R小於等於P。圖三(C)係繪示一種根據三列原始畫素產生一列處理後畫素的範例。於此範例中，欲產生處理後影像之左半部的第六列畫素L6’時，擷取模組22係擷取原始影像之左半部的第五~第七列畫素(L5~L7)至緩衝器23供處理模組24使用；欲產生處理後影像之左半部的第七列畫素L7’時，擷取模組22則需擷取原始影像之左半部的第六~第八列畫素(L6~L8)至緩衝器23供處理模組24使用。易言之，除了與處理後子影像L6’在實體位置上直接對應的L6之外，處理模組24在產生處理後子影像L6’時，還會參考L6的前後相鄰列影像資料。實務上，欲產生處理後子影像L7’時，擷取模組22可重新自第一記憶體21擷取L6~L8做為原始子影像。或者，擷取模組22亦可在緩衝器23中保留左半列L6、L7繼續使用，僅自第一記憶體21擷取左半列L8，使左半列L6~L8在緩衝器23中組成供產生L7’的原始子影像。後面這種做法具有可節省資料流量的好處。

於根據本發明之另一實施例中，擷取模組22每次擷取的子影像各自包含一主要部分與一邊界部分。以前述根據左半列L1產生處理後左半列L1’的情況為例，擷取模組 22所擷取並儲存至緩衝器23的影像資料可如圖四(A)所示，包含由畫素P1~P1920組成的主要部分，以及由畫素P1921~P1923組成的邊界部分(此畫素數量僅為範例)。實際上，該主要部分也就是原本圖三(A)中標示的左半列L1，該邊界部分則是位於右半列R1最左端的三個畫素。

額外擷取邊界部分的好處在於能避免擷取模組22並非以列為擷取單位時可能產生的影像不連續性，尤其在處理模組24所執行之影像處理程序涉及以鄰近橫向畫素做為參考資料時。舉例而言，假設處理模組24所執行的影像處理程序會考慮某目標畫素的左右各三個畫素，比方說，如圖四(B)所示，在產生對應於畫素P4之處理後畫素P4’時，除了畫素P4本身，還需要畫素P1~P3及畫素P5~P7做為參考資料。理論上，如圖四(C)所示，在產生對應於畫素P1920之處理後畫素P1920’時，除了畫素P1920，還需要畫素P1917~畫素P1919及畫素P1921~P1923做為參考資料。因此，擷取模組22亦將畫素P1921~P1923暫存至緩衝器23供處理模組24參考。同理，將產生處理後右半列R1’時，擷取模組22所擷取並儲存至緩衝器23的影像資料可如圖四(D)所示，包含由畫素P1921~P3840組成的主要部分，以及由畫素P1918~P1920組成的邊界部分。

由以上範例可看出，某一子影像的邊界部分同時為不同於該子影像之另一子影像的主要部份。在各子影像包含有邊界部分的情況下，緩衝器23的容量會被相對應地擴充為足以同時容納子影像的主要部分與邊界部分。就上述範例而言，原始影像包含3840欄原始畫素，各個子影像之主要部分包含1920欄原始畫素，且其邊界部分包含3欄原始畫素，緩衝器23因此可被設計為能容納1923個畫素的影像資料。可理解的是，藉由為各子影像額外擷取邊界部分，處理模組24產生的處理後影像會與採用可容納3840畫素之緩衝器時相同，不致發生邊界影像不連續的情況。

於實際應用中，該等邊界部分的選定與處理模組24所執行之影像處理程序相關並且是可預先得知的。不同的影像處理演算法所需要的邊界大小不盡相同，擷取模組22可據此預先設定自第一記憶體21擷取影像資料的規則。邊界部分的寬度通常不會太大，即使緩衝器23的容量必須因此略為增加，相較於先前技術，根據本發明之影像處理裝置200仍同樣保有緩衝器23較小的優點。須說明的是，令各子影像包含主要部分和邊界部分的概念並不限於上述將原始影像依垂直中分線劃分為左右兩區域的情況。

此外，由於邊界部分的主要作用在於輔助產生處理後子影像，處理模組24不需要針對邊界部分中的畫素進行影像處理程序。以圖四(C)所繪示的情況為例，在產生處理後畫素P1920’之後，處理模組24不需要繼續對畫素 P1921~P1923施以影像處理程序，隨後亦毋須將畫素P1921~P1923轉存至第二記憶體25。邊界部分的範圍亦為處理模組24預先所知。處理模組24在將各個處理後子影像自緩衝器23轉存至第二記憶體25時，可將邊界部分刪除，僅保留對應於主要部分的處理後畫素(例如P1’~P1920’)。

於根據本發明之一實施例中，處理模組24所執行之影像處理程序包含依序實施的多個子程序。舉例而言，處理模組24可能先對某一子影像施以第一子程序並產生一中間結果，再對該中間結果執行第二子程序，以產生對應於該子影像的處理後子影像。假設該第一子程序會考慮某目標畫素的左右各三個畫素，且該第二子程序會考慮某目標畫素的左右各兩個畫素。如圖五所示，欲產生處理後子影像中的畫素P1920’，必須參考中間結果中的畫素P1918”~P1922”；欲產生中間結果中的畫素P1922”，必須參考原始子影像中的畫素P1919~P1925。由此可看出，倘若畫素P1920’為該處理後子影像最右端的畫素，擷取模組22至少須擷取畫素P1921~P1925做為邊界部分。以此類推，邊界部分所包含的畫素總數量(或者稱總欄位數量)會等於各個依序執行之子程序的邊界需求參數之總和(於以上範例中為三加二等於五)。

於實際應用中，影像處理裝置200可進一步包含一框速率轉換模組(未繪示)，用以在處理模組24將一處理後畫面完整產生並存入第二記憶體25後，自第二記憶體25讀取處理後畫面，選擇性調整處理後畫面被提供至後續播放模組的框速率。

另一方面，根據本發明之影像處理裝置亦可被延伸設計為能接收並處理多種不同尺寸的原始影像，例如但不限於以下兩種影像規格：每秒30張3840畫素^＊2160畫素之原始影像，以及每秒60張1920畫素^＊1080畫素之原始影像。在這種應用中，可根據較小的影像尺寸選擇緩衝器的寬度，並且在處理較大尺寸的原始影像時，根據緩衝器的寬度逐次擷取原始影像的不同部分做為子影像。

根據本發明之另一實施例為一影像處理方法，其流程圖如圖六所示。該方法首先執行步驟S61，將具有一第一寬度之一原始影像存入一第一記憶體。隨後，該方法執行步驟S62，自該第一記憶體擷取該原始影像中之一子影像，並將該子影像存入一緩衝器。該緩衝器具有小於該第一寬度之一第二寬度，且該子影像之寬度小於等於該第二寬度。接著，該方法執行步驟S63，針對儲存於該緩衝器中之該子影像進行一影像處理程序，以產生一處理後子影像。接著，該方法執行步驟S64，將該處理後子影像存入一第二記憶體。

於實際應用中，若該原始影像包含寬度各自小於等於該第二寬度之N個子影像(N為大於1之整數)，圖六的流程可被進一步修改為如圖七所示。首先，步驟S71為將具有一第一寬度之一原始影像存入一第一記憶體。步驟S72為設定整數指標i等於1。步驟S73則是自該第一記憶體擷取該原始影像中之一第i子影像，並將該第i子影像存入一緩衝器。該緩衝器具有小於該第一寬度之一第二寬度，且該第i子影像之寬度小於等於該第二寬度。步驟S74為針對儲存於該緩衝器中之該第i子影像進行一影像處理程序，以產生一第i處理後子影像。步驟S75為將該第i處理後子影像存入一第二記憶體。隨後，步驟S76為判斷目前的整數指標i是否仍小於N。若步驟S76的判斷結果為是，步驟S77將被執行，設定i=i+1。在步驟S77之後，步驟S73~步驟S76會被重複執行，直到步驟S76的判斷結果為否。

實務上，該整數指標的範圍不一定要被設定在1到N之間，只要原始影像中的複數個子影像可被依序處理完成即可。此外，步驟S75可被設計為使該N個處理後子影像於該第二記憶體中被組合為對應於該原始影像之一處理後影像。先前在介紹影像處理裝置200時描述的各種變化(例如虛擬劃分原始影像的方式和擷取邊界部份)，亦可應用至圖六及圖七所繪示的影像處理方法中，其細節不再贅述。

如上所述，根據本發明之影像處理裝置及影像處理方法係藉由將原始影像分割為寬度較小之子影像來處理以達成縮小緩衝器的目標。在縮減緩衝器容量的情況下，根據本發明之影像處理裝置及影像處理方法不需要額外提高運作/運算速度仍能維持同等的影像品質。

以上較佳具體實施例之詳述係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。

100‧‧‧影像顯示設備

11‧‧‧第一動態隨機存取記憶體

12‧‧‧縮放器

12A‧‧‧線緩衝器

13‧‧‧第二動態隨機存取記憶體

14‧‧‧框速率轉換模組

15‧‧‧播放模組

200‧‧‧影像處理裝置

21‧‧‧第一記憶體

22‧‧‧擷取模組

23‧‧‧緩衝器

24‧‧‧處理模組

25‧‧‧第二記憶體

L1~L2160、R1~R2160‧‧‧子影像

L1’~L2160’、R1’~R2160’‧‧‧處理後子影像

P1~P3840‧‧‧原始畫素

P4’、P1920’‧‧‧處理後畫素

P1918”~P1922”‧‧‧中間結果

S61~S64、S71~S77‧‧‧流程步驟

圖一(A)為一傳統影像顯示設備方塊圖範例；圖一(B)為以列表示影像中之畫素的示意圖。

圖二為根據本發明之一實施例中的影像處理裝置方塊圖。

圖三(A)及圖三(B)為依據垂直中分線將原始影像和處理後影像劃分為兩區域的範例；圖三(C)係繪示根據多列原始畫素產生一列處理後畫素的範例。

圖四(A)和圖四(D)係用以呈現以主要部分及邊界部分組成一子影像的範例；圖四(B)和圖四(C)係用以呈現原始畫素和處理後畫素的對應關係。

圖五係用以說明原始畫素、中間畫素和處理後畫素的對應關係。

圖六和圖七為根據本發明之實施例中的影像處理方法流程圖。

S61~S64‧‧‧流程步驟

Claims

一種影像處理裝置，包含：一第一記憶體，用以儲存具有一第一寬度之一原始影像；一第二記憶體；一緩衝器，具有小於該第一寬度之一第二寬度；一擷取模組，用以自該第一記憶體擷取該原始影像中之一子影像，並將該子影像存入該緩衝器，其中該子影像之寬度小於等於該第二寬度；以及一處理模組，用以針對儲存於該緩衝器中之該子影像進行一影像處理程序，以產生一處理後子影像，並將該處理後子影像存入該第二記憶體。
如申請專利範圍第1項所述之影像處理裝置，其中該子影像包含P列畫素，該處理後子影像包含R列畫素，P和R分別為一正整數，R小於等於P。
如申請專利範圍第1項所述之影像處理裝置，其中該原始影像包含寬度各自小於等於該第二寬度之N個子影像，N為大於1之整數；該擷取模組依序自該第一記憶體將該N個子影像擷取至該緩衝器，供該處理模組處理。
如申請專利範圍第3項所述之影像處理裝置，其中該處理模組被設計為使該N個處理後子影像於該第二記憶體中被組合為對應於該原始影像之一處理後影像。
如申請專利範圍第3項所述之影像處理裝置，其中該原始影像依據一垂直中分線被劃分為一第一側區域與一第二側區域，該擷取模組首先擷取位於該第一側區域之至少一子影像，再擷取位於該第二側區域之至少一子影像。
如申請專利範圍第5項所述之影像處理裝置，其中直到位於該第一側區域之子影像皆擷取完畢後，該擷取模組才開始擷取位於該第二側區域之子影像。
如申請專利範圍第3項所述之影像處理裝置，其中每一個子影像各自包含一主要部分與一邊界部分，一第一子影像之該邊界部分同時為一第二子影像之該主要部份，該等邊界部分之選定與該影像處理程序相關。
如申請專利範圍第7項所述之影像處理裝置，其中該原始影像包含M欄原始畫素，該第一子影像之該主要部分包含(M/2)欄原始畫素，該第一子影像之該邊界部分包含Q欄原始畫素，M為一偶數，Q為與該影像處理程序相關且小於(M/2)之一正整數；該Q欄原始畫素係用以輔助產生對應於該(M/2)欄原始畫素之至少一處理後畫素。
如申請專利範圍第8項所述之影像處理裝置，其中該影像處理程序包含依序實施之多個子程序，該多個子程序各自具有一邊界需求參數；該正整數Q為該多個邊界需求參數之總和。
一種影像處理方法，包含：(a)將具有一第一寬度之一原始影像存入一第一記憶體；(b)自該第一記憶體擷取該原始影像中之一子影像，並將該子影像存入一緩衝器，該緩衝器具有小於該第一寬度之一第二寬度，該子影像之寬度小於等於該第二寬度；(c)針對儲存於該緩衝器中之該子影像進行一影像處理程序，以產生一處理後子影像；以及(d)將該處理後子影像存入一第二記憶體。
如申請專利範圍第10項所述之影像處理方法，其中該子影像包含P列畫素，該處理後子影像包含R列畫素，P和R分別為一正整數，R小於等於P。
如申請專利範圍第10項所述之影像處理方法，其中該原始影像包含寬度各自小於等於該第二寬度之N個子影像，N為大於1之整數；步驟(b)~步驟(d)被反覆執行，直到產生對應於該N個子影像之N個處理後子影像。
如申請專利範圍第12項所述之影像處理方法，進一步包含：將該N個處理後子影像於該第二記憶體中組合為對應於該原始影像之一處理後影像。
如申請專利範圍第12項所述之影像處理方法，其中該原始影像依據一垂直中分線被劃分為一第一側區域與一第二側區域，位於該第一側區域之至少一子影像首先被擷取，位於該第二側區域之至少一子影像隨後被擷取。
如申請專利範圍第14項所述之影像處理方法，其中直到位於該第一側區域之該等子影像皆擷取完畢後，位於該第二側區域之該等子影像才開始被擷取。
如申請專利範圍第12項所述之影像處理方法，其中每一個子影像各自包含一主要部分與一邊界部分，一第一子影像之該邊界部分同時為一第二子影像之該主要部份，該等邊界部分之選定與該影像處理程序相關。
如申請專利範圍第16項所述之影像處理方法，其中該原始影像包含M欄原始畫素，該第一子影像之該主要部分包含(M/2)欄原始畫素，該第一子影像之該邊界部分包含Q欄原始畫素，M為一偶數，Q為與該影像處理程序相關且小於(P/2)之一正整數；該Q欄原始畫素係用以輔助產生對應於該(M/2)欄原始畫素之至少一處理後畫素。
如申請專利範圍第17項所述之影像處理方法，其中該影像處理程序包含依序實施之多個子程序，該多個子程序各自具有一邊界需求參數；該正整數Q為該多個邊界需求參數之總和。