TWI390989B - 行動通訊裝置及其影像調整方法 - Google Patents

Description

行動通訊裝置及其影像調整方法

本發明係與影像處理有關，並且特別地，本發明係關於一種具有視訊影像之後處理功能之行動通訊裝置及其影像調整方法。

近年來，由於影音傳播技術的進步加上數位化的潮流下，世界各國均陸續開始發展高品質的數位電視，也帶動了數位電視相關產業的蓬勃發展。

相較於傳統類比訊號在傳輸處理過程中累積許多無法去除之雜訊，數位訊號並無此問題，因此可維持高品質的訊號。此外，數位訊號還可以被壓縮以使得傳送資訊量加大，例如一個類比電視頻道只能播送一個節目，而一個數位電視頻道卻可播送三、四個或更多節目。這些都是將電視訊號數位化後可以帶來的好處。

為了實現「行動式數位電視」之未來趨勢，歐洲數位視訊廣播技術發展組織以原有應用於「固定式數位電視」的數位視訊地面廣播(Digital Video Broadcasting－Terrestrial,DVB－T)傳輸技術標準為基礎，提出一種手持式數位視訊廣播(Digital Video Broadcasting－Handheld,DVB－H)之傳輸技術標準，並於2004年進入驗證與標準化程序，同時於歐洲數個地區進行DVB－H傳輸技術標準之實驗性試播與研究計畫。

相較於原有的DVB－T傳輸技術，DVB－H傳輸技術為了滿足應用於手持裝置之特殊需求，具有低功耗、高行動性、容易接收、共通平台及網路切換服務不中斷等優點。展望未 來，藉由行動通訊網路與DVB－H廣播網路之整合，可提供使用者更多樣化的內容與互動式服務。

至於數位電視所強調的高壓縮率之視訊壓縮技術，過去一直由MPEG－4視訊壓縮標準獨領風騷。然而，隨著視訊壓縮技術不斷地發展，一種嶄新的H.264視訊壓縮標準已被提出。

H.264視訊壓縮標準可利用極小的視訊資料，即能提供使用者極佳的視訊品質。也就是說，使用者只需開啟資料量相當小的H.264視訊檔案，即可看到非常清晰的視訊畫面。

例如H.264視訊壓縮標準只需三分之一至二分之一的資料傳輸率，即可提供與MPEG－2視訊壓縮標準一樣的畫質。 若以相同的資料傳輸率來看，則H.264視訊壓縮標準之解析度可達MPEG－4視訊壓縮標準的四倍。

有鑑於上述之優點，DVB－H傳輸技術所採用之視訊壓縮標準即是H.264視訊壓縮標準。藉由H.264視訊壓縮技術，DVB－H傳輸技術每秒可傳送30幅影像至手持裝置，讓透過手持裝置收看數位電視之使用者亦能享受到和在家觀賞一樣高畫質、速度快的數位電視節目。

然而，當DVB－H所傳輸的訊號不穩定時，很可能會造成H.264視訊解碼器發生錯誤，因而產生了錯誤之影像區塊。此時，解碼後視訊之影像後處理機制就變得很重要。

目前所採用之影像後處理方法大致可分成下列兩種類型。

第一種方法是直接以解碼時的參考影像作為影像修補之依據；此方法運算複雜度雖低，但在動態視訊中會造成影像 不連續之現象，因此並不實用。

另一種方法是採取高階的影像處理技術，例如邊緣偵測、輪廓偵測、紋理抑制或鄰近邊點分析等步驟。此方法之缺點在於其運算複雜度太高，並不適用於運算能力及資源相當有限的手持裝置上。

因此，本發明之主要範疇在於提供一種行動通訊裝置及其影像調整方法，以解決上述問題。

本發明所提出之行動通訊裝置及其影像調整方法，可於不增加行動通訊裝置之運算負擔並同時兼顧視訊串流之影像品質的前提下，對視訊串流中之錯誤區域進行適當的即時影像補償。

根據本發明之一具體實施例係一種行動通訊裝置。該行動通訊裝置具有解碼及播放一視訊串流之功能。該行動通訊裝置包含一判斷模組、一擷取模組、一計算模組及一修正模組。

由於在一解碼後視訊串流中通常包含了相當多張連續播放的影像，因此，很有可能因為傳輸訊號或解碼器不穩定，導致在部分影像中產生一些錯誤之影像區域。因此，該判斷模組之功用在於判斷該解碼後視訊串流中之一目前影像是否包含一錯誤區域。

該擷取模組係電連接至該判斷模組。若該判斷模組之判斷結果為是，該擷取模組將會擷取關於該錯誤區域之一鄰近區域資訊。實際上，該鄰近區域資訊可以是與位於該錯誤區域附近之一鄰近區域相關的一動態向量。

該計算模組係電連接至該擷取模組，並係用以根據該鄰近區域資訊計算對應於該錯誤區域之一推測資訊。實際上，該推測資訊可以是與該錯誤區域相關之一推測動態向量。也就是說，該計算模組可根據該錯誤區域附近區域之動態向量估算出對應於該錯誤區域之動態向量。

該修正模組係電連接至該計算模組，並係用以根據該解碼後視訊串流中之一參考影像及該推測資訊修正該錯誤區域。實際上，該參考影像可以是該視訊串流中相對於該目前影像之一先前影像。

在實際應用中，該行動通訊裝置可進一步包含一解碼模組。該解碼模組電連接至該判斷模組，其功用在於將一原始視訊串流解碼後產生該解碼後視訊串流。

根據本發明之另一具體實施例為一種影像調整方法。實際上，該影像調整方法可應用於具有解碼及播放視訊串流功能之行動通訊裝置。首先，該方法將一原始視訊串流解碼後產生一解碼後視訊串流。接著，該方法判斷該解碼後視訊串流中之一目前影像是否包含一錯誤區域。若判斷結果為是，該方法擷取關於該錯誤區域之一鄰近區域資訊。實際上，該鄰近區域資訊可以是與位於該錯誤區域附近之一鄰近區域相關的一動態向量。

接著，該方法根據該鄰近區域資訊計算對應於該錯誤區域之一推測資訊。實際上，該推測資訊可以是與該錯誤區域相關之一推測動態向量。之後，該方法根據該解碼後視訊串流中之一參考影像及該推測資訊修正該錯誤區域。實際上，該參考影像可以是該視訊串流中相對於該目前影像之一先前影像。

相較於先前技術，根據本發明之行動通訊裝置及其影像調整方法，提供了一種解碼後視訊串流之影像後處理機制，不僅可得到良好的影像處理效果，避免直接以解碼時之先前參考影像作為影像修補之依據所造成之影像不連續現象，同時由於其所需之運算複雜度不高，因此，根據本發明之影像調整方法非常適用於運算資源相當有限的行動通訊裝置。

關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。

本發明提出一種行動通訊裝置及其影像調整方法，以對於行動通訊裝置所接收之一視訊串流中的錯誤區域進行即時的影像補償。

根據本發明之第一具體實施例為一種行動通訊裝置。在此實施例中，該行動通訊裝置具有解碼及播放一視訊串流之功能。請參照圖一，圖一係繪示該行動通訊裝置之功能方塊圖。如圖一所示，行動通訊裝置1包含一判斷模組12、一擷取模組14、一計算模組16及一修正模組18。接下來，將分別就行動通訊裝置1所包含各模組間之關連及其具有之功能進行詳細的介紹。

一般而言，無論是在視訊傳輸或是視訊解碼的過程中，很有可能因為訊號傳輸或解碼器之不穩定，導致在該視訊串流之某些解碼後影像中出現錯誤的影像區域，因而造成不連續的視訊串流，嚴重地影響使用者欣賞影片之感受。因此，行動通訊裝置1中之判斷模組12的功用即在於判斷一解碼後視訊串流中之一目前影像是否包含一錯誤區域。舉例而言，於H.264視訊壓縮標準中，可藉由檢查一區塊的標頭(header) 得知該區塊是否為一錯誤區塊，藉此判斷影像是否包含一錯誤區域。

在實際應用中，該解碼後視訊串流可以是一手持式數位視訊廣播(Digital Video Broadcasting－Handheld,DVB－H)視訊串流。該DVB－H視訊串流可藉由DVB－H傳輸技術以滿足行動通訊裝置所需之低功耗、高行動性、容易接收及網路切換服務不中斷等特殊要求。

在此實施例中，擷取模組14係電連接至判斷模組12。若判斷模組12之判斷結果為是，亦即解碼後視訊串流中之目前影像包含錯誤區域，擷取模組14將會擷取關於該錯誤區域之一鄰近區域資訊。在實際應用中，該鄰近區域資訊可以是與位於該錯誤區域附近之一鄰近區域相關的一動態向量。

計算模組16係電連接至擷取模組14，並係用以根據該鄰近區域資訊計算對應於該錯誤區域之一推測資訊。實際上，該推測資訊可以是與該錯誤區域相關之一推測動態向量。

在此實施例中，修正模組18係電連接至計算模組16，並係用以根據該解碼後視訊串流中之一參考影像及該推測資訊修正該錯誤區域。實際上，該參考影像可以是該視訊串流中相對於該目前影像之一先前影像。

接下來，將透過一範例說明行動通訊裝置1如何在該視訊串流中，藉由目前影像之該錯誤區域附近的鄰近區域動態向量估算出該錯誤區域之推測動態向量，並根據該推測動態向量以及一先前影像修正該錯誤區域。

由於本發明係利用DVB－H之訊號特性以及可能的錯誤情形，並透過錯誤修正之方式將目前影像恢復為高品質的影 像，因此，本發明必須利用空間的特性，藉由錯誤區域與其鄰近區域間之關連性得到有助於錯誤修正之資訊。如圖二所示，此範例僅考慮錯誤區域26之左方、上方、左上方及右上方等四個方向的鄰近區域。由於視訊中之影像具有動態的特性，因此在不同的影像畫面中，某一特定區域之位置很可能會有所不同。如圖二所示，目前影像22中之錯誤區域26與參考影像24中之對應區域27相對於背景圖案28之相對位置即有所不同。因此，本發明採用動態向量之方法。

此外，為了提升H.264編碼之效能，可將這些鄰近區域進一步切割成不同之大小。如圖二所示，目前影像22中之錯誤區域26上方之區域被切割成上下兩區塊，其中下方斜線之區塊可被視為錯誤區域26之鄰近區域；錯誤區域26左方之鄰近區域被切割成四個區塊，其中右上方及右下方兩個斜線之區塊可被視為錯誤區域26之鄰近區域；至於錯誤區域26左上方及右上方的兩個鄰近區域則維持原來的大小不變，均可被視為錯誤區域26之鄰近區域。

如圖二所示，在目前影像22中，每一個被分割的區塊及未被分割之鄰近區域均各自對應一個動態向量。在H.264系統中，提供了7種不同大小與外型的區塊可供選擇(16×16、16×8、8×16、8×8、8×4、4×8、4×4)，因此一個鄰近區域最多可被分割成十六個區塊，故該鄰近區域最多可包含十六個動態向量。

此外，由於每一個鄰近區域對於該錯誤區域所具有之重要性均不相同，因此，可藉由加權之方式得到一組新的動態向量。在此範例中，假設鄰近區域與錯誤區域之距離與兩者間之相關性成反比，即可根據其距離為比例作為計算新的動態向量時加權之權重。

根據上述方法，錯誤區域26上方區域之動態向量mv₂ 可以由下列方程式求得：mv₂ ＝(mv₂₁ ^＊ 1＋mv₂₂ ^＊ 2)/3。

同理，錯誤區域26左方區域之動態向量mv₄ 可以由下列方程式求得：mv₄ ＝(mv₄₁ ^＊ 1＋mv₄₂ ^＊ 1＋mv₄₃ ^＊ 2＋mv₄₄ ^＊ 2)/6。

在錯誤區域26之四個方向的鄰近區域之動態向量mv₁ 、mv₂ 、mv₃ 及mv₄ 均求得之後，對此四個動態向量取其中位數，即可得到在參考影像24中之對應區域27的推測動態向量mv₀ ，可由下列方程式表示：mv₀ ＝median(mv₁ ,mv₂ ,mv₃ ,mv₄ )。

由於動態向量可以表示一影像區域之移動特性，並藉以得知該影像區域在時域上與參考影像(先前影像)之相對位置，經由動態向量估測後所得到之推測動態向量可代表錯誤區域在時域上與之前影像的關連性，並利用推測動態向量對錯誤區域進行修正。

由於解碼器進行解碼時，通常會儲存前一張或前幾張影像作為參考解碼之依據，因此，利用推測動態向量可以在先前影像中定位出對應於目前影像中之錯誤區域的對應區域，並將該對應區域之二維像素資料搬移至目前影像之錯誤區域的位置，藉以改善影像之品質。相較於傳統上，直接將先前影像相同位置之區域的二維像素資料搬移至目前影像之錯誤區域的位置所造成影像不連續之現象，忽略了影像具有動態之特性，根據本發明之影像處理效果可大幅改善此一現象，得到高品質之視訊影像。

如圖三所示，行動通訊裝置1可以進一步包含接收模組10及解碼模組20。實際上，接收模組10可以包含一天線。在此實施例中，行動通訊裝置1之接收模組10所接收之一視訊串流可能包含了相當多張連續播放的影像。舉例而言，若行動通訊裝置1所接收之視訊串流係透過DVB－H傳輸技術傳送，由於DVB－H傳輸技術採用H.264視訊壓縮標準，故每秒可傳送高達30張影像至行動通訊裝置1。

在此實施例中，解碼模組20係電連接至判斷模組12，其功用在於將一原始視訊串流解碼後產生該解碼後視訊串流。實際上，解碼模組20可以是一H.264視訊串流解碼器。由於該H.264視訊串流解碼器係採用H.264視訊壓縮標準對一視訊串流進行壓縮，因此能與同樣採用H.264視訊壓縮標準的DVB－H傳輸技術彼此配合。

圖四係繪示H.264視訊串流解碼程序之一範例。在此例中，經過H.264解多工器所擷取出之視訊資料為一二位元流，假設此二位元流為000010001110010111101101。該位元流包含了每張影像之參數特性及壓縮資料，經由接下來的H.264解碼流程以獲得重建之影像。

如圖四所示，首先，H.264解碼器執行一可適性紋理變數長度解碼(Context Adaptive Variable Length Decoding,CAVLD)之步驟將該二位元流轉換成一頻域資料。

接著，再藉由一反量化之步驟，H.264解碼器可將該頻域資料中之係數作適當地放大以符合該編碼器之編碼技術。之後，該頻域資料可藉由一整數的離散餘弦反轉換(Inverse Discrete Transform,IDCT)之步驟被反轉換成空間域之係數。上述的反量化及整數離散餘弦反轉換之步驟均屬於反轉換(inverse transform)之步驟。

最後，H.264解碼器配合空間域之影像預測技術或時間域之動態補償技術，可獲得完整之空間像素資訊，亦即使用者於行動通訊裝置之螢幕上所見之視訊影像。

藉由H.264視訊壓縮技術，行動通訊裝置1可以利用相當小的視訊串流提供使用者極佳的視訊品質，因此，使用者只需開啟一個很小的H.264視訊檔案，即可透過行動通訊裝置1欣賞到非常清晰的視訊內容。

根據本發明之第二具體實施例為一種影像調整方法。在此實施例中，該影像調整方法可應用於一行動通訊裝置，並且該行動通訊裝置可具有解碼及播放一視訊串流之功能。

請參照圖五，圖五係繪示該影像調整方法之流程圖。如圖五所示，首先，該方法執行步驟S10，將一原始視訊串流解碼後產生一解碼後視訊串流。其中該原始視訊串流與該解碼後視訊串流均包含複數張影像。

實際上，該方法在步驟S10中所執行之解碼程序可以透過該行動通訊裝置中之一H.264視訊串流解碼器以達成。該解碼後視訊串流可以是一手持式數位視訊廣播視訊串流。

由於訊號傳輸或解碼器之不穩定，可能導致在某些解碼後之影像中產生錯誤的影像區域。因此，該方法將會執行步驟S11，判斷該解碼後視訊串流中之一目前影像是否包含一錯誤區域。舉例而言，於H.264視訊壓縮標準中，可藉由檢查一區塊的標頭(header)得知該區塊是否為一錯誤區塊，藉此判斷影像是否包含一錯誤區域。

若步驟S11之判斷結果為是，該方法執行步驟S12，擷取關於該錯誤區域之一鄰近區域資訊。實際上，該鄰近區域資訊係與該錯誤區域之一鄰近區域相關的一動態向量。

之後，該方法執行步驟S13，根據該鄰近區域資訊計算對應於該錯誤區域之一推測資訊。實際上，該推測資訊係與該錯誤區域相關之一推測動態向量。

最後，該方法執行S14，根據該解碼後視訊串流中之一參考影像及該推測資訊修正該錯誤區域。實際上，該參考影像係該解碼後視訊串流中相對於該目前影像之一先前影像。

相較於先前技術，根據本發明之行動通訊裝置及其影像調整方法，提供了一種解碼後視訊串流之影像後處理機制，不僅可得到良好的影像處理效果，避免直接以解碼時之先前參考影像作為影像修補之依據所造成之影像不連續現象，同時由於其所需之運算複雜度不高，因此，根據本發明之影像調整方法非常適用於運算資源相當有限的行動通訊裝置。

藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。

S10~S15‧‧‧流程步驟

1‧‧‧行動通訊裝置

10‧‧‧接收模組

12‧‧‧判斷模組

14‧‧‧擷取模組

16‧‧‧計算模組

18‧‧‧修正模組

20‧‧‧解碼模組

22‧‧‧目前影像

24‧‧‧參考影像

26‧‧‧錯誤區域

27‧‧‧對應區域

28‧‧‧背景圖案

mv₀ ~mv₄₄ ‧‧‧動態向量

圖一係繪示根據本發明之第一具體實施例之行動通訊裝置的功能方塊圖。

圖二係繪示計算推測動態向量之一範例。

圖三係繪示圖一所示之行動通訊裝置的詳細功能方塊圖。

圖四係繪示H.264視訊串流解碼程序之一範例。

圖五係繪示根據本發明之第二具體實施例之影像調整方法的流程圖。

1‧‧‧行動通訊裝置

12‧‧‧判斷模組

14‧‧‧擷取模組

16‧‧‧計算模組

18‧‧‧修正模組

Claims (15)

1. 一種行動通訊裝置，包含：一判斷模組，用以判斷一解碼後視訊串流中之一目前影像是否包含一錯誤區域，其中該解碼後視訊串流包含複數張影像；一擷取模組，電連接至該判斷模組，該擷取模組擷取關於該錯誤區域之一鄰近區域之資訊；一計算模組，電連接至該擷取模組，用以根據該鄰近區域之資訊計算對應於該錯誤區域之一推測資訊；以及一修正模組，電連接至該計算模組，用以根據該解碼後視訊串流中之一參考影像及該推測資訊修正該錯誤區域。
2. 如申請專利範圍第1項所述之行動通訊裝置，其中該鄰近區域包含該錯誤區域之左上方、上方、右上方及左方的區域。
3. 如申請專利範圍第1項所述之行動通訊裝置，其中該鄰近區域之資訊為該鄰近區域之一動態向量。
4. 如申請專利範圍第1項所述之行動通訊裝置，其中該推測資訊為與該錯誤區域相關之一推測動態向量。
5. 如申請專利範圍第1項所述之行動通訊裝置，其中該參考影像係該視訊串流中相對於該目前影像之一先前影像。
6. 如申請專利範圍第1項所述之行動通訊裝置，其中該解碼後視訊串流係一手持式數位視訊廣播(Digital Video Broadcasting－Handheld,DVB－H)視訊串流。
7. 如申請專利範圍第1項所述之行動通訊裝置，進一步包含：一解碼模組，電連接至該判斷模組，用以將一原始視訊串流解碼後產生該解碼後視訊串流。
8. 如申請專利範圍第7項所述之行動通訊裝置，其中該解碼模組係一H.264視訊串流解碼器。
9. 一種影像調整方法，包含下列步驟： (a)判斷一解碼後視訊串流中之一目前影像是否包含一錯誤區域，其中該解碼後視訊串流包含複數張影像；(b)若步驟(a)之判斷結果為是，擷取關於該錯誤區域之一鄰近區域之資訊；(c)根據該鄰近區域之資訊計算對應於該錯誤區域之一推測資訊；以及(d)根據該解碼後視訊串流中之一參考影像及該推測資訊修正該錯誤區域。
10. 如申請專利範圍第9項所述之影像調整方法，其中該鄰近區域包含該錯誤區域之左上方、上方、右上方及左方的區域。
11. 如申請專利範圍第9項所述之影像調整方法，其中該鄰近區域之資訊為該鄰近區域之一動態向量。
12. 如申請專利範圍第9項所述之影像調整方法，其中該推測資訊係與該錯誤區域相關之一推測動態向量。
13. 如申請專利範圍第9項所述之影像調整方法，其中該參考影像係該解碼後視訊串流中相對於該目前影像之一先前影像。
14. 如申請專利範圍第9項所述之影像調整方法，其中該解碼後視訊串流係一手持式數位視訊廣播視訊串流。
15. 如申請專利範圍第9項所述之影像調整方法，進一步包含下列步驟：(e)將一原始視訊串流解碼後產生該解碼後視訊串流。