TWI229560B - Method and apparatus of adaptive de-interlacing of motion image - Google Patents

Description

1229560___ 五、發明說明（1) 一、【發明所屬技術領域】 本發明係有關於一種動態影像的去交錯方法及裝置， 特別是有關於一種將動態影像以區塊為單位進行計算及判 斷處理之具有適應性功能的去交錯方法及裝置。 二、【先前技術】 隨著數位式產品推陳出新，其與類比式產品之相容問 題隨之衍生。以目前類比電視的掃描標準而言，普遍被採

用的有 National Television Standards Committee( NTSC)及 Phase Alternation by Line( PAL)兩種，而日 本與美國所採用的NTSC*式係以5 2 5條的掃描線來進行隔 行掃描（又稱為交錯掃描），以構成一個圖框（或是稱為 畫面；irame)，也就是以1秒3〇圖框（畫面）的速 …示/ d、5、7條掃描線的順序進行掃描，直至第52 5線 丄然後再回到第2線，然後以4、6、8的順序進行。因， 〇 ^ °凡號係由兩個視場（f i e 1 d)所組成，而每個視

^ ^ ^含影像的奇數線或影像的偶數線。由於奇數場和偶 個奇一半的掃描線（即2 6 2 · 5條線）所組成，因此每 數場和f和偶數場只有原來影像一半的解析度，而每個奇 優點在馬數場是以1 / 6 0秒的速度來顯示。交錯掃描方式之 ，因此彳、1動態影像顯示流暢’但缺點則是螢幕會產生閃燦 克服之^，出「順序掃描（progressive scan)」技術以 順序描給「順序掃描」是以1、2、3連續至5 25條線，一次 、々出所有的掃描線，並且以1秒6 〇格晝面的速度重

1229560

現，因此其掃描速度是「隔行掃描」的兩倍，而畫面是以 525條掃描線在顯示器上顯示，所以晝面非常纖細&且青晰 ，也因此目前先進的影音設備大都已採用此方式來掃%及 顯示。然而，現行的NTSC系統的影像訊號，仍是採用=交 錯掃描」的方式為主，因此若將交錯掃描所組成的苎面在 「順序掃描」的顯示系統來顯示時，例如將一經由=錯掃 描編輯成的DVD影片直接在高解析度電視（HDTV)上播曰放 及顯示時，則只能顯示奇數場和偶數場的畫面，因 得影像的解析度變差（因只有原來影像一半的解析度）θ ^ 為解決此一問題，就必須使用「去交錯（De_inte^ace )」的技術來克服，換句話說，「去交錯」就是將交錯掃 描轉換成順序掃描的一種方法。 在去交錯處理的技術上，有兩類基本的演算法可供選 ，即無移動補以（n〇ni〇ti〇n compensated)及移動補 f、（ motion-compensated)。其中，無移動補償去交錯演 具法更包含兩種最基本的線性轉換技術，分別為編織（ Weave)及擺動（Bob)。編織係將兩個輸入視場重疊或編 織在一起’以產生一個順序圖框；而擺動係僅接受輸入影 像的其中一視場（例如只接受偶數線的影像），而丟棄^ discard)另一個視場（即奇數線的影像），因此畫面在 垂直方向的解析度大小會從72〇χ 486像素（pixel)降低 到yOx 243像素。這個只有一半解析度的影像，則藉由相 鄰掃描線去填補另一線的空隙空間（v〇 i ds),以便將影 像内插回到72 0x 486像素。 9

第6頁 1229560 五、發明說明 至於 場中的像 動向量的 "macro 的程序來 際上僅選 棄彩度（ 亮度的變 在減少資 以亮度區 由於 用交錯掃 裝置上播 掃描的缺 是擺動的 3然而， 產生影像 或是毛邊 選擇「擺 誤差，使 的垂直解 在去交錯 相關機制 (3) 2動補償係在一時間中，將兩個具有時間位 素位移到一共同點上，以組成一晝面，而兑中= 偵測和確認可以是將視場分割成複數個巨隼區塊 ,然後以區塊匹配（…。卜心㈣心） 執仃。其中，以巨集區塊作移動向量偵測時，實 ，，集區塊中的亮度（即γ)區塊來執行’而丟 仆梦 要的原因為人類的眼睛對 ==而！彩度上的變化則相對遲鈍。因此 求：’ MPEG在進行壓縮編碼時，僅 塊作為移動向ϊ偵測的基準。 目刖的影像操取系統（例如—I 描方式，因此編輯成的_碟片數^攝影機）均採 放，才能顯現出高畫質影像，^在交錯顯不 點，必須在播放裝置（player)為了消除交錯 去交錯方法將交錯掃描轉換成^選擇以編織或 對於動態影像而言，選擇「編織序掃指方式播放 對準誤差（misalignment) 方式來播放會 的畫面而導致影響畫質；而對於 ^出現鑛齒狀 動」方式來播放雖然可克服移動与態影像而言， 動態影像可較清晰及自然，但:象的影像對準 析度，因此現行之影音播放系纟了靜態影像 處理過程中，缺乏一選用適性之土 &位顯示系統 ，無法兼顧動態畫面及靜態畫 父錯演算法的 ' 的影像品質要求

ΗII 第7頁

1229560 五、發明說明（4) 此外，有些DVD係以靜態影像壓縮標準（J〇int

Photographic Experts Group; JPEG)或是只以 MPEG壓縮 標準中的I畫面來編輯’使得該片光碟的動態影像可能僅 包含了 I畫面來的編碼資料。因此，當影音播放系統在播 放此一光碟之影像時，就會因為無法萃取到MpEGM縮技術 中P或B畫面的移動向量而使得一些先進的影音播放系統 播放時產生不相容（incompatible)，意即所謂”挑、片 題，致使影音播放系統無法播放此類影片，造成卜 不方便。 巾上的 三、【發明概要】 本發明提供一種利用影像區塊所含有之移動向量 接進订計异及判斷的「區塊適應性去交錯（bl〇ck〜based adapUve dei nter lacing)」方法， 處理：位’以進行動態影像的去交錯處理… :貫^，擷取與計算動態影像中的每一個巨集 之移動向量i，然後將移動向量值計#之結果與一可調整 之臨界值作比較。纟t ’當移動向量值計算結果本質上大 於臨界值時，、將該巨集區塊視為—動態區塊（m〇t i〇n gioc^k狄故選擇擺動演算法進行去交錯處理；當移動向 =i f 結果本質上小於臨界值時，將該巨集區塊視為一 靜悲區塊（still block 0r non m〇ti〇n M〇ck)，故選 擇編織演算法進行去交錯處理。然後，依此方式持續執行 ，以構成一經過去交錯處理之高畫質動態影像。

1229560 五、發明說明（5) 本發明尚提供一種動態影像的通應性去交錯裝置，包 括··一移動向量處理單元，其係用以擷取及計算一影像區 塊之移動向量，並輸出一移動向量計算值；一判斷單元， 其係用以接收及比較該移動向量計算值及一臨界值，並輸 出一決定訊息；以及一視訊處理單元，其係於接收該決定 訊息後，選擇一演算法以構成該動態影像。 藉此，透過本發明之一種動態影像的適應性去交錯方 法與裝置，能夠使得現行之影音播放系統（例如VCD及DVD Player)與數位顯示系統（例如HDTV或電漿電視）在去交 錯處理的過程中，兼顧動態影像及靜態影像的影像品質， 使得高晝質的數位化影像得以呈現，進而滿足觀賞者之視 聽品質要求。 四、【實施方式】 本發明對於MPEG壓縮技術之描述並不包括其完整流程 ，而且下述内文中之方塊圖，亦並未依據實際之相關位置 及完整的連接圖來繪製，其作用僅在表達與本發明特徵有 關之示意圖。 第一圖係本發明之適應性去交錯方法之步驟流程圖。 首先，於步驟11 0讀取已完成分割成複數個巨集區塊的影 像編碼之座標，並於步驟1 2 0擷取巨集區塊間的移動向量 。其中，區塊大小一般可為8 X 8像素或1 6 X 1 6像素， 也可使用其他大小的像素來組成，其端視執行去交錯處理 裝置之性能及所提供之記憶體大小而調整。由於移動向量

1229560

五、發明說明（6) 值是記錄同一時間中不同視場間的某一特定區塊的位移旦 (displacement)，因此移動向量是以一具體的座標值1 coordinates value)來表示，並且依序讀取區塊的移動 向量值，就能重建晝面。 當擷取到移動向量後’即交由步驟1 3 0來計算，其叶 算方式係將所擷取之移動向量的X座標值及γ座標值各取会 對值後再相加。例如，所擷取的移動向量值為（〇，〜3 ’此表示區塊在X軸方向上沒有位移，而在¥轴方向則 位移了 3 2個像素，因此其計算結果為 ' σ下 I〇1+ 1-32|= 32 接者於步驟1 4 0將此移動向置計算值盘一餘界值 (threshold value)作比較。其中，、此臨界值之訂 依播放影像畫面品質的要求或是播放系統之性能 ° (performance)來決定，也就是說/該臨界值% _ 程序控制（programmable)改變的值。♦移動向旦 、、、 結果本質上大於臨界值時1此—區塊；為具 j區塊’因此由步驟150將區塊以擺動演算 動 處理；若移動向量之計算結果本質上小於臨界值丁去乂錯 此-區塊，為無位移之靜態區塊，因此由步驟i丄貝:將 以編織演算法執行去交錯處理。冬 〜 & k 錯處理方式後’於步驟170檢查該"巨、疋堍買區塊之去交 終點旧。若該巨集區塊並非；= 為視場的 驟180讀取下一個巨集區塊位置之座栌，缺後2，則依步 述之步驟；若該巨集區塊為該視：：支重複執行前 豕 <、令點時，則於步驟

第10頁 1229560

五、發明說明（7) 19〇繼續執行下一個視場的區塊適應性去交錯 止處理。 〜王永疋停 下。^述方法的實施方式可進一步配合第二圖舉例說明如 ，一圖為本發明之適應去交錯處理過程示意圖， —圖至第二C圖。首先，若將一視場切割成i 6個巨隹區 鬼，經步驟1 1 0及1 20後’可擷取到的移動向量分別尔 -4 (〇，〇) 、（ 0，_2) 、（ 1，-3) 、（ 2，5) 、（ 、（—4’ 8) 、（ 8，-10) 、（ -6，2) 、（ -4，~2) 、（18,，）、（ -10’ _20)、（ -16, -30)、卜8, 0、 之位4如4笛4) 、 （ _6，2)及（4，—5)，其相對於畫面 A圖所示。？步驟130計算’分別將各巨集區 向1之X座標值及γ座標值各取絕對值後再相加， 传到之移動向量值分別為0、2、4、7、6、1 2、1 8、 6、28、30、46、8、8、8及9,其相對於晝面之位二 一 β圖所示。當臨界值訂定為丨〇時， 第 處理後，則依本發明所述之適應去交/方\14 0、15 0及16 0 方式如第二c圖所示，其中Β表示為;所構成之畫面 的晝面，而w表示為編織去交錯處理所父錯處理所構成 接下來是本發明之適應性去交錯裝、的畫面。 明。如第三圖所示，其係為本發明之^ 之具體實施例說 方塊圖，包括一去交錯處理單元10,=應去交錯處理裝置 料單元20、一記憶單元30中的視訊影^，與一 MPEG編碼資 處理單元40，及一顯示單元50相連^ ·緩衝單元32、一微 元10更包括一移動向量擷取單元、’其中去交錯處理單 —移動向量計算單元

1229560 -----__— 五、發明說明（8) Φ^ ^向夏判斷單元1 6，以及一視訊處理單元1 8。首 MPF「绝=錯，理單元10中的移動向量掘取單元12，自 ，並枸^貝料單疋2 〇 (例如DVD光碟片）中讀取編碼資料 言十瞀L —各個巨集區塊之移動向量值，接著交給移動向量 斷ϊ:二i4進行計算，然後再將計算結果送到移動向量判 所值、、，a ’當移動向量判斷單元1 6接收到微處理單元40 臨界值進奸^ ί寻. 集區塊之移動向量計算值與. 理單- 較’然後將比較之結果以一訊號送到視訊處 比_ 若視訊處理單元U接收到判斷單元16所傳送之 塊影像位址广.，則达出目前所執行去交錯處理所需之區 豆中岑俛^ lmage address)到視訊影像緩衝單元32， 容；ί視i ί ί:容！*括了奇數視場及偶數視場之編碼内 料自記情Ϊ象衝單元3 2將各個區塊位址之影像編碼資 演算法^成σ依序傳送回視訊處理單元1 8後，再以擺動 理過之麥像=區塊之影像的去交錯處理，並且於稍後將處 示電視中^顯示單元50 (例如：HDTV、PDP或液晶顯 號，要求計;Γ :在此同時，視訊處理單元18亦送出一訊 ，若視訊處理嚴元1 4送出下一區塊之計算結果。另一方面 為移動向量計I ^ 1 8接收到判斷單元1 6所傳送之比較結果 的訊號，則送出 ^質上小於臨界值之訊號時，例如'，0，， 址到視訊影像緩二=所執行去交錯處理所需之區塊影像位 區塊位址之影俊/單元3 2 ;待視訊緩影像衝單元3 2將各個 扁碼=貝料自記憶體3 0中依序傳送回視訊處

第12頁 1229560__ 五、發明說明（9) 理單元1 8後，再以編織演算法完成該區塊之影像的去交錯 處理，並且於稍後將處理過之影像送到顯示單元5 0中顯示 ;視訊處理單元1 8亦在此刻送出一訊號，要求計算單元1 4 送出下一區塊之計算結果。另外，視訊處理單元1 8在持續 執去交錯處理的同時，亦持續檢測移動向量萃取單元1 2所 讀取的編碼資料，當檢視到巨集區塊之編碼内容包括視場 之終點時，則執行下一個視場的去交錯處理或是結束去交 錯處理程序。 由於巨集區塊的組成像素大小是可以調整的，在本發 明第三圖中所表示之區塊適應去交錯處理之功能方塊圖中 ，除了作為輸入與輸出的MPEG編碼資料20與顯示單元50外 ，雖區分成不同的單元，但這並不表示這些單元一定是獨 立存在的裝置（Device)，這些單元可依產品之界面規格 與需求，作不同的配置與組合。例如，使用在高階之影像 處理工作平台（image processing workstation)或是可 播放DVD影片之個人電腦（PC)時，去交錯處理單元1 0可 嵌入於高階系統之中央處理單元（CPU)内或是可單獨製 造成一裝置（例如一晶片；chip)而與CPU相連；而若使 用在播放機時，例如D V D P 1 a y e r，則去交錯處理單元1 0可 與記憶體3 0及微處理單元4 0整合於一晶片上。隨著半導體 製造技術提昇，System On a Chip( SoC)的技術亦曰益 成熟，因此本發明之去交錯處理單元亦可與不同應用系統 相整合。 以上所述僅為本發明之較佳實施例而已，並非用以限

第13頁 1229560 五、發明說明（10) 定本發明之申請專利權利；同時以上的描述，對於熟知本 技術領域之專門人士應可明瞭及實施，因此其他未脫離本 發明所揭示之精神下所完成的等效改變或修飾，均應包含 在下述之申請專利範圍中。

第14頁 1229560 圖式簡單說明 第一圖為本發明之適應性去交錯方法之步驟流程圖 第二圖為本發明之適應去交錯處理過程示意圖。 第三圖為本發明之適應去交錯處理裝置方塊圖。 主要部份之代表符號： ίο 去交錯處理單元 12 移動向量擷取單元 14 移動向量計算單元 16 移動向量判斷單元 18 視訊處理單元 20 MPEG編碼資料單元 30 記憶單元 3 2 視訊影像緩衝單元 4 0 微處理單元 5 0 顯示單元 2 0 0巨集區塊 W 編織演算法 B 擺動演算法

第15頁

Claims (1)

1229560 六、申請專利範圍 1. 一種動態影像的適應性去交錯方法，包括： 擷取並計算該動態影像之複數個巨集區塊之一移動向 量，藉以獲得一移動向量計算值； 比較該移動向量計算值與一臨界值，藉以決定一去交 錯演算法；以及 執行該去交錯演算法，藉以構成經去交錯處理之該動 態影像。 2. 如申請專利範圍第1項所述之動態影像的適應性去交錯 方法，其中擷取該移動向量可由MPEG技術中的P畫面及B畫 面拮貞取。 3. 如申請專利範圍第1項所述之動態影像的適應性去交錯 方法，其中該計算移動向量係以所擷取之該移動向量的X 座標值及Y座標值之絕對值之和作為該移動向量計算值。 4. 如申請專利範圍第1項所述之動態影像的適應性去交錯 方法，其中若該移動向量計算值本質上大於該臨界值時， 選擇一擺動演算法作為該動態影像之去交錯處理依據。 5 ·如申請專利範圍第1項所述之動態影像的適應性去交錯 方法，其中若該移動向量計算值本質上小於該臨界值時， 選擇一編織演算法作為該動態影像之去交錯處理依據。

第16頁 1229560 六、申請專利範圍 6.如申請專利範圍第1項所述之動態影像的適應性去交錯 方法，其中該臨界值可利用一控制裝置及一播放器操作介 面調整。 7 · —種以區塊為去交錯處理單位之動態影像去交錯法之選 擇方法，包括： 讀取一 MPEG編碼資料中複數個巨集區塊之座標位置； 依序將該複數個巨集區塊各座標的X座標值及Y座標值 各取絕對值後再相加，以獲得一移動向量計算值； 比較該移動向量計算值與一可調整之臨界值，藉以決 定一去交錯演算法，以作為該以區塊為去交錯處理單位之 動態影像的去交錯處理依據。 8. 如申請專利範圍第7項所述之以區塊為去交錯處理單位 之動態影像去交錯法之選擇方法，其中該巨集區塊之大小 係8x 8像素的倍數。 9. 一種動態影像的適應性去交錯處理裝置，包括： 一移動向量處理單元，其係用以擷取及計算複數個巨 集區塊之移動向量，並輸出一移動向量計算值； 一判斷單元，其係用以接收及比較該移動向量計算值 及一可調整之臨界值，並輸出一決定訊息； 一視訊處理單元，其係用以接收及根據該決定訊息， 選擇一去交錯演算法，以完成該動態影像之去交錯處理。

第17頁 1229560 六、申請專利範圍 1 0 .如申請專利範圍第9項所述之動態影像的適應性去交錯 處理裝置，其中該移動向量處理單元包括：一移動向量擷 取單元，係用以擷取該複數個巨集區塊的座標，以作為該 移動向量；以及一移動向量計算單元，係用以根據該移動 向量，以計算及輸出該移動向量計算值。 1 1.如申請專利範圍第9項所述之動態影像的適應性去交錯 處理裝置，包括一微處理單元，係用以提供該可調整之臨 界值，以供該判斷單元接收及輸出一決定訊息。 1 2 .如申請專利範圍第9項所述之動態影像的適應性去交錯 處理裝置，其中若該移動向量計算值本質上大於該臨界值 時，該視訊處理單元依據該決定訊息選擇一擺動演算法， 以完成該動態影像之去交錯處理。 1 3.如申請專利範圍第9項所述之動態影像的適應性去交錯 處理裝置，其中若該移動向量計算值本質上小於該臨界值 時，該視訊處理單元依據該決定訊息選擇一編織演算法， 以完成該動態影像之去交錯處理。 1 4.如申請專利範圍第9項所述之動態影像的適應性去交錯 處理裝置，其中該視訊處理單元包括檢測該移動向量計算 單元所讀取之該複數個巨集區塊之編碼内容是否包括一視

第18頁 1229560 六、申請專利範圍 場終點，以決定是否執行下一視場的該去交錯處理，以及 結束該動態影像之去交錯處理程序。 I I ΙΙΗΗΙ 第19頁