TWI238002B - Method for selecting the de-interlacing algorithm of dynamic image - Google Patents

Description

1238002 五、發明說明（1) 一、【發明所屬技術領域】 本發明係有關於一種影像的去交錯處理之方法，特別 是有關於一種可依播放系統性能與輸入影像編碼條件決定 之動態影像去交錯演算法之選擇方法。 二、【先前技術】 在數位化趨勢之下，多媒體應用蓬勃發展，因此影音 播放及顯示系統也隨著潮流而必須具有將類比訊號轉移至 數位訊號之功能。以目前類比電視的掃描標準而言，計有 National Television System Commi ttee ( NTSC)及 Phase

Alternation by Line( PAL)兩種掃描方式。在曰本或美 國係採用N T S C方式，以5 2 5條的掃描線來構成一個圖框（ frame)(或稱為畫面），也就是以1秒3〇圖框的速度重複 顯示。但構成一個圖框的5 2 5掃描線並非一次掃描就完成 ，而是以隔行掃描的方式來重現一個畫面。換句話說，在 第1條掃描線完成後，緊接而來的並非第2線，而是以3、 5、7的順序進行，直至第525線，然後再回到第2線’然後 以4、6、8的川員序重福】隹；, a每_ ， 是「隔行掃描」，也稱：數交二這」就 ’交錯視訊訊號係由兩個視場（ 數線。在進：影像見場只包含影像的奇數線或偶 會在-個瞬間輸出影像二二cap:u:e)日寺’電視攝影機 冢的奇數線，然後在1 6. 7毫秒後，再

1238002 五、發明說明（2) ' ------ 輸出景^的偶數、線。在輸出景“象的奇數線及偶數線的過程 之間，曰產生一個時間的位移（temp〇ral讣“而 時間的位移必須要在以圖框基準（frame 來處理 的系統中被定位。此方式在靜態影像的播放 畫質良好的畫面’但對於動態影像…則會在；= =鑛齒？（ —ion)㈣響畫f， ieathering)現象。此外，由於奇數場和偶數 的掃描線（即2 6 2.5條線）所組成，因此每 ^ ;=原#來影像一半的解析度（——，因此當 :面放大時，冑賞者便會感到掃描線粗大，甚至合覺得： 面杈糊。基於交錯掃描具有前述缺點，「順 ^ 一

Passive 掃^ 5 if 、3連績至525條線’一次順序描緣出所有的 Ϊ =錯；；：二6〇個畫面的速度重現，因此其掃描速 此目前先進=旦，立二I =顯不之畫面較為纖細清晰，也因 ί : 備大都已採用此方式來掃描及顯示。 ^ , m , 於NTSC系統的影像訊號仍是採用交_掃y方 二：因此若將此交錯掃描所組成的畫面在 影：m: υ ϊ將—經由交錯掃据編輯二」D〇 示奇數場和偶^場^二面視（hdtv)上播放時，則只能顯 而必須使用「去交錯^ D ，.因此會使得影像的解析度變差 換句話說，「去六二'intyiace)」的技術來克服。 程中，用以避条==」疋在交錯掃描轉換成順序掃描過 用以避免產生影像對準誤差（misaiignm⑽的一 1238002 五、發明說明（3) 種方法。 此外，在動態影像壓縮技術中，目前均使用Μ P E G ( Motion Pictures Experts Group)之壓縮標準來執行。 在MPEG壓縮（或稱為編碼）過程中，係採用了 3種不同的 方式來壓縮每個畫面’即I畫面〇n t r a- f r ame) 、B畫面（

Bi-directional frame)跟 P晝面（predicted frame)。 其中I畫面係將畫面分割為1 6x 1 6像素（pixel)的巨集 區塊（macro block)來處理，而每個巨集區塊又可由 4 個8x 8像素的亮度（l u m i n a n c e ; Y)區塊、一個8x 8像素 的Cr區塊及一個8x 8像素的Cb區塊組成，並且不需要考 慮與其他畫面之間的關係，其所儲存的是一張完整的畫面 ’ P畫面同樣是以巨集區塊為單位，以前面的I晝面作為參 考圖像利用移動補償（mo t i on compensat i on)技巧將 旦，與其參考畫面（reference frame)之位移差異加 以計算與儲存’以根據此計算所得之移動向量（M〇u〇n ’ MV)顯示該影像為一動態影像；B畫面的原理跟 理相同’只是它的每一個巨集區塊的參考畫面 可以疋攸刖面的了蚩 ^ ; 1忠面（或P畫面），也可以是後面的P書 面（或I晝面）得$丨丨 4、L L 一 一 爿仔到，或者是兩者的平均。 現行之影音井趨, 雜f nvw你m 碟（Vldeo CD; VCD)或多功能數位光 磲C DVD)使用交牡 1换妨眭k 知^系統所拍攝之影像編輯而成，故 具播放時仍是以办μ # 交錯掃描所組成構成-畫1" ’因此為了避免此 的相關問冑，去：：”順序掃描的顯示系統顯示時產生 \錯决鼻法的選用不可或缺。然而，在

1238002 五、發明說明（4) VCD或DVD編輯過 縮標準（J 〇 i n t 是只以MPEG標準 未經壓縮的情況 碼資料，或是完 播放系統在播放 動向量而產生解 問題，致使影音 影片，而造成觀 擇機制之影音播 例如記憶體不足 硬體需求相配合 擇去交錯演算法 程中，對於將一些影音資料以靜態影像壓

Photographic Experts Group; JPEG)或 的I畫面編輯在一片光碟，以及影像完全 ’由於動態影像可能僅包含了 I晝面的編 全只有動態影像的影像資料，因此當影音 此類光碟影像時，就會因為無法檢測到移 碼不相容（incompat ible)的所謂”挑片” $放系統無法播放此類未提供移動向量的 賞者的不方便。此外，對於某些未提供選 放系統而言，當受限於硬體性能之限制， 之=f頻寬不夠大時，某些需要較多系統 之去父錯演算法將盔法 ia M m 了…古轨仃，部又缺乏選 相關機制，因而盔 …、次顯不最佳的影像品質 發明概要 統之輸出畫質改善之 性與彈性諸多考量， 法之選擇方法，包括 有鑑於去交錯法對於影 重要性，以及增進使用者操作2 本發明提供一種動態影 下述步驟： 方乂錯靖 个双优獾放系統 寅算法執行“ j，當播放系統硬體資渴 執仃去父錯處理並輪出—動能寺，選擇線段去交錯演算 硬體資源不符合線段去 心影像；1次，告& # 2、 尺仅老父錯演算生 ，、人田播放系統 _ 仃條件時，再檢視輸

1238002 五、發明說明（5) 入影像資料是否含有P畫面資料；當輸入影像資料含有P畫 面之資料時，播放系統選擇區塊去交錯演算法來執行去交 錯處理；當輸入影像資料未含有P畫面資料時，播放系統 判斷與選擇是否以全圖為處理單位之去交錯演算法來執行 去交錯處理。其中，前述之是否以全圖為處理單位之去交 錯演算法可為一圖框去交錯演算法，以及一視場去交錯演 算法，而其選擇分別根據以圖框及以視場為去交錯處理單 位而定。 本發明尚提供一種動態影像去交錯演算法之選擇方法 ，包括：首先，根據一播放系統硬體資源，產生一可選擇 去交錯法選單，以供使用者選取其中之一選項，其中該可 選擇去交錯法選單包括該播放系統硬體資源足以執行之去 交錯法。接著，顯示所產生之可選擇去交錯法選單，供該 播放系統使用者選擇一去交錯法，作為一動態影像之去交 錯處理依據。 藉由本發明以選擇適用於解決影音播放系統（例如 VCD及DVD Player)之掃描顯示方式轉換，以及相容性等 問題之諸多去交錯處理方法，不僅使得播放系統能夠依據 硬體性能、動態影像編碼訊息與去交錯處理單位大小來選 擇一較佳的去交錯演算法，以獲得良好晝質的動態影像輸 出，並且尚可利用播放系統所具有的自動選擇功能，使操 作者不須經過繁複的操作程序就能觀賞，增進了使用選擇 的多樣性與便利性。

1238002 五、發明說明（6) 四、【實施方式】 由於本發明中所利用到的一些壓縮標準及編碼相關之 技術及方法，已於先前技術中詳細說明，故下述說明中對 於壓縮技術之描述並不包括其完整流程。同時本發明對 MPEG壓縮技術所沿用的現有編碼（enc〇ding)及解碼（ decoding)技藝，在此僅作重點式的引用，以助本發明的 闡述。而且下述内文中之方塊圖，亦並未依據實際之相關 位置及完整的連接圖來繪製，其作用僅在表達與本發明特 徵有關之示意圖。 如前所述，經過去交錯處理的動態影像可獲得較佳的 畫質（Image quality)，而去交錯處理可分為線段去交 錯處理（Line-segment De-interlacing)、區塊去交錯 處理（Block-based De-interlacing)、視場去交錯處理 (Field-based De-interlacing)以及圖框去交錯處理（ Frame-based De~interlacing)等，並且這些去交錯處理 又依輸入影像的編碼方式及播放系統的性能才能執行。去 交錯處理與輸入影像的編碼方式、播放系統的性能以及書 質間的關係可表示於下表中：

第10頁 晝質 播放系統硬體性能 要求 輸入影彳 條件 圖框去交錯 好(good ) 一般（simple ) 不限$ ^ 視場去交錯 好(good ) 一般（simple ) 不限巧 S £塊去父雀a 考艮好 (very good ) 最低；最簡單 (simplest) t需要^ p晝面 線段去父錯 最好（best ) 农南，表複雜 (complicated ) 不限制 —____j 1238002 五、發明說明（7) 由上表可知， ，這是因為線段去 處理，因此對輸入 資料的處理及計算 源就有較複雜與較 處理須對每一線段 空間的記憶體作為 畫面而言，其影像 f像素作為一個線 父錯處理時，則需 區塊去交錯處理而 理，係因為區塊去 1 6像素），並擷取 交錯處理，因此輸 面的訊息（因為移 說明）；由於區塊 值，因此並未額外 要求最低。對於視 視場（odd field field or bottom 交錯處理，因此其 息才可獲得彳艮好的 用每個圖框中的亮 不錯的畫質，但是 ?:ϊ ΐ錯處理可獲得最佳的影像書質 父錯處理象素為單 j 旦 ^万式就沒有限制，但因為其 :的二’因此對播放系統的性能與資 :ΐ。舉例來# ’由於線段去交錯 主=徵值進行存取，因此需要使用一定 寺徵值緩衝器，以-個720x 460像素的 之解析度為331，2〇〇個像素，若以每/ 段寬度（即最小線段寬度）進行線段去 使用約34OK Byte的記憶體空間。對於 言’可獲得之畫質僅次於線段去交錯處 交錯處理是以巨集區塊為單位（即1 6χ 巨集區塊内所含有的移動向量來進行去 入的影像的編碼資料中就必須包含 動向量是，編石馬4 ?畫®中’請參考背ί 去交錯處理係操取輸入影像的移動向量 增加硬體需求’故其對播玫系統的資源 場去交錯處理’由於其是依據各個奇數 or top field)與偶數視摄 ^ , ^ ^ v even f i e 1 d)的移動向ϊ值相加結果進彳-去 輸入影像的編碼資料中須包含p圭$ $ 畫質。最後是圖框去交錯處理广其係運 度值（Y值）進打去交錯處理，可 其輸入影像的編碼資料不需I包含P畫

第11頁 1238002 五、發明說明（8) 面。 據此，本發明提供一種動態影像去交錯演算法的選擇 方法，包括：檢視播放系統硬體資源，當播放系統硬體資 源符合線段去交錯演算法執行條件時，選擇線段去交錯演 算法執行去交錯處理並輸出一動態影像；當播放系統硬體 資源不符合線段去交錯演算法執行條件時，再檢視輸入影 像資料是否含有P畫面資料；當輸入影像資料含有P晝面資 料時，播放系統選擇區塊去交錯演算法來執行去交錯處理 ;當輸入影像資料未含有P晝面之資料時，播放系統選擇 以全圖為處理單位之去交錯演算法來執行去交錯處理。其 中，前述之以全圖為處理單位之去交錯演算法可為一圖框 去交錯演算法，以及一視場去交錯演算法。 為了更明確地說明本發明之動態影像去交錯演算法的 選擇方法，可參考第一圖以說明其流程。首先，經由步驟 1 1 0對播放系統進行自測（b u i 1 d - i n t e s t)，於步驟1 2 0 檢視（detect ing)播放系統硬體資源是否能夠支援線段 去交錯處理之執行，若檢視結果為播放系統的硬體性能可 支援線段去交錯處理時，則選擇步驟1 3 0，以線段去交錯 處理來執行動態影像的去交錯處理。另一方面，若檢視結 果為播放系統的硬體性能無法支援線段去交錯處理時，例 如硬體記憶體或是硬體的頻寬不足以支持線段去交錯演算 法之執行，則於步驟1 4 0檢視輸入影像中是否含有P晝面訊 息。當檢視出輸入影像中含有P畫面訊息時，則選擇步驟 1 5 0，以區塊去交錯演算法來執行動態影像的去交錯處理

第12頁 1238002 五、發明說明（9) 。當檢視出輸入影像中未含有P晝面訊息時，則選擇步驟 160，選擇以圖框及圖場二者之一為去交錯單位；若以圖 框為單位，則於步驟1 7 0選擇圖框去交錯處理來執行動態 影像的去交錯處理；若以圖場為單位，則於步驟1 8 0選擇 圖場去交錯處理來執行動態影像的去交錯處理。其中，圖 框及視場去交錯處理之功能，則可由觀賞者以人工控制來 選擇，例如利用遙控器來指定播放系統之選單晝面及選項 ，以選擇視場去交錯演算法來執行動態影像的去交錯處理 。另外，若觀賞者決定由自行選擇一種去交錯演算法加以 執行，則系統可依據前述去交錯演算法之比較結果，以及 該播放系統之硬體資源檢視結果，提供一選單選項供觀賞 者選擇一預設之去交錯演算法其中之一。 如前所述，常對於播放系統硬體資源要求較高之去交 錯演算法往往能夠產生較佳晝質的輸出動態影像，而畫質 此一考量通常是播放系統使用者對觀賞影像的首要要求， 因此本發明尚提供另一實施例，係以畫質作為去交錯法選 擇依據，其說明如下：首先，分別至少計算輸入之動態影 像執行一線段去交錯演算法、一區塊去交錯演算法、一圖 框去交錯演算法，以及一視場去交錯演算法等去交錯演算 法所需之硬體資源，進而與該播放系統硬體資源比較，然 後將該播放系統硬體資源足以執行之去交錯法名稱輸出至 一可選擇去交錯法選單，以供使用者選取其中之一選項。 接著，顯示所產生之可選擇去交錯法選單，供該播放系統 使用者選擇一去交錯法，作為一動態影像之去交錯處理依

第13頁 1238002_ 五、發明說明（ίο) 據。其中，該選單可包括一系統預設值選項，以增加使用 者希望由系統自選一去交錯法以進行去交錯處理之彈性。 在此一提，由於本發明係提供一種動態影像去交錯法之選 擇方式，因此關於本說明書所提及之線段去交錯處理、區 塊去交錯處理、視場去交錯處理以及圖框去交錯處理等演 算法之詳細說明，尚可參考與本發明相關之專利申請案： 「用影像線段為操作單位的去交錯方法」，以及「用影像 圖場或影像方塊為操作單位的去交錯方法」。 以上所述僅為本發明之較佳實施例而已，並非用以限 定本發明之申請專利權利；同時以上的描述，對於熟知本 技術領域之專門人士應可明瞭及實施，因此其他未脫離本 發明所揭示之精神下所完成的等效改變或修飾，均應包含 在下述之申請專利範圍中。

第14頁 1238002

第15頁

Claims (1)

1238002 六、申請專利範圍 6. 如申請專利範圍第1項所述之動態影像去交錯演算法之 選擇方法，其中依據該動態影像編碼訊息選擇該第二去交 錯演算法，更包括依據該動態影像否以全圖為去交錯處理 單位，以選擇一第三去交錯演算法，用以作為該動態影像 之去交錯處理依據。 7. 如申請專利範圍第6項所述之動態影像去交錯演算法之 選擇方法，其中當動態影像以全圖為去交錯處理單位時， 該第三去交錯演算法係一圖框去交錯演算法，用以作為該 動態影像之去交錯處理依據。 8. 如申請專利範圍第6項所述之動態影像去交錯演算法之 選擇方法，其中當該動態影像係以視場為去交錯處理單位 時，該第三去交錯演算法係一視場去交錯演算法，用以作 為該動態影像之去交錯處理依據。 9 ·如申請專利範圍第6項所述之動態影像去交錯演算法之 選擇方法，該播放系統可經由一控制裝置直接選擇該第三 去交錯演算法以作為該動態影像的去交錯處理依據，並且 該第三去交錯演算法係至少選自下列之一：一視場去交錯 演算法，以及一圖框去交錯演算法。 1 0 ·如申請專利範圍第1項所述之動態影像去交錯演算法之 選擇方法，包括利用一選單（menu)顯示可選擇之去交錯

第17頁 1238002 六、申請專利範圍 演算法種類於一顯示媒介，並以一應用於該播放系統之輸 入裝置供使用者選擇。 11. 一種動態影像去交錯演算法之選擇方法，包括： 根據一播放系統硬體資源，產生一可選擇去交錯法選 單，以供使用者選取其中之一選項，作為一動態影像之去 交錯處理依據，其中該可選擇去交錯法選單包括該播放系 統硬體資源足以執行之去交錯法；以及 顯示該可選擇去交錯法選單，供該播放系統使用者選 擇一去交錯法。 1 2 .如申請專利範圍第1 1項所述之動態影像去交錯演算法 之選擇方法，更包括檢測該播放系統硬體資源，以產生一 檢視結果，用以決定該可選擇去交錯法選單。 1 3 .如申請專利範圍第1 1項所述之動態影像去交錯演算法 之選擇方法，包括： 分別至少計算該動態影像執行一線段去交錯演算法、 一區塊去交錯演算法、一圖框去交錯演算法，以及一視場 去交錯演算法所需之硬體資源，以產生複數個計算結果； 以及 分別比較該播放系統硬體資源以及該複數個計算結果 ，輸出該播放系統硬體資源可執行之該些去交錯法名稱， 以產生該可選擇去交錯法選單。

第18頁