TW200812387A - Method and apparatus for de-interlacing video data through utilizing horizontal motion estimation and horizontal motion compensation - Google Patents

Description

200812387 九、發明說明： 【發明所屬之技術領域】 本發明提供一種影像去交錯化方法與裝置，尤指一種 利用水平位移預估（horizontal motion estimation)與水平 位移補傷（horizontal motion compensation )之影像去交錯 化的方法與裝置。 【先前技術】 專先的父錯式掃描（interlaced scanning)技術是將組 成以圖_的二個圖場作交錯顯示。該二個圖場係由奇圖場 及偶圖場祕^ & 匕且成。而循序式掃描（progressive scan)技術， 併人錯式掃描（non-interlaced)，則是先將兩個圖場合 "•圖框，再以加倍的水平掃描頻率依序掃描該圖框 的所有掃瞄線，俾使晝面的品質得以提升。 了、/ 兩〜以循序式掃瞄方式來顯示交錯式的影像資料，便 而二用去父錯（de_interlacing)方法於一圖場原有之連 間插補出—新的掃喊。現今f知技術係普遍利 化操作:適性（)的處理方法來進行去交錯 多無法内在利用位移調適性來進行去交錯化處理時，大 插出向頻且移動的細節，且若視訊資料在進行去 6 200812387 交錯化操作之前又經過影像

進而使得去交錯J 處理，其泛色解馬（vldeo en—e) 來的㈣，…向頻部分更加失真而難以内插出原 匕處理後的影像之畫面品質不佳 【發明内容】 場門之之主要目的在於提供—種可制同一種圖 向量並依據該水平位移向量對-輸出圖 ‘法鱼梦t ^仃—水平位移補償之影像去交錯化的方 ”、卩提昇晝面品質並降低相關硬體成本。 去交錯一視訊資料。該視訊資料包括一第 依據本發明之實施例，其揭露一種去交錯方法，用來 越一 <目如二欠丄、- .、一 四及第五圖場’以及該視訊資料於該第三圖場輸出時產 生一輸出圖框。該方法包括下列步驟：依據該第一及第三 圖場、該第三及第五圖場以及該第二及第四圖場之至少其 中組，進行水平位移預估以谓測一水平位移向量·以 及若伯測出該水平位移向量，職據該水平位移向量自該 第二圖場t選擇-第-像素與自該第四圖場#選擇一第二 $素，並依據該第-像素與該第二像素來内插出對應該輸 圖框_ 一目標像素之一特定像素值。 弟一、第二、 Z依據本發明之實施例，其另揭露一種去交錯裝置，用 來去父錯一視訊資料。該視訊資料包括一第一、第二、第 7 200812387 三、第四及第五圖場，以 a + 時產生一輸出圖框。該裝以視訊資料於該第三圖場輸出 一水平位移補償單元a置匕括水平位移預估單元以及 及第三圖場n及該水平位移難單元係依據該第一 至少其中之-組進五圖場以及該第二及第四圖場之 量。該水平位移補償移預估以偵測—水平位移向 其中若該水平位移_!胁該特轉預估單元， 據該水平位移向量自該:，偵，該水平位移向量，則依 第四圖場中選擇—第二:圖場中選擇—第—像素與自該 推本七 像素，並依據該第一像素與該第二 像素來内插繼該輪_框卜目標像素之—特絲素值。一 【實施方式】 明參閱第\圖。第1圖係為包含有五相鄰圖場（field) 之:視訊資料100與相對應之—輸出圖框（fmme) 16〇之 不思圖。去交錯後之輪出圖框160係對應於時間T，而視 4¾料100中的五個相鄰圖場11〇、12〇、13〇、14〇以及 150 ’係分別對應於時間T_2、T-1、T、T+1以及T+2。在 第1圖中，掃瞄線112、132、152及162分別為圖場110、 130、150及160中之第N-1條掃瞄線；掃瞄線123、143 及163分別為圖場120、140及160中之第N條掃瞄線；而 掃猫線114、134、154及164則分別為圖場110、130、150 及160中之第N+1條掃瞄線，其中第N-1條掃瞄線與第 N+1條掃瞄線屬同一種圖場而第N條掃瞄線屬另一種圖 8 200812387 場。另外，於本發明之實施例中的去交錯方法係以逐像素 方式（pixel-by-pixel basis)來產生輸出圖框160。 請參閱第2圖，第2圖係為本發明之一實施例之去交 錯裝置200的示意圖。去交錯裝置2⑼包含有一水平位移 預估單元210以及一水平位移補償單元22〇，而水平位移 補償單元220則包含有一選擇單元222以及一計算單元 224。當視訊資料輸入至去交錯裝置中之水平位移預估 單το 210後’水平位移預估單元21〇係會對該視訊資料進 行水平位移預估的動作。在本實施例中，係假設去交錯裝 置200係對於圖場13〇之一目標像素1〇進行去交錯處理以 產生相對應於該輸出圖框16〇之該目標像素1〇。因此，本 發明之水平位移預估單元21〇會對於目標像素1〇之鄰近區 域進行水平位移判斷的動作。在實作上，水平位移預估單 元210可以該目標像素1〇為中心，設定一預估範圍 (window)’並在該預估範圍内對圖場13〇進行圖框間之位 移偵測（motion detection)以找出一水平位移向量 (motion vector)來。如第1圖所示，在本實施例中，假設一預估範 圍101係設定為一 2*5像素大小，然後水平位移預估單元 210係可依據預估範圍而比對圖場13〇與圖場ι5〇或 疋與圖場110之位移變化，或/及依據預估範圍1〇1來比對 鄰近之圖場120與圖場14〇之位移變化，例如第i圖所示 之圖場130之像素15及16之像素值係移動至圖場15〇之 9 200812387 像㈣及丨4，或是圖場⑶中之像素12之像素值係移動 至圖:14G之像| u之像素值。因此本實施例中水平位移 預估單it 210係·在目標像㈣之鄰近料有水平 發生且水平位移向量係為+2。 220二Γ ' 項係為本發明水平位移補償單元 仃7平位移補償之不意圖。在水平位 、選擇早το 222之後。選擇單元222 =量來選取欲用來内插出目標像素Π)之參考像素出位 …前-個圖二之:=::13°中目標像 目標像素Η)之後h_14q及=於圖場咖中 出目標像素丨。之參考像素。，、、主1 象素，^ 位移向量係為-偶數值因此=，在本實施例中其水平 選擇前後各-個像素來作為參;單元22。係可 量係為一奇數值（例 ’、…、、而若水平位移向 22°亦可選擇對應該水平位二1明水平位移補償單元 為參考像素，例如在水平：向二後各兩個像素來作 222可選揮對應於圏場13:;=情况下選擇單元 =:素12，及對應於=1 =場 後個圖場14〇 目“像素10之 素u、19來作為用來内插出目標像素 200812387 10之參考料。接下來，轉 單元224再依據對應目標 &早疋㈣中之計算 12啸12以及圖場14〇之像素】;切素(例如圖場 素之像素值來_峰出圖框⑽之目=平均參考像 以完成去交錯化之動作。 Τ象素10之像素值 2參閲第4圖，第4 _為第2圖所示 進行去交錯運算之_圖。諸注咅 又錯裝置200 昭此排序來遠缽- > ' 敬壬圖中相關步驟不一定遵 …此獅销執仃，且細步物 去= 置200進行去交錯運算的步驟可歸納如下：去父錯褒 步驟400 :水平位移預估單元21 〇係依據 姐— 據一預估範園101 對戒目標像素10進行水平位 步驟402:若水平位銘戀一，， 牙多預估的動作。 干位移預估早凡210判斷該目標像素1〇 之鄰近區财水平㈣動料生 驟4〇4,反之，結束此流程。 執仃步 步驟綱：水平位移預估單以1()依據該水平位移 水平位移向量。 步_:選擇單元222依據該水平位移向量決定相對於 该目標像素10之複數個參考像辛 ； 步驟權：計算單元224平均參考像素n、u之像2素 作為目標像素10之像素值。 、 11 200812387 請參閱第5圖，第5圖係為本發明另一實施例之去交 錯裝置500的示意圖。在本發明實施例中，去交錯裝置5〇〇 包含有水平位移預估單元510、一水平位移補償單元52〇、 一位移調適性電路530以及一決定單元54〇。水平位移補 償單元520則包含有一選擇單元522以及一計算單元524。 請注意，第5圖所不之去交錯裝置5〇〇與第2圖所示之去交錯 裝置200中的同名το件具有相同的功能與操作，故於此不另贅 述。如上所述，由於習知位移調適性電路53〇利用位移調 適性去交錯方法（motion adaptive de-interlacing)來進行去 父錯動作時，大多無法内插出高頻且移動的細節因而造成 &像的失真。因此，可利用本發明水平位移預估單元$川 以及水平位移補償單元52〇來補足位移調適性電路M0之 不足。在本實施例中，當水平位移預估單元51〇對一目標 像素進行水平位移預估時，若該目標像素1〇有水平位移發 生，則決定單元540係依據水平位移補償單元52〇所計算 出的像素值來當作目標像素10之像素值，而不選取位移調 適t生電路53〇所計算出來的像素值；另一方面，若該目標 j象素10破水平位移預估單元51〇判斷出沒有水平位移發生 時，、則決定單元540便選取位移調適性電路53〇所計算出 '的像素值來當作目標像素1〇之像素值，而不去選取水平 2移補償單元520所計算出的像素值。因此，本發明去交 、，置5〇〇係可以依據目標像素之水平位移發生與否，來 、乂差補5亥目標像素10之去交錯方式，因此加強了去交 200812387 錯過程之準確度以及敏感度 人蝓美昇了畫面的品質。 請參閱第6圖，第6圖係為第 進行去交晴擔圖。敗t，流:去=置; 照此排序來連續執行，且其他的步 相關步驟不一疋遵 置進行去交錯運算的步驟可歸納如=入其中。去交錯裝 步驟60G :水平位移預估單元$ 行水平位移預估的動作^目標像素1〇進 步職：=移_元⑽依據水平位移預估單元 像^決疋之-水平位移向量來產生一特定 步驟604:位= 適^電路⑽則依據—位移調適性去交 錯以產生一候選像素值。 :寺疋像素值來設定該目標像素；以及 右未貞測到該水平位移向量，則該決定單元 使用該候選像素值來設定該目標像素。 相杈於習知技術’本發明之去交錯裝 估與水平位移補償來進行影像去交錯操作時：移預 圍搜尋所需之硬體成本。另方^ ^此可大幅減少大範 不另—方面，本發明之去交錯農置亦 13 200812387 可利用水平位移預估與水平位移來補足位移調適性去交錯 方式之不足’不僅加強了去交錯過程之準確度以及敏感 度’並進而大幅提昇了整體晝面的品質。 以上所述僅為本發明之較佳實補，凡依本發明申請專利範 圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。 【圖式簡單說明】 一視訊資料與相對應之一 第1圖係為包含有五相鄰圖場之 輸ώ圖框之示意圖。 之一實施例之去交錯裝置的示意圖。

第2圖係為本發明之一實你 第3圖係林發财平鱗補償單元進行水平娜補償之示 第4圖係為第2圖所示夕土,,, 月另—實施例之去交錯裝置的示意圖。· 所示之去交料置進行去交錯運算之流程圖。 【主要元件符號說明】

14

Claims (1)

1. 200812387 十、申請專利範圍： 1. 一種去交錯方法，用來去交錯-視訊:#料，該视訊 包括—第一、第二、第三、第四及第五圖場，該視心 料於該第三圖場輸出時產生一輸出圖框，該方 貝 列步驟： Λ /匕括下 依據該第-及第三圖場、該第三及第五圖場以及 及第四圖場之至少其中之—組，進行水平位移預如: 湏Γ 一水平位移向量；以及 肩 若债測出該水平位移向量’職據該水平轉向量 第二圖場中選擇H素與自該第四圖場中選擇 第二像素’並依據該第-像素與該第二像. 應該輸出關中-目標像素之—特定像素值。出對 第 種圖場，以及該第二及第 2.如申請專利範圍第1項所述之方法，其中該第―、 及第五圖場係對應於一第一 X 、 四 圓場 圖場係對應於一第二種 3·如申請專利範圍第丨項 該第二像素與該目標像Μ 法’其中該第一像素、 及該第-像素與該第2位㈣-水铸描線上，以 素係位於該目標像素之兩側。 4·如申請專利範圍第1項所 移向量之步驟包括·· ^之方法，其117偵測該水平位 15 200812387 依據該目標像素設定一像素處理範圍；以及 依據該像素處理範圍進行水平位移預估以偵測該水平 位移向量。 5. 如申請專利範圍第1項所述之方法，其中該第一、第二、 第三、第四及第五圖場係為該視訊資料中連續之五個圖 場。 6. 如申請專利範圍第1項所述之方法，其中所偵測到之該 '水平位移向量若等於2N，則產生該目標像素之步驟包 括： 依據該水平位移向量來選取該第二圖場中相距該目標 像素N個像素之像素來作為該第一像素； 依據該水平位移向量來選取該第四圖場中柏距該目標 像素N個像素之像素來作為該第二像素；以及 平均該第一像素之像素值與該第二像素之像素值來作 為該特定像素值。 7. 如申請專利範圍第1項所述之方法，其中所偵測到之該 水平位移向量若等於2N+1，則產生該目標像素之步驟 包括： 依據該水平位移向量來選取該第二圖場中相距該目標 像素N個像素之像素來作為該第一像素以及相距該目 16 200812387 標像素Ν+l個像素之像素來作為一第三像素，其中該第 一像素與該第三像素係相鄰； 依據該水平位移向量來選取該第四圖場中相距該目標 像素N個像素之像素來作為該第二像素以及相距該目 標像素Ν+l個像素之像素來作為一第四像素，其中該第 二像素與該第四像素係相鄰；以及 將該第一像素、該第二像素、該第三像素及該第四像素 之/氪丰佶丞抬，办你么钱柱宗偾去佶。 8. 如申請專利範圍第1項所述之方法，其另包括： 對該視訊資料執行一位移調適性去交錯以產生對應該 輸出圖框中該目標像素之一候選像素值。. 9. 如申請專利範圍第8項所述之方法，其另包括： 當未偵測到該水平位移向量時，使用該候選像素值來設 定該目標像素。 10. —種去交錯裝置，用來去交錯一視訊資料，該視訊資 料包括一第一、第二、第三、第四及第五圖場，該視訊 資料於該第三圖場輸出時產生一輸出圖框，該裝置包 括： 一水平位移預估單元，依據該第一及第三圖場、該第三 及第五圖場以及該第二及第四圖場之至少其中之一 17 200812387 組，進行水平位移預估以偵測一水平位移向量；以及 一水平位移補償單元，耦接於該水平位移預估單元，若 該水平位移預估單元偵測出該水平位移向量，則依據該 水平位移向量自該第二圖場中選擇一第一像素與自該 第四圖場中選擇一第二像素，並依據該第一像素與該第 二像素來内插出對應該輸出圖框中一目標像素之一特 定像素值。 11. 如申請專利範圍第10項所述之裝置，其中該第一、第 三及第五圖場係對應於一第一種圖場，以及該第二及第 四圖場係對應於一第二種圖場。 12. 如申請專利範圍第10項所述之裝置，其中該第一像 素、該第二像素與該目標像素係位'於同一水平掃描線 上，以及該第一像素與該第二像素係位於該目標像素之 兩側。 13. 如申請專利範圍第10項所述之裝置，其中該水平位移 預估單元係依據該目標像素設定一像素處理範圍；並且 依據該像素處理範圍進行水平位移預估以偵測該水平 位移向量。 14. 如申請專利範圍第10項所述之裝置，其中該第一、第 18 200812387 第 個圖場。、第四及第五圖場料該視訊資料^續u 移 15. 二申广專利範圍第10項所述之裝置，其中該水； 補乜早元包括： 火平位 圖 士日rbf單7^帛來依據該水平位移向量來選取兮每 二I、:距該目標像素N個像素之像素來作為該第二 ……及依據該水平位移向量來選取該第四Λ像 個像素之像素來作為該第二像素 早疋’耗接於該選擇單元，用來平 2二像素之像素值來作為該肢像素值；素 八該水平位移向量等於2ν。 16. 如申請專利範圍第1G項所述之裝置 . 補償單元包括·· x水十位移 =擇早το，用來依據該水平位移向量 場中相距該目庐飧主 π成弟—圖 目軚像素Ν個像素之像素來作為該第一像 素=相距該目標像素N+1個像素之像素來作為一第 —像素，其中_楚 ^ 茨弟—像素與該第三像素係相鄰，以及依 w移向量來選取該輸出圖框中相距該目標像 傍個像素之像素來作為該第二像素以及相距該目標 傻f1個像素之像素來作為4四像素，其中該第二 像素與料四像細切；Μ 200812387 一計算單元，耦接於該選擇單元，用來將該第一像素、 該第二像素、該第三像素及該第四像素之像素值平均， 來作為該特定像素值； 其中該水平位移向量等於2N+1。 17·如申請專利範圍第10項所述之裝置，其另包括： 一位移調適性電路，用來對該視訊資料執行一位移調適 性.去交錯以產生對應該輸出圖框中該目標像素之一候 選像素值。 18. 如申請專利範圍第13項所述之裝置，其另包括： 一決定單元，耦接於該位移調it性電路、該水平位移預 估單元及該水平位移補償單元，若有偵測到該水平位移 向量，則該決定單元係使用該特定像素值來設定該目標 像素，以及若未偵測到該水平位移向量，則該決定單元 使用該候選像素值來設定該目標像素。 19. 一種去交錯方法，用來去交錯一視訊資料，該視訊資 料包括複數個圖場，該方法包括下列步驟： 偵測同一種圖場間之一水平位移向量；以及 依據該水平位移向量對一輸出圖框之一目標像素進行 一水平位移補償。 20 200812387 20. 如申請專利範圍第19項所述之方法，其中該水平位移 補償係指將對應該目標像素之複數個參考像素做内插以產 生一特定像素值，以及該些參考像素係由該水平位移向量 所決定。 21. 如申請專利範圍第19項所述之方法，其另包括： 對該視訊資料執行一位移調適性去交錯以產生對應該 輸出圖框中該目標像素之一候選像素值。 22·如申請專利範圍第21項所述之方法，其另包括： 當未偵測到該水平位移向量時，使用該候選像素值來設 定該目標像素。 十一、圖式：