TW200526022A - Apparatus and related method for film mode detection using motion estimation - Google Patents

Description

200526022 玖、發明說明： 【發明所屬之技術領域】 本發明提供一種影片模式檢測之裝置及其方法，尤指一種利用位移預 估（motion estimation )以判斷出一影片模式（film mode )之裝置及其方法。 【先前技術】 傳統的交錯式掃描（interlaced scanning)技術中，欲顯示出一影片之 每一個影像圖框時，實際上是將組成該圖框之二個圖場作交錯顯示，此方 式係利用到人眼的視覺暫留作用，因此不會感到有任何的異狀。該二個圖 場，其中一個是由奇數掃描線所組成的奇圖場（odd field)，另一個則是由 偶數掃描線所組成的偶圖場（even field)。而新近的循序式掃描（progressive scanning)技術，又稱爲非交錯式掃描（non-interlaced scanning)，則是先 將兩個屬於同一圖框的圖場先合倂成爲一個圖框，再以加倍的水平掃描頻 率依序掃描該圖框，如此一來，畫面的品質與穩定度都會大幅提升。 正確的偵測出視訊資料的各圖場間彼此的關係，並依此判斷出該視訊 資料是否爲一影片模式（舉例來說，其是爲一 3-2 pull down影片模式，或 是一 2-2 pull down影片模式），並施以正確的去交錯化（例如合倂兩個圖 場），如此的處理是必要的。 在習知技術中，請參考美國專利第4982280號、第6580463號。 【發明内容】 因此本發明的目的在於提供一種利用位移預估以判斷出一種影片模式 的影片模式檢測之裝置及其方法。 本發明係提供一種利用位移預估以判斷出一種影片模式的方法及相關 裝置，該方法包含有：進行至少一位移預估與判斷步驟以便在該視訊資料 中接收兩圖場分別作爲一第一圖場與一第二圖場；進行一目標像素位移預 估與判斷步驟，以於該第一圖場內劃分出至少一目標像素區域，並針對每 一目標像素區域作位移預估與判斷，以根據位移預估的結果提供對應於該 目標像素區域之一第一判斷値；再進行一圖場位移判斷步驟，以依據各目 標像素區域對應之第一判斷値，以產生相對應於該第一圖場之一第二判斷 値。於進行各個位移預估與判斷步驟之後，依據以該視訊資料中的不同圖 200526022 場分別作爲輸入之第一圖場而得到之相對應的第二判斷値’判斷該視訊資 料是否爲一影片模式，以及該第一圖場該與何圖場合倂。 本發明能更正確地判斷出一視訊資料所屬之影片模式，並能進一步選 擇出正確的去交錯化的方式，以正確地處理視訊資料。 【實施方式】 請參閱圖一，圖一爲本發明之影片模式檢測裝置200 —實施例之功能方 塊圖。一般來說，交錯式掃描的視訊資料是由各個圖場串連而成，而本發 明影片模式檢測裝置200就是一種利用圖場間位移預估（motion estimation) 以判斷輸入之視訊資料之影片模式（film mode)。如圖一所不，影片模式檢 測裝置200包含有三個位移預估與判斷裝置10、20及30，與一影片模式偵 測器40。其中，各個位移預估與判斷裝置10、20及30的構造實質上相同。 以位移預估與判斷裝置10爲例：該位移預估與判斷裝置10包含有一目標 像素位移預估與判斷裝置11與一圖場位移判斷裝置12;目標像素位移預估 與判斷裝置11的輸入端可接收兩個圖場爲一第一圖場與一第二圖場，並於 第一圖場中劃分出複數個目標像素區域，以針對該第一圖場之各個目標像 素區域進行位移預估與判斷，預估該目標像素區域於該第二圖場之位移與 變化，並根據位移預估的結果提供對應於該目標像素區域之一第一判斷値 Di。在本發明之較佳實施例中，目標像素區域中可以僅包含有一個像素’ 故可簡稱爲目標像素。 爲實現目標像素位移預估與判斷裝置11之功能，其內設有一目標像素 位移預估裝置13與一第一判斷器14。目標像素位移預估裝置13用以對於 該第一圖場之各個目標像素作位移預估，預估該目標像素會落在該第二圖 場內的某個位置，而得到一相對應的位移預估結果。該位移預估結果可包 含有一位移向量（motion vector) MV_1，以及一相似度Si。第一判斷器14， 耦合於目標像素位移預估裝置13。第一判斷器14可用一第一定限閥 (threshold) 61實作，用以依據目標像素位移預估裝置13輸出之位移向量 MV_1及相似度Si與一第一臨界値之間的大小關係，以產生一相對應於該 目標像素之第一判斷値Di，用來代表該目標像素有無位移，若該位移向量 MVJ的値爲〇，而該相似度Si大於該第一臨界値時，則表示該目標像素沒 有位移，此時該第一判斷値h的値爲〇;否則即表示該目標像素有位移， 而該第一判斷値Di的値就應設爲1。 200526022 至於圖場位移判斷裝置12，則耦合於目標像素位移預估與判斷裝置 11，其可綜合該第一圖場中全部各個目標像素所分別對應之第一判斷値 Di，以產生相對應於該第一圖場之一第二判斷値d2。爲實現上述功能，圖 場位移判斷裝置12中可設有一單張圖場資訊informati〇n)裝置 15與一桌一判斷器16。單張圖場資訊裝置15包含有一第一計數器17，用 以依據該第一圖場中每一目標像素各自相對應之第一判斷値Dl，以累計產 生出相對應於該第一圖場之一第一計數値q ;而該第一計數値(^即代表該 第一圖場中有位移的目標像素的個數。舉例而言，若該第一圖場之一目標 像素的第一判斷値〇1爲1，則將該第一計數値(^加1;若該第一判斷値Di 爲〇，則表示該目標像素無位移，所以該第一計數値（^的値不變。根據此 運作原理，即可針對依序對第一圖場中每一目標像素累計該第一計數値Cl。 第二判斷器16，耦合於單張圖場資訊裝置15，用以依據單張圖場資訊 裝置15輸出之該第一計數値Cl，以產生相對應於該第一圖場之第二判斷値 D2。第二判斷器16可用一第二定限閥62實作，用以比較該第一計數値Ci 與一第二臨界値，以產生一相對應於該第一圖場之該第二判斷値〇2。該第 二判斷値D2係代表該第一圖場有無圖場位移，當該第二判斷値D2的値大 於該第二臨界値時，表示該第一圖場有發生圖場位移，所以將該第二判斷 値D2的値設爲1，反之則表示該第一圖場沒有發生圖場位移，所以可將該 第二判斷値D2的値設爲〇。 至於位移預估與判斷裝置20與30內含之所有裝置及功能，基本上皆 相仿於在該位移預估與判斷裝置10裡相對應之所有裝置及功能。整體來 說，影片模式檢測裝置200即是於該視訊資料中接收三個相鄰之圖場分別 作爲前、中、後的三個圖場：、Fn& Fn+1。就如圖一中所示意的，該位 移預估與判斷裝置10是以圖場Fn、分別作爲輸入的第一圖場及第二圖 場，針對圖場Fn中各目標像素產生出對應之第一判斷値Di，並根據各個第 一判斷値Di產生出一第二判斷値D2。同理，該位移預估與判斷裝置20是 以圖場Fn、Fn+1分別作爲輸入的第一圖場及第二圖場，以針對圖場Fn中各 目標像素產生出對應之第三判斷値D3,並根據各個第三判斷値D3產生出一 第四判斷値D4。至於該位移預估與判斷裝置30，則是以圖場、Fn+1分 別作爲輸入的第一圖場及第二圖場，以針對圖場Fy中各目標像素產生出 對應之第五判斷値D5，並根據各個第五判斷値D5累計、比較而得出一第六 判斷値D6。 影片模式偵測器40，耦合於位移預估與判斷裝置10、20與30，用以依 11 200526022 據該第二、第四與第六判斷値D2、d4與d6，以產生一第七判斷値D7與一 第八判斷値D8。該第七判斷値D7係代表圖場Fn所屬之視訊資料是否爲一 影片模式，舉例來說，其是爲〜3-2 pull down影片模式，或是一 2-2 pull down 影片模式。而該第八判斷値係代表圖場匕是否應該與圖場Fna或是圖場Fn+1 合倂。 以上爲本發明之較佳實施例，另外，在本發明的另一實施狀態下，可以 僅用一個位移預估與判斷裝置10來配合影片模式偵測器40,而輸入爲該第 一圖場Fn與該第二圖場Fnu，如此亦可以做到判斷該第一圖場Fn所屬之視 訊資料是否爲一影片模式，以及該第一圖場Fn是否應該與該第二圖場 合倂。 圖二、圖三、圖四與圖五爲圖一中裝置以本發明之技術精神進行影片模 式檢測之流程圖。圖二中之三個程序請分別參考圖三、圖四與圖五。本流 程方法係利用位移預估以判斷一視訊資料是否符合特定影片模式的方法。 本流程方法由該視訊資料中接收三個相鄰之圖場分別作爲前、中、後之圖 場Fnd、Fn及Fn+1。如圖二所示，在步驟200之後，步驟202至步驟216、 步驟302至步驟316以及步驟402至步驟416分別用來實現一位移預估與 判斷步驟；進行完步驟216、316及416之後，即可進行至步驟218及220， 完成本方法之流程。一位移預估與判斷步驟所包含的步驟如下： 步驟200 :開始進行本發明之檢測流程； 步驟202 :於該視訊資料中接收圖場Fn與圖場Fn_t爲其輸入； 步驟204:圖場Fn內有吣個像素，將該吣個像素依序編號；而A爲目前 選定之一目標像素之編號，表示目前之目標像素爲圖場Fn內的第 川個像素；設定N1 = l; 步驟206 :針對該目標像素作位移預估，預估該目標像素會落在圖場 內的某個位置，以得到一對應之位移預估結果，該位移預估結果 包含有對應之一位移向量以及一相似度Si ; 步驟208 :依據每一目標像素對應之該位移向量MV_1及該相似度Si與一 ，第一臨界値間的大小關係’以產生出相對應於該目標像素之第一 判斷値Di，該第一判斷値係代表該目標像素有無位移： 步驟210 :進行一單張圖場資訊步驟，依據圖場Fn中每一目標像素各自相 對應之第一判斷値Di，以累計產生出相對應於圖場匕之第一計 數値Ct，以代表圖場Fn中有位移的目標像素的個數； 步驟212 :判斷該目標像素是否爲圖場Fn內的最後一個像素，即是Nl是否 12 200526022 等於ΜΓ,若是，則進行至步驟216;若否，則進行至步驟214; 步驟214 :將Κ的値加1，成爲新的Νι値，而目前之目標像素爲圖場ρη 內的第义個像素；進行至步驟206; 步驟216 :根據該第一計數値Q與一第二臨界値間的大小關係，以產生出 相對應於圖場Fn之第二判斷値D2,該第二判斷値D2係代表圖場 Fn有無圖場位移； 以上之步驟206到步驟208可用來實現一目標像素位移預估與判斷步 驟，而步驟210到步驟216則可實現一圖場位移判斷步驟。 至於步驟302至步驟316皆相仿於步驟202至步驟216，步驟302所接 收的輸入爲圖場Fn與圖場Fn+1。步驟402至步驟416亦皆相仿於步驟202 至步驟216，步驟402所接收的輸入爲圖場與圖場Fn+1。此影片模式檢 測之流程之後續步驟如下： 步驟218 :根據該第二判斷値D2、該第四判斷値D4與該第六判斷値D6 ,產 生一判斷結果，該判斷結果包含有一第七判斷値D7與一第八判 斷値D8。該第七判斷値D7係代表圖場匕所屬之視訊資料是否爲 一影片模式，舉例來說，其是爲一 3-2 pull down影片模式，或是 一 2-2 pull down影片模式。而該第八判斷値〇8代表圖場Fn是否 應該與圖場Fn_i或是圖場Fn+1合倂；以及 步驟220 :結束。 以上爲本發明之較佳實施例，然而在本發明的另一種實施狀況下，也可 以若僅使用一位移預估與判斷步驟，即是步驟202至步驟216，配合步驟 200、步驟218與步驟220，而輸入爲圖場Fn與圖場Fn_!，如此亦可以做到 判斷圖場Fn所屬之視訊資料是否爲一影片模式，以及圖場Fn是否應該與圖 場Fn_i合倂。 相較於習知技術，本發明能更正確地判斷出一視訊資料所屬之影片模 式，並能進一步選擇出正確的去交錯化的方式，以正確地處理視訊資料。 以上所述僅爲本發明之較佳實施例，凡依本發明申請專利範圍所做之 均等變化與修飾，皆應屬本發明專利之涵蓋範圍。 13 200526022 【圖式簡單說明】 圖式之簡單說明 圖一爲本發明之影片模式檢測裝置之一實施例之功能方塊圖。 圖二、圖三、圖四與圖五爲圖一中影片模式檢測裝置以本發明之技術精神 進行影片模式檢測之流程圖。 圖式之符號說明 200 ： 影片模式檢測裝置 10、 20、30:位移預估與判斷裝置 40 ： 影片模式偵測器 11、 21、31 :目標像素位移預估與判斷裝置 12、 22、32 :圖場位移判斷裝置 13、 23、33 :目標像素位移預估裝置 14、 16、24、26、34、36 :判斷器 15、 25、35 :單張圖場資訊裝置 17、27、37:計數器 61、62、63、64、65、66 :定限閥 14

Claims (1)

1. 200526022 拾、申請專利範圍· 1. 一種裝置用以判斷一視訊資料是否爲一種影片模式（film mode )，該視 訊資料係由複數個圖場（field)所組成’該裝置包含有： 至ί、一位移預估與判斷裝置，其包含有： 一目標像素位移預估與判斷裝置’其可接收該視訊資料中相鄰之一第 一圖場及一第二圖場，並於該第一圖場的各個像素中劃分出至少一 目標像素區域’以針對每一目標像素區域進行位移預估與判斷，預 估該目標像素區域於該第二圖場中之變化，並根據位移預估的結果 提供對應於該目標像素區域之一第一判斷値；以及 一圖場位移判斷裝置’耦合於該目標像素位移預估與判斷裝置，其可依據該第一 圖場中每一目標像素區域分別對應之第一判斷値，產生相對應於該第一圖場 之一·第•判斷値，以及 一影片模式偵測器，耦合於各個位移預估與判斷裝置，當該位移預估與 判斷裝置以該視訊資料中的不同圖場分別作爲第一圖場而提供對應 之第二判斷値後，該影片模式偵測器可根據各圖場對應之第二判斷値 產生一判斷結果。 2. 如申請專利範圍第1項所述之影片模式檢測裝置，其中該目標像素位移 預估與判斷裝置包含有： 一目標像素位移預估裝置，用以對於該第一圖場之各個目標像素區域 作位移預估，預估該目標像素區域會落在該第二圖場內的某個位 置，而得到一相對應的位移預估結果；以及 一第一判斷器，耦合於該目標像素位移預估裝置，用以依據該目標像 素位移預估裝置輸出之該位移預估結果，以產生相對應於該目標像 素區域之第一判斷値。 3·如申請專利範圍第2項所述之影片模式檢測裝置，其中該位移預估結果 包含有一位移向量（motion vector) ’以及一相似度。 4.如申請專利範圍第3項所述之影片模式檢測裝置，其中該第一判斷器係 爲一第一定限閥（threshold)，用以依據該位移向量及該相似度與一第一 臨界値之間的大小關係，以產生一相對應於該目標像素區域之第一判斷 値。 5·如申請專利範圍第i項所述之影片模式檢測裝置，其中該第一判斷値係 代表該目標像素區域有無位移。 6·如申請專利範圍第1項所述之影片模式檢測裝置，其中該圖場位移判斷 裝置包含有： 一單張圖場資訊（one field information)裝置，其包含有一計數器，用 以依據該第一圖場中每一目標像素區域各自相對應之第一判斷値，以 累計產生出相對應於該第一圖場之一計數値；以及 15 200526022 一第二判斷器，耦合於該單張圖場資訊裝置，用以依據該單張圖場資訊 裝置輸出之計數値，以產生相對應於該第一圖場之第二判斷値。 7·如申請專利範圍第6項所述之影片模式檢測裝置，其中該計數値代表該 第一圖場中有位移的目標像素區域的個數。 8.如申請專利範圍第6項所述之影片模式檢測裝置，其中該第二判斷器係 爲一第二定限閥，用以比較該計數値與一第二臨界値間之大小關係，以 產生相對應於該第一圖場之第二判斷値。 9·如申請專利範圍第1項所述之影片模式檢測裝置，其中該第二判斷値係 代表該第一圖場有無圖場位移。 10·如申請專利範圍第1項所述之影片模式檢測裝置，其中該判斷結果包含 有一第七判斷値，該第七判斷値係用來代表該第一圖場所屬之該視訊 資料是否爲一影片模式。 11·如申請專利範圍第1項所述之影片模式檢測裝置，其中該判斷結果包含 有一第八判斷値，該第八判斷値係代表該第一圖場是否應該與該第二 圖場合倂。 12.如申請專利範圍第1項所述之影片模式檢測裝置，其中該至少一位移預 估與判斷裝置係爲三個位移預估與判斷裝置。 13·如申請專利範圍第12項所述之影片模式檢測裝置，其可由該視訊資料 中接收三個相鄰之圖場分別作爲一前圖場、一中圖場及一後圖場’而 該三個位移預估與判斷裝置各自接收的兩個圖場分別爲該中圖場與該 前圖場、該中圖場與該後圖場，以及該前圖場與該後圖場。 14·如申請專利範圍第13項所述之影片模式檢測裝置，其中該判斷結果包 含有一第八判斷値，該第八判斷値係代表該前圖場是否應該與該中圖 場或是該後圖場合併。 15. 如申請專利範圍第1項所述之影片模式檢測裝置，其中該目標像素區域 係爲一目標像素。 16. —種方法用以判斷一視訊資料是否爲一種影片模式，該視訊資料係由複 數個圖場所組成，該方法包含有： 進行至少一位移預估與判斷步驟，其包含有： 於該視訊資料中接收兩圖場分別作爲一第一圖場與一第二圖場； 進行一目標像素位移預估與判斷步驟，以於該第一圖場內劃分出至少一目標像素區 域，並針對每一目標像素區域作位移預估與判斷，預估該目標像素區域於該第 16 200526022 二圖場中之變化，並根據位移預估的結果提供對應於該目標像素區域之一第一 判斷値；以及 進行一圖場位移判斷步驟，以依據各目標像素區域分別對應之第一判斷値，以產生 相對應於該第一圖場之一第二判斷値；以及 在進行各個位移預估與判斷步驟，而以該視訊資料中的不同圖場分別作 爲第一圖場而提供對應之第二判斷値之後，根據各圖場對應之第二 判斷値，產生一判斷結果。 17.如申請專利範圍第16項所述之方法，其中該目標像素位移預估與判斷 步驟係對該第一圖場之每一目標像素區域作位移預估，預估該目標像 素區域會落在該第二圖場內的某個位置，以得到一相對應之位移預估 結果；再依據該位移預估結果，以產生相對應於該目標像素區域之第 一判斷値。 1S.如申請專利範圍第17項所述之方法，其中該位移預估結果包含有一位 移向量，以及一相似度。 19·如申請專利範圍第18項所述之方法，其中該目標像素位移預估與判斷 步驟係依據每一目標像素區域對應之該位移向量及該相似度與一第一 臨界値間的大小關係，以產生出相對應於該目標像素區域之第一判斷 値。 20·如申請專利範圍第16項所述之方法，其中該第一判斷値係代表該目標 像素區域有無位移。 21. 如申請專利範圍第16項所述之方法，其中該圖場位移判斷步驟包含有： 進行一單張圖場資訊步驟，以依據該第一圖場中每一目標像素區域各 自相對應之第一判斷値，以累計產生出相對應於該第一圖場之一計 數値；再依據該計數値，以產生相對應於該第一圖場之第二判斷値。 22. 如申請專利範圍第21項所述之方法，其中該計數値代表該第一圖場的 有位移的目標像素區域的個數。 23. 如申請專利範圍第21項所述之方法，其中該單張圖場資訊步驟係根據 該計數値與一第二臨界値間的大小關係，以產生出相對應於該第一圖 場之第二判斷値。 24·如申請專利範圍第16項所述之方法，其中該第二判斷値係代表該第一 圖場有無圖場位移。 17 200526022 25. 如申請專利範圍第16項所述之方法，其中該判斷結果包含有一第七判 斷値，該第七判斷値係用來代表該第一圖場所屬之視訊資料是否爲一 影片模式。 26. 如申請專利範圍第16項所述之方法，其中該判斷結果包含有一第八判 斷値，該第八判斷値係代表該第一圖場是否應該與該第二圖場合倂。 27. 如申請專利範圍第16項所述之方法，其中該至少一位移預估與判斷步 驟係爲三個位移預估與判斷步驟。 28. 如申請專利範圍第27項所述之方法，其可由該視訊資料中接收三個相 鄰之圖場分別作爲一前圖場、一中圖場及一後圖場，而分別以該中圖 場與該前圖場、該中圖場與該後圖場以及該前圖場與該後圖場做爲該 第一及第二圖場，重覆進行該位移預估與判斷步驟。 29. 如申請專利範圍第28項所述之方法，其中該判斷結果包含有一第八判 斷値，該第八判斷値係代表該前圖場是否應該與該中圖場或是該後圖 場合倂。 30. 如申請專利範圍第16項所述之方法，其中該目標像素區域係爲一目標 像素。 18