TWI392333B - 去交錯處理系統 - Google Patents

Description

去交錯處理系統

本發明係關於影像處理之技術領域，尤指一種去交錯處理系統。

傳統電視訊號受限於顯示技術，多半為交錯式掃描(interlaced scan)訊號。其利用不同的時間掃描奇數行，或是偶數行，並在有限的水平掃描頻率下，可以兼顧靜態畫面的解析度以及運動的連續性。然而，當視訊訊號原始內容為電影(film)訊號時，由於電影是以循序式掃描(progressive scan)拍攝，通常會利用將一個循序式掃描的畫框(frame)折成兩個交錯式掃描的畫場(field)，此即為2:2下拉技術(2:2 pull down)。如果電視訊號的場頻率(field rate)和電影訊號的框頻率(frame rate)不同，則可利用不同的畫場重複的方法進行轉換，如3:2下拉技術(3:2 pull down)。

因為顯示技術的進步，現在的電視或電腦的顯示螢幕多半採用循序式掃描的方式，故必須利用去交錯處理(Deinterlace)，以將訊號由交錯式掃描轉換為循序式掃描。去交錯處理對於非電影訊號，一般會以運動適應性去交錯處理技術(Motion Adaptive Deinterlace,MADI)或是運動補償去交錯處理(Motion Compensated Deinterlace,MEMC)，來產生循序式掃描訊號。運動適應性去交錯處理技術(MADI)利用運動偵測技術，對於有運動發生的部份利用空間域內插(spatial interpolation)產生未傳送之場，對於靜止的部份，則將前後時間不同場的訊號直接結合產生最後的循序式掃描訊號。運動補償去交錯處理(MEMC)則利用運動估測技術(motion estimation)找出物體移動向量(motion vector)，再依據一個場的時間進行運動補償，產生未傳送之場的訊號。

對於電影訊號的去交錯處理技術包含反下拉技術(inverse pull down)以及運動補償方式。反下拉技術偵測屬於同一畫框之場訊號，將之結合成為完整的畫框，運動補償技術則利用運動估測及補償的技術，同時將電影的畫框頻率提高。

以目前去交錯處理裝置而言，一般可分為利用運動適應去交錯處理技術處理非電影訊號，並利用反下拉技術處理電影訊號，以及利用運動估測及運動補償技術同時處理電影訊號及非電影訊號。

然而，目前這兩種去交錯處理技術都有其缺點。運動適應去交錯處理技術在非電影訊號可以得到較為穩定的表現，利用強化空間域斜方向低角度內插技術，可使運動邊緣較為平滑。對於電影訊號，雖然反下拉技術可以將原始循序式掃描的影像還原，但無法解決電影訊號較低的畫框頻率所產生的運動不連續(motion judder)問題。另一方面，運動估測及補償技術對於非電影訊號雖然可以提高運動物體垂直方向的解析度，但較容易出現因為奇偶場在運動補償後產生差異而出現細微的橫線瑕疵。對於電影訊號，藉由運動補償內插出中間時間點的畫框，可以使運動不連續的問題降低。由此可知，習知技術仍有諸多缺失而有予以改善之必要。

本發明之目的主要係在提供一種去交錯處理系統，以解決習知技術中奇偶場在運動補償後產生差異而出現細微的橫線瑕疵，同時可以降低運動不連續的問題。

依據本發明之一特色，本發明提出一種去交錯處理系統，包含一第一場緩衝裝置、一第二場緩衝裝置、一線緩衝裝置、一運動適應性去交錯處理裝置、一電影圖框產生裝置、一電影訊號偵測裝置、及一第一多工器。該第一場緩衝裝置具有一輸入端，以接收一影像場(field)訊號並暫存為一下一影像場訊號。該第二場緩衝裝置連接至該第一場緩衝裝置，接收該第一場緩衝裝置中之該下一影像場訊號，並暫存為一現行影像場訊號。該線緩衝裝置連接至該輸入端、該第一場緩衝裝置、及該第二場緩衝裝置，以暫存該現行影像場的部分線資料訊號。該運動適應性去交錯處理裝置(Motion Adaptive Deinterlace,MADI)連接至該線緩衝裝置，依據該部分線資料訊號，以產生一去交錯之視頻圖框(Video frame)訊號。該電影圖框產生裝置連接至該線緩衝裝置，依據該部分線資料，以產生一去交錯之電影圖框(film frame)訊號。該電影訊號偵測裝置連接至該輸入端、該第一場緩衝裝置及該第二場緩衝裝置，依據該影像場訊號、該下一影像場訊號及該現行影像場訊號，以判斷該影像場對應之視訊流(stream)為視頻視訊流(Video stream)或電影視訊流(film stream)，並輸出一視頻電影指示訊號(film_mode)。該第一多工器，連接至該運動適應性去交錯處理裝置、該電影圖框產生裝置、及該電影訊號偵測裝置，以依據該視頻電影指示訊號，選擇該去交錯之視頻圖框訊號或該去交錯之電影圖框訊號輸出。

由上述可知，本發明的去交錯處理系統同時包含運動適應性去交錯處理及電影訊號的去交錯處理技術，針對訊號源是否為電影訊號進行選擇，輸出最適合訊號源類型的去交錯處理結果。

本發明進一步利用水平運動估測裝置所得到的運動向量大小MV，以及估測時所計算出的匹配錯誤大小(matching error)，判斷該點是否發生垂直運動，統計整張畫面垂直運動發生的點數，產生一權重值weight，利用此權重值調整由水準運動估測裝置及水準運動補償裝置所產生的結果(F2M)和由反下拉裝置直接合成奇偶場產生的結果(F1P)的比重。

圖1係本發明一種去交錯處理系統100之方塊圖。該去交錯處理系統100包含一第一場緩衝裝置110、一第二場緩衝裝置120、一線緩衝裝置130、一運動適應性去交錯處理裝置(Motion Adaptive Deinterlace,MADI)140、一電影圖框產生裝置150、一電影訊號偵測裝置160及一第一多工器170。

該第一場緩衝裝置(frame buffer)110具有一輸入端111，以接收一影像場(field)訊號並暫存為一下一影像場訊號。

該第二場緩衝裝置120連接至該第一場緩衝裝置110，接收該第一場緩衝裝置110中之該下一影像場訊號，並暫存為一現行影像場訊號。

該線緩衝裝置130連接至該輸入端111、該第一場緩衝裝置110、及該第二場緩衝裝置120，以暫存該現行影像場的部分線資料訊號。該線緩衝裝置130較佳為三條線的線緩衝器(line buffer)，分別用以儲存所述的三個影像場訊號。

該運動適應性去交錯處理裝置(MADI)140連接至該線緩衝裝置130，依據該部分線資料訊號，也就是該線緩衝裝置130中暫存的影像場訊號，以產生一去交錯之視頻圖框(Video frame)訊號。該運動適應性去交錯處理裝置(MADI)140利用運動偵測技術，對於有運動發生的部份利用空間域內插(spatial interpolation)產生未傳送之場訊號，而對於靜止的影像，則將前後時間不同的場訊號直接結合產生最後的循序式掃描訊號。

該電影圖框產生裝置150連接至該線緩衝裝置130，依據該部分線資料，以產生一去交錯之電影圖框(film frame)訊號，產生電影圖框訊號的方式可以採用目前已有的對於電影訊號的去交錯處理技術，例如反下拉技術、運動補償技術等。

該電影訊號偵測裝置160連接至該輸入端111、該第一場緩衝裝置110及該第二場緩衝裝置120，依據該影像場訊號、該下一影像場訊號及該現行影像場訊號，以判斷該影像場對應之視訊流(stream)為視頻視訊流(Video stream)或電影視訊流(film stream)，並輸出一視頻電影指示訊號film_mode。當該視頻電影指示訊號為低電位(0)時，表示視訊流為視頻視訊流，當該視頻電影指示訊號為高電位(1)時，表示視訊流為電影視訊流。

該第一多工器170連接至該運動適應性去交錯處理裝置140、該電影圖框產生裝置150、及該電影訊號偵測裝置160，以依據該視頻電影指示訊號film_mode，選擇該去交錯之視頻圖框訊號或該去交錯之電影圖框訊號輸出。從上述可知，本發明的去交錯處理系統同時包含運動適應性去交錯處理及電影訊號的去交錯處理技術，針對訊號源是否為電影進行選擇，輸出最適合訊號源類型的去交錯處理結果。

圖2係本發明電影訊號偵測裝置160之運作示意圖。其係以3：2下拉技術(3：2 pull down)為例。當視訊流(stream)為電影視訊流時，執行3：2下拉後，圖框0分為偶數場E0及奇數場O0，而圖框1分為偶數場E1、奇數場O1及偶數場E1，圖框2分為奇數場O2及偶數場E2。電影訊號偵測裝置160可比對一圖場及其下二個圖場，亦即分別比對偶數場E0及偶數場E1、奇數場O0及奇數場O1、偶數場E1及偶數場E1、奇數場O1及奇數場O2、偶數場E1及偶數場E2、...。若比對圖場相似度超過一門檻值，則標注為0，若否，則標注為1。由圖2所示，當視訊流為電影視訊流時，其比對結果明顯產生”1101111011110....”的趨勢。亦即5次比對中，僅會有1次圖場相似度超過一門檻值，藉此可判斷視訊流是否為電影視訊流。

圖3係本發明電影圖框產生裝置之方塊圖。該電影圖框產生裝置包含一運動補償去交錯處理裝置(MEMC)310、一反下拉裝置320及一加權裝置330。

該運動補償去交錯處理裝置(MEMC)310連接至該線緩衝裝置130，依據該部分線資料，也就是線緩衝裝置130暫存的影像場訊號，，以產生一加權訊號weight及一運動補償去交錯圖框訊號F2M。

該反下拉裝置320連接至該線緩衝裝置130，依據該部分線資料，以產生一反下拉去交錯圖框訊號F1P。

該加權裝置330連接至該運動補償去交錯處理裝置(MEMC)310及該反下拉裝置320，以對該運動補償去交錯圖框訊號F2M及反下拉去交錯圖框訊號F1P進行加權處理，以產生該去交錯之電影圖框(film frame)訊號。該去交錯之電影圖框訊號為：

weight×F2M+(1-weight)×F1P，

當中，weight為該加權訊號，F2M為該運動補償去交錯圖框訊號，F1P為反下拉去交錯圖框訊號。

如圖3所示，該運動補償去交錯處理裝置(MEMC)310包含一水平運動估測裝置311、一水平運動補償裝置315、及一垂直運動偵測裝置313。

該水平運動估測裝置311連接至該線緩衝裝置130，依據該部分線資料訊號，以產生一移動向量訊號MV及一誤差訊號ERROR。

該水平運動補償裝置315連接至該線緩衝裝置130，依據該部分線資料訊號及該移動向量訊號MV，以產生該運動補償去交錯圖框訊號F2M。

該垂直運動偵測裝置313連接至該水平運動估測裝置311，依據該移動向量訊號MV及該誤差訊號ERROR，以產生該加權訊號weight。

圖4係本發明該水平運動估測裝置311及該水平運動補償裝置315之運作示意圖。如圖4所示，該水平運動估測裝置311找尋時間T0偶數場E0中線L2的9個像素與時間T1偶數場E1中線L2的9個像素最小的差值絕對值總合(Sum of Absolute Differences,SAD)，藉此可求得該移動向量訊號MV。於此例子中，該移動向量訊號MV為向右移動9個像素。

該水平運動補償裝置315則利用時間T0偶數場E0中線L2的像素及時間T1偶數場E1中線L2的像素插補出時間T0.5偶數場E0中線L2的像素。由於移動向量訊號MV為9個像素，故可估測在時間T0.5時移動向量訊號MV為4.5個像素。時間T0像素P7的位置為7個像素，加上4.5個像素，則可推估時間T0像素P7在時間T0.5時其位置約為11.5個像素。藉此該水平運動補償裝置313則可插補出時間T0.5偶數場E0中線L2的像素。

該水平運動估測裝置311不論使用SAD、或其他方法，均可找出該移動向量訊號MV。然而由於可能有垂直移動、有些像素被遮蔽等因素，所找出該移動向量訊號MV未必正確，該水平運動估測裝置311依據該部分線資料訊號，以產生該誤差訊號ERROR，以指示該移動向量訊號MV的正確性。以讓該垂直運動偵測裝置313估測該移動向量訊號MV的正確性。

圖5係本發明垂直運動偵測裝置313之方塊圖。該垂直運動偵測裝置313包含一減法器510、一絕對值裝置520、一第一比較器530、一第二比較器540、一及閘550、及一計數器560。

該減法器510接收該移動向量訊號MV，以產生一移動向量差值訊號diff_MV。對像素(x,y)而言，該減法器510使用像素(x,y)的左邊像素(x-1,y)的移動向量訊號MVy,x-1及右邊像素(x+1,y)的移動向量訊號MVy,x+1相減，以產生該移動向量差值訊號diff_MV。

該絕對值裝置520連接至該減法器510，對該移動向量差值訊號diff_MV執行絕對值運算，以產生一移動向量絕對差值訊號abs_diff_MV。Abs_diff_MV大小反應該點是否位於出現或遮沒的區域。

該第一比較器530連接至該絕對值裝置520，當該移動向量絕對差值訊號abs_diff_MV小於一第一門檻值Th1時，產生一第一比較訊號index1以表示該點不位於出現或遮沒區域。

該第二比較器540連接至該水平運動估測裝置311，當該誤差訊號ERROR大於一第二門檻值Th2時，產生一第二比較訊號index2。對像素(x,y)而言，該第二比較器540使用像素(x,y)的誤差訊號ERRORy,x以和第二門檻值Th2比較。

該及閘550連接至該第一比較器530及該第二比較器540，以對該第一比較訊號及該第二比較訊號執行及運算，以產生一指示訊號index。

該計數器560連接至該及閘550，以計數該指示訊號index，利用公知技術，經過查表對應後可得知計數值與加權訊號的關係進而產生該加權訊號weight。其中，該加權訊號weight愈大，垂直運動可能性越低。

圖6係本發明運動補償去交錯處理裝置310及反下拉裝置320之運作示意圖。為方便說明，其係使用2:2下拉技術。如圖所示，當視訊流為電影視訊流時，執行2:2下拉後，圖框0分為偶數場E0及奇數場O1，而圖框1分為偶數場E1、奇數場O1，圖框2分為奇數場O2及偶數場E2，圖框3分為偶數場E0及奇數場O3。該等偶數場及奇數場的部分資料則分別儲存於該線緩衝裝置130中。

反下拉裝置320分別對該等偶數場及奇數場執行反交錯運算，而產生該反下拉去交錯圖框訊號F1P。由圖6可知，反下拉裝置320利用圖框0分為偶數場E0及奇數場O1分別產生時間T0的圖框F0及時間T0.5的圖框F0，餘此類推。

運動補償去交錯處理裝置310分別對該等偶數場及奇數場執行反交錯運算，而產生該運動補償去交錯圖框訊號F2M。由圖6可知，運動補償去交錯處理裝置310利用圖框0分為偶數場E0及奇數場O1分別產生時間T0的圖框F0及時間T0.5的圖框F0.5，餘此類推。

由上述說明可知，觀察電影拍攝方式，可以發現多半的運動，特別是鏡頭運動造成的整體運動中，水平方向的運動發生機會遠大於垂直運動的發生機會。因此，只要能對於水平方向的運動進行運動估測以及補償，即可以對電影訊號運動不連續的問題，提供大幅度的改善。利用這樣的特性，本發明提出一去交錯處理系統，包含一運動適應性去交錯處理裝置140、一電影圖框產生裝置150、一電影訊號偵測裝置160及共用記憶體110,120,130，當中，一電影圖框產生裝置150包含一水平運動估測裝置311、一水平運動補償裝置315及一垂直運動偵測裝置313。利用電影訊號偵測裝置160的偵測結果選擇運動適應性去交錯處理裝置140的輸出或是電影圖框產生裝置150的輸出，使去交錯處理輸出在非電影輸入時保持穩定且平滑的邊緣處理，以及在電影輸入時能降低運動不連續現象，並藉由垂直運動偵測裝置313，降低運動補償的比例，以避免因垂直運動造成水平方向運動估測及補償裝置的錯誤。

本發明第一部分同時包含運動適應性去交錯處理及水平運動估測及補償技術，針對訊號源是否為電影進行選擇，可同時兼顧去交錯處理的穩定性以及改善電影訊號低畫框頻率所產生的運動不連續。利用獨立的運動適應性去交錯處理裝置(MADI)140、及水平運動估測裝置311和水平運動補償裝置315，藉由兩者處理所需的影像範圍類似的特性，依據對於是否為電影訊號進行分別的處理，可利用多工器170選擇輸出的訊號。在電影模式下，水平運動估測裝置311及水平運動補償裝置315可以降低水平運動不連續，但垂直運動發生時可能會造成水平運動估測裝置找到錯誤的運動向量(motion vector)，造成運動補償錯誤，使畫面上出現瑕疵。

本發明第二部分在水平運動估測裝置311及水平運動補償裝置315外，利用水平運動估測裝置311所得到的運動向量大小MV，以及估測時所計算出的匹配錯誤大小ERROR(matching error)，判斷該點是否發生垂直運動，統計整張畫面垂直運動發生的點數，產生一權重值weight，利用此權重值調整最後輸出時，由水平運動估測裝置311及水平運動補償裝置315所產生的結果(F2M)或是利用反下拉裝置320直接合成奇偶場產生的結果(F1P)的比重。

由前述說明可知，本發明可解決奇偶場在運動補償後產生差異而出現細微的橫線瑕疵，同時可以使運動不連續的問題降低。

由上述可知，本發明無論就目的、手段及功效，在在均顯示其迥異於習知技術之特徵，極具實用價值。惟應注意的是，上述諸多實施例僅係為了便於說明而舉例而已，本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例。

100．．．去交錯處理系統

110．．．第一場緩衝裝置

120．．．第二場緩衝裝置

130．．．線緩衝裝置

140．．．運動適應性去交錯處理裝置

150．．．電影圖框產生裝置

160．．．電影訊號偵測裝置

170．．．第一多工器

310．．．運動補償去交錯處理裝置

320．．．反下拉裝置

330．．．加權裝置

311．．．水平運動估測裝置

315．．．水平運動補償裝置

313．．．垂直運動偵測裝置

510．．．減法器

520．．．絕對值裝置

530．．．第一比較器

540．．．第二比較器

550．．．及閘

560．．．計數器

圖1係本發明一種去交錯處理系統之方塊圖。

圖2係本發明電影訊號偵測裝置之運作示意圖。

圖3係本發明電影圖框產生裝置之方塊圖。

圖4係本發明水平運動估測裝置及水平運動補償裝置之運作示意圖。

圖5係本發明垂直運動偵測裝置之方塊圖。

圖6係本發明運動補償去交錯處理裝置及反下拉裝置之運作示意圖。

100．．．去交錯處理系統

110．．．第一場緩衝裝置

120．．．第二場緩衝裝置

130．．．線緩衝裝置

140．．．運動適應性去交錯處理裝置

150．．．電影圖框產生裝置

160．．．電影訊號偵測裝置

170．．．第一多工器

Claims (6)

1. 一種去交錯處理系統，包含：一第一場緩衝裝置，具有一輸入端，以接收一影像場訊號並暫存為一下一影像場訊號；一第二場緩衝裝置，連接至該第一場緩衝裝置，接收該第一場緩衝裝置中之該下一影像場訊號，並暫存為一現行影像場訊號；一線緩衝裝置，連接至該輸入端、該第一場緩衝裝置、及該第二場緩衝裝置，以暫存該現行影像場的部分線資料訊號；一運動適應性去交錯處理裝置，連接至該線緩衝裝置，依據該部分線資料訊號，以產生一去交錯之視頻圖框訊號；一電影圖框產生裝置，連接至該線緩衝裝置，依據該部分線資料，以產生一去交錯之電影圖框訊號；一電影訊號偵測裝置，連接至該輸入端、該第一場緩衝裝置及該第二場緩衝裝置，依據該影像場訊號、該下一影像場訊號及該現行影像場訊號，以判斷該影像場對應之視訊流為視頻視訊流或電影視訊流，並輸出一視頻電影指示訊號；以及一第一多工器，連接至該運動適應性去交錯處理裝置、該電影圖框產生裝置、及該電影訊號偵測裝置，以依據該視頻電影指示訊號，選擇該去交錯之視頻圖框訊號或該去交錯之電影圖框訊號輸出。
2. 如申請專利範圍第1項所述之去交錯處理系統，其中，該電影圖框產生裝置包含：一運動補償去交錯處理裝置，連接至該線緩衝裝置，依據該部分線資料，以產生一加權訊號及一運動補償去交錯圖框訊號；一反下拉裝置，連接至該線緩衝裝置，依據該部分線資料，以產生一反下拉去交錯圖框訊號；以及一加權裝置，連接至該運動補償去交錯處理裝置及該反下拉裝置，以對該運動補償去交錯圖框訊號及該反下拉去交錯圖框訊號進行加權處理，以產生該去交錯之電影圖框訊號。
3. 如申請專利範圍第2項所述之去交錯處理系統，其中，該運動補償去交錯處理裝置包含：一水平運動估測裝置，連接至該線緩衝裝置，依據該部分線資料訊號，以產生一移動向量訊號及一誤差訊號；一水平運動補償裝置，連接至該線緩衝裝置，依據該部分線資料訊號及該移動向量訊號，以產生該運動補償去交錯圖框訊號；以及一垂直運動偵測裝置，連接至該水平運動估測裝置，依據該移動向量訊號及該誤差訊號，偵測垂直運動可能性，以產生該加權訊號。
4. 如申請專利範圍第3項所述之去交錯處理系統，其中，該加權訊號愈大，垂直運動可能性越低。
5. 如申請專利範圍第4項所述之去交錯處理系統，其中，該去交錯之電影圖框訊號為：weight×F2M+(1-weight)×F1P，當中，weight為該加權訊號，F2M為該運動補償去交錯圖框訊號，F1P為該反下拉去交錯圖框訊號。
6. 如申請專利範圍第5項所述之去交錯處理系統，其中，該垂直運動偵測裝置包含：一減法器，接收每一像素之該移動向量訊號，以產生每一像素的一移動向量差值訊號；一絕對值裝置，連接至該減法器，對該移動向量差值訊號執行絕對值運算，以產生一移動向量絕對差值訊號；一第一比較器，連接至該絕對值裝置，當該移動向量絕對差值訊號小於一第一門檻值時，產生一第一比較訊號；一第二比較器，連接至該水平運動估測裝置，當該誤差訊號大於一第二門檻值時，產生一第二比較訊號；一及閘，連接至該第一比較器及該第二比較器，對該每一像素對應的該第一比較訊號及該第二比較訊號執行及運算，以產生該每一像素之一指示訊號；以及一計數器，連接至該及閘，對該及閘產生的該指示訊號的個數進行計數，根據計數結果經查表後以產生該加權訊號。