TWI403160B

TWI403160B - 字幕區偵測方法

Info

Publication number: TWI403160B
Application number: TW98124522A
Authority: TW
Inventors: Ying Ru Chen
Original assignee: Himax Tech Ltd
Priority date: 2009-07-21
Filing date: 2009-07-21
Publication date: 2013-07-21
Also published as: TW201105131A

Description

字幕區偵測方法

本發明係有關去交錯(de-interlacing)轉換，特別是關於一種字幕區偵測方法，據以進行去交錯。

一般的電視廣播視訊信號係採用交錯(interlaced)格式，例如NTSC、PAL、SECAM，其以奇圖場(field)及偶圖場依序交錯顯示於電視機螢幕，利用視覺暫留原理來顯示出圖框(frame)的視訊內容。交錯視訊信號僅需使用低頻寬即可傳送可接受的視訊品質；然而，其缺點為造成垂直解析度的降低、線條或區域的閃爍(flicker)現象。一般電腦顯示器的視訊信號則是採用非交錯(non-interlaced)或循序(progressive)格式，其係直接將圖框的視訊內容顯示於電腦顯示器上。

為了讓交錯視訊信號能夠顯示於循序信號格式之顯示器(例如電腦的顯示器)上，必須先將交錯視訊信號轉換為非交錯/循序視訊信號，此種格式轉換處理過程稱為去交錯(de-interlacing)或倍頻循序。藉由去交錯轉換，將原本的奇圖場(field)及偶圖場結合產生一個圖框。

視訊信號的去交錯轉換方法可以歸納為下列兩種：空間(spatial)轉換及時間(temporal)轉換。在空間轉換中，僅使用同一圖場的像素(pixel)以產生新的像素，因此，此種轉換一般又稱為圖場內(intra-field)轉換。在時間轉換中，使用相鄰不同圖場的像素來產生新像素，因此，此種轉換一般又稱為圖場間(inter-field)轉換。通常，靜止區係以時間上或圖場間(inter-field)插補技術來進行去交錯，而移動區則以空間上或圖場內(intra-field)插補技術來進行去交錯。

一般來說，移動偵測(motion detection)通常採用同一奇偶圖場(same parity field)相對應像素之間的差值來判斷；差值大者表示有移動，差值小者表示沒有移動。然而，字幕區的背景如果有移動時，則可能將字幕區視為移動區來進行去交錯，因而造成字幕區的閃動現象。

鑑於傳統技術無法正確判斷字幕區因而造成字幕區的閃動，因此亟需提出一種新穎移動偵測及去交錯機制，用以正確偵測出字幕區，以利去交錯之進行。

鑑於上述，本發明實施例提出一種字幕區之偵測方法，用以正確偵測得到字幕區，據以進行去交錯，而得以改善字幕區的閃動現象。

根據本發明實施例，首先，對目前掃描線的每一目標像素進行字幕像素偵測，用以判定目前掃描線之每一像素是否為字幕像素。計數前一圖框的字幕像素之個數(spf)，當其大於一預設值時，則將目前掃描線的字幕像素設為靜止像素。計數目前圖框前一掃描線的字幕像素之個數(spl)，當其大於一預設值時，則根據前一圖框、後一圖框，將目前掃描線的部分非靜止像素調整設定為靜止像素。

根據一實施例，上述之字幕像素偵測步驟包含下列步驟。首先，進行目標像素的移動偵測。偵測目標像素之相鄰像素之亮度值，判定是否存在有特別大或特別小的亮度值。接著，檢查前一圖框中，相應於目標像素的相鄰像素之狀態是否為靜止。最後，偵測目標像素是否位於字幕邊界。

第一圖例示三個連續圖框(亦即，前一圖框、目前圖框及後一圖框)的部分掃描線。其中，前一圖框及後一圖框為奇圖場，而目前圖框為偶圖場。前一圖框顯示有掃描線PA、PC、PE，目前圖框顯示有掃描線B、D，而後一圖框則顯示有掃描線NA、NC、NE。

第二圖顯示字幕(subtitle)像素之偵測方法的流程圖，用以偵測待去交錯之目前像素t(又稱為目標像素)，以決定其是否可能為字幕像素。本實施例雖以步驟21至24依序偵測目標像素t，然而，這些步驟的順序是可以變更的。再者，有些步驟可予以省略，也可增加其他額外步驟。

首先，以步驟21進行目標像素t的移動偵測(motion detection)。鑑於字幕出現的時間一般都會維持數秒之久，以便觀看者進行閱讀。所以，對字幕區域進行移動偵測時，至少二張以上的同奇偶(same parity)圖場之間的差異會特別小。在本實施例中，上述同奇偶圖場之差異係藉由量測相應於目標像素t之前一圖框多個像素點(例如，涵蓋像素pc之視窗中的多個像素)及後一圖框多個像素點(例如，涵蓋像素nc之視窗的多個像素)之間的絕對差之和(sum of absolute differences,SAD)。絕對差之和的值SAD可以由下式表示：其中，nci代表後一圖框之掃描線NC上的像素，pci代表前一圖框之掃描線PC上的像素，k代表視窗的像素個數。

上述絕對差之和SAD如果小於一預設值T，則註明該目標像素t的狀態為靜止(static)，並繼續後續步驟；如果絕對差之和SAD大於預設值T，則註明為移動(motion)，並結束第二圖流程及決定該目標像素t非為字幕像素。

接著，以步驟22偵測目標像素t之相鄰像素(例如目前圖框中位於目標像素t上方的像素b及下方的像素d，及位於前一圖框中相應於目標像素t的像素pc)之亮度值，用以偵測是否存在有特別大或特別小的亮度值。為了讓字幕醒目並與背景產生區別，字幕通常會使用深色(特別小亮度值)外框配合亮色(特別大亮度值)內字以加強對比。因此，當步驟22偵測到特別大或特別小亮度值時，該目標像素t即可能位於字幕區，並繼續後續步驟；否則，結束第二圖流程及決定該目標像素t非為字幕像素。在本實施例中，步驟22係藉由判定像素b、d、pc是否具特別大亮度值(大於預設值T2)或者是否具特別小亮度值 (小於預設值T3)。亦即，b>T2或d>T2或pc>T2或b<T3或d<T3或pc<T3。

然而，如果像素落於平滑區時(亦即一般的單調亮度值)，則上述步驟21及22並不足以辨別出字幕。甚者，還有可能因而錯誤偵測出很多的字幕像素。因此，本實施例繼續以步驟23及24來做進一步的偵測。

於步驟23，檢查前一圖框中，相應於目標像素t的相鄰像素(例如像素pb及pd)之狀態是否為靜止。如果為是，則繼續後續步驟；否則，結束第二圖流程及決定該目標像素t非為字幕像素。在本實施例中，係檢查像素pb及pd之狀態是否皆為靜止。

最後，於步驟24，偵測目標像素t是否位於字幕邊界。字幕的邊界一般具有下列兩種情形之一：(a)目標像素t的上下相鄰掃描線(例如掃描線B和掃描線D)之間的(絕對)差值很大；(b)目標像素t的上下相鄰掃描線之間的(絕對)差值很小，但是，該上下相鄰掃描線與前一圖框中相應目標像素t之掃描線(例如掃描線PC)之間的(絕對)差值卻很大。如果有情形(a)或(b)者，則判定目標像素為字幕像素；否則，結束第二圖流程及決定該目標像素t非為字幕像素。在本實施例中，情形(a)係判定掃描線B(涵蓋像素b)之視窗平均值和掃描線D(涵蓋像素d)之視窗平均值的絕對差值是否大於一預設值T4。亦即，| B-D |>T4。情形(b)係判定掃描線B(涵蓋像素b)之視窗平均值和掃描線D(涵蓋像素d)之視窗平均值的絕對差值是否小於一預設值T5(亦即，| B-D |<T5) ，且掃描線B/掃描線D與掃描線PC(涵蓋像素pc)之絕對差值是否大於預設值T4(亦即，| B-PC |>T4或| D-PC |>T4)。

第三圖顯示本發明實施例之字幕區偵測方法的流程圖，其所獲得的移動偵測結果可據以進行後續(未顯示於流程中)的去交錯。首先，於步驟31中，以第二圖之流程依序對目前掃描線的每一目標像素進行字幕像素偵測，用以判定該掃描線之每一像素是否為字幕像素。

接著，於步驟32，計數前一圖框的字幕像素之個數(subtitle pixels in previous frame,spf)。由於相同的字幕會連續出現於多張圖框中，因此，可藉由前一圖框的結果以得知目前圖框是否具有字幕。一般來說，一圖框中字幕像素個數(spf)夠大時，即可能真正具有字幕。

當前一圖框的字幕像素之個數(spf)大於一預設值T5時(步驟33)，則將目前掃描線的字幕像素設為靜止(static)像素(步驟34)；否則，即依一般的移動偵測(步驟35)之結果來進行去交錯。例如，以時間上或圖場間(inter-field)插補技術以進行靜止區的去交錯，而以空間上或圖場內(intra-field)插補技術以進行移動區的去交錯。接著，於步驟36，計數(目前圖框)前一掃描線的字幕像素之個數(subtitle pixels in previous scan line,spl)。

如果前一掃描線的字幕像素之個數(spl)大於一預設值 T6(步驟37)，則目前掃描線即為具字幕之掃描線；否則，即依一般的移動偵測(步驟35)之結果來進行去交錯。根據本實施例，可以由前一圖框運算完的資料(例如spf)得知目前圖框是否具有字幕。為了節省額外記錄訊息之儲存空間，字幕區的位置則由目前圖框的資料(例如spl)來得到。

經判定為具字幕之掃描線當中，有些像素係為靜止的，而有些像素則非為靜止。如果”非靜止”像素所對應之前一圖框像素及後一圖框像素之間的絕對差值小於一預設值T7，則以步驟38將其調整設定為靜止(static)像素。第四圖例示具字幕掃描線及其相應之前一圖框、後一圖框掃描線。於此例子中，具字幕掃描線的第三像素t3為非靜止像素，其相應之前一圖框像素為pc3，相應之後一圖框像素為nc3。如果像素nc3和像素pc3的絕對差值小於預設值T7(亦即，| nc-pc |<T7)，則將像素t3調整設定為靜止像素。

根據本實施例，可使得字幕區及其鄰近區域判定為靜止區，使其移動偵測不受背景移動的影響，並以時間上或圖場間(inter-field)插補技術來進行該靜止區的去交錯。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

21-24‧‧‧字幕像素之偵測步驟

31-38‧‧‧字幕區偵測步驟

PA、PC、PE‧‧‧前一圖框的掃描線

B、D‧‧‧目前圖框的掃描線

NA、NC、NE‧‧‧後一圖框的掃描線

pa、pb、pc、pd、pe‧‧‧前一圖框的像素

b、d‧‧‧目前圖框的像素

na、nc、ne‧‧‧後一圖框的像素

第一圖例示三個連續圖框的部分掃描線。

第二圖顯示字幕像素之偵測方法的流程圖。

第三圖顯示本發明實施例之字幕區偵測方法的流程圖。

第四圖例示具字幕掃描線及其相應之前一圖框、後一圖框掃描線。

31-38‧‧‧字幕區偵測步驟

Claims

一種字幕區偵測方法，包含：對目前掃描線的每一目標像素進行字幕像素偵測，用以判定該目前掃描線之每一像素是否為字幕像素；計數前一圖框的字幕像素之個數(spf)；當該前一圖框的字幕像素個數(spf)大於一預設值時，將該目前掃描線的字幕像素設為靜止像素；計數目前圖框前一掃描線的字幕像素之個數(spl)；及當該前一掃描線的字幕像素之個數(spl)大於一預設值時，根據前一圖框、後一圖框，將目前掃描線的部分非靜止像素調整設定為靜止像素。
如申請專利範圍第1項所述之字幕區偵測方法，其中上述之字幕像素偵測步驟包含下列步驟：進行該目標像素的移動偵測；及偵測該目標像素之相鄰像素之亮度值，判定是否存在有特別大或特別小的亮度值。
如申請專利範圍第2項所述之字幕區偵測方法，其中上述目標像素的移動偵測步驟包含：量測相應於該目標像素之前一圖框多個像素點及後一圖框多個像素點之間的絕對差之和(SAD)；其中該絕對差之和(SAD)如果小於一預設值，則註明該目標像素的狀態為靜止(static)，否則，註明為移動(motion)。
如申請專利範圍第2項所述之字幕區偵測方法，其中上述之相鄰像素包含目前圖框中位於該目標像素上方的像素及下方的像素，及位於前一圖框中相應於該目標像素的像素。
如申請專利範圍第2項所述之字幕區偵測方法，其中上述之字幕像素偵測步驟更包含：檢查前一圖框中，相應於該目標像素的相鄰像素之狀態是否為靜止。
如申請專利範圍第5項所述之字幕區偵測方法，其中上述之字幕像素偵測步驟更包含：偵測該目標像素是否位於字幕邊界。
如申請專利範圍第6項所述之字幕區偵測方法，其中上述字幕邊界的偵測步驟包含：判定目前掃描線的上一掃描線之視窗平均值和下一掃描線之視窗平均值的絕對差值是否大於一預設值。
如申請專利範圍第6項所述之字幕區偵測方法，其中上述之字幕邊界的偵測步驟包含：判定目前掃描線的上一掃描線之視窗平均值和下一掃描線之視窗平均值的絕對差值是否小於一預設值，且該上一掃描線/該下一掃描線與前一圖框中相應目標像素之掃描線之間之絕對差值是否大於一預設值。
如申請專利範圍第1項所述之字幕區偵測方法，如果目前掃描線之非靜止像素所對應之前一圖框像素及後一圖框像素之間的絕對差值小於一預設值，則進行該靜止像素的調整設定步驟。
如申請專利範圍第1項所述之字幕區偵測方法，當該前一圖框中字幕像素個數(spf)小於該預設值時，則判定該目前掃描線非為字幕區，並以圖場間(inter-field) 插補技術以進行靜止區的去交錯，或以圖場內(intra-field)插補技術以進行移動區的去交錯。
如申請專利範圍第1項所述之字幕區偵測方法，當該目前圖框前一掃描線的字幕像素之個數(spl)小於該預設值時，則判定該目前掃描線非為字幕區，並以圖場間(inter-field)插補技術以進行靜止區的去交錯，或以圖場內(intra-field)插補技術以進行移動區的去交錯。
如申請專利範圍第1項所述之字幕區偵測方法，於該靜止像素之調整設定步驟之後，以圖場間(inter-field)插補技術以進行靜止區的去交錯。