TWI384868B

TWI384868B - 用於數位視訊編輯系統之移動字幕移除方法

Info

Publication number: TWI384868B
Application number: TW098112057A
Authority: TW
Inventors: Tsunghan Tsai; Chihlun Fang
Original assignee: Univ Nat Central
Priority date: 2009-04-10
Filing date: 2009-04-10
Publication date: 2013-02-01
Also published as: TW201038064A; US8280227B2; US20100260467A1

Description

用於數位視訊編輯系統之移動字幕移除方法

本發明是有關於一種移動字幕移除方法，且特別是有關於一種用於數位視訊編輯系統之移動字幕移除方法。

隨著影片可經由各種媒介快速被傳播，影片中存在有一些不必要的物件，例如：陌生行人、廣告字幕等。較常見的是內嵌在影片中的字幕，而這些內嵌的字幕常常是一些不必要的廣告。為了能夠移除這些物件，近年來許多物件移除相關技術被提出，例如Y. Wexler等人在“Space-time video completion”(IEEE Trans. Pattern Analysis and Machine Intelligence,vol. 29,Issue 3,Mar. 2007)中所提出的5-Dimension block search，以及K. A. Patwardhan等人在“Video inpainting under constrained camera motion”(IEEE Trans. Image Processing,vol. 16,Issue 2,Feb 2007)中所提出的Object-background inpainting技術等。但是，這類技術只適用於周圍有較多已知像素的物件移除，例如：規律動作(例：走路)及小區域的物件，對於移動字幕這類大範圍缺少周圍資訊的區域就無法有效移除回復。

雖然J. Sun等人在“Image completion with structure propagation,”(ACM Conf. Comp. Graphics(SIGGRAPH),vol. 24,2005)中提出結構區域的回復方法，但這需要手動完成結構描繪，無法完全達到自動回復結構區域。

再者，已知物件移除技術運算量高，不符合即時處理的要求，同時，針對大區域的回復難保持時間域及空間域的一致性。因此，提出一種新的移動字幕移除方法。

因此，本發明的目的就是在提供一種用於數位視訊編輯系統之移動字幕移除方法，能自動分析回復影片內容結構，可處理大區域及複雜區域移動字幕的移除。

依據本發明一實施例，一種用於數位視訊編輯系統之移動字幕移除方法包括以下步驟：輸入一影片之一畫面；提供一高階層執行階段，高階層執行階段包括回復畫面之時間域結構區域以及空間域結構區域之步驟；提供一低階層執行階段，低階層執行階段包括回復畫面之非結構區域之步驟。

接下來請參照本發明實施方式的詳細說明，其中所提到的範例會連同圖式一同進行說明。在任何可能的情況下，圖式及說明中所使用的相同參考數標都代表了相同或類似的元件。

第1A圖係繪示依照本發明一實施方式的一種移動字幕移除方法的流程圖。此方法係適用於數位視訊編輯系統的移動字幕移除，利用空間域及時間域的資訊進行字幕的移除。此方法包括以下步驟(應了解到，在本實施方式中所提及的步驟，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可能同時或部分同時執行)：

(1)輸入一影片之一畫面(步驟110)。本實施方式中的影片是一段已經過處理而具有各自場景(shot)的影片，一段影片可包括一序列的畫面。

(2)提供高階層執行階段(步驟120)。首先，可以Canny邊緣偵測器分割影片為兩階層模型區域，再分別對不同區域進行回復。Canny邊緣偵測器可偵測出物件的邊緣，可將這些邊緣視為物件的結構。高階層執行階段包含以下步驟：

(2.1)回復畫面之時間域結構區域(步驟210)。

(2.2)回復畫面之空間域結構區域(步驟220)。

步驟210及步驟220可同時進行。

(3)提供低階層執行階段(步驟130)。低階層執行階段包括回復畫面之非結構區域(步驟230)。

(4)判定是否有下一張畫面(步驟140)。當判定有下一張畫面時，回到步驟110輸入畫面。當判定沒有下一張畫面時，表示此畫面是影片的最後一張，即可輸出移除字幕的影片(步驟150)。

第1B圖係繪示依照本發明一實施方式的一種階層式模型示意圖。經由採用階層式模型的概念，本實施方式可達到動態自動移除字幕。在高階層回復時間域結構區域及空間域結構區域，以及在低階層回復非結構區域(即紋理區域)，針對複雜及結構的影片，都能保持時間及空間的一致性。

第2A圖係繪示高階層的時間域結構區域回復的示意圖。第2B圖係繪示第1A圖之實施方式中步驟210回復畫面之時間域結構區域所包含之詳細步驟：

(2.1.1)利用旋轉式區塊比對法分析並描述時間域結構分佈以取得最相近區塊(步驟211)。

(2.1.2)利用動態內插法取得内插區塊的初始位置(步驟212)。

(2.1.3)利用旋轉式區塊比對法動態調整内插區塊的座標以得到欲回復區塊(步驟213)。在同一畫面中，依序搜尋內插區塊周圍以40x40像素為單位大小內之所有區塊以取得位移值，以將主畫面中欲回復區塊裡被移除的未知像素恢復成原狀。

第3A圖係繪示旋轉式區塊比對法所包含之詳細步驟。旋轉式區塊比對法可有效地處理例如肩膀的轉動等畫面變化。此處是以步驟211利用旋轉式區塊比對法分析並描述時間域結構分佈以取得最相近區塊為例說明，之後，在其他步驟應用到旋轉式區塊比對法時，可就實際狀況來調整細節的步驟而實施類似的概念。

(2.1.1.1)自主參照畫面中選定主參照區塊(步驟310)。主參照畫面為主畫面的鄰近畫面(例如主畫面往前之一畫面或主畫面往後之一畫面)，主畫面即此次所輸入之畫面。主參照區塊中可含有已知及未知像素。此實施方式將尋找最相近於主參照區塊的區塊。在一實施例中，主參照區塊之大小係定為5x5像素單位。

(2.1.1.2)計算主參照區塊之旋轉參考像素點(步驟320)。旋轉參考像素點可利用以下公式取得：

其中代表該區塊中所有的像素點，p _0,0 代表目前被比較的像素點(p )，p _0,1 、p _1,1 、及p _1,0 分別代表被比較像素點的上方、右上、右方像素點。

(2.1.1.3)自副參照畫面中選定對應主參照區塊之搜尋範圍(步驟330)。可自主畫面的鄰近畫面(例如主畫面往前之一畫面或主畫面往後之一畫面)中選定一類似畫面以作為副參照畫面。在一實施例中，對應副參照區塊之搜尋範圍之大小係定為40x40像素單位，而對應副參考區塊之搜尋範圍是由多個參照區塊所組成。

(2.1.1.4)將主參考區塊與副參照區塊之每者進行比對以決定最相近區塊(步驟340)。

第3B圖係繪示第3A圖中比對步驟340所包含之詳細步驟。進一步來說，比對步驟340將根據計算得到之相似度而自對應主參照區塊之搜尋範圍裡的副參照區塊中來決定最相近區塊。就這些副參照區塊之每者而言，包含以下步驟：

(2.1.1.4.1)計算副參照區塊之旋轉參考像素點(步驟341)。可利用前述列於(2.1.1.2)之公式取得。

(2.1.1.4.2)旋轉主參照區塊及副參照區塊之其中一者一旋轉角度(步驟342)。旋轉角度是主參照區塊之旋轉參考像素點與副參照區塊之旋轉參考像素點之垂直梯度方向的差值。垂直梯度方向係利用以下公式取得：

其中φ₀ ,₀ 代表旋轉參考像素點，φ₀ ,₁ 、φ₁ ,₁ 、及φ₁ ,₀ 分別代表旋轉參考像素點的上方、右上、右方像素點。

(2.1.1.4.3)計算主參照區塊與副參照區塊中所有結構像素值之平均平方差值以得到主參照區塊與副參照區塊之相似度(步驟343)。

得到所有的副參照區塊與主參照區塊的平均平方差值後，將差值最小的副參照區塊視為與主參照區塊的相似度最高，因此可得到最相近區塊。

第4圖係繪示動態内插法所包含之詳細步驟：

(2.1.2.1)藉由主參照畫面與副參照畫面的結構像素內插獲得主畫面的結構像素(步驟410)。

(2.1.2.2)依據副參照畫面與主畫面的時間空間距離以及主畫面與主參照畫面的時間空間距離，以線性移動執行內插計算(步驟420)。

第5A圖係繪示高階層的空間域結構區域回復的示意圖。第5B圖係繪示第1A圖之實施方式中步驟220回復畫面之空間域結構區域所包含之詳細步驟：

(2.2.1)定義空間域結構分布具有類似SP-Line曲線的特性(步驟221)。

(2.2.2)根據部分結構區塊，執行旋轉式區塊比對法以取得第一相近區塊及第二相近區塊(步驟222)。以部分結構區塊在同一畫面上執行旋轉式區塊比對法可得到第一相近區塊及第二相近區塊。SP-Line曲線的弦長係由第一相近區塊及第二相近區塊所連成。

(2.2.3)計算第一相近區塊之中心座標的正切向量及第二相近區塊之中心座標的正切向量以得到SP-Line曲線(步驟223)。正切向量係利用以下公式取得：

其中Δτ_x 及Δτ_y 代表正切向量x軸的值及y軸的值，▽/ y 及▽/ x 代表梯度的微分，更代表正切向量的元素，θ代表相近區塊中心點的梯度角度，R 代表半徑。請參照第5C圖，其係繪示正切向量的示意圖。

(2.2.4)將第一相近區塊沿SP-Line曲線移動至部分結構區塊以產生回復結構(步驟224)。

第6A圖係繪示第1A圖之實施方式中步驟230回復畫面之非結構區域所包含之詳細步驟：

(2.3.1)判定畫面是否為第一畫面(步驟231)。

(2.3.2)當判定畫面為第一畫面時，以平滑延伸方式回復畫面之非結構區域(步驟232)。在此是以以八角優先權決定法則根據未知點的八邊決定所填入的像素值。請參照第6B圖，其係繪示八角優先權決定法則的示意圖。每一邊係由三個像素值所組成。首先，利用以下公式自八邊中決定最高順序邊，最高順序邊為二次微分值之最小邊：

上方邊：

下方邊：

左方邊：

右方邊：

右上方邊：

左上方邊：

右下方邊：

左下方邊：

其中代表某邊的二次微分，f ()代表某點的像素值，x 及y 代表鄰近點的座標，Pr(Ψ)代表最高順序的邊，i 代表邊的索引值。再來，利用最高順序邊的像素值及權重值來決定所填入的像素值：

其中P _i 代表該填入像素值，n 代表邊上像素的索引，P _n 代表未知點之某鄰邊上點的像素值，M _n 代表未知點之某鄰邊上點的權重值。某鄰邊上點的權重值係由二次微分的係數所決定。

(2.3.3)當判定畫面不為第一畫面時，以區塊再製方式回復畫面之非結構區域(步驟233)。因為在鄰近畫面中，非結構區域的變化不多，直接複製來回復畫面即可。

上述之移動字幕移除方法適用於數位視訊編輯系統，而數位視訊編輯系統可被整合或嵌入於例如影片編輯產品、數位電視、可攜式行動電視、機上盒、視訊撥放機等。

由上述本發明實施方式可知，應用本發明具有下列優點。上述之用於數位視訊編輯系統之移動字幕移除方法能自動分析回復影片內容結構，可處理大區域及複雜區域移動字幕的移除，也可適用於不規律動作及大區域物件的移除，並保持移除後的影片內容具有時間域及空間域一致性。

本實施方式單純以影片結構進行空間域的比對，可有效降低運算量並增進執行速度。再者，為了能夠正確分析結構的分布，提出旋轉式區塊比對法，以區塊中人眼最敏感的梯度值為比對準則，此方法可分析及描繪非規律的結構。最後，以某未知點其周圍已知點的梯度二次微分決定非結構區域(紋理區域)所要填入的像素值，且透過周圍已知點的平滑延伸，可精確回復非結構區域。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技術者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100-420．．．步驟

為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：

第1A圖係繪示依照本發明一實施方式的一種移動字幕移除方法的流程圖。

第1B圖係繪示依照本發明一實施方式的一種階層式模型示意圖。

第2A圖係繪示高階層的時間域結構區域回復的示意圖。

第2B圖係繪示第1A圖之實施方式中步驟210回復畫面之時間域結構區域所包含之詳細步驟。

第3A圖係繪示旋轉式區塊比對法所包含之詳細步驟。

第3B圖係繪示第3A圖中比對步驟340所包含之詳細步驟。

第4圖係繪示動態内插法所包含之詳細步驟。

第5A圖係繪示高階層的空間域結構區域回復的示意圖。

第5B圖係繪示第1A圖之實施方式中步驟220回復畫面之空間域結構區域所包含之詳細步驟。

第5C圖係繪示正切向量的示意圖。

第6A圖係繪示第1A圖之實施方式中步驟230回復畫面之非結構區域所包含之詳細步驟。

第6B圖係繪示八角優先權決定法則的示意圖。

100-230．．．步驟

Claims

一種用於數位視訊編輯系統之移動字幕移除方法，包含以下步驟：輸入一影片之一畫面；提供一高階層執行階段，該高階層執行階段包含以下步驟：回復該畫面之時間域結構區域；以及回復該畫面之空間域結構區域；提供一低階層執行階段，該低階層執行階段包含以下步驟：回復該畫面之非結構區域，更包括：判定該畫面是否為一第一畫面；當判定該畫面為該第一畫面時，以一平滑延伸方式回復該畫面之非結構區域；以及當判定該畫面不為該第一畫面時，以一區塊再製方式回復該畫面之非結構區域。
如申請專利範圍第1項所述之移動字幕移除方法，其中該回復該畫面之時間域結構區域之步驟包含以下步驟：利用一旋轉式區塊比對法分析並描述時間域結構分佈以取得一最相近區塊；利用一動態內插法取得一內插區塊的初始位置；以及利用該旋轉式區塊比對法動態調整該內插區塊的座標以得到一欲回復區塊。
如申請專利範圍第2項所述之移動字幕移除方法，其中該旋轉區塊比對法包含以下步驟：自一主參照畫面中選定一主參照區塊；計算該主參照區塊之一旋轉參考像素點；自一副參照畫面中選定一對應該主參照區塊之搜尋範圍，其中該對應該主參照區塊之搜尋範圍係由複數個副參照區塊所組成；以及將該主參照區塊與該些副參照區塊之每者進行比對以決定該最相近區塊。
如申請專利範圍第3項所述之移動字幕移除方法，其中該主參照區塊之大小係5x5像素單位。
如申請專利範圍第3項所述之移動字幕移除方法，其中該對應該主參照區塊之搜尋範圍之大小係40x40像素單位。
如申請專利範圍第3項所述之移動字幕移除方法，其中就該些副參照區塊之每者而言，該比對步驟包含以下步驟：計算該副參照區塊之一旋轉參考像素點；旋轉該主參照區塊及該副參照區塊之其中一者一旋轉角度；以及計算該主參照區塊與該副參照區塊中所有結構像素值之平均平方差值以得到該主參照區塊及該副參照區塊之相似度。
如申請專利範圍第6項所述之移動字幕移除方法，其中該旋轉參考像素點係利用以下公式取得：其中代表該區塊中所有的像素點，p _0,0 代表目前被比較的像素點(p )，p _0,1 、p _1,1 、及p _1,0 分別代表被比較像素點的上方、右上、右方像素點。
如申請專利範圍第6項所述之移動字幕移除方法，其中該旋轉角度係該主參照區塊之該旋轉參考像素點與該副參照區塊之該旋轉參考像素點之一垂直梯度方向的差值。
如申請專利範圍第8項所述之移動字幕移除方法，其中該垂直梯度方向係利用以下公式取得：其中φ _0,0 代表旋轉參考像素點，φ _0,1 、φ _1,1 、及φ _1,0 分別代表旋轉參考像素點的上方、右上、右方像素點。
如申請專利範圍第3項所述之移動字幕移除方法，其中該動態內插法包含以下步驟：藉由該主參照畫面與該副參照畫面的結構像素內插獲得該畫面的結構像素；以及依據該副參照畫面與該畫面的時間空間距離以及該畫面與該主參照畫面的時間空間距離，以線性移動執行內插計算。
如申請專利範圍第2項所述之移動字幕移除方法，其中該利用該旋轉式區塊比對法動態調整該內插區塊的座標以得到一欲回復區塊之步驟包含以下步驟：依序搜尋該內插區塊周圍以40x40像素為單位大小內之所有區塊以取得一位移值。
如申請專利範圍第2項所述之移動字幕移除方法，其中該回復該畫面之空間域結構區域之步驟包含以下步驟：定義空間域結構分布具有類似一SP-Line曲線的特性；根據一部分結構區塊，執行該旋轉式區塊比對法以取得一第一相近區塊及一第二相近區塊；計算該第一相近區塊之中心座標的正切向量及該第二相近區塊之中心座標的正切向量以得到該SP-Line曲線；以及將該第一相近區塊沿該SP-Line曲線移動至該部分結構區塊以產生回復結構。
如申請專利範圍第12項所述之移動字幕移除方法，其中該SP-Line曲線之弦長係由該第一相近區塊及該第二相近區塊所連成。
如申請專利範圍第12項所述之移動字幕移除方法，其中該正切向量係利用以下公式取得：其中△τ _x 及△τ _y 代表正切向量x軸的值及y軸的值，▽/及▽/ x 代表梯度的微分，更代表正切向量的元素，θ 代表相近區塊中心點的梯度角度，R 代表半徑。
如申請專利範圍第1項所述之移動字幕移除方法，其中該以一平滑延伸方式回復該畫面之非結構區域之步驟包含以下步驟：以一八角優先權決定法則根據一未知點的八邊決定一填入像素值。
如申請專利範圍第15項所述之移動字幕移除方法，其中八邊之每者係由三像素值所組成。
如申請專利範圍第16項所述之移動字幕移除方法，其中該八角優先權決定法則係利用以下公式自八邊中決定一最高順序邊：上方邊：▽₀ ² f =f (x +1,y -1)-2f (x ,y -1)+f (x -1,y -1)下方邊：▽₁ ² f =f (x +1,y +1)-2f (x ,y +1)+f (x -1,y +1)左方邊：▽₂ ² f =f (x -1,y +1)-2f (x -1,y )+f (x -1,y -1)右方邊：▽₃ ² f =f (x +1,y +1)-2f (x +1,y )+f (x +1,y -1)右上方邊：▽₄ ² f =f (x +2,y )-2f (x +1,y -1)+f (x ,y -2)左上方邊：▽₅ ² f =f (x -2,y )-2f (x -1,y -1)+f (x ,y -2)右下方邊：▽₆ ² f =f (x +2,y )-2f (x +1,y +1)+f (x ,y +2)左下方邊：▽₇ ² f =f (x -2,y )-2f (x -1,y +1)+f (x ,y +2) 其中▽_0..7 ² f 代表邊的二次微分，f ( )代表邊上某點的像素值，x 及y 代表鄰近點的座標，Pr(Ψ)代表該最高順序邊，i 代表邊的索引值。
如申請專利範圍第17項所述之移動字幕移除方法，其中該填入像素值係利用該最高順序邊的像素值及權重值來決定：其中P _i 代表該填入像素值，n 代表邊上像素的索引，P _n 代表未知點之某鄰邊上點的像素值，M _n 代表未知點之某鄰邊上點的權重值。
如申請專利範圍第18項所述之移動字幕移除方法，其中該權重值係由二次微分的係數所決定。