TWI282946B - Method to stabilize digital video motion - Google Patents

Method to stabilize digital video motion Download PDF

Info

Publication number
TWI282946B
TWI282946B TW094111968A TW94111968A TWI282946B TW I282946 B TWI282946 B TW I282946B TW 094111968 A TW094111968 A TW 094111968A TW 94111968 A TW94111968 A TW 94111968A TW I282946 B TWI282946 B TW I282946B
Authority
TW
Taiwan
Prior art keywords
motion vector
previous
face
current
vector
Prior art date
Application number
TW094111968A
Other languages
English (en)
Other versions
TW200627315A (en
Inventor
Shih-Hsuan Yang
Fu-Ming Jheng
Original Assignee
Primax Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Primax Electronics Ltd filed Critical Primax Electronics Ltd
Publication of TW200627315A publication Critical patent/TW200627315A/zh
Application granted granted Critical
Publication of TWI282946B publication Critical patent/TWI282946B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

1282946 九、發明說明: 【發明所屬之技術領域】 本發明係有關於一種數位視訊記錄方式,尤指一 種當數位錄影機晃動時可穩定其所拍攝之數位視訊晝 面的方法。 【先前技術】 最近幾年,家用錄影設備越來越受到消費者的歡 迎及使用,使用者可以利用這些錄影設備來記錄從他 們生活中的點點滴滴。錄影設備會受到歡迎的原因之 一,在於其體積變得比以前的小多了,且方便攜帶。 然而,因重量變輕以及體積縮小的緣故,這些錄影設 備較之前卻變得更不容易穩定地用手把持住而不產生 晃動,也因此這些錄影設備雖然是方便攜帶,卻也有 著影像容易晃動的問題存在。就使用者的觀看層面來 說,晃動的畫面相對地也降低了其在觀看影片時的興 致,並使其觀看影片主體的注意力因晝面的抖動而被 1282946 分散了。 近來,隨著數位錄影機所帶來的方便,數位影像 穩定技術也變成了其中一項受歡迎的功能。然而,目 前用來穩定數位影像的方法卻有著一些缺點存在。這 些方法只在單一向量軸上作處理,需要大量的計算資 源包含複雜的電路以及高耗電量,而且這些補償用的 演算法可能產生過度補償或「飽和」的現象,表示這 些方法可能無法在錄影機移動過一場景時適當地作出 補償,因而造成不穩定的影像。 習知穩定影像的方法的最大的限制在於其僅在單 一向量軸上作處理,也因此這些習知的方法多數並無 法克服在畫面中任一物體的移動方向與整體晝面移動 方向不同的情況之下,畫面對觀看者所造成的不舒服 的影響。換句話說,非預期且垂直於整體晝面移動向 量的物體移動對觀看者視覺所造成的影響大於和整體 晝面移動向量平行之物體移動所造成的影響。 一種典型習知的穩定畫面的方法是藉由以區塊為 基準來進行移動的預測。此一方法係將所補抓到晝面 切割為多個方塊,而每一方塊稱為一微區塊 ⑧ 1282946 (macrob 1 ock),藉由將這些微區塊與其之前的書面做 比較,來決定晝面位移的程度,並從所補抓的晝面中 選取一次區域(subregion)來儲存為當前的晝面。在 比較的過程中,所選的微區塊的大小為16像素乘以 16像素,並在其周圍64像素的距離範圍内藉由半像 素解析度(half-pixel resolution)的方式來進行搜 尋。然而,這種方法所需的運算卻是極其密集的,且 因其複雜而昂貴的硬體電路需求,故並不適合應用在 即時的客製化裝置之中。 另一種習知穩定影像的方法亦是以區塊為基準來 預測晝面的移動,其每個微區塊的大小為64像素乘以 Μ像素,並在其周圍3〇像素的距離範圍内藉由全像 素解析度(full-pixel resolution)的方式來進行搜 尋。然而’這種方法所需的運算也是很密集的,且因 其複雜而昂貴的硬體電路需求,故並不適合用來應用 在即時的客製化裝置之中。此外,這種方法因其使用 車乂大尺寸的微區塊來進行偵測,故其並不直接相容於 數位錄影機所採用的MPEG視訊標準。 另一種習知的方法於美國專利號碼U. S. 1282946 6, 809, 758中由Jones所揭露,其係藉由分析統計數 值來穩定經數位化後的畫面,然而此方法卻會受到限 制。因為這方法需要使用者以人工的方式來偵測場景 的變化,並需要借用統計表來梭正當畫面轉化的時候 晝框跳躍的情況。當晝面微小變動位超過所設定的臨 界值時,Jones所提供的演算法可以偵測到在預期移 動中的快速跳動並減緩這些跳動對整體晝面的影響。 但是,晝面微小的變動(如:因手振所以引起垂直震 動或是在船上時因水波所引起的晃動)卻是使用者特 別希望能消除的會對晝質有所影響之因素。 所以,因為先前技術有諸多的缺點,目前急需一 種藉由二維數位影像穩定技術來善晝面因晃動所產生 的影響。尤其對於非預期而與預期運動方向垂直的晝 面移動,也迫切地需要一種新的方法來加以改善。 【發明内容】 因此本發明的主要目的即在於提供一種多像素解 析的搜尋方法以及估算畫面運動向量的方法,以改善 1282946 先剞技術中的缺點。 本么明的另一目的是要提供一種穩定數位影像晝 面的方法,成本效益的方式來實施。 本叙明的另一目的在於提供一種偵測視訊串列中 的晝面變化的方法,因此不需要從一較早 晝面所累積 的資料即可執行晝面的穩定。 本發明的另一目的在於提供一種二維的穩定數位 視訊影像的方法。 為達成以上發明目的,本發明所提供的方法包含 有下列步驟:自一視訊串中選擇出一當前畫面以及一 先前晝面;將該當前晝面區分成複數個微區塊,·自該 田剷旦面的该等微區塊中,選取出該等微區塊的一次 集石,於一維比較範圍内,比較該次集合的該等微 區塊與該先前晝面,以產生一移動向量之集合;計算 出該當前畫面的一畫面移動向量;藉由一第一階自動 回歸程序(autoregression)估算出該當前晝面的一穩 定移動向量,·藉由比較該穩定移動向量與該晝面移動 向量的差異計算出該當前晝面的一手振移動向量,以 及以該手振移動向量偏移該當前畫面。 1282946 【實施方式】 請參考第1圖,第1圖繪示出依據本發明方法之 較佳實施例的流程圖及其相關資料。數位視訊晝面串 係由一連串的晝面(frame)所構成,而每一晝面經處 理後產生一對應的次區域(subregion),而所產生的次 區域會被儲存至儲存媒體S。其中儲存媒體S可為磁 帶、硬碟、快閃記憶體,或是其他可寫入(writable)、 可複寫(rewritable )的光學儲存裝置,如CD-R、 CD-RW 、 DVD-R 、 DVD-RW 、 DVD+R 、 DVD+RW 、 DVD-RAM 、 BluRay等可寫的數位儲存媒體。此程序啟始於沒有任 何先前移動歷史的初始情況,其中畫面號碼被設定為 1,一晝面移動向量FMV被設定為<0, 0>,一累積移動 向量AMV被設定為< 0,0 > ^以及一滑順移動向量SMV 被設定為<0, 0>。一輸入的視訊晝面200藉由一視訊源 V產生,視訊源V可以是攝影機、電視台訊號、進行 數位化中的影片或已數位化的影片。當處理視訊串中 的第一個晝面時,理所當然地沒有用來與輸入的當前 ⑧ 11 1282946 晝面做比較的先前晝面100存在。因此,沒有任何移 動向量(MotionVector,MV)會被產生,而區塊基準 移動估計步驟10以及移動向量確認步驟20此時尚不 會被執行。流程行進至手振估計步驟60,其中手振移 動向量HMV會依據下列方程式被設定為<0, 0> : HMV(n) = FMV(n) - SMV(n) (1) • 其中參數η表示晝面的編號。手振估計步驟60在 初始狀態下非常簡單,而此步驟在其他情況下會如何 執行將於下面再詳加說明。接著,移動校正步驟70 會被執行以處理輸入的畫面200。在這初始狀態下, 一選取畫面2002會自輸入的晝面200的中央被選取出 來。此選取晝面202被處理並儲存至儲存媒體S,以 φ 作為下一週期的先前晝面100 (或儲存媒體S中的先 前晝面SF1)。然而需特別注意的是,上述的說明主要 是在說明初始狀態下的情況,此時畫面移動向量(FMV) 產生步驟50尚未被執行。 請參考第2圖並同時參照第1圖。於初始狀態過 後但在處理後續之晝面且其拍攝場景未發生變化時, 其處理步驟會有稍微的不同。區塊基準移動估計步驟 ⑧ 12 1282946 中藉由將輸入畫面200區分為多個微區塊來產生移 向臺。輸入畫面200會被切割成長寬皆為16像素的 正方形微區塊。一個次集合會自該等微區塊中被選 取,而在本發明的一較佳實施例中,135個微區塊會 破選出以構成該次集合,並排列成15X9的方塊。在較 鲁 -的處理需求的情形下,多解析度以降低複雜度的搜 爷動作會藉由數位訊號處理(DSP)技術來尋找出所選 出的次集合中的微區塊係位處在相前畫面1⑽的何 處。此搜尋動作首先會藉由一底高皆為兩像素的三角 技号區塊,在先前晝面1〇〇中的區域1002内,由相對 於輪入晝面200的中心起±32像素的搜尋範圍内,來 找出最小變形點(leas卜distortion point),之後再執 # 行一標準的搜尋動作來找出在一個像素之解析度下最 符合的微區塊1001,而二維的移動向量即可自這些最 符合的微區塊產生。這些移動向量的水平分量MVx以及 垂直分量MVy分別是這些微區塊於先前晝面1〇〇與輸入 畫面200前後兩晝面之間於水平方向及垂直方向的位 移。第2圖中的圖示〇v即表示了輸入晝面200疊印在 先前晝面100上時的狀況,且表示出微區塊2001與最 ⑧ 13 1282946 符合的微區塊1001之間的相對位置。 • 述在區塊基準移動估計步驟Π)中所產生的移 '動向量會被傳送到移動向量確認步驟2"繼續處 每微區塊以及其相關的移動向量會再經過三個 測試以決定是否被丢棄。第一種測試是特徵缺乏的評 估,例如鏡頭拍攝藍色天空或單調的背景晝面時,這 •測試會藉由計算微區塊的均差(Mean Abs〇lute
Difference’ MAD)達成’而當微區塊的均差的搜尋區 域小於60像素時’該微區塊的相_動向量會被丟棄 不用。第二種測試是藉由消除一潛在重複的圖案來達 成’而具有最小均差的兩個微區塊會被比較,而如果 最小的均差大於次小均差的〇 98倍,且具最小的均差 • 之微區塊若大於具次小的均差之微區塊1.5個像素 時,則具最小均差的微區塊其相關的移動向量會被丟 棄不用。第三種測試是比較最小均差與一臨界值之間 的差異,若最小均差大於臨界值時,其相關的移動向 量會被丢棄不用,而在本實施例中該臨界值為10個像 素。 經上述移動向量確認步驟20的三個測試動作之 1282946 後所剩餘的移動向量會被稱為合格移動向量(Legal Motion Vector,LMV),並被傳送到場景變化判斷步驟 3〇中繼續處理。場景變化判斷步驟3〇會簡單地測試 合格移動向量LMV的數目是否大於一較低的臨界值。 若剩餘大少的合格移動向量的話,則會判斷場景有改 變,並繼續執行重設步驟40,其中重設步驟4〇被執 仃時,畫面移動向量FMV、滑順移動向量SMV、累積移 動向里AMV皆會被設^^<Q,Q>,而晝面號碼被重新設 為若在場景變化判斷步驟30中並未判斷出場景 的夂化’亦即若剩餘的合格移動向量大於臨界值時, 則晝面移動向量(FMV)產生步驟50會被執行,以繼續 處理這些合格移動向量LMV。 在進饤晝面移動向量產生步驟5〇時,會自合格移 動向里LMV之集合與先前畫面的晝面移動向量 FMV(n 〇中’選擇一中位垂直分量(median vertical C〇mP〇nent)與—中位水平分量(median horizontal component)。這些中位分量數值會用來構成當前晝面 的晝面移動向量FMV(n),而新的晝面移動向量FMV(n) 會被送到手振評估步驟60繼續處理。 15 1282946 手振評估步驟60為本發明中最核心的步驟。在一 連串的畫面中,像素的移動係由以下三個原因造成: 物體的移動(如人的走動)、有意的攝影機移動(如平 移拍攝及縮放晝面)、無意的攝影機移動(如手振)。 穩定晝面的最主要目標即在於消除因無意攝影機移動 所造成的對於晝面的影響,同時並保留物體移動及有 意的攝影機移動所造成的影響。 回顧方程式(1) : HMV(n) = FMV(n) - SMV(n),藉由 畫面移動向量FMV減去滑順移動向量SMV,可計算出 手振移動向量HMV。而在本實施例中,係利用移動向 量加成(Motion Vector Integration, MVI)來產生滑順 移動向量SMV,其中最基本的移動向量加成為下列第 一階自動回歸(first-order autoregression)形式: SMV(n) = aSMV(n—1) + 冷FMV(n),其中a = 1 -冷;(2) 移動向量加成的最主要議題在於選出一阻尼係數 α。阻尼係數α越大會使晝面越滑順,但卻會過度抑 制晝面以及使畫面顯得不太自然;阻尼係數α越小, ⑧ 16 1282946 則會使手振的補償效果較小。在本實施例中,係數/5 的初始值為0. 4,而阻尼係數α為0. 6,而係數α、/5 的值會在下面繼續採用。另外,使 TMV(n) = FMV(n) - SMV(n-l), where (3a) SMV(l) = FMV(l) (3b) 需注意的是,滑順移動向量SMV為預期中的移動 所產生,而晝面移動向量FMV為實際畫面移動所產 生。向量TMV(n)為手振移動向量HMV(n)的估計值,而 當前畫面的向量TMV(n)與先前晝面的滑順移動向量 SMV(n-l)的關係可以以下列方程式表示: __<TMV{n\SMV{n-\)>_ ⑷ P— 7< TMV{n\ TMV(n) >^< SMV (η -1), SMV (η -1) > 其中若標示<a,b>則代表向量a與向量b的内積, 而0$ p S 1。p越小越接近0時,向量TMV(n)(手移) 與滑順移動向量SMV(n-l)(有意的移動)的方向越 不一致。當向量TMV的方向與滑順移動向量SMV的方 ⑧ 17 1282946 向之間相差接近直角九十度時,P的值會趨近於零; 而當兩者方向越接近(零度或180度)時,p的值會 趨近於壹。為整合一維及二維的移動向量加成,本發 明使用方程式: β = min(p,0.4); a = l - β (5) 來與方程式(2)整合。在典型的視訊串中,約有 20%〜25%的α小於0.4,而使數值/5會被用在處理該 畫面上。當移動向量分歧時藉由使用較小的/5值,可 以使得有意的攝影機移動對畫面的影響保留下來,同 時去除掉無意攝影機移動對晝面的影響。因此,一準 確的滑順移動向量SMV(n)可藉由方程式(2)決定,而 一準確的手振移動向量HMV(n)可藉由方程式(1)決 定。 最後,滑順移動向量SMV(n)與手振移動向量 HMV(n)會被傳送到移動校正步驟70中進行處理,以當 最後場景改變時藉由下列方程式計算出一累積移動向 量 AMV(n): ⑧ 18 1282946 AMVin)^Yi=HMV{i) (6a) 這可藉由下列方程式以等效的方式直接地帶出: AMV(2) = HMV(2), when η = 2 (6b) AMV(n) = AMV(n-l) + HMV(n), when n > 2 (6c) 其中,數字n為目前的晝面編號,而累積移動向 量AMV為自最近一次場景變化之後全部手振移動向量 HMV的累加。需注意到場景變化係自畫面編號η為2 之後開始,因為初始晝面之前並沒有更早的晝面,也 因此初始畫面不會有對應的移動向量。 移動校正步驟7 0接著會使用當前的累積移動向 量AMV(n)為輸入畫面200内的一偏移向量,以從輸入 晝面200中擷取出具有預設尺寸大小的選取晝面 202。選取畫面202之後會經處理被送到儲存媒體S, 以保留到下一週期時作為先前畫面100之用,並儲存 在儲存媒體S作為一視訊晝面(如新的視訊畫面SF2)。 ⑧ 19 1282946 之後的流程則重複此等步驟。 在此最佳實施例中,累積移動向量AMV的範圍會 被限制在水平方向上±60個像素、垂直方向上±40個像 素。為防止飽和,當累積移動向量AMV在任何方向上 超過限制的百分之七十五時,若其後的累積移動向量 AMV接近該限制,則下一個手振移動向量HMV將減半。 需注意的是,上述的移動向量加成方法,因滑順移動 向量SMV變得更滑順少變化,而使得手振移動向量HMV 的改變大大地減緩了。請參考第3圖及第4圖,第3 圖表示了滑順移動向量SMV和畫面移動向量FMV於水 平X軸上的分量,而第4圖表示了滑順移動向量SMV 和晝面移動向量FMV於垂直y軸上的分量。由這兩圖 可知本發明之方法的確可藉由消除手振移動向量HMV 的方式來使滑順移動向量SMV的變動曲線更平滑。 上述本發明的方法可進一步藉由一被限定範圍的 變數來取代方程式(5)中常數。在本發明另一較佳實施 例中,藉由下列虛擬程式來限制/3 : if ( (FMV(n) - SMV(n-1) > T1) ⑧ 20 1282946 and (FMV(n-l) - SMV(n-2) > T2) and (FMV(n-2) - SMV(n-3) > T3)) or ((FMV(n) - SMV(n-l) < -Tl) (7) and (FMV(n-l) - SMV(n-2) < -T2) and (FMV(n-2) - SMV(n-3) < -T3)) Φ then b 二 0· 8 ; else b = 0.1 ; 其中,對於水平的移動,Tl = 15,T2=10,T3=5 ; 而對於垂直的移動,Tl = 12,T2=8,T3=3。而這係測試 畫面移動向量FMV是否發生震盪的情況並測試滑順移 φ 動向量SMV是否嚴重落後於晝面,移動向量FMV。因此, 這測試會對移動向量在水平方向上的分量與在垂直方 向上的分量分別處理。於是可使用參數bx與by來用於 X、Y軸上,並分別出α X、a y、)5 X、)5 y。所以可導出: ⑧ β X = =min(/9,bx); 〇ίχ — 1 ~ β X (8a) βν 1 ξ min(/9,by); Οίy ^ 1 ~ /5y (8b) 21 1282946 這起因於更平滑的曲線,適當地減緩了非預期的 晝面移動。 本發明之方法可以輕易地應用在MPEG視訊編碼 標準的裝置,或採用其他自動編碼方式的裝置中,但 本發明的應用並不以此為限。 Φ 相較於先前技術,藉由本發明所提供的方法可以 產生更滑順、更穩定的視訊晝面,並使晝面看起來自 然。而當去除手振對於晝面之影響時,一些預期内的 畫面變動(如縮放)的效果仍可被保存下來。此外, 本發明之搜尋方法較先前技術更快,尤其是當利用多 像素解析估算方法被使用時,其搜尋速度更是有著很 φ 明顯地提升。 以上所述僅為本發明之較佳實施例,凡依本發明 申請專利範圍所做之均等變化與修飾,皆應屬本發明 之涵蓋範圍。 ⑧ 22 1282946 【圖式簡單說明】 第1圖係依據本發明方法之較佳實施例的流程圖 及其相關資料。 第2圖係用來輔助說明移動向量的計算過程。 第3圖係滑順移動向量和晝面移動向量於水平X 軸上的分量。 第4圖係滑順移動向量和晝面移動向量於垂直y 軸上的分量。 【主要元件符號說明】 ⑧ 10 〜70 步驟 100 先前晝面 200 輸入晝面 202 選取晝面 1001 微區塊 1002 區域 2001 微區塊 23

Claims (1)

1282946 、申請專利範圍: 步驟 種穩定數位視訊晝面之方法,該方法包含有下列 晝面; 視訊串中選擇出一當前晝面以及一先前 將该當前晝面區分成複數個微區塊; Λ菖剷旦面的该等微區塊中,選取出該等 微區塊的一次集合; 於 二維比較範圍内,比較該次集合的該等微 區塊與該先前晝面,以產生-移動向量之集合; 計算出該當前晝面的一晝面移動向量; 藉由-第-階自動回歸程序,來估算出該當前 旦面的—穩定移動向量; 藉由比較該敎移動向量與該晝面移動向量 異’來計算出該當前畫面的—手振移動向量; …自5亥當前晝面中切割出一切割畫面,其中該 當前晝面之中心至該切割查 , 旦面之中心的偏移量等 於该手振移動向量;以及 24 1282946 儲存該切割晝面於一儲存裝置中。 2·如申請專利範圍第丨項之方法,其另包含下列步 自該次集合中排除一個或多個微區塊,其中在 距離所排除的微區塊一第一像素距離的範圍内的 搜哥區域之均差(mean average 係低於一臨界值、所排除的微區塊内的一特徵缺乏 (lack of features),或該先前畫面中所重覆的 圖案。 3·如申請專利範圍第1項之方法,其巾計算出該晝面 移動向量時’自移動向量之集合與該絲畫面之晝面 移動向量中,一中位垂直分量(medianvei^eai 識卿抓)與—中位水平分量(median hori皿tal component) 〇 4·如申請專利範圍第1項 貝 < 方去,其中該第一階自動 回歸程序包含有: 將該當前晝面之書面移動6曰千 一秒動向1乘以一第一常數;以 及 將該先前晝面之穩定移動向量乘以一第二常數 1282946 其中該第一常數係介於0〜丨的一浮點值 (floating-point value),而該第一常數與該第二常 數之和等於1。 5.如申請專利範圍第4項之方法,其中該第一常數係 、自一第二常數及一相關值(c〇rrelati〇謂㈣中之 最小者。 汝申明專利範圍第5項之方法,其另包含下列步 驟: 由該當前晝面的該畫面移動向量減去該先前 晝面的該穩定移動向量,來計算出該先前晝面的一 手振移動向量;以及 藉由取該當前晝面之該手振移動向量與該先 月ίι畫面之該穩定移動向量之内積(inner 的絕對值,以及將該絕對值除以該當前畫面的該手 振移動向量與該當前晝面的該手振移動向量之内 積的方根後,再除以該先前畫面的該穩定移動向量 與該先前畫面的該穩定移動向量之内積的方根,來 叶昇出該手振移動向量與該穩定移動向量之間的 该相關值。 ⑧ 26 1282946 等於ο. 、如申請專利範圍第5項之方法,其中該第三常數約 其另包含下列步 8·如申請專利範圍第丨項之方法, 當-累積移動向量之水平分量大於—水平範 圍限制與-比例參數的乘積時,將該手振移動向量 春 之水平分量除以2 ;以及 當該累積移動向量之垂直分量大於一垂直範 圍限制與該比例參數的乘積時,將該手振移動向量 之垂直分量除以2。 9· 士申明專利範圍第^之方法,其中該等微區塊之 大小係符合MPEG視訊編碼標準。 » 10·如申請專利範圍第1項之方法,其中當分析該 視4串的第個晝面時,或當該次集合所包含的該等 微區塊之數目低於一臨界值時,則該先前晝面亦為該 當前晝面。 11· _種錄影裝置,其包含有—透鏡、一 用來補抓 晝面的裝置、-儲存衷置,以及一處理器,而該處理 器係該用以實現中請專利範圍第丨項的方法。 27 1282946 12· _種㈣錄影H其包含有-透鏡、-用來 補抓晝面的裝置、-儲存裝置,以及一處理器,而該 處理器係該用以實現申請專·圍第丨項的方法。 13. -種敎數位視訊晝面之方法,财法包含有 下列步驟: 自-視訊串中選擇出_當前晝面以及一先前 41 晝面; 將該當前畫面區分成複數個微區塊,每一微區 塊之大小係適用於各自編碼的(aU切n〇m〇USly encoded)晝面或預期編碼的(predictively encoded) 晝面; 自該當前畫面的該等微區塊中,選取出該等 φ 微區塊的一次集合; 於一二維比較範圍内,比較該次集合的該等 微區塊與該先前晝面,以產生一移動向量之集合; 自移動向量之集合與該先前晝面的一晝面移 動向量中,選擇一中位垂直分量(median vert i cal component ) 與一中位水平分量 (median horizontal component),以計算出該當前晝面的 ⑧ 28 1282946 晝面移動向量; 藉n階自動回歸程序,來估算出該當 月丨J旦面的一穩定移動向量; 猎由比較該穩定移動向量與該晝面移動向量的差
/、來亥切晝面的_手振移動向量; 自該當前4面中切割出—切财面,其中該當前晝 面之中心至該切割晝面之中心的偏移量等於 该手振移動向量; 儲存該切割畫面於一儲存裝置中。 14.如申請專利範圍第13項之方法,其另包含下列 步驟: 自该次集合中排除一個或多個微區塊,其中 φ 在距離所排除的微區塊一第一像素距離的範圍内 的一搜哥區域之均差(mean average difference) 係低於一臨界值、所排除的微區塊内的一特徵缺乏 (lack of features),或該先前畫面中所重覆的 圖案。 15· 如申請專利範圍第13項之方法,其中該第一階 自動回歸程序包含有·· ⑧ 29 1282946 將該當前畫面之畫面移動向量乘以m以 及 將該先前畫面之穩定移動向量乘以一第二常數; 其中該第-常數係介於。〜i的一浮點值 (i〇atingp〇lntvaiue),而該第—常數與該第二常 數之和等於1。 16. 如申請專利範圍第15項之方法,其中該第一常 數係選自-第三常數及—相關值中之最小者。 17. 如申請專利範圍第16項之方法,其另包含下列 步驟: 由該當前晝面的該晝面移動向量減去該先前 晝面的S亥穩定移動向量,來計算出該先前畫面的一 手振移動向量;以及 藉由取該當前晝面之該手振移動向量與該先 前晝面之該穩定移動向量之内積(inner 的絕對值,以及將該絕對值除以該當前晝面的該手 振移動向量與該當前畫面的該手振移動向量之内 積的方根後,再除以該先前晝面的該穩定移動向量 與該先削晝面的該穩定移動向量之内積的方根,來 1282946 向置與該穩定移動向量之間的 計算出該手振移動 該相關值。 如申清專利範圍第 數約等於〇. 4。 16項之方法 其中該第三常 13項之方法,其另包含下列步
累積移動向量之水平分量A於—水平範圍 、、一比例參數的乘積時,將該手振移動向量之水 平分量除以2 ;以及 當該累積移動向量之垂直分量大於一垂直範 圍限制與該比例參數的乘積時,將該手振移動向量 之垂直分量除以2。
19·如申請專利範圍第 2〇·如申請專利範圍第13項之方法,其中當分析該 視訊串的第一個晝面時,或當該次集合所包含的該等 微區塊之數目低於一臨界值時,則該先前晝面亦為該 當刖書面。 21· 一種錄影裝置,其包含有一透鏡、一用來補抓 畫面的裝置、一儲存裝置,以及一處理器,而該處理 裔係a亥用以實現申清專利範圍第13項的方法。 31 1282946 • 種知疋數位視訊晝面之方法,該方法包含有 下列步驟: 自一視訊串中選擇出一當前晝面以及一先前晝 面; 將该當前晝面區分成複數個微區塊; 自該當前晝面的該等微區塊中,選取出該等微 區塊的一次集合; 於一二維比較範圍内,比較該次集合的該等 微區塊與該先前晝面,以產生—移動向量之集合; 叶算出該當前晝面的一晝面移動向量; 二藉由-第-階自動回歸程序,來估算出該當 如旦面的一穩疋移動向量;以及
23 步 藉由比較該穩定移動向量與該晝㈣動向量 的差異’來計算出該當前4_—手振移動向量。 如申請專利範圍第22項之方法, 面移動向
指派該視訊串的一初始晝面之該全 I為一第一預設向量;以及 指該初始晝面之該穩定移動向量為 32 1282946 設向量。 4·如申請專利範圍第23項之方法,其中該第一預設 向量為零向量<0,0>。 如申清專利範圍第23項之方法,其中該第二預設 向量為零向量<0, 〇>。 汝申明專利範圍第23項之方法,其中該第二預設 白里即為該第一預設向量。 7·如申請專利範圍第22項之方法,其中該當前晝 面之該晝面移動向量係藉由下列步驟求得: 自該移動向量的集合中,選出一中位水平分量 (median horizontal component); 自該移動向量的集合中’選出一中位垂直分量 (median horizontal component);以及 藉由該中位水平分量與該>位垂直分量,組成該畫 面位移分量。 28.如申請專利範圍第22項之方法,其另包含下列步 驟: 藉由加總一第一變數與該先前晝面之該穩定移 動向里的乘積以及一第二變數與該當前晝面之該晝面
33 1282946 旦動向里的乘積’來估算該當前晝面的該穩定移動向 J其中該第一變數與該第二變數之和等於一第一常 其中該第一常 29·如申請專利範圍第28項之方法 數等於1。
30·如申睛專利範圍第 驟: 28項之方法,其另包含下列步 自/田W晝面的該晝面移動向量減去該當前 晝面的該穩定移動向量,以計算出一手振移動向 量。 I1·如申請專利範圍第30項之方法,其另包含下列 步驟: ^疋〇亥第一變數為一平滑值(卿她㈣此) 的最小值或為一相關值(时elationvaiue)。 =.如^__第31項之方法,其另包含下列步 藉由下列步驟’來計算出該相關值: 求得該讀畫___ “與該當前晝 面的該手振移動向量之内積的第 一方根; ⑧ 1282946 求得該先前晝面的該穩定移動向量與該先前畫 面的該穩定移動向量之内積的第二方根,· 將該第-方根乘以該第二方根,以求得一除數; 求得該當前晝面之該手振移動向量與該先前晝 面之該穩定移動向量之㈣,作為一被除 數;以及 將該被除數除以該除數後,取其絕對值以作為 該相關值。 33. 如申請專利範圍第31項之方法,其中該平滑值 約專於〇. 4。 34. 如申請專利範圍第32項之方法,其另包含下列 步驟: 若該當前晝面之該晝面移動向量之水平分量 減去該先前晝面之該穩定移動向量之水平分量後 所取的-第-絕對值大於-第—臨界值,且該先前 晝面之該晝面移動向量之水平分量減去該先前晝 面之前一晝面的該穩定移動向量之水平分量後所 取的-第二絕對值大於一第二臨界值,以及該先前 晝面之前一晝面的該晝面移動向量之水平分量減 ⑧ 35 1282946 去該先前畫面之前兩晝面之該穩定移動向量之水 平分量後所取的一第三絕對值大於一第三臨界值 的話,則設定該平滑值為一第一平滑常數;以及 若該平滑值未被設定為該第一平滑常數,則設 定該平滑值為一第二平滑常數。 35. 如申請專利範圍第34項之方法,其中該第一平滑 常數等於0· 8,而該第二平滑常數等於0· 1。 36. 如申請專利範圍第32項之方法,其另包含下列步 驟: 若該當前晝面之該晝面移動向量之垂直分量 減去該先前畫面之該穩定移動向量之垂直分量後 所取的一第一絕對值大於一第一臨界值,且該先前 畫面之該畫面移動向量之垂直分量減去該先前畫 面之前一晝面的該穩定移動向量之垂直分量後所 取的一第二絕對值大於一第二臨界值,以及該先前 晝面之前一晝面的該晝面移動向量之垂直分量減 去該先前晝面之前兩畫面之該穩定移動向量之垂 直分量後所取的一第三絕對值大於一第三臨界值 的話,則設定該平滑值為一第一平滑常數;以及
36 1282946 若及平滑值未被設定為該第一平滑常數,則 設定該平滑值為一第二平滑常數。 如申請專利範㈣36項之方法,其中該第一平滑 常數等於G.8,而該第二平滑f數等於〇1。 38.如申請專利範圍第22項之方法,其另包含下列
當-累積移動向量之水平分量大於一水平範 圍限制與-比例參數的乘積時,將該手振移動向量 之水平分量除以2 ;以及 當該累積移動向量之垂直分量大於—垂直範 圍限制與該比例參數的乘積時,將該手振移動向量 之垂直分量除以2。 机二申請範圍第22項之方法’其另包含下列步禪: 又:列步驟來估算該當前畫面之該穩定移動向 雙数兴琢无 移動向量之水平分量的乘積以及一第二變數 當前晝面之該晝面軸向量之水平分量的乘積^ 設定該财移動向量之水平分量,其中該第一變^ ⑧ 37 1282946 與該第二變數之和等於一第一常數;以及 藉由加總一第三變數與該先前晝面之該穩定 移動向1之垂直分量的乘積以及一第四變數與該 、J旦面之汶晝面移動向量之垂直分量的乘積,來 叹疋该蚊移動向量之垂直分量,其巾該第三變數 與該第四變數之和等於一第二常數。 4〇·如申請專利範圍第39項,其中該第一常數等於 1 ° 41.如申請專利範圍第39項,其中該第二常數等於 1 〇 ' 仪如申請專利範圍第39項之方法,其另包含下列步 驟: 自該當前晝面的該晝面移動向量減去該當前 晝面的該穩定移動向量,以計算出一手振移動向 量。 43.如申請專利範圍第42項之方法,其另包含下列 步驟: 設定該k變數為-水平平滑值(㈣卻伽 smoothing value )的最小值或為一水平相關值 ⑧ 38 1282946 (horizontal correlation value)。 其另包含下列 44. 如申請專利範圍第43項之方法 步驟: 依據下列步驟來估算該水平相關值: 求得該當前晝面的财振軸向量與該當前書 面的該手振移動向量之内積的第一方根; 求得該先前晝_該穩定移動向量與該先前晝 面的該狱移動向量之内積的第二方根; 將該第一方根乘以該第二方根,以求得一除數; 求得該當前晝面找手振軸向量與該先前晝 面之該穩定移動向量之内積,作為-被除 數;以及 將該被除數除以該除數後,取其絕對值以作為 該水平相關值。 仉如申請專利範圍第43項之方法,其中該水平相 關值約等於〇. 4。 46·如申請專利範圍第犯項之方法,其另包含下列 vertical 設定該第四變數為一垂直平滑值 39 1282946 smoothing value )的最小值咬 a — + 传—垂直相關值 (vertical correlation value) 〇 4 7 · 如申請專利範圍第4 6項之方法 步驟: 依據下列步驟來估算該垂直相關值:
求得該當前晝面的該手振移動向量與該當前書 面的該手振移動向量之内積的第—方根; 求得該先前晝面的該穩定移動向量與該切晝 面的該穩定移動向量之内 將該第一方根乘以該第二方根,以求得一除數; 求得該當前晝面之該手振移動力量與該先前畫
,其另包含下列 積的第二方根 面之該穩定移動向量之内積,作為一被除 數;以及 將該被除數除以該除數後,取其絕對值以作為 該垂直相關值。 48. 如申請專利範圍第47項之方法,其中該垂直相 關值約等於〇· 4。 49. 如申請專利範圍第47項之方法,其另包含下列 步驟: 1282946 若該當前晝面之該晝面移動向量之水平分量 減去該先前畫面之該穩定移動向量之水平分量後 所取的一第一絕對值大於一第一臨界值,且該先前 晝面之該畫面移動向量之水平分量減去該先前晝 面之前一晝面的該穩定移動向量之水平分量後所 取的一第二絕對值大於一第二臨界值,以及該先前 φ 晝面之前一畫面的該晝面移動向量之水平分量減 去該先前畫面之前兩晝面之該穩定移動向量之水 平分量後所取的一第三絕對值大於一第三臨界值 的話,則設定該平滑值為一第一平滑常數;以及 若該平滑值未被設定為該第一平滑常數,則設 定該平滑值為一第二平滑常數。 I 50.如申請專利範圍第49項之方法,其中該第一平滑 常數等於0· 8,而該第二平滑常數等於0· 1。 51. 如申請專利範圍第47項之方法,其另包含下列 步驟: 若該當前晝面之該畫面移動向量之垂直分量 減去該先前晝面之該穩定移動向量之垂直分量後 所取的一第一絕對值大於一第一臨界值,且該先前 41 1282946 畫面之該晝面移動向量之垂直分量減去該先前畫 • 面之前一畫面的該穩定移動向量之垂直分量後所 ' 取的—第二絕對值大於―第二臨界值,以及該先前 畫面之前一晝面的該晝面移動向量之垂直分量減 去該先前畫面之前兩晝面之該穩定移動向量之垂 直分量後所取的-第三絕對值大於一第三臨界值 _ n則⑨定該平滑值為—第—平滑常數;以及 若該平滑值未被設定為該第一平滑常數,則設 定該平滑值為一第二平滑常數。 52.如申請專利範圍第49項之方法,其中該第一平滑 常數等於0.8,而該第二平滑常數等於〇. j。 53· -種錄影裝置’其包含有一透鏡、—用來補抓 • 4面的裝置、-儲存裝置,以及一處理器,而該處理 器係該用以實現申請專利範圍第22項的方法。 ⑧ 42
TW094111968A 2005-01-18 2005-04-15 Method to stabilize digital video motion TWI282946B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/905,699 US7489341B2 (en) 2005-01-18 2005-01-18 Method to stabilize digital video motion

Publications (2)

Publication Number Publication Date
TW200627315A TW200627315A (en) 2006-08-01
TWI282946B true TWI282946B (en) 2007-06-21

Family

ID=36683437

Family Applications (1)

Application Number Title Priority Date Filing Date
TW094111968A TWI282946B (en) 2005-01-18 2005-04-15 Method to stabilize digital video motion

Country Status (3)

Country Link
US (2) US7489341B2 (zh)
CN (1) CN100425056C (zh)
TW (1) TWI282946B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI381719B (zh) * 2008-02-18 2013-01-01 Univ Nat Taiwan 穩定全幅式視訊之方法

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US8417055B2 (en) * 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US9160897B2 (en) * 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US7639889B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US7639888B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US7558405B2 (en) * 2005-06-30 2009-07-07 Nokia Corporation Motion filtering for video stabilization
US20070098383A1 (en) * 2005-10-28 2007-05-03 Stavely Donald J Motion blur reduction and compensation
TWI296178B (en) * 2005-12-12 2008-04-21 Novatek Microelectronics Corp Image vibration-compensating apparatus and the method thereof
KR100775104B1 (ko) * 2006-02-27 2007-11-08 삼성전자주식회사 영상 신호의 떨림 보정 장치와 그를 포함하는 영상 시스템및 그 방법
GB2438449C (en) * 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
IES20070229A2 (en) * 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US20080112630A1 (en) * 2006-11-09 2008-05-15 Oscar Nestares Digital video stabilization based on robust dominant motion estimation
US7773118B2 (en) * 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
TWI367026B (en) * 2007-03-28 2012-06-21 Quanta Comp Inc Method and apparatus for image stabilization
US20080309770A1 (en) * 2007-06-18 2008-12-18 Fotonation Vision Limited Method and apparatus for simulating a camera panning effect
US8127233B2 (en) * 2007-09-24 2012-02-28 Microsoft Corporation Remote user interface updates using difference and motion encoding
US8619877B2 (en) * 2007-10-11 2013-12-31 Microsoft Corporation Optimized key frame caching for remote interface rendering
US8121423B2 (en) 2007-10-12 2012-02-21 Microsoft Corporation Remote user interface raster segment motion detection and encoding
US8106909B2 (en) * 2007-10-13 2012-01-31 Microsoft Corporation Common key frame caching for a remote user interface
US8743954B1 (en) * 2008-02-01 2014-06-03 Zenverge, Inc. Architecture for adjusting bit rate based on measured quality
US20100046624A1 (en) * 2008-08-20 2010-02-25 Texas Instruments Incorporated Method and apparatus for translation motion stabilization
CN101398855B (zh) * 2008-10-24 2010-08-11 清华大学 一种视频关键帧提取方法和系统
CN101753774B (zh) * 2008-12-16 2012-03-14 财团法人资讯工业策进会 数字影像稳定方法与系统
EP2465254A4 (en) * 2009-08-12 2015-09-09 Intel Corp VIDEO STABILIZATION AND VIDEO SCALE LIMIT DETECTION TECHNIQUES BASED ON COMMON PROCESSING ELEMENTS
US8094886B1 (en) * 2009-10-07 2012-01-10 Sandia Corporation Thermal wake/vessel detection technique
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US8558903B2 (en) * 2010-03-25 2013-10-15 Apple Inc. Accelerometer / gyro-facilitated video stabilization
US9131155B1 (en) 2010-04-07 2015-09-08 Qualcomm Technologies, Inc. Digital video stabilization for multi-view systems
JP2012090259A (ja) * 2010-09-21 2012-05-10 Panasonic Corp 撮像装置
EP2447882B1 (en) * 2010-10-29 2013-05-15 Siemens Aktiengesellschaft Method and device for assigning sources and sinks to routes of individuals
US8711248B2 (en) 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US8947546B2 (en) * 2011-04-23 2015-02-03 Blackberry Limited Apparatus, and associated method, for stabilizing a video sequence
KR101839617B1 (ko) * 2011-07-11 2018-03-19 포항공과대학교 산학협력단 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
TWI469062B (zh) 2011-11-11 2015-01-11 Ind Tech Res Inst 影像穩定方法及影像穩定裝置
GB2501925B (en) * 2012-05-11 2015-04-29 Sony Comp Entertainment Europe Method and system for augmented reality
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
TWI542201B (zh) 2013-12-26 2016-07-11 智原科技股份有限公司 降低視訊畫面抖動的方法與裝置
JP6740900B2 (ja) * 2014-07-02 2020-08-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
WO2016036425A1 (en) * 2014-09-05 2016-03-10 Ballcraft, Llc Motion detection for portable devices
US10506248B2 (en) * 2016-06-30 2019-12-10 Facebook, Inc. Foreground detection for video stabilization
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3052250B2 (ja) * 1990-01-05 2000-06-12 キヤノン株式会社 画像ぶれ補正装置
US5453800A (en) * 1991-10-17 1995-09-26 Sony Corporation Apparatus for judging a hand movement of an image
EP0701758B1 (en) * 1993-06-04 2000-11-02 Sarnoff Corporation System and method for electronic image stabilization
US5614945A (en) * 1993-10-19 1997-03-25 Canon Kabushiki Kaisha Image processing system modifying image shake correction based on superimposed images
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
US6628711B1 (en) * 1999-07-02 2003-09-30 Motorola, Inc. Method and apparatus for compensating for jitter in a digital video image
US6809758B1 (en) * 1999-12-29 2004-10-26 Eastman Kodak Company Automated stabilization method for digital image sequences
KR100683849B1 (ko) * 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
EP1376471A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Motion estimation for stabilization of an image sequence
US7880769B2 (en) * 2004-02-13 2011-02-01 Qualcomm Incorporated Adaptive image stabilization
US7649549B2 (en) * 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI381719B (zh) * 2008-02-18 2013-01-01 Univ Nat Taiwan 穩定全幅式視訊之方法

Also Published As

Publication number Publication date
US20080170125A1 (en) 2008-07-17
US7768551B2 (en) 2010-08-03
US7489341B2 (en) 2009-02-10
CN100425056C (zh) 2008-10-08
TW200627315A (en) 2006-08-01
CN1809125A (zh) 2006-07-26
US20060158524A1 (en) 2006-07-20

Similar Documents

Publication Publication Date Title
TWI282946B (en) Method to stabilize digital video motion
US10841494B2 (en) Motion vector estimation for video image stabilization
US10404917B2 (en) One-pass video stabilization
US9824426B2 (en) Reduced latency video stabilization
JP4570244B2 (ja) ディジタル画像シーケンス用の自動安定化方法
US7477289B2 (en) Image processing apparatus and method, and image pickup apparatus
CN103929568B (zh) 用于稳定数字图像帧的第一序列的方法及图像稳定装置
US8107750B2 (en) Method of generating motion vectors of images of a video sequence
US7254279B2 (en) Method for image stabilization by adaptive filtering
TWI332350B (zh)
Shi et al. Steadiface: Real-time face-centric stabilization on mobile phones
JP4289170B2 (ja) ノイズ量測定装置および映像受像機
TWI502979B (zh) 影像移動估算方法
Jiang et al. One-pass video stabilization on mobile devices
JP3948616B2 (ja) 画像のマッチング装置
JP2007180691A (ja) ノイズ量測定装置
JP2020102786A (ja) 画像処理装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees
MM4A Annulment or lapse of patent due to non-payment of fees