TWI381719B - 穩定全幅式視訊之方法 - Google Patents

穩定全幅式視訊之方法 Download PDF

Info

Publication number
TWI381719B
TWI381719B TW097105545A TW97105545A TWI381719B TW I381719 B TWI381719 B TW I381719B TW 097105545 A TW097105545 A TW 097105545A TW 97105545 A TW97105545 A TW 97105545A TW I381719 B TWI381719 B TW I381719B
Authority
TW
Taiwan
Prior art keywords
frame
video
path
pixel
moving
Prior art date
Application number
TW097105545A
Other languages
English (en)
Other versions
TW200937946A (en
Inventor
bing yu Chen
wei ting Huang
Jong Shan Lin
Original Assignee
Univ Nat Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan filed Critical Univ Nat Taiwan
Priority to TW097105545A priority Critical patent/TWI381719B/zh
Priority to US12/372,484 priority patent/US8520085B2/en
Publication of TW200937946A publication Critical patent/TW200937946A/zh
Application granted granted Critical
Publication of TWI381719B publication Critical patent/TWI381719B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

穩定全幅式視訊之方法
手震係手持攝影機無法避免的現象，其係攝影的嚴重問題之一，因此，「穩定視訊」一直係解決此問題的重要技術，然而，當前穩定視訊的方法通常造成視訊解析度降低。
隨著數位攝影機的興起，利用手持攝影機攝影係較從前便利許多，然而大部分使用者並不會隨身攜帶三腳架，手震便係無法避免的問題。如何避免或解決這個惱人震動係家庭攝影領域中一個主要的議題，而穩定視訊便為解決此問題的關鍵技術。許多當前的穩定視訊技術係將攝影機拍攝的移動路徑平滑化且吻合視訊框架至該已平滑化之路徑後截斷遺失的區域，因為只有該頻率的震動會被這種方法移除，因此，該被穩定的視訊仍含包含許多未預期的移動。此外，利用這種方法穩定視訊，通常該視訊的品質會因為截斷遺失的區域而下降。
穩定視訊係多媒體、圖像處理、視訊捕捉與電腦繪圖領域一個重要的研究主題，Buehler等人曾假設一種以圖像為基礎的處理方法(image-based rendering；IBR)來穩定視訊，近來，圖像處理方法 被廣泛應用在穩定視訊。為了估測攝影機的移動路徑，Litvin等人利用改變攝影參數估測了一種新的攝影機移動路徑，松下等人將攝影機路徑平滑化來減少高頻率的震動，然而，就算高頻率的振動可以輕易的減少，該被穩定的視訊仍然包含有未預期的低頻震動。
有許多用於覆蓋遺失點的圖像修補方法可應用於填滿遺失的圖像區域，雖然這些方法能夠利用正確的結構修補遺失區域，但如果分別檢視每一個視訊畫格，會發現其有明顯的不連續性，Litvin等人利用馬賽克方法(mosaic method)填滿該區域，但他們並沒有考慮到移動中的物體可能出現在該視訊的邊界，Wexler及Shiratori等人對其他部分的視訊容積的時空容積(spatio-temporal volume)補塊採樣來填滿該遺失點，前項方法利用相近的顏色補塊來填滿該遺失區域，而後者則係利用相近的移動向量，這些方法的缺點係需要很長的計算時間來尋找一個適合的補塊。Jia和Patwardhan等人將視訊分為兩個圖層且對其各別重新搜尋，此方法專注於對於移動物件長期且週期性的觀察，但此方法並不一定適合一般家庭攝影。
本發明提供一種利用聚合線貼合攝錄相機路徑穩定全幅視訊之方法，本發明利用一聚合線估測攝錄相機新的穩定移動方式，因此其所產生的視訊較為穩定且較為貼近使用者預期得到之視訊，一旦得 到一視訊新的穩定移動路徑，該視訊畫格就可依該路徑排列。
根據該畫格的排列，該新的穩定視訊會有若干個遺失區域。不同於其他修補的方式，本發明利用動作修補及周圍包覆的視訊畫格來分別填滿動態及靜態的遺失區域，該修補方法即使在視訊畫格邊界有移動物件時也能夠有效作用以維持與原母像相同的解析度及品質，然而，由於本發明係利用聚合線貼合攝錄相機的移動路徑來取代利用變數曲線將移動路徑平滑化，該遺失區域通常較大且不會輕易的遭周圍的畫格填補。
利用距離當前畫格較遠的畫格之像素來填補遺失區域可能造成填補區域邊界的不連續性，因為每一個視訊畫格的強度通常不一樣。因此，我們利用可考量空間及時間一致性且可在空間或時間上進行緊密接合的泊松(Poisson-based)三維法將該不連續性的邊界平滑化。
穩定該視訊後，手震造成視訊畫格的模糊便突顯出來了，因此，本發明偵測到模糊的畫格並將鄰近清晰畫格的像素轉移至該模糊畫格，如此一來，本發明所提供之方法可產生一全幅穩定的視訊，不只高頻率的振動，低頻率未預期的振動也能被移除，該穩定後的視訊係平穩、令人舒適且能夠貼近使用者真正想捕捉的畫面(如果該使用者有攜帶三腳架)。
本發明提供一全新且實用的聚合線貼合攝錄相機路徑穩定全幅視訊之方法，其可產生一全幅穩定的視訊，不只高頻率的振動，低頻率未預期的振動也能被移除。
本發明利用聚合線估計一新的且穩定的攝錄像機移動路徑，並利用動作修補及周圍包覆的視訊畫格來分別填滿動態及靜態的遺失區域，該修補方法即使在視訊畫格邊界有移動物件時也能夠有效作用以維持與原母像相同的解析度及品質，此外，本發明利用泊松(Poisson-based)三維法將不連續的區域平滑化，完成上述之自動操作後即可到一全幅穩定的視訊。
為了使任何熟習相關技藝者，了解本創作之技術內容並據以實施，且能根據本說明書所揭露之內容、申請專利範圍及圖式，輕易地理解本創作相關之目的及優點。因此，將在實施方式中詳細敘述本創作之特徵及優點。本創作內容及若干具體實施例請參考附圖且詳述如下。事實上，本創作可能以不同的形式來實施，且不應該被推斷為僅限於文中所提及的實例。
圖一為本發明之系統架構及演算法，其中輸入訊號為一為使用三腳 架之手持式攝錄像機所捕捉到的連續視訊，該連續視訊有許多因手震造成之振動，本發明之系統的第一個處理過程稱為移動路徑估計，在該處理過程中，該原始視訊的攝錄像機移動路徑被估計且修改成一穩定的路徑，該處理過程含有三個步驟，步驟一為找出連續畫格之間的轉換(transformation)，並結合所有的轉換產生一原始視訊的球形攝錄相機移動路徑(global camcorder motion path)；步驟二為將該估計的球形攝錄相機移動路徑趨近至一聚合線(因為有利用三腳架的攝錄相機桌的攝錄相機移動路徑趨近於一聚合線)。
得到一穩定的攝錄相機移動路徑後，便進行視訊修補的過程。由於每個畫格的位置都依據新移動路徑中的畫格排列做改變，因此每個重新排列後的畫格會產生一些遺失區域。視訊修補的第一個步驟即為偵測係否有移動中物件的存在以及他們的位置；第二步驟為將該移動中物件從靜態的背景分離出，成為一動態前景區域，並利用各種不同方法修補該遺失區域。利用距離當前畫格較遠的畫格之像素來填補遺失區域可能造成填補區域邊界的不連續性，因為每一個視訊畫格的強度通常不一樣，為了製作一無接縫的連結，本發明採用泊松(Poisson-based)三維法將不連續的區域平滑化。
圖二的上排為三個原始視訊的畫格，其含有部份震動在畫格中；中排為穩定後的畫格，黑色區域為該畫格的遺失區域；下排為修補後的畫格，其為本發明之方法處理後之結果，之前的振動已被移除。 最後一個處理過程為視訊清晰化(deblurring)。由於每個畫格中因移動所造成的模糊不一定都和該穩定攝錄相機移動路徑吻合，因此模糊的畫格會在該穩定後的視訊中更顯突出，我們利用一視訊清晰化方法(video deblurring method)取代找出精確的擴散點函數(point spread function)使圖像清晰化，該視訊清晰化方法係將鄰近清晰化格之像素值(pixel value)轉移至模糊畫格。經過上述之自動化處理後，輸出視訊為一具有穩定攝錄相機移動路徑的穩定視訊，且該視訊會保留原始視訊之解析度及品質。圖二為三個輸出視訊之畫格及他們經過視訊修補及清晰化處理前後的結果。
本發明之聚合線貼合攝錄相機路徑穩定全幅視訊方法詳細敘述如下。
1.估計移動路徑
為了產生一穩定的視訊，本發明先估計一原始視訊之攝錄相機移動路徑，再利用一聚合線為基礎(polyline-based)之移動路徑穩定該原始之攝錄相機移動路徑，那些因手震而產生的震動便可被移除。
1.1估計球狀路徑(Global Path)
為估計一球狀攝錄相機移動路徑，本發明先利用尺度不變特徵轉換法(Scale Invariant Feature Transform；SIFT)找出每個畫格的特 徵點(feature point)，其不會改變畫格的尺度或旋轉畫格，若每個特徵描述(feature description)間的差異夠小，且利用一致性隨機取樣(Random Sample Consensus；RANSAC)選擇吻合特徵點(matched feature pair)的內圍層(inlier)，則每個連續畫格的特徵點係互相吻合的。為了提高精確性，本發明利用超限制系統(over-constrained system)找出吻合特徵點(matched feature pair)間的最小平方誤差解(least square solution)並取得倆個連續畫格間的仿射轉換(affine transformation)。該仿射轉換係利用含有六個參數的三乘三仿射模型表示，因此，如能找出畫格i與畫格i+1間的轉換矩陣Ti，該畫格i上之一致性的像素(corresponding pixel)與畫格i+1上之像素pi+1將具有下列關係：pi+1=Ti．pi。一旦獲得連續畫格間的轉換矩陣，所有轉換便可結合以產生一球狀轉換鏈(global transformation chain)。
1.2移動路徑的貼合
為得到一沒有高頻震動及低頻未預期震動的穩定之攝錄相機移動路徑，本發明利用一聚合線貼合該估計的球狀移動路徑。首先將步驟1.1中估計的攝錄相機移動路徑分離出成為一水平和垂直的移動路徑Mi=[x,y]並分別操作之，再利用卡爾曼濾波器(Kalman filter)估計一平滑的攝錄相機移動路徑Ki of Mi，其代表二維空間如： 以及 其中Φ係狀態轉變模型(state transition model)，其應用於轉變先前狀態趨近至下一狀態Ki+1；H係觀測模型(observation model)，其為真實狀態空間Mi標繪(map)出觀測空間Ki；v~N(0,R)係觀測雜訊，其假設為零均值高斯函數(zero mean Gaussian white noise)之共變異數R；w~N(0,R)為過程雜訊(process noise)，其假設為從均零值多變異常態分布(zero mean multivariate normal distribution)中取出之共變異數Q。該以卡爾曼濾波器平滑化之攝錄相機移動路徑顯示於圖三中的綠色曲線(B1線和B2線)。
利用卡爾曼濾波器處理後可得到一平滑之攝錄相機移動路徑(卡爾曼路徑；Kalman path)，隨後本發明利用一聚合線貼合該卡爾曼路徑，首先假設只有一條直線連結攝錄相機位置之第一畫格及卡爾曼路徑之最末畫格，再計算每個畫格之原始移動路徑及暫時移動路徑(該直線)之間的差異，並找出最大的差異，如果該最大差異比一閾值還大，則該直線係被該卡爾曼路徑上以及該直線上之端點 (endpoint)之畫格之攝錄相機位置連結破壞，因此，該暫時攝錄相機移動路徑(該直線)會成為一含有兩直線片段之聚合線。此步驟被重複執行直到該暫時攝錄相機移動路徑能夠保留視訊中所有的重要區域，最終的攝錄相機移動路徑顯示於圖三中的藍色聚合線(C1線與C2線)。
一旦該攝錄相機移動路徑貼合至一聚合線，該視訊畫格便依該聚合線貼合攝錄相機移動路徑排列，如果第一畫格至第i畫格之球狀轉換矩陣係以Mi表示，則第i畫格將依排列，其中Pi表示第j畫格與第j+1畫格間之Ti抑制仿射轉換之畫素，因此，經聚合線貼合及畫格排列後可獲得一穩定視訊。
2.視訊修補
沿著該穩定攝錄相機移動路徑排列視訊畫格後，會有若干遺失區域在新的穩定視訊中，此問題一般都以割除該遺失區域並縮放(scale)該穩定視訊至他的原始大小，但此方法可能造成低解析度，因此，為了使該穩定視訊之解析度能等同於原始視訊，該遺失區域應利用其他畫格修補。
為修補該視訊，本發明先偵測移動中物件並分離該視訊成一靜態的背景及若干的移動物中物件區域，隨後利用分別填補該動態區域及 靜態區域修補遺失區域，因為該攝錄相機移動路徑係貼合於一聚合線，該遺失區域可能很大且區要利用離當前畫格較遠之像素來修補，因此本發明提供一泊松(Poisson-based)三維平滑方法將不連續的區域平滑化。
2.1偵測移動中物件
為了偵測移動中物件，本發明利用仿射轉換(affine transformation)排列每一對鄰近的畫格，隨後利用一有效且低雜訊的光學流動方法評估他們的光學流動(optical flow)並取得每個像素的移動向量。像素Pi的移動向量可被記為Fi(Pi)，其代表畫格i(20)至畫格i+1(30)之間像素Pi的動態流動(motion flow)，且該移動向量的長度顯示其移動值。
該移動中物件區域的移動值被認為比靜態背景區域移動值相對的較大，因此，本發明利用一簡單遮罩(simple mask)及一簡單閾值(simple threshold)(顯示於圖四)顯示該區域有較大的移動值，該動態區域係藉由評估其遮罩之稀釋度而獲得，其可幫助確保該移動中物件的邊界包含於該動態區域。若遺失區域位於鄰近像素被認為係動態區域的區域，該區域會被認為係動態區域且會利用移動修補來修補該區域，此外，本發明還利用鑲嵌(mosaicing)修補該區域。
2.2動態區域修補
為修補動態遺失區域，本發明以利用正確移動向量填補取代利用其他畫格之色彩值直接填補。一旦取得遺失區域每一個像素的移動向量，即可從該移動向量之下一畫格取得像素色彩，已知圖像區域原本的移動向量可能被增至該動態遺失區域。
首先，利用計算穩定畫格間的光學流動估算原本的移動向量，該增殖(propagation)起始於動態遺失區域邊界的像素，其移動向量係被計算為其鄰近像素移動向量的加權平均，此過程會持續至該動態遺失區域完全充滿動態向量，如Pi係遺失區域中的一個像素，其會根據其移動向量填滿，該移動向量定義為： 其中w(pi,qi)表示像素qi移動向量的貢獻；Npi表示八個pi的鄰近像素；而Fi(pi)表示畫格i(20)至畫格i+1(30)中像素pi的移動向量。假設該鄰近像素qi N已經有移動向量，根據其移動向量可估算其再下一畫格的位置qi+1，利用像素pi和qi之間的幾何關係，像素pi+1位於畫格i+1的位置也可被決定(描述於圖五)，因為同一物件的像素就有 相似的色彩值且在同一個方向作移動，如果像素qi+1及像素pi+1間色彩值的差異小，則它們可能屬於同一物件，且像素qi移動向量的量為 其中ε為一避開被零及ClrD(p i+1,q i+1)除之微小值，為像素qi+1及像素pi+1間RGB色表中的12-norm色彩差異，此量確保不同物件的移動向量的貢獻很小，結果顯示於圖六。
2.3靜態區域修補
動態區域修補之後，本發明利用根據仿射轉換得到之當前畫格包覆之鄰近畫格來修補靜態區域，對於畫格i中靜態遺失區域的像素p，如有一致性的像素pi存在周圍畫格i’的話，本發明可利用pi=T’i(pi)直接複製該像素至該消失像素pi，其中T’i係表示畫格i’至畫格i的轉換，該靜態區域修補的結果顯示於圖七及圖八。
為了找出pi的一致性像素pi′，本發明從距離最近的畫格開始尋找起並延續之，舉例來說，若i為當前欲修補之畫格，便先搜尋畫格i+1(30)及i-1(10)，如果沒有找到遺失區域(50)，則在搜尋畫格i+2及i-2，以此類推，直到該靜態遺失區域所有的遺失像素被修補為止，最後，如果仍有部份遺失區域無法修補，便使用簡單的圖像修補(image inpainting)方法來修補之。
2.4泊松(Poisson-Based)平滑化
雖然穩定攝錄像機移動路徑所產生的遺失區域已被修補，由於該遺失區域可能很大且需要利用遠離當前畫格之畫格來填補仍可能有不連續邊界存在於修補後的像素及原始化格之間。此問題可被一些簡單的平滑化方法使邊界區域平滑化，然而那些簡單的方法只能解決空間上的不連續，當播放空間已被平滑化的影片時，仍有時間不聯去的問題存在，為了使空間合時間上都具有連續性，本發明提供一泊松三維平滑化方法，其常用於圖像編輯，本發明將其延伸至視訊編輯。
為解決不連續的問題，本發明在利用其他畫格填滿一畫格時，利用泊松方程式(Poisson equation)考慮在同一畫格及鄰近畫格中其週圍像素，取得一平滑像素，首先利用空間領域上的泊松方程式，其為：(所有的pΩ) 其中Ω代表該遺失區域(50)；p係該遺失區域Ω的一個像素；Np代表像素p的鄰近像素；| Np |為鄰近像素的數目；fp及fq為像素p及q 的正確像素值；vpq決定像素p及q的發散性(divergence)；Ω為已知圖像區域中遺失區域Ω的周圍；為Ω中像素q的已知色彩。
泊松方程式可維持遺失區域中的正確結構且達成修補區域及已知圖像區域間的無縫隙接合(seamless stitching)，為了達到時間上的相干性(coherence)，本發明在修復每個畫格的遺失區域後，再次利用泊松方程式校正遺失區域的像素質，對於遺失區域我們不僅考慮到空間上的鄰近像素，還考慮到時間上得鄰近像素，因此，該泊松方程式係相同的，除了Np包含該視訊中像素p的所有鄰近像素，其結果顯示於圖九。
3.視訊清晰化(VIDEO DEBLURRING)
穩定視訊之後，原本在原始視訊中看似平滑的模糊畫格會變的顯眼，為了達到視訊清晰化，本發明首先將移動中物件從靜態背景中分離出來，並分別利用視訊修補方法處理之，因為在靜態背景中的模糊區塊比在移動中物件的模糊區塊明顯，固在以下的實施例中，本發明主要闡述靜態背景的清晰化。
本發明之視訊清晰化方法主要係複製鄰近清晰畫格的像素至模糊的畫格，首先利用計算濃密度(gradient)評估每個畫格的相對模糊度(relative blurriness)，通常在相同區塊內，模糊圖像的濃密度小於清晰視訊的濃密度，基於以上假設，畫格i的模糊度定義如下： B i =Σ(g x (p i )2+g y (p i )2),其中pi係畫格i的像素；gx及gy分別係x軸和y軸的濃密度。比較濃密度後，可得到當前畫格以及其鄰近畫格的相對濃密度，若畫格i的濃密度Bi比其鄰近畫格i′的濃密度Bi小，則畫格i′會被認為比畫格i來的清晰，隨後便可利從畫格i′轉移一致性的像素至畫格i修復當前的模糊畫格i，其方程式為： 其中p及pi分別係經過清晰畫操作前後畫格i中的相同像素；Ni係當前畫格i的鄰近畫格；T’代表從鄰近畫格i’N轉換至畫格i；w′i係i′及i間的加權因數(weighting factor)，其定義為：
4.結果
所有本發明所使用的視訊皆係由為使用三腳架的手持攝影機所拍攝，而所有精本發明之方法處理後的穩定視訊之解析度皆與原始視 訊相同，其結果顯示於圖二、圖十一及圖十二。在圖二中，該名使用者欲利用手持攝錄像機拍攝一全景視野(panorama view)的視訊，而該視訊因為未使用三腳架而產生手震；在圖十一中，該名使用者欲利用手持攝錄像機拍攝一行走中的路人及小孩，而該視訊亦因為未使用三腳架而產生手震；在圖十二中，該名使用者欲利用手持攝錄像機拍攝一與狗玩耍的人，但由於視角的限制，該使用者搖攝(pan)該攝錄像機來捕捉全景，圖十二的下排顯示經本發明處理結果，且該穩定攝錄像機移動路徑就如同使用三腳架拍出的景象。
本發明提供一全幅式視訊穩定方法，其可產生一穩定視訊。由於本發明利用一聚合線貼合原始攝錄像機移動路徑，該穩定移動路徑比其他平滑化方法的穩定許多，因此，在本發明所產生的穩定視訊中，高頻振動及低頻未預期的振動都會被移除。雖然利用聚合線估計攝錄像機移動路徑可能造成較大的遺失區域，但其可利用泊松三維平滑化方法來解決，再者，為了從其他畫格填補當前畫格之遺失區域且處理模糊的畫格，本發明將移動中物件從靜態背景中分離出來，並分別利用修補及清晰化方法處理之。
雖然本發明已以較佳實施例揭露如上，然其並非用以限定本創作。任何熟習此技藝者，在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬發明作之專利保護範圍。關於發明作之保護範圍當視後附之申請專利範圍所界定者為準。
10‧‧‧畫格i-1
20‧‧‧畫格i
30‧‧‧畫格i+1
50‧‧‧遺失區域
圖一為本發明之系統架構。
圖二為(a)上排為原始視訊、(b)穩定後的視訊及(c)震動被移除之視訊。
圖三為原始攝錄像機移動路徑(紅色曲線；A1線和A2線)及經過利用卡爾曼濾鏡(綠色曲線；B1線和B2線)及聚合線(藍色直線；C1線和C2線)將水平(上者)及垂直(下者)的移動路徑修正貼合後的估計攝錄像機移動路徑。
圖四顯示根據穩定攝錄像機移動路徑改變位置後的畫格(左欄)及移動中物件的遮罩(白色區域)(右欄)。
圖五顯示利用像素p i 及q i 間幾何關係所估計出下一畫格的像素。
圖六顯示分別根據穩定攝錄像機移動路徑以及動態區域修補後移動位置的畫格。
圖七指出pi係當前畫格i中遺失區域的一個像素，且pi+1係其下一畫格i+1之一致性像素，且pi+1像素質係直接從pi複製以修補該遺失像素。
圖八顯示分別根據穩定攝錄像機移動路徑以及靜態區域修補後移動位置的畫格。
圖九顯示視訊穩定後之畫格(上排)，該利用泊松平滑化方法達到視訊穩定之結果(左下，)及該區域之在整體畫面所佔之位置(左欄)。
圖十顯示一模糊畫格(左上)，視訊清晰化之結果(左下)，及該區域之在整體畫面所佔之位置(左欄)。
圖十一顯示原始視訊的五個畫格(上排)、穩定後之畫格(中排)(黑色區域為遺失區域)，及經本發明處理過後之結果(下排)。
圖十二顯示原始視訊的五個畫格(上排)、穩定後之畫格(中排)(黑色區域為遺失區域)，及經本發明處理過後之結果(下排)。

Claims (15)

  1. 一種利用聚合線貼合攝錄相機路徑穩定全幅視訊之方法，其包含：(a)估計移動路徑，其包含步驟：(i)結合所有連續畫格間的轉換取得一原始視訊的移動路徑；(ii)利用一聚合線估測一球狀移動路徑；及(iii)依新的移動路徑改變每個畫格的排列位置；(b)視訊修補，其包含步驟：(i)偵測並定位現存的移動中物件；(ii)將移動中物件作為一動態前景，從靜態背景充分離出來，並修補其遺失區域；(iii)利用離當前畫格較遠的畫格的像素填補該遺失區域；及(iv)利用泊松三維平滑化方法將不連續區域平滑化；及(c)利用轉移鄰近清晰畫格的像素至當前模糊畫格中將畫格中的圖像清晰化。
  2. 如申請專利範圍第1項所述之方法，其中步驟(a)(i)包含使用SIFT(Scale Invariant Feature Transform)法抽出每一畫格每個畫格的特徵點(feature point)，其不會改變畫格的尺度或旋轉畫格。
  3. 如申請專利範圍第1項所述之方法，其中步驟(a)(i)包含用一致 性隨機取樣(Random Sample Consensus；RANSAC)選擇吻合特徵點(matched feature pair)的內圍層(inlier)，使每個連續畫格的特徵點互相吻合。
  4. 如申請專利範圍第1項所述之方法，其中步驟(a)(i)包含利用超限制系統(over-constrained system)找出吻合特徵點(matched feature pair)間的最小平方誤差解(least square solution)。
  5. 如申請專利範圍第1項所述之方法，其中步驟(a)(ii)包含將攝錄相機移動路徑分離出成為一水平及一垂直的移動路徑並分別操作。
  6. 如申請專利範圍第1項所述之方法，其中步驟(a)(ii)包含在二次空間內利用卡爾曼濾波器(Kalman filter)估計一平滑的攝錄相機移動路徑。
  7. 如申請專利範圍第1項所述之方法，其中步驟(a)(ii)包含利用一聚合線貼合該卡爾曼路徑。
  8. 如申請專利範圍第1項所述之方法，其中步驟(b)(i)包含利用仿射轉換(affine transformation)法。
  9. 如申請專利範圍第1項所述之方法，其中步驟(b)(i)包含利用一 有效且低雜訊的光學流動方法評估他們的光學流動(optical flow)並取得每個像素的移動向量。
  10. 如申請專利範圍第1項所述之方法，其中步驟(b)(ii)包含計算像素的移動向量長度以估計該像素之移動值。
  11. 如申請專利範圍第1項所述之方法，其中步驟(b)(iii)包含利用正確移動向量填補取代利用其他畫格之色彩值直接填補。
  12. 如申請專利範圍第1項所述之方法，其中步驟(b)(iii)包含直接利用根據仿射轉換得到之當前畫格包覆之鄰近畫格來修補靜態區域。
  13. 如申請專利範圍第1項所述之方法，其中步驟(b)(iii)包含利用簡單的圖像修補(image inpainting)方法來修補部份無法修補之遺失區域。
  14. 如申請專利範圍第1項所述之方法，其中步驟(b)(iv)包含回復遺失區域中的正確值後，再次利用泊松方程式(Poisson equation)達到時間上的相干性(coherence)。
  15. 如申請專利範圍第1項所述之方法，其中步驟(c)包含利用計算 濃密度(gradient)評估每個畫格的相對模糊度(relative blurriness)。
TW097105545A 2008-02-18 2008-02-18 穩定全幅式視訊之方法 TWI381719B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097105545A TWI381719B (zh) 2008-02-18 2008-02-18 穩定全幅式視訊之方法
US12/372,484 US8520085B2 (en) 2008-02-18 2009-02-17 Method of full frame video stabilization

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097105545A TWI381719B (zh) 2008-02-18 2008-02-18 穩定全幅式視訊之方法

Publications (2)

Publication Number Publication Date
TW200937946A TW200937946A (en) 2009-09-01
TWI381719B true TWI381719B (zh) 2013-01-01

Family

ID=40997903

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097105545A TWI381719B (zh) 2008-02-18 2008-02-18 穩定全幅式視訊之方法

Country Status (2)

Country Link
US (1) US8520085B2 (zh)
TW (1) TWI381719B (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7848541B2 (en) * 2007-03-05 2010-12-07 Science Applications International Corporation Differential phase correlation
US8254760B2 (en) * 2009-08-28 2012-08-28 Apple Inc. Pixel analysis and frame alignment for background frames
US8179446B2 (en) * 2010-01-18 2012-05-15 Texas Instruments Incorporated Video stabilization and reduction of rolling shutter distortion
US20110243532A1 (en) * 2010-03-31 2011-10-06 Motorola, Inc. System and method of video stabilization during movement
US9594960B2 (en) * 2010-09-14 2017-03-14 Microsoft Technology Licensing, Llc Visualizing video within existing still images
US8531535B2 (en) * 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
US8532421B2 (en) 2010-11-12 2013-09-10 Adobe Systems Incorporated Methods and apparatus for de-blurring images using lucky frames
US8879639B2 (en) 2011-01-31 2014-11-04 Hand Held Products, Inc. Adaptive video capture decode system
US8648919B2 (en) * 2011-06-06 2014-02-11 Apple Inc. Methods and systems for image stabilization
US8823813B2 (en) 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
TWI456984B (zh) 2011-10-24 2014-10-11 Univ Nat Central 視訊穩定系統及其方法
TWI469062B (zh) 2011-11-11 2015-01-11 Ind Tech Res Inst 影像穩定方法及影像穩定裝置
US8810666B2 (en) * 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
US9299026B2 (en) * 2012-03-06 2016-03-29 Lightbox Technologies, Inc. Multipattern regular expression search systems and methods therefor
JP2013187726A (ja) * 2012-03-08 2013-09-19 Casio Comput Co Ltd 画像解析装置、画像処理装置、画像解析方法及びプログラム
EP2680568B1 (en) * 2012-06-25 2016-05-25 ST-Ericsson SA Video stabilisation with deblurring
US9232139B2 (en) 2012-07-24 2016-01-05 Apple Inc. Image stabilization using striped output transformation unit
US9025880B2 (en) * 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
CN102867298A (zh) * 2012-09-11 2013-01-09 浙江大学 一种基于人眼视觉特性的遥感图像拼接方法
KR20150084939A (ko) * 2012-11-12 2015-07-22 비헤이버럴 레코그니션 시스템즈, 인코포레이티드 비디오 감시 시스템들에 대한 이미지 안정화 기술들
EP2954490A1 (en) * 2013-02-05 2015-12-16 Thomson Licensing Method for generating a motion field for a video sequence
US9374532B2 (en) * 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
CN109640138B (zh) * 2013-07-23 2021-08-24 微软技术许可有限责任公司 用于视频稳定的自适应路径平滑
US9953400B2 (en) 2013-07-23 2018-04-24 Microsoft Technology Licensing, Llc Adaptive path smoothing for video stabilization
CN103413327B (zh) * 2013-08-23 2016-05-18 北京理工大学 一种基于多平面的视频稳定方法
US9224194B2 (en) * 2014-01-21 2015-12-29 Adobe Systems Incorporated Joint video deblurring and stabilization
CN104995908B (zh) * 2014-02-07 2018-01-30 株式会社摩如富 图像处理装置以及图像处理方法
US9854168B2 (en) * 2014-03-07 2017-12-26 Futurewei Technologies, Inc. One-pass video stabilization
US10217187B2 (en) 2015-06-05 2019-02-26 Qatar Foundation For Education, Science And Immunity Development Method for dynamic video magnification
JP6814736B2 (ja) * 2015-09-02 2021-01-20 日本電産サーボ株式会社 ファン装置
KR102372711B1 (ko) * 2015-10-13 2022-03-17 삼성전자주식회사 영상 촬영 장치 및 이의 제어 방법
US10242288B2 (en) 2016-11-08 2019-03-26 Sony Corporation Method and system for video processing
JP6545229B2 (ja) * 2017-08-23 2019-07-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
US10404916B2 (en) * 2017-08-30 2019-09-03 Qualcomm Incorporated Multi-source video stabilization
KR102521656B1 (ko) 2018-01-03 2023-04-13 삼성전자주식회사 객체를 인식하는 방법 및 장치
CN111275626B (zh) * 2018-12-05 2023-06-23 深圳市炜博科技有限公司 一种基于模糊度的视频去模糊方法、装置及设备
CN109788200B (zh) * 2019-01-31 2021-04-06 长安大学 一种基于预测分析的摄像稳定控制方法
CN110796010B (zh) * 2019-09-29 2023-06-06 湖北工业大学 一种结合光流法和卡尔曼滤波的视频稳像方法
CN113079334A (zh) * 2020-01-06 2021-07-06 宏碁股份有限公司 电脑系统及其影像补偿方法
CN113436113B (zh) 2021-07-22 2023-04-18 黑芝麻智能科技有限公司 防抖动的图像处理方法、装置、电子设备和存储介质
CN116614706A (zh) * 2023-05-19 2023-08-18 北京源音文创科技股份有限公司 一种旋转拍摄中画面实时自适应保持水平的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030090593A1 (en) * 2001-10-31 2003-05-15 Wei Xiong Video stabilizer
TWI253002B (en) * 2004-06-15 2006-04-11 Ulead Systems Inc Video stabilization method, and computer readable medium thereof
US20070071362A1 (en) * 2004-12-16 2007-03-29 Peyman Milanfar Dynamic reconstruction of high-resolution video from color-filtered low-resolution video-to-video super-resolution
TWI282946B (en) * 2005-01-18 2007-06-21 Primax Electronics Ltd Method to stabilize digital video motion

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001250802A1 (en) * 2000-03-07 2001-09-17 Sarnoff Corporation Camera pose estimation
US20020008758A1 (en) * 2000-03-10 2002-01-24 Broemmelsiek Raymond M. Method and apparatus for video surveillance with defined zones
JP4307910B2 (ja) * 2003-03-07 2009-08-05 富士フイルム株式会社 動画像切り出し装置および方法並びにプログラム
US7742077B2 (en) * 2004-02-19 2010-06-22 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
US7755667B2 (en) * 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US8160880B2 (en) * 2007-04-30 2012-04-17 K-Nfb Reading Technology, Inc. Generalized object recognition for portable reading machine
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030090593A1 (en) * 2001-10-31 2003-05-15 Wei Xiong Video stabilizer
TWI253002B (en) * 2004-06-15 2006-04-11 Ulead Systems Inc Video stabilization method, and computer readable medium thereof
US20070071362A1 (en) * 2004-12-16 2007-03-29 Peyman Milanfar Dynamic reconstruction of high-resolution video from color-filtered low-resolution video-to-video super-resolution
TWI282946B (en) * 2005-01-18 2007-06-21 Primax Electronics Ltd Method to stabilize digital video motion

Also Published As

Publication number Publication date
TW200937946A (en) 2009-09-01
US8520085B2 (en) 2013-08-27
US20090213234A1 (en) 2009-08-27

Similar Documents

Publication Publication Date Title
TWI381719B (zh) 穩定全幅式視訊之方法
Jiang et al. Video stitching with spatial-temporal content-preserving warping
Liu et al. Bundled camera paths for video stabilization
US7839422B2 (en) Gradient-domain compositing
Uyttendaele et al. Eliminating ghosting and exposure artifacts in image mosaics
CN104365092B (zh) 用于图像融合的方法和设备
US7119837B2 (en) Video processing system and method for automatic enhancement of digital video
Matsushita et al. Full-frame video stabilization
US7548659B2 (en) Video enhancement
TWI602152B (zh) 影像擷取裝置及其影像處理方法
US20140092221A1 (en) Image processing apparatus and method, and related computer program
Chen et al. Capturing Intention‐based Full‐Frame Video Stabilization
Lai et al. Video stitching for linear camera arrays
JP2011118908A (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
Xu et al. Panoramic video stitching from commodity HDTV cameras
JP2012142829A (ja) 画像処理装置および画像処理方法
CN109194888B (zh) 一种针对低质量深度图的dibr自由视点合成方法
WO2011021235A1 (ja) 画像処理方法および画像処理装置
CN105282400B (zh) 一种基于几何插值的高效视频稳定方法
Chen et al. Full-frame video stabilization via SIFT feature matching
CN109600667B (zh) 一种基于网格与帧分组的视频重定向的方法
Xu Panoramic video stitching
TW201322185A (zh) 階層式立體匹配裝置及方法
Li et al. Modified non-local means for super-resolution of hybrid videos
CN114095659B (zh) 一种视频防抖方法、装置、设备及存储介质