TWI528811B - 用於視訊穩定之方法、非暫時性電腦可讀媒體和裝置 - Google Patents

Description

用於視訊穩定之方法、非暫時性電腦可讀媒體和裝置

本申請案之標的物係有關視訊穩定，且特定言之，係有關偵測攝影機運動係有意的抑或無意的，且基於此等偵測而設定視訊穩定參數。

現今，許多攜帶型電子器件配備有能夠俘獲視訊之數位攝影機。來自此等攜帶型電子器件的經俘獲之視訊可能由於攝影機之無意運動而含有搖動。攝影機之無意運動常常由於手搖動所引入之運動而出現。為校正該搖動，可藉由視訊穩定程序來調整視訊中之圖框的序列。視訊穩定程序可藉由不同的影像處理技術來補償不當的攝影機運動。

舉例而言，可藉由俘獲相比正在進行顯示或記錄之影像大的影像，藉此圍繞經記錄或經顯示之影像的邊緣形成像素之空間緩衝區，來達成視訊穩定。可在每圖框之基礎上定義及定位一裁剪區域(crop region)，以補償所偵測之運動。緩衝區中的像素可用以提供移位裁剪區域所需的附加像素。可將另外的幾何變換應用於裁剪區域內的影像，以補償透視之效果。

攜帶型電子器件之運動可藉由分析圖框之內容來進行偵測，或可自由安置位於該攜帶型電子器件內的諸如陀螺儀之一運動感測器提供的運動資料獲得。然而，並非攜帶型電子器件之所有所偵測之運動 均為無意的。可偵測到由於水平移動攝影機或帶著攝影機走動之有意的攝影機運動。若上文論述之穩定方法應用於校正有意的攝影機運動，則可能對俘獲之影像序列執行不當的影像處理。另外，因為歸因於水平移動或走動之有意的攝影機運動可能超過穩定方法可校正的影像運動之程度，所以當運動程度超過穩定程序之能力時，可產生影像圖框之不當的週期性移位。

因此，發明者已識別到此項技術中對於考量攜帶型器件之運動係有意抑或無意的視訊穩定之需求。詳言之，本發明者已識別到此項技術中對於基於攜帶型器件之運動係有意抑或無意及將有意移動分類為諸如水平移動或平穩固持之各種類別而調整視訊穩定程度的視訊穩定之需求。

100‧‧‧具備攝影機功能之器件/器件

110‧‧‧攝影機

120‧‧‧運動感測器

130‧‧‧視訊穩定單元/視訊穩定器

140‧‧‧控制器

150‧‧‧視訊編碼器

160‧‧‧儲存器

170‧‧‧顯示器

180‧‧‧通信埠

190‧‧‧傳輸器

200‧‧‧資料流程圖

300‧‧‧資料流程圖

302‧‧‧運動資料

330‧‧‧減法器

350‧‧‧減法器

360‧‧‧比較器

370‧‧‧比較器

400‧‧‧用於判定視訊穩定強度之方法

500‧‧‧用於當在固定式與非固定式模式之間變換時設定視訊穩定強度之方法

600‧‧‧電子器件

605‧‧‧處理器

610‧‧‧顯示器

615‧‧‧器件感測器

620‧‧‧麥克風

625‧‧‧音訊編解碼器

630‧‧‧揚聲器

635‧‧‧通信電路

640‧‧‧具有相關聯攝影機及視訊硬體之影像感測器/攝影機電路

645‧‧‧使用者介面

650‧‧‧記憶體

655‧‧‧儲存器/儲存器件

660‧‧‧視訊編解碼器

665‧‧‧通信匯流排

為了可理解本發明之特徵，在下文描述許多圖式。然而，應注意，附圖僅說明本發明之特定實施例，且因此不應視為限制本發明之範疇，此係因為本發明可涵蓋其他同等有效實施例。

圖1為根據本發明之一實施例的具備攝影機功能之器件之簡化方塊圖。

圖2為根據本發明之一實施例的說明基於圖框之運動分析而導出強度參數之資料流程圖。

圖3為根據本發明之一實施例的說明強度參數之導出之資料流程圖。

圖4說明一實施例中的用於判定視訊穩定強度之方法。

圖5說明用於在固定式與非固定式模式之間變換時設定視訊穩定強度之方法。

圖6為根據一實施例的併有數位視訊俘獲能力之一代表性電子器件之簡化功能方塊圖。

本發明之實施例提供用於基於自運動感測器接收之資料而使視訊序列之圖框穩定的技術。來自運動感測器之資料可用以判定攝影機之運動係有意的抑或非有意的，且可基於此判定而設定視訊穩定之參數。舉例而言，控制器可計算攝影機的針對視訊序列之當前圖框的瞬時運動及攝影機的對應於視訊序列之複數個圖框之運動的累積運動。控制器可比較瞬時運動與第一臨限值，比較累積運動與第二臨限值，且基於比較結果而設定針對當前圖框之一視訊穩定強度參數。視訊穩定單元可根據圖框之強度參數對當前圖框執行視訊穩定。

圖1為根據本發明之一實施例的具備攝影機功能之器件100的簡化方塊圖。器件100可包括攝影機110、運動感測器120、視訊穩定單元130及控制器140。攝影機110可俘獲視覺資訊，且自其產生視訊資料。運動感測器120可偵測器件100之運動(且，藉由攝影機110之擴展)，且向控制器140輸出運動資料。視訊穩定單元130可對輸入視訊序列執行穩定技術，以試圖改良視訊序列之察覺品質。

舉例而言，穩定技術可試圖消除視訊序列中由於無意攝影機運動(例如，藉由搖動之手引入之運動)而出現的視覺假影。視訊穩定單元130可根據控制器140所提供的多種操作參數(未圖示)而操作。舉例而言，控制器140可基於其對運動感測器120所供應之運動資料的解譯而得出強度參數。控制器140可基於攝影機之運動被判定為有意的抑或無意的，且基於有意運動之分類而得出該強度參數。舉例而言，可在偵測到諸如水平移動之有意運動時提供較低強度參數，使得視訊穩定單元130不補償此有意運動。相比之下，可在檢測到平穩固持之意圖時提供較高強度參數，使得視訊穩定單元130更有力地校正無意運動。可針對視訊之每一圖框提供強度參數。視情況，控制器140可基於自輸入視訊序列中之影像資料導出的運動而判定視訊穩定器130之 操作強度。控制器140可為視訊穩定單元130之一部分。控制器140可估計攝影機110在三維中之運動(繞x軸旋轉/繞z軸旋轉/繞y軸旋轉(pitch/roll/yaw)、四元數單元、或x,y,z座標)。

運動感測器120可在每一圖框期間向控制器140輸出表示攝影機之運動的資料。通常，運動攝影機120將在每一圖框期間輸出資料之多個樣本。在一實施例中，運動感測器取樣速率可為200Hz。因此，若攝影機以每秒30個圖框輸出視訊資料，則運動感測器可針對視訊之每一圖框產生運動資料之介於6個與7個之間的樣本。在再一實施例中，運動取樣速率可介於50Hz與200Hz之間。在一實施例中，運動感測器120可為加速度計、數位羅盤、微機電系統(「MEMS」)運動感測器器件或陀螺儀。運動感測器120可安裝於攝影機110之一共同外殼內，或如攝影機110安裝於器件100內之一共同板(未圖示)上，使得運動感測器120之運動亦反映攝影機110的運動。

攝影機110可向視訊穩定單元130輸出視訊之圖框，以對輸入視訊序列執行穩定技術。在操作期間，攝影機110可輸出預定義大小之視訊圖框。視訊穩定單元130可選擇性地裁剪來自圖框之影像資料，以便補償於影像內容內偵測之運動。由攝影機110俘獲之視訊及來自運動感測器120之運動資料可相關。攝影機110與運動感測器120可非同步地操作。共同時脈可用以對視訊資料及運動資料兩者加時戳，以藉由將非同步俘獲之影像及運動資料置於共同的時刻表中來促進其同步。

在圖1中，將器件100說明為智慧型手機，但本發明之原理並不受如此限制。本發明之實施例可應用於多種類型之器件中，包括(例如)攜帶型電腦、平板型電腦、網路攝影機、數位攝影機及/或攝錄影機。因此，攝影機110可包括前置攝影機、後置攝影機或兩者。

習知上，圖1中所示之組件中的每一者之間存在儲存緩衝區。舉 例而言，視訊穩定單元130可自緩衝區讀取視訊資料，且接著將穩定化之視訊資料寫入至另一緩衝區。儲存緩衝區亦可存在於編碼引擎(未圖示)之組件之間。為了易於論述，此等緩衝區未於圖1中說明。

另外，本發明之原理可適用於多種使用狀況中。在一使用狀況中，器件100所俘獲之視訊可儲存於器件中，以供稍後播放。因此，圖1說明器件100可包括：視訊編碼器150，其壓縮視訊穩定器130所輸出之視訊序列；及儲存器160，其儲存該經壓縮之視訊。在一實施例中，視訊穩定器130所輸出的未經壓縮之視訊序列可直接儲存於儲存器160中。圖1亦說明顯示器170，若有必要，則可繼使用者選擇及解壓縮之後將視訊序列呈現於該顯示器170上(操作未圖示)。

在說明於圖1中之另一使用狀況中，可將視訊序列上傳至一主機電腦。在此狀況中，器件100亦可使用視訊編碼器150及儲存器160，以儲存經壓縮之視訊，直至該經壓縮之視訊經由通信埠180被上傳至該主機電腦。

在亦說明於圖1中之再一使用狀況中，可將視訊序列作為器件之間的即時通信之一部分與另一器件交換(不包括視訊會議)。在此狀況中，器件100可使用視訊編碼器150壓縮視訊序列，且使用傳輸器190藉由有線或無線通信連接將經壓縮之視訊傳輸至其他器件。儘管經壓縮之視訊通常在傳輸之前進行緩衝，但圖1說明傳輸器190直接自視訊編碼器150接收經壓縮之視訊傳輸器，以表示視訊序列不需由器件100持續儲存。

視訊穩定器130可基於自控制器140導出之操作參數而對視訊序列執行視訊穩定。本發明之實施例可基於控制器140所判定之強度參數而調整視訊穩定器130之操作參數(通俗言之，其「強度」)。強度參數之值可基於對於運動感測器120所供應之運動資料的分析。強度參數之值可對應於待由視訊穩定器130執行之視訊穩定的程度。

在一實施例中，控制器140可基於攝影機之運動係有意的抑或無意的而判定強度參數。當攝影機之運動被判定為有意時(例如，歸因於搖動或走動之運動)，控制器140可提供將視訊穩定最小化之強度參數。然而，當攝影機之運動被判定為無意時(例如，歸因於搖動手之運動)，控制器140可提供將視訊穩定最大化之強度參數。控制器140可提供隨有意及/或無意運動之程度按比例變化的強度參數。

圖2為根據本發明之一實施例的說明基於圖框之運動分析而導出強度參數之資料流程圖200。強度參數之導出可由控制器140執行。可藉由比較瞬時及累積攝影機運動與一對臨限值來導出強度參數。可藉由經由一或多個低通濾波器而饋入運動資料以消除高頻分量來計算瞬時及累積攝影機運動。第一低通濾波器可用以估計瞬時攝影機運動，且第二低通濾波器可用以估計累積攝影機運動。該等低通濾波器可為無限脈衝回應(IIR)低通濾波器。在一實施例中，該等濾波器可由以下方程式表示：y[n]=a*y[n-1]+(1-a)*x[n], (1)其中y[n]表示針對當前圖框之攝影機運動，y[n-1]表示針對先前圖框之攝影機運動，x[n]表示針對當前圖框之運動分析，且a為介於0與1之間的按比例調整變數，其用於控制分量y[n-1]與x[n]對攝影機運動估計的貢獻。按比例調整變數a可設定為低值(例如，0.05)以判定瞬時攝影機運動，且可設定為高值(例如，0.8)以判定累積攝影機運動。

如圖2中所示，可對針對當前圖框接收之運動資料執行運動分析(框210)。針對當前圖框之運動分析的結果x[n]可用以獲得瞬時攝影機運動y[n]及累積攝影機運動y'[n]。瞬時攝影機運動y[n]係藉由對表示當前圖框之運動的第一值與表示先前瞬時運動的第二值(步驟220)求和來獲得。當前圖框之比重可藉由將當前圖框之運動分析x[n]乘以(1 -a1)來獲得，其中a1表示按比例調整變數。先前瞬時運動之比重可藉由將先前圖框之攝影機位置y[n-1]乘以按比例調整變數a1來獲得。為估計瞬時攝影機運動，將按比例調整變數SCALAR1(亦即，a1)設定為低值(例如，0.05)。先前圖框之攝影機位置y[n-1]可藉由延遲當前圖框之攝影機位置y[n]來獲得(框220)。y[n-1]之初始值可設定為零或一預定值。

可比較瞬時攝影機運動y[n]與臨限值THRESH1(框240)。若瞬時攝影機運動y[n]大於或等於臨限值THRESH1，則攝影機可判定為非固定式。

累積攝影機運動y'[n]可藉由將表示當前圖框之運動的第一值與表示先前累積運動的第二值求和(步驟250)來獲得。當前圖框之比重可藉由將當前圖框之運動分析x[n]乘以(1-a2)來獲得，其中a2表示按比例調整變數。先前累積運動之比重可藉由將先前圖框之攝影機位置y'[n-1]乘以按比例調整變數a2來獲得。為估計累積攝影機運動，將按比例調整變數SCALAR2(亦即，a2)設定為高值(例如，0.8)。先前圖框之攝影機位置y'[n-1]可藉由延遲(框260)當前圖框之攝影機位置y'[n]來獲得。可將y'[n-1]之初始值設定為零或一預定值。

可比較累積攝影機運動y'[n]與臨限值THRESH2(框270)。若累積攝影機運動y[n]高於或等於臨限值THRESH2，則攝影機可判定為非固定式。若瞬時及累積攝影機運動兩者低於各別臨限值，則可將攝影機判定為固定式。可基於比較瞬時攝影機運動及累積攝影機運動與一對臨限值(框240及框270)的結果而設定(框250)強度參數。所導出的強度參數可用作至視訊穩定器130(圖1中所示)之一輸入。視訊穩定之目的在於，最小化視訊資料中(例如，由於處置攝影機之個人的搖動之手)所俘獲之無意的搖動、急動(jerk)或高頻運動的量。高強度參數可作為無意搖動之結果而導出，且低強度參數可作為有意移動之結果而導 出。

圖3為根據本發明之一實施例的說明強度參數之導出的資料流程圖300。可藉由使用瞬時及累積攝影機位置來導出強度參數。詳言之，可藉由比較一對臨限值與自第一圖框至當前圖框的估計之有意攝影機移動及自先前圖框至當前圖框的估計之有意攝影機移動來導出強度參數。

如圖3中所示，可對自運動感測器(未圖示)接收之運動資料302執行運動分析。運動分析(框310)可自運動資料302判定針對圖框i的攝影機之移動(例如，旋轉)。控制器可判定預定數目個圖框或預定時間週期上的累積運動(框320)。亦可針對自視訊序列之第一圖框至當前圖框的移動判定累積運動。累積運動可為許多圖框上或預定時間內的平均攝影機運動。控制器可計算(減法器330)圖框i處的攝影機運動與累積攝影機運動之間的運動差ΔROT1。運動差ΔROT1之值可表示自第一圖框至當前圖框之有意的攝影機移動。

運動分析(框340)可基於運動資料302判定針對圖框i-1(亦即，先前圖框)r攝影機之運動(例如，旋轉)。當前圖框之運動(框310)可經儲存或延遲，且可在下一圖框處用作先前圖框之運動(框340)。控制器可計算(減法器350)圖框i-1處的攝影機運動(或平滑攝影機運動)與圖框i處的攝影機運動之間的運動差ΔROT2。運動差ΔROT2之值可表示自先前圖框至當前圖框之有意的攝影機移動。

可使用比較器360及370來比較運動差ΔROT1及ΔROT2分別與一對臨限值TH1及TH2。比較器360可比較運動差ΔROT1(例如，自第一圖框至當前圖框之有意攝影機移動)與臨限值TH1。比較器370可比較運動差ΔROT2(例如，自先前圖框至當前圖框之有意攝影機移動)與臨限值TH2。若運動差ΔROT1及ΔROT2小於各別臨限值TH1及TH2，則可將攝影機判定為固定式的(例如，攝影機運動係歸因於無意攝影機 移動)。若運動差ΔROT1及ΔROT2中之至少一者大於各別臨限值TH1或TH2，則可將攝影機判定為非固定式的(例如，攝影機運動係歸因於意欲之攝影機移動)。

因此，儘管先前圖框與當前圖框之間的運動差ΔROT2可為最小，但若第一圖框與當前圖框之間的歸因於累積攝影機運動的運動差ΔROT1超過臨限值TH1，則可將攝影機判定為非固定式的(亦即，意欲之攝影機移動)。此情境可包括拿著攝影機之使用者藉由在一軸上旋轉攝影機來緩慢水平移動攝影機的情況。緩慢移動可導致先前圖框與當前圖框之間的運動差ΔROT2很低，而第一圖框與當前圖框之間的運動很大。可基於攝影機設定之類型(例如，圖框率或穩定設定)、攝影機之類型或正使用攝影機之一應用類型而設定臨限值TH1與TH2。

控制器可基於攝影機被判定為固定式的抑或非固定式的而設定強度參數(框380)。在一實施例中，若攝影機之運動被判定為固定式的(亦即，無意攝影機移動)，則控制器可將強度參數設定為最大設定，且若攝影機之運動被判定為非固定式的(亦即，意欲之攝影機移動)，則控制器可將強度參數設定為最小設定。來自比較器360及370之結果可用以(框380)基於比較運動差ΔROT1及ΔROT2與臨限值TH1及TH2的結果而將強度參數設定為中間設定。來自比較器360及370之結果亦可基於所偵測之運動的程度而調整強度參數(框380)。控制器可針對每一輸入圖框重新計算強度設定，且可將強度設定輸出至視訊穩定器，以用於在處理輸入圖框過程中使用。或者，可在預定量之時間之後或在接收預定數目個圖框後重新計算強度設定。

所導出的強度參數可用作至視訊穩定器130(圖1中所示)之輸入。視訊穩定之目的在於最小化視訊資料中(例如，由於處置攝影機之個人的搖動之手)所俘獲之無意的搖動、急動或高頻運動的量。高強度參數可作為無意搖動之結果而導出，且低強度參數可作為有意移動之 結果而導出。

輸入圖框之運動資料302可包括運動速率資訊：攝影機在(例如)3個軸(x、y及z)中之每一者中移動的速率。速率資訊可經整合以產生瞬時位置及旋轉資訊(亦在3個軸中之每一者中)。旋轉資訊可為四元數資料。

可藉由經由一或多個低通濾波器而饋入先前圖框之運動資料以消除高頻分量來計算累積運動(框320)及先前圖框i-1(框340)之運動分析。第一低通濾波器可用以估計瞬時攝影機位置，且第二低通濾波器可用以估計累積攝影機位置。該等低通濾波器可為無限脈衝回應(IIR)低通濾波器。在一實施例中，該等濾波器可由上文參看圖1所描述的方程式(1)表示。在方程式(1)中，按比例調整變數a可設定為低值(例如，0.05)以判定瞬時攝影機位置，且可設定為高值(例如，0.8)以判定累積攝影機位置。

在再一實施例中，控制器可藉由分析自第一圖框至當前圖框之最小及最大攝影機運動(亦即，累積攝影機運動)，來導出強度參數。當累積攝影機運動之最小值與最大值之間的差小於預定值時，則意圖可被判定為保持攝影機固定。然而，當累積攝影機運動之最小值與最大值之間的差高於預定值時，意圖可被判定為保持攝影機非固定。強度參數可設定為高值或低值，此取決於攝影機被判定為保持固定抑或非固定式。強度參數亦可為累積攝影機運動之最小值與最大值之間的差之函數。

圖4說明一實施例中的用於判定視訊穩定強度之方法400。對於視訊串流之一給定圖框，分析來自運動感測器之運動資料(框410)。可針對視訊串流之每一序列圖框執行方法400。分析(框410)可包括判定當前圖框之瞬時運動、先前圖框之瞬時運動及先前圖框之累積運動(例如，自第一圖框至當前圖框的運動)。

可比較該分析所提供之資料，以判定攝影機運動係無意的抑或有意的。可比較當前圖框運動與累積運動，以判定運動差ΔROT1(框420)。運動差ΔROT1可為先前圖框之累積運動與當前處理之圖框的瞬時運動之間的差。運動差ΔROT1可指示自第一圖框至當前圖框之意欲的攝影機移動或無意的攝影機移動。無意的攝影機移動與有意的攝影機移動之間的辨別因數可為運動差ΔROT1之量值(例如，旋轉角Δ)。

在一實施例中，可比較運動差ΔROT1與第一臨限值(框430)。若運動差ΔROT1低於第一臨限值(框430)，則可進行比較當前圖框運動與先前圖框運動(框440)。若運動差ΔROT1高於第一臨限值(框430)，則可導出低視訊穩定強度(框470)。

亦可比較當前圖框運動與先前圖框運動，以判定運動差ΔROT2(框440)。運動差ΔROT2可指示先前圖框與當前圖框之間的意欲之攝影機移動或無意的攝影機移動。無意的攝影機移動與有意的攝影機移動之間的辨別因數可為運動差ΔROT2之量值(例如，旋轉角Δ)。

在一實施例中，可比較運動差ΔROT2與第二臨限值(框450)。若運動差ΔROT2低於第二臨限值(框450)，則可設定高視訊穩定強度(框460)。然而，若運動差ΔROT2高於第二臨限值(框450)，則可設定低視訊穩定強度(框470)。

可動態地計算先前圖框之瞬時運動。可儲存當前圖框之瞬時運動，使得其可在下一圖框期間用作先前圖框之瞬時運動。可動態地計算先前圖框之累積運動，其中每一當前處理之圖框的運動資料用以在每一反覆期間更新該累積運動。該累積運動可為攝影機之平均旋轉。累積運動可表示記錄當前視訊圖框之時間點之前的攝影機的估計之意欲位置。可藉由經由一低通濾波器而饋入圖框之運動以消除高頻分量來計算圖框之瞬時運動及累積運動。該低通濾波器可為一無限脈衝回 應(IIR)低通濾波器。

當前圖框之運動與累積運動的比較(框420)與當前圖框之運動與先前圖框運動的比較(框440)可互換。設定低視訊穩定強度(框470)及設定高視訊穩定強度(框460)可包括基於瞬時運動或當前圖框與先前圖框之間的運動差或累積運動的程度而設定穩定強度。在一實施例中，視訊穩定強度可為ΔROT1與ΔROT2之間的運動差之線性函數。該運動差可為旋轉角Δ。在另一實施例中，該函數可為一非線性函數，例如，旋轉角Δ之指數函數。在再一實施例中，該函數可經由查找表而實施。

圖5說明用於當在固定式與非固定式模式之間變換時設定視訊穩定強度之方法500。在固定式模式期間，視訊穩定強度可設定得較高，以說明無意攝影機運動(例如，歸因於搖動之手的運動)。相比之下，在非固定式模式期間，視訊穩定強度可設定得較低，以說明意欲之攝影機運動(例如，攝影機之水平移動)。

當偵測到在攝影機之固定式模式與非固定式模式之間的改變(框510)時，可調整視訊穩定之強度。若偵測到改變(框510)，則判定將攝影機固持在固定式模式中抑或在非固定式模式中(框520)。若攝影機處於固定式模式中，則可判定當前設定之穩定強度是否低於預設之最大穩定強度(框530)。若當前設定之穩定強度低於最大穩定強度，則可增大穩定強度(框540)。可將穩定強度增大(框540)一預定值或對應於所偵測之運動的程度之一值。可將穩定強度增大至不超過最大穩定強度之一值。若穩定強度不低於最大強度(框530)，則可在當前設定維持穩定。在改變穩定強度(框540)之後，可執行監視以判定固定式與非固定式模式之間的變換。

若攝影機處於非固定式模式中，則可判定當前設定之穩定強度是否大於預設的最小穩定強度(框550)。若當前設定之穩定強度大於 最小穩定強度，則可減小穩定強度(框560)。可將穩定強度減小(框560)一預定值或對應於所偵測之運動的程度的一值。可將穩定強度減小至不會減小為低於最小穩定強度的一值。若穩定強度並未高於最小穩定強度(框550)，則可將穩定維持在當前設定。在改變穩定強度(框560)之後，可執行監視以判定固定式與非固定式模式之間的變換。

增大或減小穩定強度可包括在預定時間週期上或在預定數目個圖框上逐漸增大或減小穩定強度。逐漸增大或減小穩定強度可提供視訊穩定之不同強度之間的平滑變換。

在一實施例中，自非固定式模式變換至固定式模式可包括在增大穩定強度之前提供預定延遲。該預定延遲可介於一秒或兩秒之間，但不限於此。該延遲可允許使用者在增大穩定視訊之程度以說明不當的運動(例如，歸因於搖動之手的運動)之前使攝影機或場景穩定。可在預定延遲期間執行穩定強度之逐漸增大。

在再一實施例中，自固定式模式變換至非固定式模式可包括在減小穩定強度之前提供預定延遲。該預定延遲可介於四分之一秒與半秒之間，但不限於此。相比自固定式模式變換至非固定式模式時所提供的延遲，可能需要更短延遲，此係因為視訊穩定單元可能無法校正歸因於有意運動(例如，攝影機之水平移動)的大運動。可在預定延遲期間執行穩定強度之逐漸減小。

在再一實施例中，自固定式模式變換至非固定式模式可包括在減小穩定強度之前計算影像之兩個維度的平移向量。可自攝影機運動計算平移向量。比較每一圖框在x方向上的平移量值與預定義臨限值。若平移量值大於臨限值，則圖框判定為移動的，且記錄移動方向(左或右)。在預定數目個圖框的視窗內，若所有圖框判定為移動的且移動方向相同，則攝影機被判定為在x方向上水平移動，且計算x方向上的累積之水平移動速度。類似地，在預定數目個圖框的視窗內分析 每一圖框在y方向上的平移，以判定攝影機是否在y方向上水平移動(向上或向下)。若是，則計算y方向上的累積之水平移動速度。若攝影機被判定為在x方向或y方向上水平移動，則基於經累積之水平移動速度判定穩定強度減小。若攝影機被判定為在x方向及y方向兩者上水平移動，則將經累積之水平移動速度的最大值用於上述判定中。

在一實施例中，視訊穩定單元130(圖1中所示)可在一方向上提供相比在垂直方向上所提供之穩定程度不同的穩定程度。舉例而言，視訊穩定單元130可在影像之x方向上提供低穩定程度，而在y方向上提供高穩定程度。此組態可由於無意運動(例如，搖動之手)而在y方向上提供所需穩定，同時由於歸因於在x方向上水平移動攝影機之意欲運動而最小化在x方向上的穩定。

因此，可針對x方向對視訊序列及針對y方向對視訊序列執行不同的分析。該等方向中之每一者上的穩定程度可基於該等方向中之每一者上的各別運動係有意的抑或無意的。

圖6為根據一實施例的併有數位視訊俘獲能力之代表性電子器件600之簡化功能方塊圖。電子器件600可包括處理器605、顯示器610、器件測感測615(例如，陀螺儀、加速度計、近接感測器及環境光感測器)、麥克風620、音訊編解碼器625、揚聲器630、通信電路635、具有相關聯攝影機及視訊硬體之影像感測器640、使用者介面645、記憶體650、儲存器件655、視訊編解碼器660及通信匯流排665。

處理器605可為任一合適的可程式化控制器件或通用或專用處理器或積體電路，且可執行對於進行或控制諸如影像後設資料之產生及/或處理的很多功能以及由電子器件600執行之其他功能的操作而言很有必要的指令。處理器605可(例如)驅動顯示器610，且可接收自使用者介面645之使用者輸入。處理器605亦可(例如)為諸如應用程式之處理器(諸如，在行動器件中所發現之處理器)的系統單晶片，或專用圖 形處理單元(GPU)。處理器605可基於精簡指令集電腦(RISC)或複雜指令集電腦(CISC)架構或任一其他合適的架構，且可包括一或多個處理核心。

記憶體650可包括由處理器605用以執行器件功能之一或多個不同類型的儲存媒體。記憶體650可包括(例如)快取記憶體、唯讀記憶體(ROM)及/或隨機存取記憶體(RAM)。通信匯流排660可提供資料傳送路徑，其用於將資料傳送至至少以下各者、自至少以下各者傳送資料或在至少以下各者之間傳送資料：儲存器件655、記憶體650、處理器605及攝影機電路640。使用者介面645可允許使用者與電子器件600互動。舉例而言，使用者介面645可採用各種形式，諸如，按鈕、小鍵盤、撥號盤、點按式選盤或觸控螢幕。

非暫時性儲存器件655可儲存媒體(例如，影像及視訊檔案)、電腦程式指令或軟體、偏好資訊、器件設定檔資訊及任何其他合適的資料。儲存器件655可包括一個以上儲存媒體，包括(例如)磁碟(固定、軟性及抽取式)及磁帶、諸如CD-ROM及數位視訊光碟(DVD)之光學媒體，及諸如電子可程式化唯讀記憶體(EPROM)及電子可抹除可程式化唯讀記憶體(EEPROM)的半導體記憶體器件。

視訊編解碼器660可為實現數位視訊之視訊壓縮及/或解壓縮之硬體器件、軟體模組或硬體與軟體之一組合。舉例而言，視訊編解碼器660可實施H.264視訊標準。通信匯流排665可為任何一或多個通信路徑，且使用適合於特定實施之任何技術或其組合。

軟體可組織入一或多個模組中，且可以任一合適的電腦程式設計語言(或一種以上語言)進行撰寫。當由(例如)處理器605執行時，此電腦程式碼或軟體可實施本文中所描述之方法中的一或多者。

在不背離以下申請專利範圍之範疇的情況下，材料、組件、電路元件以及所說明之操作方法的細節之各種變化係可能的。舉例而 言，處理器605可使用以通信方式耦接之兩個或兩個以上程式控制器件來實施。每一程式控制器件可包括上文列舉之處理器、專用處理器或可體現於諸如特殊應用積體電路(ASIC)或場可程式化閘陣列(FPGA)之硬體器件中的定製狀態機。另外，本文中所揭示之技術可應用於先前俘獲之視訊序列，從而提供已針對每一視訊圖框俘獲之必要的後設資料。

在上述描述中，出於解釋之目的，已闡述無數具體細節以便提供對本發明概念之全面理解。作為此描述之一部分，一些結構及器件可已經以方塊圖之形式進行展示，以便避免混淆本發明。本說明書中對於「一個實施例」或「一實施例」之參考意謂，結合該實施例而描述之特定特徵、結構或特性包括於本發明之至少一實施例中，且對於「一個實施例」或「一實施例」之多個參考不應被理解為必須皆參考同一實施例。

應瞭解，在任何實際實施之開發中(如在任何開發項目中)，必須做出眾多決策以達成開發者之具體目標(例如，順應與系統及商務有關的約束)，且此等目標將隨實施之變化而變化。亦將瞭解，此等開發努力可能複雜且耗時，但儘管如此，其將為受益於本發明之數位視訊俘獲及處理領域中的一般熟習此項技術者的例行任務。

應理解，上文描述意欲為說明性的，且並非限制性的。舉例而言，上文所描述之實施例可彼此結合使用。熟習此項技術者在審閱上文描述後將顯而易見很多其他實施例。因此，應參照所附申請專利範圍連同此等申請專利範圍有權獲得之等效物的全部範疇來判定本發明之範疇。在所附申請專利範圍中，術語「包括」及「在……中」用作各別術語「包含」及「其中」之簡明英語等效詞。

100‧‧‧具備攝影機功能之器件/器件

110‧‧‧攝影機

120‧‧‧運動感測器

130‧‧‧視訊穩定單元/視訊穩定器

140‧‧‧控制器

150‧‧‧視訊編碼器

160‧‧‧儲存器

170‧‧‧顯示器

180‧‧‧通信埠

190‧‧‧傳輸器

Claims (31)

1. 一種視訊穩定方法，其包含：獲得對應於一攝影機之運動的運動資料；判定一第一運動差，該第一運動差係介於對應於一視訊序列中之一當前圖框的一攝影機移動之瞬時運動及對應於該視訊序列中自位於該當前圖框內之前的複數個圖框之一圖框至該當前圖框的該攝影機移動之累積運動之間；判定一第二運動差，該第二運動差係介於對應於該當前圖框的該攝影機移動之該瞬時運動及對應於該視訊序列中該當前圖框之前之一圖框的攝影機移動之一瞬時運動之間；比較該第一運動差與一第一臨限值，且比較該第二運動差與一第二臨限值；基於該比較之結果，設定針對該當前圖框之一視訊穩定強度參數；及根據該圖框之強度參數，對該當前圖框所俘獲之視訊資料執行視訊穩定。
2. 如請求項1之方法，其中：該攝影機之該瞬時運動對應於自在該當前圖框之前之該圖框至該視訊序列之該當前圖框的有意攝影機移動；且該攝影機之該累積運動對應於自該視訊序列之一第一圖框至該視訊序列之該當前圖框的有意攝影機移動。
3. 如請求項1之方法，其中：在該第一運動差低於該第一臨限值且該第二運動差低於該第二臨限值時，該視訊穩定強度參數經設定為一高強度值；及在該第一運動差高於該第一臨限值或該第二運動高於該第二 臨限值時，該視訊穩定強度參數經設定為一低強度值。
4. 如請求項1之方法，其中該運動資料係自陀螺儀感測器資料導出。
5. 如請求項1之方法，其中計算該累積運動或該瞬時運動包括：篩選該運動資料。
6. 如請求項1之方法，其中該運動資料係自加速度計感測器資料導出。
7. 如請求項1之方法，其中該運動資料為旋轉資料。
8. 如請求者1之方法，其中該攝影機為一攜帶型電子器件。
9. 如請求項1之方法，其中設定該視訊穩定強度參數包括：若基於該比較之結果而偵測到自非固定式攝影機運動至固定式攝影機運動的改變，則增大該視訊穩定強度參數之一值；及若基於該比較之結果而偵測到自固定式攝影機運動至非固定式攝影機運動的改變，則減小該視訊穩定強度參數之該值。
10. 如請求項1之方法，其中計算該攝影機之該瞬時運動包括使用一第一低通濾波器。
11. 如請求項10之方法，其中計算該攝影機之該累積運動包括使用一第二低通濾波器。
12. 如請求項1之方法，其中計算該攝影機之該瞬時運動包括使用一第一無限脈衝低通濾波器來計算和或差之至少一者。
13. 如請求項12之方法，其中計算該攝影機之該累積運動包括使用一第二無限脈衝低通濾波器來計算和或差之至少一者。
14. 如請求項1之方法，其中該攝影機所計算之該瞬時運動對應於自在該當前圖框之前之該圖框至該當前圖框的一攝影機旋轉角。
15. 如請求項1之方法，其中該攝影機所計算之該累積運動對應於自位於該當前圖框之前的複數個圖框內之該圖框至該當前圖框的 一攝影機旋轉角
16. 如請求項9之方法，其進一步包含：在增大該視訊穩定強度的該值之前提供預定延遲。
17. 如請求項9之方法，其進一步包含：在減小該視訊穩定強度的該值之前提供預定延遲。
18. 一種非暫時性電腦可讀媒體，其藉由用於使一電腦執行一方法之程式指令體現，該方法包含：獲得對應於一攝影機之運動的運動資料；判定一第一運動差，該第一運動差係介於對應於一視訊序列中之一當前圖框的一攝影機移動之瞬時運動及對應於該視訊序列中自位於該當前圖框之前的複數個圖框內之一圖框至該當前圖框的該攝影機移動之累積運動之間；判定一第二運動差，該第二運動差係介於對應於該當前圖框的該攝影機移動之該瞬時運動及對應於該視訊序列中該當前圖框之前之一圖框的攝影機移動之一瞬時運動之間；比較該第一運動差與一第一臨限值，且比較該第二運動與一第二臨限值；基於該比較之結果，設定針對該當前圖框之一視訊穩定強度參數；及根據該圖框之強度參數，對該當前圖框所俘獲之視訊資料執行視訊穩定。
19. 如請求項18之非暫時性電腦可讀媒體，其中：在該第一運動差低於該第一臨限值且該第二運動差低於該第二臨限值時，該視訊穩定強度參數設定為一高強度值；及在該第一運動差高於該第一臨限值或該第二運動差高於該第二臨限值時，該視訊穩定強度參數設定為一低強度值。
20. 如請求項18之非暫時性電腦可讀媒體，其中該運動資料係自陀螺儀感測器資料導出。
21. 一種用於視訊穩定的裝置，該裝置包含：用於執行電腦指令之一處理器，電腦指令使該處理器：獲得對應於一攝影機之運動的運動資料；判定一第一運動差，該第一運動差係介於對應於一視訊序列中之一當前圖框的一攝影機移動之瞬時運動及對應於該視訊序列中自位於該當前圖框之前的複數個圖框內之一圖框至該當前圖框的該攝影機移動之累積運動之間；判定一第二運動差，該第二運動差係介於對應於該當前圖框的該攝影機移動之該瞬時運動及對應於該視訊序列中該當前圖框之前之一圖框的攝影機移動之一瞬時運動之間；比較該第一運動差與一第一臨限值，且比較該第二運動差與一第二臨限值；基於該比較之結果，設定針對該當前圖框之一視訊穩定強度參數；及根據該圖框之強度參數，對該當前圖框所俘獲之視訊資料執行視訊穩定。
22. 如請求項21之裝置，其中：在該第一運動差低於該第一臨限值且該第二運動差低於該第二臨限值時，該視訊穩定強度參數設定為一高強度值；及在該第一運動差高於該第一臨限值或該第二運動差高於該第二臨限值時，該視訊穩定強度參數設定為一低強度值。
23. 一種用於視訊穩定的裝置，該裝置包含：一攝影機，其俘獲一視訊序列；一運動感測器，其俘獲與該視訊序列相關聯之運動資料； 一控制器，其：判定一第一運動差，該第一運動差係介於對應於一視訊序列中之一當前圖框的一攝影機移動之瞬時運動及對應於該視訊序列中自位於該當前圖框之前的複數個圖框內之一圖框至該當前圖框的該攝影機移動之累積運動之間；判定一第二運動差，該第二運動差係介於對應於該當前圖框的該攝影機移動之該瞬時運動及對應於該視訊序列中該當前圖框之前之一圖框的攝影機移動之一瞬時運動之間；比較該第一運動差與一第一臨限值，且比較該第二運動差與一第二臨限值，且基於該比較之結果，設定針對該當前圖框之一視訊穩定強度參數；及一視訊穩定單元，其根據該圖框之強度參數對該當前圖框所俘獲之視訊資料執行視訊穩定。
24. 如請求項23之裝置，其中：在該第一運動差低於該第一臨限值且該第二運動差低於該第二臨限值時，該視訊穩定強度參數設定為一高強度值；及在該第一運動差高於該第一臨限值或該第二運動差高於該第二臨限值時，該視訊穩定強度參數設定為一低強度值。
25. 一種儲存根據一過程而產生之視訊資料的非暫時性電腦可讀儲存媒體，該過程包含：藉由一攝影機俘獲視訊資料，藉由一運動感測器俘獲運動資料，藉由一處理器處理該視訊資料，其係藉由：自該運動資料來判定一第一運動差，該第一運動差係介於對應於一視訊序列中之一當前圖框的一攝影機移動之瞬時運 動及對應於該視訊序列中自位於該當前圖框之前的複數個圖框內之一圖框至該當前圖框的該攝影機移動之累積運動之間；判定一第二運動差，該第二運動差係介於對應於該當前圖框的該攝影機移動之該瞬時運動及對應於該視訊序列中該當前圖框之前之一圖框的攝影機移動之一瞬時運動之間；比較該第一運動差與一第一臨限值，且比較該第二運動差與一第二臨限值，基於該比較之結果，設定針對該當前圖框之一視訊穩定強度參數，及根據該圖框之強度參數，對該當前圖框所俘獲之視訊資料執行視訊穩定；及將該經穩定之視訊資料儲存於儲存媒體上。
26. 一種視訊穩定方法，其包含：獲得對應於一攝影機之運動的運動資料；判定一運動差，該運動差係介於對應於一視訊序列中之一當前圖框的一攝影機移動之瞬時運動及對應於該視訊序列中自位於該當前圖框之前的複數個圖框內之一圖框至該當前圖框的該攝影機移動之累積運動之間；比較該運動差與一臨限值；基於該比較之結果，設定針對該當前圖框之一視訊穩定強度參數；及根據該圖框之強度參數，對該當前圖框所俘獲之視訊資料執行視訊穩定。
27. 如請求項26之方法，其進一步包含：判定一第二運動差，該第二運動差係介於對應於該當前圖框 的該攝影機移動之該瞬時運動及對應於該視訊序列中該當前圖框之前之一圖框的攝影機移動之一瞬時運動之間；及比較該第二運動差與一第二臨限值；其中視訊穩定強度參數係基於該運動差與該臨限值的比較，以及基於該第二運動差與該第二臨限值的比較來設定。
28. 一種非暫時性電腦可讀媒體，其具有用於使一電腦執行一方法之程式指令，該方法包含：獲得對應於一攝影機之運動的運動資料；判定一運動差，該運動差係介於對應於一視訊序列中之一當前圖框的一攝影機移動之瞬時運動及對應於該視訊序列中自位於該當前圖框之前的複數個圖框內之一圖框至該當前圖框的該攝影機移動之累積運動之間；比較該運動差與一臨限值；基於該比較之結果，設定針對該當前圖框之一視訊穩定強度參數；及根據該圖框之強度參數，對該當前圖框所俘獲之視訊資料執行視訊穩定。
29. 如請求項28之非暫時性電腦可讀媒體，該方法進一步包含：判定一第二運動差，該第二運動差係介於對應於該當前圖框的該攝影機移動之該瞬時運動及對應於該視訊序列中該當前圖框之前之一圖框的攝影機移動之一瞬時運動之間；及比較該第二運動差與一第二臨限值；其中視訊穩定強度參數係基於該運動差與該臨限值的比較，以及基於該第二運動差與該第二臨限值的比較來設定。
30. 一種用於視訊穩定的裝置，該裝置包含：用於執行電腦指令之一處理器，該電腦指令使該處理器： 獲得對應於一攝影機之運動的運動資料；判定一運動差，該運動差係介於對應於一視訊序列中之一當前圖框的一攝影機移動之瞬時運動及對應於該視訊序列中自位於該當前圖框之前的複數個圖框之一圖框至該當前圖框的該攝影機移動之累積運動之間；比較該運動差與一臨限值；基於該比較之結果，設定針對該當前圖框之一視訊穩定強度參數；及根據該圖框之強度參數，對該當前圖框所俘獲之視訊資料執行視訊穩定。
31. 如請求項30之裝置，該電腦指令使該處理器：判定一第二運動差，該第二運動差係介於對應於該當前圖框的該攝影機移動之該瞬時運動及對應於該視訊序列中該當前圖框之前之一圖框的攝影機移動之一瞬時運動之間；及比較該第二運動差與一第二臨限值；其中視訊穩定強度參數係基於該運動差與該臨限值的比較，以及基於該第二運動差與該第二臨限值的比較來設定。