TWI496115B - 移動攝影機之畫面穩定方法 - Google Patents

Description

移動攝影機之畫面穩定方法

本發明是關於一種畫面穩定方法，特別是關於一種利用軟體設計方式針對移動中的攝影機所攝取的視訊影像之畫面穩定方法。

畫面穩定方法一開始多用於固定架設之攝影監控系統上，以避免風吹、地動等外在因素造成畫面晃動之情形，習知常見之畫面穩定方法，是透過機械裝置、電子感測裝置或光學感測裝置等附加元件之輔助來達成，所需成本及硬體所需空間較高，近年來手持式攝影裝置或移動式攝影裝置之相關產品不斷發展，對於影像畫面之呈現品質與其移動之實用性均有更高之要求，因此畫面穩定方法多朝向軟體設計方式來達成畫面穩定之效果。

以軟體設計方式來達成視訊畫面穩定之技術，重點在於畫面間移動方向的估測準確度，習知技術大部分是以區塊比對法(block matching)為基礎，在畫面中以不同區塊組合配置，作為全域移動向量(global motion vector)的估測來源。然而此種方法若偵測區塊中含有其他移動物，則此移動物的移動向量會對區塊估測移動向量造成干擾以致估測錯誤，進而造成畫面位移補償失準， 最後導致影響畫面穩定之效果。

因此，本發明提供一種移動攝影機之畫面穩定方法，不需增加硬體額外之空間與成本，並同時改善軟體設計方式上之缺點，提高全域移動向量之估測準確度，進而增加畫面穩定之效果。

有鑑於上述習知技藝之問題，本發明之目的就是在提供一種移動攝影機之畫面穩定方法，以解決習知利用軟體設計進行畫面穩定補償時，全域移動向量容易受到移動物干擾而影響最後畫面穩定結果之問題，進而提升移動攝影機畫面穩定之效果。

根據本發明之一目的，提出一種移動攝影機之畫面穩定方法，其包含下列步驟：藉由移動攝影機拍攝取得畫面；經由前置處理模組對畫面進行一前處理並偵測畫面之角點(corner points)，又稱特徵點(feature points)，利用角點於前後畫面中之座標變化之移動向量作為角點之光流(optical flow)；利用位移穩定計算模組計算畫面位移(frame shift)變化量，將角點之光流轉換成極座標，對極座標之資料密度進行分群(clustering)，濾除雜訊後產生背景光流，並將其作為畫面位移變化量；利用旋轉穩定計算模組計算畫面旋轉角度(rotation angle)變化量，經由每連續兩角點取得角度，比較前後畫面角度之變化作為旋轉角度，統計旋轉角度，選擇累積數量最大之旋轉角度作為畫面旋轉角度變化量；以及透過補償(compensation)輸出模組修正畫面之位移及旋轉角度，配合畫面旋轉角度變化量將畫面反向旋轉，並配合畫面位移向量反向位移，經過補償處理後輸出穩定之影像結果。

較佳者，極座標是由光流之移動向量之光流長度及光流 角度之資訊所構成。

較佳者，位移穩定計算模組是對光流長度及光流角度之相似程度進行分群。

較佳者，前處理可進一步包含縮減取樣(down-sample)，降低該畫面之解析度及資訊量。

較佳者，補償處理可進一步包含超取樣(super-sample)，以回復該畫面之解析度。

較佳者，背景光流可經過背景光流平滑化(smoothing)以取得變化量較少之位移資訊。

較佳者，累積數量最高之旋轉角度可經過旋轉角度平滑化取得變化量較少之旋轉資訊。

承上所述，依本發明之移動攝影機之畫面穩定方法，其可具有一或多個下述優點：

(1)此移動攝影機之畫面穩定方法無須裝設額外之感測裝置，符合攝影機輕量化之設計方向，使其便於攜帶及移動，增加其便利性與實用性。

(2)此移動攝影機之畫面穩定方法將特徵點移動向量轉換成極座標分析，剔除影響之雜訊，避免因移動物干擾造成補償失準，進而增強畫面穩定之效果。

S1~S5、S21~S53‧‧‧步驟

I _t-1‧‧‧前一張影像畫面

I _t ‧‧‧目前影像畫面

P ₁~P ₄、Q ₁~Q ₄‧‧‧角點

θ ₁‧‧‧旋轉角度

、‧‧‧角點角度

θ _global‧‧‧全域旋轉角度

第1圖係為本發明之移動攝影機之畫面穩定方法之流程圖。

第2圖係為本發明之移動攝影機之畫面穩定方法之光流 分布之示意圖。

第3圖係為本發明之移動攝影機之畫面穩定方法之極座標轉換之示意圖。

第4圖係為本發明之移動攝影機之畫面穩定方法之極座標分群之示意圖。

第5圖係為本發明之移動攝影機之畫面穩定方法之旋轉角度計算方式之示意圖。

第6圖係為本發明之移動攝影機之畫面穩定方法之旋轉角度統計之直方圖。

為利貴審查委員瞭解本發明之技術特徵、內容與優點及其所能達成之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，合先敘明。

請參閱第1圖，其係為本發明之移動攝影機之畫面穩定方法之流程圖。移動攝影機之畫面穩定方法包含下列處理步驟：S1：畫面輸入、S2：前置處理、S3：位移穩定計算處理、S4：旋轉穩定計算以及S5：補償輸出。其中，移動攝影機之畫面穩定方法之畫面輸入S1，主要是將移動中的攝影機所拍攝之影像作為輸入之畫面，經過前置處理S2後取得畫面之角點(亦稱為”特徵點”)及其光流(亦可稱為”移動向量”)，再針對處理過之資訊進行位移 穩定計算S3及旋轉角度計算S4，針對計算後估測之位移變化量及旋轉變化量對畫面進行補償及輸出S5，以獲得穩定之影像畫面結果，後續將針對主要處理步驟S2~S5進行詳細說明。

移動攝影機之畫面穩定方法之處理步驟S2：前置處理包含下列細部步驟：S21：縮減取樣、S22：偵測角點以及、S23：光流法分析。其中，由移動攝影機取得之畫面，在輸入時往往具有高解析度，但在進行畫面資料之處理與分析時，並不需要使用這麼多之影像資訊量，反而較大量之影像資訊，會造成計算上時間之浪費，因此在輸入畫面時，先以雙線性插值法(bilinear interpolation)進行縮減取樣(down-sample)S21，一方面將輸入畫面正規化(normalization)，同時降低畫面資訊運算量，以增加畫面處理效率。再者，由於以往針對畫面區塊移動向量之分析，在非角點之位置常因孔徑問題(aperture problem)造成估測值有所偏差，而且為了減少大量畫面像素點的計算，因此本發明利用Harris角點偵測(Harris corners detection)方式S22，找出畫面中主要特徵點之角點位置，以此作為後續分析及計算之主要對象。最後，將偵測到之角點進行光流法(optical flow)分析S23，計算前一張影像畫面I _t-1與目前影像畫面I _t 每一角點之移動向量，以此作為每一角點之光流，取得整體畫面之光流估測值，如第2圖所示，其為畫面中之角點於平面座標上光流之分布示意圖，由於前一張影像畫面I _t-1與目前影像畫面I _t 之每一角點位置是相互對應的，因此計算出來之光流估測值應該具有高準確度，但由於部分資訊可能受到干擾而有錯誤之光流估測值，因此必須進一步篩選過濾掉異常資訊。

欲取得正確之光流估測值，是將前述光流資訊輸入進行 處理步驟S3：位移穩定計算，其包含下列細部步驟：S31：光流極座標轉換、S32：密度分群以及、S33：背景光流平滑化。其中，光流極座標轉換S31是參考霍夫轉換(Hough transformation)原理，將原本位於X-Y平面座標無法偵測出之資訊，轉換至極座標分析統計，最後將該統計結果轉換回X-Y平面座標，繪出最後偵測到之結果，再利用此偵測結果將相似之光流分為同一群組，差異性大的則分為不同群組，例如一光流向量定義為由A(x ₁,y ₁)至B(x ₂,y ₂)，其經由如下列公式(1)及公式(2)之轉換，可將此光流計算轉換至極座標(ρ _OF,θ _OF)，其中ρ _OF代表光流長度，θ _OF代表光流角度。

參閱第2至第4圖，如第2圖所示，畫面中每一角點之光流資訊，經由上述公式轉換後，可轉換成如第3圖之極座標示意圖，其中極座標中央十字刻度為光流長度，外圍環狀刻度則為光流角度，原先X-Y平面座標之光流資訊轉換成極座標後，有助於濾除干擾雜訊之進行，並為濾除先前估測錯誤之光流，其操作方式是利用DBSCAN演算法將極座標之光流資訊進行密度分群S32，如第3圖所示，極座標上之光流分布於不同長度與角度，將光流長度與光流角度之相似程度高者歸於同一群，將單獨或數量較少之光流資訊剔除，得到如第4圖之極座標分群示意圖，其主要光流僅留下2群。經過分群後，接著計算各群光流於X-Y平面座標之分布範圍，將分布範圍最廣之群組，設定為背景光流，亦可稱為全域移動向量(global motion vector)，與背景實際之移動 向量一致。由於上述求得之光流之分佈曲線較為曲折且變化量大，為達成畫面背景穩定之效果，因此在取得背景光流後，須將之帶入卡爾曼濾波器中，進行背景光流平滑化S33，以得到較平緩穩定的畫面位移變化量。

參閱第5及第6圖，在計算畫面位移之變化量後，移動攝影機之畫面可能會在移動當中具有畫面旋轉之變化，因此必須針對旋轉角度之變化加以探討，其主要是以移動攝影機之畫面穩定方法當中之處理步驟S4：旋轉穩定計算加以處理，其包含下列細部步驟：S41：旋轉角度計算、S42：統計全域旋轉角度以及、S43：旋轉角度平滑化。其中，旋轉角度計算S41，同樣是針對前一張影像畫面I _t-1與目前影像畫面I _t 之角點進行計算，如第5圖所示，前一張影像畫面I _t-1之角點為P _i ，目前影像畫面I _t 對應之角點為Q _i ，若兩畫面間角點數量各均為NC，則i=1~NC，例如P ₁~P ₄及Q ₁~Q ₄，其中P _i 及Q _i 各每連續兩點可求得一個角度，例如P ₁及P ₂可求得角點角度，Q ₁及Q ₂可求得角點角度，再以此兩角點角度之差得到此兩對特徵點旋轉角度θ ₁，以此類推，則可求得所有特徵點之旋轉角度θ _i ，如公式(3)，其中，Q _i,x 與Q _i,y 分別為Q _i 於X坐標與Y坐標上的值，Q _i+1,x 與Q _i+1,y 分別為Q _i+1於X坐標與Y坐標上的值，P _i 與P _i+1則可類推。

由上述公式可求得每兩相鄰角點之角度變化，統計所有旋轉角度θ _i ，可得到如第6圖之直方圖(histogram)，其橫軸為旋轉角度，縱軸為該旋轉角度累積數量，選擇累積數量最多之選轉角度，作為全域旋轉角度θ _global S42，也就是該畫面旋轉之角度。 最後，由於原始旋轉角度之分佈曲線變化劇烈，因此同樣需進行旋轉角度平滑化S43，以取得較平緩穩定的畫面旋轉角度變化量。

由上述旋轉穩定計算S4過程中取得畫面旋轉角度變化量，及由位移穩定計算S3過程中取得畫面位移變化量，將其帶入移動攝影機之畫面穩定方法中之處理步驟S5：補償輸出以處理產生穩定畫面，其中補償輸出S5包含：S51：反向旋轉補償、S52：反向位移補償以及S53：輸出影像結果。其中，反向旋轉補償S51是配合畫面角度變化量，利用仿射轉換(Affine transformation)將畫面反向旋轉以補償原畫面旋轉。接著進行反向位移補償S52，其配合畫面位移變化量而反向移動以進行補償，並且須將全域移動向量做超取樣(super-sample)以回復原有畫面之解析度。最後，經過畫面反向旋轉補償以及畫面反向位移補償之處理後，藉由移動攝影機輸出影像結果S53而獲得一穩定之輸出畫面。

上述移動攝影機之畫面穩定方法，其主要用於如數位相機、數位攝影機、智慧型手機、車載攝影機、手持攝影機影像辨識系統、盲人視覺輔助系統、無人駕駛載具視覺系統、軍警用車載影像(辨識、搜尋)系統、無人偵察機攝影系統等移動中之攝影機上，藉由針對攝影機擷取畫面中之角點進行位移及旋轉角度分析，並經由反向補償穩定原有畫面，使上述裝置在使用上能持續顯示穩定之畫面，以供使用者檢視及運用。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

S1~S5、S21~S53‧‧‧步驟

Claims (3)

1. 一種移動攝影機之畫面穩定方法，其包含下列步驟：藉由一移動攝影機拍攝影像取得一畫面；經由一前置處理模組對該畫面進行一前處理，以雙線性插值法進行一縮減取樣，將該畫面正規化，降低該畫面之資訊運算量；利用Harris角點偵測方式偵測該畫面之一角點，利用該角點於前後畫面中之一座標變化之一移動向量作為該角點之一光流；利用一位移穩定計算模組計算一畫面位移變化量，其係將該角點之該光流轉換成一極座標，該極座標由該光流之該移動向量之一光流長度及一光流角度構成；利用DBSCAN演算法對該極座標之資料密度進行分群，將該光流長度與該光流角度之相似程度高者歸於同一群，將單獨或數量較少之光流資訊剔除，濾除雜訊後，接著計算各群光流於X-Y平面座標之分布範圍，將分布範圍最廣之群組，設為一背景光流，並將其作為該畫面位移變化量；利用一旋轉穩定計算模組計算一畫面旋轉角度變化量，其係經由每連續兩該角點取得一角度，比較前後畫面該角度之變化作為一旋轉角度，統計該旋轉角度，選擇累積數量最大之該旋轉角度作為該畫面旋轉角度變化量；以及 透過一補償輸出模組修正畫面之位移及旋轉角度，其係配合該畫面旋轉角度變化量，利用仿射轉換將畫面反向旋轉，並配合該畫面位移向量反向位移，經過一補償處理後，將該移動向量做超取樣回復原有畫面之解析度，輸出穩定之一影像結果。
2. 如申請專利範圍第1項所述之移動攝影機之畫面穩定方法，其中該背景光流可經過一背景光流平滑化過程取得變化量較少之位移資訊。
3. 如申請專利範圍第1項所述之移動攝影機之畫面穩定方法，其中累積數量最高之該旋轉角度可經過一旋轉角度平滑化取得變化量較少之旋轉資訊。