TWI594209B

TWI594209B - 利用影片自動推導移動平台運動參數之方法

Info

Publication number: TWI594209B
Application number: TW104118668A
Authority: TW
Inventors: 蔣依吾; 陳尚義
Original assignee: 國立中山大學
Priority date: 2015-06-09
Filing date: 2015-06-09
Publication date: 2017-08-01
Also published as: TW201643817A

Description

利用影片自動推導移動平台運動參數之方法

本發明係有關於一種可以用來分析影片拍攝方式，藉以能推導出對應控制移動平台之運動參數的方法。

目前一般用以播放3D影片之模擬劇場，為了能使觀眾有真實親身參與的感受，普遍採用了一動態模擬之技術，再搭配上具有移動平台的動態模擬裝置。利用該移動平台分別具有上下(Heave)、左右(Sway)及前後(Surge)等沿著三度空間之三軸方向之平移運動，以及前傾(Pitch)、翻滾(Roll)及扭轉(Yaw)等以三軸為法線之旋轉運動。藉由上述六個自由度進行運動的運動參數，而讓觀眾得以與影片有一致的動態觀看角度，藉以使觀眾有身歷其境般的感覺，而可以融入於影片場景的特效中。

而一般的影片拍攝時，主要係透過攝影師改變攝影機鏡位，以各種不同的角度取像。如欲將影片於配置移動平台之劇場放映時，目前大多需要以人工方式，逐一觀看影片畫面場景變化，進而回推原攝影師之拍攝角度及軌跡，再以手動調整控制移動平台產生六個自由度運動的運動參數，故需花費大量編寫時間與人力成本。

例如有中華民國102年1月1日所公開之發明第201301205號「評估影像訊框間之主題運動」專利案。其係揭露：在不同擷取時間處擷取一場景之至少兩個數位影像；將該等數位影像中之一者指定為一參考數位影像；指定複數個影像區；藉由以下各項來判定每一影像區之運動評估：根據相對於該參考數位影像內之該影像區之複數個空間偏移中之每一者使非參考數位影像內之該等影像區移位，計算每一空間偏移之優值函數值以提供該參考數位影像中之該影像區與該等經移位影像區之間的一差異之一指示，計算依據空間偏移來提供一經評估優值函數值之一擬合函數；及回應於所判定之非整數空間偏移而判定該運動評估。使用回應於該等擬合函數之形狀而判定之加權係數來判定一經組合運動評估。

惟該專利前案雖然可以透過子像素精確度來判定兩個數位影像之間的一空間偏移。但其並無法根據影片的內容自動分析，而產生一控制移動平台隨著影片內容進行運動之運動參數，藉以控制該移動平台產生一動態模擬運動之功效。然其所揭示之技術特徵亦與本案完全不同。

爰此，有鑑於目前為了能將影片於配置移動平台之劇場放映時，大多需以人工方式自影片畫面回推原攝影師之拍攝角度及軌跡，據以控制移動平台之運動，而耗時費力且成本較高。故本發明提供一種利用影片自動推導移動平台運動參數之方法，係包含有下列步驟：A.擷取一段影片之畫面內容；B.對於影片進行場景分析，讀取該段影片之影像序列，計算出影片中各分鏡，對於影像序列進行場景分析係包含下列三個次步驟，B1.取得視覺內容特徵、B2.建構幀與幀間相關性及B3.設定分割方法；C.分析影片畫面拍攝內容，計算各種拍攝方式之運動參數，計算運動參數係包含下列三個次步驟，C1.區塊移動向量估測、C2.過濾移動向量及C3.運動參數推估；D.移動平台之運動參數推導，在移動平台可移動範圍內推導出相對應之運動參數，運動參數係包含控制移動平台上下、左右、前後、前傾、翻滾及扭轉之六個自由度。

上述次步驟B1取得視覺內容特徵，係利用分鏡邊界偵測法分析影片之影像序列，藉由色彩直方圖，將一幅幀區分成一左上、一右上、一左下、一右下四個區域，該四個區域大小相同且互不重疊，可做色彩為16個顏色區間之色彩直方圖，將其串聯成為一個有192個元素陣列H，用以表示每一幅幀之特徵。

上述次步驟B2建構幀與幀間相關性，係採用直方圖交集法計算，利用幀與幀之間的顏色比例，用以比對出二個幀之間的差異，其計算公式為：Σ_k min(，)；其中，下標k為色彩直方圖陣列元素指標，上標i，j分別代表第i和第j幀，兩色彩直方圖陣列愈相似，其值愈接近1，愈不相似則趨近於0。

上述再利用圖分割模型理論計算出分鏡邊界，將每幅幀當作成一節點，建構一個無方向性權重圖G=G(V，E)，其節點集合V中每個節點代表一幅幀，邊集合E中每個邊e(i，j)上權重w_ij代表第i幅幀和第j幅幀之間相似度，w_ij愈大表示愈相似，兩幅幀在同一個分鏡可能性愈高，輔助判斷第t幀與第t+1幀之間是否為分鏡邊界時，再利用下列公式輔助判斷幀與幀之間的相關性，用以作為分割的參考參數：令點集合A和B，分別代表兩段連續且相鄰之分鏡，邊上權重w_ij即為幀與幀之相似度，設在同幀集合中第i幀與第j幀之相似度總和，在不同幀集合中第i幀與第j幀之相似度總和，當A，B為不同分鏡，則可以視assoc(A)，assoc(B)為分鏡內部相關性，cut(A，B)則為分鏡之間相關性或稱外部相關性，藉由該兩條件建構出圖分割模型，以當作判斷分鏡邊界基準。

上述次步驟B3設定分割方法，係將權重w_ij定義為幀與幀之間相似度，利用直方圖交集法計算幀特徵之間相關性，並加入一個衰退係數，w_ij定義如下：上述d=10為一給定值，計算score(t)=Mcut({t-d+1，...，t}，{t+1，...，t+d})，值愈小表示第t幀與第t+1幀分別在不同分鏡可能性愈大。

上述次步驟C1區塊移動向量估測，影片拍攝過程中會涉及到攝影機之六個自由度變化，分別為對x，y和z軸平移，放大和縮小係視為對z軸前進後退所取得之變化，對x，y和z軸旋轉，對應上下傾斜、左右轉動和旋轉之移動方式，又藉由空間座標轉換與透視投影成像可以取得攝影機運動模型，投影過程係表示為：點p(x，y，z)為空間中一點，假設投影平面在z=d上，藉由齊次座標做投影轉換則投影在平面點；定義攝影機運動模型為八元素透視轉換模型如下：和為相同點分別在t ₁和t ₂幀上座標，(a ₀ ,....a ₇ )即為移動參數，當a ₆=a ₇=0時，模型視為仿射(Affine)模型，設a ₂=a ₅ ,a ₃=-a ₄，視為PTZ模型，各參數如下：pan=a₀；Tilt=a₁；推估運動參數，係運用區塊移動向量估測計算連續幀間運動，利用取得之向量關係推算，M為運動模型矩陣，和為連續幀i，j上對應點座標，為第k組對應點之向量，其誤差為：運用最小平方法取得最佳攝影機運動參數M_o，使得M_o=arg min_M ε(M)，拍攝運動方式藉由分析幀間特徵點移動向量，利用區塊移動向量估測，在第i幀中使用區塊大小為16x16像素之目標區塊，在第i-1幀中相同位置向外擴張一個視窗大小為16像素之範圍內尋找最匹配區塊位置，代表兩特徵點相對位置，差值即為移動向量，用以作為分析鏡頭運動之特徵。

上述次步驟C2過濾移動向量，由於區塊移動向量估測方式取得作為估測攝影機運動參數之特徵移動向量，在幀與幀之間相對移動向量特徵會受到各種雜訊之因素影響，使得移動向量包含誤差，故過濾移動向量係移除移動向量值過大者，另外畫面邊緣是容易受到鏡頭移動，而使原本畫面邊緣資訊消失或原本沒有之資訊移入，則會造成計算移動向量容易有誤差，故也予以去除，藉以可增加得到攝影機運動參數之準確度。

上述次步驟C3運動參數推估，求解最小平方法，係利用偽逆矩陣，A為一m x n階矩陣，當m≧n且A^TA之逆矩陣存在，則A⁺=(A^TA)^-1A^T滿足偽逆矩陣定義，設求解Ax=b，當rank(A)=n則解x=A⁺b會使得等式誤差最小，令，a_i=[x_i y_i 1]為點座標集合，一仿射矩陣，點a經過仿射變換後可視為aM=a+v_a，v_a為移動向量；求解M使得AMA+V，可視為求，則M_o=A⁺(A+V)。

上述調整推導出之拍攝運動參數，若每分鏡內其累計之運動量超出移動平台所能及運動範圍，調整方式為整段壓縮依其比例重新設定運動量，在分鏡與分鏡間其鏡頭運動常常是不連續，為使平台能連續性運動，會在分鏡最後使移動平台回到起始位置；，k=0~5； S_j，r為第j段分鏡扣掉最後r張畫格集合，這段r時間用來使平台位置歸零，由推估出之i，i+1幀間第k種運動參數值，調整符合移動平台限制範圍後之值，limit_k移動平台第k種運動自由度限制範圍。

本發明具有下列優點：

1.本發明係可以自動分析影片的內容，而據以推導出控制移動平台六個自由度之運動參數，無需以人工方式，逐一觀看影片畫面場景變化，進而回推到原攝影師之拍攝角度及軌跡，再以手動調整控制移動平台運動，故可大幅節省編寫時間及人力成本。

2.本發明進一步配合移動平台的六個自由度的運動模式，即可讓觀眾具有與影片一致的動態觀看角度，藉以使觀眾有身歷其境般的感覺，而能快速融入於影片場景的特效中，藉以營造出更豐富活潑之影音感官娛樂。

[第一圖]係為本發明之方塊流程圖。

[第二圖]係為本發明圖分割模型之示意圖。

[第三圖]係為本發明影片分割影像序列之示意圖。

[第四圖]係為本發明第t幀與第t+1幀之間進行過濾移動向量前、後之對照示意圖。

[第五圖]係為本發明影片之影像序列計算推導包含六個自由度之運動參數的示意圖。

[第六圖]係為本發明進行實驗測試之影像序列原圖。

[第七圖]係為本發明實驗測試模擬鏡頭水平運動之影像序列示意圖。

[第八圖]係為本發明實驗測試模擬鏡頭垂直運動之影像序列示意圖。

[第九圖]係為本發明實驗測試模擬鏡頭縮放運動之影像序列示意圖。

[第十圖]係為本發明實驗測試模擬鏡頭旋轉運動之影像序列示意圖。

[第十一圖]係為本發明實驗測試模擬鏡頭水平運動之測試結果示意圖。

[第十二圖]係為本發明實驗測試模擬鏡頭垂直運動之測試結果示意圖。

[第十三圖]係為本發明實驗測試模擬鏡頭縮放運動之測試結果示意圖。

[第十四圖]係為本發明實驗測試模擬鏡頭旋轉運動之測試結果示意圖。

[表一]係為本發明實驗測試之誤差結果統計表。

請參閱第一圖所示，本發明實施例係為一種由影片自動推導移動平台運動參數之方法，係包括有下列步驟。

A.擷取一段影片之畫面內容。由於影片是一動態影像，其係由一連串之分鏡(shot)組成，分鏡則是由一段靜態影像連續之幀(frame)組成。本實施例首先係擷取一段影片，以供能對於該影片畫面中的影像序列進行分析。

B.對於影片進行場景分析，讀取該段影片之影像序列，計算出影片中各分鏡。該影像序列之場景分析係包含下列三個次步驟：B1.取得視覺內容特徵、B2.建構幀與幀間相關性及B3.設定分割方法。其中：

B1.取得視覺內容特徵。首先係利用分鏡邊界偵測法(shot boundary detection)分析該影片之影像序列。再藉由色彩直方圖概念，將一幅幀區分成一左上、一右上、一左下、一右下四個區域，該四個區域大小相同且互不重疊，可做色彩(RGB)為16個顏色區間(bins)之色彩直方圖，將其串聯成為一個有192個元素陣列H，用以表示每一幅幀之特徵。

B2.建構幀與幀間相關性。有了代表每幅幀特徵之色彩直方圖後，幀與幀之間相關性即可利用直方圖交集法計算出，即利用幀與幀之間的顏色比例，用以比對出二個幀之間的差異。即係利用直方圖交集法進行分析，該直方圖交集法是根據統計學概念用來，用以做為統計色彩直方圖相似度比較之方法。將每個顏色區間之值正規化，其計算公式為：Σ_k min(，)。

假設色彩直方圖g=[17，23，45，61，15]與h=[15，21，42，51，17]，有相同bins=5。用直方圖交集法計算g跟h相似度，其值為：I=sum(min(h，g))/min(sum(h)，sum(g))=0.9863。

又假設g=[57，83，15，11，1]與h=[15，21，42，51，17]，其值為：I=sum(min(h，g))/min(sum(h)，sum(g))=0.4315。

其中，下標k為色彩直方圖陣列元素指標，上標i，j分別代表第i和第j幀，當兩色彩直方圖陣列愈相似，其值愈接近1，反之則趨近於0。

接著利用圖分割模型(Graph Partition Model)之理論計算出分鏡邊界。如第二圖所示，通常一張圖係由複數個點(vertex)以及複數條邊(edge)所構成，點又可稱作為節點。而點與點之間，得以邊相連接，表示這兩點之間有關聯、關係。首先將每幅幀當作成一節點，建構一個無方向性權重圖G=G(V，E)，其節點集合V中每個節點代表一幅幀，邊集合E中每個邊e(i，j)上權重w_ij代表第i幅幀和第j幅幀之間相似度，w_ij愈大表示愈相似，兩幅幀在同一個分鏡可能性愈高。因此相關性低代表兩幅幀在不同分鏡，不同分鏡幀內容是不會連續，如第三圖所示，其上方係為該影片之連續影像序列，而下方則為相關性的分布趨勢。亦表示該影片分割之影像序列係從第948到第1028號幀，而相關性則從0~1表示，由該第三圖內容即可判斷出分鏡邊界係位於第980幀至第996幀之間。計算兩幅幀間的移動向量，正常情況下是不會正確。因此取得分鏡範圍後，只針對個別分鏡內做運動參數的計算，因為每個分鏡最後運動參數會使得移動平台回歸原點，所以不需做分鏡間的計算。

用以輔助判斷第t幀與第t+1幀之間是否為分鏡邊界時，不只計算出這二個幀的結果，再利用下列公式輔助判斷幀與幀之間的相關性，用以作為分割的參考參數。

即令點集合A和B，分別代表兩段連續且相鄰之分鏡，邊上權重w_ij即為幀與幀之相似度，幀在同分鏡中相似度會明顯大於在不同分鏡中。設在同幀集合中第i幀與第j幀之相似度總和，在不同幀集合中第i幀與第j幀之相似度總和。當A，B為不同分鏡，則可以視assoc(A)，assoc(B)為分鏡內部相關性，cut(A，B)則為分鏡之間相關性或稱外部相關性，藉由該兩條件可建構出圖分割模型，以當作判斷分鏡邊界基準。

B3.設定分割方法。將權重w_ij定義為幀與幀之間相似度，利用直方圖交集法(Histogram Intersection)計算幀特徵之間相關性。由於幀為連續性拍攝獲得，則可知距離愈遠之幀其差異性愈大，故需加入一個衰退係數，w_ij定義如下：

上述d=10為一給定值，計算score(t)=Mcut({t-d+1，...，t}，{t+1，...，t+d})，值愈小表示第t幀與第t+1幀分別在不同分鏡可能性愈大。

本實施例上述之主要執行步驟如下：

(a)取得一段影像序列，將每幅幀當作一節點，建構成權重圖G(V,E)。

(b)計算w_ij，組成一個相似矩陣W。

(c)計算N-1個可能為分鏡邊界(score)。

(d)選擇在半徑為d範圍內區域最小值。

(e)當其小於一定義閥值時，設定為分鏡邊界〔如第三圖所示〕。

因此設定分割方法係以給定值判斷分割處，即能得知該幀與幀之間的分鏡邊界，最後取得分鏡位置並予以儲存資料。

C.分析影片畫面拍攝內容，計算各種拍攝方式之運動參數。分析畫面拍攝內容計算運動參數的方法包含下列三個次步驟：C1.區塊(block base)移動向量估測、C2.過濾移動向量及C3.運動參數推估。

上述C1.區塊移動向量估測是為了取得各個幀之間的運動關係。但是如鏡頭向右移拍出來的畫面，後一張幀內容就是稍微右移後的畫面，得出大致上的關係後，但因為估測出的參數會有些誤差，可能是邊緣資訊不足或物體移動所造成，這些因素造成取得的參數並不只有攝影機移動所造成，所以需要再做C2.過濾移動向量。並以這些參數經由C3.運動參數推估而得以推估出攝影機相對的運動參數。其中：

C1.區塊(block base)移動向量估測。當影片拍攝過程中會涉及到攝影機之六個自由度變化，分別為對x，y和z軸平移，放大(zoom in)和縮小(zoom out)即可視為對z軸前進後退所取得之變化，另外對x，y和z軸旋轉，對應上下傾斜(Tilt)、左右轉動(Pan)和旋轉(Rotation)之移動方式。又藉由空間座標轉換與透視投影成像可以取得攝影機運動模型。投影過程可表示為：

點p(x，y，z)為空間中一點，假設投影平面在z=d上，藉由齊次座標做投影轉換則投影在平面點。

定義攝影機運動模型為八元素透視轉換模型如下：

這裡和為相同點分別在t ₁和t ₂幀上座標，(a ₀ ,....a ₇ )即為移動參數。當a ₆=a ₇=0時，模型則可以視為仿射(Affine)模型，設a ₂=a ₅ ,a ₃=-a ₄，視為PTZ模型，各參數如下：pan=a₀；Tilt=a₁；為了推估運動參數，首先運用區塊移動向量估測計算連續幀間運動，利用取得之向量關係可以推算，M為運動模型矩陣，和為連續幀i，j上對應點座標，為第k組對應點之向量。其誤差為：則運用最小平方法可取得最佳攝影機運動參數M_o，使得M_o=arg min_M ε(M)。

拍攝運動方式藉由分析幀間特徵點移動向量，本實施例利用區塊移動向量估測，在第i幀中使用區塊大小為16x16像素(pixel)之目標區塊，在第i-1幀中相同位置向外擴張一個視窗(window)大小為16像素之範圍內尋找最匹配區塊位置，代表兩特徵點相對位置，差值即為移動向量，即可用以作為分析鏡頭運動之特徵。

C2.過濾移動向量。如第四圖所示，影片之畫面中所獲得移動向量有攝影機運動產生和物體運動產生兩種，其中攝影機運動所造成移動向量為全域，數量佔所有移動向量大部分。利用區塊移動向量估測方式取得作為估測攝影機運動參數之特徵移動向量，在幀與幀之間相對移動向量特徵會受到物體移動、光影突然變化或拍攝時各種雜訊等因素影響，使得移動向量包含誤差。

過濾移動向量則因為連續幀差異不大，故而移除移動向量值過大者，另外畫面邊緣是容易受到鏡頭移動，而使原本畫面邊緣資訊消失或原本沒有之資訊移入，則會造成計算移動向量容易有誤差，故也予以去除。因此可以在取得移動向量後，藉由限制其向量長度與其周圍運動方向接近條件下，進一步篩選出更加可靠的運動特徵，用以作為估測依據，藉以可增加得到攝影機運動參數之準確度。如第四圖所示，其係為第t幀(左上圖)與第t+1幀(右上圖)之間進行過濾移動向量前(左下圖)、後(右下圖)之對照示意圖。

C3.運動參數推估。在求解最小平方法時，經常使用到偽逆矩陣，其中最著名偽逆矩陣要屬摩爾-彭若斯偽逆矩陣A+(Moore-Penrose pseudoinverse)。偽逆矩陣之特性，A為一m x n階矩陣，當m≧n且A^TA之逆矩陣存在，則A⁺=(A^TA)^-1A^T滿足偽逆矩陣定義。假設要求解Ax=b，當rank(A)=n則解x=A⁺b會使得等式誤差最小。

令，a_i=[x_i y_i 1]為點座標集合，一仿射矩陣，點a經過仿射變換後可視為aM=a+v_a，v_a為移動向量。

求解M使得AMA+V，可視為求M_o=arg min_M∥AM-(A+V)F2，則Mo=A+(A+V)。

D.移動平台之運動參數推導，在移動平台可移動範圍內推導出相對應之運動參數。從上述所取得之分鏡畫面進行分析，分析物體移動向量與對應位置，將其進行攝影機運動參數估測，求得在畫面k與畫面k+1間之運動參數。為將相關參數實際饋入移動平台，幀與幀間、分鏡與分鏡間之運動參數，可於移動平台運動之動態範圍內彈性調整。

由於影片拍攝時並不會像移動平台一樣有其自由度運動範圍限制，可以持續一段長距離移動跟拍或旋轉攝影機拍360度全景等，但這在運動範圍有限制之移動平台上，不可能做到完全相同運動，所以必須調整推導出之拍攝運動參數。本實施例之方法所計算出之運動參數單位為像素(pixel)，所以必須要有像素與m轉換比，預設比為影片寬/平台寬限制。在分鏡內幀與幀間之運動參數其穩定性高，不會有太過不連續運動，所以只須限制其運動量符合平台限制。若每分鏡內其累計之運動量超出移動平台所能及運動範圍，調整方式為整段壓縮依其比例重新設定運動量。在分鏡與分鏡間其鏡頭運動常常是不連續，為使平台能連續性運動，會在分鏡最後使移動平台回到起始位置。

，k=0~5

S_j，r為第j段分鏡扣掉最後r張畫格(Frame)集合，這段r時間用來使平台位置歸零。由本實施例中推估出之i，i+1幀間第k種運動參數值。調整符合移動平台限制範圍後之值，limit_k移動平台第k種運動自由度限制範圍〔如第五圖所示〕。該第五圖係表示該段影片之影像序列所計算推導包含控制上下(Heave)、左右(Sway)、前後(Surge)、前傾(Pitch)、翻滾(Roll)及扭轉(Yaw)等六個自由度之運動參數。因此可調整推估出的運動參數，使得移動平台在所推估出的運動參數控制下，不會超出其本身的限制範圍。第五圖內容上方係為一段影片不同時間點的禎數，下方則為六個自由度參數的變化趨勢，分別由左中至右中則為X向平移、Y向平移，縮放(zoom)可當作平台前後移動，又左下至右下則為水平向轉動、垂直向轉動及旋轉。

本實施例主要係藉由連續攝影機移動所拍攝之畫面推導，自動產出移動平台之運動參數，利用影片分鏡變換偵測將影片分割出各分鏡，再推導同一分鏡中攝影機畫面拍攝之運動參數，據以產生控制移動平台包含控制上下(Heave)、左右(Sway)、前後(Surge)、前傾(Pitch)、翻滾(Roll)及扭轉(Yaw)等六個自由度之運動參數。完成影片自動化分析，取代大部分人工調校，可提供快速與準確控制移動平台之運動參數。

本發明經過實驗測試後，實驗結果如下。

藉由設定投影轉換矩陣，作出一連串影像序列當作測試資料，投入上述之區塊移動向量估測，做為測試所推得之攝影機移動之運動參數。首先對單一運動參數做改變，產生出各種單一運動序列。利用一張圖片運用不斷地取其子範圍，做到模擬連續拍攝所獲一連串影像序列。如第六圖所示係為進行實驗測試之原圖，固定子範圍大小利用每隔pixel之寬度向水平方向連續擷取，所獲得影像序列如第七圖所示，用以模擬攝影機拍攝時所用到的水平平移，其中上半部圖係代表向右平移，而下半部圖則代表向左平移。在固定子範圍下藉由間隔一定pixel大小沿著垂直方向連續擷取，所獲得影像序列如第八圖所示，用以模擬攝影機拍攝時所用到的重直平移，其中上半部圖係代表向下平移，而下半部圖則代表向上平移。在模擬攝影機做鏡頭縮放功能時，在選定子範圍中心當作圖片中心做縮放，連續擷取縮放後圖片所獲得影像序列如第九圖所示，用以模擬攝影機拍攝時所用到的攝影機鏡頭縮放，其中上半部圖係代表鏡頭放大，而下半部圖則代表鏡頭縮小。同樣方式在選定子範圍中心做旋轉，連續擷取旋轉後圖片所獲得影像序列如第十圖所示，用以模擬攝影機拍攝時所用到的攝影機旋轉，其中上半部圖係代表順時針旋轉，而下半部圖則代表逆時針旋轉。

模擬水平運動測試：運用此方法製作單一運動變量之影像序列，以測試本發明所提出之運動參數估測方法，如影像序列1、2為攝影機水平移動，影像序列1首先隨機給定一個子範圍大小與位置，接著設定一段分鏡長度與此分鏡內所作水平橫移量大小為Tx pixel。假設子範圍左上角座標為(x，y)，此給定子範圍為分鏡第一張幀，接著平移Tx pixel，取一張相同大小左上角座標為(x+Tx，y)之幀，經由此步驟連續擷取完設定長度，即完成一段分鏡，接著重複相同步驟順序完成一長串測試影像序列。影像序列1與2不同地方在於分鏡起始點，序列b每段分鏡起始點為前一段最後位置。水平運動測試結果如第十一圖所示。

模擬垂直運動測試：影像序列3製作步驟也相同，設定一段分鏡長度與此分鏡內所作重直位移量大小為Ty pixel。假設子範圍左上角座標為(x，y)，此給定子範圍為分鏡第一張幀，接著平移Ty pixel，取一張相同大小左上角座標為(x，y+Ty)之幀，經由此步驟連續擷取完設定長度，即完成一段分鏡，接著重複相同步驟順序完成一長串測試序列。影像序列3與4不同地方在於分鏡起始點，影像序列4每段分鏡起始點為前一段最後位置。垂直運動測試結果如第十二圖所示。

模擬鏡頭縮放測試：影像序列5為攝影機鏡頭縮放，給定一個子範圍大小與位置，設定一段分鏡長度與此分鏡內幀與幀大小縮放比例f。假設 f>1，及下張幀為前一張幀作長寬放大f倍，為使影像序列長寬大小一定，則對其中心取給定大小範圍為新幀，重複此步驟完成分鏡用以模擬鏡頭放大(zoom in)。當f<1，及下張幀為前一張幀作長寬縮小f倍，為使影像序列長寬大小一定，則對原圖以其給定子範圍中心為縮放中心縮小原圖，取給定大小範圍為新幀，重複此步驟完成分鏡用以模擬鏡頭縮小(zoom out)。鏡頭縮放測試結果如第十三圖所示。

模擬鏡頭旋轉測試：影像序列6為相機旋轉，給定一個子範圍大小與位置，設定一段分鏡長度與此分鏡旋轉角度。假設r度，以給定子範圍中心為旋轉中心對原圖做旋轉，再擷取出給定大小。r>0為模擬鏡頭順時針旋轉，r<0為模擬鏡頭逆時針旋轉，鏡頭旋轉測試結果如十四圖所示。

如下列表一所示，列出測試各影像序列所得出之誤差值，平移誤差為水平、垂直方向估測參數與給定變量絕對誤差累加(pixel)，旋轉誤差為估測旋轉角度與測試給定角度絕對誤差累加(角度)，縮放誤差為估測縮放與給定縮放變量絕對誤差累加(比例)。影像序列7測試同時兩總變量平移與旋轉，影像序列8測試同時兩總變量平移與縮放，影像序列9測試同時兩總變量縮放與旋轉，影像序列10，11為隨機設定變量測資，每段分鏡中同時有多種方向運動變量。此六個單一運動變量參數，即是用以產生控制移動平台上下(Heave)、左右(Sway)與前後(Surge)方向之平移運動參數，以及前傾(Pitch)、翻滾(Roll)、扭轉(Yaw)之轉動運動參數。由實驗得知所推估得出之運動參數，除在同時有多總變量複雜情形外，皆擁有低誤差，可用以準確模擬相對平台運動參數。

表一

上述實驗數據係採用任意影片測試運動參數估測，因為沒有實際拍攝過程中各階段的各個變量參數，所以只能用人為判斷得出參數是否符合畫面呈現。如第五圖所示，係根據下方六個運動方式之長方圖分布，上方三個座標圖各別為X方向平移、Y方向平移、縮放，下方三個座標圖為水平轉動、垂直轉動、旋轉，皆可看出其整體參數造成之運動是符合影片呈現出之畫面變化。

因此本發明主要係透過影像處理技術，藉由連續攝影機移動所拍攝之畫面推導，自動產出移動平台參數，利用影片分鏡變換偵測將影片分割出各分鏡，再推導同一分鏡中攝影機畫面拍攝參數或分鏡與分鏡間之運動軌跡及速度，據以產生控制移動平台之擺動參數，完成影片自動化分析測試結果，取代大部分人工調校，提供快速與準確運動參數。並經由實驗結果可以知道我們分析畫面拍攝參數，所推出之各運動參數是符合拍攝畫面變化，即可以有效模擬出拍攝過程中攝影機動向。

又本發明經由設計實驗測試所獲得結果，當視訊做單一種運動方式拍攝時，本發明所提出之方法在分析視訊影像拍攝運動參數有著相當好成果。但是當視訊拍攝是多種變量同時進行或內容有過多非拍攝運動造成之變動，本方法所獲得運動參數真實性相對降低許多。係因為推估參數受到分析畫面所獲之特徵影響，所以當畫面中有太多雜訊，如物體移動佔畫面大部分時，所獲得之特徵就會受到影響，使得推估出參數有誤差。但此類所造成之問題，則並非為本發明所欲解決之問題，同時也不會影響到本發明上述功效之達成。

惟，以上所述僅為本發明其中之一實施例，當不能以此限定本發明之申請專利保護範圍，舉凡依本發明之申請專利範圍及說明書內容所作之簡單的等效變化與替換，皆應仍屬於本發明申請專利範圍所涵蓋保護之範圍內。

Claims

一種利用影片自動推導移動平台運動參數之方法，包含有下列步驟：A.擷取一段影片之畫面內容；B.對於影片進行場景分析，讀取該段影片之影像序列，計算出影片中各分鏡，對於影像序列進行場景分析係包含下列三個次步驟，B1.取得視覺內容特徵、B2.建構幀與幀間相關性及B3.設定分割方法，其中，次步驟B1取得視覺內容特徵，係利用分鏡邊界偵測法分析影片之影像序列，藉由色彩直方圖，將一幅幀區分成一左上、一右上、一左下、一右下四個區域，該四個區域大小相同且互不重疊，可做色彩為16個顏色區間之色彩直方圖，將其串聯成為一個有192個元素陣列H，用以表示每一幅幀之特徵；C.分析影片畫面拍攝內容，計算各種拍攝方式之運動參數，計算運動參數係包含下列三個次步驟，C1.區塊移動向量估測、C2.過濾移動向量及C3.運動參數推估；D.移動平台之運動參數推導，在移動平台可移動範圍內推導出相對應之運動參數，運動參數係包含控制移動平台上下、左右、前後、前傾、翻滾及扭轉之六個自由度。
如申請專利範圍第1項所述利用影片自動推導移動平台運動參數之方法，其中，次步驟B2建構幀與幀間相關性，係採用直方圖交集法計算，利用幀與幀之間的顏色比例，用以比對出二個幀之間的差異，其計算公式為：Σ_k min(，)；其中，下標k為色彩直方圖陣列元素指標，上標i，j分別代表第i和第j幀，兩色彩直方圖陣列愈相似，其值愈接近1，愈不相似則趨近於0。
如申請專利範圍第2項所述利用影片自動推導移動平台運動參數之方法，其中，再利用圖分割模型理論計算出分鏡邊界，將每幅幀當作成一節點，建構一個無方向性權重圖G=G(V，E)，其節點集合V中每個節點代表一幅幀，邊集合E中每個邊e(i，j)上權重w_ij代表第i幅幀和第j幅幀之間相似度，w_ij愈大表示愈相似，兩幅幀在同一個分鏡可能性愈高，輔助判斷第t幀與第t+1幀之間是否為分鏡邊界時，再利用下列公式輔助判斷幀與幀之間的相關性，用以作為分割的參考參數：令點集合A和B，分別代表兩段連續且相鄰之分鏡，邊上權重w_ij即為幀與幀之相似度，設在同幀集合中第i幀與第j幀之相似度總和，在不同幀集合中第i幀與第j幀之相似度總和，當A，B為不同分鏡，則可以視assoc(A)，assoc(B)為分鏡內部相關性，cut(A，B)則為分鏡之間相關性或稱外部相關性，藉由該兩條件建構出圖分割模型，以當作判斷分鏡邊界基準。
如申請專利範圍第1項所述利用影片自動推導移動平台運動參數之方法，其中，次步驟B3設定分割方法，係將權重w_ij定義為幀與幀之間相似度，利用直方圖交集法計算幀特徵之間相關性，並加入一個衰退係數，w_ij定義如下：上述d=10為一給定值，計算score(t)=Mcut({t-d+1，...，t}，{t+1，...，t+d})，值愈小表示第t幀與第t+1幀分別在不同分鏡可能性愈大。
如申請專利範圍第1項所述利用影片自動推導移動平台運動參數之方法，其中，次步驟C1區塊移動向量估測，影片拍攝過程中會涉及到攝影機之六個自由度變化，分別為對x，y和z軸平移，放大和縮小係視為對z軸前進後退所取得之變化，對x，y和z軸旋轉，對應上下傾斜、左右轉動和旋轉之移動方式，又藉由空間座標轉換與透視投影成像可以取得攝影機運動模型，投影過程係表示為：點p(x，y，z)為空間中一點，假設投影平面在z=d上，藉由齊次座標做投影轉換則投影在平面點；定義攝影機運動模型為八元素透視轉換模型如下：和為相同點分別在t ₁和t ₂幀上座標，(a ₀ ,....a ₇ )即為移動參數，當a ₆=a ₇=0時，模型視為仿射(Affine)模型，設a ₂=a ₅ ,a ₃=-a ₄，視為PTZ模型，各參數如下：pan=a₀；Tilt=a₁；推估運動參數，係運用區塊移動向量估測計算連續幀間運動，利用取得之向量關係推算，M為運動模型矩陣，和為連續幀i，j上對應點座標，為第k組對應點之向量，其誤差為：運用最小平方法取得最佳攝影機運動參數M_o，使得M_o=arg min_M ε(M)，拍攝運動方式藉由分析幀間特徵點移動向量，利用區塊移動向量估測，在第i幀中使用區塊大小為16x16像素之目標區塊，在第i-1幀中相同位置向外擴張一個視窗大小為16像素之範圍內尋找最匹配區塊位置，代表兩特徵點相對位置，差值即為移動向量，用以作為分析鏡頭運動之特徵。
如申請專利範圍第1項所述利用影片自動推導移動平台運動參數之方法，其中，次步驟C2過濾移動向量，由於區塊移動向量估測方式取得作為估測攝影機運動參數之特徵移動向量，在幀與幀之間相對移動向量特徵會受到各種雜訊之因素影響，使得移動向量包含誤差，故過濾移動向量係移除移動向量值過大者。
如申請專利範圍第1項所述利用影片自動推導移動平台運動參數之方法，其中，次步驟C3運動參數推估，求解最小平方法，係利用偽逆矩陣，A為一m x n階矩陣，當m≧n且A^TA之逆矩陣存在，則A⁺=(A^TA)^-1A^T滿足偽逆矩陣定義，設求解Ax=b，當rank(A)=n則解x=A⁺b會使得等式誤差最小，令，a_i=[x_i y_i 1]為點座標集合，一仿射矩陣，點a經過仿射變換後可視為aM=a+v_a，v_a為移動向量；求解M使得AMA+V，可視為求，則M_o=A⁺(A+V)。
如申請專利範圍第1項所述利用影片自動推導移動平台運動參數之方法，其中，調整推導出之拍攝運動參數，若每分鏡內其累計之運動量超出移動平台所能及運動範圍，調整方式為整段壓縮依其比例重新設定運動量，在分鏡與分鏡間其鏡頭運動常常是不連續，為使平台能連續性運動，會在分鏡最後使移動平台回到起始位置；，k=0~5； S_j，r為第j段分鏡扣掉最後r張畫格集合，這段r時間用來使平台位置歸零，由推估出之i，i+1幀間第k種運動參數值，調整符合移動平台限制範圍後之值，limit_k移動平台第k種運動自由度限制範圍。