TWI700000B

TWI700000B - 全景影片影像穩定方法及裝置與影像穩定演算法評估方法

Info

Publication number: TWI700000B
Application number: TW108103347A
Authority: TW
Inventors: 蔡宗諭; 陳奕志
Original assignee: 威盛電子股份有限公司
Priority date: 2019-01-29
Filing date: 2019-01-29
Publication date: 2020-07-21
Also published as: CN110022439A; US11627390B2; US20200244888A1; TW202029727A; CN110022439B

Abstract

一種全景影片的影像穩定方法及其裝置、以及影像穩定演算法的評估方法。全景影片的影像穩定方法適用於具有處理器的電子裝置。此方法擷取全景影片的多個影像圖框，並轉換各影像圖框為立方體映射的多個面上的多個投影畫面。接著針對轉換至各面上的投影畫面，計算時間相鄰的投影畫面之間的三軸位移及姿態角的變化量。然後平滑化三軸位移及姿態角的變化量，並將平滑化結果記錄為移動資訊。最後在播放全景影片時，使用移動資訊補正全景影片以進行播放。

Description

全景影片影像穩定方法及裝置與影像穩定演算法評估方法

本發明是有關於影像處理方法及裝置，且特別是有關於一種全景影片的影像穩定方法及裝置、以及影像穩定演算法的評估方法。

全景相機相較於傳統相機拍攝出來的影片，更能讓觀看者身歷其境的沉浸在影片之中。然而，觀看者在使用虛擬實境（Virtual Reality，VR）或其他裝置觀看全景影片時，若影像有任何拍攝過程中造成的晃動，晃動都可能被無限放大而加重觀看者的暈眩不適感。

目前市面上的全景相機產品，大多是將拍攝後的影片進行穩定計算並用以對整體影像進行覆蓋取代後另外存成新的影片。然而，這樣的計算會需要較長的計算時間及額外的儲存空間。

有鑑於此，本發明提供一種全景影片的影像穩定方法及裝置，其可將在拍攝時發生晃動的全景影片補正為具有穩定影像畫面的全景影片。本發明還提供一種影像穩定演算法的評估方法，其可用於評估影像穩定方法的性能。

本發明一實施例的全景影片的影像穩定編碼方法適用於具有處理器的電子裝置。此方法包括擷取全景影片的多個影像圖框，並轉換各影像圖框為立方體映射（Cubemap）的多個面上的多個投影畫面。接著針對轉換至各面上的投影畫面，計算時間相鄰的影像圖框的投影畫面之間的三軸位移及姿態角的變化量。最後將三軸位移及姿態角的變化量的結果儲存為移動資訊，其中移動資訊用於在播放全景影片時補正全景影片以進行播放。

本發明一實施例的全景影片的影像穩定播放方法適用於具有處理器的電子裝置。此方法包括讀取全景影片的多個影像圖框並將所述影像圖框貼到球型模型（spherical mesh）上。接著，讀取對應所述全景影片的移動資訊，以使用移動資訊的姿態角的變化量逆向補正貼到球面模型上的影像圖框。最後暫存補正後的球面模型的影像於記憶體，並依照移動資訊的三軸位移的變化量將球面模型的影像逆向補正搬移後進行播放，其中移動資訊的三軸位移的變化量以及姿態角的變化量是根據計算全景影片的時間相鄰的影像圖框的立方體映射的投影畫面之間的三軸位移及姿態角的變化量所產生。

本發明一實施例的全景影片的影像穩定裝置包括連接裝置、儲存裝置以及處理器。其中連接裝置連接影像來源裝置，以自影像來源裝置擷取全景影片。儲存裝置儲存程式。處理器耦接連接裝置及儲存裝置，並且處理器載入並執行儲存裝置中的程式以擷取所述全景影片的多個影像圖框，並轉換各影像圖框為立方體映射的多個面上的多個投影畫面。接著針對轉換至各面上的投影畫面，計算時間相鄰的影像圖框的投影畫面之間的三軸位移及姿態角的變化量。最後將三軸位移及姿態角的變化量的結果儲存為移動資訊，其中移動資訊用於在播放全景影片時補正全景影片以進行播放。

本發明一實施例的影像穩定演算法的評估方法適用於具有影像擷取裝置及處理器的電子裝置。此方法包括依照預設的三軸位移及姿態角的多個變化量，移動影像擷取裝置拍攝至少一測試圖案，以獲得全景影片的多個影像圖框。接著對影像圖框執行影像穩定演算法以進行逆向補正，獲得補正後的影像圖框。最後將逆向補正中所使用的三軸位移及姿態角的多個補正量與預設的三軸位移及姿態角的變化量比較，以計算評估影像穩定演算法的性能的指標。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明是將全景影片的影像圖框（frame）投影到立方體的多個面上以計算各影像圖框的投影畫面之間的三軸位移及姿態角（attitude angle）的變化量並記錄為移動資訊。而在播放全景影片時，影像穩定裝置即可使用此移動資訊對全景影片進行補正，從而降低全景影片的晃動感。其中，藉由將資料量較小的移動資訊取代為經穩定處理的全景影片，可降低對拍攝後影片進行穩定計算所需的計算量，並且不需要額外的儲存空間，即可實現影像的穩定化。

圖1繪示本發明一實施例的影像穩定裝置的方塊圖。本實施例的影像穩定裝置是以圖1中的電子裝置100為例。電子裝置100至少包括連接裝置110、儲存裝置120以及處理器130。電子裝置100例如是具備運算功能的相機、攝影機、手機、個人電腦、虛擬實境裝置、雲端伺服器或其他裝置，本發明不在此限制。

連接裝置110連接影像來源裝置（未繪示），以自影像來源裝置接收全景影片。具體而言，連接裝置110可以是任何以有線或無線方式與影像來源裝置連接，並接收由影像來源裝置所擷取的全景影片，其例如是通用序列匯流排（Universal Serial Bus，USB）、RS232、藍芽（Bluetooth，BT）、無線相容認證（Wireless fidelity，Wi-Fi）等傳輸介面，本發明不在此限制。影像來源裝置例如是可拍攝全景影片的全景相機、儲存有全景影片的硬碟或記憶卡、或是位於遠端用以儲存全景影片的伺服器，本發明不在此限制。

儲存裝置120例如是任何型態的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或類似元件或上述元件的組合而用以儲存可由處理器130執行的程式。

處理器130耦接連接裝置110及儲存裝置120，並且可以載入並執行儲存裝置120中儲存的程式。在不同實施例中，處理器130例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，本發明不在此限制。

圖2繪示本發明一實施例的全景影片的影像穩定方法的流程圖，其中步驟S202到步驟S208是全景影片的影像穩定的影像編碼方法，步驟S210是全景影片的影像穩定的影像播放方法。請同時參照圖1及圖2，本實施例的方法適用於上述電子裝置100，以下即搭配電子裝置100的各項裝置及元件說明本實施例的全景影片的影像穩定方法的詳細步驟。本技術領域人員應可理解，上述全景影片的影像穩定編碼方法與影像穩定播放方法不一定要在同一個電子裝置100中進行，也可以是在一個電子裝置100中進行影像穩定編碼方法，之後在另一個具備類似運算功能的電子裝置100a （未圖示）中進行影像穩定播放方法。

首先，由處理器130擷取全景影片的多個影像圖框（步驟S202）。其中，全景影片可以由電子裝置100中的連接裝置110自影像來源裝置接收。在本實施例中，影像來源裝置可以是配置有兩組180度魚眼鏡頭以對相背對的拍攝方向進行影片錄製的全景相機，或者是配置有更多組魚眼鏡頭以不同夾角為拍攝方向錄製影片的全景相機。其中，全景相機將多個方向影片中相對應的影像圖框拼接成例如是二維空間格式的全景影像圖框，以完成全景影片。影像來源裝置也可以是硬碟、記憶卡或遠端伺服器等用以儲存全景影片的裝置，本發明不在此限制。

此外，在一實施例中，全景影片中的各影像圖框是以等矩長方投影（Equirectangular projection）的格式來表示，其中等矩長方投影是將經度映射到恆定間距的垂直直線，以及將緯度映射到恆定間距的水平直線。在其他實施例中，除了等矩長方投影之外，也可以是米勒圓柱投影法（Miller cylindrical projection）、卡西尼投影法（Cassini projection）、立方體映射（Cubemap）、等角立方體映射（Equi-angular Cubemap，EAC）等投影，用於表示全景影片中的各影像圖框。

在擷取多個影像圖框後，由處理器130轉換各影像圖框為立方體映射的多個面上的多個投影畫面（步驟S204）。在一實施例中，立方體映射的多個面包括三組對面中各對面的其中一面，處理器130例如會利用立方體映射（Cubemap）將全景影片中各影像圖框投影到三維空間中立方體的前後對面中的一面、左右對面中的一面以及上下對面中的一面。

舉例來說，圖3A、3B繪示本發明一實施例的立方體映射投影的示意圖。請同時參照圖3A及3B，其中圖3B是立方體30的展開圖。在本實施例中，全景影片中的各影像圖框通過使用立方體30的六個面作為映射形狀來進行映射投影。也就是說，全景影像中的各影像圖框可被映射投影至立方體30的六個面，包括左面331、右面332、正面321、背面322、上面311及下面312，而分別生成左投影畫面L、右投影畫面R、前投影畫面F、後投影畫面B、上投影畫面T及下投影畫面U。其中，用於實現各種投影法與立方體映射投影之間的轉換方法為本領域技術人員所熟知，於此不再贅述。在一實施例中，立方體映射可以只映射至立方體30的三組對面中各對面的其中一面以供後續步驟進行計算，例如是只映射至正面321、右面332、下面312，而得到投影畫面F、R、U。

接著，由處理器130針對轉換至各面上的投影畫面，計算時間相鄰的影像圖框的投影畫面之間的三軸位移（即X軸、Y軸與Z軸各方向上的位移）及姿態角的變化量（步驟S206）。其中，所述的姿態角包括滾轉角（roll）、偏擺角（yaw）與俯仰角（pitch）。需說明的是，在以立方體映射的六個面計算三軸位移的及姿態角的變化量時，使用投影至立方體的左面及右面其中一面的時間相鄰的投影畫面即可計算出對應軸向上的位移及姿態角的值，例如X軸位移、Z軸位移及俯仰角；使用投影至正面及背面其中一面的時間相鄰的投影畫面即可計算出對應軸向上的位移及姿態角的值，例如Y軸位移、Z軸位移及滾轉角；使用投影至上面及下面其中一面的時間相鄰的投影畫面即可以計算出對應軸向上的位移及姿態角的值，例如X軸位移、Y軸位移及偏擺角。因此，在計算三軸位移的及姿態角的變化量時，可以使用映射至立方體的正面、右面及下面的投影畫面，藉此可減少計算量。在另一實施例中，也可以使用立方體映射的全部六個面來計算三軸位移的及姿態角的變化量，並且將三組相對面中的各對應相對面計算出的值進行平均，例如分別使用投影至立方體的左面及右面各自計算出一組X軸位移、Z軸位移及俯仰角的值，再計算上述兩組值的平均值做為最後的X軸位移、Z軸位移及俯仰角的值；對應的正面及背面與對應的上面及下面也以此類推進行計算。

在本實施例中，處理器130會在計算上述三軸位移及姿態角的變化時，例如會檢測各投影畫面中的多個特徵點（feature point），並且計算時間相鄰的影像圖框的投影畫面中各特徵點之間的差異，以推估三軸位移及姿態角的變化量。舉例而言，為了取得各投影畫面中各特徵點之間的差異，可以對各全景影片中各影像圖框轉換後的多個投影畫面執行特徵點檢測以找出各投影畫面中的多個特徵點，例如是使用邊緣偵測（edge detection）、角落偵測（corner detection）或其他特徵點檢測法。投影畫面中檢測出的特徵點數目可以由使用者設定或系統預先設定；使用的特徵點數目越多，後續的三軸位移及姿態角的變化量計算就越準確，但需要花費的計算時間或計算資源也越多。在一實施例中，處理器130可以使用OpenCV中提供的goodFeaturesToTrack()函數來獲取特徵點的像素的座標，接著再計算時間相鄰的影像圖框的投影畫面中的這些特徵點之間的位移，以估算出三軸位移及姿態角的變化量。在另一實施例中，也可以對各全景影片中各影像圖框轉換後的多個投影畫面執行深度估計技術，例如利用相對模糊（Relative blurriness）、基於區塊匹配（Block-based matching）或光流（Optical flow）等方法，來計算各投影畫面中各像素的移動量，以藉由各像素的移動量估算時間相鄰的投影畫面之間的三軸位移及姿態角的變化量。本實施例不限制三軸位移及姿態角的變化量的計算方式。

接著，由處理器130將三軸位移及姿態角的變化量的結果儲存為移動資訊（步驟S208）。在一實施例中，可以先平滑化三軸位移及姿態角的變化量，再將平滑化的結果儲存為移動資訊。其中，平滑化三軸位移及姿態角的變化量的計算方法可以是簡易的取時間上的平均（average），或可選的，對三軸位移的變化量及姿態角的變化量分別進行時間上的高斯平滑化計算而計算出平滑化的三軸位移變化量及平滑化的姿態角變化量，例如將時間相鄰的數個投影畫面的三軸位移及姿態角的變化量取平均或進行高斯平滑化計算，本實施例不限制平滑化的計算方式。在一實施例中，可以根據影像的不同晃動模式（例如因影像拍攝過程中拍攝者走路、跑步或手部不穩所造成的晃動等）而調整平滑化的計算方式，例如是調整用來取平均或進行高斯平滑化計算的時間相鄰的投影畫面的數目，或是調整高斯平滑化計算中使用的參數等。在另一實施例中，也可以進一步將平滑化後的三軸位移變化量或/及平滑化的姿態角變化量再乘上適當的比例常數以調整其數值範圍。在又一實施例中，也可以不進行平滑化的步驟而直接將步驟S206得到的三軸位移的變化量及姿態角的變化量結果記錄為移動資訊。另一方面，在一實施例中，處理器130會將所計算的移動資訊直接嵌入全景影片的元資料（metadata）中的多個欄位，也就是與原本的全景影片檔案結合為一個檔案。詳細而言，處理器130例如會在全景影片的元資料中新增時間戳、三軸位移、姿態角等欄位。以MP4檔案格式為例，處理器130會在其元資料中定義新的標籤（Tag），並在各標籤後面記錄對應的移動資料。而在另一實施例中，處理器130會將所計算的移動資訊另外儲存為一個移動資訊檔案，例如是將移動資料另外儲存為逗點分格值（Comma-Separated Values，CSV）檔案（附檔名為.CSV）等可在程式之間轉移表格資料的檔案。需注意的是，不管移動資訊是與原本的檔案結合或是儲存成另一個檔案，全景影片原始的檔案內容都會被儲存保留。在另一實施例中，全景影片的元資料或是另外儲存的移動資訊檔案中可以更進一步包含全景影片拍攝時所偵測的陀螺儀資訊欄位，例如經緯度、三軸旋轉速度、三軸線性加速度、三軸加速度等欄位。

最後，由處理器130在播放全景影片時，使用移動資訊補正全景影片以進行播放（步驟S210）。詳細而言，處理器130在進行全景影片播放時例如是將影片當作球型模型（spherical mesh）的貼圖，也就是將全景影片的影像圖框貼到球型模型上，接著讀取所記錄的移動資訊，以使用姿態角（即滾轉角、偏擺角與俯仰角）的變化量對貼到球面模型上的影像圖框進行逆向補正，藉此減低三軸旋轉方向上的晃動感。處理器130例如會將補正後的球面模型的影像暫存於記憶體（例如顯示器的緩衝記憶體），並依照三軸位移的變化量將球面模型的影像搬移後在顯示器播放，藉此減低三軸位移方向上的晃動感。

在本發明一實施例中，電子裝置100從影像來源裝置擷取全景影片V1，其中包括時間戳為T0~T3的影像圖框F0~F3。電子裝置100將影像圖框F0~F3映射投影至例如圖3A中立方體30的多個面，以獲得投影畫面。其中，投影在左面331獲得投影畫面F0_331~F3_331；投影在右面332獲得投影畫面F0_332~F3_332；投影在背面322獲得投影畫面F0_322~F3_322；投影在正面321獲得投影畫面F0_321~F3_321；投影在上面311獲得投影畫面F0_311~F3_311；以及投影在下面312獲得投影畫面F0_312~F3_312。

如前面段落所述，處理器130可以只使用立方體30其中3個面的投影畫面的特徵點計算出時間戳T0~T3的投影畫面之間的三軸位移及姿態角的變化量。在本實施例中，處理器130以影像圖框F0~F3轉換至背面322的投影畫面F0_322~F3_322計算時間戳T0~T3中相鄰時間點的各投影畫面之間的Y軸位移、Z軸位移及滾轉角的變化量；以轉換至右面332的投影畫面F0_332~F3_332計算時間戳T0~T3中相鄰時間點的各投影畫面之間的X軸位移及俯仰角的變化量；以及以轉換至下面312的投影畫面F0_312~F3_312計算時間戳T0~T3中相鄰時間點的各投影畫面的偏擺角的變化量；但本發明並不限於此，亦可以使用不同的面的投影畫面來計算對應的三軸位移及姿態角的變化量。接著，處理器130將這些變化量的值進行平滑化處理，並將平滑化結果嵌入全景影片的元資料中的對應欄位。在一實施例中，對應欄位所記錄的三軸位移及姿態角的結果可以是相對於某一特定時間戳的影像圖框（例如全景影片中的第一個影像圖框）所累積的變化量，其中各欄位所記錄的平滑化計算結果如下表1所示（單位：度）：

表1

時間戳	X軸位移	Y軸位移	Z軸位移	俯仰角	滾轉角	偏擺角
T0	87.36901	36.027657	-24.343977	36.027657	87.369	87.87248
T1	87.89885	32.960445	-22.605251	32.96045	87.8988	88.237144
T2	87.58022	33.8715	-23.4202	33.871494	87.58018	87.991036
T3	87.39248	45.426464	-37.113262	45.426464	87.38351	88.16401

在另一實施例中，對應欄位所記錄的三軸位移及姿態角的結果也可以是相對於前一個時間戳的影像圖框的變化量。在其他實施例中，處理器130也可將上表1的平滑化結果另外儲存為移動資訊檔案，在此不設限。

當電子裝置100在播放全景影片時，處理器130會使用移動資訊補正全景影片以進行播放。具體而言，處理器130先讀取全景影片的影像圖框，並將影像圖框貼到球型模型上。接著，處理器130讀取先前所記錄的移動資訊，並進行必要的單位或/及座標轉換（例如將三軸位移的變化量的單位由度數轉換為像素數等），再以移動資訊中所記錄的平滑化後的滾轉角、偏擺角及俯仰角的變化量套用到球型模型上。意即，以所述滾轉角、偏擺角及俯仰角的變化量對貼到球面模型上的影像圖框進行逆向補正（即逆向旋轉所述滾轉角、偏擺角及俯仰角的變化量）。處理器130接著將補正後的球面模型的影像暫存於儲存裝置120或其他記憶體（例如顯示器的緩衝記憶體），然後再依照X軸位移、Y軸位移及Z軸位移的變化量將補正後的球面模型的影像逆向搬移後在顯示器播放。

在本發明另一實施例中，如前面段落所述，處理器130更擷取全景影片拍攝時所偵測的陀螺儀資訊，而將陀螺儀資訊與平滑化結果一同記錄為移動資訊。藉此，在播放全景影片時，處理器130除了使用平滑化結果來補正全景影片外，亦可以使用陀螺儀資訊對補正後的全景影片後製特效，以進行播放。例如，由於陀螺儀資訊可以用於區分全景影片拍攝時相對於地面的真正上方或下方，因此使用陀螺儀資訊可以實現如子彈時間（Bullet time）、影像自動水平等後製特效。

本發明另一實施例還提供一種影像穩定演算法的評估方法，適用於具有影像擷取裝置及處理器的電子裝置。圖4繪示本發明一實施例的影像穩定演算法的評估裝置的方塊圖。本實施例的評估裝置是以圖4中的電子裝置400為例。電子裝置400至少包括影像擷取裝置410、儲存裝置420以及處理器430。電子裝置400例如是具備運算功能的相機、攝影機、手機、個人電腦、虛擬實境裝置、雲端伺服器或其他裝置。影像擷取裝置410例如是配置有電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他種類的感光元件的影像感測器，而可感測進入光學鏡頭的光線強度以產生影像。儲存裝置420及處理器430的種類與前述實施例的儲存裝置120及處理器130相同或相似，故其詳細內容在此不再贅述。

圖5繪示本發明一實施例的影像穩定演算法的評估方法的流程圖。請同時參照圖4及圖5，本實施例的方法適用於上述電子裝置400，以下即搭配電子裝置400的各項裝置及元件說明本實施例的影像穩定演算法的評估方法的詳細步驟。

首先，由電子裝置400的處理器430依照預設的三軸位移及姿態角的多個變化量，移動影像擷取裝置410拍攝至少一測試圖案（例如，但不限於，三軸方向上各一個測試圖案），以獲得全景影片的多個影像圖框（步驟S502）。接著，對影像圖框執行待評估的影像穩定演算法以進行逆向補正，獲得補正後的影像圖框（步驟S504）。最後，將逆向補正中所使用的三軸位移及姿態角的多個補正量與預設的三軸位移及姿態角的變化量比較，以計算評估影像穩定演算法的性能的指標（步驟S506）。其中，影像穩定演算法的評估方法更可以將逆向補正中所使用的三軸位移及姿態角的多個補正量與周邊硬體裝置記錄的資料比較，以計算電子裝置400的處理器430所執行的視頻編碼器（video encoder）與周邊硬體裝置之間同步的時間差。

舉例來說，圖6A及圖6B繪示本發明一實施例的影像穩定演算法的評估方法的範例。請同時參照圖4、圖6A及圖6B，本實施例適用於上述圖4中的電子裝置400。首先，電子裝置400的處理器430會使用影像擷取裝置410拍攝包括測試圖案60（僅示出一個）在內的影像圖框601（如圖6A所示），然後再依照預設的三軸位移及姿態角的多個變化量移動或旋轉影像擷取裝置410以拍攝測試圖案60，而獲得如圖6B所示的影像圖框602。其中，所述預設的三軸位移及姿態角的多個變化量包括X、Y、Z軸方向上位移的變化量以及相對X、Y、Z軸旋轉所得到的滾轉角、偏擺角及俯仰角的變化量。

由於影像擷取裝置410的移動是依照預設的變化量進行，因此處理器430在對影像擷取裝置410所擷取的影像圖框執行待評估的影像穩定演算法以進行逆向補正後，可以將其實際移動影像擷取裝置410的距離或旋轉角度（即，三軸位移及姿態角的變化量）與對影像圖框執行影像穩定演算法以逆向補正時所使用的三軸位移及姿態角的多個補正量進行比較，從而評估補正是否正確及/或補正結果的正確性。

詳言而言，在使用所述影像穩定演算法對影像圖框執行逆向補正時，例如可獲得「逆向補正中所使用的三軸位移及姿態角的補正量」。據此，本實施例的評估方式例如是以像素為單位計算實際移動影像擷取裝置410的「三軸位移及姿態角的變化量」與執行影像穩定演算法所獲得的「逆向補正的三軸位移及姿態角的補正量」的差異，從而以此差異的大小做為評估影像穩定演算法的性能的指標。

在一實施例中，上述影像穩定演算法的評估方法除了可評估補正的正確性外，更可以將執行上述影像穩定演算法的電子裝置400的視頻編碼器的結果隨時間的變化與周邊硬體裝置記錄的資料隨時間的變化進行比較，以輔助計算電子裝置400的視頻編碼器與周邊硬體裝置之間的同步時間差，而用於各軟體與硬體間同步的計算。其中周邊硬體裝置例如是陀螺儀或慣性測量單元（Inertial measurement unit）等用於測量電子裝置移動、旋轉位置及方向的硬體，本發明不在此限制。

綜上所述，本發明的全景影片影像穩定方法及裝置與影像穩定演算法評估方法藉由將全景影片的影像圖框投影到立方體的多個面上，以計算各投影畫面之間的三軸位移及姿態角的變化量並記錄為移動資訊，從而在播放全景影片時，可使用移動資訊對全景影片進行補正。藉此，本發明可降低對拍攝後影片進行穩定計算所需的計算量，並且不需要額外的儲存空間，即可實現影像的穩定化。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100、400:電子裝置 110:連接裝置 120、420:儲存裝置 130、430:處理器 30:立方體 311:上面 312:下面 321:正面 322:背面 331:左面 332:右面 410:影像擷取裝置 60:測試圖案 601、602:影像圖框 B、F、L、R、T、U:投影畫面 S202~S210、S502~S506:步驟

圖1繪示本發明一實施例的影像穩定裝置的方塊圖。圖2繪示本發明一實施例的全景影片的影像穩定方法的流程圖。圖3A、3B繪示本發明一實施例的立方體映射投影的示意圖。圖4繪示本發明一實施例的影像穩定演算法的評估裝置的方塊圖。圖5繪示本發明一實施例的影像穩定演算法的評估方法的流程圖。圖6A及圖6B繪示本發明一實施例的影像穩定演算法的評估方法的範例。

S202~S210:步驟

Claims

一種全景影片的影像穩定編碼方法，適用於具有處理器的電子裝置，該方法包括下列步驟：擷取一全景影片的多個影像圖框；轉換各所述影像圖框為立方體映射（Cubemap）的多個面上的多個投影畫面；針對轉換至各所述面上的所述投影畫面，計算時間相鄰的所述影像圖框的所述投影畫面之間的三軸位移及姿態角的變化量；以及將所述三軸位移及所述姿態角的變化量的結果儲存為移動資訊，其中所述移動資訊用於在播放所述全景影片時補正所述全景影片以進行播放。
如申請專利範圍第1項所述的方法，其中針對轉換至各所述面上的所述投影畫面，計算時間相鄰的所述影像圖框的所述投影畫面之間的所述三軸位移及所述姿態角的變化量的步驟包括：檢測各所述投影畫面中的多個特徵點；以及計算時間相鄰的所述影像圖框的所述投影畫面中各所述特徵點之間的差異，以推估所述三軸位移及所述姿態角的變化量。
如申請專利範圍第1項所述的方法，其中將所述三軸位移及所述姿態角的變化量的結果儲存為移動資訊的步驟包括：平滑化所述三軸位移及所述姿態角的變化量，並將平滑化的所述三軸位移及所述姿態角的變化量的結果儲存為所述移動資訊。
如申請專利範圍第1項所述的方法，其中將所述三軸位移及所述姿態角的變化量的結果儲存為所述移動資訊的步驟包括：將所述移動資訊嵌入所述全景影片的元資料（metadata）中的多個欄位。
如申請專利範圍第1項所述的方法，其中將所述三軸位移及所述姿態角的變化量的結果儲存為所述移動資訊的步驟包括：將所述移動資訊儲存為所述全景影片之外的移動資訊檔案。
如申請專利範圍第1項所述的方法，更包括：擷取所述全景影片拍攝時所偵測的陀螺儀資訊；以及將所述陀螺儀資訊與所述三軸位移及所述姿態角的變化量的結果儲存為所述移動資訊，其中所述移動資訊的所述陀螺儀資訊用於後製補正後的所述全景影片的播放特效。
如申請專利範圍第1項所述的方法，其中所述立方體映射的所述多個面包括三組對面中的各所述對面的其中一面。
一種全景影片的影像穩定播放方法，適用於具有處理器的電子裝置，該方法包括下列步驟：讀取全景影片的多個影像圖框並將所述影像圖框貼到球型模型（spherical mesh）上；讀取對應所述全景影片的移動資訊，以使用所述移動資訊的姿態角的變化量逆向補正貼到所述球面模型上的所述影像圖框；以及暫存補正後的所述球面模型的影像於記憶體，並依照所述移動資訊的三軸位移的變化量將所述球面模型的影像逆向補正搬移後進行播放，其中所述移動資訊的所述三軸位移的變化量以及所述姿態角的變化量是根據計算所述全景影片的時間相鄰的所述影像圖框的立方體映射的投影畫面之間的三軸位移及姿態角的變化量所產生。
如申請專利範圍第8項所述的方法，其中所述移動資訊是嵌入所述全景影片的元資料中的多個欄位。
如申請專利範圍第8項所述的方法，其中所述移動資訊是所述全景影片之外的移動資訊檔案。
如申請專利範圍第8項所述的方法，其中所述移動資訊更包括陀螺儀資訊，其中所述陀螺儀資訊用於後製補正後的所述全景影片的播放特效。
一種全景影片的影像穩定裝置，包括：連接裝置，連接影像來源裝置，以自所述影像來源裝置擷取一全景影片；儲存裝置，儲存程式；以及處理器，耦接該連接裝置及該儲存裝置，載入並執行該儲存裝置中的所述程式以：擷取所述全景影片的多個影像圖框；轉換各所述影像圖框為立方體映射的多個面上的多個投影畫面；針對轉換至各所述面上的所述投影畫面，計算時間相鄰的所述影像圖框的所述投影畫面之間的三軸位移及姿態角的變化量；以及將所述三軸位移及所述姿態角的變化量的結果儲存為移動資訊，其中所述移動資訊用於在播放所述全景影片時補正所述全景影片以進行播放。
如申請專利範圍第12項所述的裝置，其中所述處理器包括檢測各所述投影畫面中的多個特徵點，以及計算時間相鄰的所述影像圖框的所述投影畫面中各所述特徵點之間的差異，以推估所述三軸位移及所述姿態角的變化量。
如申請專利範圍第12項所述的裝置，其中所述處理器包括平滑化所述三軸位移及所述姿態角的變化量，並將平滑化的所述三軸位移及所述姿態角的變化量的結果儲存為所述移動資訊。
如申請專利範圍第12項所述的裝置，其中所述處理器包括將所述移動資訊嵌入所述全景影片的元資料中的多個欄位。
如申請專利範圍第12項所述的裝置，其中所述處理器包括將所述移動資訊儲存為所述全景影片之外的移動資訊檔案。
如申請專利範圍第12項所述的裝置，其中所述處理器更包括擷取所述全景影片拍攝時所偵測的陀螺儀資訊，將所述陀螺儀資訊與所述三軸位移及所述姿態角的結果儲存為所述移動資訊，其中所述移動資訊的所述陀螺儀資訊用於後製補正後的所述全景影片的播放特效。
如申請專利範圍第12項所述的裝置，其中所述立方體映射的所述多個面包括三組對面中的各所述對面的其中一面。
一種影像穩定演算法的評估方法，適用於具有影像擷取裝置及處理器的電子裝置，該方法包括下列步驟：依照預設的三軸位移及姿態角的多個變化量，移動所述影像擷取裝置拍攝至少一測試圖案，以獲得一全景影片的多個影像圖框；對所述影像圖框執行影像穩定演算法以進行逆向補正，獲得補正後的所述影像圖框；以及將逆向補正中所使用的所述三軸位移及姿態角的多個補正量與預設的所述三軸位移及姿態角的所述變化量比較，以計算評估所述影像穩定演算法的性能的指標。
如申請專利範圍第19項所述的方法，更包括：將逆向補正中所使用的所述三軸位移及姿態角的多個補正量隨時間的變化與周邊硬體裝置記錄的資料隨時間的變化進行比較，以計算所述電子裝置的視頻編碼器與所述周邊硬體裝置之間同步的時間差。