TWI683280B

TWI683280B - 立體環景影片產生方法及裝置

Info

Publication number: TWI683280B
Application number: TW107100258A
Authority: TW
Inventors: 鄭廷威
Original assignee: 威盛電子股份有限公司
Priority date: 2017-08-16
Filing date: 2018-01-04
Publication date: 2020-01-21
Also published as: TW201911239A

Abstract

一種立體環景影片產生方法及裝置。此方法擷取環景影片中多個圖幀，並將各圖幀轉換為多面體映射投影，其中多面體映射投影包括多個側面圖、上圖及下圖，接著依據各圖幀轉換後的多個側面圖計算側面圖中多個像素的移動量，並依據側面圖的移動量計算上圖與下圖中多個像素的移動量，然後依據所計算的多面體映射投影的移動量，將各圖幀轉換後的側面圖、上圖及下圖中的像素平移，以生成平移多面體映射投影，最後將平移多面體映射投影轉換為具有二維空間格式的平移圖幀，並將平移圖幀與對應的圖幀組成立體影像以編碼成立體環景影片。

Description

立體環景影片產生方法及裝置

本發明是有關於一種影片產生方法及裝置，且特別是有關於一種立體環景影片產生方法及裝置。

球面環景相機系統中主要是利用一個或多個相機拍攝沿著水平軸的360度視野（field of view，FOV）和沿著垂直軸的180度視野的球面環景影片。如此，可以捕捉到相機系統（或者預期的觀看者）周圍各個方向上的整體環境，以用於例如虛擬實境（Virtual reality，VR）應用。近年來，技術已經發展到可以將球面環景相機系統所擷取的影片在顯示設備上以立體的方式呈現。

然而，大部分的球面環景影片內容僅用於二維顯示，因此，存在著將以二維球面環景影片呈現的數位內容轉換為以立體球面環景影片呈現的需求。

本發明提供一種立體環景影片產生方法及裝置，其係將環景影片的圖幀投影到多面體上並計算各投影中像素的移動量，用以對像素進行平移以獲得具視差的圖幀，而可與原始圖幀結合以產生立體環景影片。

本發明的立體環景影片產生方法適用於具有處理器的電子裝置，此方法是擷取環景影片中多個圖幀，並將各圖幀轉換為多面體映射投影，其中多面體映射投影包括多個側面圖、上圖及下圖。接著依據各圖幀轉換後的多面體映射投影的側面圖計算側面圖中多個像素的移動量，並依據側面圖的移動量計算多面體映射投影的上圖與下圖中多個像素的移動量。然後依據所計算的多面體映射投影的移動量，將各圖幀轉換後的多面體映射投影的側面圖、上圖及下圖中的像素平移，以生成平移多面體映射投影。最後將平移多面體映射投影轉換為具有二維空間格式的平移圖幀，並將平移圖幀與對應的圖幀組成立體影像以編碼成立體環景影片。

本發明的立體環景影片產生裝置包括連接裝置、儲存裝置及處理器。其中，連接裝置連接影像來源裝置，用以自影像來源裝置接收環景影片。儲存裝置是用以儲存多個模組。處理器耦接連接裝置及儲存裝置，用以載入並執行儲存裝置中的模組，這些模組包括圖幀擷取模組、映射模組、視差計算模組、像素平移模組、轉換模組及影片編碼模組。圖幀擷取模組擷取環景影片中多個圖幀；映射模組將各圖幀轉換為多面體映射投影，其中多面體映射投影包括多個側面圖、上圖及下圖；視差計算模組取各圖幀轉換後的多面體映射投影的側面圖計算側面圖中多個像素的移動量，並依據側面圖的移動量計算多面體映射投影的上圖與下圖中多個像素的移動量；像素平移模組依據所計算的多面體映射投影的移動量，將各圖幀轉換後的多面體映射投影的側面圖、上圖及下圖中的像素平移，以生成平移多面體映射投影；轉換模組將平移多面體映射投影轉換為具有二維空間格式的平移圖幀；影片編碼模組將平移圖幀與對應的圖幀組成立體影像以編碼成立體環景影片。

基於上述，本發明的立體環景影片產生方法及裝置藉由將具有二維空間格式的球面環景影片的各圖幀轉換為三維空間中多面體的映射投影，並計算該映射投影每一面像素的移動量，據以對像素進行平移，將平移後的圖幀轉回二維空間格式，藉此使平移後的圖幀與相對應的原始圖幀可組成立體環景影像而用以編碼成立體環景影片。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

為了將二維的球面環景影片以立體的方式呈現，本發明的裝置除了將球面環景影片中各圖幀轉換為三維空間中多面體（polyhedron）的映射投影，並計算各圖幀的側面圖中各像素的移動量外，還依據側面圖邊緣的移動量進行上圖與下圖中各像素的移動量的推算。依據上述計算或推算出來的移動量，平移各圖幀中轉換後的映射投影的側面圖、上圖及下圖中的各像素，從而獲得平移映射投影。接著，將平移映射投影轉換回具有二維空間格式的平移圖幀，並且分別將平移圖幀與相對應的原始圖幀配置於左右眼而獲得立體影像。最後，將所獲得的立體影像編碼，即可產生具立體效果的環景影片。

圖1是依照本發明一實施例所繪示之立體環景影片產生裝置的方塊圖。本實施例的立體環景影片產生裝置是以圖1中的電子裝置10為例，其例如是具備運算功能的相機、攝影機、手機、個人電腦、VR頭盔（headset）、雲端伺服器或其他裝置，其中至少包括連接裝置12、儲存裝置14及處理器16，其功能分述如下：

連接裝置12例如是通用序列匯流排（Universal Serial Bus，USB）、RS232、藍芽、無線相容認證（Wireless fidelity，Wi-Fi）等有線或無線的傳輸介面，其可用以連接影像來源裝置，從而自影像來源裝置接收影片。所述的影像來源裝置例如是可拍攝環景影片的環景相機、儲存有環景影片的硬碟或記憶卡、或是位於遠端用以儲存環景影片的伺服器，在此不設限。

儲存裝置14例如是任何型態的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或類似元件或上述元件的組合。在本實施例中，儲存裝置14用以記錄圖幀擷取模組141、映射模組142、視差計算模組143、像素平移模組144、轉換模組145及影片編碼模組146。

處理器16例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，其與連接裝置12及儲存裝置14連接。

在本實施例中，儲存在儲存裝置14中的模組例如是電腦程式，而可由處理器16載入，據以執行本實施例的立體環景影片產生的方法。以下即舉實施例說明此方法的詳細步驟。

圖2是依照本發明一實施例所繪示之立體環景影片產生方法的流程圖。請同時參照圖1及圖2，本實施例的方法適用於上述圖1的電子裝置10，以下即搭配圖1中電子裝置10的各項裝置，說明本實施例立體環景影片產生方法的詳細步驟：

首先，由圖幀擷取模組141從連接裝置12所接收的影片中擷取多個圖幀（步驟S202）。其中，所述圖幀可以具有二維空間格式，但本發明不限於此。其中，所述的影片例如是電子裝置10自影像來源裝置接收的環景影片，所述的影像來源裝置可以是配置於電子裝置上的多個相機，用以拍攝電子裝置前方、後方等視野的影片，並將多個視野影片中相對應的圖幀拼接成例如是二維空間格式的球面環景圖幀，以完成球面環景影片。影像來源裝置也可以是電子裝置本身的儲存裝置14，用以儲存已拍攝的球面環景影片，但不限於此。

需說明的是，在本實施例中，用以拍攝影片的多個相機例如是魚眼相機，其具有接近180度的視角，而多個視野影片可拍攝涵蓋部分重疊的影像以便拼接。在其他實施例中，相機也可以是除魚眼相機之外的相機，並且多個相機中相對應的各視野影片之間也可以是不重疊的。

此外，在本實施例中，球面環景影片中的各圖幀是以等矩長方投影（Equirectangular projection）的格式來表示，其中等矩長方投影是將經度映射到恆定間距的垂直直線，以及緯度映射到恆定間距的水平直線。在其他實施例中，除了等矩長方投影之外，也可以是米勒圓柱投影（Miller cylindrical projection）、卡西尼投影（Cassini projection）等投影，用於表示球面環景影片中的各圖幀。

回到圖2的流程，在擷取多個圖幀後，映射模組142將球面環景影片中各圖幀轉換為多面體映射投影（步驟S204）。在一實施例中，映射模組142例如會利用立方體映射投影（Cube map），將球面環景影片中各圖幀投影到三維空間中立方體的六個方形面，並將所述投影以六個方形紋理（texture）或展開為具有六個區域的單一紋理的方式儲存。舉例來說，圖3是依照本發明一實施例所繪示之圖幀的等距長方投影對應於立方體映射投影的示意圖。請參照圖3，本實施例各圖幀的等距長方投影圖30中包含對應立方體映射投影的多個側面圖32、上圖34及下圖36的影像部分。其中，上述的多個側面圖32包括左圖322、前圖324、右圖326及後圖328。在其他實施例中，映射模組142也可以使用除了立方體之外的多面體，例如三角棱柱、六角棱柱等，以用於球面環景影片中各圖幀的環境映射投影。一般而言，球面環景影片中各圖幀可投影到包括上面、下面及多個側面的多面體上，而生成上圖、下圖及多個側面圖，其中上圖及下圖各自具有多個邊緣，且上圖/下圖的每個邊緣均對應於其中一個側面圖的上部/下部邊緣。例如，在立方體映射投影的情況下，側面圖的數量為四個，上圖及下圖的邊緣的數量皆為四個，而分別與四個側面圖的邊緣相對應。

舉例來說，圖4A、圖4B是依照本發明一實施例所繪示之立方體映射投影的示意圖。請同時參照圖3、圖4A及圖4B，其中圖4B是立方體40的展開圖。在本實施例中，球面環景影片中各圖幀的等矩長方投影通過使用立方體40的六個面作為映射形狀的立方體映射來進行映射投影。也就是說，球面環景影片中各圖幀的等距長方投影圖30中對應的左圖322、前圖324、右圖326、後圖328、上圖34及下圖36的影像部分分別被映射投影至立方體40的六個面而生成左圖422、前圖424、右圖426、後圖428、上圖44及下圖46，並儲存為六個正方形。其中，用於實現等矩長方投影與立方體映射投影之間的轉換方法為本領域技術人員所熟知，在此不再贅述。

值得注意的是，由於立方體映射是從代表每個立方體面的90度視錐體（view frustum）所定義的視點繪製景物六次而產生，因此與其他類型的映射投影相比，其像素計算可以以更線性的方式進行。另外，當要使用虛擬實境設備顯示球面環景影片時，採用立方體映射投影格式的影片可更加受到立體圖形硬體加速的支援。此外，在一實施例中，映射投影中的左圖422、前圖424、右圖426、後圖428、上圖44及下圖46是具有相同寬度（以像素為單位）的正方形。在另一實施例中，左圖422、前圖424、右圖426及後圖428的寬度W（以像素為單位）也可以是以等矩長方投影表示的球面環景影片中各圖幀的水平解析度（以像素為單位）的四分之一。然而，本發明並不限於此。在其他實施例中，其他的四邊形（tetragon）、高度或寬度也可以用於上述的左圖422、前圖424、右圖426、後圖428、上圖44及下圖46。

回到圖2的流程，在獲得轉換後的多面體映射投影後，視差計算模組143會取各圖幀轉換後的映射投影的多個側面圖來計算側面圖中多個像素的移動量，並依據側面圖的移動量來計算映射投影的上圖與下圖中多個像素的移動量（步驟S206）。需注意的是，由於深度感知是由眼睛的水平分離視差所引起的，因此上圖和下圖（其大致與眼睛分離所在的水平面平行）的移動量應當與多個側面圖（其大致與眼睛分離所在的水平面正交）的移動量以不同方法進行計算。

在一實施例中，為了取得球面環景影片中各圖幀每個像素的移動量，可以對球面環景影片中各圖幀轉換後的映射投影的多個側面圖進行已知的深度估計技術，例如利用相對模糊（Relative blurriness）、基於區塊匹配（Block-based matching）或光流（Optical flow）等方法，來計算側面圖中各像素的初始移動量。

在上述深度估計技術中，相對模糊法是從相機焦點的角度來看，距相機較遠的物體比較接近相機的物體模糊，因此，該方法是基於圖幀中各像素的模糊程度來計算每個像素的移動量。

在基於區塊匹配方法中，影片的一個或多個圖幀被分割成多個區塊，當前圖幀的各區塊可以與大小相同但在參考圖幀中移位的區塊進行比較。其中與最小匹配成本相關聯的確定位移可以被識別為所述區塊中的所有像素的估計移動幅度，且上述移動幅度可用來計算一個或多個圖幀中像素的移動量。例如，移動幅度較大的像素可被認定為更靠近相機。

另一方面，光流法可以識別物體亮度模式的移動，例如，影片中各圖幀的光流可被認為是移動場，其中每個點被指定有描述其移動的速度向量。光流技術可以包括經由亮度常數方程式（brightness constancy equation）將物件速度與基於像素梯度的亮度變化相關聯，其可以使用全面或局部的優化技術來計算一個或多個圖幀中像素的光流移動向量。合適的已知光流方法可以包括Farneback方法、Lucas-Kanade方法、主成份分析（principal component analysis，PCA）方法等。在一些實施例中，可以使用任意的光流法來計算側面圖的初始移動量。

在本實施例中，側面圖中多個像素的移動量的計算是先計算各圖幀轉換後的映射投影的側面圖之間的光流場，其中上述的光流場表示為各圖幀轉換後的映射投影的側面圖中各像素在多個軸向上的初始移動量。接著，可選地，對初始移動量進行高斯平滑化計算而計算出平滑移動量；在一實施例中，上述的高斯平滑化計算可包括時間軸上的高斯平滑化計算或空間上的高斯平滑化計算。

舉例來說，圖5A及圖5B是依照本發明一實施例所繪示之球面環景影片中圖幀轉換後的映射投影的側面圖的範例。請同時參照圖5A及圖5B，圖幀50a為影片中時間T的圖幀，圖幀50b為影片中時間T+1的圖幀。在本實施例中，影片中圖幀50a的各像素與圖幀T+1的各像素之間的移動的畫素數量代表側面圖中各像素的初始移動量。其中，距離觀看者較遠的物件的像素具有較小的初始移動量，相反地，距離觀看者較近的物件的像素具有較大的初始移動量。

詳細來說，影片中圖幀50a的每個像素（i,j）的初始移動量

可包括歐幾里德坐標（Euclidian coordinates）中的水平移動量（

）和垂直移動量（

）：

可選地，可以進一步使用高斯濾波器對初始移動量進行時間平滑化以產生平滑移動量

，例如：

為了使像素移動量的幅度適用於不同顯示器的影像解析度，可以將初始移動量（或平滑移動量）乘以正規化（normalization）因子P，其中正規化因子P與球面環景影片中各圖幀轉換後的映射投影的側面圖的寬度W（以像素為單位）的解析度成比例，而這亦可以與如上所述的一些實施例中以等矩長方投影格式表示的球面環景影片中各圖幀的水平解析度（以像素為單位）成比例，從而得到每個像素的最終移動量

：

雖然最終移動量

在下標中省略了時間T的標示，但本領域人員應當理解最終移動量也是針對各時間T進行計算。在另一實施例中，若顯示器的影像解析度剛好可配合球面環景影片中各圖幀的水平解析度，則正規化因子P可以是1，亦即最終移動量等於初始移動量。可選地，可以進一步使用例如高斯模糊濾波器對初始移動量進行空間平滑化以得到更平滑的最終移動量。且本領域技術人員應可理解，可以根據不同的情況改變執行正規化、時間平滑化及空間平滑化的順序以得到最終移動量。此外，還可以調整在時間平滑化及空間平滑化中使用的參數和/或濾波器。

舉例來說，圖6A至圖6C是依照本發明一實施例所繪示之計算移動量的範例。請參考圖6A至圖6C，影像60a是圖幀轉換後的映射投影的側面圖的光流場圖，影像60b呈現圖幀轉換後的映射投影的側面圖的初始移動量，影像60c呈現圖幀轉換後的映射投影的側面圖套用高斯模糊後的平滑移動量。

視差計算模組143在計算各側面圖中每個像素的最終移動量後，取各側面圖中位於與上圖及下圖的邊界的多個邊緣像素的最終移動量計算上圖及下圖的多個邊緣像素的移動量，以及以邊緣像素的移動量作為初始值，計算上圖及下圖內其他像素的移動量。詳細來說，上圖的邊緣及下圖的邊緣（即，上圖/下圖中像素的最外側的一行）的每一行像素被指定有移動量（例如，最終移動量Δd_(i,j) ），上述被指定的移動量是根據側面圖的上部和下部邊緣（即，側面圖中像素的最上面/最下面的一行）中每個相對應上圖及下圖的邊緣像素的最終移動量來計算。

舉例來說，圖7是依照本發明一實施例所繪示之圖幀的立方體映射投影。請參照圖7，本實施例立方體映射投影70是由左圖722、前圖724、右圖726、後圖728、上圖74及下圖76六個正方形所構成。在本實施例中，上圖74包括四個邊緣74a、74b、74c及74d，左圖722包括有與上圖74對應的邊緣72a及與下圖76對應的邊緣72a’，前圖724包括有與上圖74對應的邊緣72b及與下圖76對應的邊緣72b’，右圖726包括有與上圖74對應的邊緣72c及與下圖76對應的邊緣72c’，後圖728包括有與上圖74對應的邊緣72d及與下圖76對應的邊緣72d’。下圖76包括四個邊緣76a、76b、76c及76d。

具體而言，在一實施例中，上圖74的邊緣74a、邊緣74b、邊緣74c及邊緣74d各像素的移動量計算方法如下所述。將左面722的邊緣72a各像素的最終移動量指定至對應的邊緣74a，以成為邊緣74a各像素的移動量；將前圖724的邊緣72b各像素的最終移動量指定至對應的邊緣，以成為邊緣74b各像素的移動量；將右圖726的邊緣72c的最終移動量指定至對應的邊緣74c，以成為邊緣74c各像素的移動量；將後圖728的邊緣72d的最終移動量指定至對應的邊緣74d，以成為邊緣74d各像素的移動量。其中，由於上圖74的四個角上的四個像素可以分別對應於兩個相鄰圖的兩個最上端頂角的像素，因此可以將兩個相鄰圖的兩個最上端頂角像素的最終移動量中任一個或者兩個最上端頂角像素的最終移動量的平均值分別指定至上述四個像素的移動量。下圖76邊緣像素的計算方法與上述上圖74類似，因此不再贅述。

視差計算模組143如此指定上圖與下圖邊緣像素的移動量之後，分別將上圖及下圖分割為多個區塊，並針對上圖及下圖中的各像素，依照所屬的區塊使用周圍多個相鄰像素的移動量計算像素的移動量。簡單來說，在確定上圖及下圖的邊緣的每行像素的移動量後，上圖及下圖的其他內部各像素可以由外到內照順序地依據其相鄰像素的移動量計算而取得。

舉例來說，圖8A至圖8E是依照本發明一實施例所繪示之計算上圖移動量的範例。請參照圖8A，本實施例的立方體映射投影的上圖84被分割四個區塊I~IV，且已指定邊緣84a、邊緣84b、邊緣84c及邊緣84d各像素的移動量。接著，計算上述區塊I~IV中各區塊內部像素的移動量的方法請參照圖8B至8E。其中，圖8B的實施例中內部像素（i,j）的移動量可以根據其三個相鄰像素（例如像素（i-1,j）、像素（i-1,j-1）及像素（i,j-1））的移動量的算術平均來取得。圖8C的另一實施例中內部像素（i,j）的移動量可以根據其三個相鄰像素（例如像素（i-1,j-1）、像素（i,j-1）及像素（i+1,j-1））的移動量的算術平均來取得。圖8D的另一實施例中內部像素（i,j）的移動量可以根據其兩個相鄰像素（例如像素（i-1,j）及像素（i,j-1））的移動量的算術平均來取得。圖8E的另一實施例中內部像素（i,j）的移動量可以根據其四個相鄰像素（例如像素（i-1,j）、像素（i-1,j-1）、像素（i,j-1）及像素（i+1,j-1））的移動量的算術平均來取得。

在本發明另一實施例中，以下述方程式來計算上述區塊I~IV的內部像素的移動量，其中i=0、i=W-1、j=0或j=W-1（W為上圖的寬度）對應於四個邊緣的像素行/列：區塊I：

，其中，

且

。區塊II：

，其中，

且

。區塊III：

，其中，

且

。區塊IV：

，其中，

且

。

其中圖8B繪示出了在上述區塊I中各像素的計算方法所依據的三個相鄰像素的相對位置。上述方程式中的遞減參數g用於逐漸減小內部像素的移動量，使得越接近上圖中心的像素，其移動量可以越接近零，並且遞減參數g可以是0到1之間的任意數字（例如0.1）。在其他實施例中，也可以省略因子3 /（3 + g），使得移動量不會逐漸減小。

值得注意的是，圖8B至圖8E所繪示計算移動量的方法僅只是本發明的一些實施範例，並不用以限縮本發明的範疇。且在另一個實施例中，上圖84可以沿著對角線分成四個區塊如圖9所示以計算區塊I’~IV’的內部像素的移動量，也可以分為其他數量的區塊（如六個或八個區塊）。以下是計算圖9區塊I’的內部像素的移動量的另一實施例：區塊I’：

，其中，

且

。

在其他實施例中，可以根據相鄰像素的移動量的幾何平均值或中值來確定內部像素的移動量。且雖然本實施例中將上圖與下圖的邊緣像素的移動量指定為相對應的側面圖的上部和下部最邊緣的一行邊緣像素的最終移動量，但在另一實施例中也可以將上圖與下圖的邊緣像素的移動量指定為相對應的側面圖的上部和下部邊緣的邊緣像素的最終移動量再乘以一常數；在又一實施例中也可以依據側面圖的上部和下部最邊緣的數個邊緣像素的最終移動量（例如是最邊緣的二個邊緣像素的最終移動量的平均值）決定相對應的上圖與下圖的邊緣像素的移動量。此外，下圖的詳細實施方式與上述上圖84類似，因此不再贅述。

回到圖2的流程，在計算側面圖、上圖及下圖各像素的移動量後，可以根據各像素的移動量來確定各像素在立體球面環景影片中各圖幀的左眼和右眼圖幀之間的平移量和方向。在一實施例中，距離觀看者較遠的物件的像素應具有較小的平移量，而距離觀看者較近的物件的像素應具有較大的平移量。在一實施例中，各像素在左眼和右眼圖幀之間的平移量可以等於用前述方式所計算的各像素的移動量；在另一實施例中，各像素在左眼和右眼圖幀之間的平移量可以等於用前述方式所計算的各像素的移動量再乘以一常數，且側面圖與上圖及下圖的各像素的移動量所乘的常數可以是相同或不同。然而，各像素的平移量與所述像素的移動量之關係並不限於此。像素平移模組144依據所計算的映射投影的移動量，平移各圖幀轉換後的映射投影的側面圖、上圖及下圖中的像素，以生成平移映射投影（步驟S208）。

關於側面圖的平移，像素平移模組144依據側面圖的移動量平移側面圖的像素以生成平移側面圖，所述側面圖例如以水平捲繞（horizontal wraparound）方式向右平移。舉例來說，請參考圖7的立方體映射投影70，當左圖722、前圖724、右圖726及後圖728向右平移時，後圖728最右邊緣被移出的像素會被平移回補至左圖722的最左邊緣。然而，側面圖平移的方向並不限於此，例如也可以向左平移。

關於上圖及下圖的平移，像素平移模組144依據上圖的移動量以順時針及逆時針其中之一的方向旋轉上圖中的像素以生成平移上圖，以及依據下圖的移動量以順時針及逆時針中的另一方向旋轉下圖中的像素以生成平移下圖，其中平移側面圖、平移上圖及平移下圖構成所述平移映射投影。在一實施例中，當側面圖的像素以水平捲繞方式向右平移時，上圖的像素以逆時針方向旋轉而下圖的像素以順時針方向旋轉；當側面圖的像素以水平捲繞方式向左平移時，上圖的像素以順時針方向旋轉而下圖的像素以逆時針方向旋轉。在上述旋轉的細節方面，在一實施例中，像素平移模組144分別將上圖及下圖從中心依照各邊緣分割為多個區塊（例如是三角形的區塊），並依據上圖及下圖的移動量平移各區塊內的各像素。各區塊內的各像素平移的方向可以是平行於該區塊對應的邊緣的方向，也可以是接近於以該中心為圓心的順時針或逆時針方向。其中當上圖的像素的平移跨出所屬區塊至相鄰區塊時，依相鄰區塊內的平移方向轉向以繼續在相鄰區塊內平移，當下圖的像素的平移跨出所屬區塊至相鄰區塊時，依相鄰區塊內的平移方向轉向以繼續在相鄰區塊內平移。

舉例來說，圖9是依照本發明一實施例所繪示之立方體映射投影的上圖旋轉平移的示意圖。請參照圖9的上圖94，在本實施例中，上圖94從中心沿著對角線被分割成四個三角形區塊以對應四個邊緣，包括三角形區塊942、三角形區塊944、三角形區塊946以及三角形區塊948。所述上圖依據各像素的移動量以接近於逆時針方向旋轉平移，其具體平移方式如下所述，三角形區塊942的各像素向下平移，三角形區塊944的各像素向右平移，三角形區塊946的各像素向上平移，三角形區塊948的各像素向左平移。

需注意的是，下圖各像素的旋轉方向與上圖的旋轉方向相反。在上述實施例中，下圖各像素以接近於順時針方向旋轉平移。下圖各區塊旋轉平移的詳細實施方式與上圖94類似，因此不再贅述。然而，上圖及下圖的旋轉平移方向並不限於此。在另一實施例中，可以將上圖及下圖分割為其他數量或形狀的區塊，使得上圖及下圖以更接近逆時針或順時針方向的平移。在另一實施例中，也可以不將上圖及下圖分割為區塊而直接使用以中心為圓心的順時針或逆時針方向平移所有上圖及下圖的像素。在其他實施例中，平移之後可能發生像素缺失的情況，上述情況可以通過已知的圖像修補演算法（例如快速前進方法、Navier-Stokes方程方法等）來恢復。

回到圖2的流程，在生成平移映射投影後，轉換模組145轉換平移映射投影為具有二維空間格式的平移圖幀（步驟S210）。具體而言，在本發明一實施例中，將平移後的立方體映射投影格式的各圖幀轉換回等矩長方投影格式的圖幀。然而，上述的二維空間格式並不限於此。

最後，在轉換為平移圖幀後，影片編碼模組146將平移圖幀與對應的原始圖幀組成立體影像以編碼成立體影片（步驟S210）。平移圖幀的二維空間格式可以是與轉換為多面體映射投影前的原始圖幀的格式相同或不同。若平移圖幀的二維空間格式與轉換為多面體映射投影前的原始圖幀的格式不同，可以另外再將平移圖幀與對應的原始圖幀轉換成相同的二維空間格式。詳細來說，在本發明一實施例中，將球形環景影片中平移後等矩長方投影格式的圖幀以及相對應的原始等矩長方投影格式的圖幀分別作為觀看者的左眼影像和右眼影像，以提供立體影像的呈現。儘管上述實施例的平移圖幀為左眼影像、原始圖幀為右眼影像，但本領域技術人員應可理解，原始圖幀可以在相反的方向上平移以產生平移圖幀為右眼影像，而原始圖幀為左眼影像的實施方式。在一實施例中左眼影像和右眼影像可以是同步分別呈現給觀看者的左眼和右眼觀看，但本發明不限於此。

在對球面環景影片中各圖幀進行上述映射投影、視差計算、像素平移、轉換格式及組成立體影像的步驟後，即可將各立體影像編碼並產生立體球面環景影片。由於二維空間格式（例如等矩長方投影格式）的環景影片的影像具有高度的非線性特性，故無法直接使用已知的深度估計技術計算整個影像的所有像素的移動量。本發明中先轉換環景影片為多面體映射投影格式，直接計算側面圖的移動量後再依據各側面圖的移動量計算上圖與下圖的移動量，如此可以準確且簡便地決定左眼影像和右眼影像之間的平移量以產生立體球面環景影片。

綜上所述，本發明的立體環景影片產生方法及裝置藉由將例如是二維空間格式的球面環景影片的各圖幀轉換為三維空間中多面體的映射投影，並對轉換後各多面體映射投影圖幀側面圖執行深度估計，計算各圖幀中側面圖的各像素的移動量，且依據側面圖的移動量計算上圖及下圖的移動量，接著依據各像素的移動量對各像素進行平移，並將平移後的多面體映射投影圖幀轉回原始圖幀的二維空間格式，藉此使平移後的圖幀與相對應的原始圖幀可產生立體環景影像以編碼成立體環景影片。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10‧‧‧電子裝置12‧‧‧連接裝置14‧‧‧儲存裝置141‧‧‧圖幀擷取模組142‧‧‧映射模組143‧‧‧視差計算模組144‧‧‧像素平移模組145‧‧‧轉換模組146‧‧‧影片編碼模組16‧‧‧處理器30‧‧‧等距長方投影圖40‧‧‧立方體70‧‧‧立方體映射投影32‧‧‧側面圖34、44、74、84、94‧‧‧上圖36、46、76‧‧‧下圖322、422、722‧‧‧左圖324、424、724‧‧‧前圖326、426、726‧‧‧右圖328、428、728‧‧‧後圖50a、50b‧‧‧圖幀60a-60c‧‧‧影像72a-72d、72a’-72d’ 、74a-74d、76a-76d、84a-84d‧‧‧邊緣942-948‧‧‧三角形區塊S202-S210‧‧‧本發明一實施例之立體環景影片產生方法的步驟

圖1是依照本發明一實施例所繪示之立體環景影片產生裝置的方塊圖。圖2是依照本發明一實施例所繪示之立體環景影片產生方法的流程圖。圖3是依照本發明一實施例所繪示之圖幀的等距長方投影對應於立方體映射投影的示意圖。圖4A、圖4B是依照本發明一實施例所繪示之立方體映射投影的示意圖。圖5A及圖5B是依照本發明一實施例所繪示之球面環景影片中圖幀轉換後的映射投影的側面圖的範例。圖6A至圖6C是依照本發明一實施例所繪示之計算移動量的範例。圖7是依照本發明一實施例所繪示之圖幀的立方體映射投影。圖8A至圖8E是依照本發明一實施例所繪示之計算上圖移動量的範例。圖9是依照本發明一實施例所繪示之立方體映射投影的上圖旋轉平移的示意圖。附件是依照本發明一實施例所繪示之計算移動量過程中側面圖的範例。

S202-S210‧‧‧本發明一實施例之立體環景影片產生方法的步驟

Claims

一種立體環景影片產生方法，適用於具有處理器的電子裝置，該方法包括下列步驟：擷取一環景影片中多個圖幀；轉換各所述圖幀為一多面體映射投影，其中所述多面體映射投影包括多個側面圖、上圖及下圖；依據各所述圖幀轉換後的該多面體映射投影的所述側面圖計算所述側面圖中多個像素的移動量，並依據所述側面圖的所述移動量計算該多面體映射投影的所述上圖與所述下圖中多個像素的移動量；依據所計算的該多面體映射投影的所述移動量，平移各所述圖幀轉換後的該多面體映射投影的所述側面圖、所述上圖及所述下圖中的所述像素，以生成平移多面體映射投影；以及轉換所述平移多面體映射投影為具有二維空間格式的平移圖幀，並將所述平移圖幀與對應的所述圖幀組成立體影像以編碼成一立體環景影片。
如申請專利範圍第1項所述的方法，其中依據各所述圖幀轉換後的該多面體映射投影的所述側面圖計算所述側面圖中所述像素的移動量的步驟包括：計算各所述圖幀轉換後的該多面體映射投影的所述側面圖中各所述像素的初始移動量，並將所述初始移動量乘以正規化因子以得到各所述像素的所述移動量，其中所述正規化因子與所述環景影片中的所述圖幀的水平解析度成比例。
如申請專利範圍第1項所述的方法，其中依據所述側面圖的所述移動量計算該多面體映射投影的所述上圖與所述下圖中所述像素的移動量的步驟包括：依據各所述側面圖中位於與所述上圖及所述下圖的邊界的多個邊緣像素的所述移動量計算所述上圖及所述下圖中位於與各所述側面圖的邊界的多個邊緣像素的所述移動量；以及依據所述上圖及所述下圖的所述邊緣像素的所述移動量計算所述上圖及所述下圖內其他像素的所述移動量。
如申請專利範圍第3項所述的方法，其中依據所述上圖及所述下圖的所述邊緣像素的所述移動量計算所述上圖及所述下圖內所述其他像素的所述移動量的步驟包括：分別分割所述上圖及所述下圖為多個區塊，並針對所述上圖及所述下圖中的各所述像素，依照所屬的所述區塊使用各所述像素周圍多個相鄰像素的所述移動量計算該像素的所述移動量。
如申請專利範圍第4項所述的方法，其中依照所屬的所述區塊使用各所述像素周圍所述相鄰像素的所述移動量計算該像素的所述移動量的步驟包括：依據各所述像素周圍所述相鄰像素的所述移動量及遞減參數計算該像素的所述移動量，其中所述遞減參數用於使所述上圖及所述下圖中越接近中心的內部像素的所述移動量越小。
如申請專利範圍第1項所述的方法，其中依據所計算的該多面體映射投影的所述移動量，平移各所述圖幀轉換後的該多面體映射投影的所述側面圖、所述上圖及所述下圖中的所述像素，以生成所述平移多面體映射投影的步驟包括：依據所述側面圖的所述移動量以水平捲繞方式向右或向左平移該側面圖的所述像素以生成平移側面圖；依據所述上圖的所述移動量以順時針及逆時針其中之一的方向旋轉所述上圖中的所述像素以生成平移上圖；以及依據所述下圖的所述移動量以所述順時針及逆時針中的另一方向旋轉所述下圖中的所述像素以生成平移下圖，其中所述平移側面圖、所述平移上圖及所述平移下圖構成所述平移多面體映射投影。
如申請專利範圍第6項所述的方法，其中依據所述上圖的所述移動量以所述順時針及逆時針其中之一的方向旋轉所述上圖中的所述像素以生成所述平移上圖以及依據所述下圖的所述移動量以所述順時針及逆時針中的另一方向旋轉所述下圖中的所述像素以生成所述平移下圖的步驟包括：將所述上圖從中心分割為多個區塊，並依據所述上圖的所述移動量平移各所述區塊內的各所述像素以接近所述順時針及逆時針其中之一的方向，其中當所述像素的平移跨出所述區塊至相鄰區塊時，依所述方向轉向以繼續在所述相鄰區塊內平移；以及將所述下圖從中心分割為多個區塊，並依據所述下圖的所述移動量平移各所述區塊內的各所述像素以接近所述順時針及逆時針其中的另一方向，其中當所述像素的平移跨出所述區塊至相鄰區塊時，依所述另一方向轉向以繼續在所述相鄰區塊內平移。
如申請專利範圍第6項所述的方法，其中當所述側面圖的所述像素以水平捲繞方式向右平移時，所述上圖的所述像素以逆時針方向旋轉而所述下圖的所述像素以順時針方向旋轉；當所述側面圖的所述像素以水平捲繞方式向左平移時，所述上圖的所述像素以順時針方向旋轉而所述下圖的所述像素以逆時針方向旋轉。
如申請專利範圍第1項所述的方法，其中所述多面體映射投影是立方體映射投影。
如申請專利範圍第1項所述的方法，其中依據各所述圖幀轉換後的該多面體映射投影的所述側面圖計算所述側面圖中所述像素的移動量的步驟包括：利用主成份分析光流法計算所述側面圖中所述像素的所述移動量。
一種立體環景影片產生裝置，包括：連接裝置，連接影像來源裝置，以自所述影像來源裝置接收一環景影片；儲存裝置，儲存多個模組；以及處理器，耦接該連接裝置及該儲存裝置，載入並執行該儲存裝置中的所述模組，所述模組包括：圖幀擷取模組，擷取所述環景影片中多個圖幀；映射模組，轉換各所述圖幀為一多面體映射投影，其中所述多面體映射投影包括多個側面圖、上圖及下圖；視差計算模組，取各所述圖幀轉換後的該多面體映射投影的所述側面圖計算所述側面圖中多個像素的移動量，並依據所述側面圖的所述移動量計算該多面體映射投影的所述上圖與所述下圖中多個像素的移動量；像素平移模組，依據所計算的該多面體映射投影的所述移動量，平移各所述圖幀轉換後的該多面體映射投影的所述側面圖、所述上圖及所述下圖中的所述像素，以生成平移多面體映射投影；轉換模組，轉換所述平移多面體映射投影為具有二維空間格式的平移圖幀；以及影片編碼模組，將所述平移圖幀與對應的所述圖幀組成立體影像以編碼成一立體環景影片。
如申請專利範圍第11項所述的裝置，其中所述視差計算模組包括計算各所述圖幀轉換後的該多面體映射投影的所述側面圖中各所述像素的初始移動量，並將所述初始移動量乘以正規化因子以得到各所述像素的所述移動量，其中所述正規化因子與所述環景影片中的所述圖幀的水平解析度成比例。
如申請專利範圍第11項所述的裝置，其中所述視差計算模組包括依據各所述側面圖中位於與所述上圖及所述下圖的邊界的多個邊緣像素的所述移動量計算所述上圖及所述下圖中位於與各所述側面圖的邊界的多個邊緣像素的所述移動量，以及依據所述上圖及所述下圖的所述邊緣像素的所述移動量計算所述上圖及所述下圖內其他像素的所述移動量。
如申請專利範圍第13項所述的裝置，其中所述視差計算模組更分別分割所述上圖及所述下圖為多個區塊，並針對所述上圖及所述下圖中的各所述像素，依照所屬的所述區塊使用各所述像素周圍多個相鄰像素的所述移動量計算該像素的所述移動量。
如申請專利範圍第14項所述的裝置，其中所述視差計算模組更依據各所述像素周圍所述相鄰像素的所述移動量及遞減參數計算該像素的所述移動量，其中所述遞減參數用於使所述上圖及所述下圖中越接近中心的內部像素的所述移動量越小。
如申請專利範圍第11項所述的裝置，其中像素平移模組包括依據所述側面圖的所述移動量以水平捲繞方式向右或向左平移該側面圖的所述像素以生成平移側面圖，並依據所述上圖的所述移動量以順時針及逆時針其中之一的方向旋轉所述上圖中的所述像素以生成平移上圖，以及依據所述下圖的所述移動量以所述順時針及逆時針中的另一方向旋轉所述下圖中的所述像素以生成平移下圖，其中所述平移側面圖、所述平移上圖及所述平移下圖構成所述平移多面體映射投影。
如申請專利範圍第16項所述的裝置，其中像素平移模組更將所述上圖從中心分割為多個區塊，並依據所述上圖的所述移動量平移各所述區塊內的各所述像素以接近所述順時針及逆時針其中之一的方向，其中當所述像素的平移跨出所述區塊至相鄰區塊時，依所述方向轉向以繼續在所述相鄰區塊內平移；以及將所述下圖從中心分割為多個區塊，並依據所述下圖的所述移動量平移各所述區塊內的各所述像素以接近所述順時針及逆時針其中的另一方向，其中當所述像素的平移跨出所述區塊至相鄰區塊時，依所述另一方向轉向以繼續在所述相鄰區塊內平移。
如申請專利範圍第16項所述的裝置，其中當所述側面圖的所述像素以水平捲繞方式向右平移時，所述上圖的所述像素以逆時針方向旋轉而所述下圖的所述像素以順時針方向旋轉；當所述側面圖的所述像素以水平捲繞方式向左平移時，所述上圖的所述像素以順時針方向旋轉而所述下圖的所述像素以逆時針方向旋轉。
如申請專利範圍第11項所述的裝置，其中所述多面體映射投影是立方體映射投影。
如申請專利範圍第11項所述的裝置，其中視差計算模組利用主成份分析光流法計算所述側面圖中所述像素的所述移動量移動量。