TWI552575B - 多視角視訊預測方法及裝置以及多視角視訊預測還原方法及裝置 - Google Patents

Description

多視角視訊預測方法及裝置以及多視角視訊預測還原方法及裝置

本發明是關於用於在多視角(multi-view)視訊(video)預測結構中經由畫面間預測(inter prediction)以及運動補償(motion compensation)來編碼及解碼視訊之方法與裝置。

隨著用於再生以及儲存高解析度或高品質視訊內容之硬體正被開發以及供應，對用於有效地編碼或解碼高解析度或高品質視訊內容之視訊編解碼器(video codec)的需要不斷增加。根據習知視訊編解碼器，視訊是基於具有預定尺寸之巨集區塊(macroblock)根據有限編碼方法(limited encoding method)而編碼。

空間區域之影像資料是經由頻率變換而轉換成頻率區域之係數。根據視訊編解碼器，影像分割成具有預定尺寸之區塊，離散餘弦變換(discrete cosine transformation；DCT)針對每一各別區塊而執行，並且頻率係數以區塊為單位來編碼，以用於頻率變換之快速計算。與空間區域之影像資料相比，頻率區域之係數容易被壓縮。特別是，由於空間區域之影像像素值是經由視訊編解碼器之畫面間預測或畫面內預測並根據預測誤差(prediction error)進行表達，因此在對預測誤差執行頻率變換時，大量的資料可轉換成0。根據視訊編解碼器，可藉由用具有小尺寸之資料以替換連續地且重複地產生之資料而減少資料量。

根據多視角視訊代碼，對基礎視角視訊以及一或多個額外視角視訊進行編碼及解碼。藉由移除基礎視角視訊與額外視角視訊之間的時間/空間冗餘(redundancy)以及視角之間的冗餘，可減少基礎視角視訊及額外視角視訊之資料量。

本發明提供經由額外視角影像之畫面間預測及增強層影像串流之視角間預測(inter-view)的多視角視訊之編碼及解碼。

根據本發明根據態樣，提供一種多視角視訊預測方法，所述方法包含：藉由執行基礎視角影像之間的畫面間預測來產生基礎層影像串流，所述基礎層影像串流包含I圖像型(I-picture type)基礎視角色調圖像(key picture)及基礎視角影像之殘餘值；以及執行用於參考基礎視角影像來預測額外視角影像之視角間預測(inter-view prediction)，用於參考來自額外視角影像當中之額外視角色調圖像來預測不同額外視角色調圖像之畫面間預測，以及用於參考額外視角影像來預測除了額外視角色調圖像以外的額外視角影像並且產生包含額外視角影像之殘餘值的增強層影像串流之畫面間預測。

所述多視角視訊預測方法可更包含：自基礎視角影像及額外視角影像當中產生深度圖，所述深度圖指示具有相同場景之基礎視角影像與額外視角影像之間的視角間深度(inter-view depth)；以及傳輸所述深度圖，所述深度圖連 同基礎層影像串流及增強層影像串流。

增強層影像串流之產生可包含：參考在自額外視角色調圖像當中之當前額外視角色調圖像之還原以前所還原的額外視角色調圖像，來執行當前額外視角色調圖像的畫面間預測。

增強層影像串流之產生可包含：參考在自額外視角色調圖像當中之當前額外視角色調圖像之還原之後所還原的額外視角色調圖像，來執行當前額外視角色調圖像的畫面間預測。

根據本發明根據另一態樣，提供一種多視角視訊預測還原方法，所述方法包含：接收基礎層(base layer)影像串流及增強層(enhancement layer)影像串流；自基礎層影像串流，還原I圖像型基礎視角色調圖像，並且藉由參考基礎視角色調圖像來執行基礎視角影像之運動補償以還原基礎視角影像；當增強層影像串流之額外視角色調圖像經存取時，藉由執行涉及經還原之基礎視角色調圖像之差異補償(disparity compensation)及涉及增強層影像串流之不同額外視角色調圖像的運動補償中之至少一者，來還原額外視角色調圖像；以及藉由對增強層影像串流之額外視角影像執行涉及經還原之基礎視角影像的差異補償及涉及首先在增強層影像串流中還原之經還原之額外視角影像的運動補償中之至少一者，來還原除了額外視角色調圖像以外的額外視角影像。

所述接收可包含：自基礎視角影像及額外視角影像當 中接收深度圖，所述深度圖指示具有相同場景之基礎視角影像與額外視角影像之間的視角間深度。

額外視角色調圖像之所述還原可包含：在來自額外視角色調圖像當中之當前額外視角色調圖像之參考影像，此參考影像在當前額外視角色調圖像被還原的時間點未還原時，藉由使用深度圖及對應於作為參考影像之額外視角色調圖像的基礎視角影像來還原參考影像；以及藉由在參考影像被還原之後使用經還原之參考影像來還原當前額外視角色調圖像。

額外視角色調圖像之所述還原可包含：在來自額外視角色調圖像當中之當前額外視角色調圖像經隨機存取時，所述當前額外視角色調圖像是參考在當前額外視角色調圖像之還原以前所還原的額外視角色調圖像而預測，藉由使用深度圖及對應於當前額外視角色調圖像之基礎視角影像來還原當前額外視角色調圖像。

額外視角色調圖像之所述還原可包含，在來自額外視角色調圖像當中之當前額外視角色調圖像經存取時，所述當前額外視角色調圖像是參考在當前額外視角色調圖像之還原之後所還原的額外視角色調圖像而預測，藉由使用深度圖及對應於當前額外視角色調圖像之基礎視角影像來還原當前額外視角色調圖像。

額外視角色調圖像之所述還原可包含，在額外視角色調圖像經存取時，所述額外視角色調圖像不涉及來自額外視角色調圖像當中之不同額外視角色調圖像，參考對應於 當前額外視角色調圖像之基礎視角影像來還原當前額外視角色調圖像。

額外視角色調圖像之所述還原可包含，在當前額外視角色調圖像經存取時，所述當前額外視角色調圖像不涉及來自額外視角色調圖像當中之不同額外視角色調圖像，藉由使用深度圖及對應於當前額外視角色調圖像之基礎視角影像來還原當前額外視角色調圖像。

根據本發明根據另一態樣，提供一種多視角視訊預測還原裝置，所述裝置包含：接收器，其用於接收基礎層影像串流及增強層影像串流；基礎層解碼器，其自基礎層影像串流，還原I圖像型基礎視角色調圖像並且藉由參考基礎視角色調圖像執行基礎視角影像之運動補償來還原基礎視角影像；以及增強層解碼器，其用於在增強層影像串流之額外視角色調圖像經存取時，藉由執行涉及經還原之基礎視角色調圖像之差異補償及涉及增強層影像串流之不同額外視角色調圖像的運動補償中之至少一者來還原額外視角色調圖像，並且用於藉由對增強層影像串流之額外視角影像執行涉及經還原之基礎視角影像的差異補償及涉及首先在增強層影像串流中還原之經還原之額外視角影像的運動補償中之至少一者，來還原除了額外視角色調圖像以外的額外視角影像。

根據本發明根據另一態樣，提供一種多視角視訊預測裝置，所述裝置包含：基礎層編碼器，其用於藉由執行基礎視角影像之間的畫面間預測來產生基礎層影像串流，所 述基礎層影像串流包括I圖像型基礎視角色調圖像及基礎視角影像之殘餘值；以及增強層編碼器，其用於執行用於參考基礎視角影像來預測額外視角影像之視角間預測，用於參考來自額外視角影像當中之額外視角色調圖像來預測不同額外視角色調圖像之畫面間預測，以及用於參考額外視角影像來預測除了額外視角色調圖像以外的額外視角影像，並且產生包括額外視角影像之殘餘值的增強層影像串流之畫面間預測。

根據本發明根據另一態樣，提供一種電腦可讀記錄媒體，其上記錄有用於執行多視角視訊預測方法之程式。

根據本發明根據另一態樣，提供一種電腦可讀記錄媒體，其上記錄有用於執行多視角視訊預測還原方法之程式。

當使用根據本發明之實施例的多視角預測方法時，由於對額外視角影像之一些色調圖像執行畫面間預測，因此可增加額外視角影像之編碼效率並且可減小增強層影像串流之位元率。另外，由於深度圖以及視角間預測已經過編碼，因此多視角視訊之編碼效率可得以改良。

當使用根據本發明之實施例的多視角視訊預測方法時，額外視角色調圖像可經由涉及相同視角之色調圖像的畫面間預測以及涉及基礎視角影像之畫面間預測來還原。另外，當作為參考影像之相同視角的色調圖像未被還原時，可藉由使用深度圖自基礎視角影像來還原額外視角影像。另外，可藉由使用深度圖及經由多個視角之間的視角間預測所產生的殘餘值來還原具有三個或三個以上視角之 多視角視訊。

在下文中，將參看圖1至圖10描述多視角視訊預測裝置、多視角視訊預測還原裝置、多視角視訊預測方法，以及多視角視訊預測還原方法。將參看圖11至圖23描述基於具有樹狀結構之寫碼單元(coding unit)的多視角視訊預測裝置、多視角視訊預測還原裝置、多視角視訊預測方法，以及多視角視訊預測還原方法。另外，將參看圖24A至圖29描述多視角視訊預測方法、多視角視訊預測還原方法、視訊編碼方法，以及視訊解碼方法。在下文中，術語『影像』可指為靜態(still)影像或移動(moving)圖像，亦即，視訊自身。

首先，參看圖1至圖10，將描述根據本發明的實施例之多視角視訊預測裝置、多視角視訊預測還原裝置、多視角視訊預測方法，以及多視角視訊預測還原方法。

圖1是根據本發明之實施例之多視角視訊預測裝置10的方塊圖。

多視角視訊預測裝置10包含基礎層編碼器12及增強層編碼器14。

多視角視訊預測裝置10對基礎視角影像及額外視角影像編碼。舉例而言，左視角影像及右視角影像可經編碼，左視角影像之編碼結果可在基礎層影像串流中輸出，並且右視角影像之編碼結果可在增強層影像串流中輸出。

在存在兩個或兩個以上額外視角的情況下，基礎視角 影像、關於第一額外視角之第一額外視角影像、關於第二額外視角之第二額外視角影像，至關於第K個額外視角的第K個額外視角影像可經編碼。因此，基礎視角影像之編碼結果可在基礎層影像串流中輸出，並且第一、第二，至第K個額外視角影像的編碼結果可在第一、第二，至第K個增強層影像串流中輸出。基礎視角影像可包括一或多個色調圖像(key picture)(亦即，錨定圖像(anchor picture))。又，第一、第二，至第K個額外視角影像中之每一者可分別包括一或多個色調圖像(亦即，錨定圖像)。

多視角視訊預測裝置10針對每一各別區塊以編碼每一視訊影像。區塊可具有正方形形狀、矩形形狀，或任何幾何形狀，並且不限於具有預定尺寸之資料單元。根據本發明之實施例，區塊可為來自根據樹狀結構之寫碼單元當中之最大寫碼單元、寫碼單元、預測單元、轉換單元，或其類似者。下文將參看圖11至圖23描述基於根據樹狀結構之寫碼單元的視訊編碼及解碼方法。

多視角視訊預測裝置10可藉由涉及相同視角影像來執行畫面間預測以用於執行預測。另外，多視角視訊預測裝置10可執行用於參考基礎視角影像來預測額外視角影像的視角間預測。多視角視訊預測裝置10可執行用於參考第一額外視角影像來預測第二額外視角影像的視角間預測。畫面間預測及視角間預測可基於諸如寫碼單元、預測單元、轉換單元或其類似者之區塊來執行。

基礎層編碼器12可編碼基礎視角影像，以產生基礎 層影像串流。基礎層編碼器12可執行基礎視角影像之間的畫面間預測。基礎層編碼器12可編碼來自基礎視角影像當中的是I圖像型影像之基礎視角色調圖像，而不涉及任何影像。基礎層編碼器12可參考不同基礎視角影像來對除了基礎視角色調圖像以外的基礎視角影像以執行畫面間預測。

基礎層編碼器12可經由除了基礎視角色調圖像以外的基礎視角影像之畫面間預測來產生殘餘值，並且可對殘餘值編碼。舉例而言，可對殘餘值之影像區塊執行變換、量化、熵編碼，或其類似者。

基礎層編碼器12可產生經編碼資料之基礎層影像串流，基礎層影像串流包含基礎視角色調圖像之經編碼資料及剩餘(remaining)基礎視角影像之殘餘值之經編碼資料。

增強層編碼器14可編碼額外視角影像以產生增強層影像串流。增強層編碼器14可執行涉及基礎視角影像之視角間預測及涉及相同視角之影像的畫面間預測，以便編碼額外視角影像。

增強層編碼器14可執行參考基礎視角影像來用於預測額外視角影像之視角間預測。關於預定額外視角，可不僅參考基礎視角影像而且參考不同額外視角之影像來執行視角間預測，而非參考當前額外視角之影像。

另外，增強層編碼器14可執行參考來自額外視角影像當中之額外視角色調圖像來用於預測不同額外視角色調圖像之畫面間預測。或者，增強層編碼器14對來自額外視 角色調圖像當中之一些額外視角色調圖像執行用於預測不同額外視角色調圖像之畫面間預測及針對不同視角影像之畫面間預測的兩者，但可對剩餘的額外視角色調圖像僅執行涉及基礎視角色調圖像之視角間預測，而不執行涉及不同額外視角色調圖像之畫面間預測。

另外，增強層編碼器14可執行涉及額外視角影像之畫面間預測，以便預測除了額外視角色調圖像以外的剩餘的額外視角影像。涉及基礎視角影像之內部視角預測及涉及相同視角之影像的畫面間預測的兩者可對除了色調圖像以外的額外視角影像來執行。

增強層編碼器14可編碼經由涉及基礎視角影像之視角間預測與涉及相同視角之影像的畫面間預測所產生之額外視角影像的殘餘值。詳細言之，可對殘餘值之影像區塊執行轉換、量化、熵編碼，或其類似者。因此，增強層編碼器14可產生包含額外視角影像之殘餘值之經編碼資料的增強層影像串流。

增強層編碼器14可參考在當前額外視角色調圖像自額外視角色調圖像當中之還原之前還原之額外視角色調圖像，來執行當前額外視角色調圖像的畫面間預測。

或者，增強層編碼器14可參考在當前額外視角色調圖像之還原之後所還原的額外視角色調圖像，來執行當前額外視角色調圖像之畫面間預測。

增強層編碼器14可自額外視角影像之參考影像中排除與參考相同視角之不同色調圖像所預測的色調圖像。作 為另一實例，參考相同視角之不同色調圖像所預測之色調圖像可包含在額外視角影像的參考影像中。

多視角視訊預測裝置10可在多視角影像之間產生深度圖。多視角視訊預測裝置10可自基礎視角影像及額外視角影像當中產生深度圖，此深度圖針對每一各別基礎視角影像及額外視角影像指示視角間深度。

多視角視訊預測裝置10可編碼且傳輸深度圖，所述深度圖連同基礎層影像串流及增強層影像串流。

多視角視訊預測裝置10可包含中央處理單元(未圖示)，用於大體上控制基礎層編碼器12及增強層編碼器14。或者，可藉由各別處理器(未圖示)來控制基礎層編碼器12及增強層編碼器14，並且此等處理器可合作性地彼此互動，以便控制多視角視訊預測裝置10之總體操作。或者，可根據對多視角視訊預測裝置10之外部處理器(未圖示)之控制來控制基礎層編碼器12及增強層編碼器14。

多視角視訊預測裝置10可包含至少一個資料儲存單元(未圖示)，用於儲存輸入至及來自基礎層編碼器12及增強層編碼器14之資料。多視角視訊預測裝置10可包含記憶體控制器(未圖示)，用於控制資料儲存單元(未圖示)之資料的輸入/輸出。

圖2是根據本發明之實施例之多視角視訊預測還原裝置20的方塊圖。

多視角視訊預測還原裝置20包含接收器22、基礎層解碼器24以及增強層解碼器26。

接收器22接收基礎層影像串流及增強層影像串流。

接收器22可自基礎視角影像及額外視角影像當中接收深度圖，連同接收基礎層影像串流及增強層影像串流，此深度圖指示具有相同場景之基礎視角影像與額外視角影像之間的視角間深度。

多視角視訊預測還原裝置20可解碼基礎層影像串流及增強層影像串流，並且可還原基礎視角影像及額外視角影像。舉例而言，左視角影像可自基礎層影像串流還原，並且右視角影像可自增強層影像串流還原。在存在兩個或兩個以上額外視角的情況下，基礎視角影像可自基礎層影像串流還原，並且關於第一額外視角之第一額外視角影像、關於第二額外視角之第二額外視角影像，至關於第K個增強層影像串流之第K個額外視角影像可分別自第一增強層影像串流、第二增強層影像串流，至第K個增強層影像串流還原。

多視角視訊預測還原裝置20針對每一各別區塊解碼每一視訊影像。根據本發明之實施例，區塊可為來自根據樹狀結構之寫碼單元當中的最大寫碼單元、寫碼單元、預測單元、轉換單元，或其類似者。

多視角視訊預測還原裝置20可執行用於涉及經由畫面間預測所預測之相同視角影像之運動補償以還原影像。另外，多視角視訊預測還原裝置20可參考基礎視角影像來執行差異補償，以便還原經由視角間預測所預測之額外視角影像。差異補償指代用於補償不同視角影像之視訊之間 的差異之操作。

多視角視訊預測還原裝置20可執行用於還原參考第一額外視角影像所預測的第二額外視角影像之視角間預測。可經由基於寫碼單元或預測單元之畫面間預測及視角間預測來還原影像。

當基礎層解碼器24接收基礎層影像串流時，基礎層解碼器24解碼基礎層影像串流且還原基礎視角影像。詳細而言，可對藉由剖析基礎層影像串流所提取之符號來執行熵解碼(entropy decoding)、逆量化(inverse quantization)及逆轉換(inverse transformation)，以還原預測之殘餘值。基礎層解碼器24可接收經量化轉換係數的位元串流(bitstream)。可對經量化轉換係數執行逆量化及逆轉換以還原殘餘值。基礎層解碼器24可經由畫面間預測來還原基礎視角影像。

基礎層解碼器24可解碼是基礎層影像串流之I圖像型影像的基礎視角色調圖像的經量化轉換係數，以還原基礎視角色調圖像。基礎層解碼器24可自基礎視角影像當中還原是I圖像型影像之基礎視角色調圖像，而不涉及不同基礎視角影像。

基礎層解碼器24可經由涉及不同基礎視角影像之運動補償來還原除了基礎視角色調圖像以外的基礎視角影像。關於影像串流之除了基礎視角色調圖像以外的基礎視角影像，基礎層解碼器24可解碼基礎視角影像之殘餘值的經量化轉換係數，並且可藉由如此多的殘餘值來補償作為 參考影像之基礎視角影像，以還原基礎視角影像。

增強層解碼器26解碼增強層影像串流以還原額外視角影像。詳細言之，可對藉由剖析增強層影像串流所提取之符號執行熵編碼、逆量化及逆轉換，以還原每一各別區塊之殘餘值。可藉由接收殘餘值之經量化轉換係數的位元串流並且對位元串流執行逆量化及逆轉換來還原殘餘值。

增強層解碼器26可經由涉及自基礎層影像串流所還原之基礎視角影像的視角間預測及涉及相同視角之影像的畫面間預測來還原額外視角影像，以便還原增強層影像串流。

增強層解碼器26可經由涉及藉由基礎層解碼器24所還原之基礎視角影像的視角間預測來還原額外視角影像。關於預定額外視角，可參考不同額外視角之影像而非參考當前額外視角之影像以及基礎視角影像，來還原額外視角影像。

可自增強層影像串流來提取基礎視角影像與額外視角影像之間的差異資訊或基礎視角影像與額外視角影像之間的深度圖。增強層解碼器26可藉由使用基礎視角影像與額外視角影像之間的差異資訊或深度圖來還原額外視角影像。

或者，增強層解碼器26可參考額外視角色調圖像經由用於解碼不同額外視角色調圖像之畫面間預測來還原額外視角色調圖像。增強層解碼器26可經由涉及不同額外視角色調圖像之畫面間預測及涉及基礎視角色調圖像之視角 間預測兩者來還原一些額外視角色調圖像。然而，可藉由僅執行涉及基礎視角色調圖像之視角間預測來還原剩餘的額外視角色調圖像，而不執行涉及不同額外視角色調圖像之畫面間預測。

增強層解碼器26可經由涉及額外視角影像之畫面間預測來還原除了額外視角色調圖像以外的剩餘額外視角影像。可經由涉及基礎視角影像之視角間預測及涉及相同視角之影像的畫面間預測來還原除了色調圖像以外的額外視角影像。

可經由涉及不同額外視角影像之運動補償來還原除了額外視角色調圖像以外的額外視角影像。亦即，增強層解碼器26可解碼增強層影像串流之額外視角影像的運動向量及殘餘值之編碼資料，可藉由使用運動向量來自不同額外視角影像當中判定參考影像，並且可藉由如此多的殘餘值來補償參考影像以還原除了額外視角色調圖像以外的額外視角影像。可藉由使用當前影像之當前區塊的運動向量以自參考區塊當中來判定參考區塊。

當增強層解碼器26存取當前額外視角色調圖像以便再生(reproduce)當前額外視角色調圖像時，可根據是否需要畫面間預測來改變用於還原額外視角色調圖像的處理程序。

當增強層解碼器26存取參考在來自額外視角色調圖像當中之當前額外視角色調圖像之前所還原之額外視角色調圖像所預測的當前額外視角色調圖像時，當前額外視角 參考影像可藉由使用深度圖及對應於當前額外視角色調圖像之基礎視角影像來還原。

或者，當增強層解碼器26存取參考在來自額外視角色調圖像當中之當前額外視角色調圖像之前還原之額外視角色調圖像所預測的當前額外視角色調圖像時，當前額外視角色調圖像之還原可以略過，並且當前額外視角色調圖像之下一額外視角色調圖像可被還原。

當增強層解碼器26存取參考待在當前額外視角色調圖像自額外視角色調圖像當中還原之後所還原之額外視角色調圖像所預測的當前額外視角色調圖像時，當前額外視角色調圖像可藉由使用對應於當前額外視角色調圖像之基礎視角色調圖像及當前額外視角色調圖像的深度圖來還原。亦即，直至還原作為參考影像之額外視角色調圖像才延遲當前額外視角色調圖像之還原，當前額外視角色調圖像可藉由使用深度圖來還原。

或者，當增強層解碼器26存取參考待在當前額外視角色調圖像自額外視角色調圖像當中還原之後所還原之額外視角色調圖像所預測的當前額外視角色調圖像時，可延遲當前額外視角色調圖像之還原。因此，在作為參考影像之額外視角色調圖像經還原之後，增強層解碼器26可參考額外視角色調圖像之還原結果來還原當前額外視角色調圖像。

當增強層解碼器26存取不涉及來自額外視角色調圖像當中之不同額外視角色調圖像的當前額外視角色調圖像 時，當前額外視角色調圖像可經由涉及對應於當前額外視角色調圖像之基礎視角影像的差異補償來還原。或者，當增強層解碼器26存取不涉及來自額外視角色調圖像當中之不同額外視角色調圖像的當前額外視角色調圖像時，當前額外視角色調圖像可藉由使用對應於當前額外視角色調圖像之基礎視角影像及深度圖來還原。

增強層解碼器26可添加涉及相同視角之不同色調圖像的額外視角色調圖像至額外視角影像之參考影像。或者，增強層解碼器26可不添加涉及相同視角之不同色調圖像的額外視角色調圖像至額外視角影像之參考影像。

因此，在還原所存取之額外視角色調圖像之後，亦可還原直接或間接涉及經還原之額外視角色調圖像之剩餘的額外視角色調圖像。

多視角視訊預測還原裝置20可包含中央處理器(未圖示)，用於大體上控制接收器22、基礎層解碼器24及增強層解碼器26。或者，可藉由各別處理器(未圖示)來控制接收器22、基礎層解碼器24及增強層解碼器26，並且此等處理器可合作性地彼此互動，以便控制多視角視訊預測還原裝置20之總體操作。或者，可根據對多視角視訊預測還原裝置20之外部處理器(未圖示)的控制來控制接收器22、基礎層解碼器24及增強層解碼器26。

多視角視訊預測還原裝置20包含至少一個資料儲存單元(未圖示)，用於儲存輸入至及來自接收器22、基礎層解碼器24及增強層解碼器26之資料。多視角視訊預測 還原裝置20可包含記憶體控制器(未圖示)，用於控制資料儲存單元(未圖示)之資料的輸入/輸出。

由於多視角視訊預測裝置10對來自額外視角影像當中之一些色調圖像執行畫面間預測，因此額外視角影像之寫碼效率可增加，並且增強層影像串流之位元率可減小。另外，由於執行深度圖之編碼以及視角間預測，因此可增加多視角視訊之寫碼效率。

多視角視訊預測還原裝置20可經由涉及相同視角之色調圖像的畫面間預測以及經由涉及基礎視角影像之視角間預測來還原額外視角色調圖像。另外，當作為參考影像之相同視角的色調圖像未被還原時，額外視角色調圖像可藉由使用深度圖自基礎視角影像而還原。此外，可藉由使用深度圖及經由多個視角之間的視角間預測所產生之殘餘值來還原三個或三個以上視角的視訊。

圖3是根據本發明之實施例之多視角視訊預測結構30的圖式。

一般而言，在多視角視訊預測結構30中，相同視角之影像會配置在水平方向上，並且具有相同之圖像次序計數(picture order count；POC)的影像會配置在垂直方向上。因此，基礎視角“View0”之影像會根據POC配置在水平方向上，第一額外視角“View1”之影像會根據POC配置在水平方向上，並且第二額外視角“View2”之影像可根據POC而配置在水平方向上。另外，定位在同一行中作為基礎視角影像之第一額外視角影像及第二額外影像具 有不同的視角，但具有相同的POC。

視角影像之四個連續影像構成單一圖像群組(group of picture；GOP)。每一GOP包含在連續色調圖像與單一色調圖像之間的影像。色調圖像是隨機存取點。在此方面，當自根據影像之再生次序(亦即，根據POC)所配置之影像選擇預定再生位置時，POC最鄰近於再生位置的色調圖像經再生。基礎視角影像包含基礎視角色調圖像31、32、33、34及35，第一額外視角影像包含第一額外視角色調圖像131、132、133、134及135，並且第二額外視角影像包含第二額外視角色調圖像231、232、233、234及235。

在多視角視訊預測結構30中，視角間預測及畫面間預測的兩者皆對影像來執行。在多視角視訊預測結構30中，箭頭所開始之影像及箭頭所指向之影像是藉由使用參考影像所預測的影像。

基礎視角影像之預測結果可經編碼並且接著可以基礎層影像串流之形式輸出，並且額外視角影像之預測結果可經編碼並且接著可以增強層影像串流的形式輸出。另外，第一額外視角影像之預測結果可在第一增強層影像串流中輸出，並且第二額外視角影像之預測結果可在第二增強層影像串流中輸出。

畫面間預測僅對基礎視角影像來執行。亦即，作為I圖像型色調圖像之色調圖像不涉及不同的影像。然而，參考不同基礎視角影像來預測是B圖像型(B-picture type)影像及b圖像型(b-picture type)影像之剩餘影像。參考 具有較早POC次序之I圖像型色調圖像及具有較晚POC次序之I圖像型色調圖像來預測B圖像型影像。參考具有較早POC次序之I圖像型色調圖像及具有較晚POC次序之B圖像型影像或者具有較早POC次序之B圖像型影像及具有較晚POC次序之I圖像型色調圖像來預測b圖像型影像。

對第一額外視角影像及第二額外視角影像執行涉及不同視角影像之視角間預測及涉及相同視角影像之畫面間預測。

如同基礎視角影像，畫面間預測亦對第一額外視角影像來執行，並且畫面間預測亦對第二額外視角影像來執行。來自第一額外視角影像及第二額外視角影像當中之色調圖像131、132、133、134、135、231、232、233、234及235不涉及相同視角影像，並且並非色調圖像之剩餘影像是參考相同視角影像而預測。

然而，由於來自第一額外視角影像及第二額外視角影像當中之色調圖像131、132、133、134、135、231、232、233、234及235亦可涉及具有相同POC次序之基礎視角色調圖像，因此色調圖像131、132、133、134、135、231、232、233、234及235各自為P圖像型影像或B圖像型影像。

由於第一額外視角色調圖像131、132、133、134及135是參考分別具有相同POC次序之第二額外視角色調圖像231、232、233、234及235以及基礎視角色調圖像31、 32、33、34及35來進行預測，因此第一額外視角色調圖像131、132、133、134及135可為B圖像型影像。由於第二額外視角色調圖像231、232、233、234及235僅參考具有相同POC次序之基礎視角色調圖像31、32、33、34及35來進行預測，因此第二額外視角色調圖像231、232、233、234及235為P圖像型影像。

由於可對並非來自第一額外視角影像及第二額外視角影像當中之色調圖像131、132、133、134、135、231、232、233、234及235的剩餘影像執行涉及具有相同POC次序之不同視角影像的視角間預測以及畫面間預測，因此剩餘影像為B圖像型影像或b圖像型影像。

用於再生影像之還原處理程序類似於預測處理程序。然而，僅在還原每一影像之參考影像之後，可藉由使用參考影像來還原每一影像。

首先，可經由畫面間預測來還原基礎視角影像。當還原是I圖像型影像之基礎視角色調圖像31、32、33、34及35時，是B圖像型影像之基礎視角影像將參考基礎視角色調圖像31、32、33、34及35來進行還原，並且是b圖像型影像的基礎視角影像將參考I圖像型或B圖像型基礎視角還原影像來進行還原。

由於第二額外視角影像將經由涉及基礎視角影像之視角間預測及涉及第二額外視角影像之畫面間預測來進行編碼，因此僅在還原基礎視角之參考影像及第二額外視角之參考影像之後，第二額外視角影像可藉由使用經還原之 參考影像來進行還原。

由於第一額外視角影像經由涉及基礎視角影像及第二額外視角影像之視角間差異補償及涉及第一額外視角影像之畫面間運動補償來進行編碼，因此在還原基礎視角之參考影像、第二額外視角之參考影像及第一額外視角之參考影像之後，第一額外視角影像可藉由使用經還原的參考影像來進行還原。

圖4A是根據本發明之一實施例之多視角視訊預測結構40的圖式。

在多視角視訊預測結構40中，亦對影像執行視角間預測及畫面間預測的兩者。

多視角視訊預測裝置10可根據多視角視訊預測結構40來預測編碼(prediction-encode)基礎視角影像、第一額外視角影像及第二額外視角影像。

多視角視訊預測裝置10可輸出包含基礎視角影像之預測及編碼結果的基礎層影像串流，並且可輸出包含第一額外視角影像之預測編碼結果的第一增強層影像串流，以及包含第二額外視角影像之預測編碼結果的第二增強層影像串流。

多視角視訊預測還原裝置20可根據多視角視訊預測結構40來還原基礎視角影像、第一額外視角影像及第二額外視角影像。

多視角視訊預測還原裝置20可解碼所接收之基礎層影像串流來還原基礎視角影像，可解碼所接收之第一增強 層影像串流來還原第一額外視角影像，並且可解碼所接收的第二增強層影像串流來還原第二額外視角影像。

對基礎視角影像僅執行畫面間預測。對第一額外視角影像及第二額外視角影像執行涉及不同視角影像之視角間預測及涉及相同視角影像的畫面間預測。

可對第一額外視角影像執行涉及具有相同POC次序之基礎視角影像及第二額外視角影像之視角間預測。另外，可對第二額外視角影像執行涉及具有相同POC次序之基礎視角影像的視角間預測。

亦對第一額外視角影像及第二額外視角影像執行畫面間預測。

然而，不同於在多視角視訊預測結構30中，在多視角視訊預測結構40中，可參考具有相同視角之色調圖像142、144、242及244來預測來自第一額外視角影像及第二額外視角影像當中之色調圖像141、142、143、144、145、241、242、243、244及245中的一些色調圖像143、145、243及245。

由於參考分別具有相同POC次序之基礎視角色調圖像41、42、43、44及45以及第二額外視角色調圖像241、242、243、244及245來預測第一額外視角色調圖像141、142、143、144及145，因此第一額外視角色調圖像141、142、143、144及145為B圖像型影像。另外，可參考其他第一額外視角色調圖像143及145以及基礎視角色調圖像42及44來預測第一額外視角色調圖像142及144。

由於第二額外視角色調圖像241、242、243、244及245中之一些色調圖像241、242及244僅參考具有相同POC次序之基礎視角影像41、42及44來進行預測，因此色調圖像241、242及244為P圖像型影像。然而，第二額外視角色調圖像243及245是參考具有相同POC次序之其他第二額外視角色調圖像242及244以及基礎視角影像43及45來進行預測，第二額外視角色調圖像243及245為B圖像型影像。

參考來自第一額外視角影像及第二額外視角影像當中的相同視角之色調圖像142、144、242及244所預測之色調圖像143、145、243及245的還原處理程序不同於一般多視角視訊預測結構30的還原處理程序。當還原是色調圖像143、145、243及245之參考影像的相同視角之色調圖像142、144、242及244時，可參考相同視角的色調圖像142、144、242及244來還原色調圖像143、145、243及245。

首先，可經由畫面間運動補償來還原基礎視角影像。

在還原基礎視角之參考影像及第二額外視角之參考影像之後，可藉由使用經還原之參考影像來還原第二額外視角影像。詳言之，在是第二額外視角色調圖像243之參考影像的第二額外視角色調圖像242之後，可經由涉及基礎視角色調圖像43之視角間差異補償及涉及第二額外視角色調圖像242的運動補償來還原第二額外視角色調圖像243。同樣，在還原是第二額外視角色調圖像245之參考影 像的第二額外視角色調圖像244之後，可經由涉及基礎視角色調圖像45之視角間差異補償及涉及第二額外視角色調圖像244的運動補償來還原第二額外視角色調圖像245。

在還原基礎視角參考影像、第二額外視角參考影像及第一額外視角參考影像之後，可藉由使用經還原之參考影像來還原第一額外視角影像。詳言之，在還原是第一額外視角色調圖像143之參考影像的第一額外視角色調圖像142之後，可經由涉及基礎視角色調圖像43及第二額外視角色調圖像243之視角間差異補償及涉及第一額外視角色調圖像142的運動補償來還原第一額外視角色調圖像143。同樣地，在還原是第一額外視角色調圖像145之參考影像的第一額外視角色調圖像144之後，可經由涉及基礎視角色調圖像45及第二額外視角色調圖像245之視角間差異補償以及涉及第一額外視角色調圖像144的運動補償來還原第一額外視角色調圖像145。

在下文中，將參看圖4A至圖8B來描述根據本發明根據各種實施例之增強層的額外視角色調圖像之畫面間預測。圖4A至圖8B展示第K個額外視角影像(亦即，關於自多個額外視角當中任意選擇之額外視角的額外視角影像)之畫面間預測。儘管未在圖4A至圖8B中展示視角間預測，但如上文參考多視角視訊預測結構40所描述，視角間預測及涉及基礎視角影像或其他額外視角影像的視角間差異補償已經執行。

圖4B展示根據本發明之另一實施例的針對圖4A之多 視角視訊預測結構40之額外視角影像的增強層之畫面間預測結構49。

根據增強層之畫面間預測結構49，當對額外視角影像81、82、83、84、85、180、181、182、183、184、185、186、187、188、283、284及285執行畫面間預測並且將額外視角色調圖像81、82、83、84及85順序地配置成第0、第1、第2、第3及第4個色調圖像時，參考恰好在色調圖像83及85之前的色調圖像82及84來預測第(偶數)個色調圖像83及85。

在用於還原及再生經預測編碼之影像的編碼處理程序中，僅在還原是額外視角色調圖像83及85之參考影像的額外視角色調圖像82及84之後，可經由涉及額外視角色調圖像82及84的運動補償來還原額外視角色調圖像83及85。為了便於描述，額外視角色調圖像83及85各自被稱為『當前』額外視角色調圖像，並且與當前額外視角色調圖像相比具有較早POC次序之額外視角色調圖像82及84各自被稱為『先前』額外視角色調圖像。

當先前額外視角色調圖像82未被還原時，若產生對當前額外視角色調圖像83之還原請求或再生請求，例如，若產生對當前額外視角色調圖像83之隨機存取，則多視角視訊預測還原裝置20可藉由使用具有與當前額外視角色調圖像83相同之POC次序的基礎視角影像及當前額外視角色調圖像83之深度圖來還原當前額外視角色調圖像83。

然而，根據參看圖4A所描述之增強層的畫面間預測 結構49，屬於與當前額外視角色調圖像83相同之GOP1的B圖像型影像183或b圖像型影像184及185可直接或間接涉及先前額外視角色調圖像52的還原結果。因此，當產生對當前額外視角色調圖像83之隨機存取並且先前額外視角色調圖像52未被還原時，可能不執行涉及針對B圖像型影像183或b圖像型影像184及185之先前額外視角色調圖像52的運動補償。因此，在此情況下，可藉由使用每一深度圖及基礎視角影像來還原B圖像型影像183或b圖像型影像184及185。可參考經還原之當前額外視角色調圖像83來還原屬於GOP2之B圖像型影像186或b圖像型影像187及188。

圖5展示根據本發明之實施例之針對來自多視訊預測結構當中之額外視角影像的增強層之畫面間預測結構50。

根據增強層之畫面間預測結構50，當對額外視角影像51、52、53、54、55、150、151、152、153、154、155、156、157、158、253、254及255執行畫面間預測並且將額外視角色調圖像51、52、53、54及55順序地配置成第0、第1、第2、第3及第4個色調圖像時，參考恰好在色調圖像52及54之後的色調圖像53及55來預測第(奇數)個色調圖像52及54。

在用於還原及再生經預測編碼之影像的解碼處理程序中，僅在還原是額外視角色調圖像52及54之參考影像的額外視角色調圖像53及55之後，可經由涉及額外視角色調圖像53及55之運動補償來還原額外視角色調圖像52 及54。為了便於描述，具有較早POC次序之額外視角色調圖像52及54各自被稱作『當前』額外視角色調圖像，並且具有較晚POC次序之額外視角色調圖像53及55各自被稱作『下一』額外視角色調圖像。

因此，當下一額外視角色調圖像53未被還原時，若產生針對當前額外視角色調圖像52之還原請求或再生請求，例如，若產生對當前額外視角色調圖像52之隨機存取，則將如下描述還原當前額外視角色調圖像52之兩種方法。

(i)當在還原下一額外視角色調圖像53之前產生針對當前額外視角色調圖像52之還原請求時，由於尚未還原下一額外視角色調圖像53，因此多視角視訊預測還原裝置20可藉由使用具有與來自基礎視角影像當中之當前額外視角色調圖像52相同之POC次序的基礎視角影像及當前額外視角色調圖像52的深度圖來還原當前額外視角色調圖像52。

(ii)當在還原下一額外視角色調圖像53之前產生針對當前額外視角色調圖像52之還原請求時，多視角視訊預測還原裝置20可延遲當前額外視角色調圖像52之還原，直至下一額外視角色調圖像53根據額外視角影像之還原次序還原為止。在根據額外視角影像之還原次序來還原下一額外視角色調圖像53之後，多視角視訊預測還原裝置20可參考經還原之下一額外視角色調圖像53來還原當前額外視角色調圖像52。在此情況下，多視角視訊預測還原 裝置20可儲存來自緩衝器中、除了當前額外視角色調圖像52之外的GOP0及GOP1之影像當中的、尚未還原之影像的編碼資料，直至下一額外視角色調圖像53被還原為止。當下一額外視角色調圖像53被還原時，可藉由使用下一額外視角色調圖像53來還原儲存在緩衝器中之影像並且接著可根據POC次序以重新配置經還原之影像52、53、150、151、152、153、154及155。

不同於色調圖像52及54之還原處理程序，當產生不涉及不同色調圖像之針對色調圖像53及55的還原請求或再生請求時，多視角視訊預測還原裝置20可經由差異補償來立即還原色調圖像53及55，而不等待其他色調圖像的還原次序。

然而，根據參看圖5所描述的增強層之畫面間預測結構50，由於直接位在色調圖像53之後的b圖像型影像157或B圖像型影像156可直接或間接地涉及色調圖像54以及色調圖像53之還原結果，因此儘管色調圖像53被還原，但僅在色調圖像54被還原之後，b圖像型影像157或B圖像型影像156可還原。在此情況下，由於色調圖像54在色調圖像55被還原之後完全還原，因此多視角視訊預測還原裝置20亦可在GOP3之影像253、254及255能夠還原時還原GOP2之影像156、157及158。因此，可藉由多達單一GOP來延遲GOP2之影像156、157及158的還原。

圖6展示根據本發明之另一實施例之針對來自多視角視訊預測結構當中之額外視角影像的增強層之畫面間預測 結構60。

根據增強層之畫面間預測結構60，當對額外視角影像61、62、63、64、65、160、161、162、163、164、165、166、167、168、263、264及265執行畫面間預測並且將額外視角色調圖像61、62、63、64及65順序地配置成第0、第1、第2、第3及第4個色調圖像時，參考恰好在色調圖像62及64之後的色調圖像63及65來預測第(奇數)個色調圖像62及64。

參看圖6所描述之增強層的畫面間預測結構60，其與參看圖5所描述之增強層的畫面間預測結構50的相同之處在於：額外視角色調圖像62及64涉及具有較晚POC次序之額外視角色調圖像63及65。

然而，將圖5之增強層的畫面間預測結構50與圖6之增強層的畫面間預測結構60進行比較，來自b圖像型及B圖像型影像160、161、162、163、164、165、166、167、168、263、264及265當中之影像160、162、166及168的參考影像改變。亦即，在圖6之增強層的畫面間預測結構60中，當前額外視角色調圖像62及64會自b圖像型及B圖像型影像160、162、166及168的參考影像中排除。

因此，不同於在參看圖5所描述之增強層的畫面間預測結構50中，根據圖6之增強層的畫面間預測結構60，可參考經還原之額外視角色調圖像61來還原b圖像型及B圖像型影像160及162，而不等待額外視角色調圖像62的還原結果。類似地，可參考經還原之額外視角色調圖像63 來還原b圖像型及B圖像型影像166及168，而不等待額外視角色調圖像64的還原結果。

因此，根據圖6之增強層的畫面間預測結構60，儘管色調圖像62及64根據POC次序恰好定位在b圖像型及B圖像型影像160、162、166及168之後，但若色調圖像62及64涉及具有較晚POC次序的色調圖像63及65，則b圖像型及B圖像型影像160、162、166及168便不涉及色調圖像62及64。

圖7展示根據本發明之另一實施例之針對來自多視訊預測結構當中之額外視角影像的增強層之畫面間預測結構70。

根據增強層之畫面間預測結構70，當對額外視角影像71、72、73、74、75、170、171、172、173、174、175、176、177、178、273、274及275執行畫面間預測並且將額外視角色調圖像71、72、73、74及75順序地配置成第0、第1、第2、第3及第4個色調圖像時，參考恰好在色調圖像72及74之前的色調圖像71及73來預測第(奇數)個色調圖像72及74。

圖7之增強層的畫面間預測結構70不同於參看圖5及圖6所描述之增強層的畫面間預測結構50及60之處在於：在增強層之畫面間預測結構70中，額外視角色調圖像72及74涉及具有較早POC次序的額外視角色調圖像71及73。

然而，根據圖7之增強層的畫面間預測結構70，涉及 不同色調圖像71及73之額外視角色調圖像72及74自b圖像型及B圖像型影像173、174、273及274的參考影像排除。

儘管色調圖像72及74根據POC次序恰好定位在b圖像型及B圖像型影像173、174、273及274之前，但若色調圖像72及74涉及具有較早POC次序的色調圖像71及73，則b圖像型及B圖像型影像173、174、273及274便不涉及色調圖像72及74。

圖8A及圖8B展示根據本發明之實施例的在於圖7之增強層之畫面間預測結構70中產生隨機存取時的還原結果。

不同於在參看圖5及圖6所描述之增強層的畫面間預測結構50及60中，根據圖7之增強層的畫面間預測結構70，當產生對當前色調影像之隨機存取時，原則上不還原在當前色調影像之前的色調圖像。

因此，如圖8A中所示，當產生對涉及色調圖像71之色調圖像72的隨機存取時，由於未還原色調圖像71，因此不還原色調圖像72。因此，當產生對涉及先前色調圖像71之色調圖像72的隨機存取時，多視角視訊預測還原裝置20可略過色調圖像72之還原並且可還原GOP1、GOP2及GOP3之額外視角影像73、173、174、175、74、176、177、178、75、273、274及275。根據POC次序，可重新配置(80)且可再生經還原之影像174、173、175、73、177、176、178、74、274、273、275及75。因此，由於色 調圖像72之隨機存取，當再生經還原之影像時，可將色調圖像72作為損耗(loss)處理。

舉另一實例，可使用深度圖。

如圖8A中所示，當產生對涉及色調圖像71之色調圖像72的隨機存取時，可藉由使用具有與額外視角色調圖像72相同的POC次序之基礎視角影像及深度圖來還原額外視角色調圖像72。

如圖8B中所示，當產生對色調影像73之隨機存取時，由於無需等待不同額外視角色調圖像之還原結果，因此可立即還原色調影像73並且可還原GOP2及GOP3的額外視角影像74、176、177、178、75、273、274及275。根據POC次序，可重新配置(85)及再生經還原之影像73、177、176、178、74、274、273、275及75。

本發明不限於圖4A至圖8B中所示之實施例。多視角視訊預測裝置10及多視角視訊預測還原裝置20可針對增強層之畫面間預測(或運動補償)選擇正向預測(forward predition)或反向預測(backward predition)。舉例而言，可參考來自額外視角色調圖像當中之第(偶數)個色調圖像來預測(或還原)第(奇數)個色調圖像，或可參考第(奇數)個色調圖像來預測(還原)第(偶數)個色調圖像。

如圖4A及圖4B中所示，參考色調圖像之POC次序早於當前額外視角色調圖像之POC次序，對當前額外視角色調圖像之隨機存取產生，多視角視訊預測還原裝置20可藉由使用當前額外視角色調圖像之深度圖及基礎視角影 像來還原當前額外視角色調圖像。

如同在圖5及圖6中，當參考色調圖像之POC次序晚於當前額外視角色調圖像之POC次序時，多視角視訊預測還原裝置20延遲當前額外視角色調圖像之還原，直至參考色調影像被還原為止。甚至在參考色調影像被還原之後，仍可還原當前額外視角色調圖像。舉另一實例，若參考色調影像未還原，則多視角視訊預測還原裝置20可略過當前額外視角色調圖像之運動補償，並且可藉由使用當前額外視角色調圖像之深度圖及基礎視角影像來還原當前額外視角色調圖像。

如同在圖7、圖8A及圖8B中，儘管參考色調圖像之POC次序早於當前額外視角色調圖像之POC次序，但當產生針對當前額外視角色調圖像之隨機存取請求時，由於參考色調影像未還原，因此多視角視訊預測還原裝置20可略過當前額外視角色調圖像之還原並且可還原具有下一POC次序的影像。

如圖6、圖7、圖8A及圖8B中所示，關於並非色調影像之一部分的b圖像型或B圖像型影像，採用相同視角之不同色調影像預測的色調影像可自參考影像中排除。

然而，如圖4A、圖4B及圖5中所示，為了還原參考相同視角之不同色調影像所預測之當前額外視角色調圖像，當藉由使用基礎視角色調圖像及深度圖來還原參考色調影像時，可參考當前額外視角色調圖像來還原並非色調影像的b圖像型或B圖像型額外視角影像。

圖9是根據本發明之實施例之多視角視訊預測方法的流程圖。

在操作91中，執行基礎視角影像之間的畫面間預測，以產生包含I圖像型影像之基礎視角色調圖像的經編碼資料，以及I圖像基礎視角色調圖像之殘餘值的經編碼資料之基礎層影像串流。

在操作92中，可執行(i)用於參考基礎視角影像來預測額外視角影像之視角間預測，(ii)用於參考來自額外視角影像當中之額外視角色調圖像來預測不同額外視角色調圖像的畫面間預測，以及(iii)用於參考額外視角影像來預測除了額外視角色調圖像以外的額外視角影像之畫面間預測。可產生包含經由(i)視角間預測、(ii)額外視角色調圖像之畫面間預測，及除了色調圖像以外的額外視角影像之畫面間預測所產生的額外視角影像之殘餘值的增強層影像串流。

在操作93中，可參考在當前額外視角色調圖像自額外視角色調圖像當中之還原之前所還原的額外視角色調圖像，來執行當前額外視角色調圖像之畫面間預測。舉另一實例，可參考待在當前額外視角色調圖像自額外視角色調圖像當中還原之後所還原的額外視角色調圖像，來執行當前額外視角色調圖像之畫面間預測。

根據本發明之實施例，可自基礎視角影像及額外視角影像當中產生深度圖，此深度圖指示具有相同場景之基礎視角影像與額外視角影像之間的視角間深度。可傳輸所產 生之深度圖，所述深度圖連同基礎層影像串流及增強層影像串流。

圖10是根據本發明之實施例之多視角視訊預測還原方法的流程圖。

在操作101中，接收基礎層影像串流及增強層影像串流。

在操作103中，參考基礎視角色調圖像來還原基礎層影像串流之I圖像型基礎視角色調圖像並且執行基礎視角影像之運動補償，以還原基礎視角影像。

在操作105中，當存取增強層影像串流之額外視角色調圖像時，可執行涉及經還原之基礎視角色調圖像的差異補償以及涉及增強層串流之不同額外視角色調圖像的運動補償中之至少一者，以還原額外視角色調圖像。

在操作107中，可對增強層影像串流之除了額外視角色調圖像以外的額外視角影像執行涉及經還原之基礎視角影像的差異補償以及涉及首先還原之增強層串流之額外視角的運動補償中之至少一者，以還原除了額外視角色調圖像以外的額外視角影像。

在操作101中，自基礎視角影像及額外視角影像當中，可進一步接收深度圖，此深度圖指示具有相同場景之基礎視角影像與額外視角之間的視角間深度。

為了還原色調圖像，可產生針對色調圖像之存取。

舉例而言，在操作105中，當存取參考在當前額外視角色調圖像自額外視角色調圖像當中之還原之前還原的額 外視角色調圖像所預測的當前額外視角色調圖像時，藉由使用深度圖及對應於當前額外視角色調圖像之基礎視角影像來還原當前額外視角色調圖像。

作為另一實例，在操作105中，當存取參考在當前額外視角色調圖像自額外視角色調圖像當中之還原之前以還原的額外視角色調圖像所預測的當前額外視角色調圖像時，可略過當前額外視角色調圖像之還原，並且可還原當前額外視角色調圖像的下一額外視角色調圖像。

舉例而言，在操作105中，當存取參考待在當前額外視角色調圖像被還原之後還原之額外視角色調圖像所預測的當前額外視角色調圖像時，可藉由使用深度圖及對應於當前額外視角色調圖像之基礎視角影像來還原當前額外視角色調圖像。

作為另一實例，在操作105中，當存取參考待在當前額外視角色調圖像被還原之後以還原之額外視角色調圖像所預測的當前額外視角色調圖像時，可延遲當前額外視角色調圖像之還原。可藉由使用在還原作為參考影像之額外視角色調圖像之後還原的參考影像來還原當前額外視角色調圖像。

舉例而言，在操作105中，當存取不涉及來自額外視角色調圖像當中之不同額外視角色調圖像的當前額外視角色調圖像時，可藉由使用對應於當前額外視角色調圖像之基礎視角影像來還原當前額外視角色調圖像。

作為另一實例，在操作105中，當存取不涉及來自額 外視角色調圖像當中之不同額外視角色調圖像的當前額外視角色調圖像時，可藉由使用深度圖及對應於當前額外視角色調圖像之基礎視角影像來還原當前額外視角色調圖像。

用於執行圖9之多視角視訊預測方法的多視角視訊編碼終端機(terminal)可包含多視角視訊預測裝置10。包含多視角視訊預測裝置10之多視角視訊編碼終端機可針對每一各別影像區塊執行畫面間預測、畫面內預測、視角間預測、轉換及量化以產生樣本，並且可對樣本執行熵編碼以輸出呈現位元串流形式的樣本。作為包含多視角視訊預測裝置10之多視角視訊編碼終端機的視訊編碼結果，亦即，多視角視訊預測裝置10可與安裝在多視角視訊編碼終端機中之內部視訊編碼處理器或外部視訊編碼處理器來進行合作性地互動，以便輸出基礎層影像串流及增強層影像串流，並且由此，包含轉換的視訊編碼處理程序可得以執行。根據本發明之實施例，可藉由添加視訊編碼處理模組至視訊編碼設備、中央操作設備或圖形操作設備以及至執行基本視訊編碼操作之單獨處理器來體現多視角視訊編碼終端機的內部視訊編碼處理器。

另外，在視訊預測處理程序期間，需要視訊還原處理程序來產生參考影像。因此，多視角視訊編碼終端機可更包含用於執行圖10之多視角視訊預測還原方法的多視角視訊預測還原裝置20。包含多視角視訊預測還原裝置20之多視角視訊編碼終端機可對經由針對每一各別基礎層及 增強層之畫面間預測、視角間預測、畫面內預測、轉換及量化所產生的資料串流執行解碼。亦即，關於基礎層及增強層，可對每一各別影像區塊執行逆量化、逆轉換、畫面內預測及運動補償(或者畫面間運動補償或視角間差異補償)，以還原基礎視角影像及額外視角影像的樣本。為了使多視角視訊編碼終端機輸出經還原之參考影像，多視角視訊預測還原裝置20可與安裝在多視角視訊編碼終端機中之內部視訊編碼處理器或外部視訊編碼處理器來進行合作性地互動，並且由此，包含逆量化、逆轉換及預測/補償的視訊還原操作可得以執行。根據本發明之實施例，可藉由添加視訊解碼處理模組至多視角視訊編碼終端機、中央操作設備或圖形操作設備以及至執行基本視訊還原操作之單獨處理器來體現多視角視訊編碼終端機的內部視訊編碼處理器。

用於執行圖10之多視角視訊預測還原方法的多視角視訊還原終端機可包含多視角視訊預測還原裝置20。包含多視角視訊預測還原裝置20之多視角視訊還原終端機可解碼所接收之基礎層影像串流及增強層影像串流。亦即，可對每一各別影像區塊之基礎層影像串流及增強層影像串流執行逆量化、逆轉換、畫面內預測及運動補償(或者畫面間運動補償或視角間差異補償)，以自基礎層影像串流還原基礎視角影像之樣本並且自增強層影像串流還原額外視角影像的樣本。為了輸出作為多視角視訊還原終端機之解碼結果所產生的還原影像，多視角視訊預測還原裝置20 可與安裝在多視角視訊還原終端機中之內部視訊編碼處理器或外部視訊解碼處理器合作性地互動，並且由此，包含逆量化、逆轉換及預測/還原之視訊還原操作可得以執行。可藉由添加視訊解碼處理模組至多視角視訊還原終端機、中央操作設備或圖形操作設備以及至執行基本視訊還原操作之單獨處理器(separate processor)來體現多視角視訊還原終端機的內部視訊解碼處理器。

如上文所描述，在多視角視訊預測裝置10及多視角視訊預測還原裝置20中，藉由分割視訊資料所獲得之區塊根據樹狀結構分割成寫碼單元(coding unit)，並且寫碼單元、預測單元以及轉換單元用於針對寫碼單元的視角間預測或畫面間預測。在下文中，參看圖11至圖23，將描述基於根據樹狀結構之寫碼單元及轉換單元之用於編碼視訊的方法與裝置及用於解碼視訊之方法與裝置。

原則上，在針對多視角視訊之編碼/解碼期間，針對基礎層之編碼/解碼處理程序及針對增強層之編碼/解碼處理程序將會單獨地執行。亦即，當對多視角視訊執行視角間預測時，單視角視訊之編碼/解碼結果將會交叉涉及，但針對各別單視角視訊執行單獨的編碼/解碼處理程序。

為了便於描述，由於對單視角視訊執行將參看圖11至圖23描述之基於根據樹狀結構之寫碼單元的視訊編碼處理程序及視訊解碼處理程序，因此將僅描述畫面間預測及運動補償。然而，如參看圖1至圖10所描述，執行基礎視角影像與額外視角影像之間的視角間預測，及視角間差 異補償。

當多視角視訊預測裝置10編碼基於根據樹狀結構之寫碼單元之多視角視訊時，為了針對每一各別單視角視訊編碼視訊，多視角視訊預測裝置10包含與多視角視訊之視角之數目一樣多的圖11之視訊編碼裝置100以便編碼視訊，使得每一視訊編碼裝置100可經控制來編碼所指派的單視角視訊。另外，多視角視訊預測裝置10可藉由使用每一視訊編碼裝置100之單獨的單視角之編碼結果來執行視角間預測。因此，多視角視訊預測裝置10可針對每一各別階層產生基礎層影像串流及增強層影像串流，其中各別視角之編碼結果已經記錄。

類似地，當多視角視訊預測還原裝置20解碼基於根據樹狀結構之寫碼單元之多視角視訊時，為了針對每一各別層解碼所接收之基礎層影像串流及增強層影像串流，多視角視訊預測還原裝置20可包含與多視角視訊之視角之數目一樣多的圖12之視訊解碼裝置200，並且視訊解碼裝置200可經控制來對分別指派給視訊解碼裝置200的單視角視訊執行解碼。另外，多視角視訊預測還原裝置20可藉由使用多視角視訊預測還原裝置20之單獨的單視角之解碼結果來執行視角間差異補償。因此，多視角視訊預測還原裝置20可產生針對各別層所還原之基礎視角影像及額外視角影像。

圖11是根據本發明之實施例之基於根據樹狀結構之寫碼單元的視訊編碼裝置100之方塊圖。

經由基於根據樹狀結構之寫碼單元的視訊預測之視訊編碼裝置100包含了寫碼判定器120及輸出單元130。在下文中，為了便於描述，經由基於根據樹狀結構之寫碼單元的視訊預測之視訊編碼裝置100被稱為『視訊編碼裝置100』。

寫碼單元判定器120可基於用於影像之當前圖像的最大寫碼單元來分割當前圖像。若當前圖像大於最大寫碼單元，則當前圖像之影像資料可分割成至少一個最大寫碼單元。根據本發明之實施例之最大寫碼單元可為具有尺寸32×32、64×64、128×128、256×256等之資料單元，其中資料單元之形狀是具有為2的平方之寬度及長度之正方形。

根據本發明之實施例之寫碼單元可藉由最大尺寸及深度來表徵。深度表示寫碼單元自最大寫碼單元在空間上分割之次數，並且隨著深度加深，根據深度之較深編碼單元可自最大寫碼單元分割成最小寫碼單元。最大寫碼單元之深度是最上層深度(uppermost depth)，並且最小寫碼單元之深度是最下層深度(lowermost depth)。由於對應於每一深度之寫碼單元的大尺寸隨著最大寫碼單元之深度加深而減小，因此對應於較上層深度之寫碼單元可包含對應於較下層深度的多個寫碼單元。

如上文所描述，當前圖像之影像資料根據寫碼單元之最大尺寸分割成最大寫碼單元，並且最大寫碼單元中的每一者可包含根據深度所分割的較深寫碼單元。由於根據本發明之實施例之最大寫碼單元是根據深度分割，因此包含 在最大寫碼單元中之空間域的影像資料可根據深度在階層上進行分類。

限制最大寫碼單元之高度及寬度在階層上分割之總次數的寫碼單元之最大深度及最大尺寸可為預定的。

寫碼單元判定器120編碼藉由根據深度分割最大寫碼單元之區域所獲得的至少一個分割區域，並且判定深度以根據此至少一個分割區域來輸出最後經編碼影像資料。換言之，寫碼單元判定器120藉由根據當前圖像之最大寫碼單元、根據深度編碼較深寫碼單元中之影像資料並且選擇具有最小編碼誤差的深度，來判定經寫碼深度。因此，最後輸出對應於所判定之經寫碼深度的寫碼單元之經編碼影像資料。又，對應於經寫碼深度之寫碼單元可被視為經編碼的寫碼單元。所判定之經寫碼深度及根據所判定之經寫碼深度的經編碼影像資料會輸出至輸出單元130。

最大寫碼單元中之影像資料基於對應於等於或低於最大深度之至少一個深度的較深寫碼單元來編碼，並且編碼影像資料之結果基於較深寫碼單元中的每一者來比較。可在比較較深寫碼單元之編碼誤差之後選擇具有最小編碼誤差的深度。可針對每一最大寫碼單元選擇至少一個經寫碼深度。

隨著寫碼單元根據深度在階層上分割，並且隨著寫碼單元之數目增加，最大寫碼單元的尺寸經分割。又，即使寫碼單元對應於一最大寫碼單元中之同一深度，仍藉由單獨量測每一寫碼單元之影像資料的編碼誤差來判定是否將 對應於同一深度之寫碼單元中的每一者分割成較下層深度。因此，甚至當影像資料包含在一最大寫碼單元中時，影像資料仍根據深度分割成多個區域，並且編碼誤差可根據一最大寫碼單元中之區域而不同，並且由此經寫碼深度可根據影像資料中的區域而不同。因此，一或多個經寫碼深度可在一最大寫碼單元中判定，並且最大寫碼單元之影像資料可根據至少一個經寫碼深度的寫碼單元來劃分。

因此，寫碼單元判定器120可判定包含在最大寫碼單元中之具有樹狀結構的寫碼單元。根據本發明之實施例之『具有樹狀結構之寫碼單元』包含來自包含在最大寫碼單元中之所有較深寫碼單元當中的對應於判定為經寫碼深度之深度的寫碼單元。經寫碼深度之寫碼單元可根據在最大寫碼單元之同一區域中的深度在階層上判定，並且可在不同的區域中獨立地判定。類似地，當前區域中之經寫碼深度可獨立於另一區域中之經寫碼深度來判定。

根據本發明之實施例之最大深度是與自最大寫碼單元至最小寫碼單元所執行之分割次數相關的索引(index)。根據本發明之實施例之第一最大深度可表示自最大寫碼單元至最小寫碼單元所執行之總分割次數。根據本發明之實施例之第二最大深度可表示自最大寫碼單元至最小寫碼單元之深度層級總數目。舉例而言，當最大寫碼單元之深度是0時，最大寫碼單元經分割一次之寫碼單元的深度可設定為1，並且最大寫碼單元經分割兩次之寫碼單元的深度可設定為2。此處，若最小寫碼單元是最大寫碼 單元經分割四次之寫碼單元，則深度之5個深度層級0、1、2、3及4會存在，並且由此第一最大深度可設定為4，並且第二最大深度可設定為5。

可根據最大寫碼單元執行預測編碼及轉換。根據最大寫碼單元，亦基於根據等於最大深度之深度或小於最大深度之深度的較深寫碼單元來執行預測編碼及轉換。可根據正交轉換或整數轉換之方法來執行轉換。

由於在無論何時最大寫碼單元根據深度分割時較深寫碼單元之數目增加，因此包含預測編碼及轉換的編碼將對隨著深度加深所產生的所有較深寫碼單元進行執行。為了便於描述，在最大寫碼單元中，現將基於當前深度之寫碼單元來描述預測編碼及轉換。

視訊編碼裝置100可以各種方式選擇用於編碼影像資料之資料單元的尺寸或形狀。為了編碼影像資料，諸如預測編碼、轉換及熵編碼之操作經執行，並且此時，同一資料單元可用於所有操作或不同的資料單元可用於每一操作。

舉例而言，視訊編碼裝置100可不僅選擇用於編碼影像資料之寫碼單元，而且選擇不同於寫碼單元之資料單元，以便對寫碼單元中的影像資料執行預測編碼。

為了對最大寫碼單元執行預測編碼，預測編碼可基於對應於經寫碼深度之寫碼單元(亦即，基於不再分割成對應於較下層深度之寫碼單元的寫碼單元)以執行。在下文中，不再分割並且變為用於預測編碼之基礎單元的寫碼單 元現將被稱為『預測單元』。藉由分割預測單元所獲得之分區(partition)可包含藉由分割預測單元之高度及寬度中的至少一者所獲得的預測單元或資料單元。分區是藉由劃分寫碼單元之預測單元所獲得的資料單元，並且預測單元可為具有與寫碼單元相同之尺寸的分區。

舉例而言，當2N×2N(其中N是正整數)之寫碼單元不再分割並且變為2N×2N之預測單元時，分區之尺寸可為2N×2N、2N×N、N×2N或N×N。分區類型之實例包含藉由對稱地分割預測單元之高度或寬度所獲得的對稱分區、藉由非對稱地分割預測單元之高度或寬度(諸如，1：n或n：1)所獲得的分區、藉由以幾何方式分割預測單元所獲得之分區，以及具有任意形狀的分區。

預測單元之預測模式可為畫面內模式、畫面間模式及略過模式中之至少一者。舉例而言，可對2N×2N、2N×N、N×2N或N×N之分區執行畫面內模式或畫面間模式。又，可僅對2N×2N之分區執行略過模式。在寫碼單元中對一預測單元獨立地執行編碼，藉此選擇具有最小編碼誤差的預測模式。

視訊編碼裝置100亦可不僅基於用於編碼影像資料之寫碼單元而且基於不同於寫碼單元之轉換單元而對寫碼單元中的影像資料執行轉換。為了在寫碼單元中執行轉換，可基於具有小於或等於寫碼單元之尺寸的資料單元來執行轉換。舉例而言，用於轉換之轉換單元可包含用於畫面內模式之轉換單元及用於畫面間模式之資料單元。

類似於根據本發明根據樹狀結構之寫碼單元，寫碼單元中之轉換單元可以遞回(recursively)方式分割成較小尺寸的區域，並且寫碼單元中之殘餘資料可根據具有根據轉換深度之樹狀結構的轉換來劃分。

根據本發明之實施例，亦可在轉換單元中設定轉換深度，此轉換深度指示藉由分割寫碼單元之高度及寬度達到轉換單元所執行之分割次數。舉例而言，當當前寫碼單元之轉換單元的尺寸為2N×2N時，轉換深度可設定為0。當轉換單元之尺寸為N×N時，轉換深度可設定為1。另外，當轉換單元之尺寸為N/2×N/2時，轉換深度可設定為2。亦即，亦可根據轉換深度來設定根據樹狀結構之轉換單元。

根據對應於經寫碼深度之寫碼單元的編碼資訊不僅需要關於經寫碼深度之資訊，而且需要關於與預測編碼及變化相關之資訊的資訊。因此，寫碼單元判定器120不僅判定具有最小編碼誤差之經寫碼深度，而且判定預測單元中之分區類型、根據預測單元之預測模式，以及用於轉換之轉換單元的尺寸。

稍後將參看圖13至圖23詳細描述根據本發明之實施例的根據最大寫碼單元中之樹狀結構的寫碼單元及預測單元/分區，以及判定轉換單元的方法。

寫碼單元判定器120可藉由基於拉格朗日乘數(Lagrangian multiplier)使用位元率-失真最佳化(Rate-Distortion Optimization)以根據深度來量測較深寫碼單元之編碼誤差。

輸出單元130在位元串流中輸出基於藉由寫碼單元判定器120所判定之至少一個經寫碼深度所編碼的最大寫碼單元之影像資料，以及根據經寫碼深度關於編碼模式的資訊。

可藉由編碼影像之殘餘資料來獲得經編碼影像資料。

根據經寫碼深度關於編碼模式的資訊可包含關於經寫碼深度、預測單元中之分區類型、預測模式以及轉換單元之尺寸的資訊。

可藉由使用根據深度之分割資訊來定義關於經寫碼深度的資訊，關於經寫碼深度的資訊指示是否對較下層深度而非當前深度之寫碼單元執行編碼。若當前寫碼單元之當前深度是經寫碼深度，則當前寫碼單元中之影像資料經編碼且輸出，並且由此，分割資訊可定義為不將當前寫碼單元分割至較下層深度。或者，若當前寫碼單元之當前深度並非經寫碼深度，則編碼對較下層深度之寫碼單元執行，並且由此，分割資訊可定義為分割當前寫碼單元以獲得較下層深度的寫碼單元。

若當前深度並非經寫碼深度，則對分割成較下層深度之寫碼單元的寫碼單元執行編碼。由於較下層深度之至少一個寫碼單元存在於當前深度之一寫碼單元中，因此編碼對較下層深度之每一寫碼單元重複地執行，並且由此編碼可針對具有同一深度之寫碼單元以遞回方式執行。

由於具有樹狀結構之寫碼單元是針對一最大寫碼單元而判定，並且關於至少一個編碼模式的資訊是針對經寫 碼深度之寫碼單元而判定，因此關於至少一個編碼模式的資訊可針對一最大寫碼單元而判定。又，最大寫碼單元之影像資料的經寫碼深度可根據位置而不同，此是因為影像資料根據深度在階層上分割，並且由此關於經寫碼深度及編碼模式的資訊可針對影像資料來設定。

因此，輸出單元130可將關於對應之經寫碼深度及編碼模式之編碼資訊指派給寫碼單元、預測單元及包含在最大寫碼單元中之最小單元中的至少一者。

根據本發明之實施例之最小單元是藉由將構成最下層深度之最小寫碼單元分割為4個所獲得的矩形資料單元。或者，最小單元可為包含在所有寫碼單元、預測單元、分區單元及包含在最大寫碼單元中之轉換單元中的具有最大尺寸之最大矩形資料單元。

舉例而言，經由輸出單元130所輸出之編碼資訊可分類成根據寫碼單元之編碼資訊，及根據預測單元的編碼資訊。根據寫碼單元之編碼資訊可包含關於預測模式及關於分區之尺寸的資訊。根據預測單元之編碼資訊可包含關於畫面間模式之估計方向、關於畫面間模式之參考影像索引、關於運動向量、關於畫面內模式之色度分量(chroma component)及關於畫面內模式之內插方法的資訊。

又，關於根據圖像、片段或GOP所定義之寫碼單元之最大尺寸的資訊及關於最大深度之資訊可插入至位元串流的標頭、SPS(序列參數集)或圖像參數集(picture parameter set；PPS)中。

另外，亦可經由位元串流之標頭、SPS或PPS輸出針對當前視訊可接受的關於轉換單元之最大尺寸的資訊及關於轉換單元之最小尺寸的資訊。輸出單元130可編碼且輸出與參看圖1至圖6所描述之預測相關的參考資訊、預測資訊、單方向預測資訊，及關於包含第四片段類型之片段類型的資訊。

在視訊編碼裝置100中，較深寫碼單元可為藉由將較上層深度之寫碼單元(其為在上方的一層)的高度或寬度劃分為2個所獲得的寫碼單元。換言之，當當前深度之寫碼單元的尺寸為2N×2N時，較下層深度之寫碼單元的尺寸為N×N。又，具有尺寸2N×2N之當前深度的寫碼單元可包含較下層深度之寫碼單元的最大值4。

因此，視訊編碼裝置100可藉由基於最大寫碼單元之尺寸及考慮當前圖像之特性所判定的最大深度針對每一最大寫碼單元判定具有最佳形狀及最佳尺寸的寫碼單元，來形成具有樹狀結構之寫碼單元。又，由於藉由使用各種預測模式及轉換中之任一者對每一最大寫碼單元執行編碼，因此可考慮各種影像尺寸之寫碼單元的特性判定最佳編碼模式。

因此，若具有高解析度或大資料量之影像在習知巨集區塊中編碼，則每圖像之巨集區塊的數目將會過度地增加。因此，針對每一巨集區塊所產生之壓縮資訊之片段(piece)的數目增加，且由此難以傳輸壓縮資訊並且降低資料壓縮效率。然而，藉由使用視訊編碼裝置100，由於 在考慮影像之特性的同時調整寫碼單元，同時在考慮影像之尺寸的同時增加寫碼單元的最大尺寸，因此可增加影像壓縮效率。

參看圖1所描述之多視角視訊預測裝置10可包含與視角之數目一樣多的視訊編碼裝置100，以便針對多視角視訊之各別視角來編碼單視角影像。舉例而言，基礎層編碼器12可包含單一視訊編碼裝置100，並且增強層編碼器14可包含與額外視角之數目一樣多的視訊編碼裝置100。

當視訊編碼裝置100編碼基礎視角影像時，寫碼判定器120可根據針對每一最大寫碼單元之樹狀結構來針對每一各別寫碼單元之畫面間預測的判定預測單元，並且可針對每一各別預測單元執行畫面間預測。

當視訊編碼裝置100編碼額外視角影像時，寫碼判定器120亦可根據針對每一最大寫碼單元之樹狀結構來判定預測單元及寫碼單元，並且可針對每一各別預測單元執行畫面間預測。

詳言之，用於額外視角影像之視訊編碼裝置100可參考相同視角之不同色調影像來預測額外視角色調圖像，以用於畫面間預測。視訊編碼裝置100可產生深度圖，其中深度圖記錄有額外視角影像與具有與額外視角影像相同之POC次序的基礎視角影像之間的深度差。

舉例而言，關於並非色調圖像之一部分的b圖像型或B圖像型影像，參考相同視角之不同色調圖像所預測的色調圖像可自參考影像排除。作為另一實例，可參考當前額 外視角色調圖像來預測並非色調圖像之b圖像型或B圖像型額外視角影像。

圖12是根據本發明之實施例之基於根據樹狀結構之寫碼單元的視訊解碼裝置200之方塊圖。

基於根據樹狀結構之寫碼單元的視訊解碼裝置200包含接收器210、影像資料及編碼資訊提取器220，以及影像資料解碼器230。在下文中，為了便於描述，使用基於根據樹狀結構之寫碼單元的視訊預測之視訊解碼裝置200將被稱為『視訊解碼裝置200』。

針對視訊解碼裝置200之解碼操作的各種術語(諸如，寫碼單元、深度、預測單元、轉換單元)之定義，及關於各種編碼模式之資訊與參看圖11及視訊編碼裝置100所描述的彼等相同。

接收器210接收且剖析經編碼視訊之位元串流。影像資料及編碼資訊提取器220自經剖析位元串流提取針對每一寫碼單元之經編碼影像資料，其中寫碼單元具有根據每一最大寫碼單元之樹狀結構，並且將經提取影像資料輸出至影像資料解碼器230。影像資料及編碼資訊提取器220可自關於當前圖像之標頭、SPS或PPS提取關於當前圖像之寫碼單元之最大尺寸的資訊。

又，影像資料及編碼資訊提取器220自經剖析位元串流提取針對具有根據每一最大寫碼單元之樹狀結構之寫碼單元的關於經寫碼深度及編碼模式的資訊。關於經寫碼深度及編碼模式之所提取資訊輸出至影像資料解碼器230。 換言之，位元串流中之影像資料分割成最大寫碼單元，使得影像資料解碼器230針對每一最大寫碼單元解碼影像資料。

根據最大寫碼單元關於經寫碼深度及編碼模式的資訊可針對關於對應於經寫碼深度之至少一個寫碼單元的資訊而設定，並且關於編碼模式之資訊可包含關於對應於經寫碼深度之對應寫碼單元的分區類型、關於預測模式以及轉換單元之尺寸的資訊。又，根據深度之分割資訊可被提取作為關於經寫碼深度之資訊。

藉由影像資料及編碼資訊提取器220所提取的根據每一最大寫碼單元關於經寫碼深度及編碼模式的資訊是關於如下經寫碼深度及編碼模式之資訊：經判定以在諸如視訊編碼裝置100之編碼器根據每一最大寫碼單元根據深度針對每一較深寫碼單元重複地執行編碼時產生最小編碼誤差。因此，視訊解碼裝置200可藉由根據產生最小編碼誤差之經寫碼深度及編碼模式解碼影像資料來還原影像。

由於關於經寫碼深度及編碼模式之編碼資訊可指派給來自對應寫碼單元、預測單元及最小單元當中的預定資料單元，因此影像資料及編碼資訊提取器220可根據預定資料單元來提取關於經寫碼深度及編碼模式的資訊。關於經寫碼深度及編碼模式之相同資訊所指派給的預定資料單元可被推斷為包含在同一最大寫碼單元中的資料單元。

影像資料解碼器230藉由基於根據最大寫碼單元關於經寫碼深度及編碼模式的資訊解碼每一最大寫碼單元中之 影像資料來還原當前圖像。換言之，影像資料解碼器230可基於關於分區類型、預測模式，以及來自包含在每一最大寫碼單元中之具有樹狀結構的寫碼單元當中之每一寫碼單元之轉換單元的所提取資訊而解碼經編碼影像資料。解碼處理程序可包含包括畫面內預測及運動補償之預測，及逆轉換。可根據逆正交轉換或逆整數轉換之方法來執行逆轉換。

影像資料解碼器230可基於關於根據經寫碼深度之寫碼單元之預測單元的分區類型及預測模式的資訊，根據每一寫碼單元之分區及預測模式來執行畫面內預測或運動補償。

另外，影像資料解碼器230可讀取針對每一寫碼單元根據樹狀結構之轉換單元資訊，以便針對每一最大寫碼單元之逆轉換，針對每一寫碼單元判定轉換單元並且針對每一寫碼單元基於轉換單元執行逆轉換。經由逆轉換，可還原寫碼單元之空間區域的像素值。

影像資料解碼器230可藉由根據深度使用分割資訊來判定當前最大寫碼單元之至少一個經寫碼深度。若分割資訊指示影像資料在當前深度上不再分割，則當前深度為經寫碼深度。因此，影像資料解碼器230可藉由使用關於預測單元之分區類型、預測模式，及用於對應於經寫碼深度之每一寫碼單元之轉換單元的尺寸之資訊來解碼對應於當前最大寫碼單元中之每一經寫碼深度的至少一個寫碼單元之經編碼資料，並且輸出當前最大寫碼單元的影像資料。

換言之，含有包含相同分割資訊之編碼資訊的資料單元可藉由觀測針對來自寫碼單元、預測單元及最小單元當中之預定資料單元所指派的編碼資訊集合來聚集，並且所聚集之資料單元可視為待藉由影像資料解碼器230在同一編碼模式中解碼的一資料單元。針對如上文所描述而判定之每一寫碼單元，可獲得關於編碼模式之資訊，以便解碼當前寫碼單元。

參看圖1所描述之多視角視訊預測裝置10可包含與視角之數目一樣多的影像解碼裝置200之影像資料解碼器230，以便針對多視角視訊之各別視角的畫面間預測產生參考影像。舉例而言，基礎層編碼器12可包含單一影像資料解碼器230，並且增強層編碼器14可包含與額外視角之數目一樣多的視訊解碼裝置200。

另外，參看圖2所描述之多視角視訊預測還原裝置20可包含與視角之數目一樣多的視訊解碼裝置200，以便解碼所接收之基礎層影像串流及增強層影像串流來還原基礎視角影像及額外視角影像。舉例而言，基礎層解碼器24可包含單一視訊解碼裝置200，並且增強層解碼器26可包含與額外視角之數目一樣多的視訊解碼裝置200。

當基礎層影像串流被接收時，視訊解碼裝置200之影像資料解碼器230可根據最大寫碼單元之樹狀結構，以將藉由提取器220自基礎層影像串流所提取之基礎視角影像的樣本分割成寫碼單元。影像資料解碼器230可對用於針對根據基礎視角影像之樣本之樹狀結構的每一各別寫碼單 元之畫面間預測的各別預測單元執行運動補償，以還原基礎視角影像。

當增強層影像串流被接收時，視訊解碼裝置200之影像資料解碼器230可根據最大寫碼單元之樹狀結構，以將藉由提取器220自增強層影像串流所提取之額外視角影像的樣本分割成寫碼單元。影像資料解碼器230可對用於額外視角影像之樣本之畫面間預測的各別預測單元執行運動補償，以還原額外視角影像。

當用於額外視角影像之影像資料解碼器230還原當前額外視角色調圖像時，若是當前額外視角色調圖像之參考影像的額外視角色調圖像(參考色調圖像)尚未被還原，則可藉由使用具有與當前額外視角色調圖像相同之POC次序的基礎視角色調圖像及當前額外視角色調圖像之深度圖來還原當前額外視角色調圖像。

舉例而言，即使參考色調圖像之POC次序早於當前額外視角色調圖像的POC次序，若當前額外視角色調圖像需要在參考色調圖像未還原時被還原(例如，若針對當前額外視角色調圖像之存取請求產生)，則影像資料解碼器230仍可藉由使用當前額外視角色調圖像之深度圖及基礎視角影像來還原當前額外視角色調圖像。

舉例而言，當影像資料解碼器230能夠藉由使用基礎視角色調圖像及深度圖來還原參考色調圖像以便還原參考相同視角之不同色調圖像所預測的當前額外視角色調圖像時，影像資料解碼器230亦可參考當前額外視角色調圖像 來還原並非色調圖像的b圖像型或B圖像型額外視角影像。

然而，當未還原並非色調圖像之b圖像型或B圖像型額外視角影像的參考色調影像時，亦可藉由使用額外視角影像之深度圖及基礎視角影像來還原額外視角影像。

視訊解碼裝置200可獲得關於在針對每一最大寫碼單元以遞回方式執行編碼時產生最小編碼誤差之至少一個寫碼單元的資訊，並且可使用此資訊來解碼當前圖像。換言之，可解碼判定為每一最大寫碼單元中之最佳寫碼單元的具有樹狀結構之寫碼單元。又，考慮影像資料之解析度及量來判定寫碼單元之最大尺寸。

因此，即使影像資料具有高解析度及大資料量，仍可藉由使用寫碼單元之尺寸及編碼模式以有效地解碼且還原影像資料，寫碼單元之尺寸及編碼模式是藉由使用關於自編碼器所接收之最佳編碼模式的資訊是根據影像資料之特性而適應性地判定。

圖13是用於描述根據本發明之實施例之寫碼單元之概念的圖式。

寫碼單元之尺寸可用寬度×高度來表達，並且可為64×64、32×32、16×16及8×8。64×64之寫碼單元可分割成64×64、64×32、32×64或32×32之分區，並且32×32之寫碼單元可分割成32×32、32×16、16×32或16×16的分區，16×16之寫碼單元可分割成16×16、16×8、8×16或8×8之分區，並且8×8之寫碼單元可分割成8×8、8×4、4×8或4×4 的分區。

在視訊資料310中，解析度為1920×1080，寫碼單元之最大尺寸為64，並且最大深度為2。在視訊資料320中，解析度為1920×1080，寫碼單元之最大尺寸為64，並且最大深度為3。在視訊資料330中，解析度為352×288，寫碼單元之最大尺寸為16，並且最大深度為1。圖13中所示之最大深度表示自最大寫碼單元至最小解碼單元之總分割次數。

若解析度為高的或資料量為大的，則寫碼單元之最大尺寸可為大的，以便不僅增加編碼效率而且準確地反映影像之特性。因此，具有高於視訊資料330之解析度的視訊資料310及320之寫碼單元的最大尺寸可為64。

由於視訊資料310之最大深度為2，因此視訊資料310之寫碼單元315可包含具有長軸尺寸(long axis size)64的最大寫碼單元，及具有長軸尺寸32及16的寫碼單元，此是因為深度藉由分割最大寫碼單元兩次而加深為兩層。同時，由於視訊資料330之最大深度為1，因此視訊資料330之寫碼單元335可包含具有長軸尺寸16的最大寫碼單元，及具有長軸尺寸8之寫碼單元，此是因為深度藉由分割最大寫碼單元一次而加深為一層。

由於視訊資料320之最大深度為3，因此視訊資料320之寫碼單元325可包含具有長軸尺寸64的最大寫碼單元，及具有長軸尺寸32、16及8的寫碼單元，此是因為深度藉由分割最大寫碼單元三次而加深為3層。隨著深度加深， 可精確地表達詳細資訊。

圖14是根據本發明之實施例之基於寫碼單元之影像編碼器400的方塊圖。

影像編碼器400執行視訊編碼裝置100之寫碼單元判定器120的操作以編碼影像資料。換言之，畫面內預測器410對來自當前圖框405當中的處於畫面內模式中之寫碼單元執行畫面內預測，並且運動估計器420及運動補償器425藉由使用當前圖框405及參考圖框495對來自當前圖框405當中之處於畫面間模式中的寫碼單元執行畫面間估計及運動補償。

自畫面內預測器410、運動估計器420及運動補償器425所輸出之資料經由轉換器430及量化器440作為經量化轉換係數而輸出。經量化轉換係數經由逆量化器460及逆轉換器470還原為空間域中之資料，並且空間域中之經還原資料在經由解區塊單元480及迴路濾波單元490後處理之後作為參考圖框495輸出。經量化轉換係數可經由熵編碼器450作為位元串流455輸出。

為了使影像編碼器400應用於視訊編碼裝置100中，影像編碼器400之所有元件(亦即，畫面內預測器410、運動估計器420、運動補償器425、轉換器430、量化器440、熵編碼器450、逆量化器460、逆轉換器470、解區塊單元480及迴路濾波單元490)在考慮每一最大寫碼單元之最大深度的同時基於來自具有樹狀結構之寫碼單元當中的每一寫碼單元執行操作。

特定言之，畫面內預測器410、運動估計器420及運動補償器425在考慮當前最大寫碼單元之最大尺寸及最大深度的同時判定來自具有樹狀結構之寫碼單元當中的每一寫碼單元之分區及預測模式，並且轉換器(transformer)430判定來自具有樹狀結構之寫碼單元當中的每一寫碼單元中之轉換單元(transformzation unit)的尺寸。

若影像編碼器400在多視角視訊結構中編碼額外視角影像，則當運動估計器420針對最大寫碼單元來判定針對根據樹狀結構之每一寫碼單元之畫面間預測的預測單元並且針對每一預測單元執行畫面間預測時，額外視角色調圖像可參考相同視角的不同色調影像來預測。另外，影像編碼器400可產生深度圖，其中記錄有具有與額外視角影像相同之POC次序的基礎視角影像之間的深度差。

另外，運動補償器425可針對用於畫面間預測之每一各別預測單元執行運動補償，以還原額外視角影像。額外視角影像之經還原影像可用作用於額外視角影像之畫面間預測的參考影像。當當前額外視角色調圖像被還原時，若是當前額外視角色調圖像之參考影像的額外視角色調圖像(參考色調影像)未被還原，則可藉由使用具有與當前額外視角色調圖像相同之POC次序的基礎視角色調圖像及當前額外視角色調圖像之深度圖來還原當前額外視角色調圖像。

圖15是根據本發明之實施例之基於寫碼單元之影像解碼器500的方塊圖。

剖析器510剖析待解碼之經編碼影像資料及來自位元串流505的針對解碼所需之關於編碼的資訊。經編碼影像資料經由熵解碼器520及逆量化器530作為逆量化資料輸出，並且經逆量化資料經由逆轉換器540還原為空間域中的影像資料。

畫面內預測器550關於空間域中之影像資料對處於畫面內模式中之寫碼單元執行畫面內預測，並且運動補償器560藉由使用參考圖框585對處於畫面間模式中的寫碼單元執行運動補償。

傳遞通過畫面內預測器550及運動補償器560之空間域中的影像資料可在經由解區塊單元570及迴路濾波單元580後處理之後，作為經還原圖框595輸出。又，經由解區塊單元570及迴路濾波單元580後處理之影像資料可作為參考圖框585輸出。

為了在視訊解碼裝置200之影像資料解碼器230中解碼影像資料，影像解碼器500可執行在剖析器510執行操作之後所執行的操作。

為了使影像解碼器500應用於視訊解碼裝置200中，影像解碼器500之所有元件(亦即，剖析器510、熵解碼器520、逆量化器530、逆轉換器540、畫面內預測器550、運動補償器560、解區塊單元570及迴路濾波單元580)針對每一最大寫碼單元基於具有樹狀結構之寫碼單元執行操作。

特定言之，畫面內預測器550及運動補償器560針對 具有樹狀結構的寫碼單元中之每一者基於分區及預測模式執行操作，並且逆轉換器540針對每一寫碼單元基於轉換單元的尺寸執行操作。

詳言之，當影像解碼器500解碼多視角視訊結構之增強層影像串流時，運動補償器560可針對用於畫面間預測之每一各別預測單元執行運動補償，以還原額外視角影像。當當前額外視角色調圖像被還原時，若是當前額外視角色調圖像之參考影像的額外視角色調圖像(參考色調影像)未被還原，則可藉由使用具有與當前額外視角色調圖像相同之POC次序的基礎視角色調圖像及當前額外視角色調圖像之深度圖來還原當前額外視角色調圖像。

圖16是說明根據本發明之實施例的根據深度之較深寫碼單元及分區的圖式。

視訊編碼裝置100及視訊解碼裝置200使用階層式寫碼單元以便考慮影像之特性。寫碼單元之最大高度、最大寬度及最大深度可根據影像之特性適應性地判定，或可藉由使用者不同地設定。可根據寫碼單元之預定最大尺寸判定根據深度之較深寫碼單元的尺寸。

在寫碼單元之階層結構600中，根據本發明之實施例，寫碼單元之最大高度及最大寬度各為64，並且最大深度為4。在此情況下，最大深度是指代寫碼單元自最大寫碼單元分割成最小寫碼單元之總次數。由於深度沿著階層結構600之垂直軸加深，因此較深寫碼單元之高度及寬度各自經分割。又，為用於每一較深寫碼單元之預測編碼之 基礎的預測單元及分區沿著階層結構600之水平軸而展示。

換言之，寫碼單元610為階層結構600中之最大寫碼單元，其中深度為0並且尺寸(亦即，高度乘寬度)為64×64。深度沿著垂直軸而加深，並且具有尺寸32×32及深度1之寫碼單元620、具有尺寸16×16及深度2之寫碼單元630、具有尺寸8×8及深度3之寫碼單元640，及具有尺寸4×4及深度4之寫碼單元650存在。具有尺寸4×4及深度4之寫碼單元650是最小寫碼單元。

寫碼單元之預測單元及分區根據每一深度沿著水平軸而配置。換言之，若具有尺寸64×64及深度0之寫碼單元610是預測單元，則預測單元可分割成包含在編碼單元610中的分區，亦即，具有尺寸64×64之分區610、具有尺寸64×32之分區612、具有尺寸32×64之分區614或具有尺寸32×32的分區616。

類似地，具有尺寸32×32及深度1之寫碼單元620的預測單元可分割成包含在寫碼單元620中的分區，亦即，具有尺寸32×32之分區620、具有尺寸32×16之分區622、具有尺寸16×32之分區624及具有尺寸16×16的分區626。

類似地，具有尺寸16×16及深度2之寫碼單元630的預測單元可分割成包含在寫碼單元630中的分區，亦即，包含在寫碼單元630中的具有尺寸16×16之分區、具有尺寸16×8之分區632、具有尺寸8×16之分區634及具有尺寸8×8的分區636。

類似地，具有尺寸8×8及深度3之寫碼單元640的預測單元可分割成包含在寫碼單元640中的分區，亦即，包含在寫碼單元640中的具有尺寸8×8之分區、具有尺寸8×4之分區642、具有尺寸4×8之分區644及具有尺寸4×4的分區646。

具有尺寸4×4及深度4之寫碼單元650是最小寫碼單元及最下層深度之寫碼單元。寫碼單元650之預測單元僅指派給具有尺寸4×4之分區。

為了判定構成最大寫碼單元610之寫碼單元的至少一個經寫碼深度，視訊編碼裝置100之寫碼單元判定器120針對對應於包含在最大寫碼單元610中之每一深度的寫碼單元而執行編碼。

隨著深度加深，包含相同範圍中之資料及相同尺寸的根據深度之較深寫碼單元的數目則會增加。舉例而言，需要對應於深度2之四個寫碼單元來涵蓋包含在對應於深度1之一寫碼單元中的資料。因此，為了比較根據深度之相同資料的編碼結果，對應於深度1之寫碼單元及對應於深度2之四個寫碼單元各自經編碼。

為了針對來自深度當中之當前深度執行編碼，沿著階層結構600之水平軸，可藉由針對對應於當前深度之寫碼單元中的每一預測單元執行編碼，來針對當前深度選擇最小編碼誤差。或者，可藉由比較根據深度之最小編碼誤差、藉由隨著深度沿著階層結構600之垂直軸加深而針對每一深度執行編碼，來搜尋最小編碼誤差。寫碼單元610中具 有最小編碼誤差之深度及分區可選擇為寫碼單元610之經寫碼深度及分區類型。

圖17是用於描述根據本發明之實施例的在寫碼單元710與轉換單元720之間的關係的圖式。

視訊編碼裝置100或200針對每一最大寫碼單元根據具有小於或等於最大寫碼單元之尺寸的寫碼單元來編碼或解碼影像。在編碼期間用於轉換之轉換單元的尺寸可基於不大於對應寫碼單元之資料單元而選擇。

舉例而言，在視訊編碼裝置100或200中，若寫碼單元710之尺寸為64×64，則可藉由使用具有尺寸32×32之轉換單元720來執行轉換。

又，可藉由對具有尺寸32×32、16×16、8×8及4×4(其小於64×64)之轉換單元中的每一者執行轉換來編碼具有尺寸64×64之寫碼單元710的資料，並且接著具有最小寫碼誤差的轉換單元可經選擇。

圖18是用於描述根據本發明之實施例的對應於經寫碼深度之寫碼單元之編碼資訊的圖式。

視訊編碼裝置100之輸出單元130可編碼且傳輸關於分區類型之資訊800、關於預測模式之資訊810，及關於對應於經寫碼深度之每一寫碼單元的轉換單元之尺寸的資訊820，作為關於編碼模式之資訊。

資訊800指示關於藉由分割當前寫碼單元之預測單元所獲得的分區之形狀的資訊，其中分區是用於預測編碼當前寫碼單元的資料單元。舉例而言，具有尺寸2N×2N之當 前寫碼單元CU_0可分割成具有尺寸2N×2N之分區802、具有尺寸2N×N之分區804、具有尺寸N×2N之分區806及具有尺寸N×N的分區808中之任一者。此處，關於分區類型之資訊800設定為指示具有尺寸2N×N之分區804、具有尺寸N×2N之分區806及具有尺寸N×N之分區808中的一者。

資訊810指示每一分區之預測模式。舉例而言，資訊810可指示對藉由資訊800所指示之分區所執行的預測編碼之模式，亦即，畫面內模式812、畫面間模式814或略過模式816。

資訊820指示待基於何時對當前寫碼單元執行轉換之轉換單元。舉例而言，轉換單元可為第一畫面內轉換單元822、第二畫面內轉換單元824、第一畫面間轉換單元826或第二畫面間轉換單元828。

根據每一較深寫碼單元，視訊解碼裝置200之影像資料及編碼資訊提取器220可提取且使用資訊800、810及820以用於解碼。

圖19是根據本發明之實施例的根據深度之較深寫碼單元的圖式。

分割資訊可用以指示深度之改變。分割資訊指示當前深度之寫碼單元是否分割成較下層深度之寫碼單元。

用於預測編碼具有深度0及尺寸2N_0×2N_0之寫碼單元900的預測單元910可包含具有尺寸2N_0×2N_0之分區類型912、具有尺寸2N_0×N_0之分區類型914、具有尺 寸N_0×2N_0之分區類型916及具有尺寸N_0×N_0的分區類型918之分區。圖9僅說明藉由對稱地分割預測單元910所獲得之分區類型912至918，但分區類型不限於此，並且預測單元910之分區可包含非對稱分區、具有預定形狀之分區及具有幾何形狀的分區。

根據每一分區類型，預測編碼對具有尺寸2N_0×2N_0之一個分區、具有尺寸2N_0×N_0之兩個分區、具有尺寸N_0×2N_0之兩個分區及具有尺寸N_0×N_0的四個分區重複地執行。在畫面內模式及畫面間模式中之預測編碼可對具有尺寸2N_0×2N_0、N_0×2N_0、2N_0×N_0及N_0×N_0之分區執行。在略過模式中之預測編碼僅對具有尺寸2N_0×2N_0之分區執行。

分區類型912至918中之包含預測編碼之編碼的誤差經比較，並且最小編碼誤差在分區類型當中被判定。若編碼誤差在分區類型912至916中之一者中最小，則預測單元910可能不分割成較下層深度。

若編碼誤差在分區類型918中最小，則深度自0改變成1以在操作920中分割分區類型918，並且編碼對具有深度2及尺寸N_0×N_0之寫碼單元930重複地執行以搜尋最小編碼誤差。

用於預測編碼具有深度1及尺寸2N_1×2N_1(=N_0×N_0)之寫碼單元930的預測單元940可包含具有尺寸2N_1×2N_1之分區類型942、具有尺寸2N_1×N_1之分區類型944、具有尺寸N_1×2N_1之分區類型946及具 有尺寸N_1×N_1的分區類型948之分區。

若編碼誤差在分區類型948中最小，則深度自1改變成2以在操作950中分割分區類型948，並且編碼對具有深度2及尺寸N_2×N_2之寫碼單元960重複地執行以搜尋最小編碼誤差。

當最大深度為d時，根據每一深度之分割操作可經執行直至深度變成d-1時，並且分割資訊可編碼為直至深度為0至d-2中之一者時。換言之，當在對應於深度d-2之寫碼單元在操作970中分割之後執行編碼直至深度為d-1時，用於預測編碼具有深度d-1及尺寸2N_(d-1)×2N_(d-1)之寫碼單元980的預測單元990可包含具有尺寸2N_(d-1)×2N_(d-1)之分區類型992、具有尺寸2N_(d-1)×N_(d-1)之分區類型994、具有尺寸N_(d-1)×2N_(d-1)之分區類型996及具有尺寸N_(d-1)×N_(d-1)的分區類型998之分區。

預測編碼可對來自分區類型992至998當中的具有尺寸2N_(d-1)×2N_(d-1)之一個分區、具有尺寸2N_(d-1)×N_(d-1)之兩個分區、具有尺寸N_(d-1)×2N_(d-1)之兩個分區、具有尺寸N_(d-1)×N_(d-1)的四個分區重複地執行，以搜尋具有最小編碼誤差的分區類型。

甚至當分區類型998具有最小編碼誤差時，由於最大深度為d，具有深度d-1之寫碼單元CU_(d-1)不再分割成較下層深度，並且構成當前最大寫碼單元900之寫碼單元的經寫碼深度判定為d-1，並且當前最大寫碼單元900的 分區類型可判定為N_(d-1)×N_(d-1)。又，由於最大深度為d並且具有最下層深度d-1之最小寫碼單元980不再分割成較下層深度，因此不設定用於最小寫碼單元980之分割資訊。

資料單元999可為當前最大寫碼單元之『最小單元』。根據本發明之實施例之最小單元可為藉由將最小寫碼單元980分割為4個所獲得的矩形資料單元。藉由重複地執行編碼，視訊編碼裝置100可藉由根據寫碼單元900之深度比較編碼誤差來選擇具有最小編碼誤差的深度以判定經寫碼深度，並且將對應分區類型及預測模式設定為經寫碼深度的編碼模式。

因而，根據深度之最小編碼誤差在所有深度1至d中比較，並且具有最小編碼誤差之深度可判定為經寫碼深度。經寫碼深度、預測單元之分區類型，及預測模式可編碼為關於編碼模式之資訊且作為此資訊傳輸。又，由於寫碼單元自深度0分割成經寫碼深度，因此僅經寫碼深度之分割資訊設定為0，並且排除經寫碼深度之深度的分割資訊設定為1。

視訊解碼裝置200之影像資料及編碼資訊提取器220可提取且使用關於經寫碼深度及寫碼單元900之預測單元的資訊，以解碼分區912。視訊解碼裝置200可藉由使用根據深度之分割資訊來判定深度(其中分割資訊為0)作為經寫碼深度，並且使用關於對應深度之編碼模式的資訊以用於解碼。

圖20至圖22是用於描述根據本發明之實施例的在寫碼單元1010、預測單元1060與轉換單元1070之間的關係的圖式。

寫碼單元1010是在最大寫碼單元中對應於藉由視訊編碼裝置100所判定之經寫碼深度的具有樹狀結構之寫碼單元。預測單元1060是寫碼單元1010中之每一者之預測單元的分區，並且轉換單元1070是寫碼單元1010中之每一者的轉換單元。

當最大寫碼單元之深度在寫碼單元1010中為0時，寫碼單元1012及1054之深度為1，寫碼單元1014、1016、1018、1028、1050及1052之深度為2，寫碼單元1020、1022、1024、1026、1030、1032及1048之深度為3，並且寫碼單元1040、1042、1044及1046的深度為4。

在預測單元1060中，藉由在編碼單元1010中分割寫碼單元而獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052及1054。換言之，寫碼單元1014、1022、1050及1054中之分區類型具有尺寸2N×N，寫碼單元1016、1048及1052中之分區類型具有尺寸N×2N，並且寫碼單元1032之分區類型具有尺寸N×N。預測單元及寫碼單元1010之分區小於或等於每一寫碼單元。

轉換或逆轉換在小於寫碼單元1052之資料單元中對轉換單元1070中的寫碼單元1052之影像資料執行。又，轉換單元1070中之寫碼單元1014、1016、1022、1032、1048、1050及1052在尺寸及形狀方面不同於預測單元1060 中的寫碼單元。換言之，視訊編碼裝置100及視訊解碼裝置200可對同一寫碼單元中之資料單元個別地執行畫面內預測、運動估計、運動補償、轉換及逆轉換。

因此，編碼對在最大寫碼單元之每一區域中具有階層結構之寫碼單元中的每一者以遞回方式執行，以判定最佳寫碼單元，並且由此具有遞回樹狀結構之寫碼單元可獲得。編碼資訊可包含關於寫碼單元之分割資訊、關於分區類型之資訊、關於預測模式之資訊，及關於轉換單元之尺寸的資訊。表1展示可藉由視訊編碼裝置100及視訊解碼裝置200設定之編碼資訊。

視訊編碼裝置100之輸出單元130可輸出關於具有樹狀結構之寫碼單元的編碼資訊，並且視訊解碼裝置200之影像資料及編碼資訊提取器220可自所接收之位元串流提取關於具有樹狀結構之寫碼單元的編碼資訊。

分割資訊指示當前寫碼單元是否分割成較下層深度之寫碼單元。若當前深度d之分割資訊為0，則當前寫碼單元不再分割成較下層深度之深度為經寫碼深度，並且由此關於分區類型、預測模式及轉換單元之尺寸的資訊可針對經寫碼深度而定義。若當前寫碼單元根據分割資訊進一步分割，則編碼對較下層深度之四個分割寫碼單元獨立地執行。

預測模式可為畫面內模式、畫面間模式及略過模式中之一者。畫面內模式及畫面間模式可在所有分區類型中定義，並且略過模式僅在具有尺寸2N×2N之分區類型中定義。

關於分區類型之資訊可指示：具有尺寸2N×2N、2N×N、N×2N及N×N之對稱分區類型，其是藉由對稱地分割預測單元之高度或寬度而獲得；及具有尺寸2N×nU、2N×nD、nL×2N及nR×2N之非對稱分區類型，其是藉由非對稱地分割預測單元之高度或寬度而獲得。具有尺寸2N×nU及2N×nD之非對稱分區類型可藉由以1：3及3：1分割預測單元之高度來分別獲得，並且具有尺寸nL×2N及nR×2N之非對稱分區類型可藉由以1：3及3：1分割預測單元的寬度而分別獲得。

轉換單元之尺寸可設定為畫面內模式中之兩種類型及畫面間模式中的兩種類型。換言之，若轉換單元之分割資訊為0，則轉換單元之尺寸可為是當前寫碼單元之尺寸的2N×2N。若轉換單元之分割資訊為1，則轉換單元可藉 由分割當前寫碼單元來獲得。又，若具有尺寸2N×2N之當前寫碼單元的分區類型為對稱分區類型，則轉換單元之尺寸可為N×N，並且若當前寫碼單元之分區類型為非對稱分區類型，則轉換單元的尺寸可為N/2×N/2。

關於具有樹狀結構之寫碼單元的編碼資訊可包含對應於經寫碼深度之寫碼單元、預測單元及最小單元中的至少一者。對應於經寫碼深度之寫碼單元可包含含有相同編碼資訊之預測單元及最小單元中的至少一者。

因此，藉由比較鄰近資料單元之編碼資訊而判定鄰近資料單元是否包含在對應於經寫碼深度的同一寫碼單元中。又，對應於經寫碼深度之對應寫碼單元是藉由使用資料單元之編碼資訊而判定，並且由此最大寫碼單元中之經寫碼深度的分佈可得以判定。

因此，若當前寫碼單元是基於鄰近資料單元之編碼資訊而預測，則鄰近於當前寫碼單元的較深寫碼單元中之資料單元的編碼資訊可直接被參考且使用。

或者，若當前寫碼單元是基於鄰近資料單元之編碼資訊而預測，則鄰近於當前寫碼單元之資料單元是使用資料單元的經編碼資訊而搜尋，並且所搜尋之鄰近寫碼單元可被參考以用於預測當前寫碼單元。

圖23是用於描述根據表1之編碼模式資訊的在寫碼單元、預測單元或分區，與轉換單元之間的關係的圖式。

最大寫碼單元1300包含經寫碼深度之寫碼單元1302、1304、1306、1312、1314、1316及1318。此處，由 於寫碼單元1318是經寫碼深度之寫碼單元，因此分割資訊可設定為0。關於具有尺寸2N×2N之寫碼單元1318之分區類型的資訊可設定為具有尺寸2N×2N之分區類型1322、具有尺寸2N×N之分區類型1324、具有尺寸N×2N之分區類型1326、具有尺寸N×N之分區類型1328、具有尺寸2N×nU之分區類型1332、具有尺寸2N×nD之分區類型1334、具有尺寸nL×2N之分區類型1336，及具有尺寸nR×2N的分區類型1338中的一者。

轉換單元之分割資訊(TU(轉換單元)尺寸旗標)是一類型之轉換索引。對應於轉換索引之轉換單元的尺寸可根據寫碼單元之預測單元類型或分區類型而改變。

舉例而言，當分區類型設定為對稱(亦即，分區類型1322、1324、1326或1328)時，若轉換單元之分割資訊(TU尺寸旗標)為0，則具有尺寸2N×2N之轉換單元1342經設定，並且若TU尺寸旗標為1，則具有尺寸N×N的轉換單元1344經設定。

當分區類型設定為非對稱(亦即，分區類型1332、1334、1336或1338)時，若TU尺寸旗標為0，則具有尺寸2N×2N之轉換單元1352經設定，並且若TU尺寸旗標為1，則具有尺寸N/2×N/2的轉換單元1354經設定。

參看圖23，TU尺寸旗標是具有值0或1之旗標，但TU尺寸旗標不限於1位元，並且在TU尺寸旗標自0增加之同時，具有樹狀結構的轉換單元可在階層上分割。轉換單元之分割資訊(TU尺寸旗標)可為轉換索引之實例。

在此情況下，已實際使用之轉換單元的尺寸可藉由使用根據本發明之實施例的轉換單元之TU尺寸旗標連同轉換單元之最大尺寸及最小尺寸來表達。根據本發明之實施例，視訊編碼裝置100能夠編碼最大轉換單元尺寸資訊、最小轉換單元尺寸資訊及最大TU尺寸旗標。編碼最大轉換單元尺寸資訊、最小轉換單元尺寸資訊及最大TU尺寸旗標之結果可插入至SPS中。根據本發明之實施例，視訊解碼裝置200可藉由使用最大轉換單元尺寸資訊、最小轉換單元尺寸資訊及最大TU尺寸旗標來解碼視訊。

舉例而言，(a)若當前寫碼單元之尺寸為64×64且最大轉換單元尺寸為32×32，(a-1)則在TU尺寸旗標為0時，轉換單元之尺寸可為32×32，(a-2)在TU尺寸旗標為1時，轉換單元之尺寸可為16×16，並且(a-3)在TU尺寸旗標為2時，轉換單元之尺寸可為8×8。

作為另一實例，(b)若當前寫碼單元之尺寸為32×32且最小轉換單元尺寸為32×32，(b-1)則在TU尺寸旗標為0時，轉換單元之尺寸可為32×32。此處，TU尺寸旗標不可設定為除了0以外之值，此是因為轉換單元之尺寸不可小於32×32。

作為另一實例，(c)若當前寫碼單元之尺寸為64×64且最大TU尺寸旗標為1，則TU尺寸旗標可為0或1。此處，TU尺寸旗標不可設定為除了0或1以外之值。

因此，若定義最大TU尺寸旗標為『MaxTransformSizeIndex』，最小轉換單元尺寸為 『MinTransformSize』，並且在TU尺寸旗標為0時轉換單元尺寸為『RootTuSize』，則可在當前寫碼單元中判定之當前最小轉換單元尺寸『CurrMinTuSize』可藉由方程式(1)定義：CurrMinTuSize=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))...(1)

與可在當前寫碼單元中判定之當前最小轉換單元尺寸『CurrMinTuSize』相比，在TU尺寸旗標為0時之轉換單元尺寸『RootTuSize』可表示可在系統中選擇的最大轉換單元尺寸。在方程式(1)中，『RootTuSize/(2^MaxTransformSizeIndex)』表示在轉換單元尺寸『RootTuSize』在TU尺寸旗標為0時分割對應於最大TU尺寸旗標之次數時的轉換單元尺寸，並且『MinTransformSize』表示最小轉換尺寸。因此，來自『RootTuSize/(2^MaxTransformSizeIndex)』及『MinTransformSize』當中之較小值可為可在當前寫碼單元中判定的當前最小轉換單元尺寸『CurrMinTuSize』。

根據本發明之實施例，最大轉換單元尺寸RootTuSize可根據預測模式之類型而變化。

舉例而言，若當前預測模式為畫面間模式，則『RootTuSize』可藉由使用下文之方程式(2)判定。在方程式(2)中，『MaxTransformSize』表示最大轉換單元尺寸，並且『PUSize』表示當前預測單元尺寸。

RootTuSize=min(MaxTransformSize,PUSize).........(2)

亦即，若當前預測模式為畫面間模式，則在TU尺寸旗標為0時之轉換單元尺寸『RootTuSize』可為來自最大轉換單元尺寸及當前預測單元尺寸當中的較小值。

若當前分區單元之預測模式為畫面內模式，則『RootTuSize』可藉由使用下文之方程式(3)判定。在方程式(3)中，『PartitionSize』表示當前分區單元之尺寸。

RootTuSize=min(MaxTransformSize,PartitionSize)..........(3)

亦即，若當前預測模式為畫面內模式，則在TU尺寸旗標為0時之轉換單元尺寸『RootTuSize』可為來自最大轉換單元尺寸及當前分區單元之尺寸當中的較小值。

然而，根據分區單元中之預測模式之類型而變化的當前最大轉換單元尺寸『RootTuSize』僅為實例，並且本發明不限於此。

根據如參看圖11至圖23所描述之基於具有樹狀結構之寫碼單元的視訊編碼方法，針對樹狀結構之每一寫碼單元來編碼空間區域的影像資料。根據基於具有樹狀結構之寫碼單元的視訊解碼方法，針對每一最大寫碼單元執行解碼以還原空間區域的影像資料。因此，可還原圖像及為圖像序列之視訊。經還原視訊可藉由再生裝置再生、儲存於儲存媒體中，或經由網路傳輸。

根據本發明之實施例可寫為電腦程式，且可在使用電腦可讀記錄媒體執行程式的通用數位電腦中實施。電腦可讀記錄媒體之實例包含磁性儲存媒體(例如，ROM、軟性 磁碟、硬碟等)及光學記錄媒體(例如，CD-ROM或DVD)。

為了便於描述，已參看圖1至圖23所描述之根據多視角視訊預測方法、多視角視訊預測還原方法或多視角視訊編碼方法之視訊編碼方法將統稱為『根據本發明之視訊編碼方法』。另外，已參看圖1至圖23所描述之根據多視角視訊預測還原方法或多視角視訊解碼方法之視訊解碼方法將被稱為『根據本發明之視訊解碼方法』。

已參看圖1至圖23所描述之包含多視角視訊預測裝置10、多視角視訊預測還原裝置20、視訊編碼裝置100或影像編碼器400之視訊編碼裝置將被稱為『根據本發明之視訊編碼裝置』。另外，已參看圖1至圖23所描述之包含多視角視訊預測還原裝置20、視訊解碼裝置200或影像解碼器500之視訊解碼裝置將被稱為『根據本發明之視訊解碼裝置』。

現將詳細描述根據本發明之實施例之儲存程式的電腦可讀記錄媒體(例如，光碟260)。

圖24A說明根據本發明之實施例的儲存程式之光碟260的實體結構。是儲存媒體之光碟260可為硬碟機、緊密光碟-唯讀記憶體(compact disc-read only memory；CD-ROM)光碟、藍光(Blu-ray)光碟，或數位影音光碟(digital versatile disc；DVD)。光碟260包含多個同心軌道Tr，此等軌道在光碟260之圓周方向上各自劃分成特定數目個扇區Se。在光碟260之特定區域中，執行如上文所描述的預測多視角視訊之方法、預測還原多視角視訊之方 法、編碼多視角視訊之方法及解碼多視角視訊之方法的程式可經指派及儲存。

現將參看圖24B來描述使用儲存媒體所體現之電腦系統，此儲存媒體儲存用於執行如上文所描述的視訊編碼方法及視訊解碼方法之程式。

圖24B說明藉由使用光碟260來記錄及讀取程式之光碟機268。電腦系統267可經由光碟機268在光碟260中儲存程式，此程式執行根據本發明之實施例之視訊編碼方法及視訊解碼方法中的至少一者。為了在電腦系統267中執行儲存在光碟260中之程式，可藉由使用光碟機268自光碟260讀取程式並且將程式傳輸至電腦系統267。

執行根據本發明之實施例的視訊編碼方法及視訊解碼方法中之至少一者的程式可不僅儲存在圖24A或圖24B中所說明之光碟260中，而且儲存在記憶卡、ROM卡匣(ROM cassette)或固態驅動器(solid state drive；SSD)中。

下文將描述上文所描述之視訊編碼方法及視訊解碼方法所應用於的系統。

圖25說明提供內容分佈服務之內容供應系統1100的完整結構。通信系統之服務區域劃分成預定尺寸之小區，並且無線基地台1170、1180、1190及1200分別安裝在此等小區中。

內容供應系統1100包含多個獨立設備。舉例而言，諸如電腦1210、個人數位助理(personal digital assistant；PDA)1220、視訊攝影機1230及行動電話1250之此多個 獨立設備經由網際網路服務提供者1120、通信網路1140及無線基地台1170、1180、1190及1200連接至網際網路1110。

然而，內容供應系統1100不限於如圖25中所說明者，並且設備可選擇性地連接至內容供應系統1100。多個獨立設備可不經由無線基地台1170、1180、1190及1200而直接連接至通信網路1140。

視訊攝影機1230是能夠俘獲視訊影像之成像設備，例如，數位視訊攝影機。行動電話1250可使用來自各種協定當中之至少一個通信方法，例如，個人數位通信(Personal Digital Communications；PDC)、分碼多重存取(Code Division Multiple Access；CDMA)、寬頻分碼多重存取(Wideband-Code Division Multiple Access；W-CDMA)、全球行動通信系統(Global System for Mobile Communications；GSM)及個人手持電話系統(Personal Handyphone System；PHS)。

視訊攝影機1230可經由無線基地台1190及通信網路1140連接至串流傳輸伺服器1130。串流傳輸伺服器1130允許經由視訊攝影機1230自使用者所接收之內容經由及時廣播串流傳輸。自視訊攝影機1230所接收之內容可使用視訊攝影機1230或串流傳輸伺服器1130來編碼。藉由視訊攝影機1230所俘獲之視訊資料可經由電腦1210傳輸至串流傳輸伺服器1130。

藉由攝影機1230所俘獲之視訊資料亦可經由電腦 1210傳輸至串流傳輸伺服器1130。相機1260是能夠俘獲靜態影像及視訊影像兩者之成像設備，類似於數位相機。藉由相機1260所俘獲之視訊資料可使用相機1260或電腦1210來編碼。執行編碼及解碼視訊之軟體可儲存在可藉由電腦1210存取之電腦可讀記錄媒體(例如，CD-ROM光碟、軟性光碟、硬碟驅動器、SSD或記憶卡)中。

若視訊資料是藉由在行動電話1250中所建置之相機來俘獲，則視訊資料可自行動電話1250接收。

亦可藉由安裝在視訊攝影機1230、行動電話1250或相機1260中之大型積體電路(large scale integrated circuit；LSI)系統來編碼視訊資料。

根據本發明之實施例，內容供應系統1100可編碼藉由使用者使用視訊攝影機1230、相機1260、行動電話1250或另一成像設備所記錄的內容資料，例如，在音樂會期間所記錄之內容，並且傳輸經編碼內容資料至串流傳輸伺服器1130。串流傳輸伺服器1130可傳輸呈串流傳輸內容之類型的經編碼內容資料至請求內容資料之其他用戶端。

用戶端是能夠解碼經編碼內容資料之設備，例如，電腦1210、PDA 1220、視訊攝影機1230或行動電話1250。因此，內容供應系統1100允許用戶端接收及再生經編碼內容資料。又，內容供應系統1100允許用戶端接收經編碼內容資料並且及時地解碼及再生經編碼內容資料，藉此啟用個人廣播。

包含在內容供應系統1100中之多個獨立設備的編碼 及解碼操作可類似於根據本發明之實施例的視訊編碼裝置及視訊解碼裝置之彼等操作。

現將參看圖26及圖27更詳細描述包含在根據本發明之實施例之內容供應系統1100中的行動電話1250。

圖26說明根據本發明之實施例的視訊編碼方法及視訊解碼方法所應用於之行動電話1250的外部結構。行動電話1250可為智慧型電話，其功能不受限制並且其功能之大部分可改變或擴展。

行動電話1250包含內部天線1251，射頻(RF)信號可經由此內部天線與圖26之無線基地台1200交換，並且包含顯示螢幕1252以用於顯示藉由相機1253所俘獲之影像或經由天線1251所接收並且經解碼之影像，例如，液晶顯示器(liquid crystal display；LCD)或有機發光二極體(organic light-emitting diodes；OLED)螢幕。智慧型電話1251包含操作面板1254，此操作面板包含控制按鈕及觸控面板。若顯示螢幕1252為觸控螢幕，則操作面板1254更包含顯示螢幕1252之觸碰感測面板。智慧型電話1250包含用於輸出語音及聲音之揚聲器1258或另一類型聲音輸出單元，及用於輸入語音及聲音之麥克風1255或另一類型聲音輸入單元。智慧型電話1251更包含相機1253，諸如電荷耦合設備(charge-coupled device；CCD)相機，以俘獲視訊及靜態影像。智慧型電話1251可更包含：儲存媒體1257，其用於儲存經編碼/解碼資料，例如，藉由相機1253所俘獲、經由電子郵件所接收或根據各種方式所獲得的視 訊或靜態影像；及槽1256，儲存媒體1257經由此槽加載至行動電話1250中。儲存媒體1257可為快閃記憶體，例如，包含在塑膠盒中之安全數位(secure digital；SD)卡或電可抹除及可程式化唯讀記憶體(electrically erasable and programmable read only memory；EEPROM)。

圖27說明根據本發明之實施例之行動電話1250的內部結構。為了系統性控制行動電話1250之包含顯示螢幕1252及操作面板1254的多個部分，電力供應電路1270、操作輸入控制器1264、影像編碼單元1272、相機介面1263、LCD控制器1262、影像解碼單元1269、多工器/解多工器1268、記錄/讀取單元1267、調變/解調變單元1266及聲音處理器1265經由同步匯流排1273連接至中央控制器1271。

若使用者操作電源按鈕並且自『電源斷開』狀態設定至『電源接通』狀態，則電力供應電路1270自電池組供應電力至行動電話1250之所有部分，藉此設定行動電話1250處於操作模式。

中央控制器1271包含中央處理單元(central processing unit；CPU)、ROM及隨機存取記憶體(random access memory；RAM)。

在行動電話1250傳輸通信資料至外部之同時，數位信號在中央控制器之控制下在行動電話1250中產生。舉例而言，聲音處理器1265可產生數位聲音信號，影像編碼單元1272可產生數位影像信號，並且訊息之文字資料可經由 操作面板1254及操作輸入控制器1264而產生。當數位信號在中央控制器1271之控制下遞送至調變/解調變單元1266時，調變/解調變單元1266調變數位信號之頻帶，並且通信電路1261對經頻帶調變之數位聲音信號執行數位至類比轉換(digital-to-analog conversion；DAC)及頻率轉換。自通信電路1261所輸出之傳輸信號可經由天線1251傳輸至語音通信基地台或無線基地台1200。

舉例而言，當行動電話1250處於轉換模式時，在中央控制器1271之控制下，經由麥克風1255所獲得之聲音信號藉由聲音處理器1265轉換成數位聲音信號。數位聲音信號可經由調變/解調變單元1266及通信電路1261轉換成轉換信號，並且可經由天線1251傳輸。

當文字訊息(例如，電子郵件)在資料通信模式下傳輸時，文字訊息之文字資料經由操作面板1254而輸入並且經由操作輸入控制器1264而傳輸至中央控制器1261。在中央控制器1261之控制下，文字資料經由調變/解調變單元1266及通信電路1261而轉換成傳輸信號並且經由天線1251而傳輸至無線基地台1200。

為了在資料通信模式下傳輸影像資料，藉由相機1253所俘獲之影像資料經由相機介面1263提供至影像編碼單元1272。所俘獲之影像資料可經由相機介面1263及LCD控制器1262直接顯示在顯示螢幕1252上。

影像編碼單元1272之結構可對應於上文所描述的視訊編碼裝置100之結構。影像編碼單元1272可根據藉由上 文所描述之視訊編碼裝置100或影像編碼器400所使用的視訊編碼方法將自相機1253所接收之影像資料轉換成經壓縮及編碼之影像資料，並且接著輸出經編碼影像資料至多工器/解多工器1268。在相機1253之記錄操作期間，藉由行動電話1250之麥克風1255所獲得的聲音信號可經由聲音處理器1265而轉換成數位聲音資料，並且數位聲音資料可遞送至多工器/解多工器1268。

多工器/解多工器1268多工自影像編碼單元1272所接收之經編碼影像資料，連同自聲音處理器1265所接收之聲音資料。多工資料之結果可經由調變/解調變單元1266及通信電路1261轉換成傳輸信號，並且接著可經由天線1251傳輸。

在行動電話1250自外部接收通信資料之同時，頻率復原及ADC對經由天線1251所接收之信號執行，以將信號轉換成數位信號。調變/解調變單元1266調變數位信號之頻帶。根據數位信號之類型，將經頻帶調變之數位信號傳輸至視訊解碼單元1269、聲音處理器1265或LCD控制器1262。

在轉換模式中，行動電話1250放大經由天線1251所接收之信號，並且藉由對經放大信號執行頻率轉換及ADC來獲得數位聲音信號。在中央控制器1271之控制下，所接收之數位聲音信號經由調變/解調變單元1266及聲音處理器1265轉換成類比聲音信號，並且類比聲音信號經由揚聲器1258而輸出。

當在資料通信模式中時，在網際網路網站處所存取之視訊檔案的資料被接收，經由天線1251自無線基地台1200所接收之信號經由調變/解調變單元1266作為經多工資料而輸出，並且經多工資料傳輸至多工器/解多工器1268。

為了解碼經由天線1251所接收之經多工資料，多工器/解多工器1268將經多工資料解多工成經編碼視訊資料串流及經編碼音訊資料串流。經由同步匯流排1273，經編碼視訊資料串流及經編碼音訊資料串流分別提供至視訊解碼單元1269及聲音處理器1265。

影像解碼單元1269之結構可對應於上文所描述的視訊解碼裝置200之結構。影像解碼單元1269可根據藉由上文所描述之視訊解碼裝置200或影像解碼器500所使用的視訊解碼方法來解碼經編碼視訊資料，以獲得經還原視訊資料，並且經由LCD控制器1262提供經還原視訊資料至顯示螢幕1252。

因此，在網際網路網站處所存取之視訊檔案的資料可在顯示螢幕1252上顯示。同時，聲音處理器1265可將音訊資料轉換成類比聲音信號，並且提供類比聲音信號至揚聲器1258。因此，包含在網際網路網站處所存取之視訊檔案中的音訊資料亦可經由揚聲器1258再生。

行動電話1250或另一類型之通信終端機可為包含根據本發明之實施例之視訊編碼裝置及視訊解碼裝置兩者的收發終端機，可為僅包含視訊編碼裝置之收發終端機或可為僅包含視訊解碼裝置的收發終端機。

根據本發明之通信系統不限於上文參看圖25所描述之通信系統。舉例而言，圖28說明根據本發明之實施例的使用通信系統之數位廣播系統。圖28之數位廣播系統可藉由使用根據本發明之實施例之視訊編碼裝置及視訊解碼裝置來接收經由衛星或陸上網路所傳輸的數位廣播。

特定言之，廣播站1289藉由使用無線電波來傳輸視訊資料串流至通信衛星或廣播衛星1290。廣播衛星1290傳輸廣播信號，並且廣播信號經由家用天線1286傳輸至衛星廣播接收器。在每一住宅中，經編碼視訊串流可藉由TV接收器1281、機上盒1287或另一設備來解碼及再生。

當根據本發明之實施例之視訊解碼裝置在再生裝置1283中實施時，再生裝置1283可剖析及解碼在儲存媒體1282(諸如，光碟或記憶卡)上所記錄之經編碼視訊串流，以還原數位信號。因此，經還原視訊信號可(例如)在監視器1284上再生。

在連接至天線1286以用於衛星/陸上廣播或連接至纜線天線1285以用於接收有線電視(TV)廣播的機上盒1287中，根據本發明之實施例的視訊解碼裝置可經安裝。自機上盒1287所輸出之資料亦可在TV監視器1288上再生。

作為另一實例，根據本發明之實施例的視訊解碼裝置可安裝在TV接收器1281而非機上盒1287中。

包含適當天線1291之汽車1292可接收自衛星1290或圖26之無線基地台1170所傳輸的信號。經解碼視訊可在汽車1292中所建置之汽車導航系統1293的顯示螢幕上 再生。

視訊信號可藉由根據本發明之實施例的視訊編碼裝置來編碼，並且接著可儲存在儲存媒體中。特定言之，影像信號可藉由DVD記錄器儲存在DVD光碟1296中，或可藉由硬碟記錄器1295儲存在硬碟中。作為另一實例，視訊信號可儲存在SD卡1297中。若硬碟記錄器1295包含根據本發明之實施例的視訊解碼裝置，則記錄在DVD光碟1296、SD卡1297或另一儲存媒體上之視訊信號可在TV監視器1288上再生。

汽車導航系統1293可能不包含圖28之相機1253、相機介面1263及影像編碼單元1272。舉例而言，電腦1210及TV接收器1281可能不包含在圖28之相機1253、相機介面1263及影像編碼單元1272中。

圖29說明根據本發明之實施例的使用視訊編碼裝置及視訊解碼裝置之雲端計算系統的網路結構。

雲端計算系統可包含雲端計算伺服器1400、使用者資料庫(user database；DB)1410、多個計算資源1420，及使用者終端機。

回應於來自使用者終端機之請求，雲端計算系統經由資料通信網路(例如，網際網路)提供多個計算資源1420之按需委外服務(on-demand outsourcing service)。在雲端計算環境下，服務提供者藉由結合藉由使用虛擬化技術定位在實體上不同之位置處的資料中心處之計算資源來向使用者提供所要服務。服務使用者無需將計算資料(例如， 應用程式、儲存器、作業系統(operating system；OS)，及安全設定)安裝至其自己的終端機中以便使用此等資源，但可在所要時間點自在經由虛擬化技術所產生之虛擬空間中的服務當中選擇且使用所要服務。

指定服務使用者之使用者終端機經由包含網際網路及行動電信網路之資料通信網路連接至雲端計算伺服器1410。可自雲端計算伺服器1410向使用者終端機提供雲端計算服務，並且尤其是視訊再生服務。使用者終端機可為能夠連接至網際網路之各種類型的電子設備，例如，桌上型PC(desk-top PC)1430、智慧型TV 1440、智慧型電話1450、筆記型電腦1460、攜帶型多媒體播放器(portable multimedia player；PMP)1470、平板型PC 1480，及其類似者。

雲端計算伺服器1410可結合在雲端網路中所分佈之多個計算資源1420，並且向使用者終端機提供結合之結果。多個計算資源1420可包含各種資料服務，並且可包含自使用者終端機所上載之資料。如上文所描述，雲端計算伺服器1410可藉由根據虛擬化技術結合在不同區域中所分佈之視訊資料庫來向使用者終端機提供所要服務。

關於已訂用雲端計算服務之使用者的使用者資訊儲存在使用者DB 1410中。使用者資訊可包含使用者之登錄資訊、地址、姓名及個人信用資訊。使用者資訊可更包含視訊之索引。此處，索引可包含已再生之視訊清單、正再生之視訊清單、再生之視訊的暫停點，及其類似者。

關於儲存在使用者DB 1410中之視訊的資訊可在使用者設備之間共用。舉例而言，當視訊服務回應於來自筆記型電腦1460之請求而提供至筆記型電腦1460時，視訊服務之再生歷史儲存在使用者DB 1410中。當再生此視訊服務之請求自智慧型電話1450接收時，雲端計算伺服器1410基於使用者DB 1410搜尋且再生此視訊服務。當智慧型電話1450自雲端計算伺服器1410接收視訊資料串流時，藉由解碼視訊資料串流再生視訊之處理程序類似於上文參看圖28所描述的行動電話1250之操作。

雲端計算伺服器1410可參考儲存在使用者DB 1410中之所要視訊服務的再生歷史。舉例而言，雲端計算伺服器1410自使用者終端機接收再生儲存在使用者DB 1410中之視訊的請求。若此視訊經再生，則藉由雲端計算伺服器1410所執行的串流傳輸此視訊之方法可根據來自使用者終端機之請求(亦即，根據視訊是否將自其起點或其暫停點開始再生)而變化。舉例而言，若使用者終端機請求自視訊之起點開始再生視訊，則雲端計算伺服器1410自視訊之第一圖框開始傳輸視訊之串流傳輸資料至使用者終端機。若使用者終端機請求自視訊之暫停點開始再生視訊，則雲端計算伺服器1410自對應於暫停點之圖框開始傳輸視訊之串流傳輸資料至使用者終端機。

在此情況下，使用者終端機可包含如上文參看圖1至圖23所描述之視訊解碼裝置。作為另一實例，使用者終端機可包含如上文參看圖1至圖23所描述之視訊編碼裝置。 或者，使用者終端機可包含如上文參看圖1至圖23所描述之視訊解碼裝置及視訊編碼裝置兩者。

上文已參看圖24A至圖29描述上文參看圖1至圖23所描述的根據本發明之實施例之視訊編碼方法、視訊解碼方法、視訊編碼裝置及視訊解碼裝置的各種應用。然而，將視訊編碼方法及視訊解碼方法儲存在儲存媒體中之方法或在根據本發明之各種實施例之設備中實施視訊編碼裝置及視訊解碼裝置的方法不限於上文參看圖24A至圖29所描述之實施例。

儘管已參考本發明之例示性實施例特定地展示且描述了本發明，但一般熟習此項技術者將理解，在不脫離如由以下申請專利範圍所界定的根據本發明之精神及範疇的情況下，可在本發明中進行形式及細節上的各種改變。

10‧‧‧多視角視訊預測裝置

12‧‧‧基礎層編碼器

14‧‧‧增強層編碼器

20‧‧‧多視角視訊預測還原裝置

22‧‧‧接收器

24‧‧‧基礎層解碼器

26‧‧‧增強層解碼器

30‧‧‧多視角視訊預測結構

31~35‧‧‧基礎視角色調圖像

40‧‧‧多視角視訊預測結構

41~45‧‧‧基礎視角色調圖像/基礎視角影像

49~50‧‧‧畫面間預測結構

51~55‧‧‧額外視角影像/額外視角色調圖像

60‧‧‧畫面間預測結構

61~65‧‧‧額外視角影像/額外視角色調圖像

70‧‧‧畫面間預測結構

71~75‧‧‧額外視角影像/額外視角色調圖像

81~85‧‧‧額外視角影像/額外視角色調圖像

100‧‧‧視訊編碼裝置

120‧‧‧寫碼判定器

130‧‧‧輸出單元

131~135‧‧‧第一額外視角色調圖像

141~145‧‧‧第一額外視角色調圖像

150~155‧‧‧額外視角影像

156‧‧‧額外視角影像/B圖像型影像

157‧‧‧額外視角影像/b圖像型影像

158‧‧‧額外視角影像

160~168‧‧‧額外視角影像/b圖像型及B圖像型影像

170~172‧‧‧額外視角影像

173~174‧‧‧額外視角影像/b圖像型及B圖像型影像

175~182‧‧‧額外視角影像

183~188‧‧‧額外視角影像/B圖像型影像

200‧‧‧視訊解碼裝置/影像解碼裝置

210‧‧‧接收器

220‧‧‧影像資料及編碼資訊提取器

230‧‧‧影像資料解碼器

231~235‧‧‧第二額外視角色調圖像

241~245‧‧‧第二額外視角色調圖像

253~255‧‧‧額外視角影像

260‧‧‧光碟

263~265‧‧‧額外視角影像/b圖像型及B圖像型影像

267‧‧‧電腦系統

268‧‧‧光碟機

273~274‧‧‧額外視角影像/b圖像型及B圖像型影像

275~285‧‧‧額外視角影像

310‧‧‧視訊資料

315‧‧‧寫碼單元

320‧‧‧視訊資料

325‧‧‧寫碼單元

330‧‧‧視訊資料

335‧‧‧寫碼單元

400‧‧‧影像編碼器

405‧‧‧當前圖框

410‧‧‧畫面內預測器

420‧‧‧運動估計器

425‧‧‧運動補償器

430‧‧‧轉換器

440‧‧‧量化器

450‧‧‧熵編碼器

455‧‧‧位元串流

460‧‧‧逆量化器

470‧‧‧逆轉換器

480‧‧‧解區塊單元

490‧‧‧迴路濾波單元

495‧‧‧參考圖框

500‧‧‧影像解碼器

505‧‧‧位元串流

510‧‧‧剖析器

520‧‧‧熵解碼器

530‧‧‧逆量化器

540‧‧‧逆轉換器

550‧‧‧畫面內預測器

560‧‧‧運動補償器

570‧‧‧解區塊單元

580‧‧‧迴路濾波單元

585‧‧‧參考圖框

595‧‧‧經還原圖框

600‧‧‧階層結構

610‧‧‧寫碼單元/編碼單元/分區

612、614、616、622、624、626、632、634、636、642、644、646‧‧‧分區

620‧‧‧寫碼單元/分區

630‧‧‧寫碼單元

640‧‧‧寫碼單元

650‧‧‧寫碼單元

710‧‧‧寫碼單元

720‧‧‧轉換單元

800‧‧‧資訊

802‧‧‧分區

804‧‧‧分區

806‧‧‧分區

808‧‧‧分區

810‧‧‧資訊

812‧‧‧畫面內模式

814‧‧‧畫面間模式

816‧‧‧略過模式

820‧‧‧資訊

822‧‧‧第一畫面內轉換單元

824‧‧‧第二畫面內轉換單元

826‧‧‧第一畫面間轉換單元

828‧‧‧第二畫面間轉換單元

900‧‧‧寫碼單元

910‧‧‧預測單元

912‧‧‧分區類型

914‧‧‧分區類型

916‧‧‧分區類型

918‧‧‧分區類型

920‧‧‧操作

930‧‧‧寫碼單元

942‧‧‧分區類型

944‧‧‧分區類型

946‧‧‧分區類型

948‧‧‧分區類型

950‧‧‧操作

960‧‧‧寫碼單元

970‧‧‧操作

980‧‧‧寫碼單元

990‧‧‧預測單元

992‧‧‧分區類型

994‧‧‧分區類型

996‧‧‧分區類型

998‧‧‧分區類型

999‧‧‧資料單元

1010‧‧‧寫碼單元/編碼單元

1012‧‧‧寫碼單元

1014‧‧‧寫碼單元/編碼單元

1016‧‧‧寫碼單元/編碼單元

1018‧‧‧寫碼單元

1020‧‧‧寫碼單元

1022‧‧‧寫碼單元/編碼單元

1024‧‧‧寫碼單元

1026‧‧‧寫碼單元

1028‧‧‧寫碼單元

1030‧‧‧寫碼單元

1032‧‧‧寫碼單元/編碼單元

1040‧‧‧寫碼單元

1042‧‧‧寫碼單元

1044‧‧‧寫碼單元

1046‧‧‧寫碼單元

1048‧‧‧寫碼單元/編碼單元

1050‧‧‧寫碼單元/編碼單元

1052‧‧‧寫碼單元/編碼單元

1054‧‧‧寫碼單元/編碼單元

1060‧‧‧預測單元

1070‧‧‧轉換單元

1100‧‧‧內容供應系統

1110‧‧‧網際網路

1120‧‧‧網際網路服務提供者

1130‧‧‧串流傳輸伺服器

1140‧‧‧通信網路

1170~1200‧‧‧無線基地台

1210‧‧‧電腦

1220‧‧‧個人數位助理(PDA)

1230‧‧‧視訊攝影機

1250‧‧‧行動電話

1251‧‧‧內部天線/智慧型電話

1252‧‧‧顯示螢幕

1253‧‧‧相機

1254‧‧‧操作面板

1255‧‧‧麥克風

1256‧‧‧槽

1257‧‧‧儲存媒體

1258‧‧‧揚聲器

1260‧‧‧相機

1261‧‧‧通信電路

1262‧‧‧LCD控制器

1263‧‧‧相機介面

1264‧‧‧操作輸入控制器

1265‧‧‧聲音處理器

1266‧‧‧調變/解調變單元

1267‧‧‧記錄/讀取單元

1268‧‧‧多工器/解多工器

1269‧‧‧影像解碼單元/視訊解碼單元

1270‧‧‧電力供應電路

1271‧‧‧中央控制器

1272‧‧‧影像編碼單元

1273‧‧‧同步匯流排

1281‧‧‧TV接收器

1282‧‧‧儲存媒體

1283‧‧‧再生裝置

1284‧‧‧監視器

1285‧‧‧纜線天線

1286‧‧‧家用天線

1287‧‧‧機上盒

1288‧‧‧TV監視器

1289‧‧‧廣播站

1290‧‧‧廣播衛星

1291‧‧‧天線

1292‧‧‧汽車

1293‧‧‧汽車導航系統

1295‧‧‧硬碟記錄器

1296‧‧‧DVD光碟

1297‧‧‧SD卡

1300‧‧‧最大寫碼單元

1302~1318‧‧‧寫碼單元

1322~1338‧‧‧分區類型

1342~1354‧‧‧轉換單元

1400‧‧‧雲端計算伺服器

1410‧‧‧使用者資料庫

1420‧‧‧計算資源

1430‧‧‧桌上型PC

1440‧‧‧智慧型TV

1450‧‧‧智慧型電話

1460‧‧‧筆記型電腦

1470‧‧‧攜帶型多媒體播放器

1480‧‧‧平板型PC

Se‧‧‧扇區

Tr‧‧‧同心軌道

圖1是根據本發明之實施例之多視角視訊預測裝置的方塊圖。

圖2是根據本發明之實施例之多視角視訊預測還原裝置的方塊圖。

圖3是根據本發明之實施例之多視角視訊預測結構的圖式。

圖4A是根據本發明之另一實施例之多視角視訊預測結構的圖式。

圖4B展示根據本發明之另一實施例之針對圖4A的多視角視訊預測結構之額外視角影像的增強層的畫面間預測 結構。

圖5展示根據本發明之實施例之針對來自多視訊預測結構當中之額外視角影像的增強層之畫面間預測結構。

圖6展示根據本發明之另一實施例之針對來自多視角視訊預測結構當中之額外視角影像的增強層之畫面間預測結構。

圖7展示根據本發明之另一實施例之針對來自多視訊預測結構當中之額外視角影像的增強層之畫面間預測結構。

圖8A及圖8B展示根據本發明之實施例的在於圖7之增強層之畫面間預測結構中產生隨機存取時的還原結果。

圖9是根據本發明之實施例之多視角視訊預測方法的流程圖。

圖10是根據本發明之實施例之多視角視訊預測還原方法的流程圖。

圖11是根據本發明之實施例之視訊編碼裝置的方塊圖。

圖12是根據本發明之實施例之視訊解碼裝置的方塊圖。

圖13是用於描述根據本發明之實施例之寫碼單元之概念的圖式。

圖14是根據本發明之實施例之基於寫碼單元之影像編碼器的方塊圖。

圖15是根據本發明之實施例之基於寫碼單元之影像解碼器的方塊圖。

圖16是說明根據本發明之實施例的根據深度之較深寫碼單元及分區的圖式。

圖17是用於描述根據本發明之實施例之在寫碼單元與轉換單元之間的關係之圖式。

圖18是用於描述根據本發明之實施例之對應於經寫碼深度之寫碼單元之編碼資訊的圖式。

圖19是根據本發明之實施例之根據深度之較深寫碼單元的圖式。

圖20至圖22是用於描述根據本發明之實施例之寫碼單元、預測單元與轉換單元之間的關係之圖式。

圖23是用於描述根據表1之編碼模式資訊的在寫碼單元、預測單元或分區，與轉換單元之間的關係之圖式。

圖24A說明根據本發明之實施例的儲存程式之光碟的實體結構。

圖24B說明藉由使用光碟來記錄及讀取程式之光碟機。

圖25說明提供內容分配服務之內容供應系統的完整結構。

圖26及圖27說明根據本發明之實施例的視訊編碼方法及視訊解碼方法所應用於之行動電話的外部及內部結構。

圖28說明根據本發明之實施例之使用通信系統的數 位廣播系統。

圖29說明根據本發明之實施例的使用視訊編碼裝置及視訊解碼裝置之雲端計算系統的網路結構。

91、93‧‧‧操作步驟

Claims (15)

1. 一種多視角視訊預測方法，包括：藉由執行基礎視角影像之間的畫面間預測來產生基礎層影像串流，所述基礎層影像串流包括基礎視角色調圖像及基礎視角影像之殘餘值；以及產生包括額外視角影像之殘餘值的增強層影像串流，所述額外視角影像是藉由執行用於參考所述基礎視角影像來預測所述額外視角影像之視角間預測，用於參考來自所述額外視角影像當中之額外視角色調圖像來預測不同額外視角色調圖像之畫面間預測，以及用於參考所述額外視角影像來預測除了所述額外視角色調圖像以外的額外視角影像之畫面間預測而產生。
2. 如申請專利範圍第1項所述之多視角視訊預測方法，更包括：自所述基礎視角影像及所述額外視角影像當中產生深度圖，所述深度圖指示具有相同場景之基礎視角影像與額外視角影像之間的視角間深度；以及傳輸所述深度圖，連同所述基礎層影像串流及所述增強層影像串流。
3. 如申請專利範圍第1項所述之多視角視訊預測方法，其中所述增強層影像串流之所述產生包括：參考在當前額外視角色調圖像自所述額外視角色調圖像當中之還原之前還原之額外視角色調圖像來執行所述當前額外視角色調圖像的畫面間預測。
4. 如申請專利範圍第1項所述之多視角視訊預測方法，其中所述增強層影像串流之所述產生包括：參考在當前額外視角色調圖像自所述額外視角色調圖像當中之還原之後還原之額外視角色調圖像來執行所述當前額外視角色調圖像的畫面間預測。
5. 一種多視角視訊預測還原方法，包括：接收基礎層影像串流及增強層影像串流；自所述基礎層影像串流，還原基礎視角色調圖像並且藉由參考所述基礎視角色調圖像執行基礎視角影像之運動補償來還原所述基礎視角影像；當所述增強層影像串流之額外視角色調圖像經存取時，藉由執行涉及所述經還原之基礎視角色調圖像之差異補償及涉及所述增強層影像串流之不同額外視角色調圖像的運動補償中之至少一者來還原所述額外視角色調圖像；以及藉由對所述增強層影像串流之額外視角影像執行涉及所述經還原之基礎視角影像的差異補償及涉及首先在所述增強層影像串流中還原之經還原之額外視角影像的運動補償中之至少一者來還原除了所述額外視角色調圖像以外的額外視角影像。
6. 如申請專利範圍第5項所述之多視角視訊預測還原方法，其中所述接收包括：自所述基礎視角影像及所述額外視角影像當中接收深度圖，所述深度圖指示具有相同場景之基礎視角影像與額外視角影像之間的視角間深度。
7. 如申請專利範圍第6項所述之多視角視訊預測還原方法，其中所述額外視角色調圖像之所述還原包括：在來自所述額外視角色調圖像當中之當前額外視角色調圖像之參考影像在所述當前額外視角色調圖像被還原的時間點未還原時，藉由使用深度圖及對應於所述當前額外視角色調圖像之基礎視角影像來還原所述當前額外視角色調圖像。
8. 如申請專利範圍第7項所述之多視角視訊預測還原方法，其中所述額外視角色調圖像之所述還原包括：在來自所述額外視角色調圖像當中之當前額外視角色調圖像經存取時，所述當前額外視角色調圖像是參考在所述當前額外視角色調圖像之還原之前還原的額外視角色調圖像而預測，藉由使用深度圖及對應於所述當前額外視角色調圖像之基礎視角影像來還原所述當前額外視角色調圖像。
9. 如申請專利範圍第6項所述之多視角視訊預測還原方法，其中所述額外視角色調圖像之所述還原包括：在來自所述額外視角色調圖像當中之當前額外視角色調圖像經存取時，所述當前額外視角色調圖像是參考在所述當前額外視角色調圖像之還原之後還原的額外視角色調圖像而預測，藉由使用深度圖及對應於當前額外視角色調圖像之基礎視角影像來還原所述當前額外視角色調圖像。
10. 如申請專利範圍第5項所述之多視角視訊預測還 原方法，其中所述額外視角色調圖像之所述還原包括：在額外視角色調圖像經存取時，所述額外視角色調圖像不涉及來自所述額外視角色調圖像當中之不同額外視角色調圖像，參考對應於所述當前額外視角色調圖像之基礎視角影像來還原所述當前額外視角色調圖像。
11. 如申請專利範圍第6項所述之多視角視訊預測還原方法，其中所述額外視角色調圖像之所述還原包括：在當前額外視角色調圖像經存取時，所述當前額外視角色調圖像不涉及來自所述額外視角色調圖像當中之不同額外視角色調圖像，藉由使用深度圖及對應於所述當前額外視角色調圖像之基礎視角影像來還原所述當前額外視角色調圖像。
12. 一種多視角視訊預測裝置，包括：基礎層編碼器，其用於藉由執行基礎視角影像之間的畫面間預測來產生基礎層影像串流，所述基礎層影像串流包括基礎視角色調圖像及基礎視角影像之殘餘值；以及增強層編碼器，其用於執行用於參考所述基礎視角影像來預測額外視角影像之視角間預測，用於參考來自所述額外視角影像當中之額外視角色調圖像來預測不同額外視角色調圖像之畫面間預測，以及用於參考所述額外視角影像來預測除了所述額外視角色調圖像以外的額外視角影像並且產生包括所述額外視角影像之殘餘值的增強層影像串流之畫面間預測。
13. 一種多視角視訊預測還原裝置，包括： 接收器，其用於接收基礎層影像串流及增強層影像串流；基礎層解碼器，其自所述基礎層影像串流，還原基礎視角色調圖像並且藉由參考所述基礎視角色調圖像執行基礎視角影像之運動補償來還原所述基礎視角影像；以及增強層解碼器，其用於在所述增強層影像串流之額外視角色調圖像經存取時，藉由執行涉及所述經還原之基礎視角色調圖像之差異補償及涉及所述增強層影像串流之不同額外視角色調圖像的運動補償中之至少一者來還原所述額外視角色調圖像，並且用於藉由對所述增強層影像串流之額外視角影像執行涉及所述經還原之基礎視角影像的差異補償及涉及首先在所述增強層影像串流中還原之經還原之額外視角影像的運動補償中之至少一者來還原除了所述額外視角色調圖像以外的額外視角影像。
14. 一種電腦可讀記錄媒體，其上記錄有用於執行如申請專利範圍第1項所述之多視角視訊預測方法的程式。
15. 一種電腦可讀記錄媒體，其上記錄有用於執行如申請專利範圍第5項所述之多視角視訊預測還原方法的程式。