TWI540878B - 編碼器、解碼器、位元串流、以及編碼與解碼對應於多重視圖信號之兩個視圖之影像對之方法及相關聯電腦程式產品 - Google Patents

Description

編碼器、解碼器、位元串流、以及編碼與解碼對應於多重視圖信號之兩個視圖之影像對之方法及相關聯電腦程式產品

本發明係關於編碼器、解碼器、位元串流、以及編碼與解碼對應於多重視圖信號之兩個視圖之影像對之方法、電腦可讀媒體上之電腦程式產品及用於執行該等方法之軟體工具。

立體顯示正變得越來越流行。立體顯示裝置包含例如利用快門眼鏡之LCD及電漿顯示器、可與偏光眼鏡結合使用之LCD裝置以及各種其他類型之立體顯示裝置。

立體內容可能已經藉助例如能夠遞送針對左眼及右眼兩者之全解析度1920x1080影像之呈3D-BD光碟之形式之預先錄製材料針對此等顯示裝置而提供。同時，正在各種場合下討論3D廣播之標準化。

為了遞送所謂圖框相容格式之立體內容，將左眼視圖與右眼視圖組合成一個常規HD(1920x1080)圖框之情形被視為很有吸引力。此等格式實現對現有HD基礎架構(包含例如現有DVB廣播頻道)之再利用、對現有STB硬體之再利用等等以便達成立體內容遞送。

為了達成內容之分佈，大多數3D TV接收器諸如經由HDMI輸入介面支援若干圖框相容格式，參見例如http://www.hdmi.org/manufacturer/specification.aspx之HDMI V1.4a規格之公開可下載3D部分。

然而，圖框相容分佈格式之一個重要缺點係其降低之空間解析度。有人建議，可藉由使得能夠添加(例如，在一稍後階段)一增強層來克服圖框相容分佈格式之限制。

然而，本發明者已認識到，組合一圖框相容分佈格式與一增強層可具有一些問題：

A)　該增強層可能無法提供針對每一隻眼睛之全HD。

B)　編碼及/或解碼該增強層與例如多重視圖視訊編碼相比可增添複雜度。而且，在該位元串流中可能需要額外發信號。

C)　常規圖框相容格式在很大程度上係針對(且限於)2視圖(立體)顯示，且舉例而言，不提供對立體顯示之支援。

D)　對該增強層之編碼可能例如因低效預測而不夠有效，從而引起該增強層之總額外位元速率。

E)　圖框相容分佈格式僅使得能夠傳輸具有硬編碼像差之固定左及右視圖。因必須將立體內容調諧至一特定螢幕大小，且因而，觀看此內容之觀眾所經歷之舒適程度不僅因人而異，而且因所使用之顯示器而異。

F)　3D TV接收器已經進入市場。因此，一新的立體分佈標準將必須囊括當前可用圖框相容格式正變得越來越有可能。該等3D TV接收器可在未將該圖框相容分佈格式具體調適至該等當前可用圖框相容格式時獲得一次佳影像品質。

G)　基本層可受到影響以便接近對於該兩個層之全解析度，例如基本層可包括可能只在二次取樣之前的一弱低通濾波器之情況下頻帶受限之左/右視圖之二次取樣版本。此可造成可特定而言當存在視訊信號中之運動時討厭之混迭效應。

因此，要求清單很長；需要針對兩隻眼睛之全解析度HD，需要對可變基線處理之支援且需要提供對AVC(H264)及MPEG2編碼標準之支援，因為這兩種標準用於市場中之3D相容格式。

本發明之一目的係解決上述問題中之至少一個問題。

根據本發明之一態樣，提供一種編碼對應於一多重視圖信號之兩個視圖之一影像對之方法，該方法包括：基於該影像對之一第一影像之一第一經低通濾波版本與該影像對之第二影像之一第一經低通濾波版本產生一第一經組合影像，該第一經組合影像包括具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本(該等樣本在空間上共同定位於該第一經組合影像中)及具有來自該第二影像之該第一經低通濾波版本之一第二同位之樣本(該等樣本在空間上共同定位於該第一經組合影像中)；藉由編碼該第一經組合影像產生一基本層；產生第一及第二基於像差之預測子以及與編碼於該基本層中之影像資訊相關聯之第一及第二基於區塊之位移向量，該等第一及第二基於區塊之位移向量係使用存在於該等第一及第二影像中之像差資訊、編碼於該基本層中之影像資訊以及該等各別第一及第二影像而產生；及藉由使用該等第一及第二基於像差之預測子來編碼該等第一及第二影像從而產生一增強層。

根據本發明之上述態樣，在請求項12、15、18、21、24及25中提供一種編碼器、一種解碼器、一種解碼對應於一多重視圖信號之兩個視圖之一影像對之方法以及一種表示一多重視圖信號之兩個視圖之位元串流、一種電腦程式產品及一種用於執行根據本發明之方法之軟體工具。

上述措施提供一種其中一影像對以一第一經組合影像之形式編碼於一基本層中之編碼/解碼解決方案。因此，該影像對提供處於一基本品質位準下。另外，提供其中使用第一及第二基於像差之預測子來編碼該影像對之一增強層。該增強層允許一解碼器獲得處於一增強之解析度位準下之影像對。

該等第一及第二基於像差之預測子提供對該增強層之編碼效率之改進。此之一原因在於該像差允許自一經解碼第二影像估計自該基本層解碼之一第一影像，反之亦然。因此，該預測子可使用該等經解碼第一及第二影像與自一經解碼第二影像估計之第一影像之一版本之一組合來獲得對該第一影像之一得到改進之預測。因而，編碼該增強層需要更少頻寬，或假定同一頻寬，獲得一更好品質。

而且，提供該等第一及第二基於區塊之位移向量作為該位元串流之一部分，從而使得解碼該位元串流之一解碼器能夠重新產生該等第一及第二基於像差之預測子且因此獲得處於一增強之品質位準下之影像對。該方案藉由提供一有效預測子來解決問題D。而且，該方案藉由提供可在一解碼器中用於有效地獲得該影像對之間的像差，從而使得該解碼器能夠例如演現用於立體顯示之額外影像或演現具有一不同(例如降低)之像差位準之另一個影像對之第一及第二基於區塊之位移向量來解決問題C及E。因而，由於該串流中包含像差資訊以用於解碼器側處之事實，將更容易執行可變基線處理。

應注意，來自該第一影像之該第一經低通濾波版本之該第一同位可不同於來自該第二影像之該第一經低通濾波版本之該第二同位。舉例而言，來自該第一影像之該第一經低通濾波版本之該第一同位可係一「偶數」同位，且來自該第二影像之該第一經低通濾波版本之該第二同位可係一「奇數」同位。另一選擇係，來自該第一影像之該第一經低通濾波版本之該第一同位可等於來自該第二影像之該第一經低通濾波版本之該第二同位。舉例而言，這兩個同位可皆係「偶數」同位。

視情況，產生該等第一及第二基於像差之預測子包括基於編碼於該基本層中之影像資訊、該第一影像及自該等第一及第二影像導出之像差資訊產生該第一像差預測子及該等第一基於區塊之位移向量，並基於編碼於該基本層中之影像資訊、該第二影像及自該等第一及第二影像導出之像差資訊產生該第二像差預測子及該等第二基於區塊之位移向量。該等措施尤其很適合產生該等第一及第二基於像差之預測子。

視情況，該等第一及第二影像以一第二經組合影像之形式編碼於該增強層中，且該方法進一步包括基於該影像對之該第一影像之一第二經低通濾波版本與該影像對之該第二影像之一第二經低通濾波版本產生該第二經組合影像，該第二經組合影像包括具有來自該第一影像之該第二經低通濾波版本之第二同位之樣本(該等樣本在空間上共同定位於該第二經組合影像中)及具有來自該第二影像之該第二經低通濾波版本之第一同位之樣本(該等樣本在空間上共同定位於該第二經組合影像中)。

應注意，來自該第一影像之該第二經低通濾波版本之該第二同位不同於來自該第一影像之該第一經低通濾波版本之該第一同位，且來自該第二影像之該第二經低通濾波版本之該第一同位不同於來自該第一影像之該第一經低通濾波版本之該第二同位。

來自該第一影像之該第二經低通濾波版本之該第二同位不同於該第二影像之該第二經低通濾波版本之該第一同位。舉例而言，來自該第一影像之該第二經低通濾波版本之該第二同位可係一「偶數」同位，且來自該第二影像之該第二經低通濾波版本之該第一同位可係一「奇數」同位。另一選擇係，來自該第一影像之該第二經低通濾波版本之該第二同位可等於來自該第二影像之該第二經低通濾波版本之該第一同位。舉例而言，這兩個同位可皆係「偶數」同位。

根據本發明之上述態樣，在請求項13、16、19、22、24及25中提供一種編碼器、一種解碼器、一種解碼對應於一多重視圖信號之兩個視圖之一影像對之方法以及一種表示一多重視圖信號之兩個視圖之位元串流、一種電腦程式產品及一種用於執行根據本發明之方法之軟體工具。

上述措施提供一種其中該影像對以一第二經組合影像之形式編碼之增強層，該增強層包括與由該基本層中之該第一經組合影像提供之樣本互為補充之該等第一及第二影像之樣本。此係提供達成增強之解析度之一增強層之一特別有效方式，因為出於二次取樣，自該基本層省略之影像對之樣本現在由該增強層提供。該方案提供與已知先前技術一致的針對每一隻眼睛之全HD之一近似值。

視情況，產生該等基於區塊之位移向量包括使用該等第一及第二影像產生一初始像差估計並使用該初始像差估計產生與各別像差預測子相關聯之基於區塊之位移向量。該等措施提供一種尤其很適合產生該等基於區塊之位移向量之三階段方法。

視情況，所陳述之方法可進一步包括將該第一像差預測子與該第二像差預測子組合成一基於像差之預測子，該基於像差之預測子包括具有來自該第一影像之該第一像差預測子之第二同位之樣本(該等樣本在空間上共同定位於該基於像差之預測子中)及具有來自該第二影像之該第二像差預測子之第一同位之樣本(該等樣本在空間上共同定位於該基於像差之預測子中)，且其中該編碼該等第一及第二影像包括使用呈該基於像差之預測子之形式之該等第一及第二基於像差之預測子。因此可將該基於像差之預測子之格式調適至該第二經組合影像之格式。

視情況，該增強層係由一第一增強層及一第二增強層形成，且該方法進一步包括藉由使用該第一基於像差之預測子來編碼該第一影像從而產生該第一增強層並藉由使用該第二基於像差之預測子來編碼該第二影像從而產生該第二增強層。

根據本發明之上述態樣，在請求項14、17、20、23、24及25中提供一種編碼器、一種解碼器、一種解碼對應於一多重視圖信號之兩個視圖之一影像對之方法以及一種表示一多重視圖信號之兩個視圖之位元串流、一種電腦程式產品及一種用於執行根據本發明之方法之軟體工具。

單獨使用該等第一及第二基於像差之預測子中之一各別預測子來編碼該等第一及第二影像。該方案可提供針對每一隻眼睛之全HD。此之一原因在於在沒有先前低通濾波及/或二次取樣的情況下編碼該等第一及第二影像。因此，此方案進一步解決問題A。

視情況，所陳述之方法進一步包括按比例放大包括於該基本層中之影像資訊之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子及一第二中間預測子，進一步使用該第一中間預測子來編碼該第一影像，並進一步使用該第一中間預測子來編碼該第二影像。

該等措施以該影像對之各別編碼影像之經按比例放大版本之形式提供額外預測子。有利地，提高對該增強層之編碼效率。

視情況，使用如下中之一者來編碼該基本層：一MPEG-2編碼、一AVC編碼及一HVC編碼，或使用如下中之一者來編碼該增強層：一AVC編碼及一HVC編碼。該等編碼方法尤其很適合編碼該基本層及/或該增強層。AVC代表高級視訊編碼，且HVC代表有時稱作HeVC或HEVC之高效視訊編碼。

視情況，將該等經組合影像編碼為經並排編碼影像或經上下編碼影像中之一者。該等編碼方法尤其很適合編碼該等經組合影像，例如，提供與現有多重視圖信號接收器之相容性。

視情況，所陳述之方法進一步包括將該基本層、該增強層、該等第一基於區塊之位移向量及該等第二基於區塊之位移向量多工成一位元串流之一步驟。因此，提供挨著一基本層提供一增強層以提供增強之解析度之一單個位元串流。

下面將以實例方式及參照附圖更詳細地解釋本發明之此等及另外態樣。

該等圖未按比例繪製。通常，在該等圖中相同之組件由相同之參考符號或編號表示。

為了進一步詳細闡明貫穿於本申請案正文所使用之術語，將闡述在本申請案中找到之共同操作之一些簡短實例。

同位

貫穿於此文件，「同位」用作一影像內之像素之一屬性。同位在此處可呈現值偶數或奇數。影像通常表示為2維樣本或像素值陣列。為了指示一特定像素值或樣本，通常使用兩個座標，較佳x及y，其中x表示水平座標且y表示垂直座標。

儘管使用上文中所指示之座標x及y，但實際座標範圍不同；範圍可從0開始且達到n-1，n為沿彼方向之像素之數目，或另一選擇係可介於自1直至n之範圍。儘管此選擇可能看似任意的，但其有效地顛倒對偶數/奇數像素之選擇。

藉助一實例性圖1A來考量。在圖1A內，呈現兩個影像：處於全解析度下之一左影像20及一右影像21。考量其中希望創建處於全解析度下之一組合並排影像25之情況。此處，全解析度係指原先編碼(即，在此實施中，至6個水平樣本及4個垂直樣本或像素值之一解析度)之影像之影像大小。

為適當地闡述按比例縮小及組合各別左影像20與右影像21之像素值之過程，將在此處使用一水平像素編號，在該實例中，介於自0至5之範圍之影像。

產生按比例縮小影像之過程涉及對該等樣本應用一濾波器F1以便減輕作為按比例縮小、並隨後以一因數2來進行十中抽一取樣之結果之混迭。因此具有奇數同位之樣本留在按比例縮小左影像22中且具有奇數同位之樣本留在按比例縮小左影像23中。

在按比例縮小之後，需要將該等像素堆積於區塊P中。因此，各別按比例縮小左及右影像(22、23)之行1、3及5在經組合影像25中毗鄰放置；其中左像素行1、3、5放置於該經組合影像之像素行1、2及3上，且其中右像素行1、3、5放置於經組合影像25之像素行3、4及5中。

儘管上文中所呈現之實例係關於其中構造一組合並排影像之一情況，但亦可構造一組合上下影像。在此情況下，名稱「奇數」像素然而將指代影像列而不是行。

對並排及/或上下之選擇可與一特定應用相關但同樣地對於本發明並非必不可少。因此，貫穿於該申請案，當提及產生一經組合影像時，對並排或上下之選擇留有餘地；除非明確指定。

因此，可指代處於更高階上之上述操作，且可將上述操作歸納為藉由使各別奇數像素在空間上共同定位於一經組合影像中來組合左影像20之奇數像素與右影像21之奇數像素。由此，指示各別奇數像素堆積(即，毗鄰放置)，且隨後對應於十中抽一取樣之方向毗鄰放置(在圖1A中水平地)。

使用本文中所採用之標記法，左影像20亦可稱作「L」，右影像21亦可稱作「R」，按比例縮小左影像亦可稱作「Lo」，按比例縮小右影像亦可稱作「Ro」且經組合影像亦可稱作「LoRo」。

如上文中所指示，對左及右影像於一經組合影像中之位置及是否以0或1開始對像素進行編號之具體選擇可根據慣例判定。為瞭解決此，可藉由分別將其稱作係偶數或奇數之一第一同位及係奇數或偶數之一第二同位來使對偶數及奇數同位之選擇更進一步抽象化。

以此方式，基於一左及右影像產生一經組合影像可進一步概括為產生一經組合影像，其中該經組合影像包括：-　具有第一影像之第一同位之樣本，該等樣本在空間上共同定位於該經組合影像中及-　具有第二影像之第一同位之樣本，該等樣本在空間上共同定位於該經組合影像中。

經重新建構影像

使用如上文中所呈現之術語，亦可闡述基於兩個全解析度解碼經組合影像重新建構兩個全解析度左影像及右影像之操作。

圖1B展示其中藉由使用運算子Q來組合一第一經解碼經組合影像LoRo'與一第二經解碼經組合影像LeRe'從而重新建構(分別地L'及R')一第一及一第二影像之一實例性操作。應注意，在L或R之後的「o」指示其中所含有之樣本係「奇數」同位且在L或R之後的「e」指示其中所含有之樣本係「偶數」同位。

因此，藉助運算子Q，來自第一經解碼經組合影像LoRo'之在空間上共同定位之樣本(即，由L所指示之堆積樣本(其在組合之前具有奇數同位))被置於重新建構左影像L'內之奇數位置中，即，來自影像LoRo'之行0、1、2被置於經重新建構影像L'中作為行1、3及5。同樣地，來自第一經解碼經組合影像LoRo'之另外在空間上共同定位之樣本(即，由R所指示之具有奇數同位之堆積樣本)被置於重新建構右影像R'內之奇數位置中。

類似地，由R所指示之堆積樣本(其在組合之前具有偶數同位)被置於第一及第二經重新建構影像之偶數行中，即，來自影像之行0、1、2被置於經重新建構影像L'中作為行0、2及4。

使用上文中所引入之術語，接下來將闡述根據本發明之各實施例。

根據本發明之第一態樣，提供編碼一影像對L、R之一替代方法，該方法亦使用兩個編碼器；用於編碼一基本層LR-bas之一第一編碼器Enc1及用於編碼一增強層LE-enh之一第二編碼器。然而，不同於稍後呈現於圖6A中之編碼器系統，根據此第一態樣之本發明使用兩個不同經組合影像。

在根據本發明之第一態樣之實施例(圖2A)中，該基本層編碼器編碼基於第一影像及第二影像產生之一第一經組合影像LeRo，然而，這一次，在由SBS區塊上之「eo」屬性所指示之SBS操作中自第一影像選擇具有一第一同位之樣本且自第二影像選擇具有一第二同位之樣本。

類似於參照圖1A所呈現之SBS操作，用於產生第一經組合影像LeRo之SBS操作亦包含具有一高於 fs之截止頻率之一低通濾波器。此低通濾波器由SBS區塊上之「F1」屬性表示。

在根據本發明之第一態樣之實施例中，該增強層編碼器編碼基於第一影像及第二影像產生之一第二經組合影像LoRe，然而，這一次，在如由SBS區塊上之「oe」屬性所指示之SBS操作中自第一影像選擇具有一第二同位之樣本且自第二影像選擇具有一第一同位之樣本。

類似於參照圖1A所呈現之SBS操作，用於產生第一經組合影像LeRo之SBS操作亦包含具有一高於 fs之截止頻率之一低通濾波器。

應注意，根據本發明之此第一態樣之編碼/解碼方法無法提供針對兩隻眼睛之全HD解析度。此因在產生LeRo及LoRe時應用之低通濾波器而不可能。

根據本發明之第一態樣之編碼器系統中之基本層係藉由編碼第一經組合影像LeRo而產生。編碼於該基本層中之影像資訊LeRo'隨後用於產生一基於像差之預測子LoRepredD。此基於像差之預測子LoRepredD隨後用來藉由使用該基於像差之預測子作為預測子輸入來編碼第二經組合影像LoRe產生該增強層LR-enh。如圖2A中所指示，諸如編碼於該基本層內之影像資訊LoRo'之另外預測子可用於更有效地編碼第二經組合影像LoRe。

本發明之第一態樣係基於在編碼器側處提供可達成對提供用於編碼第二經組合影像之額外資訊而不是編碼於該基本層內之影像資訊LoRo'之一預測子之重新建構之事實。

根據本發明之第一態樣，產生與編碼於該基本層中之影像資訊LeRo'相關聯之第一及第二基於區塊之位移向量LHvec及RHvec，以用於構造一第一及第二全解析度預測子Lpred及Rpred。第一及第二基於區塊之位移向量係使用存在於第一及第二影像L、R中之像差資訊產生且指示如何可使用該基本層中之影像資訊LoRo'來構造用於編碼該增強層之該基於像差之預測子。

較佳地，基於像差之預測子(LoRepredD)係以三階段方法產生，如圖2A及圖4中所示。首先，對第一影像L及第二影像R實施一初始基於區塊之估計，從而產生第一位移值Ldis及第二位移值Rdis，其中該等第一位移值Ldis指示如何將第二影像R朝第一影像L方向移位以使R與L相匹配。同樣地，該等第二位移值Rdis指示如何將第一影像L朝第二影像R方向移位以使L與R相匹配。(圖4)。

該等第一及第二位移值Ldis及Rdis依次分別用於產生一第一全解析度像差預測子LpredD及RpredD。為此目的，MEMC(L)及MEMC(R)區塊界定第一及第二位移值Ldis及Rdis。

為此目的，MEMC(L)/(R)區塊在半解析度下應用輸入(Le'或Ro')中之一者上之移位，例如，MEMC(L)在半解析度下應用一自Ro'朝另一輸入Le'方向之移位並交錯一個區塊之像素以使對於對應全解析度影像L之剩餘能量LpredD最小化。

這時，可作出兩種選擇；一第一選擇可係編碼位元串流中之Ldis及Rdis兩者及基於Ldis及Rdis編碼由MEMC區塊所促成之細化。這樣做的優點在於此向該編碼串流添加像差/深度資訊，該像差/深度資訊依次可用於可變基線處理，及/或可一般而言有助於後處理，且特定而言有助於例如字幕及/或合成。另一選擇係，可編碼該等向量而不以顯式方式編碼Ldis及Rdis。

一旦已以上述方式構造第一及第二全解析度預測子影像LpredD及RpredD，則使用一SBS操作來將第一與第二全解析度預測子影像組合成一第三全解析度預測子影像，從而選擇來自經低通濾波第一影像L之第二同位樣本及來自第二影像R之第一同位樣本，如由「oe」屬性所指示。如由「F2」屬性所指示，SBS操作涉及一低通濾波器，低通濾波器F2弱於低通濾波器F1且低通濾波器F2具有一高於 fs之截止頻率。

遺憾的是，使用上述方法產生之預測影像具有一基於區塊之性質且因此通常不太適合於替換編碼於該基本層中之影像資訊。

隨後，可藉由使用基於像差之預測子LoRepredD來編碼第二經組合影像LoRe從而產生該增強層LR-enh。

如將參照圖6A闡述，可使用例如為熟習視訊壓縮技術者所知之一MPEG-2、一AVC或一HVC編碼方案中之一者來編碼該基本層。依次，可選取該增強層編碼器以使用例如一AVC或HVC編碼方案中之一者。

同樣地，較佳地該多重視圖信號係其中將經組合影像編碼為經並排編碼影像或經上下編碼影像之一立體信號。

在一較佳實施例中，具有第一同位之在空間上共同定位之樣本對應於該等經組合影像之一第一半部且具有第二同位之在空間上共同定位之樣本對應於該等經組合影像之一第二半部。

在一較佳實施例中，該多重視圖信號係一視訊序列。

在一較佳實施例中，第一影像之第一經低通濾波版本與第一影像之第二經低通濾波版本係同一個影像。同樣地，第二影像之第一經低通濾波版本與第二影像之第二經低通濾波版本係同一個影像。

如圖2A內所指示，根據本發明之一方法進一步包括將該基本層、該增強層、該等第一基於區塊之位移向量及該等第二基於區塊之位移向量多工成一位元串流BS之一步驟。

另外，根據本發明之一方法亦可包括廣播、傳輸及/或儲存該位元串流BS之一步驟。

應瞭解，在該編碼器之一替代組態中，該基本層編碼器可編碼基於第一影像及第二影像產生之第一經組合影像，其中在可由一SBS區塊上之一「ee」屬性指示之一SBS操作中自第一影像選擇具有一第一同位之樣本且自第二影像選擇具有同一第一同位之樣本。

而且，該增強層編碼器可編碼基於第一影像及第二影像產生之第二經組合影像，其中在可由一SBS區塊上之一「oo」屬性指示之一SBS操作中自第一影像選擇具有一第二同位之樣本且自第二影像選擇亦具有同一第二同位之樣本。

最後，一旦已以上述方式構造第一及第二全解析度預測子影像LpredD及RpredD，則可使用可由一SBS區塊上之一「oo」屬性指示之其中自經低通濾波第一影像L選擇第二同位樣本而且自第二影像R選擇第二同位樣本之一SBS操作來將第一與第二全解析度預測子影像組合成一第三全解析度預測子影像。

所得位元串流BS因此包括對應於一多重視圖信號之兩個視圖之一經編碼影像對，即，一基本層LR-bas，該基本層包括使用一第一編碼器編碼之一經編碼第一經組合影像LeRo'。所得位元串流進一步包含一增強層LR-enh，該增強層包括使用一第二編碼器並使用基於該經解碼經編碼第一經組合影像LeRo'之一預測子輸入編碼之一經編碼第二經組合影像LoRe'。

該經編碼第一經組合影像LeRo'依次基於一第一經組合影像LeRo，第一經組合影像LeRo基於一原始影像對之一第一影像之一第一經低通濾波版本及該原始影像對之一第二影像之一第一經低通濾波版本，第一經組合影像LeRo包括具有來自第一影像之第一經低通濾波版本之一第一同位之樣本(該等樣本在空間上共同定位於該經編碼第一經組合影像中)及具有來自第二影像之第一經低通濾波版本之一第二同位之樣本(該等樣本在空間上共同定位於編碼第一經組合影像中)。

該經編碼第二經組合影像LoRe'依次基於一第二經組合影像LoRe，第二經組合影像LoRe基於該原始影像對之第一影像之一第二經低通濾波版本及該原始影像對之第二影像之一第二經低通濾波版本，第二經組合影像LoRe包括：具有來自第一影像之第二經低通濾波版本之第二同位之樣本(該等樣本在空間上共同定位於第二經組合影像中)及具有來自第二影像之第二經低通濾波版本之第一同位之樣本(該等樣本在空間上共同定位於第二經組合影像中)。

另外，該位元串流BS包括與編碼於該基本層中之影像資訊LoRo'相關聯之第一及第二基於區塊之位移向量，第一及第二基於區塊之位移向量係使用存在於第一及第二影像L、R中之像差資訊、編碼於該基本層中之影像資訊LoRo'以及第一及第二影像L、R而產生。

圖2B提供用於解碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之根據本發明之第一態樣之一解碼系統。

該解碼系統經配置以接收一位元串流BS，該位元串流BS依次可經解多工以便提供對該基本層LR-bas及該增強層LR-enh之存取。另外，該解多工器提供第一及第二基於區塊之位移向量LHvec、RHvec以用於產生一基於像差之預測子(LoRepredD)以用於解碼該增強層。

在一較佳實施例中，根據本發明之第一態樣之解碼器經配置以執行一解碼方法，該方法包括藉由解碼該基本層LR-bas產生一第一經解碼經組合影像LeRo'，產生一基於像差之預測子LoRepredD以用於結合第一經解碼經組合影像LeRo'使用第一及第二基於區塊之位移向量(LHvec、RHvec)來解碼一增強層。該方法進一步包括藉由使用基於像差之預測子LoRepredD來解碼該增強層LR-enh從而產生一第二經解碼經組合影像LoRe'。

接下來，可開始重新建構第一經重新建構影像L'及第二經重新建構影像R'。

重新建構第一經重新建構影像L'包括使用第一經解碼經組合影像LeRo'中之在空間上共同定位之樣本作為第一經重新建構影像L'中之具有一第一同位之樣本且使用第二經解碼經組合影像LoRe'中之在空間上共同定位之樣本作為第一經重新建構影像L'中之具有一第二同位之樣本，從而形成第一經重新建構影像L'。

重新建構第二經重新建構影像R'包括使用第一經解碼經組合影像LeRo'中之另外在空間上共同定位之樣本作為第二經重新建構影像R'中之具有一第二同位之樣本且使用第二經解碼經組合影像LoRe'中之另外在空間上共同定位之樣本作為第二經重新建構影像R'中之具有一第一同位之樣本，從而形成第二經重新建構影像R'。

如下文中參照本發明之第一態樣所述，或許可在編碼及解碼一影像對期間，利用在編碼期間兩個影像可用之事實；自左影像及右影像兩者導出，此可用於改進一預測子。

儘管如先前所指示可使用先前所呈現之編碼方法達成之最高品質接近全HD解析度之品質，但不可能實際上達成此品質。然而，使用類似技術，可實際上以一個額外編碼器為代價達成全HD編碼/解碼，及/或在使用另一個影像重新建構步驟按時間順序來實施之情況下。

本發明之一第二態樣旨在編碼一基本層且基於其產生兩個高品質全解析度預測子；即，用於編碼及(在稍後解碼期間)重新建構左影像之一個高品質全解析度預測子及用於編碼及(在稍後解碼期間)重新建構右影像之一個高品質全解析度預測子。此等預測子較佳係使用參照圖2A所述之基於像差之預測子而形成。

使用基於像差之預測子之優點更多地意謂藉由向經編碼串流添加像差資訊，由於該串流中包含像差資訊以用於解碼器側處之事實，將更容易執行可變基線處理。

此資訊可用於例如處理重新建構左及右影像以便調適各別影像之視圖。用於基於深度來處理立體影像對之原理例如揭示於同一申請人之題為「VERSATILE 3-D PICTURE FORMAT」之國際專利申請案WO/2010/010521(其據此以引用方式併入)及Zafer Arican等人之「Intermediate View Generation for Perceived Depth Adjustment of Stereo Video」中。三菱電氣研究實驗室[TR2009-052]，其據此以引用方式併入。

圖5展示經配置以實施根據本發明之一方法之一編碼器系統。圖5中之編碼器系統展示與如參照圖2A所述之編碼器系統之實質重疊。特定而言，基本層、第一經組合影像LeRo、第一基於像差之預測子LpredD、第二基於像差之預測子RpredD以及與編碼於該基本層中之影像資訊(LeRo')相關聯第一及第二基於區塊之位移向量(LHvec、RHvec)之產生係以一類似方式產生。

根據圖5，此等預測子隨後用於藉由使用第一基於像差之預測子LpredD來編碼第一影像L從而產生一第一增強層L-enh並藉由使用第二基於像差之預測子RpredD來編碼第二影像R從而產生一第二增強層R-enh。

更佳地，產生另外兩個全解析度預測子以便幫助對該增強層之編碼。為此目的，成2倍地按比例放大包括於該基本層中之影像資訊LoRo'之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子Lpred及一第二中間預測子Rpred。

如使用屬性「F2」所指示，該等按比例放大濾波器涉及在一低通濾波器之後進行增加取樣。應注意，該按比例放大器較佳在按比例放大時慮及輸入之同位。

使用根據第二態樣之方案之優點在於其可編碼並隨後解碼針對每一視圖之真正HD解析度。

應注意，用於產生增強層之預測子，儘管處於全解析度下，但由於對像差資訊之基於區塊之編碼，不適合直接觀看。

儘管圖5中未指示，但另外應注意，或許可使用通常作為編碼第一及第二基本層之副產物之第一經重新建構影像L'及第二經重新建構影像R'中之一者作為用於編碼另一者之另一個預測子。

另外，可使用第一經重新建構影像L'之一或多個延遲複本(即，先前經重新建構影像)作為用於編碼第二增強層之另外預測子。同樣地，此外可使用第二經重新建構影像R'之一或多個延遲複本作為用於編碼第一增強層之另外預測子。

另外應注意，例如可使用為熟習此項技術者所知之一MPEG-2編碼方案、一AVC編碼方案或一HVC編碼方案來編碼該基本層。同樣地，例如可使用一AVC編碼方案或一HVC編碼方案來編碼該等各別第一及第二增強層。

通常，該多重視圖信號係一立體信號。且更通常，將該等經組合影像編碼為經並排編碼影像或經上下編碼影像。

另外應注意，較佳地，具有第一同位之在空間上共同定位之樣本對應於該等經組合影像之一第一半部且具有第二同位之在空間上共同定位之樣本對應於該等經組合影像之一第二半部。

通常，該多重視圖信號係一視訊序列。

較佳地，使用由圖5中之SBS區塊之F1屬性所指示之「F1」濾波器對第一影像及/或第二影像進行低通濾波包括使用所組合之一或多個濾波器來進行濾波，所組合之該一或多個濾波器具有一高於 fs之截止頻率。

根據第二態樣之一編碼方法較佳包括將該基本層、該第一增強層、該第二增強層、該等第一基於區塊之位移向量及該等第二基於區塊之位移向量多工成一位元串流BS之一步驟。

視情況，該方法進一步包括廣播該位元串流BS之一步驟。

根據本發明之第二態樣之一位元串流BS包括對應於一多重視圖信號之兩個視圖之一經編碼影像對。該位元串流因此包含一基本層LR-bas，該基本層包括使用一第一編碼器編碼之一經編碼第一經組合影像LeRo'。

該位元串流進一步包括兩個增強層；一第一增強層L-enh，該第一增強層包括使用一第一基於像差之預測子LpredD及一選用之第一中間預測子Lpred編碼之一第一經編碼影像L'。其中第一中間預測子LPred係基於按比例放大包括於該基本層中之影像資訊LoRo'之一第一空間半部且第一基於像差之預測子LpredD係基於包含於該基本層中之影像資訊LoRo'以及使用存在於第一及第二影像L、R之像差資訊、編碼於該基本層中之影像資訊LoRo'及第一影像L而產生之第一基於區塊之位移向量。

該位元串流進一步包括一第二增強層R-enh，該第二增強層包括使用一第二基於像差之預測子RpredD及一選用之第二中間預測子Rpred編碼之一第二編碼影像R'。其中第二中間預測子Rpred基於按比例放大包括於該基本層中之影像資訊LoRo'之一第二空間半部且第二基於像差之預測子RpredD基於包括於該基本層中之影像資訊LoRo'以及使用存在於第一及第二影像L、R中之像差資訊、編碼於該基本層中之影像資訊LoRo'及第二影像R而產生之第二基於區塊之位移向量。

而且，為了重新建構LpredD及RpredD預測子，該位元串流進一步包含該等第一基於區塊之位移向量及該等第二基於區塊之位移向量。

由於存在根據第二態樣之編碼與如參照圖2A所述之編碼器之間的實質重疊，該解碼過程亦展示實質相似性。鑒於此相似性，未完全繪製出對應於圖5之編碼器系統之解碼器。然而，第一及第二基於像差之預測子LpredD及RpredD之產生與參照圖2B所述實質上一致。

然而，出於完整性，經配置以實施根據本發明之第二態樣之解碼方法之一解碼系統包括藉由解碼一基本層來產生一第一經解碼經組合影像LeRo'，視情況，該方法亦可包含按比例放大包括於該基本層中之影像資訊LoRo'之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子Lpred及一第二中間預測子Rpred。

該方法進一步包括產生用於分別編碼一第一及一第二增強層Lenh、Renh之第一及第二基於像差之預測子LpredD、RpredD以及與編碼於該基本層中之影像資訊LoRo'相關聯之分別相關聯第一及第二基於區塊之位移向量LHvec、RHvec，第一及第二基於區塊之位移向量係使用存在於第一及第二影像L、R中之像差資訊、編碼於該基本層中之影像資訊LoRo'以及該等各別第一及第二影像L、R而產生。

該方法進一步包括使用第一基於像差之預測子LpredD及視情況使用第一中間預測子Lpred來解碼一第一增強層L-enh，從而形成一第一重新建構圖像L'。

該方法進一步包括使用第二基於像差之預測子RpredD及視情況第二中間預測子Rpred來解碼一第二增強層R-enh，從而形成一第二經重新建構圖像R'。

較佳地，該經解碼多重視圖信號係一立體信號。更佳地，第一經解碼經組合影像LeRo'係一經並排編碼影像或第一經解碼經組合影像LeRo'係一經上下編碼影像。

視情況，該解碼方法進一步包括接收一所廣播之位元串流BS，其中更視情況該方法進一步包括解多工該所接收之位元串流以便獲得該基本層、該第一增強層、該第二增強層、該等第一基於區塊之位移向量LHvec及該等第二基於區塊之位移向量RHvec。

圖9展示提供對本發明之態樣及變化形式之選定性質之一概述之一表。

本發明之另外實施例

本發明之另外實施例可參照以下條款來闡述。

條款101。一種編碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之方法，該方法包括：-　基於該影像對之一第一影像之一第一經低通濾波版本及該影像對之第二影像之一第一經低通濾波版本產生一第一經組合影像(LeRo)，該第一經組合影像(LeRo)包括：-　具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中及-　具有來自該第二影像之該第一經低通濾波版本之一第二同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中，-　基於該影像對之該第一影像之一第二經低通濾波版本及該影像對之該第二影像之一第二經低通濾波版本產生一第二經組合影像(LoRe)，該第二經組合影像(LoRe)包括：-　具有來自該第一影像之該第二經低通濾波版本之第二同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中及-　具有來自該第二影像之該第二經低通濾波版本之第一同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中，-　藉由編碼該第一經組合影像(LeRo)來產生一基本層(LR-bas)，-　產生用於編碼該增強層之一基於像差之預測子(LoRepredD)以及與編碼於該基本層中之影像資訊(LeRo')相關聯之第一及第二基於區塊之位移向量(LHvec、RHvec)，該等第一及第二基於區塊之位移向量係使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之影像資訊(LeRo')以及該等第一及第二影像(L、R)而產生，-　藉由使用該基於像差之預測子來編碼該第二經組合影像(LoRe)從而產生一增強層(LR-enh)。

條款102。如條款101之方法，其中產生該基於像差之預測子(LoRepredD)包括產生：-　一第一全解析度像差預測子(LpredD)及該等第一基於區塊之位移向量(LHvec)，其基於-　編碼於該基本層中之該影像資訊(LeRo')，-　該第一影像(L)及-　自該等第一及第二影像導出之像差資訊及-　一第二全解析度像差預測子(RpredD)及該等第二基於區塊之位移向量(RHvec)，其基於-　編碼於該基本層中之該影像資訊(LeRo')，-　該第二影像(R)及-　自該等第一及第二影像導出之像差資訊。

條款103。如條款102之方法，其中產生該等基於區塊之位移向量包括：-　使用該等第一及第二影像(L、R)來產生一初始像差估計(Ldis、Rdis)及-　使用該初始像差估計(Ldis、Rdis)產生與該等各別全解析度像差預測子(LpredD、RpredD)相關聯之基於區塊之位移向量(LHvec、RHvec)。

條款104。如條款102至103中任一款之方法，其中產生該基於像差之預測子(LoRepredD)進一步包括：-　將該第一全解析度像差預測子(LpredD)與該第二基於全解析度像差之預測子(RpredD)組合成該基於像差之預測子(LoRepredD)，該基於像差之預測子(LoRepredD)包括：-　具有來自該第一影像之該第一全解析度像差預測子之第二同位之樣本，該等樣本在空間上共同定位於該基於像差之預測子(LoRepredD)中及-　具有來自該第二影像之該第二全解析度像差預測子之第一同位之樣本，該等樣本在空間上共同定位於該基於像差之預測子(LoRepredD)中。

條款105。如條款101至104中任一款之方法，其中使用如下中之一者來編碼該基本層：-　一MPEG-2編碼-　一AVC編碼及-　一HVC編碼。

條款106。如條款101至105中任一款之方法，其中使用如下中之一者來編碼該增強層：-　一AVC編碼及-　一HVC編碼。

條款107。如條款101至106中之任一款之方法，其中該多重視圖信號係一立體信號。

條款108。如條款108之方法，其中將該等經組合影像編碼為如下中之一者：-　經並排編碼影像或-　經上下編碼影像。

條款109。如條款101至108中任一款之方法，其中具有該第一同位之該等在空間上共同定位之樣本對應於該等經組合影像之一第一半部且其中具有該第二同位之該等在空間上共同定位之樣本對應於該等經組合影像之一第二半部。

條款110。如條款101至109中任一款之方法，其中該多重視圖信號係一視訊序列。

條款111。如條款101至110中之任一款之方法，其中該第一影像之該第一經低通濾波版本與該第一影像之該第二經低通濾波版本係同一個影像。

條款112。如條款101至111中任一款之方法，其中該第二影像之該第一經低通濾波版本與該第二影像之該第二經低通濾波版本係同一個影像。

條款113。如條款101至112中任一款之方法，其中對該第一影像及/或該第二影像進行低通濾波包括使用所組合之一或多個濾波器來進行濾波，所組合之該一或多個濾波器具有一高於 fs之截止頻率。

條款114。如條款101至113中任一款之方法，其進一步包括將該基本層、該增強層、該等第一基於區塊之位移向量及該等第二基於區塊之位移向量多工成一位元串流(BS)之一步驟。

條款115。如條款101至114中任一款之方法，其進一步包括廣播該位元串流(BS)之一步驟。

條款120。一種包括對應於一多重視圖信號之兩個視圖之一經編碼影像對之位元串流(BS)：-　一基本層(LR-bas)，該基本層包括使用一第一編碼器編碼之一經編碼第一經組合影像(LeRo')，-　一增強層(LR-enh)，該增強層包括使用一第二編碼器並使用基於該經解碼經編碼第一經組合影像(LeRo')之一預測子輸入編碼之一經編碼第二經組合影像(LoRe')，其中-　該經編碼第一經組合影像(LeRo')基於一第一經組合影像(LeRo)，該第一經組合影像(LeRo)基於一原始影像對之一第一影像之一第一經低通濾波版本及該原始影像對之一第二影像之一第一經低通濾波版本，該第一經組合影像(LeRo)包括：-　具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該經編碼第一經組合影像中及-　具有來自該第二影像之該第一經低通濾波版本之一第二同位之樣本，該等樣本在空間上共同定位於該經編碼第一經組合影像中，-　該經編碼第二經組合影像(LoRe')基於一第二經組合影像(LoRe)，該第二經組合影像(LoRe)基於該原始影像對之該第一影像之一第二經低通濾波版本及該原始影像對之該第二影像之一第二經低通濾波版本，該第二經組合影像(LoRe)包括：-　具有來自該第一影像之該第二經低通濾波版本之第二同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中及-　具有來自該第二影像之該第二經低通濾波版本之第一同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中，-　第一及第二基於區塊之位移向量，其與編碼於該基本層中之影像資訊(LeRo')相關聯，該等第一及第二基於區塊之位移向量係使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之影像資訊(LeRo')以及該等第一及第二影像(L、R)而產生。

條款130。一種解碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之方法，該方法包括：-　藉由解碼一基本層來產生一第一經解碼經組合影像(LeRo')，-　產生一基於像差之預測子(LoRepredD)以用於結合該第一經解碼經組合影像(LeRo')使用該等第一及第二基於區塊之位移向量(LHvec、RHvec)來解碼一增強層，-　藉由使用該基於像差之預測子(LoRepredD)來解碼一增強層(LR-enh)從而產生一第二經解碼經組合影像(LoRe')，-　藉由下述方式來重新建構一第一經重新建構影像(L')-　使用該第一經解碼經組合影像(LeRo')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第一同位之樣本且-　使用該第二經解碼經組合影像(LoRe')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第二同位之樣本，從而形成該第一經重新建構影像(L')，及-　藉由下述方式來重新建構一第二經重新建構影像(R')-使用該第一經解碼經組合影像(LeRo')中之另外在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第二同位之樣本且-　使用該第二經解碼經組合影像(LoRe')中之另外在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第一同位之樣本，從而形成該第二經重新建構影像。

條款131。如條款130之方法，其中：-　該第一經重新建構影像(L')中之具有該第一同位之該等樣本係由該第一經解碼經組合影像(LeRo')之一第一空間半部形成且-　該第一經重新建構影像(L')中之具有該第二同位之該等樣本係由該第二經解碼經組合影像(LoRe')之一第一空間半部形成。

條款132。如條款131之方法，其中：-　該第二經重新建構影像(R')中之具有該第二同位之該等樣本係由該第一經解碼經組合影像(LeRo')之一第二空間半部形成且-　該第二經重新建構影像(R')中之具有該第一同位之該等樣本係由該第二經解碼經組合影像(LoRe')之一第二空間半部形成。

條款133。如條款130至132中任一款之方法，其中該多重視圖信號係一立體信號。

條款134。如條款133之方法，其中：-　該等第一及第二經解碼經組合影像(LeRo'、LoRe')係經並排編碼影像且-　該等第一及第二經解碼經組合影像(LeRo'、LoRe')係經上下編碼影像。

條款135。如條款130至134中任一款之方法，其進一步包括接收一所廣播之位元串流(BS)。

條款136。如條款130至135中任一款之方法，其進一步包括解多工一所接收之位元串流以便獲得該基本層、該增強層、該等第一基於區塊之位移向量(LHvec)以及該等第二基於區塊之位移向量(RHvec)。

條款150。一種用於編碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之編碼器，該方法包括：-　一第一產生器，其用於基於該影像對之一第一影像之一第一經低通濾波版本及該影像對之第二影像之一第一經低通濾波版本產生一第一經組合影像(LeRo)，該第一經組合影像(LeRo)包括：-　具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中及-　具有來自該第二影像之該第一經低通濾波版本之一第二同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中，-　一第二產生器，其用於基於該影像對之該第一影像之一第二經低通濾波版本及該影像對之該第二影像之一第二經低通濾波版本產生一第二經組合影像(LoRe)，該第二經組合影像(LoRe)包括：-　具有來自該第一影像之該第二經低通濾波版本之第二同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中及-　具有來自該第二影像之該第二經低通濾波版本之第一同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中，-　一第一編碼器(Enc1)，其用於藉由編碼該第一經組合影像(LeRo)來產生一基本層(LR-bas)，-　一第三產生器，其用於產生用於編碼該增強層之一基於像差之預測子(LoRepredD)以及與編碼於該基本層中之影像資訊(LeRo')相關聯之第一及第二基於區塊之位移向量(LHvec、RHvec)，該等第一及第二基於區塊之位移向量係使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之影像資訊(LeRo')以及該等第一及第二影像(L、R)而產生，-　一第二編碼器(Enc2)，其藉由使用該基於像差之預測子來編碼該第二經組合影像(LoRe)從而產生一增強層(LR-enh)。

條款151。一種用於解碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之解碼器，該方法包括：-　一第一解碼器，其用於藉由解碼一基本層來產生一第一經解碼經組合影像(LeRo')，-　一第一產生器，其用於產生一基於像差之預測子(LoRepredD)以用於結合該第一經解碼經組合影像(LeRo')使用該等第一及第二基於區塊之位移向量(LHvec、RHvec)來解碼一增強層，-　一第二解碼器，其用於藉由使用該基於像差之預測子(LoRepredD)來解碼一增強層(LR-enh)從而產生一第二經解碼經組合影像(LoRe')，-　一第一重新建構器，其用於藉由下述方式來重新建構一第一經重新建構影像(L')-　使用該第一經解碼經組合影像(LeRo')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第一同位之樣本且-　使用該第二經解碼經組合影像(LoRe')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第二同位之樣本，從而形成該第一經重新建構影像(L')，及-　一第二經重新建構器，其用於藉由下述方式來重新建構一第二經重新建構影像(R')-　使用該第一經解碼經組合影像(LeRo')中之另外在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第二同位之樣本且-　使用該第二經解碼經組合影像(LoRe')中之另外在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第一同位之樣本，從而形成該第二經重新建構影像。

條款160。一種位於一電腦可讀媒體上之電腦程式產品，該產品包括用於執行如條款101至115或130至136之方法中至少一者之指令。

條款161。一種用於執行如條款101至115或130至136之至少一或多種方法之軟體工具，其中該軟體工具包括用於執行該至少一或多種方法之指令。

條款201。一種編碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之方法，該方法包括：-　基於該影像對之一第一影像之一第一經低通濾波版本及該影像對之第二影像之一第一經低通濾波版本產生一第一經組合影像(LeRo)，該第一經組合影像(LeRo)包括：-　具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中及-　具有來自該第二影像之該第一經低通濾波版本之一第二同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中，-　藉由編碼該第一經組合影像(LeRo)來產生一基本層(LR-bas)，-　按比例放大包括於該基本層中之該影像資訊(LeRo')之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子(Lpred)及一第二中間預測子(Rpred)，-　產生用於分別編碼一第一及一第二增強層(Lenh、Renh)之一第一及第二基於像差之預測子(LpredD、RpredD)以及與編碼於該基本層中之影像資訊(LeRo')相關聯之分別相關聯第一及第二基於區塊之位移向量(LHvec、RHvec)，該等第一及第二基於區塊之位移向量係使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之影像資訊(LeRo')以及該等各別第一及第二影像(L、R)而產生，-　藉由使用該第一基於像差之預測子(LpredD)及該第一中間預測子(Lpred)來編碼該第一影像(L)從而產生一第一增強層(L-enh)，-　藉由使用該第一基於像差之預測子(RpredD)及該第一中間預測子(Rpred)來編碼該第二影像(R)從而產生一第二增強層(R-enh)。

條款202。如條款201之方法，其中-　產生該第一基於像差之預測子(LpredD)包括基於如下產生第一基於區塊之位移向量(LHvec)-　編碼於該基本層中之該影像資訊(LeRo')，-　該第一影像(L)及-　自該等第一及第二影像導出之像差資訊及-　產生該第二基於像差之預測子(RpredD)包括基於如下產生第一基於區塊之位移向量(RHvec)-　編碼於該基本層中之該影像資訊(LeRo')，-　該第一影像(R)及-　自該等第一及第二影像導出之像差資訊。

條款203。如條款202之方法，其中產生該等基於區塊之位移向量(LHvec、RHvec)包括：-　使用該等第一及第二影像(L、R)來產生一初始像差估計(Ldis、Rdis)及-　使用該初始像差估計(Ldis、Rdis)產生與該等各別全解析度像差預測子(LpredD、RpredD)相關聯之基於區塊之位移向量(LHvec、RHvec)。

條款204。如條款201至203中任一條款之方法，其中使用如下中之一者來編碼該基本層：-　一MPEG-2編碼-　一AVC編碼及-　一HVC編碼。

條款205。如條款201至204中任一款之方法，其中使用如下中之一者來編碼該等各別第一及第二增強層：-　一AVC編碼及-　一HVC編碼。

條款206。如條款201至205中任一款之方法，其中該多重視圖信號係一立體信號。

條款207。如條款206之方法，其中將該等經組合影像編碼為如下中之一者：-　經並排編碼影像或-　經上下編碼影像。

條款208。如條款201至207中任一款之方法，其中具有該第一同位之該等在空間上共同定位之樣本對應於該等經組合影像之一第一半部且其中具有該第二同位之該等在空間上共同定位之樣本對應於該等經組合影像之一第二半部。

條款209。如條款201至208中任一款之方法，其中該多重視圖信號係一視訊序列。

條款210。如條款201至209中任一款之方法，其中對該第一及/或該第二影像進行低通濾波包括使用所組合之一或多個濾波器來進行濾波，所組合之該一或多個濾波器具有一高於 fs之截止頻率。

條款211。如條款201至210中任一款之方法，其進一步包括將該基本層、該第一增強層、該第二增強層、該等第一基於區塊之位移向量及該等第二基於區塊之位移向量多工成一位元串流(BS)之一步驟。

條款212。如條款201至211中任一款之方法，其進一步包括廣播該位元串流(BS)之一步驟。

條款213。如條款201至212中任一款之方法，其中該按比例放大包括在一低通濾波器之後進行增加取樣。

條款214。如條款213之方法，其中用於該按比例放大之該低通濾波器具有一高於fs之截止頻率。

條款220。一種包括對應於一多重視圖信號之兩個視圖之一經編碼影像對之位元串流(BS)：-　一基本層(LR-bas)，該基本層包括使用一第一編碼器編碼之一經編碼第一經組合影像(LeRo')，-　一第一增強層(L-enh)，該第一增強層包括使用一第一基於像差之預測子(LpredD)及一第一中間預測子(Lpred)編碼之一第一經編碼影像(L')，該第一中間預測子(LPred)基於按比例放大包括於該基本層中之影像資訊(LeRo')之一第一空間半部且該第一基於像差之預測子(LpredD)基於包括於該基本層中之影像資訊(LeRo')以及使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之影像資訊(LeRo')及該第一影像(L)而產生之第一基於區塊之位移向量，-　該等第一基於區塊之位移向量，-　一第二增強層(R-enh)，該第二增強層包括使用一第二基於像差之預測子(RpredD)及一第二中間預測子(Rpred)編碼之一第二編碼影像(R')，該第二中間預測子(LPred)基於按比例放大包括於該基本層中之影像資訊(LeRo')之一第二空間半部且該第一基於像差之預測子(LpredD)基於包括於該基本層中之影像資訊(LeRo')以及使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之影像資訊(LeRo')及該第二影像(L)而產生之第二基於區塊之位移向量及-　該等第二基於區塊之位移向量。

條款230。一種解碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之方法，該方法包括：-　藉由解碼一基本層來產生一第一經解碼經組合影像(LeRo')，-　按比例放大包括於該基本層中之該影像資訊(LeRo')之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子(Lpred)及一第二中間預測子(Rpred)，-　產生用於分別編碼一第一及一第二增強層(Lenh、Renh)之一第一及第二基於像差之預測子(LpredD、RpredD)以及與編碼於該基本層中之影像資訊(LeRo')相關聯之分別相關聯第一及第二基於區塊之位移向量(LHvec、RHvec)，該等第一及第二基於區塊之位移向量係使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之影像資訊(LeRo')以及該等各別第一及第二影像(L、R)而產生，-　使用該第一基於像差之預測子(LpredD)及該第一中間預測子(Lpred)來解碼一第一增強層(L-enh)，從而形成一重新建構圖像(L')，-　使用該第二基於像差之預測子(RpredD)及該第二中間預測子(Rpred)來解碼一第二增強層(R-enh)，從而形成一第二經重新建構圖像(R')。

條款231。如條款230之方法，其中該多重視圖信號係一立體信號。

條款232。如條款231之方法，其中：-　該第一經解碼經組合影像(LeRo')係一經並排編碼影像或-　該第一經解碼經組合影像(LeRo')係一經上下編碼影像。

條款233。如條款230至232中任一款之方法，其進一步包括接收一所廣播之位元串流(BS)。

條款234。如條款230至233中任一款之方法，其進一步包括解多工一所接收之位元串流以便獲得該基本層、該第一增強層、該第二增強層、該等第一基於區塊之位移向量(LHvec)及該等第二基於區塊之位移向量(RHvec)。

條款250。一種用於編碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之編碼器，該方法包括：-　一第一產生器，其用於基於該影像對之一第一影像之一第一經低通濾波版本及該影像對之第二影像之一第一經低通濾波版本產生一第一經組合影像(LeRo)，該第一經組合影像(LeRo)包括：-　具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中及-　具有來自該第二影像之該第一經低通濾波版本之一第二同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中，-　一第一編碼器，其用於藉由編碼該第一經組合影像(LeRo)來產生一基本層(LR-bas)，-　一按比例放大器，其用於按比例放大包括於該基本層中之該影像資訊(LeRo')之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子(Lpred)及一第二中間預測子(Rpred)，-　一第二產生器，其產生用於分別編碼一第一及一第二增強層(Lenh、Renh)之一第一及第二基於像差之預測子(LpredD、RpredD)以及與編碼於該基本層中之影像資訊(LeRo')相關聯之分別相關聯第一及第二基於區塊之位移向量(LHvec、RHvec)，該等第一及第二基於區塊之位移向量係使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之影像資訊(LeRo')以及該等各別第一及第二影像(L、R)而產生，-　一第二編碼器，其藉由使用該第一基於像差之預測子(LpredD)及該第一中間預測子(Lpred)來編碼該第一影像(L)從而產生一第一增強層(L-enh)，-　一第三編碼器，其用於藉由使用該第一基於像差之預測子(RpredD)及該第一中間預測子(Rpred)來編碼該第二影像(R)從而產生一第二增強層(R-enh)。

條款251。一種用於解碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之解碼器，該方法包括：-　一第一解碼器，其用於藉由解碼一基本層來產生一第一經解碼經組合影像(LeRo')，-　一按比例放大器，其用於按比例放大包括於該基本層中之該影像資訊(LeRo')之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子(Lpred)及一第二中間預測子(Rpred)，-　一第一產生器，其用於產生用以分別編碼一第一及一第二增強層(Lenh、Renh)之一第一及第二基於像差之預測子(LpredD、RpredD)以及與編碼於該基本層中之影像資訊(LeRo')相關聯之分別相關聯第一及第二基於區塊之位移向量(LHvec、RHvec)，該等第一及第二基於區塊之位移向量係使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之影像資訊(LeRo')以及該等各別第一及第二影像(L、R)而產生，-　一第二解碼器，其用於使用該第一基於像差之預測子(LpredD)及該第一中間預測子(Lpred)來解碼一第一增強層(L-enh)，從而形成一第一重新建構圖像(L')，-　一第三解碼器，其用於使用該第一基於像差之預測子(RpredD)及該第一中間預測子(Rpred)來解碼一第二增強層(R-enh)，從而形成一第二經重新建構圖像(R')。

條款260。一種位於一電腦可讀媒體上之電腦程式產品，該產品包括用於執行如條款201至214或230至234之方法中至少一者之指令。

條款261。一種用於執行如條款201至214或230至234之至少一或多種方法之軟體工具，其中該軟體工具包括用於執行該至少一或多種方法之指令。

本發明之另外變化形式

以下，闡述本發明之另外變化形式。

變化形式1

根據本發明之一第一變化形式，提供一種與已知先前技術相比提供關於處理及記憶體量之節省之編碼/解碼解決方案。而且由於該編碼與MVC之編碼很相似，該解決方案與已知先前技術相比亦提供規模效應。該方案提供與已知先前技術一致之針對每一隻眼睛之全HD之一近似值。

此方案解決問題B。

圖6A圖解說明根據本發明之一編碼器系統。該編碼系統包括用於分別編碼該基本層LR-bas及該增強層LR-enh之兩個編碼裝置Enc1及Enc2。

該基本層編碼器提供一圖框相容經組合影像，該影像之基本層結合該增強層允許對其中影像品質接近全HD之經編碼立體影像進行得到改進之重新建構。

在這方面，應注意，第一編碼器Enc1不需要具有一預測子輸入，因為該基本層可僅基於一第一經組合影像LeRe編碼。

然而，應注意，為了達成硬體再利用及或為了簡化編碼架構，這兩個編碼器可基於作為例如對應於一標準MVC編碼器之圖3中所示之編碼器/解碼器之同一個編碼器架構，在此情況下具有三個可能之外部預測子輸入。

應注意，藉由應用根據第一變化形式之本發明，該編碼器有效地產生兩個圖框相容立體信號：LeRe及LoRo。此處，經解碼基本信號LeRe'直接用作該增強層之一預測子。以此方式，與已知先前技術相比節省大量處理及記憶體。

由於該編碼器可使用展示與MVC之很大相似性之硬體來實施，該解決方案而且具有規模效應之優點。

儘管此方案無法再現真正HD解析度，但影像品質可與已知先前技術之影像品質媲美。

圖6A展示編碼對應於一多重視圖信號之兩個視圖之一影像對L、R之一方法。

該方法包括產生基於該影像對之一第一影像之一第一經低通濾波版本及該影像對之第二影像之一第一經低通濾波版本之一第一經組合影像LeRe之一步驟10，第一經組合影像LeRe包括具有來自第一影像之第一經低通濾波版本之一第一同位之樣本(該等樣本在空間上共同定位於第一經組合影像中)及具有來自第二影像之第一經低通濾波版本之一第一同位之樣本(該等樣本在空間上共同定位於第一經組合影像中)。

該方法進一步包括基於該影像對之第一影像之一第二經低通濾波版本及該影像對之第二影像之一第二經低通濾波版本產生一第二經組合影像LoRo之一步驟11，第二經組合影像LoRo包括具有來自第一影像之第二經低通濾波版本之第二同位之樣本(該等樣本在空間上共同定位於第二經組合影像中)及具有來自第二影像之第二經低通濾波版本之第二同位之樣本(該等樣本在空間上共同定位於第二經組合影像中)。

該方法亦包括藉由編碼第一經組合影像LeRe來產生一基本層LR-bas並隨後藉由使用編碼於該基本層中之資訊作為該編碼中之一預測子輸入來編碼第二經組合影像LoRo從而產生一增強層LR-enh之一步驟。

如圖6A中所示，編碼於該基本層中之影像資訊LeRe'用作用於產生該增強層之預測子輸入。重要的是，實現LeRe'在已解碼該基本層資訊之後將亦在解碼器側上可用。因而，可將包括於該經編碼基本層中之資訊直接用作該增強層之一預測子，但將如下文所示，亦可在作用一預測子之前進一步處理該資訊。

由於目前各種編碼標準可用，或許亦可創建一混合編碼器。舉例而言，可使用例如為熟習視訊壓縮技術者所知之一MPEG-2、一AVC或一HVC編碼方案中之一者來編碼該基本層。依次，可選取該增強層編碼器以使用例如一AVC或HVC編碼方案中之一者。

如由上文將清楚，較佳地該多重視圖信號係一立體信號且更佳地該等經組合影像作為經並排編碼影像或經上下編碼影像。這樣，該變化形式提供與現有圖框相容格式之向後相容性。

當對於該等經組合影像使用一並排或上下編碼時，則具有第一同位之在空間上共同定位之樣本對應於該等經組合影像之一第一半部且其中具有第二同位之在空間上共同定位之樣本對應於該等經組合影像之一第二半部。

儘管本發明變化形式可應用於靜止影像，但其較佳用於視訊序列。

如圖6A中所示之第二經組合影像LoRo(即，參考符號11)之產生對應於如上文中參照圖1A所述之一經組合影像之產生。

儘管如上文中所述，可獨立地實施第一及第二經組合影像LeRe及LoRo之產生，但亦可組合此等操作，因為這兩個操作涉及對一低通濾波器F1之應用。如圖1A中所示，此濾波器F1可對於這兩個影像相同，因而組合區塊10與11可產生具有一更小設計佔用面積之一設計。

如圖1A中所指示之低通濾波器F1可包括具有一高於 fs之截止頻率之所組合之一或多個濾波器。因此，該濾波器將允許出現一定混迭，然而其在組合該基本層與該增強層時的確達成一更高品質影像。

如圖6A中所指示，較佳地該編碼方法亦包括將該基本層及該增強層多工成一位元串流(BS)之一步驟。最後，該編碼方法亦可包括廣播、儲存及/或傳輸該位元串流(BS)之一步驟。

所得位元串流BS包括對應於一多重視圖信號之兩個視圖之一經編碼影像對。該位元串流包括一基本層LR-bas，該基本層包括使用一第一編碼器編碼之一經編碼第一經組合影像LeRe'。該位元串流進一步包括一增強層LR-enh，該增強層包括使用一第二編碼器並使用基於該經解碼經編碼第一經組合影像LeRe'之一預測子輸入編碼之一經編碼第二經組合影像LoRo'。

該經編碼第一經組合影像LeRe'依次基於一第一經組合影像LeRe，第一經組合影像LeRe基於一原始影像對之一第一影像之一第一經低通濾波版本及該原始影像對之一第二影像之一第一經低通濾波版本。

第一經組合影像LeRe依次包括具有來自第一影像之第一經低通濾波版本之一第一同位之樣本(該等樣本在空間上共同定位於該經編碼第一經組合影像中)及具有來自第二影像之第一經低通濾波版本之一第一同位之樣本(該等樣本在空間上共同定位於該經編碼第一經組合影像中)。

該經編碼第二經組合影像LoRo'基於一第二經組合影像LoRo，第二經組合影像LoRo基於該原始影像對之第一影像之一第二經低通濾波版本及該原始影像對之第二影像之一第二經低通濾波版本。

第二經組合影像LoRo依次包括具有來自第一影像之第二經低通濾波版本之第二同位之樣本(該等樣本在空間上共同定位於第二經組合影像中)及具有來自第二影像之第二經低通濾波版本之第二同位之樣本(該等樣本在空間上共同定位於第二經組合影像中)。

圖6B展示根據本發明變化形式之一解碼器，該解碼器經配置以執行解碼對應於一多重視圖信號之兩個視圖之一影像對之一方法。

所展示之解碼器包含用於解多工一所接收之位元串流(BS)之一解多工器，此位元串流可能已自一儲存媒體或一有線或無線網路接收。該解多工器解多工該所接收之位元串流以便獲得一基本層LR-bas及該增強層LE-enh。

為了分別重新建構一第一經重新建構影像L'及一第二經重新建構影像R'，該解碼器實施解碼對應於一多重視圖信號之兩個視圖之一影像對之一方法。為此目的，藉由解碼該基本層來產生一第一經解碼經組合影像LeRe'。隨後，藉由使用第一經解碼影像作為一預測子來解碼一增強層從而產生一第二經解碼經組合影像LoRo'。

如同上文中所述，可選取該解碼系統以便利用同一解碼演算法或一不同解碼演算法，只要其鏡像編碼器側。

接下來，重新建構第一及第二經重新建構影像。在第一經重新建構影像L'之情況下，此重新建構涉及使用第一經解碼經組合影像LeRe'中之在空間上共同定位之樣本作為第一經重新建構影像L'中之具有一第一同位之樣本且使用第二經解碼經組合影像LoRo'中之在空間上共同定位之樣本作為第一經重新建構影像L'中之具有一第二同位之樣本，從而形成第一經重新建構影像L'。

類似地，重新建構第二經重新建構影像R'涉及使用第一經解碼經組合影像LeRe'中之另外在空間上共同定位之樣本作為第二經重新建構影像R'中之具有一第一同位之樣本且使用第二經解碼經組合影像LoRe'中之另外在空間上共同定位之樣本作為第二經重新建構影像R'中之具有一第二同位之樣本，從而形成第二經重新建構影像。

上述過程對應於如先前參照圖1B所述之影像重新建構過程。

在一較佳實施例中，第一經重新建構影像L'中之具有第一同位之樣本係由第一經解碼經組合影像LeRe'之一第一空間半部形成且第一經重新建構影像L'中之具有第二同位之樣本係由第二經解碼經組合影像LoRo'之一第二空間半部形成。同樣地，第二經重新建構影像R'中之具有第一同位之樣本係由第一經解碼經組合影像LeRe'之一第二空間半部形成且第二經重新建構影像R'中之具有第二同位之樣本係由第二經解碼經組合影像LoRo'之一第二空間半部形成。

更佳地，第一及第二經解碼經組合影像LeRe'、LoRo係經並排編碼影像或第一及第二經解碼經組合影像LeRe'、LoRo'係經上下編碼影像。

變化形式2

根據本發明之一第二變化形式，提供一種與已知先前技術相比提供關於處理及記憶體量之節省之一編碼/解碼解決方案。而且由於該編碼與MVC之編碼很相似，該解決方案與已知先前技術相比亦提供規模效應。該方案提供與已知先前技術一致的針對每一隻眼睛之全HD之一近似值。而且該方案使得能夠產生一改進型圖框相容影像(參見下面的詳細說明)。

此方案解決問題B、D及F。

如上文中參照圖7A所指示，可編碼一增強層並使用編碼於該基本層中之影像資訊作為該增強層之預測子。然而，可進一步編碼可自該影像對之原始左及右影像導出之資訊及編碼於該基本層中之影像資訊，其限制條件為亦使此額外資訊在解碼器側處可用。

然而，為了保持編碼效率，應使可包含之資料量保持在最低限度。根據該變化形式之另一個態樣，額外資訊可以濾波器係數之形式提供於該位元串流中以用於基於提供於該解碼基本層中之影像資訊及來自第一影像L及/或第二影像R之影像資訊兩者產生一預測子。

由於第一影像L及第二影像R不可供用於解碼器側上，可使用此等影像來編碼允許該解碼器例如改進用於編碼該增強層之預測子影像之品質之資訊。

在一較佳實施例中，使用第一影像L及第二影像R來組態一濾波器以調適用於編碼該增強層之預測子。如熟習此項技術者將清楚，可使用此經調適預測子來代替該原始預測子或作為用於編碼該增強層之另一個預測子輸入。

更佳地，使用第一影像L及第二影像R來組態一或多個按比例放大濾波器(例如，左影像之一個按比例放大濾波器及第二影像之一個按比例放大濾波器)以便產生第一及第二影像兩者之一全解析度預測子。此等全解析度預測子依次可堆積成一替代組合預測子，該替代組合預測子可用作編碼於該基本層中之影像資訊之一替代，或補充編碼於該基本層中之影像資訊。

圖7A中提供包含基於第一及第二影像L、R來調適一預測子之一實例性編碼器系統。圖7A具有與圖6A之實質重疊且因而重點將主要針對用於編碼增強層LB-enh之一額外組合預測子影像之產生。

在編碼基本層LR-bas之後，編碼於基本層LR-bas中之影像資訊可供用於產生另一個預測子。在此實施例中，編碼於該基本層中之影像資訊直接用作預測子輸入以編碼該增強層而且用於產生一第三全解析度預測子輸入(即，該組合預測子輸入)以產生該增強層。

在編碼該經解碼經組合影像LeRe'中之影像資訊之後，「解開」既定用於重新建構左影像之影像資訊及既定用於重新建構右影像之影像資訊，即，使用SBS(2)^-1操作將既定用於重新建構第一經重新建構影像Le'之在空間上共同定位之樣本與既定用於重新建構第二經重新建構影像Re'之在空間上共同定位之樣本分離開。該等各別輸出對應於隨後使用一影像相依按比例放大器按比例放大之兩個半解析度影像，該影像相依按比例放大器結合第一影像L及第二影像R分別使用Le'及Re'，以分別組態按比例放大濾波器40及40。

該影像自適應按比例放大確定係數以便組態影像自適應按比例放大器；例如，藉由全盤地或在一較低層級上分類該等影像；例如，在區塊層級上並使用調諧至特定分類之一按比例放大器。所得濾波器係數或參數將需要編碼於所得位元串流中以便使得一對應解碼器能夠執行與在編碼期間所使用相同之按比例放大。

涉及包括此一分類過程之後處理之一方案之一實例呈現於同一申請人之題為「IMAGE COMPRESSION AND DECOMPRESSION」之國際專利申請案WO 2008/075247中，該國際專利申請案據此以引用方式併入。對於此特定應用使用此類型之處理提供兩個優點：其改進預測之品質且因此可降低增強層之位元速率，但另外其提供允許對基本層之改進而無需解碼增強層之資訊。此可例如係對於其中解碼增強層代價太高(即，在資源方面或在處理方面)之應用之一解決方案。

因此，此特定編碼方式亦允許針對資源有限應用之一種形式之可縮放性。

各別按比例放大器之輸出對應於一第一全解析度預測子Lpred及第二全解析度預測子Rpred。隨後，使用參照圖1A所述之一SBS操作來組合第一與第二全解析度預測子，從而產生第三全解析度預測子LoRopr，以使得第三全解析度預測子LoRopr包含具有來自第一影像之第一全解析度預測子之第二同位之樣本(該等樣本在空間上共同定位於第三全解析度預測子中)及具有來自第二影像之第二全解析度預測子之第二同位之樣本(該等樣本在空間上共同定位於第三全解析度預測子中)。

重要的是，應注意，圖7A中所示之SBS操作不包括存在於圖1A中所示之實施例中之一低通濾波器。而是，圖7A中所示之SBS操作僅對傳入全解析度預測子影像進行十中抽一取樣/降頻取樣。

如上文中所指示，按比例放大濾波器40、41可係可參數化影像自適應按比例放大濾波器(選用)，其中用於組態影像自適應按比例放大濾波器之係數及/或參數Cpp,L及Cpp,R欲包含於編碼位元串流中。

為此目的，圖7A中所呈現之編碼系統包括一多工器，該多工器用於將該基本層、該增強層及該等影像自適應按比例放大濾波器之該等各別參數多工成該位元串流BS。

所得位元串流BS因此除上文中參照圖6A及圖6B所述之BS以外還包括用於將編碼於該基本層LR-bas中之既定用於重新建構第一影像之影像資訊影像自適應按比例放大至一第一全解析度預測子Lpred且將編碼於該基本層LR-bas中之既定用於重新建構第二影像之影像資訊影像自適應按比例放大至一第二全解析度預測子Rpred之編碼參數。

圖7B展示用於解碼對應於用於解碼包括提供於圖7A中之資訊之一位元串流之一多重視圖信號之兩個視圖之一影像對之一解碼系統。為了清楚起見，未包含該位元串流解多工器。此解多工器將所接收之位元串流(未展示)解多工成一基本層、一增強層及用於分別組態影像自適應按比例放大濾波器42及43之選用之係數及/或參數Cpp,L及Cpp,R。

使用此等按比例放大濾波器42及43，該解碼器可重新建構第一及第二全解析度預測子(Lpred、Rpred)，第一及第二全解析度預測子依次可在不具有如參照圖7A所述之低通濾波器之情況下藉助一SBS操作組合成一全解析度第三預測子(LoRopr)。

變化形式1及變化形式2之另外實施例

第一變化形式及第二變化形式之另外實施例可參照以下條款來闡述。

根據本發明之第一變化形式，提供一種編碼器、一種解碼器、一種編碼對應於一多重視圖信號之兩個視圖之一影像對之方法、一種解碼對應於一多重視圖信號之兩個視圖之一影像對之方法以及在從屬於先前條款之條款1-13、20、30-36、50、53、以及60及61中提供一種表示一多重視圖信號之兩個視圖之位元串流、一種電腦程式產品及一種用於執行根據本發明之方法之軟體工具。

根據本發明之第二變化形式，提供一種編碼器、一種解碼器、一種編碼對應於一多重視圖信號之兩個視圖之一影像對之方法、一種解碼對應於一多重視圖信號之兩個視圖之一影像對之方法以及在從屬於先前條款之條款14-18、21、37-41、51-52、54-55、以及60及61中提供一種表示一多重視圖信號之兩個視圖之位元串流、一種電腦程式產品及一種用於執行根據本發明之方法之軟體工具。

條款1。一種編碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之方法，該方法包括：-　基於該影像對之一第一影像之一第一經低通濾波版本及該影像對之第二影像之一第一經低通濾波版本產生一第一經組合影像(LeRe)，該第一經組合影像(LeRe)包括：-　具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中及-　具有來自該第二影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中，-　基於該影像對之該第一影像之一第二經低通濾波版本及該影像對之該第二影像之一第二經低通濾波版本產生一第二經組合影像(LoRo)，該第二經組合影像(LoRo)包括：-　具有來自該第一影像之該第二經低通濾波版本之第二同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中及-　具有來自該第二影像之該第二經低通濾波版本之第二同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中，-　藉由編碼該第一經組合影像(LeRe)來產生一基本層(LR-bas)及-　藉由使用編碼於該基本層中之資訊作為該編碼中之一預測子輸入來編碼該第二經組合影像(LoRo)從而產生一增強層(LR-enh)。

條款2。如條款1之方法，其中使用編碼於該基本層中之影像資訊作為用於產生該增強層之預測子輸入。

條款3。如上述條款中任一款之方法，其中使用如下中之一者來編碼該基本層：-　一MPEG-2編碼-　一AVC編碼及-　一HVC編碼。

條款4。如上述條款中任一款之方法，其中使用如下中之任一者來編碼該增強層：-　一AVC編碼及-　一HVC編碼。

條款5。如上述條款中任一款之方法，其中該多重視圖信號係一立體信號。

條款6。如條款5之方法，其中將該等經組合影像編碼為如下中之一者：-　經並排編碼影像或-　經上下編碼影像。

條款7。如條款6之方法，其中具有該第一同位之該等在空間上共同定位之樣本對應於該等經組合影像之一第一半部且其中具有該第二同位之該等在空間上共同定位之樣本對應於該等經組合影像之一第二半部。

條款8。如上述條款中任一款之方法，其中該多重視圖信號係一視訊序列。

條款9。如上述條款中任一款之方法，其中該第一影像之該第一經低通濾波版本與該第一影像之該第二經低通濾波版本係同一個影像。

條款10。如上述條款中任一款之方法，其中該第二影像之該第一經低通濾波版本與該第二影像之該第二經低通濾波版本係同一個影像。

條款11。如上述條款中任一款之方法，其中對該第一及/或該第二影像進行低通濾波包括使用所組合之一或多個濾波器來進行濾波，所組合之該一或多個濾波器具有一高於fs之截止頻率。

條款12。如上述條款中任一款之方法，其進一步包括將該基本層及該增強層多工成一位元串流(BS)之一步驟。

條款13。如上述條款中任一款之方法，其進一步包括廣播該位元串流(BS)之一步驟。

條款14。如條款1之方法，其中在被用作用於產生該增強層之該預測子之前對編碼於該基本層中之影像資訊進行濾波。

條款15。如條款14之方法，其包括：-　將編碼於該基本層(LR-bas)中之既定用於重新建構該第一影像之影像資訊影像自適應按比例放大至一第一全解析度預測子且-　將編碼於該基本層(LR-bas)中之既定用於重新建構該第二影像之影像資訊影像自適應按比例放大至一第二全解析度預測子。

條款16。如條款15之方法，其進一步包括：-　將該第一全解析度預測子(Lpred)與該第二全解析度預測子(Rpred)組合成一第三全解析度預測子(LoRopr)，該第三全解析度預測子(LoRopr)包括：-　具有來自該第一影像之該第一全解析度預測子之第二同位之樣本，該等樣本在空間上共同定位於該第三全解析度預測子中及-　具有來自該第二影像之該第二全解析度預測子之第二同位之樣本，該等樣本在空間上共同定位於該第三全解析度預測子中。

條款17。如條款15至16中任一款之方法，其中該按比例放大利用一或多個可參數化影像自適應按比例放大濾波器。

條款18。如條款17之方法，其進一步包括將該基本層及該增強層以及該等影像自適應按比例放大濾波器之各別參數多工成一位元串流(BS)之一步驟。

條款20。一種包括對應於一多重視圖信號之兩個視圖之一經編碼影像對之位元串流(BS)，該位元串流包括：-　一基本層(LR-bas)，該基本層包括使用一第一編碼器編碼之一經編碼第一經組合影像(LeRe')，-　一增強層(LR-enh)，該增強層包括使用一第二編碼器並使用基於該經解碼經編碼第一經組合影像(LeRe')之一預測子輸入編碼之一經編碼第二經組合影像(LoRo')，其中-　該經編碼第一經組合影像(LeRe')基於一第一經組合影像(LeRe)，該第一經組合影像(LeRe)基於一原始影像對之一第一影像之一第一經低通濾波版本及該原始影像對之一第二影像之一第一經低通濾波版本，該第一經組合影像(LeRe)包括：-　具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該經編碼第一經組合影像中及-　具有來自該第二影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該經編碼第一經組合影像中，-　該經編碼第二經組合影像(LoRo')基於一第二經組合影像(LoRo)，該第二經組合影像(LoRo)基於該原始影像對之該第一影像之一第二經低通濾波版本及該原始影像對之該第二影像之一第二經低通濾波版本，該第二經組合影像(LoRo)包括：-　具有來自該第一影像之該第二經低通濾波版本之第二同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中及-　具有來自該第二影像之該第二經低通濾波版本之第二同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中。

條款21。如條款20之位元串流(BS)，其進一步包括用於產生該預測子輸入之參數，該等經編碼參數用於：-　將編碼於該基本層(LR-bas)中之既定用於重新建構該第一影像之影像資訊影像自適應按比例放大至一第一全解析度預測子(Lpred)且-　將編碼於該基本層(LR-bas)中之既定用於重新建構該第二影像之影像資訊影像自適應按比例放大至一第二全解析度預測子(Rpred)。

條款30。一種解碼對應於一多重視圖信號之兩個視圖之一影像對之方法，該方法包括：-　藉由解碼一基本層來產生一第一經解碼經組合影像(LeRe')，-　藉由使用該第一經解碼影像作為一預測子來解碼一增強層從而產生一第二經解碼經組合影像(LoRo')，-　藉由下述方式來重新建構一第一經重新建構影像(L')-　使用該第一經解碼經組合影像(LeRe')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第一同位之樣本且-　使用該第二經解碼經組合影像(LoRo')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第二同位之樣本，從而形成該第一經重新建構影像(L')，及-　藉由下述方式來重新建構一第二經重新建構影像(R')-　使用該第一經解碼經組合影像(LeRe')中之在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第一同位之樣本且-　使用該第二經解碼經組合影像(LoRo')中之在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第二同位之樣本，從而形成該第二經重新建構影像。

條款31。如條款30之方法，其中：-　該第一經重新建構影像(L')中之具有該第一同位之該等樣本係由該第一經解碼經組合影像(LeRe')之一第一空間半部形成且-　該第一經重新建構影像(L')中之具有該第二同位之該等樣本係由該第二經解碼經組合影像(LoRo')之一第二空間半部形成。

條款32。如條款31之方法，其中：-　該第二經重新建構影像(R')中之具有該第一同位之該等樣本係由該第一經解碼經組合影像(LeRe')之一第二空間半部形成且-　該第二經重新建構影像(R')中之具有該第二同位之該等樣本係由該第二經解碼經組合影像(LoRo')之一第二空間半部形成。

條款33。如條款30至32中任一款之方法，其中該多重視圖信號係一立體信號。

條款34。如條款33之方法，其中：-　該等第一及第二經解碼經組合影像(LeRe'、LoRo')係經並排編碼影像或-　該等第一及第二經解碼經組合影像(LeRe'、LoRo')係經上下編碼影像。

條款35。如條款30至34中任一款之方法，其進一步包括接收一所廣播之位元串流(BS)。

條款36。如條款30至35中任一款之方法，其進一步包括解多工一所接收之位元串流以便獲得該基本層及該增強層。

條款37。如條款30至36中任一款之方法，其中在被用作用於解碼該增強層之該預測子輸入之前對編碼於該基本層中之影像資訊進行解碼及濾波。

條款38。如條款37之方法，其包括：-　將編碼於該基本層(LR-bas)中之既定用於重新建構該第一影像之影像資訊影像自適應按比例放大至一第一全解析度預測子(Lpred)且-　將編碼於該基本層(LR-bas)中之既定用於重新建構該第二影像之影像資訊影像自適應按比例放大至一第二全解析度預測子(Lpred)。

條款39。如條款38之方法，其包括：-　將該第一全解析度預測子(Lpred)與該第二全解析度預測子(Rpred)組合成一第三全解析度預測子(LoRopr)，該第三全解析度預測子(LoRopr)包括：-　具有來自該第一影像之該第一全解析度預測子(Lpred)之第二同位之樣本，該等樣本在空間上共同定位於該第三全解析度預測子中及-　具有來自該第二影像之該第二全解析度預測子(Rpred)之第二同位之樣本，該等樣本在空間上共同定位於該第三全解析度預測子中。

條款40。如條款38至39中任一款之方法，其中該按比例放大利用一或多個可參數化影像自適應按比例放大濾波器。

條款41。如條款40之方法，其進一步包括自一位元串流(BS)獲得該基本層及該增強層以及該等影像自適應按比例放大濾波器之該等各別參數之一步驟。

條款50。一種用於編碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之編碼器，該方法包括：-　一第一產生器，其用於基於該影像對之一第一影像之一第一經低通濾波版本及該影像對之第二影像之一第一經低通濾波版本產生一第一經組合影像(LeRe)，該第一經組合影像(LeRe)包括：-　具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中及-　具有來自該第二影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中，-　一第二產生器，其用於基於該影像對之該第一影像之一第二經低通濾波版本及該影像對之該第二影像之一第二經低通濾波版本產生一第二經組合影像(LoRo)，該第二經組合影像(LoRo)包括：-　具有來自該第一影像之該第二經低通濾波版本之第二同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中及-　具有來自該第二影像之該第二經低通濾波版本之第二同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中，-　一第一編碼器(Enc1)，其用於藉由編碼該第一經組合影像(LeRe)來產生一基本層(LR-bas)及-　一第二編碼器(Enc2)，其用於藉由使用編碼於該基本層中之資訊作為該編碼中之一預測子輸入來編碼該第二經組合影像(LoRo)從而產生一增強層(LR-enh)。

條款51。如條款50之編碼器，其進一步包括一濾波器，該濾波器經配置以在被用作用於產生該增強層之該預測子輸入之前對編碼於該基本層中之影像資訊進行濾波。

條款52。如條款51之編碼器，其進一步包括：-　一第一影像自適應按比例放大器，其經配置以將編碼於該基本層(LR-bas)中之既定用於重新建構該第一影像之影像資訊按比例放大至一第一全解析度預測子(Lpred)及-　一第二影像自適應按比例放大器，其經配置以將編碼於該基本層(LR-bas)中之既定用於重新建構該第二影像之影像資訊按比例放大至一第二全解析度預測子(Rpred)。

條款53。一種用於解碼對應於一多重視圖信號之兩個視圖之一影像對之解碼器，該方法包括：-　一第一解碼器，其用於藉由解碼一基本層來產生一第一經解碼經組合影像(LeRe')，-　一第二解碼器，其用於藉由使用該第一經解碼影像作為一預測子來解碼一增強層從而產生一第二經解碼經組合影像(LoRo')，-　一第一影像重新建構器，其經配置以-　使用該第一經解碼經組合影像(LeRe')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第一同位之樣本且-　使用該第二經解碼經組合影像(LoRo')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第二同位之樣本，從而形成該第一經重新建構影像(L')，及-　一第二影像重新建構器，其經配置以：-　使用該第一經解碼經組合影像(LeRe')中之另外在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第二同位之樣本且-　使用該第二經解碼經組合影像(LoRo')中之另外在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第二同位之樣本，從而形成該第二經重新建構影像。

條款54。如條款53之解碼器，其進一步包括一濾波器，該濾波器經配置以在被用作用於產生該增強層之該預測子輸入之前對在解碼之後編碼於該基本層中之影像資訊進行濾波。

條款55。如條款54之解碼器，其進一步包括：-　一第一影像自適應按比例放大器，其用於將編碼於基本層(LR-bas)中之既定用於重新建構該第一影像之影像資訊按比例放大至一第一全解析度預測子(Lpred)及-　一第二影像自適應按比例放大器，其用於將編碼於基本層(LR-bas)中之既定用於重新建構該第二影像之影像資訊按比例放大至一第二全解析度預測子(Lpred)。

條款60。一種位於一電腦可讀媒體上之電腦程式產品，該產品包括用於執行如條款1至18、或30至41之方法中至少一者之指示。

條款61。一種用於執行條款1至18或30至41之至少一或多種方法之軟體工具，其中該軟體工具包括用於執行該至少一或多種方法之指令。

變化形式3

根據本發明之一第三變化形式，針對對應於一多重視圖信號之兩個視圖之一影像對L、R提供達成與已知先前技術相比得到改進之圖框相容影像且同時亦達成針對每一隻眼睛之全HD之編碼器/解碼器、編碼及解碼方法。

此方案解決問題A、D、F及G。

根據此第三變化形式，編碼一基本層及兩個增強層。重要的是，應注意，根據第三變化形式，圖框相容立體裝置之影像品質不受影響；即，在按比例縮小第一及第二影像之後即刻對該基本層進行適當濾波，以便防止組合圖框相容格式中之混迭。

根據第三變化形式，近似針對每一隻眼睛之全HD不再需要此濾波。而是，藉由編碼兩個增強層(具有偶數同位之樣本之一個增強層、具有奇數同位之樣本之一個增強層)並減少用於產生該等增強層之路徑中所存在之濾波量，可為兩隻眼睛提供全HD。

圖8展示根據本發明之第三變化形式之一編碼系統。該編碼系統經配置以用於執行編碼對應於一多重視圖信號之兩個視圖之一影像對L、R之一方法。

該方法包括基於該影像對之一第一影像之一第一經低通濾波版本及該影像對之第二影像之一第一經低通濾波版本產生一第一經組合影像LeRe。如由SBS區塊上之「F3」屬性所指示，第一經組合影像LeRe之產生涉及在降頻取樣之前應用一低通濾波器。

儘管應注意可使用一較弱濾波器(即，具有一高於 fs之截止頻率之一濾波器)，但較佳使用具有一為 fs之截止頻率之一濾波器以便防止混迭。因此，可針對當前所採用之立體顯示裝置(即，圖框相容裝置)獲得最佳可能品質。

第一經組合影像LeRe包括具有來自第一影像之第一低通濾波版本之一第一同位之樣本(該等樣本在空間上共同定位於第一經組合影像中)及具有來自第二影像之第一低通濾波版本之一第一同位之樣本(該等樣本在空間上共同定位於第一經組合影像中)。

該方法進一步包括藉由編碼第一經組合影像LeRe來產生一基本層LR-bas。隨後使用編碼於該基本層(LR-bas)中之影像資訊來產生全解析度預測子Lpred及Rpred。這兩個預測子係藉由按比例放大包括於該基本層中之影像資訊LeRe'之各別空間半部來產生皆兩者處於全解析度下之一第一中間預測子Lpred及一第二中間預測子Rpred而形成。

如使用該等各別按比例放大器上之屬性「F2」所指示，該等按比例放大濾波器涉及在一低通濾波器之後進行增加取樣。應注意，該按比例放大器較佳在按比例放大時慮及輸入之同位。

隨後使用該兩個中間預測子來產生另外兩個全解析度預測子(用於編碼每一增強層之一個全解析度預測子)。然而為了編碼此等增強層，亦需要產生另外兩個經組合影像LoRo-nf及LeRe-nf。

為此目的，該編碼系統進一步包括用於產生一第二經組合影像LeRe-nf之構件，第二經組合影像LeRe-nf包括具有第一影像之第一同位之樣本(該等樣本在空間上共同定位於第二經組合影像中)及具有來自第二影像之第一同位之樣本(該等樣本在空間上共同定位於第二經組合影像中)。如由SBS運算子上之「nofil」屬性所指示，第二經組合影像之產生不涉及一低通濾波器。

另外，產生一第三經組合影像LoRo-nf，第三經組合影像LoRo-nf包括具有第一影像之第二同位之樣本(該等樣本在空間上共同定位於第三經組合影像中)及具有來自第二影像之第二同位之樣本(該等樣本在空間上共同定位於第三經組合影像中)。如由SBS運算子上之「nofil」屬性所指示，第三經組合影像之產生不涉及一低通濾波器。

為了以一有效方式編碼第二及第三經組合影像，使用該等中間預測子來形成一第一全解析度預測子LeRepred以用於基於第一中間預測子Lpred及第二中間預測子Rpred產生第一增強層LR-enh1。在如由「nofil」屬性所指示之此情況下，使用SBS運算子之按比例縮小不涉及濾波。在第一全解析度預測子LeRepred之情況下，使用具有第一同位之樣本。

同樣地，使用該兩個全解析度中間預測子來產生一第二全解析度預測子LoRopred以用於基於第一中間預測子Lpred及第二中間預測子Rpred產生第二增強層LR-enh2。在如由「nofil」屬性所指示之此情況下，使用SBS運算子之按比例縮小不涉及濾波。在第二全解析度預測子LoRopred之情況下，使用具有第二同位之樣本。

接下來，藉由使用第一全解析度預測子LeRepred來編碼第二經組合影像LeRe-nf從而產生第一增強層LR-enh1並經由使用第二全解析度預測子LoRopred來編碼第三經組合影像LoRo-nf從而產生第二增強層LR-enh2。

較佳地，第一全解析度預測子包括具有第一中間預測子Lpred之第一同位之樣本(該等樣本在空間上共同定位於第一全解析度預測子LeRepred中)及具有第二中間預測子Rpred之第一同位之樣本(該等樣本在空間上共同定位於第一全解析度預測子LeRepred中)。

較佳地，第二全解析度預測子LoRopred包括具有第一中間預測子Lpred之第二同位之樣本(該等樣本在空間上共同定位於第二全解析度預測子LoRopred中)及具有第二中間預測子Rpred之第二同位之樣本(該等樣本在空間上共同定位於第二全解析度預測子LoRopred中)。

較佳地，使用一MPEG-2編碼方案、一AVC編碼方案或一HVC編碼方案來編碼該基本層。較佳地，使用一AVC編碼方案或一HVC編碼方案來分別編碼該等各別增強層。熟習此項技術者將清楚，為了保持相同影像特性，較佳使用相同編碼方案來編碼第一及第二增強層。

端視用於編碼該等各別增強層之編碼方案類型，或許可添加用於編碼該等各別增強層之另外預測子。

舉例而言，為了編碼第一增強層LR-enh1，或許可使用第三組合信號LoRo-nf作為另一個預測子乃至編碼於該基本層中之影像資訊LeRe'。視情況，或許亦可使用根據一先前時間場合編碼於第二增強層中之影像資訊作為另一個預測子。類似地，可添加另外預測子以進一步改進對第二增強層LR-enh2之編碼。

較佳地，該多重視圖信號係一立體信號。更佳地，將該等經組合影像編碼為經並排編碼影像或經上下編碼影像。甚至更佳地，具有第一同位之該等在空間上共同定位之樣本對應於該等經組合影像之一第一半部且其中具有第二同位之該等在空間上共同定位之樣本對應於該等經組合影像之一第二半部。

較佳地，該多重視圖信號係一視訊序列。

較佳地，第一影像之第一經低通濾波版本與第一影像之第二經低通濾波版本係同一個影像且第二影像之第一經低通濾波版本與第二影像之第二經低通濾波版本係同一個影像。更佳地，對第一影像及/或第二影像進行低通濾波包括使用所組合之一或多個濾波器來進行濾波，所組合之該一或多個濾波器具有一為 fs之截止頻率。

視情況，該方法進一步包括將該基本層、第一增強層及第二增強層多工成一位元串流BS之一步驟。更視情況，該方法進一步包括廣播該位元串流BS之一步驟。

如此得到之位元串流BS包括對應於一多重視圖信號之兩個視圖之一經編碼影像對。使用一基本層LR-bas來編碼這兩個視圖，該基本層包括使用一第一編碼器編碼之一經編碼第一經組合影像LeRe'。

另外，該位元串流包括兩個增強層。一增強層LR-enh1，第一增強層包括使用第二編碼器並使用基於一第一全解析度預測子LeRepred之一預測子輸入編碼之一經編碼第二經組合影像LeRe-nf'，第一全解析度預測子LeRepred基於藉由分別將包括於該基本層中之影像資訊LeRe'之各別空間半部按比例放大至全解析度而分別形成之第一中間預測子Lpred及第二中間預測子Rpred；及一第二增強層LR-enh2，第二增強層包括使用第三編碼器並使用基於一第一全解析度預測子LoRopred之一預測子輸入編碼之一經編碼第三經組合影像LoRo-nf'，第一全解析度預測子LoRopred基於藉由分別將包括於該基本層中之影像資訊LoRo'之各別空間半部按比例放大至全解析度而分別形成之第一中間預測子Lpred及第二中間預測子Rpred。

本發明之第三變化形式中亦包含解碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之一方法。通常，此方法包括接收一所廣播之位元串流BS，例如，在藉由一網路(有線或無線)之一廣播之後，或在自一儲存媒體擷取之後。

儘管可接收多個位元串流，但通常該方法亦包括解多工所接收之位元串流以便獲得該基本層、第一增強層及第二增強層。

一旦可用，則可開始實際解碼。該解碼涉及藉由解碼一基本層來產生一第一經解碼經組合影像(LeRe')。接下來，類似於該編碼過程，使用第一經解碼經組合影像來產生兩個中間預測子。這兩個中間預測子係藉由按比例放大包括於該基本層中之影像資訊LeRe'之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子Lpred及一第二中間預測子Rpred而獲得。

接下來，使用該兩個中間預測子Lpred及Rpred來產生用於解碼該等各別增強層之兩個全解析度預測子。

為此目的，該方法包括基於第一中間預測子Lpred及第二中間預測子Rpred產生一第一全解析度預測子LeRepred以用於解碼一第一增強層LR-enh1。在LeRepred之情況下，自該等各別中間預測子選擇具有第一同位之樣本。接下來，基於第一中間預測子Lpred及第二中間預測子Rpred產生第二全解析度預測子LoRopred以用於解碼一第二增強層LR-enh2。在LeRepred之情況下，自該等各別中間預測子選擇具有第二同位之樣本。

接下來，使用第一全解析度預測子LeRepred來解碼第一增強層LR-enh1，從而產生解碼第二經組合影像LeRe-nf'。同樣地，使用第二全解析度預測子LoRopred來解碼第二增強層LR-enh2，從而產生解碼第三經組合影像LoRo-nf'。

基於這兩個解碼經組合影像，可藉由下述方式來重新建構一第一經重新建構影像L'：使用第二經解碼經組合影像LeRe-nf'中之在空間上共同定位之樣本作為第一經重新建構影像L'中之具有一第一同位之樣本且使用第三經解碼經組合影像LoRo-nf'中之在空間上共同定位之樣本作為第一經重新建構影像L'中之具有一第二同位之樣本，從而形成第一經重新建構影像L'。

而且，這兩個解碼經組合影像使得能夠藉由下述方式來重新建構一第二經重新建構影像R'：使用第二經解碼經組合影像LeRe-nf'中之另外在空間上共同定位之樣本作為第二經重新建構R'中之具有一第一同位之樣本且使用第三經解碼經組合影像LoRo-nf'中之另外在空間上共同定位之樣本作為第二經重新建構影像R'中之具有一第二同位之樣本，從而形成第二經重新建構影像。

較佳地，第一經重新建構影像L'中之具有第一同位之樣本係由第二經解碼經組合影像LeRe-nf'之一第一空間半部形成且第一經重新建構影像L'中之具有第二同位之樣本係由第三經解碼經組合影像LoRo-nf'之一第一空間半部形成。

較佳地，第二經重新建構影像R'中之具有第一同位之樣本係由第二經解碼經組合影像LeRe-nf'之一第二空間半部形成且第二經重新建構影像R'中之具有第二同位之樣本係由第三經解碼經組合影像LoRe-nf'之一第二空間半部形成。

較佳地，第一、第二及第三經解碼經組合影像LeRe'、LeRe-nf'、LoRo-nf'係經並排編碼影像或經上下編碼影像。

第三變化形式之另外實施例

第三變化形式之另外實施例可參照以下條款來闡述。

根據本發明之第三變化形式，提供一種編碼器、一種解碼器、一種編碼對應於一多重視圖信號之兩個視圖之一影像對之方法、一種解碼對應於一多重視圖信號之兩個視圖之一影像對之方法以及在條款301至315、320、330至338、350至351、360及361中提供一種表示一多重視圖信號之兩個視圖之位元串流、一種電腦程式產品及一種用於執行根據本發明之方法之軟體工具。

條款301。一種編碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之方法，該方法包括：-　基於該影像對之一第一影像之一第一經低通濾波版本及該影像對之第二影像之一第一經低通濾波版本產生一第一經組合影像(LeRe)，該第一經組合影像(LeRe)包括：-　具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中及-　具有來自該第二影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中，-　產生一第二經組合影像(LeRe-nf)，該第二經組合影像(LeRe-nf)包括：-　具有該第一影像之第一同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中及-　具有來自該第二影像之第一同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中，-　產生一第三經組合影像(LoRo-nf)，該第三經組合影像(LoRo-nf)包括：-　具有該第一影像之第二同位之樣本，該等樣本在空間上共同定位於該第三經組合影像中及-　具有來自該第二影像之第二同位之樣本，該等樣本在空間上共同定位於該第三經組合影像中，-　藉由編碼該第一經組合影像(LeRe)來產生一基本層(LR-bas)，-　按比例放大包括於該基本層中之影像資訊(LeRe')之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子(Lpred)及一第二中間預測子(Rpred)，-　基於該等第一及第二中間預測子(Lpred、Rpred)產生一第一全解析度預測子(LeRepred)以用於產生一第一增強層(LR-enh1)並藉由使用該第一全解析度預測子(LeRepred)來編碼該第二經組合影像(LeRe-nf)從而產生該第一增強層(LR-enh1)，-　基於該等第一及第二中間預測子(Lpred、Rpred)產生一第二全解析度預測子(LoRopred)以用於產生一第二增強層(LR-enh2)並藉由使用該第二全解析度預測子(LoRopred)來編碼該第三經組合影像(LoRo-nf)從而產生該第二增強層(LR-enh2)。

條款302。如條款301之方法，其中-　該第一全解析度預測子包括：-　具有該第一中間預測子(Lpred)之第一同位之樣本，該等樣本在空間上共同定位於該第一全解析度預測子(LeRepred)中，及-　具有該第二中間預測子(Rpred)之第一同位之樣本，該等樣本在空間上共同定位於該第一全解析度預測子(LeRepred)中且-　該第二全解析度預測子(LoRopred)包括-　具有該第一中間預測子(Lpred)之第二同位之樣本，該等樣本在空間上共同定位於該第二全解析度預測子(LoRopred)中，及-　具有該第二中間預測子(Rpred)之第二同位之樣本，該等樣本在空間上共同定位於該第二全解析度預測子(LoRopred)中。

條款303。如條款301至302中任一款之方法，其中使用如下中之一者來編碼該基本層：-　一MPEG-2編碼-　一AVC編碼及-　一HVC編碼。

條款304。如條款301至303中任一款之方法，其中使用如下中之一者來分別編碼該等各別增強層：-　一AVC編碼及-　一HVC編碼。

條款305。如條款301至304中任一款之方法，其中該多重視圖信號係一立體信號。

條款306。如條款305之方法，其中將該等經組合影像編碼為如下中之一者：-　經並排編碼影像或-　經上下編碼影像。

條款307。如條款301至306中任一款之方法，其中具有該第一同位之該等在空間上共同定位之樣本對應於該等經組合影像之一第一半部且其中具有該第二同位之該等在空間上共同定位之樣本對應於該等經組合影像之一第二半部。

條款308。如條款301至307中任一款之方法，其中該多重視圖信號係一視訊序列。

條款309。如條款301至308中任一款之方法，其中該第一影像之第一經低通濾波版本與該第一影像之該第二經低通濾波版本係同一個影像。

條款310。如條款301至309中任一款之方法，其中該第二影像之該第一經低通濾波版本與該第二影像之該第二經低通濾波版本係同一個影像。

條款311。如條款301至310中任一款之方法，其中對該第一及/或該第二影像進行低通濾波包括使用所組合之一或多個濾波器來進行濾波，所組合之該一或多個濾波器具有一為 fs或高於 fs之截止頻率。

條款312。如條款301至311中任一款之方法，其進一步包括將該基本層、該第一增強層及該第二增強層多工成一位元串流(BS)之一步驟。

條款313。如條款301至312中任一款之方法，其進一步包括廣播該位元串流(BS)之一步驟。

條款314。如條款301至313中任一款之方法，其中該按比例放大包括在一低通濾波器之後進行增加取樣。

條款315。如條款314之方法，其中用於該按比例放大之該低通濾波器具有一高於fs之截止頻率。

條款320。一種包括對應於一多重視圖信號之兩個視圖之一經編碼影像對之位元串流(BS)：-　一基本層(LR-bas)，該基本層包括使用一第一編碼器編碼之一經編碼第一經組合影像(LeRe')，-　一第一增強層(LR-enh1)，該第一增強層包括使用一第二編碼器並使用基於一第一全解析度預測子(LeRepred)之一預測子輸入編碼之一經編碼第二經組合影像(LeRe-nf')，該第一全解析度預測子(LeRepred)基於藉由分別將包括於該基本層中之影像資訊(LeRe')之該等各別空間半部按比例放大至全解析度而分別形成之該等第一及第二中間預測子(Lpred、Rpred)，-　一第二增強層(LR-enh2)，該第二增強層包括使用一第三編碼器並使用基於一第一全解析度預測子(LoRopred)之一預測子輸入編碼之一經編碼第三經組合影像(LoRo-nf')，該第一全解析度預測子(LoRopred)基於藉由分別將包括於該基本層中之影像資訊(LoRo')之該等各別空間半部按比例放大至全解析度而分別形成之該等第一及第二中間預測子(Lpred、Rpred)。

條款330。一種解碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之方法，該方法包括：-　藉由解碼一基本層來產生一第一經解碼經組合影像(LeRe')，-　按比例放大包括於該基本層中之影像資訊(LeRe')之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子(Lpred)及一第二中間預測子(Rpred)，-　基於該等第一及第二中間預測子(Lpred、Rpred)產生一第一全解析度預測子(LeRepred)以用於解碼一第一增強層(LR-enh1)並使用該第一全解析度預測子(LeRepred)來解碼該第一增強層(LR-enh1)從而產生該經解碼第二經組合影像(LeRe-nf')，-　基於該等第一及第二中間預測子(Lpred、Rpred)產生一第二全解析度預測子(LoRopred)以用於解碼一第二增強層(LR-enh2)並使用該第二全解析度預測子(LoRopred)來解碼該第二增強層(LR-enh2)從而產生該經解碼第三經組合影像(LoRo-nf')，-　藉由下述方式來重新建構一第一經重新建構影像(L')-　使用該第二經解碼經組合影像(LeRe-nf')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第一同位之樣本且-　使用該第三經解碼經組合影像(LoRo-nf')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第二同位之樣本，從而形成該第一經重新建構影像(L')，及-　藉由下述方式來重新建構一第二經重新建構影像(R')-　使用該第二經解碼經組合影像(LeRe-nf')中之另外在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第一同位之樣本且-　使用該第三經解碼經組合影像(LoRo-nf')中之另外在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第二同位之樣本，從而形成該第二經重新建構影像。

條款331。如條款330之方法，其中：-　該第一經重新建構影像(L')中之具有該第一同位之樣本係由該第二經解碼經組合影像(LeRe-nf')之一第一空間半部形成且-　該第一經重新建構影像(L')中之具有該第二同位之樣本係由該第三經解碼經組合影像(LoRo-nf')之一第一空間半部形成。

條款332。如條款331之方法，其中：-　該第二經重新建構影像(R')中之具有該第一同位之樣本係由該第二經解碼經組合影像(LeRe-nf')之一第二空間半部形成且-　該第二經重新建構影像(R')中之具有該第二同位之樣本係由該第三經解碼經組合影像(LoRo-nf')之一第二空間半部形成。

條款333。如條款330至332之方法，其中該多重視圖信號係一立體信號。

條款334。如條款333之方法，其中：-　該等第一、第二及第三經解碼經組合影像(LeRe'、LeRe-nf'、LoRo-nf)係經並排編碼影像或-　該等第一、第二及第三經解碼經組合影像(LeRe'、LeRe-nf'、LoRo-nf)係經上下編碼影像。

條款335。如條款330至334中任一款之方法，其進一步包括接收一所廣播之位元串流(BS)。

條款336。如條款330至335中任一款之方法，其進一步包括解多工一所接收之位元串流以便獲得該基本層、該第一增強層及該第二增強層。

條款337。如條款330至336中任一款之方法，其中該按比例放大包括在一低通濾波器之後進行增加取樣。

條款338。如條款237之方法，其中用於該按比例放大之該低通濾波器具有一高於fs之截止頻率。

條款350。一種用於編碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之編碼器，該方法包括：-　一第一產生器，其用於基於該影像對之一第一影像之一第一經低通濾波版本及該影像對之第二影像之一第一經低通濾波版本產生一第一經組合影像(LeRe)，該第一經組合影像(LeRe)包括：-　具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中及-　具有來自該第二影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中，-　一第二產生器，其用於產生一第二經組合影像(LeRe-nf)，該第二經組合影像(LeRe-nf)包括：-　具有該第一影像之第一同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中及-　具有來自該第二影像之第一同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中，-　一第三產生器，其用於產生一第三經組合影像(LoRo-nf)，該第三經組合影像(LoRo-nf)包括：-　具有該第一影像之第二同位之樣本，該等樣本在空間上共同定位於該第三經組合影像中及-　具有來自該第二影像之第二同位之樣本，該等樣本在空間上共同定位於該第三經組合影像中，-　一第一編碼器，其用於藉由編碼該第一經組合影像(LeRe)來產生一基本層(LR-bas)，-　一第一按比例放大器，其用於按比例放大包括於該基本層中之影像資訊(LeRe')之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子(Lpred)及一第二中間預測子(Lpred)，-　一第四產生器，其用於基於該等第一及第二中間預測子(Lpred、Rpred)產生一第一全解析度預測子(LeRepred)以用於產生一第一增強層(LR-enh1)及一第二編碼器，其用於藉由使用該第一全解析度預測子(LeRepred)來編碼該第二經組合影像(LeRe-nf)從而產生該第一增強層(LR-enh1)，-　一第五產生器，其用於基於該等第一及第二中間預測子(Lpred、Rpred)產生一第二全解析度預測子(LoRopred)以用於產生一第二增強層(LR-enh2)及一第三編碼器，其用於藉由使用該第二全解析度預測子(LoRopred)來編碼該第三經組合影像(LoRo-nf)從而產生該第二增強層(LR-enh2)。

條款351。一種用於解碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之解碼器，該方法包括：-　一第一解碼器，其用於藉由解碼一基本層來產生一第一經解碼經組合影像(LeRe')，-　一按比例放大器，其用於按比例放大包括於該基本層中之影像資訊(LeRe')之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子(Lpred)及一第二中間預測子(Rpred)，-　一第一產生器，其用於基於該等第一及第二中間預測子(Lpred、Rpred)產生一第一全解析度預測子(LeRepred)以用於解碼一第一增強層(LR-enh1)及一第二解碼器，其用於使用該第一全解析度預測子(LeRepred)來解碼該第一增強層(LR-enh1)從而產生該經解碼第二經組合影像(LeRe-nf')，-　一第二產生器，其用於基於該等第一及第二中間預測子(Lpred、Rpred)產生一第二全解析度預測子(LoRopred)以用於解碼一第二增強層(LR-enh2)及一第三解碼器，其用於使用該第二全解析度預測子(LoRopred)來解碼該第二增強層(LR-enh2)從而產生該經解碼第三經組合影像(LoRo-nf')，-　一第一重新建構器，其用於藉由下述方式來重新建構一第一經重新建構影像(L')-　使用該第二經解碼經組合影像(LeRe-nf')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第一同位之樣本且-　使用該第三經解碼經組合影像(LoRo-nf')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第二同位之樣本，從而形成該第一經重新建構影像(L')，及-　一第二經重新建構器，其用於藉由下述方式來重新建構一第二經重新建構影像(R')-　使用該第二經解碼經組合影像(LeRe-nf')中之另外在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第一同位之樣本且-　使用該第三經解碼經組合影像(LoRo-nf')中之另外在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第二同位之樣本，從而形成該第二經重新建構影像。

條款360。一種位於一電腦可讀媒體上之電腦程式產品，該產品包括用於執行如條款301至315或330至338之方法中至少一者之指令。

條款361。一種用於執行條款301至315或330至338之至少一或多種方法之軟體工具，其中該軟體工具包括用於執行該至少一或多種方法之指令。

概括

關於本發明之各種變化形式及態樣，應注意，較佳對舊型裝置隱藏該等額外特徵及需要編碼之額外資訊。一種使得能夠對舊型裝置隱藏資訊之簡單方法揭示於同一申請人之題為「METHOD AND SYSTEM FOR ENCODING A VIDEO DATA SIGNAL,ENCODED VIDEO DATA SIGNAL,METHOD AND SYSTEM FOR DECODING A VIDEO DATA SIGNAL」之國際專利申請案WO 2009/040701中，該國際專利申請案據此以引用方式併入。

應瞭解，為清晰起見，上述說明已參照一單個解碼/編碼處理器來闡述了本發明之實施例。然而，應瞭解，可在不貶低本發明之情況下使用不同功能單元或處理器之間的任一合適功能性分佈。因此，應將對解碼/編碼處理器之提及僅視為對用於提供所述功能之合適構件之提及，而非指示一嚴格邏輯或實體結構或組織形式。

本發明之方法可實施為任一合適之形式，包括硬體、軟體、韌體或該等之任一組合。本發明可視情況至少部分地實施為在一或多個資料處理器及/或數位信號處理器上運行之電腦軟體。可採用任一合適方式在實體上、功能上及邏輯上實施本發明一實施例之各元件及組件。實際上，該功能性可在一單個單元中、複數個單元中或作為其他功能單元之一部分實施。因此，本發明可在一單個單元中實施或可在實體上及功能上分佈於不同單元及處理器之間。

儘管已結合某些實施例闡述了本發明，但本發明並非旨在僅限於本文中所陳述之具體形式。而是，本發明之範疇僅受隨附申請專利範圍限制。另外，儘管一特徵可能看起來係結合特定實施例加以說明，然而熟習此項技術者將認識到，可根據本發明組合各所述實施例之不同特徵。在申請專利範圍中，措詞包括(comprising)並不排除其他元件或步驟之存在。

此外，儘管是個別列出，但複數個構件、元件或方法步驟可由例如一單個單元或處理器實施。另外，儘管可在不同請求項中包含個別特徵，然而該等特徵可有利地加以組合，且包含於不同請求項中並非意味著該等特徵之組合不可行及/或不有利。此外，在一種類別之請求項中包含一特徵並不意味著僅限於該類別，而是表示該特徵視需要同等地適用於其他請求項類別。此外，請求項中各特徵之次序並不意味著該等特徵在起作用時所必須遵循之任何特定次序，且具體而言，方法請求項中之個別步驟之次序並不意味著必須按此次序來執行該等步驟。而是，可按任何合適次序來執行該等步驟。另外，單數提及形式並不排除複數形式。因此，對「一(a)」、「一(an)」、「第一」、「第二」等之提及形式並不排除複數形式。申請專利範圍中之參考符號提供僅作為闡明實例而無論如何不應視為限制申請專利範圍之範疇。

20．．．左影像

21．．．右影像

22．．．按比例縮小左影像

23．．．按比例縮小右影像

25．．．組合並排影像

40．．．按比例放大濾波器

41．．．按比例放大濾波器

42．．．影像自適應按比例放大濾波器

43．．．影像自適應按比例放大濾波器

BS．．．位元串流

C_pp,L．．．用於組態影像自適應按比例放大濾波器之係數及/或參數

C_pp,R．．．用於組態影像自適應按比例放大濾波器之係數及/或參數

Dec1．．．第一解碼器

Dec2．．．第二解碼器

DeMux．．．解多工器

e．．．屬性(指示其中所含有之樣本係「偶數」同位)

ee．．．屬性

Enc1．．．第一編碼器

Enc2．．．第二編碼器

Enc3．．．增強編碼器

eo．．．屬性

F1．．．低通濾波器/屬性

F2．．．低通濾波器/屬性

F3．．．屬性

L．．．第一影像

L'．．．第一經重新建構影像

Ldis．．．第一位移值

Le'．．．第一經重新建構影像

L-enh．．．第一增強層

LeRe．．．第一經組合影像

LeRe'．．．第二經解碼經組合影像/經解碼經編碼第一經組合影像

LeRe-nf．．．第二經組合影像

LeRepred．．．第一全解析度預測子

LeRo．．．第一經組合影像

LeRo'．．．經解碼經編碼第一經組合影像/編碼於基本層中之影像資訊

LHvec．．．第一基於區塊之位移向量

LoRe．．．經編碼第二經組合影像

LoRepredD．．．基於像差之預測子

LoRo．．．經組合影像

LoRo'．．．第一經解碼經組合影像/編碼於基本層中之影像資訊

LoRo-nf．．．第三經組合影像

LoRopr．．．第三全解析度預測子

LoRopred．．．第二全解析度預測子

Lpred．．．第一全解析度預測子

LpredD．．．第一全解析度像差預測子

LR-bas．．．基本層

LR-enh．．．增強層

LR-enh1．．．第一增強層

LR-enh2．．．第二增強層

Mux．．．多工器

No Fil．．．屬性

o．．．屬性(指示其中所含有之樣本係「奇數」同位)

oe．．．屬性

oo．．．屬性

P．．．區塊

Q．．．運算子

R．．．第二影像

R'．．．第二經重新建構影像

Rdis．．．第二位移值

Re'．．．第二經重新建構影像

R-enh．．．第二增強層

RHvec．．．第二基於區塊之位移向量

RHvec．．．第二基於區塊之位移向量

Ro'．．．輸入

Rpred．．．第二全解析度預測子

RpredD．．．第二全解析度像差預測子

圖1A展示用於產生一經組合影像之一方塊圖；

圖1B展示基於兩個經組合影像重新建構兩個影像之一方塊圖；

圖2A展示根據本發明之一編碼器之一方塊圖；

圖2B展示根據本發明之一解碼器之一方塊圖；

圖3展示一先前技術MVC編碼器/解碼器之一例示性方塊圖；

圖4展示像差估計器及基於區塊之像差產生器之一方塊圖；

圖5展示根據本發明之一編碼器之一方塊圖；

圖6A展示根據本發明之一編碼器之一方塊圖；

圖6B展示根據本發明之一解碼器之一方塊圖；

圖7A展示根據本發明之一編碼器之一方塊圖；

圖7B展示根據本發明之一解碼器之一方塊圖；

圖8展示根據本發明之一編碼器之一方塊圖；及

圖9展示提供對本發明之態樣及變化形式之選定性質之一概述之一表。

BS．．．位元串流

Enc1．．．第一編碼器

Enc2．．．第二編碼器

eo．．．屬性

F1．．．低通濾波器/屬性

F2．．．低通濾波器/屬性

L．．．第一影像

Le'．．．第一經重新建構影像

LeRo．．．第一經組合影像

LeRo'．．．經解碼經編碼第一經組合影像/編碼於基本層中之影像資訊

LHvec．．．第一基於區塊之位移向量

LoRe．．．第二經組合影像

LoRepredD．．．基於像差之預測子

LpredD．．．第一全解析度像差預測子

LR-bas．．．基本層

LR-enh．．．增強層

Mux．．．多工器

oe．．．屬性

R．．．第二影像

RHvec．．．第二基於區塊之位移向量

Ro'．．．輸入

RpredD．．．第二全解析度像差預測子

Claims (25)

1. 一種編碼對應於一多重視圖(multi-view)信號之兩個視圖之一影像對(L、R)之方法，該方法包括：基於該影像對之一第一影像之一第一經低通濾波版本及該影像對之第二影像之一第一經低通濾波版本產生一第一經組合影像(LeRo)，該第一經組合影像(LeRo)包括：具有來自該第一影像之該第一經低通濾波版本之一第一同位(parity)之樣本，該等樣本在空間上共同定位(co-located)於該第一經組合影像中，及具有來自該第二影像之該第一經低通濾波版本之一第二同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中，藉由編碼該第一經組合影像(LeRo)來產生一基本層(LR-bas)，產生第一及第二基於像差之預測子(LpredD、RpredD)以及與編碼於該基本層中之影像資訊(LeRo')相關聯之分別相關聯第一及第二基於區塊之位移向量(LHvec、RHvec)，該等第一及第二基於區塊之位移向量(LHvec、RHvec)係使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之該影像資訊(LeRo')以及該等各別第一及第二影像(L、R)而產生，藉由使用該等第一及第二基於像差之預測子(LpredD、RpredD)編碼該等第一及第二影像(L、R)來產 生一增強層(LR-enh；L-enh、R-enh)。
2. 如請求項1之方法，其中產生該等第一及第二基於像差之預測子(LpredD、RpredD)包括產生：該第一基於像差之預測子(LpredD)及該等第一基於區塊之位移向量(LHvec)，此係基於編碼於該基本層中之該影像資訊(LeRo')，該第一影像(L)及自該等第一及第二影像導出之像差資訊及該第二基於像差之預測子(RpredD)及該等第二基於區塊之位移向量(RHvec)，此係基於編碼於該基本層中之該影像資訊(LeRo')，該第二影像(R)及自該等第一及第二影像導出之像差資訊。
3. 如請求項1至2中任一項之方法，其中該等第一及第二影像(L、R)係以一第二經組合影像(LoRe)之形式編碼於該增強層(LR-enh)中，且該方法進一步包括：基於該影像對之該第一影像之一第二經低通濾波版本及該影像對之該第二影像之一第二經低通濾波版本產生該第二經組合影像(LoRe)，該第二經組合影像(LoRe)包括：具有來自該第一影像之該第二經低通濾波版本之第二同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中及具有來自該第二影像之該第二經低通濾波版本之第 一同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中。
4. 如請求項3之方法，其中產生該等基於區塊之位移向量包括：使用該等第一及第二影像(L、R)來產生一初始像差估計(Ldis、Rdis)及使用該初始像差估計(Ldis、Rdis)來產生與該等各別像差預測子(LpredD、RpredD)相關聯之基於區塊之位移向量(LHvec、RHvec)。
5. 如請求項3之方法，其進一步包括：將該第一基於像差之預測子(LpredD)與該第二基於像差之預測子(RpredD)組合成一基於像差之預測子(LoRepredD)，該基於像差之預測子(LoRepredD)包括：具有來自該第一影像之該第一基於像差之預測子之第二同位之樣本，該等樣本在空間上共同定位於該基於像差之預測子(LoRepredD)中及具有來自該第二影像之該第二基於像差之預測子之第一同位之樣本，該等樣本在空間上共同定位於該基於像差之預測子(LoRepredD)中，且其中該編碼該等第一及第二影像(L、R)包括使用呈該基於像差之預測子(LoRepredD)之形式之該等第一及第二基於像差之預測子(LpredD、RpredD)。
6. 如請求項1之方法，其中該增強層(L-enh、R-enh)係由一第一增強層(L-enh)及一第二增強層(R-enh)形成，且該方 法進一步包括：藉由使用該第一基於像差之預測子(LpredD)編碼該第一影像(L)來產生該第一增強層(L-enh)，藉由使用該第二基於像差之預測子(RpredD)編碼該第二影像(R)來產生該第二增強層(R-enh)。
7. 如請求項6之方法，其進一步包括：按比例放大包括於該基本層中之該影像資訊(LeRo')之各別空間半部以分別形成兩者皆處於全解析度下之一第一中間預測子(Lpred)及一第二中間預測子(Rpred)，進一步使用該第一中間預測子(Lpred)來編碼該第一影像(L)，及進一步使用該第一中間預測子(Rpred)來編碼該第二影像(R)。
8. 如請求項1或2之方法，其中使用如下中之一者來編碼該基本層：一MPEG-2編碼一AVC編碼及一HVC編碼或其中使用如下中之一者來編碼該增強層：一AVC編碼及一HVC編碼。
9. 如請求項1或2之方法，其中將該等經組合影像編碼為如下中之一者：經並排編碼影像或 經上下編碼影像。
10. 如請求項1或2之方法，其進一步包括將該基本層(LR-bas)、該增強層(LR-enh；L-enh、R-enh)、該等第一基於區塊之位移向量(LHvec)及該等第二基於區塊之位移向量(RHvec)多工成一位元串流(BS)之一步驟。
11. 如請求項1或2之方法，其進一步包括廣播該位元串流(BS)之一步驟。
12. 一種電腦程式產品，一位元串流(BS)記錄於其上，該位元串流包括對應於一多重視圖信號之兩個視圖之一經編碼影像對(L、R)，該位元串流包括：一基本層(LR-bas)，該基本層包括使用一第一編碼器編碼之一經編碼第一經組合影像(LeRo')，一增強層(LR-enh)，該增強層包括使用一增強編碼器並使用基於該經解碼經編碼第一經組合影像(LeRo')之一預測子輸入編碼之經編碼第一及第二影像(L、R)，其中該經編碼第一經組合影像(LeRo')係基於一第一經組合影像(LeRo)，該第一經組合影像(LeRo)係基於一原始影像對之一第一影像之一第一經低通濾波版本及該原始影像對之一第二影像之一第一經低通濾波版本，該第一經組合影像(LeRo)包括：具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該經編碼第一經組合影像中，及具有來自該第二影像之該第一經低通濾波版本之一 第二同位之樣本，該等樣本在空間上共同定位於該經編碼第一經組合影像中，與編碼於該基本層中之影像資訊(LeRo')相關聯之第一及第二基於區塊之位移向量(LHvec、RHvec)，該等第一及第二基於區塊之位移向量(LHvec、RHvec)係使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之該影像資訊(LeRo')以及該等各別第一及第二影像(L、R)而產生。
13. 如請求項12之電腦程式產品，其中該等第一及第二影像(L、R)係以一第二經組合影像(LoRe)之形式編碼於該增強層(LR-enh)中，該第二經組合影像(LoRe)係基於該影像對之該第一影像之一第二經低通濾波版本及該影像對之該第二影像之一第二經低通濾波版本，該第二經組合影像(LoRe)包括：具有來自該第一影像之該第二經低通濾波版本之第二同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中，及具有來自該第二影像之該第二經低通濾波版本之第一同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中。
14. 如請求項12之電腦程式產品，其中該增強層係由一第一增強層(L-enh)及一第二增強層(R-enh)形成，該第一增強層(L-enh)包括使用一第一基於像差之預測子(LpredD)編碼之一第一經編碼影像(L')，該第一基於像 差之預測子(LpredD)係基於包括於該基本層中之該影像資訊(LeRo')以及使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之該影像資訊(LeRo')及該第一影像(L)產生之第一基於區塊之位移向量(LHvec)，該第二增強層(R-enh)包括使用一第二基於像差之預測子(RpredD)編碼之一第二經編碼影像(R')，該第二基於像差之預測子(RpredD)係基於包括於該基本層中之該影像資訊(LeRo')以及使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之該影像資訊(LeRo')及該第二影像(R)產生之第二基於區塊之位移向量(RHvec)。
15. 一種解碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之方法，該方法包括：藉由解碼一基本層(LR-bas)來產生一第一經解碼經組合影像(LeRo')，結合該第一經解碼經組合影像(LeRo')使用分別相關聯第一及第二基於區塊之位移向量(LHvec、RHvec)來產生第一及第二基於像差之預測子(LpredD、RpredD)，該等第一及第二基於區塊之位移向量(LHvec、RHvec)與該第一經解碼經組合影像(LeRo')相關聯，該等第一及第二基於區塊之位移向量(LHvec、RHvec)係使用存在於該等第一及第二影像(L、R)中之像差資訊、該第一經解碼經組合影像(LeRo')以及該等各別第一及第二影像(L、R)而產 生，使用該等第一及第二基於像差之預測子(LpredD、RpredD)來解碼一增強層(LR-enh；L-enh、R-enh)從而形成一第一經重新建構影像(L')及一第二經重新建構影像(R')。
16. 如請求項15之方法，其中該等第一及第二影像(L、R)係以一第二經組合影像(LoRe)之形式編碼於該增強層(LR-enh)中，且該方法進一步包括：藉由使用該等第一及第二基於像差之預測子(LpredD、RpredD)解碼該增強層(LR-enh)來產生該第二經解碼經組合影像(LoRe')，藉由以下各項來重新建構該第一經重新建構影像(L')使用該第一經解碼經組合影像(LeRo')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第一同位之樣本且使用該第二經解碼經組合影像(LoRe')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第二同位之樣本，從而形成該第一經重新建構影像(L')，及藉由以下各項來重新建構該第二經重新建構影像(R')使用該第一經解碼經組合影像(LeRo')中之另外在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第二同位之樣本且使用該第二經解碼經組合影像(LoRe')中之另外在 空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第一同位之樣本，從而形成該第二經重新建構影像。
17. 如請求項15之方法，其中該增強層(L-enh、R-enh)係由一第一增強層(L-enh)及一第二增強層(R-enh)形成，且該方法進一步包括：使用該第一基於像差之預測子(LperdD)來解碼該第一增強層(L-enh)從而形成該第一經重新建構圖像(L')，使用該第二基於像差之預測子(RpredD)來解碼該第二增強層(R-enh)從而形成一第二經重新建構圖像(R')。
18. 一種用於編碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之編碼器，該編碼器包括：一第一產生器，其用於基於該影像對之一第一影像之一第一經低通濾波版本及該影像對之第二影像之一第一經低通濾波版本產生一第一經組合影像(LeRo)，該第一經組合影像(LeRo)包括：具有來自該第一影像之該第一經低通濾波版本之一第一同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中，及具有來自該第二影像之該第一經低通濾波版本之一第二同位之樣本，該等樣本在空間上共同定位於該第一經組合影像中，一第一編碼器(Enc1)，其用於藉由編碼該第一經組合影像(LeRo)來產生一基本層(LR-bas)， 一第二產生器，其用於產生第一及第二基於像差之預測子(LpredD、RpredD)以及與編碼於該基本層中之影像資訊(LeRo')相關聯之分別相關聯第一及第二基於區塊之位移向量(LHvec、RHvec)，該等第一及第二基於區塊之位移向量(LHvec、RHvec)係使用存在於該等第一及第二影像(L、R)中之像差資訊、編碼於該基本層中之該影像資訊(LeRo')以及該等各別第一及第二影像(L、R)而產生，一增強編碼器(Enc2；Enc2、Enc3)，其用於藉由使用該等第一及第二基於像差之預測子(LpredD、RpredD)編碼該等第一及第二影像(L、R)來產生一增強層(LR-enh；L-enh、R-enh)。
19. 如請求項18之編碼器，其中該等第一及第二影像(L、R)以一第二經組合影像(LoRe)之形式編碼於該增強層(LR-enh)中，且其中該編碼器進一步包括：一第三產生器，其用於基於該影像對之該第一影像之一第二經低通濾波版本及該影像對之該第二影像之一第二經低通濾波版本產生該第二經組合影像(LoRe)，該第二經組合影像(LoRe)包括：具有來自該第一影像之該第二經低通濾波版本之第二同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中及具有來自該第二影像之該第二經低通濾波版本之第一同位之樣本，該等樣本在空間上共同定位於該第二經組合影像中。
20. 如請求項18之編碼器，其中該增強層係由一第一增強層(L-enh)及一第二增強層(R-enh)形成，且其中該增強編碼器包括：一第二編碼器，其用於藉由使用該第一基於像差之預測子(LpredD)編碼該第一影像(L)來產生該第一增強層(L-enh)，一第三編碼器，其用於藉由使用該第一基於像差之預測子(RpredD)編碼該第二影像(R)來產生該第二增強層(R-enh)。
21. 一種用於解碼對應於一多重視圖信號之兩個視圖之一影像對(L、R)之解碼器，該解碼器包括：一第一解碼器，其用於藉由解碼一基本層來產生一第一經解碼經組合影像(LeRo')，一第一產生器，其用於結合該第一經解碼經組合影像(LeRo')使用分別相關聯第一及第二基於區塊之位移向量(LHvec、RHvec)來產生第一及第二基於像差之預測子(LpredD、RpredD)，該等第一及第二基於區塊之位移向量(LHvec、RHvec)與該第一經解碼經組合影像(LeRo')相關聯，該等第一及第二基於區塊之位移向量(LHvec、RHvec)係使用存在於該等第一及第二影像(L、R)中之像差資訊、該第一經解碼經組合影像(LeRo')以及該等各別第一及第二影像(L、R)而產生，一增強解碼器，其用於使用該等第一及第二基於像差之預測子(LpredD、RpredD)來解碼一增強層(LR-enh；L- enh、R-enh)從而形成一第一經重新建構影像(L')及一第二經重新建構影像(R')。
22. 如請求項21之解碼器，其中該等第一及第二影像(L、R)以一第二經組合影像(LoRe)之形式編碼於該增強層(LR-enh)中，且該解碼器進一步包括：該增強解碼器，其包括一第二解碼器，該第二解碼器用於藉由使用該等第一及第二基於像差之預測子(LpredD、RpredD)解碼該增強層(LR-enh)來產生該第二經解碼經組合影像(LoRe')，一第一重新建構器，其用於藉由以下各項來重新建構該第一經重新建構影像(L')使用該第一經解碼經組合影像(LeRo')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第一同位之樣本且使用該第二經解碼經組合影像(LoRe')中之在空間上共同定位之樣本作為該第一經重新建構影像(L')中之具有一第二同位之樣本，從而形成該第一經重新建構影像(L')，及一第二經重新建構器，其用於藉由以下方式來重新建構該第二經重新建構影像(R')使用該第一經解碼經組合影像(LeRo')中之另外在空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第二同位之樣本且使用該第二經解碼經組合影像(LoRe')中之另外在 空間上共同定位之樣本作為該第二經重新建構影像(R')中之具有一第一同位之樣本，從而形成該第二經重新建構影像。
23. 如請求項21之解碼器，其中該增強層(L-enh、R-enh)係由一第一增強層(L-enh)及一第二增強層(R-enh)形成，且該增強解碼器包括：一第二解碼器，其用於使用該第一基於像差之預測子(LpredD)來解碼該第一增強層(L-enh)從而形成該第一經重新建構圖像(L')，一第三解碼器，其用於使用該第二基於像差之預測子(RpredD)來解碼該第二增強層(R-enh)從而形成一第二經重新建構圖像(R')。
24. 一種位於一電腦可讀媒體上之電腦程式產品，該產品包括用於執行如請求項1至11或15至17之方法中之至少一者之指令。
25. 一種用於執行如請求項1至11或15至17之至少一或多個方法之軟體工具，其中該軟體工具包括用於執行該至少一或多個方法之指令。