TWI521940B - 用於立體及自動立體顯示器之深度圖傳遞格式 - Google Patents

用於立體及自動立體顯示器之深度圖傳遞格式 Download PDF

Info

Publication number
TWI521940B
TWI521940B TW102118950A TW102118950A TWI521940B TW I521940 B TWI521940 B TW I521940B TW 102118950 A TW102118950 A TW 102118950A TW 102118950 A TW102118950 A TW 102118950A TW I521940 B TWI521940 B TW I521940B
Authority
TW
Taiwan
Prior art keywords
depth map
image
data
depth
encoded
Prior art date
Application number
TW102118950A
Other languages
English (en)
Other versions
TW201412093A (zh
Inventor
高皮 拉斯銘亞南
薩米爾 胡亞卡爾
陳濤
卡雷斯 舒爾
阿密特 葛雷蒂
哈瑞賀朗 加納帕西
菲利浦 克雷徹
Original Assignee
杜比實驗室特許公司
杜比國際公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杜比實驗室特許公司, 杜比國際公司 filed Critical 杜比實驗室特許公司
Publication of TW201412093A publication Critical patent/TW201412093A/zh
Application granted granted Critical
Publication of TWI521940B publication Critical patent/TWI521940B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Description

用於立體及自動立體顯示器之深度圖傳遞格式
本發明係大致有關影像。更具體而言，本發明之一實施例係有關用於立體及自動立體顯示器(auto-stereoscopic display)的深度圖(depth map)之遞送格式。
三維(3D)視訊系統很有興趣增進消費者在電影院或家中的體驗。這些系統使用自動及自動立體顯示方法，該等方法包括：(i)互補色(anaglyph)--利用雙色濾光片(通常是紅色用於一眼，且青色用於另一眼)將光過濾，而提供左/右眼影像分離；(ii)線偏光(linear polarization)--利用(通常為)垂直定向的一線偏光片(linear polarizer)將左眼影像過濾，且利用水平定向的一線偏光片將右眼影像過濾，而提供投影機上的分離； (iii)圓偏光(circular polarization)--利用(通常為)一左旋圓偏光片(left handed circular polarizer)將左眼影像過濾，且利用一)將右眼影像過濾，而提供投影機上的分離；(iv)快門眼鏡(shutter glasses)--藉由使左及右影像在時間上多工化，而提供分離；以及(v)光譜分離(spectral separation)--藉由在光譜上過濾左眼及右眼影像，使左眼及右眼分別接收紅、綠、藍光譜的一互補部分，而提供投影機上的分離。
現今市場上供應的3D顯示器大部分是使用者需要戴特殊的3D眼鏡才能體驗到3D效果的立體電視。將3D內容遞送到這些顯示器時，只需要載送兩個分離的視圖：一個左視圖及一個右視圖。已經出現了自動立體(無須眼鏡的)顯示器。這些顯示器提供某些移動視差(motion parallax)量；觀看者可以如同其走動時自不同的角度觀看物體之方式移動其頭部。
傳統的立體顯示器提供單一3D視圖；然而，自動立體顯示器需要根據該顯示器的設計而提供諸如五個視圖、九個視圖、或28個視圖等的多個視圖。當將正規立體內容提供給自動立體顯示器時，該等顯示器提取深度圖，且根據該深度圖而產生或繪製多個視圖。在本說明書的用法中，術語"深度圖"意指含有與場景(scene)物體的表面離開視點的距離有關的資訊之影像或其他位元元流。可易於將一深度圖轉換為一視差圖(disparity map)，且 在本文件的上下文中，術語深度圖及視差圖是相同的，且可互換的。
該深度圖亦可被用於設定具有不同解析度的不同顯示器類型(例如，1080p顯示器或2K顯示器)的3D體驗之新目標。已有一些研究顯示為3D電影設計的深度量不適於較小的行動裝置，且反之亦然。此外，觀看者對3D深度量的偏好可能是與年齡相依的(年輕者比年老者偏好較大的深度體驗)，與文化相依的(亞洲的文化偏好比歐美國家的文化偏好較大的深度)，或者只是與觀看者相依的。該深度圖資訊可被用來重新繪製立體視圖，以便增加或減少所感受的深度及其他調整。如本案發明人所瞭解的，連同內容而遞送深度圖資訊之改良式技術對於增進使用者對自動立體及立體顯示器的體驗是較理想的。我們進一步可瞭解這些改良式技術最好是與現有的單一視圖及3D系統反向相容。
本節所述之該等方法是可被追求的方法，但不必然是先前已被構想出或被追求的方法。因此，除非另有其他指示，否則不應假定本節所述的該等方法中之任何方法只因其被包含在本節即被視為先前技術。同樣地，除非另有其他指示，否則不應假定以與一或多種方法有關之方式識別的問題已根據本節而在任何先前技術中被認知。
105-1‧‧‧左視圖
105-2‧‧‧右視圖
112‧‧‧並排視圖
117‧‧‧上下視圖
120‧‧‧基礎層編碼器
122‧‧‧編碼基礎層位元流
130‧‧‧增強層編碼器
132‧‧‧編碼增強層位元流
140‧‧‧參考處理單元
127‧‧‧參考處理單元層位元流
135，250，450，735，850，950，1035，1135，1335‧‧‧基礎層解碼器
137‧‧‧解碼並排位元流
145，355，455，460，745，855，860，1045，1345‧‧‧增強層解碼器
147‧‧‧上下位元流
152‧‧‧全解析度3D位元流
112-Y，117-Y，1117-Y，1512-Y，1512C-Y，1512C-YS‧‧‧亮度成分
112-UV，117-UV，417-UV，419-UV，512-UV，617-UV，819-B，1112-UV，1117-UV，1205-UV，1512-UV，1765-U，1765-V‧‧‧色度成分
212，312，512，712，812，912，1012，1112，1305‧‧‧基礎層
217，417，817，917‧‧‧第一增強層
219S，419，819，919，1610，1640‧‧‧第二增強層
219S-A‧‧‧主要通道
219S-B‧‧‧輔助通道
255，955‧‧‧第一增強層解碼器
265，960‧‧‧第二增強層解碼器
319‧‧‧第二基礎層
350‧‧‧第一基礎層解碼器
360‧‧‧第二基礎層解碼器
365‧‧‧加法器
125，225，425，925，925A，925B，1725‧‧‧紋理參考處理單元
230，330，430，730，830，930，1330，1730‧‧‧深度圖參考處理單元
717，812，1017，1117，1325,1765‧‧‧增強層
612‧‧‧第一基礎層
617‧‧‧第二基礎層
819-A‧‧‧核心深度資料
1205A‧‧‧層
1305-L‧‧‧全解析度左視圖
1305-ZL‧‧‧全解析度左深度圖
1305-R‧‧‧全解析度右視圖
1305-ZR‧‧‧全解析度右深度圖
1512‧‧‧多工圖像
1620‧‧‧紋理參考處理單元及Z緩衝器參考處理單元
1710，1715‧‧‧填充
1745-U，1745-V‧‧‧高解析度深度資料
1740‧‧‧色度資料
已參照各附圖而以舉例且非限制之方式說明 了本發明的一實施例，在該等附圖中，相像的參考編號參照到類似的元件，其中：第1A圖及第1B圖示出用於3D視訊之例示框相容全解析度(FCFR)編碼器及解碼器；第1C圖示出沒有深度資料的一3D FCFR編碼格式之一簡化表示法；第1D圖示出對應的解碼器之一簡化表示法；第2A圖示出根據本發明的一實施例之一例示3層深度圖遞送格式，其中基礎層包含一並排3D信號；第2B圖示出可被適當的解碼器提取之對應的位元流之例子；第2C圖示出根據本發明的一實施例之一例示3層深度圖遞送格式，其中基礎層包含一上下3D信號；第3A圖示出根據本發明的一實施例之一例示3層深度圖遞送格式；第3B圖示出可被適當的解碼器提取之對應的位元流之例子；第4A圖示出根據本發明的一實施例之一例示3層深度圖遞送格式；第4B圖示出可被適當的解碼器提取之對應的位元流之例子；第5圖示出根據本發明的一實施例之一例示單層深度圖遞送格式；第6圖示出根據本發明的一實施例之一例示雙層深度圖遞送格式；第7A圖示出根據本發明的一實施例之一例示 2層深度圖遞送格式；第7B圖示出可被適當的解碼器提取之對應的位元流之例子；第8A圖示出根據本發明的一實施例之一例示3層深度圖遞送格式；第8B圖示出可被適當的解碼器提取之對應的位元流之例子；第9A圖示出根據本發明的一實施例之一例示3層深度圖遞送格式；第9B圖示出可被適當的解碼器提取之對應的位元流之例子；第10A圖示出根據本發明的一實施例之一例示2層深度圖遞送格式；第10B圖示出可被適當的解碼器提取之對應的位元流之例子；第11A圖示出根據本發明的一實施例之一例示2層深度圖遞送格式；第11B圖示出可被適當的解碼器提取之對應的位元流之例子；第12A圖及第12B圖示出根據本發明的一實施例之單層深度圖遞送格式之例子；第13A圖示出根據本發明的一實施例之一例示2層深度圖遞送格式；第13B圖示出可被適當的解碼器提取之對應的位元流之例子；第14圖示出根據本發明的一實施例之一例示單層深度圖遞送格式；第15A圖及第15B圖示出根據本發明的實施例之例示單層深度圖遞送格式；第15C圖示出根據本發明的一實施例之分段 深度圖多工之一例子，第16A-16E圖示出根據本發明的實施例之例示3層深度圖遞送格式；第17A-17B圖示出根據本發明的實施例之例示2層深度圖遞送格式。
本發明說明瞭用於立體及自動立體顯示器的深度圖之遞送格式。該格式支援其中包括傳統的纜線、衛星、或空中廣播、以及經由網際網路遞送(over-the-top delivery)之各種視訊遞送情況。在某些實施例中，該等格式容許傳統的解碼器提取反向相容的2D或3D位元流，而較新的解碼器可繪製用於立體或自動立體顯示器之多個視圖及相關聯的深度圖資料。在下文的說明中，為了達到解說之目的，將述及許多特定細節，以便提供對本發明的徹底瞭解。然而，顯然可在沒有這些特定細節之情形下實施本發明。在其他的情形中，不以詳盡的細節說明習知的結構及裝置，以便避免非必要地模糊了本發明。
概觀
本發明所述之實施例係有關用於立體及自動立體顯示器的深度圖資訊之遞送格式。如果有3D輸入圖像及對應的輸入深度圖資料，則根據該輸入圖像而產生一並排及一上下圖像。使用一編碼器將該並排圖像編碼，而產生一編 碼基礎層。使用該編碼器及一紋理參考處理單元(Reference Processing Unit；簡稱RPU)將該上下圖像編碼，而產生一第一增強層，其中部分地根據該基礎層位元流將該第一增強層編碼。使用該編碼器及一深度圖RPU(在下文中被表示為Z-RPU或RPUz)將該並排圖像之深度資料編碼，而產生一第二增強層，其中部分地根據該基礎層將該第二增強層編碼。
在某些實施例中，並不將深度圖資料直接編碼為該等基礎及增強層，而是該編碼器可將殘餘深度圖資料編碼，該殘餘深度資料包含該輸入深度圖資料與一Z-RPU產生的估計深度圖資料間之差異。
在某些實施例中，深度圖資料及視訊資料被編碼為一單層，該單層包含一第一視圖之半解析度資料、以及一第二視圖之半解析度資料或該第一視圖的半解析度資料之深度圖資料。
在某些實施例中，深度圖資料及視訊資料被編碼為兩個基礎層。一第一基礎層包含一第一視圖之全解析度資料，而一第二基礎層包含一第二視圖之全解析度資料或該第一視圖之全解析度深度資料。
在某些實施例中，深度圖資料及視訊資料被編碼為三層。基礎層包含一第一視圖之半解析度資料及其對應的深度圖資料。一第一增強層包含一上下圖像，且一第二增強層包含一第二視圖之半解析度資料及其對應的深度圖資料。
在某些實施例中，深度圖資料及視訊資料被編碼為兩層。基礎層包含並排圖像的亮度(luminance)及色度(chroma)成分。增強層的亮度成分包含一上下圖像之亮度成分，且該增強層之色度成分包含該上下圖像之深度圖資料。
在某些實施例中，該並排圖像及該上下圖像被填充(pad)，使其水平及垂直空間尺度是一預定巨集區塊(macroblock)大小(例如，16)的整數倍。此外，被填充的資料包含被分階抽樣的(sub-sampled)原始深度圖資料。
在某些實施例中，也可以深度圖資料或殘餘深度圖資料取代一增強層中之色度像素值。
用於3D之例示FCFR格式
第1A圖示出不含任何深度資訊的3D視訊資料的一框相容全解析度(Frame Compatible Full-Resolution；簡稱FCFR)編碼器之一例子。該編碼器根據T.Chen等人於2011年9月29日提出申請的美國臨時專利申請案61/541,005 "Dual-layer frame-compatible full-resolution stereoscopic 3D delivery"(且亦於2012年9月26日以PCT申請案序號PCT/US2012/057302之方式提出申請)所述之方法而操作，本發明特此引用該專利申請案之全文以供參照。
如第1A圖所示，一3D信號(105)之全解析 度(例如，1920×1080)左及右視圖(105-1，105-2)被過濾，被分階抽樣(水平地或垂直地)，且被多工化，以便產生一並排視圖112及上下視圖117。該並排及上下圖像包含該輸入的兩個視圖；但是每一視圖具有較低之解析度。例如，對於一1920×1080輸入而言，該等並排子圖像(L，R)可分別是960×1080，且該等上下子圖像(L’，R’)可分別是1920×540。BL編碼器120將並排信號112，而產生一編碼基礎層(Base Layer；簡稱BL)位元流122。BL編碼器120可以是諸如ISO/IEC MPEG-2、MPEG-4 part2、或H.264(AVC)標準指定的那些視訊編碼器或諸如Google的VP8、Microsoft的VC-1、及HEVC之其他編碼器等的習知視訊編碼器中之任何視訊編碼器。
作為一第二編碼器之增強層(Enhancement Layer；簡稱EL)編碼器130可將上下信號117編碼，而產生編碼增強層(EL)位元流132。EL編碼器可以與BL編碼器120相同的格式(例如，H.264)編碼，或可以一不同的格式編碼。在某些實施例中，EL編碼器130可使用來自上下信號117及並排信號112之參考框將信號117編碼。例如，BL編碼器120、EL編碼器130、及相關聯的儲存器(圖中未示出)可包含ISO/IEC H.264規格針對多視圖編碼解碼器(Multi-View Codec；簡稱MVC)而指定的一多視圖編碼解碼器。
在某些實施例中，第1A圖之編碼器亦可包含一參考處理單元(RPU)125。在本說明書中與RPU有關 的用法中，術語"參考"之意義並非意味著或表示(且不應被詮釋為有下列意義)：該圖像被明確地用來作為完整編碼程式內之一參考(例如，在"參考圖像"之意義上)。該RPU可符合下列兩個根據專利合作條約(Patent Cooperation Treaty；簡稱PCT)而提出申請的專利申請公告中提出的說明(本發明特此引用該等專利申請案之全文以供所有用途的參照)：(1)Tourapis,A等人提出申請的WO 2010/123909 A1 "Directed Interpolation/Post-processing Methods for Video Encoded Data"；以及(2)Tourapis,A等人提出申請的WO 2011/005624 A1 "Encoding and Decoding Architecture for Frame Compatible 3D Video Delivery"。除非另有相反的指定，否則下文中對RPU的說明將適用於編碼器的RPU以及解碼器的RPU。對視訊編碼相關領域具有一般知識者在閱讀本發明的揭示之後，將可瞭解其中差異，且將能夠區別編碼器專用的、解碼器專用的、與一般性的RPU說明、功能、及程式間。在第1A圖所示的一3D視訊編碼系統之情境中，RPU(125)根據選擇不同的RPU濾波器及程式之一組規則，而存取且內插來自BL編碼器120之解碼影像。
RPU 125能夠使該內插程式在區域層級上具有適應性，其中根據每一區域的特性而內插該區域的圖像/序列。RPU 125使用水平、垂直、或二維(2D)濾波器、邊緣適應(edge adaptive)或基於頻率的區域相依濾波 器、及/或像素複製(pixel replication)濾波器、或用於內插及影像處理的其他方法或辦法。
例如，一像素複製濾波器可能只須一零級保持(zero-order-hold)，例如，內插影像中之每一樣本將等於一低解析度影像中之一鄰近樣本的值。另一像素複製濾波器可執行一跨視圖的複製操作，例如，一視圖中之每一內插樣本將等於來自對向視圖的非內插且位於同一位置之樣本。
額外地或替代地，一視差補償複製方案亦可被用於該RPU。例如，該濾波器可複製不是位於同一位置的區域之樣本，其中可使用一視差向量(disparity vector)指定將要被複製的區域之位置，且該區域也可以是來自不同視圖的一區域。可使用整數精確度或子像素(sub-pixel)精確度指定該視差向量，且該視差向量可能涉及簡單參數(例如，平移參數)、或諸如仿射運動(affine motion)或透視動作(perspective motion)資訊及/或其他資訊等的更複雜的運動模型(motion model)。
編碼器可選擇RPU濾波器，且輸出區域處理信號，而該等區域處理信號被提供給一解碼器RPU(例如，140)作為輸入資料。信令(例如，RPUL 127)以每一區域之方式指定過濾方法。例如，可在RPUL相關的資料標頭中指定諸如數目、尺寸、形狀、及其他特性等的與區域屬性有關之參數。該等濾波器中之某些濾波器可包含 固定的濾波器係數(filter coefficient)，在此種情形中，該RPU不需要明確地以信令通知濾波器係數。其他的濾波器模型可包含顯式模式，其中明確地以信令通知諸如係數值及水平/垂直抽頭(tap)之數目等的濾波器參數。
亦可按照每一色彩成分而指定該等濾波器。該RPU可指定線性濾波器(linear filter)。亦可在該RPU中指定諸如邊緣適應濾波器、雙向濾波器(bi-lateral filter)等的非線性濾波器(non-linear filter)。此外，亦可以信令通知諸如仿射運動或透視動作模型等的指定先進運動補償方法之預測模型。
RPU資料信令127可被嵌入編碼位元流，或可被個別地傳輸到該解碼器。可連同要被執行RPU處理的層而通知該RPU資料。額外地或替代地，可在一RPU資料封包內通知所有層的RPU資料，且在嵌入第2層編碼資料之前或之後將該RPU資料嵌入位元流。RPU資料的供應對特定層可以是可供選擇採用的。如果無法取得RPU資料，則因而可將一內定的方案用於該層的上轉換(up-conversion)。並無不同地，增強層編碼位元流的提供也是可供選擇採用的。
一實施例可以有以最佳方式選擇每一RPU中 之濾波器及濾波區域之多種可能方法。於決定最佳RPU選擇時，可個別地或結合地使用一些準則。該最佳RPU選擇準則可包括基礎層位元流的解碼品質、增強層位元流的解碼品質、其中包括RPU資料的每一層的編碼所需之 位元率、及/或資料的解碼及RPU處理之複雜性。
可以獨立於增強層中之後續處理的方式將一RPU最佳化。因此，可決定一RPU的最佳濾波器選擇，使內插基礎層影像與原始左及右眼影像間之預測誤差在諸如位元率及濾波器複雜性等的其他限制下最小化。
RPU 125可被用來作為處理來自BL編碼器120的資訊之一預先處理級，然後才將該資訊用來作為EL編碼器130中之用於增強層的一潛在預測子。可使用一RPU層(RPU Layer；簡稱RPUL)位元流127將與RPU處理有關的資訊傳送到第1B圖所示之一解碼器(例如，作為中介資料(metadata))。RPU處理可包含各種影像處理操作，例如，色空間(color space)轉換、非線性量化、亮度及色度升頻取樣(up-sampling)、以及濾波。在一典型的實施例中，EL 132、BL 122、及RPUL 127信號被多工化為單一編碼位元流(圖中未示出)。
第1B圖示出用來將第1A圖所示之該編碼器所編碼的位元流解碼之一例示解碼器。該解碼器將所接收的位元流解多工，而產生一BL位元流122、一EL位元流132、及一RPUL位元流127。具有單一BL解碼器135之解碼器可自行將BL位元流122解碼，而產生一解碼並排位元流137。一解碼器可使用信號137而產生單一2D位元流(藉由選擇信號137之左或右視圖)或一反向相容的3D位元流。支援一額外的EL解碼器145之解碼器亦可將上下位元流147解碼，且將其與BL位元流137結合，而 產生一全解析度3D位元流152。可根據前文引用之美國臨時專利申請案61/541,005所述之該等方法執行將上下位元流及並排位元流解多工及結合而產生一全解析度3D視訊流。
BL解碼器135(例如，一MPEG-2或H.264解碼器)對應於BL編碼器120。EL解碼器145(例如，一MPEG-2或H.264解碼器)對應於EL編碼器130。解碼器RPU 140對應於編碼器RPU 125，且在來自RPUL輸入127之指導下，可執行對應於編碼器RPU 125執行的操作之一些操作，而協助EL層132的解碼。
第1C圖示出被第1A圖所示的該雙層編碼器編碼的一3D FCFR編碼格式之一簡化表示法。根據第1C圖之表示法，一編碼BL信號包括一並排信號112，該並排信號112包含一亮度成分(112-Y)及對應的色度成分(112-UV)。例如，在某些實施例中，可以一4：2：0 YUV格式將BL信號112編碼。在某些其他實施例中，可以一4：2：0 YCbCr格式將BL信號112編碼。如第1C圖所示，輸入信號之色度成分可具有比亮度成分低的像素解析度；然而，本發明所述的所有方法都適用於色度可具有與亮度成分相同的解析度之色彩格式(例如，4：4：4 YCbCr或4：4：4 YUV)。可使用第1A圖所示之一編碼器而自行將BL信號112編碼。可根據來自BL位元流112之參考資料而使用RPUT 125將一EL上下位元流117部分地編碼。EL位元流117包含其本身的亮度(117-Y)及色度(117- UV)成分。
在已知第1C圖所示的該編碼器表示法產生的編碼位元流之情形下，第1D圖示出對應的接收器實施例之一簡化表示法。亦可將第1D圖視為一簡化的第1B圖。如前文所述，具有單一BL解碼器135之一傳統的解碼器可自自位元流提取一傳統的(例如，半解析度)框相容(FC)3D位元流，而一較新的解碼器(例如，一H.264 MVC解碼器、或具有一EL解碼器145及一RPU 140的一解碼器)亦可提取增強層，且因而重建一較高解析度且較高品質的FCFR 3D位元流。為了表示法之目的，兩個解碼器間之(例如，BL解碼器135與EL解碼器145間之)一連接(例如，137)表示可利用諸如透過一EL解碼器RPU 140(圖中未示出)而自基礎層提取且經過後處理的框作為參考框。換言之，根據來自該BL位元流的資料而將該編碼EL位元流部分地解碼。
具有反向相容層的用於3D之例示深度格式
第2A圖示出用來遞送FCFR 3D資料及額外的深度圖資料之一例示三層遞送格式。如第2A圖所示，前面的兩層BL 212及EL-1 217對應於傳統的3D FCFR層BL 112及EL 117。與3D FCFR編碼類似，可使用RPUT 225且參考BL層212而將EL-1層217編碼。EL-2層219S代表被編碼為一主要通道219S-A及輔助通道219S-B之深度圖資訊。深度圖資料通常被編碼為8位元灰階資料(grayscale data)；亦即，該等資料不包括任何色度資訊。在EL-2219S中，ZL代表左視圖(例如，105-1)之水平分階抽樣深度資料，且ZR代表右視圖(例如，105-2)之水平分階抽樣深度資料。因為在該實施例中，深度資料被分階抽樣，所以亦可將遺漏的深度資訊併入輔助深度通道219S-B。例如，在一實施例中，假設有左視圖的一原始w×h深度圖，則在垂直分階抽樣之後，可將所產生的w×h/2深度圖分割成被表示為ZL’及ZL”之兩個w/2×h/2深度圖。
可使用一第二EL編碼器自行將EL-2層219S編碼，或者如第2A圖所示，可使用RPUZ 230且參考自BL位元流212提取的深度資料，而將EL-2層219S編碼。
深度圖RPU 230(亦可被稱為RPUZ或Z-RPU，這是因為該RPU對深度或Z緩衝器資料操作)在操作及功能上非常類似於紋理RPU 225(或RPU 125)(也被稱為RPUT，這是因為該RPU對紋理資料操作)，但是不同之處在於具有增添的功能，用以自一基線輸入(例如，BL 212)提取(或預測)估計深度圖資料。可使用諸如Daniel Scharstein及Richard Szeliski發表於IEEE Computer Society Conference on Computer Vision and Pattern Recognition,vol.1,pp.195-202,June 2003之論文"High-Accuracy Stereo Depth Maps Using Structured Light"(本發明特此引用該論文之全文以供參照)等的此 項技術中習知的任何技術自2D或3D資料提取深度圖資訊。
在某些實施例中，EL-2層219S可載送下列資料：未經任何修改的原始深度圖(例如，攝影機擷取的深度圖)、或原始深度圖與RPUZ預測的深度圖間之差異、或來自原始深度圖的特定區域。相同的格式亦可被用來以深度資料的一部分或與RPUT位元流(例如，127)類似的個別RPUZ位元流一部分之方式載送界定RPUZ處理所需的各種參數。
若已知第2A圖之深度圖編碼格式，則視接收器之能力而定，第2B圖示出一些替代的解碼位元流。例如，具有單一解碼器(亦即，BL解碼器250)之一接收器只能提取框相容(FC)3D位元流。具有BL解碼器250及一EL解碼器1 255(例如，一MVC解碼器)之一接收器亦可將FCFR 3D位元流解碼。具有一第二EL解碼器(265)及一解碼器RPUZ(圖中未示出)之一接收器亦可將深度圖ZL及ZR解碼。具有BL解碼器250及EL解碼器2(265)之一接收器可將FC 3D位元流以及深度圖ZL及ZR解碼。
如第2A圖所示，基礎層212包含並排多工L/R編碼資料(例如，112)，且EL-1層包含上下L’/R’多工資料(例如，117)；然而，在本發明所述之用於深度圖的所有遞送格式中，在基礎層中使用並排3D資料與使用上下3D資料是可互換的。因此，如第2C圖所示在 一替代實施例中，BL可包含上下L’/R’信號217(例如，117)，EL-1可包含並排L/R信號212(例如，112)，且EL-2可包含上下深度圖資料ZL’/ZR’(219T)。可針對本說明書所述的其他實施例而引申出類似的實施例。
第3A圖示出第2A圖所示的深度圖遞送格式之一變形。如第3A圖所示，使用一第二基礎層BL-2 319將深度圖資料編碼。為了改善編碼效率，一編碼器並不將原始深度資料ZL及ZR編碼，而是可利用一可供選擇採用的RPUZ 330產生估計的深度圖資料。
在一實施例中，RPUZ 330可利用來自基礎層312的資訊推導出預測深度資料ZEL及ZER。然後，用於BL-2之編碼器並不將ZL及ZR直接編碼，而是可將深度殘餘值RZL=ZL-ZEL及RZR=ZR-ZER編碼。類似的深度圖殘餘值編碼可適用於本說明書所述的所有實施例。
若已知根據第3A圖而編碼之深度圖資料，則視接收器之能力而定，第3B圖示出一些替代的解碼情況。例如，具有單一BL解碼器(亦即，BL解碼器1350)之一接收器可將FC 3D位元流解碼器。具有一第二BL解碼器(BL解碼器2 360)之一接收器可將深度資料ZL及ZR或殘餘深度資料(RZL，RZR)解碼。具有該第二BL解碼器360及一解碼器RPUZ之一接收器可使用該BL位元流重建估計深度資料(ZEL及ZER)，該等估計深度資料可被加到(例如，經由加法器365)該等解碼殘餘深度資料(RZL，RZR)，而產生輸出深度資料ZL及ZR。請 注意，可以該解碼器之RPUZ或個別的處理電路實施該額外的功能365。最後，具有BL解碼器1 350及EL解碼器355之一接收器可使用該位元流EL-1及來自該BL位元流之參考資料重建一FCFR 3D位元流。
第4A圖示出使用一基礎層的多工半解析度3D資料及兩個增強層之左視圖及右視圖深度資料之深度圖遞送格式。在一實施例中，EL-1 417載送L’及R’上下信號(117)的"上"半部(L’)及ZL資料。EL-2 419載送L’及R’上下信號(117)的"下"半部及ZR資料。可使用一紋理及一Z緩衝器RPU(425及430)改善該等增強層之編碼效率。RPUT 425被用於L’及R’資料之編碼，而RPUZ 430被用於ZL及ZR資料之編碼。如前文所述，EL-1及EL-2色度通道(417-UV及419-UV)可被用來載送對應的L’或R’資料之色度資料(例如，L’u及L’v)或額外的深度資料(ZL’及ZL”)。
若已知根據第4A圖而編碼之深度圖資料，則第4B圖示出一些替代的解碼情況。具有單一BL解碼器450之接收器可將FC 3D位元流解碼器。具有一額外的EL解碼器(455或460)以及RPUT及RPUZ(或類似的)功能之接收器亦可將一全解析度(Full-Resolution；簡稱FR)左視圖位元流、一半解析度(Half-Resolution；簡稱HR)右視圖位元流、及左視圖深度資料(ZL)解碼，或者可將一FR右視圖、一HR左視圖、及右視圖深度資料(ZR)解碼。具有兩個額外的EL解碼器(455及460) 亦可將FCFR 3D位元流及來自兩個視圖的深度資料解碼。
第7A圖示出使用一基礎層712及一增強層717遞送格深度圖資訊的一種雙層方法之一實施例。BL層712遞送半解析度的兩個視圖(例如，一並排圖像)。EL層717遞送該等視圖之對應的深度圖。該編碼器可利用RPUZ(730)，因而自BL 712提取的深度圖資料可被用來作為將EL資料717編碼之一參考。
在某些實施例中，可一起略過RPUZ 730，且可自行將EL層717編碼為一第二基礎層，而無須參考該基礎層。
在某些實施例中，RPUZ 730可利用來自基礎層712之資訊提取估計深度資料ZEL及ZER。此時，增強層717並不包含原始深度資料ZL及ZR，而是可替代地包含深度圖殘餘值RZL=ZL-ZEL及RZR=ZR-ZER。
若已知根據第7A圖所示之編碼器格式，則第7B圖示出一些替代的解碼實施例。具有單一BL解碼器735之接收器可將FC 3D位元流解碼。具有一額外的EL解碼器(745)之接收器亦可將對應的ZL及ZR深度圖資料解碼。
在另一實施例中，並不使用並排L/R資料(例如，112)作為BL層712，而是可使用上下L’/R’資料(例如，117)。在該實施例中，EL位元流717將也載送對應的上下深度圖資料。
具有反向相容層之用於3D的例示格式
到目前為止所述的大部分深度圖資料遞送格式可讓傳統的接收器將至少一反向相容的半解析度(FC)3D位元流解碼。當具有單一解碼器的反向相容性不是一項要求時，可推導出一些替代實施例。
第5圖示出用來遞送深度圖的一單一層方法之一例子。信號BL 512包含一半解析度左視圖(L)及其相關聯的深度圖(ZL)。與ZL相關聯的色度通道(512-UV)可被用來傳輸用於ZL之額外的解析度資料。一編碼器亦可不傳輸左視圖深度資料ZL，而是替代地傳輸傳輸半解析度右視圖資料(R)。在解碼器端，具有單一BL解碼器之一視訊解碼器可提取半解析度左視圖及其深度圖或一並排圖像，而產生一FC 3D視訊流。亦可傳輸含有與基於每一圖像的圖像配置有關的資訊之輔助資料(或中介資料)。
相同的遞送格式亦可被用於一些替代實施例，其中在BL 512中，可以半解析度視圖(R)、或上下L’/R’信號(147)的上半部(L’)、或上下L’/R’信號(147)的下半部(R’)取代半解析度左視圖(L)，且可以對應的深度圖取代左視圖深度圖。
第6圖示出用來遞送深度圖資訊的一種雙層方法之一實施例。如第6圖所示，以相互獨立之方式將BL-1(612)及BL-2(617)層編碼。BL-1層612包含一 全解析度的左視圖(L)。BL-2層617包含一全解析度的左視圖深度圖或一全解析度的右視圖(R)。當BL-2層載送深度圖資料ZL時，對應的色度資料(617-UV)可以是左視圖空白，或載送其他中介資料。
對該格式的解碼需要至少兩個BL解碼器；其中一BL解碼器用於將左視圖資料(L)，且一BL解碼器用於將左視圖深度圖資料或右視圖資料解碼。亦可傳輸含有與基於圖像的圖像配置有關的資訊之輔助資料(或中介資料)。該格式可讓具有一解碼器之一接收器重建2D視訊，且可讓具有兩個解碼器之一接收器重建FCFR 3D或FC 3D視訊。
在某些實施例中，BL-1(612)可載送右視圖資料(R)，且BL-2(712)可載送右視圖深度資料(ZR)或左視圖資料(L)。
第8A圖示出使用一基礎層(BL)及兩個增強層(EL-1及EL-2)之一深度圖遞送格式。基礎層812包含一全解析度左視圖。該EL-1層包含一全解析度右視圖。可使用一傳統的MVC編碼器將BL及EL-1層編碼，或者亦可採用一紋理RPU(圖中未示出，例如，RPU 125)。第二增強層EL-2 819包含左及右視圖之半解析度深度圖資料。該EL-2層之色度成分(819-B)亦可包含用來增強核心深度資料(819-A)的解析度之額外的深度圖。RPUZ 830可提供自輸入全解析度L及R圖像提取的深度圖預測資料，該深度圖預測資料可被用來增強EL-2 位元流的編碼效率。
若已知第8A圖所示之遞送格式，則第8B圖示出使用傳統的及相容的解碼器之一些替代的解碼情況。具有單一BL解碼器850之接收器可提取2D位元流。具有一MVC解碼器或具有一EL解碼器855之解碼器可提取FCFR 3D位元流。具有一額外的EL解碼器860(或一個3層MVC解碼器)之解碼器亦可提取左視圖及右視圖深度圖資料。具有單一BL解碼器850及第二EL解碼器之解碼器可提取2D位元流加上對應的深度資料。
第9A圖示出使用一基礎層912及兩個增強層(917，919)的深度圖遞送之一實施例。基礎層912包含一個半解析度左視圖(L)及其對應的深度圖ZL。EL-1層包含一L’/R’上下圖像(例如，影像147)。當將EL-1 917的L’編碼時，可使用RPUT(925)，以便藉由根據BL 912的L成分產生適當的參考框，而改善編碼效率。EL-2層919亦包含一個半解析度右視圖(R)及其對應的深度圖資料ZR。當將EL-2 919的R成分編碼時，可使用RPUT(925)，以便根據EL-1 917的R’成分產生適當的參考框。可由相同的RPU 925或由不同的RPU執行RPUT 925A及925B的操作。如先前的實施例所述，RPUZ 930可自BL 912及EL-1 917位元流的L、L’、及R’成分提取深度圖資料，以便改善EL-2 919中之ZR資料的編碼效率。在一實施例中，亦可切換BL及EL-2層。
若已知第9A圖所示之遞送格式，則第9B圖 示出一接收器中之解碼情況的例子。具有單一BL解碼器950之接收器可將一個半解析度(HR)左視圖及半解析度ZL解碼。具有一額外的第一EL解碼器955之接收器亦可將L’/R’上下信號解碼，因而可重建一個全解析度左視圖(或FR右視圖)以及一個半解析度右視圖(或一HR左視圖)；兩組這些信號都可被用來重建一個3D視圖。具有一第二EL解碼器(例如，960)之接收器亦可將一個半解析度右視圖R及一個半解析度ZR解碼，因而能夠產生一FCFR 3D信號。具有一BL解碼器950及唯一的第二EL解碼器960之接收器可將一框相容3D信號及深度資料解碼。
第10A圖示出一深度圖遞送格式，在該深度圖遞送格式中，一基礎層BL 1012載送一個半解析度左視圖及一個半解析度左視圖深度圖(ZL)，且增強層(1017)載送一個半解析度右視圖及一個半解析度右視圖深度圖(ZR)。編碼器可使用一標準MVC編碼器將該等兩層編碼器，或該編碼器可替代地使用一RPUT(圖中未示出)(例如，RPU 125)。
在第10B圖中，如第10B圖所示，具有單一BL解碼器1035之接收器可將一個半解析度左視圖及其深度圖解碼。具有一額外的EL解碼器1045(例如，可包括或可不包括一接收器RPU 140之一MVC解碼器)之接收器亦可將一個半解析度右視圖及其深度圖解碼。該接收器可合併該等兩個而繪製一個半解析度(或框率相容的)3D 信號。
在一替代實施例中，於第10A圖中，在EL位元流1017中，並不傳輸水平半解析度R信號及水平半解析度ZR，而是可傳輸垂直半解析度信號R’(例如，上下信號117之下半部)及一垂直半解析度ZR’。該接收器的操作仍然是相同的。
第11A圖示出使用兩層BL 1112及EL 1117的深度圖資料遞送之一實施例。基礎層1112包含一並排L/R圖像(例如，112)之亮度及色度成分。EL 1117層包含兩個資料集：(a)使用一紋理RPU 1125且參考該基礎層並排信號而編碼的上下L’/R’信號(例如，117)之編碼亮度表示法(1117-Y)、以及(b)為該上下信號(L’/R’)的色度成分(1117-UV)保留的空間中載送之深度圖資料。ZL及ZL’是原始左視圖深度圖之垂直四分之一解析度及水平半解析度。結合之ZL及ZL’代表四分之一解析度的原始左視圖深度圖(例如，沿著水平及垂直方向的半解析度)。在解碼器上，可使用來自該並排圖像之色度資料(例如，1112-UV)內插與該上下圖像相關聯的色度資料(1117-Y)。
如第11B圖所示，具有單一BL解碼器1135之接收器可將FC 3D信號解碼。具有雙層解碼器之接收器亦可將上下L’/R’信號及深度圖資料解碼，因而能夠重建FCFR 3D信號以及兩個視圖之深度圖資料。
第12A圖示出使用單一層的一深度圖遞送格 式之一實施例。層1205A包含全解析度左及右視圖(L及R)以及其對應的全解析度深度圖資料(ZL及ZR)。在某些實施例中，可將該L及R視圖細分為較低解析度的子圖像，以便適應傳統的顯示器。例如，一個4K解析度圖像可包含四個2K子圖像，或者一個2K解析度圖像可載送四個四分之一解析度圖像。如第12A圖所示，色度通道1205-UV可載送色度資料及額外的深度圖資料(例如，Z’L及Z’R)。
如第12A圖所示，可垂直地對準影像資料(例如，L及R)及其對應的深度資料(例如，ZL或ZR)。在另一實施例中，如第12B圖所示，亦可水平地對準影像資料及其對應的深度資料。
第13A圖示出一種雙層深度圖遞送格式之一實施例。該格式類似於第7圖所示之格式，然而，並不載送半解析度左及右視圖；該方法在基礎層(1305)及增強層(1325)中載送全解析度資料。可在兩倍的框率下傳輸L及R圖像。RPUZ 1330可被用來自基礎層預測深度圖資料，且將該等深度圖資料用來作為將增強層編碼之替代參考框，而改善增強層的編碼效率。
某些實施例可略過RPUZ 1330，且自行將深度圖資料編碼為另一基礎層。
在某些實施例中，RPUZ 1330可利用來自基礎層1305的資訊提取估計深度資料ZEL及ZER。然後，增強層1325並不包含原始ZL及ZR深度資料，而是可替代 地包含諸如RZL=ZL-ZEL及RZR=ZR-ZER等的深度圖殘餘值。
若已知第13A圖所示之遞送格式，則第13B圖示出替代的接收器組態。具有單一BL解碼器1335之接收器可將全解析度3D位元流解碼。具有一額外的EL解碼器1345之接收器亦可將對應的深度資料解碼。
第14圖示出載送圖像資料及深度圖資料的一單層傳輸格式之一實施例。係以一種交插方式傳輸圖像資料及深度資料，例如，在一框或場景層級上傳輸圖像資料及深度資料。可在每一視圖的框率的四倍之速率下傳輸圖像。基礎層1305可包含下列的層成分：一全解析度左視圖1305-L、一全解析度左深度圖1305-ZL、一全解析度右視圖1305-R、及一全解析度右深度圖1305-ZR。某些實施例可決定該1305層的選擇性略過成分。例如，一編碼器可傳輸一系列視訊框(例如，一電影場景)的左及右視圖(L+R)，但僅在場景之開始傳輸深度圖資料。或者，一編碼器可只傳輸L+ZL或R+ZR資料。該格式中之額外的中介資料可將該序列的層成分指示給該解碼器。
非對稱空間多工
第15A圖示出根據一實施例而遞送深度圖的一單層方法之一例子。該方法類似於先前(例如，第5圖、第9A圖、及第10A圖)示出的單層或雙層方法，但是不同之處在於：該方法使用非對稱空間多工；亦即，在包含一圖像 視圖及其相關聯的深度圖之一多工圖像(例如，1512)，該圖像視圖(例如，左視圖(L))及其相關聯的深度圖(例如，ZL)之解析度有不相同的大小。
若已知具有一像素解析度h×w(例如，h=1080，且w=1920)之一多工輸入框(例如，1512)，則在一實施例中，則分配給分階抽樣左視圖(L)的像素可比該分階抽樣左視圖之相關聯的深度圖之像素更多。因此，若已知一比例a，其中1>a 1/2，則可將該原始左視圖像縮放(例如，分階抽樣)到一大小h×aw，且可將該深度圖縮放到一大小h×(1-a)w。該方法可導致比對稱左及右視圖像更銳利的3D圖像(例如，當a=1/2)。
如前文所述，在可供選擇採用之情形下，亦可將額外的深度資料(例如，ZL’及ZL”)嵌入編碼框之對應的色度成分(例如，1512-UV)。
在一實施例中，可在將位元流編碼時使用與AVC/H.264或即將到來的HEVC視訊編碼標準中界定的類似之矩形裁剪(cropping rectangle)及寬高比語法參數界定圖像的有效區(例如，h×aw)，而實現反向相容。在此種實施方式之下，傳統的2D接收器可只提取、解碼、且顯示這些參數所界定的圖像區(例如，L)，且不理會深度圖資訊(例如，ZL)。具有3D能力的接收器可將整個圖像解碼，使用裁剪參數決定圖像區及深度圖區，然後使用深度圖資訊繪製多個視圖。該3D接收器可視需要而使用所接收的裁剪及寬高比參數縮放2D圖像及深度。亦 可傳輸含有與基於每一圖像的圖像配置有關的資訊之輔助資料(或中介資料)。
相同的遞送格式亦可被用於替代實施例中，其中在BL 1512中，可以亞解析度(sub-resolution)右視圖(R)、或上下L’/R’信號(147)的被縮放之上半部(L’)、或上下L’/R’信號(147)的被縮放之下半部(R’)取代亞解析度左視圖(L)，且以對應的深度圖取代左視圖深度圖。在某些實施例(例如，第4A圖及第15B圖所示之實施例)中，亦可將非對稱空間多工應用於垂直方向。在(圖中未示出的)某些實施例中，可將非對稱空間多工應用於水平及垂直方向。
在一實施例中，第15C圖示出基於分段深度圖的一替代深度遞送格式之一例子。此類實施例可使被傳輸的深度圖之寬高比更接近地匹配被傳輸的影像視圖之寬高比。舉例而言，考慮一輸入1080×1920影像及第15A圖所示之一非對稱多工格式，其中在並非限制之情形下，a=2/3。然後，在一實施例中，亮度信號1512-Y(或1512C-Y)可包含在1080×1280解析度下被縮放的一視圖(例如，左視圖L)，且對應的深度圖(例如，ZL)係在1080×640解析度下被縮放。在某些實施例中，傳輸與原始寬高比有更佳匹配的540×960之深度圖可能是更有利的。此種深度圖可被水平地分割成兩個連續的部分(例如，ZLA及ZLB)，且如第15C圖所示，可使一部分堆疊在另一部分的頂部，而將該等部分多工化。因此，在 一實施例中，亮度信號1512C-YS可包含兩個兩個多工部分：在第一解析度(例如，1080×1440)下被縮放的一影像部分(例如，左視圖L)、以及被多工化在一起而形成一深度圖部分之兩個或更多個深度圖分段。在一例子中，可垂直地堆疊一540×960輸入深度圖的兩個深度圖分段(例如，540×480 ZLA及540×480 ZLB)。
在某些實施例中，可將一深度圖分成兩個以上的分段。在某些實施例中，可沿著垂直方向分割一深度圖。在某些實施例中，可沿著垂直及水平方向分割一深度圖。在某些實施例中，可將深度圖分割成一些不相等的分段。在某些實施例中，可水平地堆疊、垂直地堆疊、或水平及垂直地堆疊該等分段。
在某些實施例中，一或多個被分割的深度圖可先被水平地或垂直地倒置，然後才被儲存為該多工影像的一部分。一些實驗顯示此種倒置將減少編碼多工影像(例如，1512C-YS)的紋理部分與深度部分間之邊界上之編碼人為失真(coding artifact)。此外，分割深度圖影像的中心有較少的編碼人為失真。
在一實施例中，假設d[i,j]表示一深度圖的一分段之像素值(例如，ZLB)。假設D w表示該分段的寬度。如果沿著左垂直軸倒置該分段的像素值，則對於第i列而言，可以下式決定被水平倒置的分段之像素值(d_hf[i,j])： for(j=0；j<DW；j++)d_hf[i,j]=d[i,DW-j]； 具有被分割的深度圖之一解碼器接收影像(例如，1512C-YS)可將中介資料用來正確地對準所有解碼深度圖分段，以便重建原始深度圖(例如，ZL)，且因而重建正確的3D輸出影像。將需要先使任何被倒置的深度圖分段再被倒置回其原始的定向，然後才被用於繪製最終輸出。
在某些實施例中，亦可將非對稱空間多工及深度圖分割應用於包括輸入影像的兩個影像視圖之深度遞送格式(例如，第12A圖及第12B圖)。
替代三層遞送格式
第16A圖示出根據基於一種三層遞送格式的一實施例而傳輸3D視訊及深度資料之另一例子。可將第16A圖視為第2A圖及第2C圖所示的該等實施例之一變形。如第16A圖所示，前兩層BL 212及EL-1 217對應於傳統的3D FCFR層並排視圖112及EL 117。使用可對應於RPUT 225及RPUZ 230之一RPUT及一可供選擇採用的RPUZ(1620)且根據來自BL 212之預測資料而以獨立於EL-1 217之方式將EL-2層1610編碼。在該例子中，在該EL-1及EL-2層中將相同的L’視訊資料(或者R’資料)編碼。如第16B圖所示，在只具有兩個解碼器(例如，BL解碼 器250及EL解碼器1 255)的接收器中，使用者可選擇性地將BL及EL-1位元流解碼而產生一FCFR 3D位元流，或者將BL及EL-2位元流解碼而產生適用於自動立體顯示器之一FR位元流及深度資料(例如，FR L+ZL)。具有所有三個解碼器的接收器可產生FCFR 3D資料及ZL資料。
在一實施例中，可以不需要1620的RPUZ程序。編碼器在EL-2 1610層的編碼器程序期間可以只使用一固定的灰階值(gray value)預測ZL深度資料(例如，在8位元圖像中，可將預測子的所有像素值都設定為等於128)。
第16C圖示出根據一實施例而遞送3D視訊及深度資料之另一例子。該實施例類似於第16A圖所示之實施例；然而，EL位元流不載送任何色度資料。在一實施例中，EL-1(1630)及EL-2(1635)中之所有色度資訊都被設定為一固定值(例如，8位元圖像中之128)。實驗顯示此種方式對視覺品質的影響很小，但是此種方式對整體位元率有顯著的節省。仍然可根據BL位元流的色度資料(212-UV)而重建色度資料。為了正確地解碼，編碼器RPU可能需要通知解碼器(例如，經由RPU信令或其他中介資料)不理會EL-1或EL-2位元流中之任何解碼色度資料。
第16D圖示出第16A圖之另一例示變形，其中EL-2信號1640中載送ZL及ZR資料，但是該等資料中 之每一資料具有較低的垂直及水平解析度。如第16E圖所示，具有兩個解碼器之解析度現在可將FCFR 3D信號或用於自動立體3D應用的具有左及右深度資料之FC3D信號解碼。
具有深度圖資料之替代雙層FCFR遞送格式
第17A圖示出根據基於一種雙層遞送格式的一實施例而傳輸3D視訊及深度資料之另一例子。在諸如H.264等的許多壓縮標準中，一視訊序列中之編碼圖像的大小必須是一預定巨集區塊大小(例如，16×16)的整數倍。如果並非如此，則將一些額外的像素加入該圖像的底部及/側部，以便相應地修改該圖像的大小。舉例而言，考慮大小為1920×1080的高解析度(HD)信號之編碼。1920是16的整數倍；然而，1080不是16的整數倍。在一實施例中，可以8個額外的列填充該位元流的每一圖像，而形成1920×1088圖像。如第17A圖所示，在一實施例中，該填充(例如，1710及1715)可被用來傳輸深度資料。
如第17A圖所示，在一實施例中，基礎層(BL)包含兩部分：一並排(例如，1920×1080)多工圖像(112)、以及左視圖或右視圖的被分階抽樣之深度資料(例如，1920×8 ZL’1710)。因為深度資料沒有色度資訊，所以在一實施例中，可以只將BL信號的該等額外填充列之與色度相關的資料(1735)設定為一固定值 (例如，128)。
在一實施例中，可以下文所述之方式產生信號ZL’1710。假設ZL表示半解析度左視圖深度資料信號(例如，960×540)。該信號可被濾波，且可被水平地及垂直定分階抽樣，而產生可適合填充資料的解析度(例如，1920×8)之被分階抽樣的信號。例如，若已知一960×540信號，則可產生一240×60信號ZL’。然後可使用任何適當的包裝(packing)方案將240*60=14,400ZL’位元組包裝到1920*8=15,360位元組的可用空間中。
如第17A圖所示，在一實施例中，該增強層(EL)包含上下資料亮度資料(117-Y)、較低解析度的左視圖或右視圖深度資料(例如，ZR’1715)、以及高解析度左視圖及右視圖深度資料(1745-U及1745-V)。例如，在該亮度信號中，ZR’1715可包含被包裝到1920×8填充區之240×60被分階抽樣的原始ZR深度資料。對於色度(1745)而言，並不傳輸上下信號(117)之色度，而是可傳輸高解析度ZR及ZL深度資料。在一實施例中，並不傳輸U(或Cb)色度資料，而是可傳輸偶數行的ZR及ZL(ZR-e，ZL-e 1745-U)，且並不傳輸117的V(或Cr)資料，而是可傳輸奇數行的ZR及ZL(ZR-o，ZL-o 1745-V)。如同BL，ZR’資料1715沒有色度資訊，因而其對應的色度資料(1740)可被設定為一固定值(例如，128)。
因為將巨集區塊資料編碼及解碼時的層間預 測要求及循序本質，所以實際上，在時間t上被編碼的一框之深度資料ZR’(1715)至少可實際代表一先前(諸如在時間t-1或更早的時間上)被編碼的框之深度資料。為了可讓RPUZ 1730完全重建將增強層(1765)中之ZL及ZR編碼(或解碼)所需的所有深度資料(例如，ZR’)，此種延遲可能是必要的。例如，在時間T0上的編碼期間，EL(T0)框可包含虛擬ZR’資料(例如，所有資料被設定為等於128)。然後，EL(T1)框可包含T0框的深度資料，EL(T2)框可包含T1框的深度資料，其他依此類推。在解碼期間，將不理會第一解碼框的虛擬深度資料，且將在至少一框的延遲之後恢復深度資料。
可使用一第二EL編碼器自行將EL的亮度編碼，或如第17A圖所示，可使用紋理RPUT 1725且參考該基礎層而將EL的亮度編碼。亦可使用一深度圖RPUZ(1730)，因而可在考慮到被分階抽樣的ZL’(1710)及ZR’資料(1715)的情形下將EL的"色度"空間中之高解析度深度資料編碼。例如，在一實施例中，RPUZ(1730)可包含一簡單的升頻取樣器。
若已知第17A圖所示之位元流，則一簡單的解碼器可將該BL位元流解碼，且提取一框相容(FC)3D位元流以及一個視圖之分階抽樣深度資料。雙層(例如，MVC)可將FCFR 3D位元流以及ZL及ZR深度資料解碼。
第17B圖示出第17A圖所示的深度圖遞送格 式之一變形。為了改善編碼效率，一編碼器並不將原始深度資料ZL及ZR(1745-U及1745-V)編碼，而是可使用RPUZ 1730產生且編碼深度殘餘值RZL=ZL-ZPL及RZR=ZR-ZPR，其中ZPL及ZPR表示基於ZL’(1710)及ZR’(1715)信號的預測ZL及ZR資料。然後將這些深度殘餘值編碼為EL位元流中之"色度"資訊(1765-U及1765-V)的一部分。在一實施例中，於該編碼及解碼程序期間，可參考先前的編碼殘餘深度圖資料或諸如128等的一固定值而將殘餘深度圖資料RZL及RZR資料(1765)編碼(或解碼)；因此，該等殘餘深度圖資料與編碼ZR’(1715)及ZL’(1710)資料之間沒有相依性，且無須使用前文所述的來自先前編碼框之ZR’深度資料。
在另一實施例中，第17A圖或第17B圖所示之EL位元流可只包含EL-U(1745-U或1765-U)或EL-V(1745-V或1765-V)區的一部分中之深度資料。例如，ZR-o、ZL-o 1745-V位元流或RZR-o、RZL-o 1765-V位元流可被一固定值(例如，128)取代。該方法減少了位元率要求，但其代價是較低的深度圖解析度。
減少位元率要求的另一方法包含只傳輸一視圖之深度圖資料(例如，ZR)。在此種情形中，可以一固定值(例如，128)填滿另一視圖深度區(例如，ZL)的所有資料。或者，可在先前的兩倍解析度下傳輸單一視圖的深度圖資料(例如，ZR)。例如，在一實施例中，ZL-o及ZR-e深度資料可被額外的ZR資料取代。
第17A圖及第17B圖示出基礎層包含並排位元流且增強層包含上下位元流之實施例。在其他實施例中，相同的程序可適用於BL包含上下位元流且EL包含並排位元流之一系統。
例示電腦系統實施例
可以使用電子電路及組件、諸如微控制器、現場可程式閘陣列(Field Programmable Gate Array；簡稱FPGA)、或另一可配置或可程式邏輯裝置(Programmable Logic Device；簡稱PLD)等的積體電路(Integrated Circuit；簡稱IC)裝置、分立式時間或數位信號處理器(Digital Signal Processor；簡稱DSP)、特定應用積體電路(Application Specific IC；簡稱ASIC)、及/或包括一或多種此類系統、裝置、或組件之設備配置之一或多個電腦系統實施本發明之實施例。該電腦及/或IC可完成、控制、或執行與諸如本發明所述之那些深度圖遞送格式等的深度圖遞送格式的編碼及解碼有關之指令。該電腦及/或IC可計算與本發明所述的深度圖遞送格式的編碼及解碼有關之各種參數或值中之任何參數或值。可以硬體、軟體、韌體、及以上各項的各種組合實施影像及視訊動態範圍延伸實施例。
本發明的某些實施例可包含一些電腦處理器，該等電腦處理器執行將使該等處理器完成本發明的一方法之軟體指令。例如，編碼器、機上盒、或轉碼器等的 裝置中之一或多個處理器可執行該等處理器可存取的一程式記憶體中之軟體指令，而實施將前文所述的深度圖遞送格式的編碼及解碼之方法。也可以程式產品之形式提供本發明。該程式產品可包含用來載送包含指令的一組電腦可讀取的信號之任何媒體，該等指令被一資料處理器執行時，將使該資料處理器執行本發明的一方法。根據本發明的程式產品可以是多種格式中之任何格式。例如，該程式產品可包含諸如其中包括軟碟、硬碟機之磁性資料儲存媒體、其中包括唯讀光碟(CD-ROM)、數位多功能光碟(DVD)之光學資料儲存媒體、或其中包括唯讀記憶體(ROM)、快閃隨機存取記憶體(RAM)之電子資料儲存媒體等的任何實體媒體。可在可供選擇採用之情形下壓縮或加密該程式產品上的電腦可讀取的信號。
當一組件(例如，一軟體模組、處理器、總成、裝置、電路等的組件)被參照到上述該等組件時，除非另有指示，否則參照到該組件(其中包括參照到一"手電")應被詮釋為包括係為該組件的等效物之可執行該所述組件的功能的任何組件(例如，在功能上等效之組件)，其中包括在結構上與執行本發明的所示實施例中之功能的所揭示結構並不相等的組件。
等效物、延伸、替代、及雜項
因而已說明了與深度圖遞送格式的編碼及解碼有關之實施例。在前文之說明書中，已參照可隨著不同的實施方 式而改變的許多特定細節而說明了本發明之實施例。因此，本發明是什麼以及本案申請人意圖作為本發明的唯一且獨有指標是本申請案發佈的申請專利範圍以該等申請專利範圍發佈的特定形式所述者，其中包括任何後續的修正。本說明書中針對該等申請專利範圍中所含的術語明確述及的任何定義將決定該等申請專利範圍中使用的這些術語之意義。因此，一申請專利範圍中並未明確述及的任何限制、元件、特性、特徵、優點、或屬性不應以任何方式限制該申請專利範圍的範圍。因此，應被以例示而非限制之方式考慮本說明書及各圖式。
225‧‧‧紋理參考處理單元
230‧‧‧深度圖參考處理單元
219S-A‧‧‧主要通道
219S-B‧‧‧輔助通道

Claims (16)

  1. 一種遞送3D深度圖資料之方法，該方法包含下列步驟：存取包含一第一視圖及一第二視圖之一輸入圖像，其中每一視圖有一水平及一垂直像素解析度；存取該輸入圖像之輸入深度圖資料；根據該輸入圖像而產生一並排圖像及一上下圖像，其中該並排圖像及該上下圖像包含該第一和第二視圖的半解析度；使用一編碼器將該並排圖像編碼而產生一編碼基礎層位元流(122，212)；使用該編碼器及一紋理RPU(125，225)將該上下圖像編碼而產生一編碼第一增強層(EL-1，217)，其中根據由該紋理RPU(125，225)內插該編碼基礎層位元流而將該編碼第一增強層(EL-1)部分地編碼且該編碼第一增強層(EL-1)部分地在該上下圖像上；以及使用該編碼器及一Z-RPU(230)將該並排圖像之深度圖資料編碼而產生一編碼第二增強層(EL-2)，其中該編碼第二增強層(EL-2)根據該基礎層(BL)而部分地編碼及根據深度圖資料而部分地編碼，其中該Z-RPU(230)藉由該增強層根據來自該編碼基礎層位元流(122，212)的該深度圖資料估計要使用的深度圖資料，該並排圖像之該深度資料係根據該輸入圖像之該輸入深度資料而產生。
  2. 如申請專利範圍第1項之方法，其中該編碼第二增 強層(EL-2)係編碼如主要通道(219S-A)及輔助通道(219S-B)之深度圖資訊代表，其中該方法較佳地包含整合來自用於該主要通道(219S-A)進入該輔助通道(219S-B)中之左和右視圖之分階抽樣的深度資訊遺失之深度資訊。
  3. 如申請專利範圍第1項之方法，其中該編碼第二增強層(EL-2)載有該存取的輸入深度圖資料和估計的深度圖資料之間的差。
  4. 如申請專利範圍第1項之方法，包含：根據該第一視圖及該第二視圖之水平分階抽樣產生該並排圖像及根據該第一視圖及該第二視圖之垂直分階抽樣產生該上下圖像；和/或將該編碼基礎層、該編碼第一增強層、及該編碼第二增強層多工化為一輸出編碼位元流。
  5. 如申請專利範圍第1項之方法，其中該Z-RPU根據該輸入圖像而產生一第一視圖深度圖之一估計以及一第二視圖深度圖之一估計。
  6. 一種遞送3D深度圖資料之方法，該方法包含：存取包含一第一視圖及一第二視圖之一輸入圖像，其中每一視圖有一水平及一垂直像素解析度；存取該輸入圖像之輸入深度資料；根據該輸入圖像而產生一並排圖像及一上下圖像，其中該並排圖像及該上下圖像包含該第一和第二視圖的半解析度；使用一編碼器將該上下圖像編碼而產生一編碼基礎層位元流(212)； 使用該編碼器及一紋理RPU(225)將該並排圖像編碼而產生一編碼第一增強層(EL-1，217)，其中根據由該紋理RPU(125，225)內插該基礎層位元流而將該編碼第一增強層部分地編碼且該編碼第一增強層(EL-1,217)部分地在該並排圖像上；以及使用該編碼器及一Z-RPU(230)將該上下圖像之深度圖資料編碼而產生一編碼第二增強層(EL-2)，其中該編碼第二增強層(EL-2)根據該基礎層而部分地編碼及根據深度圖資料而部分地編碼，其中該Z-RPU(230)根據該輸入圖像的該深度圖資料由該增強層估計要使用的深度圖資料，該上下圖像之該深度資料係根據該輸入圖像之該輸入深度資料而產生，其中該Z-RPU(230)較佳地根據該輸入影像估計深度圖資料，及其中該編碼第二增強層(EL-2)較佳地載有該存取的輸入深度圖資料和估計的深度圖資料之間的差。
  7. 一種遞送3D深度圖資料之方法，該方法包含：存取包含一第一視圖及一第二視圖之一輸入圖像；存取該輸入圖像之輸入深度圖資料；使用一編碼器將該輸入圖像之該第一視圖編碼，而產生一第一編碼基礎層位元流(612)；以及使用該編碼器將一第三圖像編碼，而產生一第二編碼基礎層位元流(617)，其中該第三圖像包含該第一視圖之深度圖資料、或該輸入圖像之該第二視圖。
  8. 如申請專利範圍第1、6、或7項之方法，進一步包 含：產生有該水平像素解析度的一半及該相同的垂直像素解析度之一第一半圖像，作為該輸入圖像之該第一視圖；產生有該水平像素解析度的一半及該相同的垂直像素解析度之一第二半圖像，作為該輸入圖像之該第二視圖；以及將該第一半圖像及該第二半圖像多工化，而產生該並排圖像。
  9. 如申請專利範圍第1、6、或7項之方法，進一步包含：產生有該垂直像素解析度的一半及該相同的水平像素解析度之一第三半圖像，作為該輸入圖像之該第一視圖；產生有該垂直像素解析度的一半及該相同的水平像素解析度之一第四半圖像，作為該輸入圖像之該第二視圖；以及將該第三半圖像及該第四半圖像多工化，而產生該上下圖像。
  10. 一種遞送3D深度圖資料之方法，該方法包含：存取包含一第一視圖及一第二視圖之一輸入圖像，其中每一視圖有一水平及一垂直像素解析度；存取該輸入圖像之輸入深度圖資料；根據該輸入圖像而產生一並排圖像及一上下圖像，其中該並排圖像及該上下圖像包含該第一和第二視圖的半解析度； 使用一編碼器將該並排圖像編碼，而產生一編碼基礎層位元流(212)；使用該編碼器及一紋理RPU(225)將該上下圖像編碼，而產生一編碼第一增強層(EL-1，217)，其中根據該基礎層位元流而將該編碼第一增強層部分地編碼；以及使用該編碼器及該紋理RPU將無論該上下圖像的頂部分或該上下圖像的底部分及該深度圖資料編碼，而產生一編碼第二增強層(EL-2)，其中該編碼第二增強層根據該基礎層及該上下圖像的該部分及該輸入圖像之該輸入深度資料之該第二深度資料而部分地編碼，其中該深度資料包含只來自該輸入圖像的一視圖之被水平分階抽樣的深度資料，或其中該深度資料包含來自該輸入圖像的該左視圖及該右視圖之被水平分階抽樣及被垂直分階抽樣的深度資料。
  11. 如申請專利範圍第10項之方法，其中在將該第一增強層及該第二增強層編碼之前，先將該上下圖像中之色度像素的值設定為一固定像素值。
  12. 一種遞送3D深度圖資料之方法，該方法包含：產生一多工輸出圖像；使用一編碼器將該多工輸出圖像編碼，而產生一編碼位元流，其中產生該多工輸出圖像包含：存取一輸入立體圖像及輸入深度資料；回應該輸入立體圖像而產生一第一空間大小之一影像資料分區； 回應該輸入深度資料而產生一縮放深度圖；將該縮放深度圖分割成兩個或更多個深度圖分段；產生包含兩個或更多個該等深度圖分段之一深度圖分區，其中該深度圖資料分區有與該第一大小不同的一第二空間大小；將該影像資料分區及該深度圖資料分區多工化，而形成一多工輸出圖像，其中該深度圖分區中之至少一深度圖分段的位置被相對於其在該縮放深度圖中之原始位置而移動。
  13. 如申請專利範圍第12項之方法，其中跨沿一水平方向或一垂直方向而分割該縮放深度影像；和/或其中產生該深度圖資料分區包含垂直地定位至少兩個該等深度圖分段，其中在該縮放深度圖中水平地定位至少兩個該等深度圖分段；和/或產生該深度圖資料分區包含水平地定位至少兩個該等深度圖分段，其中在該縮放深度圖中垂直地定位至少兩個該等深度圖分段。
  14. 一種將3D深度圖資料解碼之方法，該方法包含：將一編碼位元流解碼，而產生一影像資料分區及一深度圖資料分區，其中該深度圖資料分區包含位於一第一空間位置之一被移動的深度圖分段；將該被移動的深度圖分段自該第一空間位置移到一第二空間位置，而在不同於該第一空間位置的第二空間位置上產生一深度圖分段；以及至少回應該影像資料分區及在該第二空間位置之該深 度圖分段而產生一解碼輸出信號，進一步較佳地包含在該編碼步驟之前，先水平地或垂直地翻轉該深度圖分區中之至少一深度圖分段，較佳地包含在產生該解碼輸出信號之前，先水平地或垂直地翻轉該被移動的深度圖分段。
  15. 一種包含一處理器的設備，該設備被配置成執行申請專利範圍第1-6項所述的該等方法中之任一方法。
  16. 一種非短暫性電腦可讀取的儲存媒體，該非短暫性電腦可讀取的儲存媒體具有被儲存於其上的用來執行根據申請專利範圍第1-6項中之任一項的方法之電腦可執行的指令。
TW102118950A 2012-06-14 2013-05-29 用於立體及自動立體顯示器之深度圖傳遞格式 TWI521940B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261659588P 2012-06-14 2012-06-14
US201261712131P 2012-10-10 2012-10-10
US201261739886P 2012-12-20 2012-12-20
US201361767416P 2013-02-21 2013-02-21
US201361807013P 2013-04-01 2013-04-01
US201361807668P 2013-04-02 2013-04-02
US201361822060P 2013-05-10 2013-05-10

Publications (2)

Publication Number Publication Date
TW201412093A TW201412093A (zh) 2014-03-16
TWI521940B true TWI521940B (zh) 2016-02-11

Family

ID=48699960

Family Applications (3)

Application Number Title Priority Date Filing Date
TW106114662A TWI630815B (zh) 2012-06-14 2013-05-29 用於立體及自動立體顯示器之深度圖傳遞格式
TW102118950A TWI521940B (zh) 2012-06-14 2013-05-29 用於立體及自動立體顯示器之深度圖傳遞格式
TW104143370A TWI594616B (zh) 2012-06-14 2013-05-29 用於立體及自動立體顯示器之深度圖傳遞格式

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW106114662A TWI630815B (zh) 2012-06-14 2013-05-29 用於立體及自動立體顯示器之深度圖傳遞格式

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW104143370A TWI594616B (zh) 2012-06-14 2013-05-29 用於立體及自動立體顯示器之深度圖傳遞格式

Country Status (9)

Country Link
US (1) US10165251B2 (zh)
EP (2) EP3399755B1 (zh)
JP (3) JP5973067B2 (zh)
KR (3) KR101675780B1 (zh)
CN (1) CN104380743B (zh)
HK (1) HK1206182A1 (zh)
PL (1) PL2862357T3 (zh)
TW (3) TWI630815B (zh)
WO (1) WO2013188552A2 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560719B2 (en) * 2011-09-14 2013-10-15 Mobitv, Inc. Fragment server directed device fragment caching
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
US9357199B2 (en) * 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
KR101806949B1 (ko) * 2013-03-13 2017-12-08 후아웨이 테크놀러지 컴퍼니 리미티드 깊이 룩업 테이블을 코딩하는 방법
WO2014181220A1 (en) * 2013-05-10 2014-11-13 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view rendering device
ITTO20130503A1 (it) * 2013-06-18 2014-12-19 Sisvel Technology Srl Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale
CA2820305A1 (en) 2013-07-04 2015-01-04 University Of New Brunswick Systems and methods for generating and displaying stereoscopic image pairs of geographical areas
JP6127964B2 (ja) * 2013-12-26 2017-05-17 ソニー株式会社 信号切換装置および信号切換装置の動作制御方法
TWI558167B (zh) 2014-12-30 2016-11-11 友達光電股份有限公司 立體影像顯示系統與顯示方法
US20180213216A1 (en) * 2015-06-16 2018-07-26 Lg Electronics Inc. Media data transmission device, media data reception device, media data transmission method, and media data rececption method
EP3323105A4 (en) * 2015-07-15 2019-02-20 Blinxel Pty Ltd. SYSTEM AND METHOD FOR IMAGE PROCESSING
KR20170075349A (ko) * 2015-12-23 2017-07-03 한국전자통신연구원 멀티 뷰를 가진 다중영상 송수신 장치 및 다중영상 다중화 방법
EP3252713A1 (en) * 2016-06-01 2017-12-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses
US10482379B2 (en) * 2016-07-29 2019-11-19 Google Llc Systems and methods to perform machine learning with feedback consistency
TW201834455A (zh) * 2016-12-05 2018-09-16 晨星半導體股份有限公司 立體影像串流處理裝置與立體影像串流處理處理方法
EP3435670A1 (en) * 2017-07-25 2019-01-30 Koninklijke Philips N.V. Apparatus and method for generating a tiled three-dimensional image representation of a scene
CN110009595B (zh) * 2019-04-12 2022-07-26 深圳市道通智能航空技术股份有限公司 一种图像数据处理方法、装置、图像处理芯片及飞行器
DE102020100695A1 (de) * 2020-01-14 2021-07-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Übertragung von Multi-View-Videodaten

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1024672A1 (en) * 1997-03-07 2000-08-02 Sanyo Electric Co., Ltd. Digital broadcast receiver and display
DE60237834D1 (de) * 2001-08-15 2010-11-11 Koninkl Philips Electronics Nv 3d videokonferenzsystem
US20030198290A1 (en) 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
EP1946563A2 (en) 2005-10-19 2008-07-23 Thomson Licensing Multi-view video coding using scalable video coding
SI3758380T1 (sl) 2007-04-12 2021-04-30 Dolby International AB Apollo Building, 3E Razpostavljanje pri kodiranju in dekodiranju videa
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
KR20100095464A (ko) * 2007-12-18 2010-08-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 디스플레이 인터페이스를 통한 입체 이미지 데이터의 전송
EP2235957A1 (en) * 2007-12-20 2010-10-06 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
CN102100070A (zh) 2008-07-20 2011-06-15 杜比实验室特许公司 立体视频传送系统的编码器优化
MX2011000728A (es) 2008-07-21 2011-03-29 Thomson Licensing Dispositivo de codificacion multiestandar para señales de video en 3d.
CN106101682B (zh) * 2008-07-24 2019-02-22 皇家飞利浦电子股份有限公司 通用3-d画面格式
JP5243612B2 (ja) * 2008-10-02 2013-07-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 中間画像合成およびマルチビューデータ信号抽出
WO2010048632A1 (en) 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
US9729899B2 (en) 2009-04-20 2017-08-08 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
WO2011005624A1 (en) 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery
JP5894537B2 (ja) * 2010-02-09 2016-03-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄビデオ・フォーマット検出
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
KR101291071B1 (ko) * 2010-06-08 2013-08-01 주식회사 에스칩스 입체 영상 오류 개선 방법 및 장치
WO2012007867A1 (en) 2010-07-12 2012-01-19 Koninklijke Philips Electronics N.V. Signaling for multiview 3d video
CN105847780B (zh) * 2010-07-21 2018-01-09 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
US9571811B2 (en) * 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
IT1401367B1 (it) * 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
WO2012020358A1 (en) 2010-08-09 2012-02-16 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
KR20120018269A (ko) * 2010-08-20 2012-03-02 한국전자통신연구원 스테레오스코프 3차원 비디오 데이터의 다차원 계층 송수신 장치 및 방법
KR101525713B1 (ko) 2010-11-15 2015-06-03 엘지전자 주식회사 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치
CN103202019A (zh) 2010-11-22 2013-07-10 索尼公司 编码装置和编码方法、以及解码装置和解码方法
EP2756681A1 (en) 2011-09-16 2014-07-23 Dolby Laboratories Licensing Corporation Frame-compatible full resolution stereoscopic 3d compression and decompression
EP2761877B8 (en) 2011-09-29 2016-07-13 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
EP2801193B1 (en) 2012-01-04 2016-10-26 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
EP2618586B1 (en) * 2012-01-18 2016-11-30 Nxp B.V. 2D to 3D image conversion
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
TWI558166B (zh) * 2013-04-04 2016-11-11 杜比國際公司 用於多視點裸視立體顯示器的深度地圖遞送格式
ITTO20130503A1 (it) * 2013-06-18 2014-12-19 Sisvel Technology Srl Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale

Also Published As

Publication number Publication date
EP3399755A1 (en) 2018-11-07
TWI594616B (zh) 2017-08-01
EP3399755B1 (en) 2019-09-04
CN104380743A (zh) 2015-02-25
TW201613348A (en) 2016-04-01
WO2013188552A2 (en) 2013-12-19
KR20150017354A (ko) 2015-02-16
WO2013188552A3 (en) 2014-03-20
JP5973067B2 (ja) 2016-08-23
JP2015525028A (ja) 2015-08-27
KR101675780B1 (ko) 2016-11-14
TW201412093A (zh) 2014-03-16
JP2016174364A (ja) 2016-09-29
KR20160087932A (ko) 2016-07-22
KR101939969B1 (ko) 2019-01-18
JP6248133B2 (ja) 2017-12-13
KR20160087931A (ko) 2016-07-22
JP2016167823A (ja) 2016-09-15
KR101939971B1 (ko) 2019-01-18
EP2862357B1 (en) 2018-03-28
CN104380743B (zh) 2018-04-24
US10165251B2 (en) 2018-12-25
US20150201178A1 (en) 2015-07-16
TW201731289A (zh) 2017-09-01
PL2862357T3 (pl) 2018-08-31
EP2862357A2 (en) 2015-04-22
TWI630815B (zh) 2018-07-21
JP6309993B2 (ja) 2018-04-11
HK1206182A1 (zh) 2015-12-31

Similar Documents

Publication Publication Date Title
TWI521940B (zh) 用於立體及自動立體顯示器之深度圖傳遞格式
JP7357125B2 (ja) ビデオ符号化及び復号化におけるタイリング
EP2591609B1 (en) Method and apparatus for multi-layered image and video coding using reference processing signals
US9357197B2 (en) Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
US9973779B2 (en) 3D visual dynamic range coding
US20130222539A1 (en) Scalable frame compatible multiview encoding and decoding methods
TWI558166B (zh) 用於多視點裸視立體顯示器的深度地圖遞送格式
Lucas et al. Multiview Video Coding (MVC)