TW201904279A

TW201904279A - 用於全視差光場壓縮之方法

Info

Publication number: TW201904279A
Application number: TW107119054A
Authority: TW
Inventors: 薩賀 Y 艾帕斯朗; 松岑; 劉萬凱; 理江松原; 哈森 S 艾爾－葛洛力; 戴爾 A 麥克尼爾
Original assignee: 美商傲思丹度科技公司
Priority date: 2017-06-02
Filing date: 2018-06-01
Publication date: 2019-01-16
Also published as: US20180352254A1; US11051039B2; US11159824B1; US20210329299A1; WO2018223086A1

Abstract

本發明揭示用於影像編碼及解碼之方法及系統。根據某些實施例，接收與一場景相關聯之場景後設資料及輸入影像。對該場景後設資料及該等輸入影像執行一第一編碼操作以產生參考影像及參考像差資訊。對該等參考影像及該參考像差資訊執行一第二編碼操作以輸出經編碼資料。該經編碼資料包含經編碼參考影像及經編碼參考像差資訊。傳輸該經編碼資料。

Description

用於全視差光場壓縮之方法

本發明之實施例係關於影像與視訊壓縮。更具體而言，本發明之實施例係關於壓縮光場影像資料作為光場成像系統之輸入。

人類視覺系統(HVS)中之深度感知依賴於數個深度線索。可將此等線索分類為心理深度線索(例如，視角、陰影、照明、相對大小、遮擋及紋理梯度等)或生理深度線索(例如，聚散度、調節、運動視差、雙目像差等)。當心理深度線索提供對一光場中之深度之一相對理解時，生理深度線索提供絕對深度資訊。可商購三維(3D)顯示器通常使用生理深度線索之一子集來增強光場觀看體驗。

基於眼鏡之3D顯示器由於所有主要TV製造商所出售之基於眼鏡之3D電視(TV)之引入而已經普及起來。矛盾地，當前可用技術之一缺點係3D眼鏡之實際使用，該等眼鏡可經分類為主動的或被動的。一般而言，已知基於眼鏡之技術對於觀看者長時間週期使用而言係不舒適的且對需要處方眼鏡之人構成挑戰。

現有自動立體顯示器使用附接至一顯示表面之定向調變器(諸如視差障壁或透鏡狀薄片)來形成一3D效應而不需要眼鏡。可商購自動立體顯示器通常使用水平視差來將3D資訊呈現給觀看者。此形式之顯示技術之缺陷包含一有限觀看角度及一有限每視圖解析度，其中之每一者產生一較低品質3D影像。另外，在此等顯示器之觀看角度內，需要使用者使其頭部保持垂直。否則，3D效應將消失。

基於眼鏡之3D顯示器及僅水平視差光場顯示器兩者中之長觀看時間通常由於稱為「聚散度調節衝突」(VAC)之一生理效應而導致不舒適。因如下事實而導致VAC：觀看者之眼鏡聚焦於顯示表面平面上但亦需要遠離其而會聚以便感知在不同深度處所繪示之物件，且因此發生觀看者不舒適。

使用全視差3D顯示技術達成一更自然3D效應。除水平視差之外，全視差3D顯示技術亦包含垂直視差，使得觀看者之一垂直移動提供3D場景之一不同視圖。全視差顯示器一般具有一量值級或比僅水平視差顯示器多之視圖。密集地配置此等視圖會形成一非常自然3D影像，該非常自然3D影像在一使用者使其頭部移動或傾斜時不改變且亦藉由提供正確調節及聚散度線索而消除VAC。消除VAC之3D顯示器可稱為「無VAC」 3D顯示器。

與前文所提及之全視差3D顯示器相關聯之主要挑戰係：在具有寬廣觀看角度之情況下再現全視差3D影像所需要之經調變影像解析度之增加形成對顯示系統之一新削弱，亦即，顯著增加量之影像資料。一無VAC全視差光場顯示器所需要之非常大量影像資料集之產生、獲取、傳輸及調變(或顯示)需要每秒數十兆位元(Tbps)之一資料速率。

當前，最進階視訊壓縮格式H.264/AVC可以大致3十億位元/秒之一資料位元率壓縮超高解析度視訊圖框(例如，4,096×2,304 @ 56.3，或0.5十億像素/秒)。然而，H264/AVC未能達成可用光場影像資料傳輸所需要之充分壓縮，更何況若以一60 Hz視訊速率即時再新光場(其中資料速率可達到高達86 Tbps)。

此外，當前壓縮標準不利用在水平及垂直兩個方向上存在於一全視差光場影像中之高度相關性。形成以3D顯示器為目標之新壓縮標準。然而，其以僅水平視差、有限數目個視圖為目標，且通常需要經增加量之記憶體及相關計算資源。壓縮演算法必須平衡影像品質、壓縮比及計算負載。作為一般規則，一編碼器中之一較高壓縮比增加計算負載，從而使即時實施為困難的。若需要高度壓縮及經減少計算負載兩者，則犧牲影像品質。因此，高度期望能夠同時提供高影像品質、一高壓縮比及相對低計算負載之一壓縮解決方案。

將參考下文所論述之細節闡述本發明之各種實施例及態樣，且附圖將圖解說明該等各種實施例。以下說明及圖式對本發明進行圖解說明且不應解釋為限制本發明。闡述眾多具體細節以提供對本發明之各種實施例之一透徹理解。然而，在特定例項中，未闡述眾所周知或習用細節以便提供對本發明之實施例之一簡明論述。

在說明書中所提及之「一項實施例」、「一實施例」或「某些實施例」意味結合該實施例所闡述之一特定特徵、結構或特性可包含於本發明之至少一項實施例中。在說明書中各個地方出現之片語「在一項實施例中」未必全部係指同一實施例。隨機存取係指在一讀取/寫入輸入/輸出操作期間至少一次對一檔案之一隨機位移進行存取(讀取/寫入)。

根據某些實施例，接收與一場景相關聯之場景後設資料及輸入影像。對該場景後設資料及該等輸入影像執行一第一編碼操作以產生參考影像及參考像差資訊。對該等參考影像及該參考像差資訊執行一第二編碼操作以輸出經編碼資料。該經編碼資料包含經編碼參考影像及經編碼參考像差資訊。傳輸該經編碼資料。

在一項實施例中，為對該場景後設資料及該等輸入影像執行該第一編碼操作，選擇該等輸入影像之一子集作為該等參考影像。估計該等選定影像中之每一者之一或多個像差圖以產生該參考像差資訊。

在另一實施例中，對該場景後設資料及該等輸入影像執行該第一編碼操作進一步產生與該等參考影像相關聯之參考位置及明度權數，其中該經編碼資料進一步包含該等參考位置及明度權數。

在再一實施例中，為對該場景後設資料及該等輸入影像執行該第一編碼操作，判定該等選定影像中之每一者中之一參考位置以產生該等參考位置。判定該等選定影像中之每一者之一區域明度位準與一全域光場明度位準之比較以產生該等明度權數。

在又一實施例中，在對該等參考影像及該參考像差資訊執行該第二編碼操作之前，為該等參考影像判定一總位元預算中之一第一位元預算並為該參考像差資訊判定該總位元預算中之一第二位元預算。

根據另一態樣，接收包含經編碼參考影像及經編碼參考像差資訊之經編碼資料。對該經編碼資料執行一第一解碼操作以輸出經解碼參考影像及經解碼參考像差資訊。對該等經解碼參考影像及該經解碼參考像差資訊執行一第二解碼操作以輸出一或多個經解碼影像。

在一項實施例中，該經編碼資料進一步包含與該等經編碼參考影像相關聯之參考位置及明度權數，且對該等參考位置及該等明度權數進一步執行該第二解碼操作以輸出該一或多個經解碼影像。

在另一實施例中，為對該等經解碼參考影像及該經解碼參考像差資訊執行該第二解碼操作，使來自該經解碼參考像差資訊之每一參考像差向前扭曲以產生若干個經向前扭曲參考像差。對該等經向前扭曲參考像差中之每一者進行濾波以產生若干個經濾波參考像差。將該等經濾波參考像差合併成一經合併參考像差。使該經合併參考像差及該等經解碼參考影像向後扭曲以產生該一或多個經解碼影像。

圖1係圖解說明一習用光場成像系統之一圖式。參考圖1，在方塊102處，光場成像系統100藉由在一全光場再現程序中再現或擷取場景/3D資料101而執行原始資料獲取。在方塊103處，由於高資料量，因此使用光場壓縮來減小資料大小。然後經由網路106 (舉例而言)將經壓縮資料傳輸至一顯示系統，其中在方塊104處對經壓縮資料進行解壓縮，且在方塊105處顯示經解壓縮資料。網路106可係任何類型之網路，諸如一區域網路(LAN)、一廣域網路(WAN) (諸如網際網路)、一蜂巢式網路、一衛星網路或其一組合(無線或有線)。

圖2係圖解說明根據一項實施例之一光場成像系統之一圖式。參考圖2，光場成像系統200可包含經由網路106以通信方式彼此耦合之擷取系統203及光場顯示系統211。擷取系統203可包含一擷取裝置(未展示)，諸如一光場相機、運動攝影機、動畫攝影機、攝錄影機、相機手機、小型相機、數位相機、高速度相機、無反光鏡相機或針孔相機。在一項實施例中，擷取系統203包含但不限於經壓縮資料獲取模組205 (亦稱為經壓縮資料獲取引擎、經壓縮資料獲取邏輯或經壓縮資料獲取單元，其可實施於軟體、硬體或其一組合中)。

經壓縮資料獲取模組205可在擷取級處以減少資料處理、記憶體及電力消耗之一經壓縮格式擷取場景或3D資料101。在一項實施例中，場景或3D資料101可包含航空地形紋理影像、具有地形海拔或城市圖之雷達或光偵測與測距(LIDAR)資料、景觀、電腦產生之3D影像、醫學影像、藉助光場相機或多個相機同時或在不同時間拍攝之影像。在一項實施例中，經壓縮資料獲取模組205可經由網路106將經壓縮資料傳輸至光場顯示系統211，其中可(舉例而言)由包含於光場顯示系統211中之顯示邏輯215 (亦稱為顯示引擎、顯示模組或顯示單元，其可實施於軟體、硬體或其一組合中)以減少光場顯示系統211處之資料處理、記憶體及電力消耗(除減少資料傳輸要求之外)之一經壓縮格式接受且調變資料。

在一項實施例中，經壓縮資料獲取模組205可執行經壓縮再現及經顯示器匹配編碼方法，如下文中更詳細地闡述。在一項實施例中，經壓縮資料獲取模組205可使用關於場景101之已經可用資訊來減少所擷取或再現之資料量。經顯示器匹配編碼方法可壓縮且格式化經壓縮再現資料以用於(舉例而言)在光場顯示系統211處顯示。

在一項實施例中，顯示邏輯215可使用一經擷取匹配解碼方法執行經壓縮顯示。該經擷取匹配解碼方法可包含在若干級中擴展經壓縮資訊。與在顯示影像資料之前對整個影像資料進行擴展或解壓縮之傳統方法不同，經擷取匹配解碼方法可在若干級中擴展資訊以允許資訊之階層式解壓縮及顯示。

經壓縮再現及經顯示器匹配編碼

傳統2D及3D影像擷取系統使用兩個級來擷取影像資料。第一級係用於產生或再現影像，且第二級係用於壓縮資料以用於儲存或傳輸。為將兩個級組合成一單個步驟(其可稱為「經壓縮再現」)，可利用關於擷取系統203及場景101之先驗資訊來判定可充分地保持經顯示光場影像之感知品質之一光場資料子集。在再現(或擷取)光場資訊之前判定此子集光場資料會減少再現之處理及記憶體要求同時有效地且同步地壓縮光場資料。處理及記憶體要求之此等節省轉化成電力消耗之節省及系統複雜度之充分減少以允許即時全視差光場擷取。儘管經壓縮再現方法經設計以用於擷取一全視差光場，但在某些實施例中，可針對其他用途(諸如僅水平視差)來採用該方法。

圖3係圖解說明根據一項實施例之一經壓縮再現方法之一流程圖。在某些實施例中，由可包含軟體、硬體或其一組合之處理邏輯執行該經壓縮再現方法。

參考圖3，該經壓縮再現方法可包含編碼級310及解碼級320。在一項實施例中，可由圖2之擷取系統203執行編碼級310，且可由圖2之光場顯示系統211執行解碼級320。在另一實施例中，除編碼級310之外，擷取系統203亦可執行解碼級320之某些部分，其中光場顯示系統211執行解碼級320之剩餘部分。

參考編碼級310，經壓縮再現方法可使用子孔徑影像、元素影像(EI)或全像元素(holographic element) (亦稱為「全像元素(hogel)」)作為編碼單元，且假定關於一場景(例如，場景101)及擷取系統(例如，擷取系統203)之資訊(諸如定界框資訊、物件之位置及擷取系統之光學性質)稱為一先驗。在方塊301處，利用該資訊，可調用稱作可見度測試之一選擇程序以自將再現之場景或3D資料101判定一元素影像(或全像元素)子集。在方塊302處，可再現選定元素影像(或全像元素)以針對每一元素影像(或全像元素)產生參考紋理303及參考深度304 (例如，深度圖資訊)。可將參考深度304轉換成一或多個參考像差圖306 (在方塊305處)，且可封裝所得像差圖306及參考紋理303以用於經由網路106傳輸。

現在轉向解碼級320，其中在方塊307處，一多參考基於深度影像之再現(MR-DIBR)演算法(舉例而言，如標題為「Methods for Full Parallax Compressed Light Field 3D Imaging Systems」之第2015/0201176號美國公開案中所揭示之演算法或方法，該美國公開案之揭示內容以引用方式併入本文中)可經由網路106接收參考紋理303及像差圖306。該MR-DIBR演算法可使用紋理及像差資訊合成(舉例而言)來自場景101之未經再現元素影像。在合成未經再現元素影像中，MR-DIBR演算法重建場景101且產生經重建光場資料308。

繼續參考圖4 (其係圖解說明根據一項實施例之經壓縮再現及經顯示器匹配編碼方法之一流程圖)，經壓縮擷取系統404可包含經壓縮再現401及經顯示器匹配編碼402。在某些實施例中，由可包含軟體、硬體或其一組合之處理邏輯執行經壓縮再現401及經顯示器匹配編碼402。在一項實施例中，經壓縮再現401可執行經壓縮再現方法，如先前關於圖3之編碼級310所闡述。亦即，經壓縮再現401可將參考紋理303及參考像差圖306提供至經顯示器匹配編碼402以用於進一步壓縮。在一項實施例中，經顯示器匹配編碼402可進一步壓縮或格式化參考紋理303及/或參考像差圖306以符合一接收經壓縮資料顯示器405及資料處理要求。在一項實施例中，顯示器405可執行一解碼方法，如先前關於圖3之解碼級320所闡述。

在某些實施例中，可在通常(舉例而言)由各種LIDAR系統獲取之大量點雲資料之處理及顯示中採用經壓縮擷取系統404 (亦即，經壓縮再現401及經顯示器匹配編碼402)。一般而言，相對迅速地獲取若干兆位元組之LIDAR資料，然而，在獲取之後，資料之處理及使用可由於資料傳送之困難而花費一長時間。在諸多情形中，將資料放置在一儲存裝置(例如，一硬碟機)中且運送資料係最快速傳送方法。然而，經壓縮再現401及經顯示器匹配編碼402可迅速地且有效地降低資料之相關性，從而導致一高資料壓縮比(例如，大於1000:1)。

圖5係圖解說明一超級多視圖(SMV)全視差光場顯示器(LFD)系統之一實例之一方塊圖。參考圖5，感測器502 (例如，LIDAR單元、一或多個光場相機)可感測且擷取一場景(或一環境)內之一或多個物件以產生輸入(或感測器)資料501。舉例而言，輸入資料501可包含點雲、網格、光場相機陣列、2D相機陣列及/或場景內之所擷取物件之紋理與深度影像資料。在一項實施例中，輸入資料501可提供至資料轉換器503以轉換為一較佳資料格式。經轉換資料可儲存於資料儲存器504中，諸如經由固態裝置(SSD)及/或硬碟機(HDD)實施之一大容量儲存器，其在一項實施例中可儲存高達千兆位元組之資訊。在一項實施例中，當一使用者(舉例而言)經由使用者介面508與光場顯示器507一起工作時，可顯示僅一特定關注區域(ROI)。ROI提取器505可向資料儲存器504請求相關光場資料且將資料發送至再現模組(或編碼器) 506。再現模組506可再現或編碼資料，且以一經壓縮格式將該經再現/經編碼資料發送至顯示器507。在一項實施例中，可在顯示器507處完全地解碼經壓縮光場資料。在另一實施例中，經壓縮光場資料可在發送至顯示器507之前經部分地解碼，其中在顯示器507處執行最後解碼。在一項實施例中，可(舉例而言)由至ROI提取器505之一回饋迴路即時處置經由使用者介面(UI) 508進行之使用者互動以修改儲存器504中之現有資料或請求下一ROI。在某些實施例中，可在軟體、硬體或其一組合中實施資料轉換器503、提取器505、編碼器506及UI 508。

在某些實施例中，如先前所闡述之經壓縮再現及經顯示器匹配編碼方法可包含如以下各項中所揭示之方法(或演算法)中之一或多者：Graziosi等人之第2015/0201176號美國公開案；Graziosi, D. B.、Alpaslan, Z. Y.及El-Ghoroury, H. S.之「Compression for full-parallax light field displays」，SPIE-IS&T電子成像記錄，第9011卷，(2014年)；Graziosi, D. B.、Alpaslan, Z. Y.、El-Ghoroury, H. S.之「Depth assisted compression of full parallax light fields」，電子成像記錄，IS&T/SPIE第9391卷，2015年2月9日；Graziosi, D. B.、Alpaslan, Z. Y.及El-Ghoroury, H. S.之「Frame Compatible Light Field Compression」，關於三維成像、視覺化及顯示器之SPIE會議，2016年；標題為「Methods for Full Parallax Compressed Light Field Synthesis Utilizing Depth Information」之第2016/0360177號美國公開案；及標題為「Preprocessor for Full Parallax Light Field Compression」之第2016/0021355號美國公開案，該等美國公開案之揭示內容以引用方式併入本文中。

在某些實施例中，經壓縮再現及經顯示器匹配編碼方法同時減少系統之計算負擔及資料速率。舉例而言，此藉由首先執行一可見度測試(其判定可在不減小有限角度間距之情況下完全地重建場景之元素影像)且然後以匹配目標LFD及人類視覺系統之能力之一方式編碼此等元素影像來達成。例如，參見Alpaslan, Z. Y.、El-Ghoroury、H. S.、Cai, J.之「Parametric Characterization of Perceived Light Field Display Resolution」，SID學術研討會技術論文摘要47(1)：第1241頁至第1245頁，2016年5月，其揭示內容以引用方式併入本文中。

圖6係圖解說明根據一項實施例之另一經壓縮再現方法之一流程圖。在一項實施例中，由可包含軟體、硬體或其一組合之處理邏輯執行經壓縮再現方法600。在一項實施例中，經壓縮再現方法600介紹在全視差光場再現及壓縮領域中之兩種方法，亦即：

(1)可見度測試，其判定將在壓縮之前再現之必要元素影像之最小子集，藉此消除不必要再現操作，及

(2)多參考基於深度影像之再現(MR-DIBR)：在DIBR中使用包含水平及垂直視差資訊之參考。

在各種實施例中，經壓縮再現方法600可提供以下優點：

(1)針對每一圖框判定取樣型樣且再現僅經取樣元素影像，藉此顯著減少再現操作及記憶體要求，

(2)藉由檢查場景中之物件之定界框而判定取樣型樣，藉此在不具有複雜操作之情況下達成自適應取樣準確性，及

(3)除紋理資料之外，亦傳輸每一經取樣元素影像之像差資訊。儘管在此情景中添加某些額外負荷，但亦增加所感知影像品質。

一般而言，傳統2D及3D影像擷取系統使用兩個級來擷取影像資料。第一級係用於產生或再現影像，且第二級係用於壓縮資料以用於儲存或傳輸。先前，經檢查光場壓縮演算法亦遵循先擷取後壓縮之傳統典範。在此處，方法600將兩個級統一在一個步驟(其可稱為「經壓縮再現」)中。經壓縮再現利用關於擷取系統及場景之一先驗知識來判定可充分地保持經顯示光場影像之感知品質之一光場資料子集。在再現(或擷取)光場資訊之前判定此光場資料子集會減少再現之處理及記憶體要求同時有效地同步地壓縮光場資料。處理及記憶體要求之此等減少可轉化成電力消耗之減少，及足以允許即時全視差光場擷取的系統複雜度之降低。經壓縮再現演算法經設計以用於擷取一全視差光場，且與諸多習用再現演算法不同，且其不限定於一僅水平視差設置。

繼續參考圖6，經壓縮再現方法(或演算法)包含編碼級610及解碼級620。在一項實施例中，經壓縮再現方法600可類似於圖3中之經壓縮再現方法。因此，在一項實施例中，可由圖2之擷取系統203執行編碼級610，且可由圖2之光場顯示系統211執行解碼級620。在另一實施例中，除編碼級610之外，擷取系統203亦可執行解碼級620之某些部分，其中光場顯示系統211執行解碼級620之剩餘部分。

仍參考圖6，經壓縮再現演算法使用元素影像(EI) 601作為編碼單元，且假定關於場景及擷取系統之基本資訊(諸如定界框、物件之位置及擷取系統之光學性質)稱為一先驗。利用此資訊，參考編碼級610，可調用稱為可見度測試之一選擇程序(在方塊602處)以自將再現之元素影像601判定一元素影像子集。亦即，該元素影像子集用作用於合成整個光場之參考。在一項實施例中，可見度測試選擇該元素影像子集以便不僅減少總體再現計算而且減小頻寬。此方法有些類似於全光取樣。例如，參見Chai, J.-X.、Chan, S.-C.、Shum, H.-Y.及Tong, X.之「Plenoptic sampling」，第27屆電腦圖學與互動技術年會記錄- SIGGRAPH’00，第307頁至第318頁(2000年)。在全光取樣中，根據場景中之物件之距離判定最佳相機距離。然而，全光取樣不考量每像素深度且通常僅執行基於影像之再現(IBR)，此導致最後影像中之模糊度。

在一項實施例中，可見度測試併入有即時實施要求(例如，高度可並行解決方案、元件之間的最小相依性)與內容冗餘性(例如，元件之間的關係、高度壓縮及功率節省)之間的一折衷。關於內容冗餘性，現在參考圖7，由產生各別截頭錐體702a至702d之若干個透鏡701a至701d擷取物件703。如圖7中可見，僅某些透鏡(例如，透鏡701a及701d)之重疊截頭錐體(例如，截頭錐體702a及702d)可覆蓋整個物件703，藉此使其他透鏡(例如，透鏡701b至701c)為冗餘的。在一項實施例中，藉由使用透鏡之視場及物件至螢幕之距離而獲得元素影像之間的距離之導出。在某些實施例中，亦在選擇元素影像之最佳參考配置中考量物件之邊界。

一般而言，經合成影像中之品質降級之一主要原因係孔洞之存在。可在由於物件在不同深度處之存在而未遮擋背景紋理時形成孔洞。

為避免或消除孔洞之存在，在一項實施例中，識別可能導致孔洞區域且將額外參考元素影像添加至參考清單。額外影像提供未經遮擋背景之紋理。此具有比經合成紋理高之一品質及較少計算影響。因此，元素影像之選擇意欲覆蓋整個物件且在合成程序期間避免(或消除)孔洞。藉由選擇多個參考，最小化孔洞出現概率。

繼續參考圖6，在方塊603處，再現選定元素影像子集以針對子集中之每一元素影像產生適當參考紋理604及參考深度605 (例如，深度圖資訊)。在方塊606處，將參考深度605轉換為一或多個參考像差圖607，且封裝所得像差圖607及參考紋理604以用於經由網路106 (如先前所闡述)傳輸。

關於深度至像差轉換(方塊606)，由於用於產生一光場之元素透鏡之均勻幾何配置，因此可根據一目標影像與一參考影像之間的距離將一參考元素影像之深度值轉換成水平及/或垂直移位。此等像差值用於在所要元素影像位置處重新配置參考紋理。在一項實施例中，將參考影像之深度轉換成像差，其中目標影像與參考之間的相對距離提供移位方向。替代深度而使用像差在編碼視點中係更高效的，且亦避免一除法運算，藉此簡化解碼器實施。在一項實施例中，下文之方程式(1)中之公式可用於深度至像差轉換：方程式(1)，

其中f 係微透鏡之焦距，z 係一物件之深度，且P 係元素透鏡間距。由於透鏡之間的類似性，因此可藉由使用影像之間的相對距離來對經轉換值進行縮放而判定參考元素影像與任一其他影像之間的像差。應注意，此距離亦根據元素影像之位置提供像素移位方向。

在一項實施例中，深度至像差轉換可替代浮點算術而使用固定點算術，此乃因固定點具有一更高效硬體實施方案。在當前DIBR演算法中，通常將深度值映射至八(8)個位元，此提供對於合成操作足夠之準確度。然而，由於固定點算術限制一系統之精確度，因此在一項實施例中，使用十(10)個位元來表示經轉換像差值。模擬已展示：所使用之位元數目提供對於系統之定尺寸充分之準確度，但可在顯示尺寸及深度範圍改變之情形中執行進一步最佳化。

現在參考解碼級620，在方塊608處，自網路106接收參考紋理604及參考像差圖607。然後，可調用一MR-DIBR演算法以使用所接收參考紋理604及像差圖607合成來自EI 601之未經再現元素影像。亦即，對於剩餘(或丟失)元素影像，習用密集型電腦圖學再現例程由MR-DIBR演算法替換。術語「多參考」(或MR)係指使用比在現有DIBR實施方案中一般所使用的多之參考之一合成方法。舉例而言，現有DIBR演算法一般使用兩個參考，而MR-DIBR演算法使用四個或更多個參考。原因係兩方面的： (1)現有DIBR實施方案針對僅水平視差序列經定製化而MR-DIBR演算法以全視差為目標，且(2)同時使用多個參考會降低最後經合成影像中之孔洞之概率。

現在參考圖8 (其係圖解說明根據一項實施例之MR-DIBR演算法之一流程圖)，可執行以下步驟以便合成元素影像像差(例如，像差圖607)及紋理(例如，參考紋理604)：

(1)針對參考像差或像差圖801a至801d (亦即，EI參考深度)中之每一者執行向前扭曲802，

(2)在經向前扭曲參考像差中之每一者中施加一裂紋濾波器803，

(3)將經扭曲且經濾波參考像差合併(在方塊804處)成參考像差805 (亦即，經合成EI深度)，及

(4)使用經合併參考像差805及參考紋理807a至807d執行向後扭曲806以產生經合成EI紋理808。

在某些實施例中，由可包含軟體、硬體或其一組合之處理邏輯執行MR-DIBR演算法。應瞭解，雖然圖8圖解說明四個參考像差及四個參考紋理，但在某些實施例中，可利用四個以上參考像差及參考紋理。

在一項實施例中，使用多個參考影像會增加在扭曲之後之未經遮擋紋理將存在於參考像差中之一者中之機會，且因此最少化或完全避免孔洞填充。此提供比合成孔洞填充演算法好之一品質；然而其需要參考元素影像之一仔細選擇同時增加MR-DIBR處理時間及記憶體使用。

在向前扭曲802中，根據目標元素影像與參考元素影像之間的距離及其各別像差值使參考像差移位。為了減少多個參考之記憶體使用，僅像差用於向前扭曲。由於舍入及量化誤差，裂紋可出現在經向前扭曲像差中。因此，裂紋濾波器803用於偵測錯誤像差值且用相鄰像差校正其。然後將經扭曲且經濾波像差合併在一起(在方塊804處)，且由於使用多個參考，因此存在未經遮擋視圖將存在於參考中之一者中之一概率。最後，在向後扭曲級806中，經合併像差805用於指示參考影像中之位置以獲得最後紋理。

返回參考圖6，在合成未經再現元素影像中，MR-DIBR演算法重建EI 601中之場景且產生經重建光場資料609。由於MR-DIBR演算法使用影像來再現新場景，因此其最後品質類似於其他記憶體密集型基於影像之再現方法。然而，藉助每像素幾何資訊之使用，可減少用於再現之視圖數目同時維持再現品質。深度之使用將3D多視圖系統之產生級與顯示級解耦。

先前，自由視點電視(FTV)之動畫專家群(MPEG) 3D視訊標準已提議在僅水平視差編碼演算法中使用深度。例如，參見ISO/IEC JTC1/SC29/WG11 MPEG2013/N14104，「Use Cases and Requirements on Free-Viewpoint Television (FTV)」，日內瓦，瑞士，10月(2013年)。在此處，經壓縮再現方法600藉由考量全視差光場而採取更進一步之一步驟。藉由使用深度圖，舉例而言，方法可在編碼級610處藉由僅產生幾個參考EI及其各別參考深度605 (例如，深度圖)而節省電力，且透過MR-DIBR合成剩餘光場。

在某些實施例中，與先前關於圖3至圖4所闡述之經壓縮再現401及經顯示器匹配編碼402方法一樣，可將參考紋理604及參考像差圖607提供至一經顯示器匹配編碼方法以用於在經由網路106傳輸之前進一步壓縮。在一項實施例中，經顯示器匹配編碼方法可進一步壓縮或格式化參考紋理604及/或參考像差圖607以符合一接收經壓縮資料顯示器及資料處理要求。

如先前所闡述，經壓縮再現方法600使用具有相關聯像差圖607之元素影像來以一經壓縮方式表示光場。首先，3D場景之一高階分析可提取應再現之元素影像(亦稱為參考)之位置。與參考元素影像之相關聯參考深度(或深度圖) 605一起再現參考元素影像(在方塊603處)，參考元素影像之相關聯參考深度(或深度圖) 605經轉換為像差圖607。在顯示器處，重建演算法利用MR-DIBR來重建丟失元素影像。與由MPEG群研究之視圖合成技術(其適合用於經水平對準視圖且僅處置兩個參考)相比較，MR-DIBR技術可在用於擷取場景之一2D相機網格中之任一位置處使用多個參考，且能夠處置水平及垂直像素移位。

在一項實施例中，經顯示器匹配編碼將壓縮添加至參考紋理(或元素影像) 604及參考像差圖607，藉此利用參考元素影像及像差圖當中之任何剩餘相關性。與編碼參考視圖且使用視圖合成預測來編碼殘留視圖之多視圖編碼方案相比較，在一項實施例中，藉由使用MR-DIBR技術執行非參考視圖之重建。這樣，可在接收到參考視圖之後立即重建視圖，且不需要將額外資訊發送至解碼器。

在某些實施例中，類似於MPEG，經壓縮再現方法600利用一基於每像素深度之3D資料格式，其中使用轉換為像差之元素影像之紋理及其每像素深度。在電腦產生之內容之情形中，擷取相機可放置在元素影像之位置處且可直接自雙截頭錐體相機獲得紋理及像差。自用於再現目的之深度緩衝器計算像差。在2D相機陣列之情形中，可(舉例而言)藉助深度估計演算法獲得深度圖，該等深度圖然後可轉換為像差且按照吾等建議以相同方式來使用。

在某些實施例中，可以一自適應方式(舉例而言)依據場景內容之一高階分析選擇參考元素影像。在一項實施例中，經壓縮再現方法600可適應於場景內容且獲得較高壓縮效率及比固定參考方案好之視圖重建。在此處，方法亦僅自多視圖紋理及深度圖獲得一高階場景描述。

在某些實施例中，使用一變換-量化典範壓縮參考元素影像之紋理，且藉助一運行長度編碼器編碼像差圖。舉例而言，此特徵可達成更高度壓縮且甚至針對需要再現數個參考元素影像或採用高解析度參考元素影像的場景利用經壓縮再現方法600。

在某些實施例中，判定對於全視差光場之元素影像二次取樣必要之條件且根據場景內容提供元素影像壓縮之最佳比率失真效能。

在某些實施例中，經壓縮再現方法600適合用於具有高解析度元素影像之一全視差光場顯示系統。由於全視差光場顯示系統之要求可不僅影響資料傳輸而且影響資料產生，因此可採用紋理加深度格式來將資料顯示與資料產生解耦。在具有此資料格式之情況下，可擷取或再現一經減小元素影像子集，且可在顯示系統(例如，圖2之光場顯示系統211)處直接重建丟失元素影像。

圖9係圖解說明根據一項實施例之一光場壓縮系統之一實例之一方塊圖。參考圖9，光場壓縮系統可包含編碼器910及解碼器920。在某些實施例中，編碼器910及解碼器920以及包含在其中之相關聯模組或邏輯(例如，模組901至908)可實施於軟體、硬體或其一組合中。在一項實施例中，編碼器910可實施為圖2之擷取系統203之一部分，且解碼器920可實施為圖2之光場顯示系統211之一部分。在另一實施例中，除編碼器910之外，擷取系統203亦可包含解碼器920之某些部分，其中光場顯示系統211包含解碼器920之剩餘部分。

如圖9中所展示，編碼器910包含一可見度測試模組901、再現邏輯902及深度至像差轉換器904。在一項實施例中，可見度測試模組901、再現邏輯902及深度至像差轉換器904可分別執行可見度測試602、參考EI再現603及深度至像差轉換606 (如先前關於圖6所闡述)，且為了簡潔而未再次經闡述。然而，在編碼器910中，為執行參考元素影像之壓縮，添加紋理編碼器903及像差編碼器905。在一項實施例中，紋理編碼器903及像差編碼器905可執行相同或類似操作。然而，其對位元率之貢獻可係不同的。舉例而言，在一項實施例中，大致80%至85%之位元預算可用於紋理編碼器903，且大致15至20%之位元預算用於像差編碼器905。

在一項實施例中，編碼器903及905可調用(或施加)與H.264/MPEG-4進階視訊編碼(AVC)或H.265高效率視訊編碼(HEVC)演算法中之內部編碼類似之方法。舉例而言，在一項實施例中，編碼器903及905可分別將參考紋理及參考像差(或像差圖)之紅色、綠色及藍色(RGB)值變換成YcoCg色彩空間。YcoCg色彩空間係指依據一相關聯RGB色彩空間變換成一明度值(其可表示為Y)、兩個色度值(稱為色度綠色(Cg)及色度橙色(Co))而形成之一色彩空間。每一色彩通道可劃分成若干大小區塊(舉例而言，4×4)，且可應用一整數變換。可量化變換之變換係數且可使用一信號編碼器來編碼係數，諸如用於DC值之差動脈碼調變(DPCM)方案及用於AC值之一運行長度編碼器。隨後，在一項實施例中，可利用一熵編碼器(例如，霍夫曼編碼)來進一步壓縮經編碼係數。在一項實施例中，紋理之最後品質以及用於編碼紋理之位元量受量化參數控制。在某些實施例中，經編碼紋理及經編碼像差(分別由紋理編碼器903及像差編碼器905產生)可經封裝且經由網路106傳輸至解碼器920以用於解碼及產生光場資料909。

在某些實施例中，上文所闡釋之編碼(或壓縮)方法可僅產生一視圖子集。可直接在顯示系統處合成剩餘視圖。可在接收到參考且並行地接收到所有參考之後立即進行其他視圖之合成，此乃因其不彼此相依。在一項實施例中，假定再現程序係最佳的且一觀看者未感知到任何假影。在一項實施例中，為改良視圖相依特徵之品質，可發送殘留資訊。亦即，使用最近接收到的參考得出之原始視圖與經合成視圖之間的差(或Δ)可經由網路106傳輸至解碼器920以用於解碼。此需要全光場資料之再現或獲取。壓縮與品質之間的一較佳折衷係識別光場之關鍵區且僅針對彼等特定部分執行再現之演算法。

現在轉向解碼器920，如所展示，解碼器920包含紋理解碼器906、像差解碼器907及MR-DIBR邏輯908。MR-DIBR邏輯908可執行MR-DIBR演算法608 (如先前在圖6中所闡述)，且為了簡潔而未再次經闡述。

紋理解碼器906及像差解碼器907可分別自網路106接收經編碼紋理及經編碼像差以用於解碼。在一項實施例中，解碼過程係可與編碼過程並行的。可同時解碼經編碼參考紋理及參考像差，此乃因其不彼此相依。類似地，剩餘視圖之合成不取決於其他非參考視圖且可並行地執行。然而，解碼器920需要識別所接收封包且使經解碼資訊與正確元素影像位置相關聯。因此，在一項實施例中，標頭資訊在傳輸至解碼器920之前附加至每一元素影像之位元串流，使得解碼器920可將經解碼資訊放置在經重建光場影像中。在一項實施例中，標頭可包含元素影像之一唯一識別、元素影像在光場中之一座標及用於壓縮紋理資訊之量化參數。

在某些實施例中，由於對一光場顯示系統之即時解碼及顯示之嚴格定時要求，因此位元串流之延時可係難以管理的。在更高度壓縮之情況下，解碼器920需要執行更多操作以重建可能在時間上未準備好顯示之光場。影響解碼器920之效能之另一因素係記憶體可用性。解碼器920處之記憶體之約束亦可對光場壓縮系統強加約束。因此，光場顯示系統之顯示硬體可影響光場壓縮系統，此可迫使整個系統經重新設計。總之，用於全視差光場顯示系統之一壓縮演算法之設計空間可需要考量各種因素，諸如解碼時間、可用記憶體、像素尺寸、電力消耗等。

圖10係圖解說明根據一項實施例之另一光場壓縮系統之一實例之一方塊圖。參考圖10，光場壓縮系統(或編解碼器) 1000可包含一編碼級1050及一解碼級1060。在某些實施例中，編碼級1050及解碼級1060以及包含在其中之相關聯模組(例如，模組1003、1005、1010、1012、1017)可實施於軟體、硬體或其一組合中。在一項實施例中，編碼級1050可實施為圖2之擷取系統203之一部分，且解碼級1060可實施為圖2之光場顯示系統211之一部分。在另一實施例中，除編碼級1050之外，擷取系統203亦可包含解碼級1060之某些部分，其中光場顯示系統211包含解碼級1060之剩餘部分。

繼續參考圖10，在一項實施例中，編碼級1050可包含MR-DIBR編碼器1005、視訊編碼器1010及峰值信雜比(其可稱為「PSNR」)計算器1003。在另一實施例中，PSNR計算器1003可替代地包含於解碼級1060中，如下文中更詳細地闡述。如所展示，相機(或場景)後設資料1001及輸入光場影像1002提供至MR-DIBR編碼器1005。在一項實施例中，後設資料1001可包含一擷取裝置之光學特性及所擷取資料，諸如相機像素計數、相機位置、透鏡FOV、場景組成、其距相機之距離及/或顯示裝置特性。

現在參考圖11 (其係圖解說明根據一項實施例之MR-DIBR編碼器1005之一實例之一方塊圖)，MR-DIBR編碼器1005接收後設資料1001及輸入光場影像(例如，元素影像、全像元素)且利用後設資料1001及輸入光場影像(例如，元素影像、全像元素)來判定且產生重建全光場(例如，如先前所闡述之可見度測試)所需要之最小數目個參考EI 1007 (在方塊1101處)以及參考EI 1007中之參考位置1006以獲得最後光場影像。MR-DIBR編碼器1005然後計算或估計所產生參考EI 1007中之每一者之一或多個參考像差圖(在方塊1102處)，藉此產生若干個像差圖1008。一旦判定參考EI 1007及像差圖1008，便產生一目標位元率或每像素位元(bpp)值以組態經顯示器匹配編碼級。亦即，使用bpp產生之組態來組態經顯示器匹配編碼級(在方塊1103處)。在一項實施例中，bpp產生之組態可包含參考選擇調整、紋理對像差圖權數及/或接通/關斷明度縮放。在一項實施例中，若一較高品質重建係必要的，則可將額外參考元素影像及參考深度圖添加至編碼級。

返回參考圖10，在一項實施例中，經顯示器匹配編碼級使用影像(或視訊)編碼器1010 (例如，JPEG、JPEG 2000或JPEG XS編碼器，或MPEG、H.264、HEVC、Theora、RealVideo、RV40、VP9、AV1、AVI、FLV、RealMedia、Ogg、QuickTime或Matroska編碼器)來進一步壓縮參考EI 1007 (或參考紋理)及參考像差圖1008。在一項實施例中，在起始編碼器1010之前，判定參考EI 1007之位元預算(例如，介於總位元預算之80%至85%之間)及參考像差圖1008之位元預算(例如，介於總位元預算之15%至20%之間)，且位元預算可用作編碼器1010之輸入。

在一項實施例中，編碼器1010可壓縮(或編碼)參考EI 1007及參考像差圖1008 (在一項實施例中，根據位元預算)以便產生經壓縮資訊(例如，經壓縮參考EI、像差圖)。經壓縮資訊及參考位置1006可包含於光場經編碼資料1011 (例如，一經編碼光場檔案)中以用於傳輸。

在一項實施例中，在編碼級1050中支援一光場影像中之明度變化。舉例而言，在編碼參考EI 1007之前，MR-DIBR編碼器1005可判定參考EI 1007中之每一者之一區域明度位準(其可包含每一色彩分量之一明度權數或明度縮放參數) (與一全域光場明度位準相比較)，以產生與參考EI 1007對應之若干個明度權數1009。可藉由將明度權數1009傳遞至光場經編碼資料1011以用於(舉例而言)經由一網路(諸如網路106)傳輸而保持每一參考EI之區域明度位準。因此，光場經編碼資料1011包含參考位置1006、明度權數1009、經編碼參考EI及經編碼參考像差圖。

仍參考圖10，解碼級1060包含影像(或視訊)解碼器1012及MR-DIBR解碼器1017。在一項實施例中，解碼級1060可進一步包含PSNR計算器1003 (如先前所闡述)。如所展示，將光場經編碼資料1011傳輸至解碼器1012 (例如，JPEG、JPEG 2000或JPEG XS解碼器或MPEG、H.264、HEVC、Theora、RealVideo、RV40、VP9、AV1、AVI、FLV、RealMedia、Ogg、QuickTime或Matroska解碼器)以對經壓縮(或經編碼)參考EI及參考像差圖進行解碼(或解壓縮)。將經解碼參考EI 1014及參考像差圖1015提供至MR-DIBR解碼器1017以用於進一步解碼。包含於光場經編碼資料1011中之參考位置1013及明度權數1016 (其可分別與參考位置1006及明度權數1009相同)亦可經提取以提供至MR-DIBR解碼器1017以用於解碼。在一項實施例中，MR-DIBR解碼器1017可執行MR-DIBR演算法(如先前關於圖8所闡述)，且為了簡潔而未再次經闡述。使用參考位置1013、參考EI 1014、參考像差圖1015及明度權數1016，MR-DIBR解碼器1017可解碼參考EI 1014及參考像差圖1015以便產生輸出經解碼光場影像1018，其中可藉由一光場顯示系統(例如，圖2之光場顯示系統211)調變經解碼光場影像1018。

在一項實施例中，可藉由比較經解碼光場影像1018與原始輸入光場影像1002而將經解碼光場影像1018及輸入光場影像1002傳遞至PSNR計算器1003以計算PSNR (例如，總體系統失真)。亦即，可在PSNR及結構類似性索引(SSIM)計算中使用經解碼光場影像1018及輸入光場影像1002以用於判定MR-DIBR編碼器1005及MR-DIBR解碼器1017之客觀影像品質效能。舉例而言，PSNR計算器1003可藉由獲得來自輸入光場影像1002之原始資料與由壓縮引入之誤差(或雜訊)之間的一比率(其可自經解碼光場影像1018獲得)而計算PSNR。自PSNR計算器1003產生之PSNR可包含於評估結果1004中以用於總體系統之效能之後續評估。舉例而言，可藉由總體位元率及失真量測總體系統之效能，此可用於改良不同組件當中之位元率分配。

在一項實施例中，解碼級1060中之MR-DIBR解碼器1017可利用整數像差值。在某些實施例中，當目標目的地係一光場顯示器時整數像差值之使用係有利的，此乃因光場影像中之每一像素與一特定方向相關聯。然而，在某些實施例中，若目標目的地係一光場顯示器，則整數像差之使用可改變為分率像差。在解碼級1060中變為分率像差會改良影像中之PSNR而不導致對系統之計算負載之太多額外負擔。

圖12係圖解說明與一習用壓縮系統相比較之光場壓縮系統(或編解碼器) 1000之主觀效能之一圖式。在圖12中，影像1202係可來自一高密度相機陣列(HDCA)資料集之原始影像。舉例而言，以0.0025 bpp編碼影像1202，且使用光場壓縮系統1000及一習用壓縮系統(例如，錨編解碼器)解碼影像1202。如所展示，影像1201係使用習用壓縮系統之結果且影像1203係使用光場壓縮系統1000之結果。如進一步展示，影像1203能夠保持影像1202 (原始影像)之空間解析度而影像1201在影像之細節中包含模糊。此係一重要結果，此乃因處於元素影像位準之空間解析度轉化成光場位準之角度解析度。能夠保持光場處之角度解析度意味：除光場之空間解析度之外，亦保持光場之焦點深度。此產生在解碼結束時更有用之光場資料。

圖13係圖解說明根據一項實施例之影像編碼之一方法之一流程圖。可由可包含軟體、硬體或其一組合之處理邏輯執行方法1300。舉例而言，可由圖2之擷取系統203執行方法1300。參考圖13，在方塊1301處，處理邏輯接收與一場景相關聯之場景後設資料及輸入影像(例如，EI、全像元素)。在方塊1302處，處理邏輯對場景後設資料及輸入影像執行一第一編碼操作(例如，MR-DIBR編碼)以產生參考影像(例如，參考EI)及參考像差資訊(例如，參考像差)。在方塊1303處，處理邏輯對參考影像及參考像差資訊執行一第二編碼操作(例如，影像或視訊編碼)以輸出經編碼資料(例如，光場經編碼資料)，其中經編碼資料包含經編碼參考影像及經編碼參考像差資訊。在方塊1304處，處理邏輯(舉例而言)經由諸如網路106之一網路傳輸經編碼資料。

圖14係圖解說明根據一項實施例之影像解碼之一方法之一流程圖。可由可包含軟體、硬體或其一組合之處理邏輯執行方法1400。舉例而言，可由圖2之擷取系統203及/或光場顯示系統211執行方法1400。參考圖14，在方塊1401處，處理邏輯接收包含經編碼參考影像及經編碼參考像差資訊之經編碼資料(例如，自諸如網路106之一網路)。在方塊1402處，處理邏輯對經編碼資料執行一第一解碼操作(例如，影像或視訊解碼)以輸出經解碼參考影像(例如，EI、全像元素)及經解碼參考像差資訊(例如，參考像差)。在方塊1403處，處理邏輯對經解碼參考影像及經解碼參考像差資訊執行一第二解碼操作(例如，MR-DIBR解碼)以輸出一或多個經解碼影像(例如，光場影像)。

圖15係圖解說明習用壓縮系統及光場壓縮系統1000之PSNR-bpp關係之一曲線圖1500。如圖15中所展示，曲線1510表示光場壓縮系統1000之PSNR-bpp關係且曲線1520表示習用壓縮系統之PSNR-bpp關係。如曲線圖1500中所展示，光場壓縮系統1000在全部位元率下比習用壓縮系統好。然而，更顯著效能差異在最低位元率下發生，其中光場壓縮系統1000之效能比習用系統好大致8 dB。此外，在0.0025 bpp下，光場壓縮系統1000具有比習用系統好大致4 dB之PSNR。

圖16係圖解說明根據一項實施例之習用壓縮系統及光場壓縮系統1000之SSIM-bpp關係之一曲線圖1600。在圖16中，曲線1610表示光場壓縮系統1000之SSIM-bpp關係且曲線1620表示習用壓縮系統之SSIM-bpp關係。如曲線圖1600中所展示，光場壓縮系統1000在所有位元率下再次比習用壓縮系統好。然而，更多顯著效能差異在最低位元率下發生，其中光場壓縮系統1000比習用系統好大致0.13。另外，光場壓縮系統1000藉由執行與習用系統相比較較少之計算而在最低位元率下達成一高效能。此外，在0.0025 bpp下，光場壓縮系統1000具有與習用系統相比較高出大約0.04之一SSIM。

在具有以3.30GHz運行之一32核心Intel(R) Xeon(R) CPU E5-4627 v2及1TB 記憶體之一硬體平臺上比較兩個系統之計算速度。在大約2分20秒內完成關於光場壓縮系統1000之編碼級1050為0.0025 Bpp之計算，而習用系統之編碼花費大約16分30秒。在大約2分54秒內完成光場壓縮系統1000之解碼級1060，而習用系統之解碼花費大約10分36秒。因此，光場壓縮系統1000在客觀品質量測及計算速度兩個方面明確地擊敗習用系統。

圖17至圖20圖解說明全影像(或HDCA資料集)之一更詳細客觀效能計算。如圖17中所展示，習用壓縮系統(例如，錨編解碼器)之SSIM值跨越整個資料集保持相對恆定。然而，如圖18中所展示，光場壓縮系統1000具有具高得多之SSIM值之區域，而光場壓縮系統1000之最低SSIM值大致等於習用系統之最高SSIM值。因此，光場壓縮系統1000關於SSIM具有優於習用系統之優良效能。

現在轉向圖19至圖20，參考圖19，習用系統之PSNR值亦跨越整個影像保持相對恆定。然而，如圖20中所展示，光場壓縮系統1000具有具高得多之PSNR值之區域，而光場壓縮系統1000之最低PSNR值大致等於習用系統之最低PSNR值。因此，光場壓縮系統1000之PSNR通常高於習用系統之PSNR，然而其不在影像之特定區域處表現得比習用系統糟糕。此外，如圖18及20中所展示，光場壓縮系統1000之效能在某些區域中達到峰值且在其他區域中下降。具有峰值之區域對應於參考EI之位置(如先前所闡述)。如圖18及圖20中進一步展示，系統1000之效能可隨著經合成影像移動遠離參考EI而平穩地降低。若在影像中需要進一步效能改良，則可在具有最低效能之位置中插入額外參考EI以增加總體影像品質。

在某些實施例中，系統1000保持一全視差光場壓縮框架之大多數優點，舉例而言，如第2015/0201176號美國公開案中所揭示。即使全所擷取光場係可用的，系統1000亦識別合成全光場影像所需要之最小數目個參考EI。與習用系統相比較，此顯著減少處理要求，此乃因將編碼操作施加至更小數目個影像。基於位元率及品質要求，可增加參考影像數目以提供一較高品質。在一項實施例中，系統1000在不在其編碼操作中使用大部分光場資料之情況下可達到實際上無損品質。在一項實施例中，系統1000在編碼級及解碼級兩者中係完全可並行的。在編碼級1050中，一旦識別參考EI，便可獨立地計算其像差圖且亦可使編碼器1010並行化以完成編碼。在解碼級1060中，在一項實施例中，影像合成針對光場中之每一元素影像需要四個最近參考影像。此意味四個參考元素影像之一群組可獨立地運行以在一區域中合成丟失元素影像，從而促進非常快速計算速度。

在某些實施例中，可針對聯合照相專家群(JPEG) Pleno標準利用系統1000。由於JPEG Pleno要求，因此最小位元率設定在0.00125 bpp。然而，系統1000實際上具有以較低位元率執行之淨空同時維持良好品質。在不具有顯著計算量之情況下將一HDCA光場中之2100個影像壓縮至一非常小位元率對於一編解碼器(諸如HEVC)係困難的。然而，為達成最小位元率，系統1000使用最小參考EI集。此產生一顯著較低計算要求以達成最低位元率，從而將一顯著優點提供給系統1000。

在某些實施例中，系統1000可支援Lytro及HDCA表示模型。其亦可直接(諸如3D網格模型、十億像素光場影像等)或透過至容易地經支援表示模型之一轉換(諸如點雲至網格轉換)支援其他表示模型。

在某些實施例中，系統1000係色彩表示不可知論者。在某些實施例中，系統1000不具有與JPEG反向相容之任何限定。可使壓縮參考EI 1007及像差圖1008之經顯示器匹配編碼級(亦即，編碼器1010)與JPEG反向相容。在某些實施例中，系統1000不具有與JPEG正向相容之任何限定。可使壓縮參考EI 1007及像差圖1008之經顯示器匹配編碼級與JPEG正向相容。如先前所闡述，在某些實施例中，系統1000可比習用系統更進一步地壓縮資料。在相同壓縮效率下，系統1000就PSNR及SSIM而言擊敗習用系統。舉例而言，與習用系統相比較，系統1000在最低位元率下具有高達8 dB PSNR優點。

在某些實施例中，系統1000之最大優點中之一者係處於其所提供之低計算複雜度中。在一全視差光場中利用類似性，系統1000使用場景資訊來選擇最小影像集以重建全光場。用於選擇參考影像之處理要求係最低限度的。自此以後，若期望較低影像品質但較高壓縮效率，則計算要求保持為低。若期望較低壓縮效率但較高影像品質，則計算要求增加。對於HDCA資料集@ 0.0025 bpp情景，舉例而言，編碼級1050比習用編碼器快6.6x，而對於相同資料及資料速率，解碼級1060比習用解碼器快3.7x。

由於系統1000之本質，隨機存取係非常容易的。若一所請求項視圖作為一參考影像係可用的，則可立即存取彼視圖。若視圖係不可用的，則可藉由使用最接近於其之四個參考影像重建該視圖。系統1000之此能力可進一步經調諧以存取影像之特定視圖或部分或甚至變化解析度。

如先前所闡述，系統1000就品質(舉例而言SNR)、計算複雜度及內容(或物件)而言提供可擴縮性。另外，系統1000在保持光場影像角度解析度方面係卓越的。角度解析度係指光場影像之品質之一度量。一光場影像之角度解析度類似於一2D影像中之像素解析度。角度解析度愈高，就空間、深度及光譜解析度而言光場資料之品質愈好。舉例而言，自解碼級1060重建之光場影像具有卓越空間、深度及光譜解析度，同時保持觀看角度數目及觀看角度範圍。由於系統1000保持角度解析度，因此可能以全角度解析度或以較低角度解析度形成資料之重建。

在某些實施例中，系統1000允許經壓縮光場影像之更容易編輯或操縱。由於可以參考影像位準進行大多數編輯或操縱操作，因此系統1000提供在計算複雜度及任務完成速度方面之節省。

在某些實施例中，用HDCA資料集結果證明系統1000之誤差彈性。舉例而言，已發現，在位置100_000處之一影像具有一誤差且不遵循與同一列上之其他影像相同之水平視差型樣。在壓縮結束時，系統1000實際上校正在位置100_000處之影像且形成一較佳光場影像。

在某些實施例中，系統1000係非常具誤差彈性的，此乃因MR-DIBR編碼器1005及MR-DIBR解碼器1017可藉由使用其他附近參考影像或像差圖而處理丟失參考影像及參考深度圖。若參考影像或參考深度圖之一部分丟失，則亦可使用MR-DIBR方法重建該部分。

在某些實施例中，在高位元率之情形中，由於丟失封包或位元導致之所得誤差對於使用者應係覺察不到的，此乃因將存在足以消除誤差的參考影像及參考深度圖數目之冗餘。在最低可能位元率之情形中，參考數目減少且每一影像對於該影像變得更重要。但即時那樣，只要至少一個參考影像及其對應像差圖係可用的，整個影像便應係可重建的。

在某些實施例中，系統1000經設計以運行將在全視差光場顯示器上顯示之十億像素全視差光場影像之即時編碼及解碼。系統1000可容易地在並行處理器上經並行化且僅需要同樣多之記憶體來保存考影像及參考像差圖以用於編碼及解碼操作。專業硬體及軟體經設計以用於以非常低電力消耗達成即時操作。

在某些實施例中，一擷取系統(例如，圖2之擷取系統203)可甚至係一成像系統之一部分且僅擷取所需要參考影像及參考深度圖而非擷取整個資料以便減少處理、記憶體及電力消耗要求。

在某些實施例中，系統1000在編碼級及解碼級兩者中需要後設資料。在一項實施例中，可使用現有JPEG標準處置此後設資料之編碼。

在某些實施例中，系統1000在支援相關聯內容之私密性及安全性需要方面不具有任何限定。

在某些實施例中，系統1000經設計以在一分佈式且並行處理環境上運行，因此其完全支援並行化。

在某些實施例中，系統1000之效能參數可經調整以在低延時及即時環境上運行。編碼程序及解碼程序兩者可針對具體計算及顯示硬體要求經定製化以達成即時效能。

在某些實施例中，系統1000藉由在多個步驟中達成資料之解碼而促進階層式資料處理。階層式處理係對資訊之顯示及解碼之一重要要求，此乃因其允許每一處理節點在多個級中解碼資料且減少對通信鏈路之負擔。

在一項實施例中，為執行階層式資料處理，每一節點可解碼下游處理節點之參考影像及參考像差圖直至資料完全經解碼為止。

在某些實施例中，系統1000經設計以支援在系統中之多個顯示元件或子顯示器之間共用資料。達成此之一種方式係透過對經壓縮光場資料進行階層式解碼。

在一項實施例中，在一拼接顯示器中，多個子顯示器(或影像塊)可共用相同參考影像及參考像差圖。在此情形中，可橫向地而非階層式地傳送參考資料以達成系統中之記憶體節省。

在某些實施例中，系統1000保持光場影像中之空間及角度解析度。其可與多個色彩/光譜組件一起工作且其亦可支援在一全視差光場影像中可用之六(6)個自由度。

在某些實施例中，系統1000可在形成經壓縮光場資料之一顯示相依表示之經顯示器匹配編碼級中進一步解碼影像。在一項實施例中，經顯示器匹配編碼級可由一標準顯示不可知論編碼方法替換以形成一顯示獨立或通用表示。

在某些實施例中，系統1000可在成像管線中支援校準後設資料。舉例而言，系統1000可取決於系統之要求而在擷取級及/或解碼級兩者處利用校準資料。若需要在編碼級中使用校準資料(亦即，用於一相機)，則可在編碼級處校準參考影像及參考像差圖。若需要在解碼級中使用校準資料(亦即，用於一顯示器)，則可使用此資料計算調變表面上之經解碼資料之正確位置。

在某些實施例中，系統1000在支援由不同感測器擷取之資料之同步方面不具有任何限定。

在某些實施例中，系統1000支援感測器上之微透鏡陣列(例如，光場相機)、線性陣列(例如，HDCA資料)、非線性陣列及旋轉感測器類型組態。

在某些實施例中，在旋轉感測器類型組態之情形中，在不在感測器之視場(FOV)中具有任何重疊之情況下，在尋找參考影像及像差圖中獨立地處理每一旋轉。另一方面，在於感測器之FOV中具有重疊之情況下，在尋找參考影像及像差圖中同時處理重疊旋轉。

在某些實施例中，在非線性陣列類型組態之情形中，分析相機放置及場景以找出最小數目個參考影像及像差圖。

在某些實施例中，系統1000需要經壓縮資料包含參考影像及其對應像差圖。因此，演算法將支援補充深度圖。

在各種實施例中，系統1000可解決所有所要位元率及效能要求同時與習用系統(例如，錨編解碼器)相比較以一較高計算速度及較低數目個操作來進行操作。因此，此將引起電力消耗之節省，此在當今之行動電子裝置(諸如行動電話及混合實境裝置)中係非常重要的。

圖21係可與本發明之一項實施例一起使用之一資料處理系統之一方塊圖。舉例而言，系統2100可用作擷取系統203及/或光場顯示系統211之一部分，如圖2中所展示，以實施如先前所闡述之各種系統(例如，系統1000)及方法(例如，圖3至圖4之方法及方法1300至1400)。注意，雖然圖21圖解說明一電腦系統之各種組件，但其不意欲表示使該等組件互連之任一特定架構或方式，此乃因此等細節並非與本發明有密切聯繫。亦將瞭解到，具有更少組件或可能更多組件之網路電腦、手持式電腦、行動裝置(例如，智慧型電話、平板電腦)及其他資料處理系統亦可與本發明一起使用。

如圖21中所展示，系統2100 (其係一資料處理系統之一形式)包含一匯流排或互連件2102，匯流排或互連件2102耦合至一或多個微處理器2103及一ROM 2107、一揮發性RAM 2105及一非揮發性記憶體2106。微處理器2103耦合至快取記憶體2104。匯流排2102將此等各種組件互連在一起且亦將此等組件2103、2107、2105及2106互連至一顯示控制器與顯示裝置2108，而且互連至輸入/輸出(I/O)裝置2110，輸入/輸出(I/O)裝置2110可係滑鼠、鍵盤、數據機、網路介面、印表機及此項技術中眾所周知之其他裝置。

通常，輸入/輸出裝置2110透過輸入/輸出控制器2109耦合至系統。揮發性RAM 2105通常實施為連續地需要電力以便再新或維持記憶體中之資料的動態RAM (DRAM)。非揮發性記憶體2106通常係一磁硬碟機、一磁光碟機、一光碟機或一DVD RAM或甚至在自系統移除電力之後維持資料之其他類型之記憶體系統。通常，非揮發性記憶體亦將係一隨機存取記憶體，儘管此並非必需的。

雖然圖21展示非揮發性記憶體係直接耦合至資料處理系統中之組件之其餘部分之一區域裝置，但可利用遠離系統之一非揮發性記憶體，諸如，透過諸如一數據機或乙太網路介面之一網路介面耦合至資料處理系統之一網路儲存裝置。匯流排2102可包含透過各種橋接器、控制器及/或適配器彼此連接之一或多個匯流排，如此項技術中眾所周知。在一項實施例中，I/O控制器2109包含用於控制USB周邊裝置之一通用串列匯流排(USB)適配器。另一選擇係，I/O控制器2109可包含一IEEE-1394適配器，亦稱為用於控制火線裝置之火線適配器。

可由處理邏輯執行前述各圖中所繪示之程序或方法，該處理邏輯包括硬體(例如，電路、專用邏輯等)、軟體(例如，體現於一非暫時性電腦可讀媒體上)或兩者之一組合。儘管上文就某些順序操作而言闡述程序或方法，但應瞭解，可以一不同次序執行所闡述之某些操作。此外，可並行地而非順序地執行某些操作。

未參考任何特定程式化語言闡述本發明之實施例。將瞭解，各種程式化語言可用於實施如本文中所闡述之本發明之實施例之教示。

在前述說明書中，本發明之實施例已參考其具體例示性實施例經闡述。將明白，在不背離如以下申請專利範圍書中所陳述之本發明之較寬廣精神及範疇之情況下，可對本發明做出各種修改。因此，應將本說明書及圖式視為具有一說明性意義而非一限定性意義。

100‧‧‧光場成像系統

101‧‧‧場景/三維資料

102‧‧‧方塊

103‧‧‧方塊

104‧‧‧方塊

105‧‧‧方塊

106‧‧‧網路

200‧‧‧光場成像系統

203‧‧‧擷取系統

205‧‧‧經壓縮資料獲取模組

211‧‧‧光場顯示系統

215‧‧‧顯示邏輯

301‧‧‧方塊

302‧‧‧方塊

303‧‧‧參考紋理

304‧‧‧參考深度

305‧‧‧方塊

306‧‧‧參考像差圖/像差圖

307‧‧‧方塊

308‧‧‧經重建光場資料

310‧‧‧編碼級

320‧‧‧解碼級

401‧‧‧經壓縮再現

402‧‧‧經顯示器匹配編碼

404‧‧‧經壓縮擷取系統

405‧‧‧接收經壓縮資料顯示器/顯示器

501‧‧‧輸入資料

502‧‧‧感測器

503‧‧‧資料轉換器

504‧‧‧資料儲存器/儲存器

505‧‧‧關注區域提取器/提取器

506‧‧‧再現模組/編碼器

507‧‧‧光場顯示器/顯示器

508‧‧‧使用者介面

600‧‧‧經壓縮再現方法/方法

601‧‧‧元素影像

602‧‧‧方塊/可見度測試

603‧‧‧方塊/參考元素影像再現

604‧‧‧參考紋理

605‧‧‧參考深度

606‧‧‧方塊/深度至像差轉換

607‧‧‧參考像差圖/像差圖

608‧‧‧方塊/多參考基於深度影像之再現演算法

609‧‧‧經重建光場資料

610‧‧‧編碼級

620‧‧‧解碼級

701a‧‧‧透鏡

701b‧‧‧透鏡

701c‧‧‧透鏡

701d‧‧‧透鏡

702a‧‧‧截頭錐體

702b‧‧‧截頭錐體

702c‧‧‧截頭錐體

702d‧‧‧截頭錐體

703‧‧‧物件

801a‧‧‧參考像差圖/像差圖

801b‧‧‧參考像差圖/像差圖

801c‧‧‧參考像差圖/像差圖

801d‧‧‧參考像差圖/像差圖

802‧‧‧向前扭曲

803‧‧‧裂紋濾波器

804‧‧‧方塊

805‧‧‧參考像差/經合併參考像差/經合併像差

806‧‧‧向後扭曲/向後扭曲級

807a‧‧‧參考紋理

807b‧‧‧參考紋理

807c‧‧‧參考紋理

807d‧‧‧參考紋理

808‧‧‧經合成元素影像紋理

901‧‧‧模組/可見度測試模組

902‧‧‧模組/再現邏輯

903‧‧‧模組/紋理編碼器/編碼器

904‧‧‧模組/像差轉換器

905‧‧‧模組/像差編碼器/編碼器

906‧‧‧模組/紋理解碼器

907‧‧‧模組/像差解碼器

908‧‧‧模組/多參考基於深度影像之再現邏輯

909‧‧‧光場資料

910‧‧‧編碼器

920‧‧‧解碼器

1000‧‧‧光場壓縮系統/編解碼器/系統

1001‧‧‧後設資料

1002‧‧‧輸入光場影像/原始輸入光場影像

1003‧‧‧模組/峰值信雜比計算器

1004‧‧‧評估結果

1005‧‧‧模組/多參考基於深度影像之再現編碼器

1006‧‧‧參考位置

1007‧‧‧參考元素影像

1008‧‧‧像差圖/參考像差圖

1009‧‧‧明度權數

1010‧‧‧模組/視訊編碼器/影像編碼器/編碼器

1011‧‧‧光場經編碼資料

1012‧‧‧模組/影像解碼器/視訊解碼器/解碼器

1013‧‧‧參考位置

1014‧‧‧經解碼參考元素影像/參考元素影像

1015‧‧‧參考像差圖

1016‧‧‧明度權數

1017‧‧‧模組/多參考基於深度影像之再現解碼器

1018‧‧‧經解碼光場影像/光場影像

1050‧‧‧編碼級

1060‧‧‧解碼級

1101‧‧‧方塊

1102‧‧‧方塊

1103‧‧‧方塊

1201‧‧‧影像

1202‧‧‧影像

1203‧‧‧影像

1300‧‧‧方法

1301‧‧‧方塊

1302‧‧‧方塊

1303‧‧‧方塊

1304‧‧‧方塊

1400‧‧‧方法

1401‧‧‧方塊

1402‧‧‧方塊

1403‧‧‧方塊

1500‧‧‧曲線圖

1510‧‧‧曲線

1520‧‧‧曲線

1600‧‧‧曲線圖

1610‧‧‧曲線

1620‧‧‧曲線

2100‧‧‧系統

2102‧‧‧匯流排/互連件

2103‧‧‧微處理器/組件

2104‧‧‧快取記憶體

2105‧‧‧組件/揮發性隨機存取記憶體

2106‧‧‧非揮發性記憶體/組件

2107‧‧‧唯讀記憶體/組件

2108‧‧‧顯示控制器與顯示裝置

2109‧‧‧輸入/輸出控制器

2110‧‧‧輸入/輸出裝置

在隨附圖式之各圖中以實例方式而非限制方式圖解說明本發明之實施例，其中相似元件符號指示類似元件。

圖1係圖解說明一習用光場成像系統之一圖式。

圖2係圖解說明根據一項實施例之一光場成像系統之一圖式。

圖3係圖解說明根據一項實施例之一經壓縮再現方法之一流程圖。

圖4係圖解說明根據一項實施例之經壓縮再現及經顯示器匹配編碼之一流程圖。

圖5係圖解說明一超級多視圖全視差光場顯示系統之一實例之一方塊圖。

圖6係圖解說明根據一項實施例之另一經壓縮再現方法之一流程圖。

圖7係圖解說明由若干個透鏡擷取之一物件之一實例之一圖式。

圖8係圖解說明根據一項實施例之一多參考基於深度影像之再現(MR-DIBR)演算法之一流程圖。

圖9係圖解說明根據一項實施例之一光場壓縮系統之一實例之一方塊圖。

圖10係圖解說明根據一項實施例之另一光場壓縮系統之一實例之一方塊圖。

圖11係圖解說明根據一項實施例之一MR-DIBR編碼器之一實例之一方塊圖。

圖12係圖解說明與一習用壓縮系統相比較之一光場壓縮系統之主觀效能之一圖式。

圖13係圖解說明根據一項實施例之影像編碼之一方法之一流程圖。

圖14係圖解說明根據一項實施例之影像解碼之一方法之一流程圖。

圖15係圖解說明根據一項實施例之一習用壓縮系統及一光場壓縮系統之PSNR-bpp關係之一曲線圖。

圖16係圖解說明根據一項實施例之一習用壓縮系統及一光場壓縮系統之SSIM-bpp關係之一曲線圖。

圖17係圖解說明習用壓縮系統之SSIM值之一圖式。

圖18係圖解說明根據一項實施例之一光場壓縮系統之SSIM值之一圖式。

圖19係圖解說明習用壓縮系統之PSNR值之一圖式。

圖20係圖解說明根據一項實施例之光場壓縮系統之PSNR值之一圖式。

圖21係根據一項實施例之一資料處理系統之一方塊圖。

Claims

一種影像編碼之電腦實施之方法，其包括：接收與一場景相關聯之場景後設資料及輸入影像；對該場景後設資料及該等輸入影像執行一第一編碼操作以產生參考影像及參考像差資訊；對該等參考影像及該參考像差資訊執行一第二編碼操作以輸出經編碼資料，其中該經編碼資料包含經編碼參考影像及經編碼參考像差資訊；及傳輸該經編碼資料。
如請求項1之方法，其中對該場景後設資料及該等輸入影像執行該第一編碼操作包括：選擇該等輸入影像之一子集作為該等參考影像，及估計該等選定影像中之每一者之一或多個像差圖以產生該參考像差資訊。
如請求項2之方法，其中對該場景後設資料及該等輸入影像執行該第一編碼操作進一步產生與該等參考影像相關聯之參考位置及明度權數，且其中該經編碼資料進一步包含該等參考位置及明度權數。
如請求項3之方法，其中對該場景後設資料及該等輸入影像執行該第一編碼操作進一步包括：判定該等選定影像中之每一者中之一參考位置以產生該等參考位置，及判定該等選定影像中之每一者之一區域明度位準與一全域光場明度位準之比較以產生該等明度權數。
如請求項1之方法，其中在對該等參考影像及該參考像差資訊執行該第二編碼操作之前，為該等參考影像判定一總位元預算中之一第一位元預算並為該參考像差資訊判定該總位元預算中之一第二位元預算。
如請求項5之方法，其中該第一位元預算在該總位元預算之80%至85%之一範圍內，且該第二位元預算在該總位元預算之15%至20%之一範圍內。
如請求項6之方法，其中對該等參考影像及該參考像差資訊執行該第二編碼操作基於該第一位元預算及該第二位元預算。
如請求項1之方法，其中該第一編碼操作基於多參考基於深度影像之再現(MR-DIBR)，且該第二編碼操作基於一影像或視訊編碼標準。
如請求項1之方法，其中該等所產生參考影像包含至少四(4)個參考影像，且該所產生參考像差資訊包含至少四(4)個參考像差。
如請求項1之方法，其中該場景後設資料包括： (i)一擷取裝置之光學特性，及 (ii)來自該擷取裝置之所擷取資料，其包含相機像素計數、相機位置、透鏡視場(FOV)、場景組成、距相機之場景距離或顯示裝置特性。
如請求項2之方法，其中對該場景後設資料及該等輸入影像執行該第一編碼操作進一步包括：判定包含參考選擇調整、紋理對像差圖權數或接通/關斷明度縮放之每像素位元(bpp)組態。
一種影像解碼之電腦實施之方法，其包括：接收包含經編碼參考影像及經編碼參考像差資訊之經編碼資料；對該經編碼資料執行一第一解碼操作以輸出經解碼參考影像及經解碼參考像差資訊；及對該等經解碼參考影像及該經解碼參考像差資訊執行一第二解碼操作以輸出一或多個經解碼影像。
如請求項12之方法，其中該經編碼資料進一步包含與該等經編碼參考影像相關聯之參考位置及明度權數，且其中對該等參考位置及該等明度權數進一步執行該第二解碼操作以輸出該一或多個經解碼影像。
如請求項12之方法，其中對該等經解碼參考影像及該經解碼參考像差資訊執行該第二解碼操作包括：依據該經解碼參考像差資訊使每一參考像差向前扭曲以產生複數個經向前扭曲參考像差，對該等經向前扭曲參考像差中之每一者進行濾波以產生複數個經濾波參考像差，將該複數個經濾波參考像差合併成一經合併參考像差，及使用該經合併參考像差及該等經解碼參考影像進行向後扭曲以產生該一或多個經解碼影像。
如請求項12之方法，其中該第一解碼操作基於一影像或視訊解碼標準，且該第二解碼操作基於多參考基於深度影像之再現(MR-DIBR)。
如請求項12之方法，其進一步包括：藉由比較該一或多個經解碼影像與一場景之輸入影像而計算一峰值信雜比(PSNR)以判定該第二解碼操作之客觀影像品質效能。
如請求項12之方法，其中該第二解碼操作使用整數像差值。
如請求項12之方法，其中該一或多個經解碼影像包含光場影像。
如請求項18之方法，其中該等參考影像包含元素影像(EI)。
如請求項14之方法，其中該等經解碼參考影像包含至少四(4)個參考影像，且該等經解碼參考像差資訊包含至少四(4)個參考像差。