TW201644270A - 用於全視差光場顯示系統之方法及裝置 - Google Patents

用於全視差光場顯示系統之方法及裝置 Download PDF

Info

Publication number
TW201644270A
TW201644270A TW105112774A TW105112774A TW201644270A TW 201644270 A TW201644270 A TW 201644270A TW 105112774 A TW105112774 A TW 105112774A TW 105112774 A TW105112774 A TW 105112774A TW 201644270 A TW201644270 A TW 201644270A
Authority
TW
Taiwan
Prior art keywords
module
data
hologram element
light field
display
Prior art date
Application number
TW105112774A
Other languages
English (en)
Other versions
TWI696378B (zh
Inventor
安卓里爾斯 佛肯伯格
丹尼洛 布雷可 葛瑞茲歐西
葛洛力 哈森Ｓ 艾爾
Original Assignee
傲思丹度科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 傲思丹度科技公司 filed Critical 傲思丹度科技公司
Publication of TW201644270A publication Critical patent/TW201644270A/zh
Application granted granted Critical
Publication of TWI696378B publication Critical patent/TWI696378B/zh

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

本發明描述一種具有整合顯示器之3D視訊處理系統，其中對源至顯示器傳輸媒體之海量資料頻寬要求係藉由在該源處利用新穎3D光場視訊資料壓縮並且在該顯示器處利用自經高度壓縮3D視訊資料之3D光場視訊內容之新穎重建而減小。該顯示器併入與一Quantum Photonics Imager®整合之平行處理管線以用於高效資料處置及光成像。

Description

用於全視差光場顯示系統之方法及裝置 相關申請案之交叉參考
本申請案主張2015年4月23日申請之美國臨時專利申請案第62/151,656號之權益。
本發明大體上係關於光場3D成像系統及其方法，諸如用作輸入之光場影像資料之影像及視訊壓縮、解壓縮及調變。術語「光場」描述光之透射及調變(包含方向、振幅、頻率及相位)，因此概述利用諸如全像術、全景成像、立體視覺、多視角成像及自由視點TV(FTV)及類似技術之技術之成像系統。
在本發明中，全像元件或「全像元素(hogel)」被定義為一經取樣光場影像之最小單位且其含有可藉由3D顯示器定向地調變至所有可用方向之資訊。光場影像可被表示為全像元素之一2D影像矩陣。輸入影像通常展現全像元素之間的充分內在相關性，該相關性已在先前技術中結合壓縮演算法用來減小影像資料大小(參見1994年9月電氣工程及電腦科學之MIT部門M.Lucente之博士學位論文「Diffraction-Specific Fringe Computation for Electro-Holography」；2013年大阪3D系統及應用國際會議中Ohm,J.-R.之「Overview of 3D video coding standardization」；IEEE視訊技術電路及系統學報(Circuits and Systems for Video Technology,IEEE Transactions)2003年11月第13卷第11期第1020至1037頁Heun-Yeung Shum等人之「Survey of image-based representations and compression techniques」；及2012年3月25至30日舉行之2012 IEEE聲學、語音及信號處理國際會議(ICASSP)中Kundu,S.之「Light field compression using homography and 2D warping」第1349至1352頁)。
為改良光場之壓縮，新3D視訊編碼標準考量採用來自電腦視覺領域之技術(2011年3月瑞士日內瓦ISO/IEC JTC1/SC29/WG11之3D視訊編碼技術徵求建議書」)。使用每像素深度，可將參考影像投射至新視角，且可使用合成影像而非昂貴地傳輸新影像。此技術使在解碼器側處需要增加量的運算資源及本端記憶體，從而對其即時實施方案帶來一挑戰。3D視訊壓縮工具亦以使其等使用按水平配置序列為目標，且不利用光場之2D幾何配置。專門針對光場影像壓縮開發之方法包含由Levoy等人所述之一向量量化方法(SIGGRAPH 96第23屆年度電腦繪圖及反覆技術會議會刊之「Light Field Rendering」)及由Magnor等人所述之基於視訊壓縮之方法(IEEE視訊技術電路及系統學報2000年4月第10卷第3期第338至343頁之「Data Compression for Light-Field Rendering」)。向量量化之使用係受限的且無法實現諸如由Magnor等人所提出之高壓縮效能。Magnor等人所提出之方法類似於一多視角壓縮演算法，其中將影像之幾何規則度用於像差估計。然而，所提出壓縮演算法需要增加量的本端記憶體，且不適於即時實施方案。此外，標準3D視訊壓縮演算法(2013年大阪3D系統及應用國際會議中Ohm,J.-R.之「Overview of 3D video coding standardization」)或甚至特定光場壓縮方法(IEEE視訊技術電路及系統學報2003年11月第13卷第11期第1020至1037頁Heun-Yeung Shum等人之「Survey of image-based representations and compression techniques」；及2012年3 月25至30日舉行之2012 IEEE聲學、語音及信號處理國際會議(ICASSP)中Kundu,S.之「Light field compression using homography and 2D warping」第1349至1352頁)無法處理由高解析度光場產生之極大量資料。如熟習此項技術者可明白，僅可即時實施先前技術中所述之有限數目種壓縮方法，且此等方法皆不再現及/或壓縮即時驅動一全視差的無VAC顯示器所需之資料量。此外，壓縮演算法通常經設計以用於儲存或網路傳輸(國際信息顯示學會研討會技術論文文摘(SID Symposium Digest of Technical Papers)2008年第39卷第1期Bhaskaran,V.之「65.1：invited Paper：Image/Video Compression-A Display Centric Viewpoint」)，且在一光場顯示系統之情況下，該顯示器具有無法藉由習知壓縮演算法達成之特定時序及記憶體需求。
3D系統傳統上係受限於顯示器處置光場之海量資料需求之能力。甚至在採用壓縮時，顯示器必須處理經解碼資料，該資料之大小可容易淹沒顯示系統。替代應用壓縮，諸多光場顯示器實施方案訴諸於減小源處之光場之維度作為對資料增加之一折衷。然而，限制光場顯示器之解析度可對感知品質具有一顯著影響且甚至造成視覺疲勞。例如，諸如以下文獻中所提出之超級多視角顯示器(IEEE會刊2006年3月第94卷第3期第654至663頁Takaki,Y.之「High-density directional display for generating natural three-dimensional images」；SPIE會刊6055,Stereoscopic Displays and Virtual reality Systems XIII,60550U(2006年1月27日)Balogh,T.之「The HoloVizio system」)；及3DSA會刊2013選定論文1，Iwasawa,S.等人之「REI：an automultiscopic projection display」)消除光場之垂直視差，從而將運動視差限於僅水平移動。全景成像顯示器(參見圖像編碼研討會(Picture Coding Symposium(PCS))2012，2012年5月7日至9日第x卷第x期第17至20頁Arai,J.之「Three-dimensional television system based on integral photography」；顯示技術雜誌(Display technology,Journal)2005年12月第1卷第2期第341至346頁Javidi,B.、Seung-Hyun Hong之「Three-dimensional holographic image sensing and Integral Imaging display」；及應用光學(Applied optics)48第34期(2009年)Park,J.H.、Hong,K.及Lee,B.之「Recent progress in three-dimensional information processing based on integral imaging」)重現全視差光場，但受限於顯示解析度，且通常減小角解析度(及(因此)景深)以增大空間解析度。用於全像顯示器之方法(參見1994年9月電氣工程及電腦科學之MIT部門M.Lucente之博士學位論文「Diffraction-Specific Fringe Computation for Electro-Holography」)訴諸於減小顯示刷新率以便減小傳輸媒體頻寬。以下文獻中之著作提供光場顯示器之更多實例：IEEE廣播學報(Broadcasting,IEEE Transactions)2011年6月第57卷第2期第362至371頁Holliman,N.等人之「Three-Dimensional Displays：A Review and Application Analysis」；IEEE會刊2011年4月第99卷第4版第540至555頁Urey,H.等人之「State of the Art in Stereoscopic and Autostereoscopic Displays」；及電腦與繪圖(Computers & Graphics)37.8(2013年)Masia,B.等人之「A survey on computational displays：Pushing the boundaries of optics,computation and perception」。然而，熟習此項技術者將即刻認知，此等技術限制一光場顯示器如實重現真實3D物件之能力。先前技術無法解決由高解析度光場顯示器強加之挑戰，諸如高壓縮率、高品質、低運算負載及即時回應。因此，需要用於高解析度光場之新方法及裝置。
101‧‧‧三維光場資料/三維資料
102‧‧‧再現操作
105‧‧‧海量資料
110‧‧‧習知顯示器
115‧‧‧三維資料視角
211‧‧‧光射線
215‧‧‧水平視差影像
302‧‧‧壓縮再現
303‧‧‧顯示器匹配編碼器
305‧‧‧資料
310‧‧‧光場顯示器
315‧‧‧三維資料視角
901‧‧‧原生解析度
902‧‧‧顯示解析度/顯示影像之像素位置
903‧‧‧平移
1001‧‧‧新影像
1002‧‧‧旋轉
1101‧‧‧訊框
1102‧‧‧時間
1103‧‧‧時間
1104‧‧‧時間
1105‧‧‧時間
1106‧‧‧時間
1107‧‧‧時間
1801‧‧‧處理節點
1802‧‧‧高速介面
1901‧‧‧序列控制器
1910‧‧‧熵解碼器/硬體單元
1915‧‧‧逆影像變換模組
1920‧‧‧全像元素內容重複模組
1925‧‧‧正向基於深度影像之再現模組
1930‧‧‧反向基於深度影像之再現模組
1935‧‧‧誤差校正模組
1940‧‧‧交錯器模組/交錯器
1945‧‧‧像素調變器/像素調變器模組
1961‧‧‧輸入記憶體
1962‧‧‧記憶體增量記憶體/記憶體
1963‧‧‧係數記憶體/記憶體
1964‧‧‧種子像差記憶體/像差記憶體
1965‧‧‧暫時性像差記憶體/暫時性像差記憶體庫
1966‧‧‧種子全像元素紋理記憶體/紋理記憶體/用於殘餘紋理之輸入記憶體
1967‧‧‧輸出記憶體位置/用於基於深度影像之再現紋理之輸入記憶體
1968‧‧‧全像元素記憶體區塊/輸入記憶體模組
1969‧‧‧輸出記憶體模組
為理解本發明且為理解在實踐中可如何實行本發明，將僅藉由非限制性實例方式、參考隨附圖式而描述本發明之特定實施例。因此，詳細實施方案元件經提供以幫助解讀例示性實施例，但可運用不 同實施方案實踐本發明。未詳細描述熟知功能或構造以免不必要細節使本發明模糊。
圖1繪示先前技術之架構。
圖2繪示先前技術之一限制。
圖3繪示本發明之架構。
圖4繪示本發明之顯示器匹配編碼程序之細節。
圖5繪示本發明之顯示器匹配編碼程序之一項實施例中使用之種子全像元素紋理編碼程序之細節。
圖6繪示本發明之顯示器匹配編碼程序之一項實施例中使用之種子全像元素像差編碼程序之細節。
圖7繪示本發明之顯示器匹配編碼程序之一項實施例中使用之殘餘全像元素像差編碼程序之細節。
圖8繪示本發明之顯示器匹配編碼程序之一項實施例中使用之殘餘全像元素紋理編碼程序之細節。
圖9描繪用來擴增光場解析度之總成平移。
圖10描繪用來擴增光場解析度之總成旋轉。
圖11展示本發明之一實施例之時序，其使用旋轉及平移來增大光場解析度。
圖12展示具有本發明之一可能實施例之標頭資訊之一表。
圖13描繪用於及時解碼之一封包交錯器之一可能策略。
圖14繪示用於本發明之一項實施例中使用之種子全像元素之位元速率分配之方法。
圖15繪示用於本發明之一項實施例中使用之殘餘全像元素之位元速率分配之方法。
圖16繪示本發明之3D成像系統之顯示器側處接收之位元串流之解碼。
圖17展示用於管理硬體單元之韌體、軟體之概念之狀態機圖流程。
圖18繪示處理節點之間的互連。
圖19展示處理節點之具有其所有硬體單元及記憶體區塊之內部結構。
三維(3D)顯示器對醫療、科學、軍事、及娛樂視覺化、虛擬原型設計以及更多應用極具價值。不幸的是，由於電腦顯示器將影像呈現於一個表面上，故3D顯示器通常在感知3D結構中產生失真且造成觀看者不適及疲勞。3D顯示器之一個最大問題係視覺輻輳與調節之解耦(被表示為視覺輻輳-調節衝突(VAC))(視覺雜誌(Journal of Vision)8，2008年第3期Hoffman,D.M.等人之「Vergence-accommodation conflicts hinder visual performance and cause visual fatigue」)，其減小一人融合雙眼刺激之能力。
然而，光場顯示器(2015年第26屆SPIE立體顯示及應用會議中Alpaslan,Z.Y.等人之「Small form factor full parallax tiled light field display」)調變自一場景之物件發射或反射之光射線之強度及方向，且藉此允許觀看者直接聚焦於3D物件而非消除VAC之顯示器螢幕。一種用來捕捉光場之方式係在兩個平行平面中參數化光射線之入口點及出口點(SIGGRAPH 96第23屆年度電腦繪圖及反覆技術會議會刊Levoy,M.等人之「Light Field Rendering」)。為如實重現光場，需要對經參數化平面進行密集取樣。此導致海量資料，且對顯示系統強加極大的處理及記憶體要求。
例如，具有XGA空間解析度(1024x768)、100°視場及一0.4°角解析度之一顯示器需要調變近似500億像素，其相當於總共1.17太位元(Tbit)資料。最先進視訊壓縮格式(H.264/AVC)可設法以近似12吉位元 (Gbit)/秒之一資料位元速率壓縮超高解析度視訊訊框(4,096x2,304 @ 56.3訊框/秒或0.5吉像素/秒)(ISO/IEC 14496-10：2003之2003年「Coding of Audiovisual Objects-Part 10：Advanced Video Coding」；(亦)ITU-T推薦標準(Recommendation)H.264之「Advanced video coding for generic audiovisual services」)，從而認為每像素24個位元。為以60Hz視訊速率即時壓縮一光場，相同H264/AVC將需要能夠實現高達70太位元/秒之資料速率，其遠高於當前允許之最大資料速率。
本發明揭示一種用於光場3D成像且能夠藉助於具有非常高像素節距之一顯示裝置重現經密集取樣光場之方法及裝置。本發明利用本文中所揭示之一光場壓縮方法來減小光場產生器與光場顯示器件之間的傳輸媒體頻寬。此外，該所揭示裝置能夠接收經壓縮輸入且直接在顯示器處重建光場。
量子光子成像器(QPI成像器)係一種使得能夠產生具有極高解析度之全視差光場顯示器而無需折衷運動視差或景深之顯示技術(參見美國專利第7,623,560號、第7,767,479號、第7,829,902號、第8,049,231號、第8,243,770號、第8,567,960號及國際顯示研習會(The International Display Workshops)會刊2014年12月3日第21卷El-Ghoroury、H.S.等人之「Quantum Photonic Imager(QPI)：A New Display Technology and Its Applications」(特邀))。QPI成像器可實現5μm像素大小與高亮度及擴展色域。QPI成像器使得能夠建構拼接顯示器，且QPI成像器之小像素節距對實施具有擴展景深之一高解析度全視差光場顯示器提供可縮放性。一拼接顯示器允許光場之平行處理，其係即時光場顯示器所必需的。然而，亦需要仔細設計所有元件之連接及管理。QPI成像器提供能夠使若干其他類似QPI成像器互連以實施一拼接顯示器之一數位介面。該數位介面接收經壓縮資料以減小傳輸媒體頻寬需求，且直接在顯示器處執行資料擴充。此外，壓縮 演算法經設計以利用硬體結構。經壓縮色彩及額外資訊被發送至顯示圖塊，使得該等顯示圖塊可共用及重新使用資料且同時實現較高壓縮及即時解碼。
本發明提供一種用來即時顯示3D全像資訊之方式。本專利中所提出之方法及裝置係基於以下文獻中所述之系統：IS&T/SPIE電子成像，國際光電工程協會(Electronic Imaging.International Society for Optics and Photonics)(2015年3月17日)Graziosi等人之「Depth assisted compression of full parallax light fields」，該文獻之揭示內容之全文係以引用方式併入本文中。本發明之實施例包括一種尤其適於處理影像及視訊資料之數位運算組件及方法。視訊資料係表示三維物件之經高度壓縮資料。此外，顯示器及處理元件被整合至相同器件中。所採用架構允許利用指令平行執行處理組件或處理元件，該等指令特別適於藉助於(但不限於)熵解碼、資料擴充、誤差校正、逆影像變換及色彩校正來解壓縮視訊資料。此外，處理元件特別適於準備待顯示於其自身表面上之資料，該顯示器係一量子光子成像器。主輸入介面連接至諸多處理節點中之一者，該處理節點接著基於該封包之一識別而決定該資料用於彼特定節點還是用於任何其他節點。若該資料封包屬於一不同節點，則適當地將該資料轉遞至正確目的地。若該經接收資料之目的地係該處理節點，則該節點根據該資料之類型處理該資料。該資料具有皆在後續步驟中針對全像元素紋理產生而解碼及使用之複數種不同類別。最終步驟係準備待顯示全像元素紋理。所揭示本發明使用低功率元件即時重現一光場，且能夠提供沉浸式的無VAC 3D感知。
本發明使用在電腦繪圖領域中且在本文中為完整性而定義之一些熟知技術。
在基於微透鏡之成像系統中，各微透鏡調變由該微透鏡下之全 像元素產生之像素之方向。在基於折射之成像系統中，一全像元素係含有所有經調變頻率之全像圖之最小單位。
在電腦繪圖中，產生一場景或一場景之一視角之動作稱為視角再現。通常連同閃光、表面性質及相機視點使用一3D模型。此視角再現通常需要若干複雜操作且亦需要)場景幾何結構之一詳細知識。用來再現新穎視角之一替代技術係使用多個環境視點。此技術(稱為基於影像之再現(IBR))直接自對光場進行過取樣之輸入影像再現新穎視角。IBR產生具有更現實品質之視角，但其需要一更密集資料採集程序、資料儲存及光場冗餘。複雜幾何模型與資料密集IBR之間的一權衡係使用深度資訊及選定數目個視角。各視角具有與各像素位置相關聯之一深度，該深度亦稱為深度圖。該等深度圖接著用來合成新視角，其係一種稱為基於深度影像之再現(DIBR)之程序(參見2010年3月wg11.sc29.org之美國專利第8,284,237號「View Synthesis Reference Software(VSRS)3.5」；及2004年12月美國加利福尼亞州舊金山圖片編碼研討會會刊中C.Fehn之「3D-TV Using Depth-Image-Based Rendering(DIBR)」)。DIBR利用虛擬相機之深度資訊以及外在參數及內在參數以將一2D螢幕之點投射至其等各別3D位置中，且接著將該等3D點重新投射於一目標2D螢幕上，其係一種亦稱為正向變形之操作。逆操作亦係有效的，其中目標視角之深度值係已知的，且紋理值係自一參考視角提取。在此情況下，該操作稱為反向變形。DIBR合成之最大問題係歸因於深度值之不準確性、捨入誤差及物件去遮擋而產生孔洞。
本發明處理光場之壓縮及顯示，包含但不限於航拍地形紋理影像、雷達或LIDAR(光偵測及測距)資料與地形海拔或城市地圖、景觀、電腦產生之3D影像、醫療影像、用光場相機或多個相機同時地或在不同時間拍攝之影像。光場可由與兩個平行平面交叉之光射線表 示。光射線交叉點在兩個平面中經均勻取樣以在等效於一2D相機陣列設置之一程序中形成經採集光場。各相機視角被視為一「元素影像」或等效地被視為一全像元素。本發明利用捕捉相機視角之紋理及相關聯幾何資訊以在將光場傳輸至光場顯示器件之前壓縮該光場。該所使用幾何資訊係每像素像差或視差，其表示兩個鄰近相機視角之間的一物件之位移。該每像素像差可自深度導出且反之亦然。較佳實施例使用歸因於解碼器側處之實施方案之簡化引起之像差，其中替代一劃分，僅簡單像素移位用於變形；然而，相同發明可使用深度值實施。壓縮經設計以考量光場顯示器之需求，諸如低延時及受約束記憶體；即，壓縮演算法匹配顯示器能力。因此，壓縮方法稱為顯示器匹配壓縮。相比於先前技術，本發明之方法能夠藉由利用光場顯示器件之運算能力實質上減小光場產生器與光場顯示器件之間的傳輸媒體頻寬需求。
在圖1中所描繪之先前技術中，3D光場資料101係藉由再現操作102而取樣並數位化。該再現操作產生海量資料105，其對至負責調變3D資料視角115之一習知顯示器110之連接強加高傳輸媒體頻寬需求。為減小處理負載，在先前技術中通常藉由將3D效應限於水平軸而使觀看品質折衷。因此，如圖2中所描繪，來自習知顯示器110上之任何給定點之光射線211將一水平視差影像215投射至觀看者。
如圖3中所描繪，由本發明揭示之光場顯示器310擁有顯著運算能力且能夠接收經高度壓縮資料以顯著地減小資料305傳輸媒體頻寬需求同時調變3D資料視角315。3D資料101之壓縮通常在兩個功能階段中實現：即，一壓縮再現302；後續接著一顯示器匹配編碼器303，其產生經裁適以用於該光場顯示器件之一經壓縮位元串流。如IS&T/SPIE電子成像，國際光電工程協會(2015年3月17日)Graziosi等人之「Depth assisted compression of full parallax light fields」中所揭 示，由本發明採用之再現方法再現3D資料同時將該3D資料壓縮成一經壓縮光場格式。
本發明之一項可能實施例使用一種旨在於顯示系統之嚴格處理及記憶體約束內實現高壓縮之平行編碼/解碼架構。為實現處理光場資料所需之輸送量及記憶體，平行工作之多個處理節點(PN)對其等各別的全像元素子集進行解碼以共同重建整個光場。應注意，顯示器匹配壓縮可經設計以匹配顯示器側處之硬體之選擇以及其輸送量及記憶體能力。此係顯示器匹配壓縮之一重要特徵，因為其允許本發明之3D壓縮成像系統充分利用半導體技術之連續進展及其逐漸提供之處理輸送量及記憶體之所得增大。在以下段落中所述之實施例中論述顯示器匹配壓縮之一些變體。
用來實施顯示器匹配壓縮之光場之光場全像元素分割之一個實例係將全像元素陣列劃分成包括NxN個全像元素之獨立群組。N之值係取決於顯示器處理能力而選擇之參數中之一者且可在自1(在由獨立PN對所有全像元素進行解碼時)至整個光場(在由一個PN共同地處理所有全像元素時)之範圍中。
圖4中繪示顯示器匹配壓縮。光場通常併入大量相關性且需要壓縮。此在本發明中藉由利用顯示器匹配編碼器303而完成，該顯示器匹配編碼器303壓縮光場資料(紋理411及像差412)並產生一位元串流413。在此實施例中，PN全像元素區域內之一或多個全像元素(本文中稱為「種子全像元素」)將經獨立編碼且剩餘全像元素(本文中稱為「殘餘全像元素」)將相對於選定種子全像元素而編碼。參考圖4，來自種子全像元素之像素之種子全像元素像差401經編碼406及種子全像元素紋理402經編碼407(如以下段落中所說明)，並添加至位元串流413。為使用種子全像元素對殘餘全像元素進行編碼，重要的是編碼器及解碼器兩者使用相同參考。因此，圖4中所繪示之編碼器結構包 含重建完全相同於待由解碼器使用之種子全像元素紋理及像差之值之解碼循環405。在圖4中所繪示之下一編碼程序中，使用經解碼種子全像元素405及其對應像差作為參考對殘餘全像元素紋理403進行像差補償，且僅對殘餘資訊進行編碼408並將該殘餘資訊添加至位元串流413。若殘餘全像元素像差404有益於紋理編碼，則由於其可能改良像差補償預測，故亦可使用種子全像元素像差401對殘餘全像元素像差404進行編碼並將殘餘全像元素像差404插入於位元串流413中。光場顯示器接著對經接收資料413進行本端解碼且重建(調變)構成光場411之位元陣列。應注意，在本發明中，光場之完全重建可藉由使用像差資訊412而避免，從而導致僅處理經壓縮資料之一光場成像系統。本發明之一項可能實施例可使用諸如美國專利申請公開案第2010/0007804號及第2010/0225679號中之一壓縮顯示器，該等專利申請公開案描述用來將離散沃爾什(Walsh)變換(DWT)或離散餘弦變換(DCT)係數用作至該顯示器之輸入且使用人類視覺系統(HVS)之綜合態樣執行解壓縮之方法。
圖5繪示種子全像元素紋理編碼407之細節。將種子全像元素紋理402分段成kxk像素區塊501。對於各像素區塊，使種子全像元素紋理值位準移位達一固定值502，即，將該像素值自可能像素值範圍之中心值減去以便獲得正值及負值(在8位元範圍之情況下，使用一恆定值128)。接著將種子全像元素像素色彩空間轉換為無關於色彩通道之一色彩空間503。此實施例之一個色彩空間轉換實例係RGB至YCoCg色彩轉換(參見SPIE數位影像處理應用會刊(Proceeding SPIE Applications of Digital Image Processing)2008之Malvar、H.S.等人之「Lifting-Based Reversible Color Transformations for Image Compression」)；然而亦可使用(但不限於)其他色彩空間，包含但不限於YUV或YCbCr。接著，將一影像區塊變換504(諸如DCT變換或一 整數變換(參見2004年第27屆SPIE數位影像處理應用會議中G.J.Sullivan等人之「The H.264/AVC Advanced Video Coding Standard：Overview and Introduction to the Fidelity Range Extensions」)或類似變換)應用於該等色彩通道中之一者。該變換將種子全像元素紋理區塊之能量集中於僅一些係數。接著，使用根據區塊變換係數之能量之統計及分佈調整之一縮放參數量化此等係數505。由於隨後將種子全像元素用作參考，故需要儘可能多地保存區塊變換係數之品質。接著使用一DPCM(差分脈衝編碼調變)方案506單獨地對通常含有多數區塊資訊之DC係數進行編碼，同時使用例如Z型掃描及遊程編碼507對AC係數進行掃描及編碼。最後，較佳使用一霍夫曼(Huffman)熵編碼器、內容自適應二進位算術編碼器(CABAC)或一內容自適應可變長度編碼器(CAVLC)或類似編碼器對位元串流進行熵編碼508。應注意，本發明之範疇不限於本段落中所述之編碼步驟及方法(如圖5中所繪示)，且替代編碼方法、演算法及實施方案亦可能在本發明之內容脈絡內。
圖6繪示種子全像元素像差編碼401之細節。由於在一種子全像元素之紋理編碼與像差編碼之間不存在相依性，故可獨立地(取決於可用處理能力同時地或循序地)執行紋理編碼及像差編碼。對於像差值之編碼，首先完成該等值之一列掃描601，接著執行一遊程編碼602。最後，對該等值進行熵編碼508並將該等值添加至位元串流，藉此較佳使用一霍夫曼熵編碼器、一內容自適應二進位算術編碼器(CABAC)或一內容自適應可變長度編碼器(CAVLC)或類似編碼器執行該熵編碼。在此實施例中，像差資訊之壓縮係在無任何損失之情況下完成，但亦可使用用來壓縮像差之其他方案。應注意，本發明之範疇不限於本段落中所述之編碼步驟及方法(如圖6中所繪示)，且替代編碼方法、演算法及實施方案亦可能在本發明之內容脈絡內。
圖7繪示在圖4之殘餘編碼程序409中執行之殘餘全像元素像差 404之處理之細節。如圖7中所描繪，將殘餘像差404與經變形種子像差之間的差值(即，在應用DIBR 701之後的經移位種子像差)分段成kxk像素區塊501，且由於多數區塊將可能為零，故僅進一步處理非零值。接著在進一步處理之前，對此等非零值進行掃描(例如，Z型掃描)及遊程編碼507，接著亦進行熵編碼508。類似於種子像差，所揭示程序係無損的。然而，熟習此項技術者將即刻認知，此方案之變動(包含無損壓縮及有損壓縮)亦包含於本發明中。
圖8繪示在圖4之殘餘編碼程序408中執行之殘餘全像元素紋理403之處理之細節。參考圖8，藉由DIBR 701獲得經重建種子全像元素紋理405(其係圖4之種子編碼步驟407之輸出)、經重建種子全像元素紋理405之經解碼像差(其係完全相同於種子像差401之值，此係因為該像差被無損編碼)及殘餘像差404、該殘餘全像元素紋理之一合適像差補償重建。該殘餘全像元素紋理之此經像差補償預測係藉由使種子全像元素像素移位至殘餘全像元素位置而形成。若僅使用一個參考種子全像元素，則孔洞可在此變形操作期間出現。基於區塊之變換編碼用來對來自此變形操作之該等孔洞及任何所得不準確性進行編碼。類似於圖5之種子全像元素紋理編碼之程序，將殘餘全像元素紋理403與其像差補償預測701之間的差劃分成kxk像素區塊501，對該等像素區塊之色彩空間進行轉換503、進行變換504、進行量化505、進行掃描並進行遊程編碼507。對結果進行熵編碼508並將該結果添加至位元串流。應注意，本發明之範疇不限於本段落中所述之編碼步驟及方法(如圖8中所繪示)，且替代編碼方法、演算法及實施方案亦可能在本發明之內容脈絡內。
位元串流時序-
QPI成像器顯示器亦可用於唯一空間光學(美國專利申請公開案第2013/0141895號)及時空(美國專利申請公開案第2013/0258451號)光場 調變器組態中以改良系統效能。藉由併入整個總成之鉸接式移動，可增大光場顯示器之視場以及空間解析度。對壓縮演算法之影響係增加量的壓縮資料。例如，在圖9中，吾人可看到藉由將影像自四分之一HD影像(960x540)之一原生解析度901垂直地及水平地平移903至全HD(1920x1080)之一顯示解析度902來增大空間解析度之一實例。應注意，高解析度影像之像素需要分組地發送至該顯示器，其係由顯示影像之像素位置902指示。此像素分組亦影響壓縮演算法。例如，位置0中之所有像素需要在位置1中之像素之前準備好顯示，因此在執行壓縮時該壓縮需要考量像素呈現時間。應注意，圖9中所提出之次序僅係例示性的，且其他次序亦係可能的。在圖10中，吾人看到顯示總成之旋轉1002之效應。在此實例中，一影像沿x軸及y軸旋轉±30°以增大其視場。利用此一移動，新影像1001具有比先前影像高9倍之一像素計數。類似於該平移，亦可在單獨時間訊框中呈現旋轉，且所有資料需要在顯示器到達彼特定位置之前準備好調變。在圖11中，繪示使用旋轉及平移之分時之階層式結構。對於每秒60訊框，各訊框1101具有16.666ms用於顯示。在旋轉1102之間劃分此時間。對於各旋轉時槽，將時間劃分成總成移動之持續時間1103及總成靜止於一特定位置中之時間1104。接著將此時槽劃分成4個平移1105，其中將各平移時槽劃分成總成移動至彼特定位置所花費之時間1106及總成靜止之時間1107。藉助於特定標頭將總成之平移位置及旋轉位置傳遞至解碼器，如圖12中描繪之表中所繪示。將位元串流分段成藉由封包標頭區分之封包，接著將該等標頭分佈於處理節點當中以用於適當顯示。應注意，在一平行架構中，在相同時間產生諸多封包。歸因於顯示器之時間約束，一些封包需要在其他封包之前到達該顯示器。因此，亦以一對應次序配置該等封包。圖13展示對該等封包重新排序1301以允許及時解碼之一方法之一實施例。由於種子全像元素可用於顯示但亦用作 殘餘全像元素之參考，故需要首先發送該等種子全像元素。為所有處理節點在旋轉週期期間開始解碼程序，該等處理節點需要至少接收種子資訊及首次平移。因此，所有處理節點之封包經交錯使得各節點可在該等封包到達時開始該資訊之處理部分。本端記憶體可儲存該經處理資訊(經解碼種子全像元素)，且僅利用該種子資訊，該等處理節點即能夠開始產生殘餘全像元素之預測。一旦殘餘全像元素之紋理到達，則可校正該預測並準備好顯示內容。
自適應全像元素編碼速率最佳化-
本發明之顯示器匹配壓縮態樣之一個重要特性係光場顯示系統之各個組件之間的介面傳輸位元速率之自適應分配。若3D顯示系統所需之介面位元速率過大，則可用介面資料速率(或位元速率)被視為大多數3D顯示系統中之主要瓶頸。由於在本發明之3D壓縮成像系統中種子全像元素用作參考，故用更多位元對此等全像元素進行編碼以儘可能多地保存該等全像元素之品質，且在介面資料速率(或位元速率)之分配中對該等全像元素賦予優先權，且在經受可用介面資料速率之約束之情況下自適應地選擇用於對殘餘全像元素進行編碼之參數。圖14及圖15分別繪示應用於本發明以自適應地對種子全像元素及殘餘全像元素分配位元速率之方法。參考圖14，計算可用於對種子全像元素紋理及像差進行編碼之位元之總數目1401。本發明之一項可能實施例考量圖11中所展示之時序。可由以下方程式判定用於種子編碼之位元之可用數目： 其中Clock指示時脈頻率，Factor係取決於所利用記憶體之一乘法因數(若該記憶體容許平行讀取/寫入，則以此因數反映平行度)，fps係每秒之訊框數目，#rotations係旋轉次數，且%Time係用於資料傳輸之特 定時槽之百分比(例如，圖11中之給定時序指示一50%時間花費於使總成旋轉，其可用於資料處理)。需要最多數目個位元來對其像差進行編碼之種子全像元素之紋理經選擇以最佳化編碼量化步長1402。用於圖5之量化區塊505中之編碼量化步長控制存在於紋理係數中之資訊之位準，且可減小以引入可能的失真為代價對全像元素進行編碼所必需之位元之數目。由總可用位元速率減去對像差資訊及標頭資訊進行編碼所需之速率判定可用於對此種子全像元素紋理進行編碼之位元速率1403。選擇在對種子全像元素紋理進行編碼中可能導致最小失真之編碼量化步驟參數1404且接著使用對應編碼量化步長來計算對種子全像元素紋理進行編碼所需之位元速率1405。在該經計算位元速率小於該可用位元速率及輸出1408時，選擇用於對該種子全像元素紋理進行編碼之一量化步長，否則增大該量化步長1407且重新計算該種子全像元素紋理位元速率直至種子全像元素紋理位元速率低於該可用位元速率為止。參考圖15，存在可用來將經編碼殘餘全像元素位元速率匹配於可用剩餘位元速率之若干可能編碼模式1501，諸如發送校正紋理、像差或甚至略過全像元素及僅使用可用預測。評估使用此等模式中各別於對殘餘全像元素進行編碼所需之位元速率之任何一種模式之可行性及所得品質且(作為一選擇)消除不可行編碼模式1502。亦消除導致大於可用位元速率之位元速率之編碼模式1503。類似於用於種子全像元素之位元之數目之方程式，可由以下方程式判定用於殘餘全像元素編碼之位元之可用數目： 其中Clock指示時脈頻率，Factor係取決於所利用記憶體之一乘法因數(若該記憶體容許平行讀取/寫入，則以此因數反映平行度)，fps係每秒之訊框數目，#rotations係旋轉次數，#Translations係平移次數，且 %Time係用於資料傳輸之平移時槽之百分比。使用一拉格朗日(Lagrange)成本最佳化完成剩餘編碼模式當中之選擇1504，其中由一選定品質度量(例如，最小失真)加上λ倍之位元速率定義成本函數，其中λ係自量化步驟導出之一參數。殘餘全像元素編碼位元速率之最佳化考量可用位元速率且選擇具有最小成本函數之編碼模式且將所使用位元之量自可用於殘餘全像元素編碼之位元之總數減去1505並繼續至下一全像元素1506，且為保存選定品質度量，訴諸於僅在缺乏足夠大位元速率之情況下使用較少位元之編碼模式1502。
經壓縮光場之解碼-
圖16繪示在光場顯示器處接收之位元串流之解碼流程。本發明之顯示器匹配壓縮態樣之一個主要優點係其使光場顯示器接收經壓縮位元串流並直接對該位元串流進行解碼以重建光場可行，此係因為使本發明之全像元素壓縮匹配可用於顯示器側處之時序需求及運算能力。參考圖16，顯示器側處之解碼器接收該位元串流且僅在經壓縮域中執行處理以重建光場同時避免使用習知解壓縮技術中所用之擴充資料方法。如由圖16所繪示，該光場顯示器接收該經解碼位元串流且首先執行熵解碼1601。通常使用識別封包之類型之標頭及顯示器表面上之相關全像元素之座標封包化該位元串流，圖12中呈現該封包化之一實施例。若干封包類型用來用信號通知不同光場資訊，且此等封包之四種類型含有需要由該顯示器進一步解碼之實際全像元素有效負載資訊：種子全像元素紋理、種子全像元素像差、殘餘全像元素紋理及殘餘全像元素像差。對於種子全像元素紋理，在光場顯示器側處執行編碼側之逆操作，其中在DPCM解碼1602之後獲得DC係數，而在遊程解碼及掃描1603之後獲得其他係數。進一步對經接收種子全像元素紋理資料進行逆量化509、進行逆變換510、進行色彩空間轉換511且進行位準移位512以產生經重建種子全像元素紋理405之一精確複製品。對 經接收種子像差資料進行遊程解碼1604以產生種子全像元素像差401之一精確複製品，且接著將經重建種子全像元素紋理405及經解碼像差401兩者保持於顯示器本端記憶體中以由DIBR區塊701用來產生殘餘全像元素紋理403之一經解碼值。如圖16中所繪示，對該經接收殘餘全像元素像差資料進行遊程解碼及掃描1603，接著使用一DIBR程序組合該經接收殘餘全像元素像差資料與儲存於記憶體中之經解碼種子全像元素像差401以產生經解碼殘餘全像元素像差404。如圖16中所繪示，對該經接收殘餘全像元素像差資料進行遊程解碼及掃描1603、進行逆量化509、進行逆變換510且進行色彩空間轉換511，從而產生經重建殘餘全像元素紋理1605。藉由一DIBR程序結合種子全像元素像差401、經重建種子全像元素紋理405及殘餘全像元素像差404之經儲存值使用此經重建殘餘全像元素紋理1605以產生經調變光場1606。應注意，對殘餘全像元素像差404及紋理1605進行解碼之前述流程可使用一單參考DIBR以用於最小限度地使用顯示器處之記憶體；或替代地亦可結合如美國專利申請公開案第2015/0201176號中所述之一多參考DIBR(MR-DIBR)使用多個種子全像元素參考。亦應注意，圖16中所繪示之光場解碼流程之一平行實施方案亦係可能的，每一平行實施方案係根據區塊圖1607。
本發明之裝置係由一數位電路、一類比電路組成，該類比電路驅動三個堆疊式LED層(紅色、綠色及藍色)。至QPI成像器中之介面係輸送經壓縮資料之一高速介面。一第二介面將資料自該QPI成像器之數位部分發送至該QPI成像器之類比部分。彼介面被實施為一穿矽通孔(TSV)介面且輸送一經部分解壓縮資料串流。一部分解壓縮發生於數位ASIC中，而最終解壓縮步驟係在類比ASIC顯示像素資訊之前發生於該類比ASIC中。第三介面係像素觸點。例如，考量具有其中各像素具RGB觸點之1000x1000個像素之成像器，此轉化成300萬像素 觸點。提供由三個二極體共用之一共同陽極電壓。該陽極電壓僅以一非常受限的方式受控制。然而，陰極用來控制組成一個像素之三種色彩。該等陰極提供通過各像素之一恆定的極穩定電流，而亮度可藉由脈衝調變控制至一高程度。該等像素被組織成NxN實體像素實施方案之全像元素結構，該等全像元素結構經時間多工並應用於自總成之旋轉及平移獲得之M個不同影像位置。該等全像元素被一起分組成LxL集，且一單像素驅動器負責將資料提供給整個群組。像素分組之一實例係每全像元素利用50x50個像素，每處理節點(PN)利用4x4個全像元素，且各QPI成像器利用5x5個PN。
該等處理節點經由一高速介面(HSI)而互連且能夠處理對大資料集起作用且直接自經壓縮位元串流重建光場之指令。該等處理節點係由一組特定硬體單元組成，下文說明該等硬體單元之功能。該等硬體單元需要同步工作，此係因為一單元之輸出通常係另一單元之輸入。該等處理區塊係經由一韌體或特殊應用積體電路而受管理，該韌體或特殊應用積體電路可係可程式化的、檢查處理一特定任務所需之單元及資源之狀態且據此對該等單元進行組態。圖17展示硬體管理程序之一般流程。最初，硬體處於一閒置狀態，等待一輸入之到達1701。例如，一個硬體單元可等待待解碼封包之到達，同時另一硬體單元可處於等待一記憶體內容實現一期望狀態之一狀態。一旦該輸入出現，該硬體便需要檢查執行其任務所必需之資源1702。例如，一單元可需要檢查是否存在可用來寫入其輸出之足夠多記憶體。該硬體保持於彼狀態直至必需資源變得可用為止，接著該硬體可處理該輸入1703。一旦該硬體完成執行其任務，該硬體便釋放待由另一線上單元取用之資源1704。接著該硬體藉由檢查新輸入之到達來重啟執行流程。下文所述之多數硬體單元具有一類似流程圖，但具有根據硬體特性之一些特定變動。
HSI介面-
透過使所有處理節點互連之IO高速介面接收資料封包。圖18展示經由HSI 1802互連之PN 1801之一實例。資料具有用來在不同PN之間進行區分之一id。在提供經接收封裝中之元件之一識別符及狀態的接收器組件中分析經接收資料。具體言之，該封裝之一部分提供類型資訊。軟體讀取該類型資訊且基於該類型資訊，形成第一封包之一狀態。該狀態含有關於對彼封包執行之計算之進度之資訊。該HSI介面將該等封包遞送至下一處理硬體(在本發明之一項實施例中係一熵解碼器)。兩個硬體單元共用一共同記憶體庫以將內容自一個單元傳送至另一單元。在圖17中所詳述之程序流程圖之後，韌體管理該傳送。該等封包進入一FIFO記憶體中，其中首先分析該等封包。若封包標頭指示封包含有需要解碼之一資料，則該單元需要檢查資源，即，自該共用記憶體庫尋找一可用記憶體。一旦一記憶體變得可用，則將該資料自該HSI介面傳送至該記憶體，以由該熵解碼器取用。在該傳送完成時，該韌體尋找用來接收該封包之一可用解碼器單元。在發現一解碼器時，該解碼器經程式化以對該特定封包類型進行解碼，記憶體所有權被釋放，且該硬體返回至驗證新封包之內容。
圖19中可看到處理節點之內部架構之一可能實施例。包括PN之硬體單元負責解壓縮經接收位元串流及重建光場。該PN負責一全像元素區域，且該PN首先接收種子全像元素，其他全像元素係自該種子全像元素導出。該種子全像元素可係屬於或不屬於PN區域之一全像元素。若若干PN共用該相同全像元素，則在種子全像元素標頭中使用指示該種子全像元素屬於哪個PN之一位元型樣，如圖12之表中所展示。該PN利用互連件1951以將種子全像元素資訊自一個PN發送至另一PN。在內部，使用乒乓(ping-pong)緩衝器，從而允許硬體單元之間的連續資料流動以便實現即時解碼效能。PN硬體提供用於開發 客製化硬體之特定指令。該等指令包括I/O、解壓縮(熵解碼、遊程解碼、Z型解碼、解量化、逆影像變換)、複製及移位、誤差校正、色彩校正、伽瑪函數、位元平面產生、負載及像素調變控制。應注意，該PN含有用來保留一或多個種子全像元素之足夠多記憶體，從而亦支援時間壓縮。接著，說明各單硬體單元以及由韌體用來控制硬體並同步化解碼流程之邏輯。
熵解碼器-
與HSI模組1905共用之輸入記憶體1961庫具有若干獨立記憶體模組以允許該記憶體庫中之同時讀取及寫入。該HSI接收並讀取封包之狀態及類型且判定接下來要做什麼。將該封包讀取至第一記憶體中之後的下一步驟係正確地對該封包進行解碼。該熵解碼器開始於讀取儘可能多的字組以填充其內部FIFO緩衝器。基於該類型資訊，熵解碼器1910經重新程式化使得正確地對該資料進行解碼。硬體單元1910產生經解碼結果連同增量值。將兩個資訊片段連同該類型資訊及該狀態資訊儲存於兩個單獨記憶體中，一個記憶體1963儲存一經變換影像之DC係數及AC係數，且另一記憶體1962儲存自一個經解碼區塊至另一經解碼區塊之記憶體增量(Minc)。該熵解碼器可經自由程式化以按任何次序接受AC值、DC值及Minc值。通常回應於來自各別模組之狀態資訊，透過一序列控制器1901執行控制，該序列控制器1901亦控制圖19之其他模組之操作。該狀態資訊現表明資料經解碼且因此可由下一模組取用。軟體取決於該經解碼資料之類型而選擇用來繼續解碼程序之下一模組，即，前提係該經解碼資料屬於一種子或殘餘全像元素，或前提係該資訊係像差資訊或紋理資訊。傳入資料之解碼係基於一查找表，該查找表可經自由程式化。該查找表含有字組之實際長度、遊程資訊(其係待略過字組之數目)及實際值。相同引擎亦含有Z型解碼器之查找表。諸多參數被定義為支援一撓性熵解碼器。例如，輸入記 憶體及輸出記憶體之開始位址可藉由軟體而程式化，無論是否使用Z型解碼、區塊大小為何等。此外，該熵解碼器可經程式化以在特定條件下(舉例而言，諸如在輸出緩衝器被完全填充時)暫停其執行。該熵解碼器亦擁有一環繞記憶體讀取特徵，以在受限記憶體大小之情況下對傳入資料進行連續操作，且提供用於硬體池化之一狀態介面。
為同步化傳入封包通量、此等封包之解碼及(因此)經解碼資料至後處理模組之轉遞，使用一狀態機。最初，該解碼器處於一閒置狀態，等待封包之到達。在由HSI觸發之後，該解碼器取用由先前硬體單元指明之一個輸入記憶體區塊。該熵解碼器首先必須在開始執行之前檢查可用資源，即，該熵解碼器需要檢查輸出記憶體是否可用。若該等輸出記憶體可用，則該硬體單元開始執行封包解碼。若取用所有輸入或滿足一預定義條件(例如，該輸出記憶體已滿)，則該單元可暫停。一旦解碼程序完成，則該熵解碼器必須將該經解碼資料指派給後續硬體。例如，若對一種子之紋理進行解碼，則將採取該經解碼封包之下一模組將係逆影像變換模組，其將執行解碼處理鏈之解量化及逆影像變換步驟。因此，該熵解碼器需要查詢HW模組之狀態，且若該等HW模組不忙碌且可接收解碼器封包，則該模組將經組態且該解碼器可釋放經分配資源，即，將記憶體模組之所有權自該熵解碼器傳送至下一線上硬體模組。該熵解碼器接著返回至該閒置狀態並等待來自HSI介面之另一封包。
全像元素內容重複-
取決於由熵解碼器階段解碼之資料之類型，執行後續操作。例如，若發送一種子全像元素之像差，則該熵解碼器對一系列遊程值進行解碼，該等遊程值仍需要擴充以獲得原始影像。用於種子像差之全像元素內容重複模組讀取來自係數記憶體之一個資料條目及一個增量條目。接著，該全像元素內容重複模組產生該增量乘上該資料條目並 將其流式傳輸至另一記憶體模組。此意謂著該模組重複其所讀取之資料達多至透過增量值指定之次數。由全像元素內容重複模組1920如前文所說明般處理種子像差，該全像元素內容重複模組1920讀出來自係數記憶體1963之像差值及來自Minc記憶體1962之增量值。將結果儲存於像差記憶體1964中。對於殘餘像差，使用另一全像元素內容重複模組1920。在此情況下，增量指示其中複製區塊之記憶體位置之跳躍，且類似於種子像差，讀取係數記憶體模組及Minc記憶體模組兩者，且寫入像差記憶體。應注意，用於種子像差之位置及用於殘餘像差之位置應在不同模組中，使得可在相同時間存取該等位置，此係因為由正向DIBR 1925模組重新使用該種子像差若干次，同時僅使用該殘餘像差一次。略過影像變換之一額外RGB模式亦可被使用，且係由剩餘全像元素內容重複模組1920處理。在此情況下，一RGB值經解碼且增量指示在輸出記憶體中(一紋理記憶體1966)中需要重複該值多少次。該等全像元素內容重複模組係用於複製內部緩衝器之間的具有不同大小(不同長度及不同資料寬度)而無需乘法縮放之資料之一多功能記憶體傳送工具。
所有三個模組之狀態機係類似的。最初，硬體單元係閒置的，等待一新封包之處理。接著由該熵解碼器觸發該等硬體單元，該熵解碼器根據待處置資料之類型決定啟動硬體。該硬體接著移動至其中該硬體需要等待資源(諸如該硬體需要自其讀取由該熵解碼器交接之封包之記憶體或待變得可用之輸出記憶體)之狀態。在具有所需之所有資源之情況下，該硬體移動至執行狀態。該硬體保持於此狀態直至其完成取用所有輸入為止，接著其進入最終狀態，其中該單元需要清除輸入記憶體。此係必需的，因為尤其在對殘餘資訊進行解碼時(其中記憶體跳躍係必需的)，該熵解碼器未必寫入於所有記憶體位置中。然而，空位置仍需要在被再次使用之前歸零，因此取用此記憶體之硬 體亦負責清除該記憶體。在清除命令完成執行之後，將該記憶體釋放回至該熵解碼器，且該硬體返回至閒置狀態，其中該硬體等待另一封包。
逆影像變換-
逆影像變換模組1915在該熵解碼器之後用於種子及殘餘紋理解碼，其中將一影像變換及解量化應用於影像分塊。在本發明之一項可能實施例中，該影像變換可係一逆DCT變換或一逆整數變換。影像變換矩陣係由軟體預定義且儲存於一暫存器陣列中。此允許使逆影像變換指令如一管線式SIMD(單指令、多資料)指令般非常快地工作。以一線性次序而非矩陣次序將逆影像變換操作之結果儲存至紋理記憶體1966中。對自係數記憶體1963讀出之NxN個像素執行矩陣計算，其中該等像素連續地儲存於記憶體中。必須將期望輸出儲存於記憶體中之正確位置處。例如，在N=4且全像元素寬度=100之情況下，必須將全像元素左上角之第一區塊儲存於以下輸出記憶體位址位置中：(0,1,2,3；100,101,102,103；200,201,202,203；300,301,302,303)。若x方向或y方向上之所得全像元素大小不是N之倍數(例如，假定在N=4時全像元素大小係50x50)，則位址產生器抑制寫入啟用且不覆寫經界定區域之邊緣。此外，在殘餘紋理解碼之情況下，Minc指示將區塊寫入於輸出記憶中時之記憶體跳躍。除矩陣乘法之外，亦將具有NxN個解量化參數之一點態乘法併入至矩陣乘法器模組中。首先將各輸入係數與對應解量化參數相乘，該等解量化參數亦作為一固定NxN矩陣儲存於一特定暫存器組中。兩個額外值縮放所有輸入及所有輸出。此允許最高位準之靈活性。因此，亦可將此模組之完整函數描述為：R={[S＊c0)˙×D]×M}＊c1其中矩陣S係輸入矩陣，矩陣D係解量化矩陣，矩陣M實施一影像變換 (諸如但不限於一DCT矩陣)，符號＊表示在逐元件基礎上應用之標量乘法(逐項)，符號x表示矩陣內積，符號˙x表示矩陣標量積，且c0及c1分別係輸入及輸出之縮放因數。
逆影像變換模組之狀態機以類似於重複解碼器模組之一方式工作。最初，硬體單元係閒置的，等待一新封包之處理。在需要進一步處理紋理資料(解量化及逆變換)時由該熵解碼器觸發該硬體單元。該硬體接著移動至其中該硬體需要等待資源(諸如該硬體需要自其讀取由該熵解碼器交接之封包之記憶體或待變得可用之輸出記憶體)之狀態。在所有資源變得可用時，該硬體移動至執行狀態。該硬體保持於此狀態直至其完成取用所有輸入為止，接著其進入最終狀態，其中如同重複解碼器單元之情況，該單元需要清除輸入記憶體。在清除命令完成執行之後，將該記憶體釋放回至該熵解碼器，且該硬體返回至閒置狀態，其中該硬體等待另一封包。
正向DIBR模組及反向DIBR模組-
一旦種子像差可用，正向DIBR 1925區塊便可開始處理變形操作並產生經變形像差，如本發明之解碼演算法所要求。變形處理導致參考像素位置之移位操作及複製操作。將DIBR演算法分成一正向DIBR 1925部分及一反向DIBR 1930部分。正向DIBR 1925硬體讀取來自種子像差記憶體1964之像差資訊且將全像元素像差產生於一暫時性像差記憶體1965中。正向DIBR 1925亦能夠執行N->1之一下取樣，即，將N個像素視作輸入且產生一個單像素輸出。然而，為此，需要讀取並分析所有N個像素，從而導致每全像元素N次讀取循環。為在系統中實現相同輸送量，正向DIBR 1925係以可平行產生N個全像元素之像差之一方式實施。輸入dx及dy指明殘餘全像元素與種子全像元素之距離且用作演算法輸入以估計移位量。基於像差資訊及種子全像元素至殘餘全像元素之距離，計算複製資訊及移位資訊。接著需要檢查是否 應將資料寫入至目的地位址中。由於移位可導致兩個像素移動至相同位置，故根據像素像差值決定哪個像素佔優勢之決定。此亦稱為z測試。輸入記憶體位置及輸出記憶體位置亦係可程式化的，以便使用具有多個記憶體庫之一乒乓方案，且允許反向DIBR 1930與正向DIBR 1925同時工作。
在系統中不存在全像元素或所有全像元素已被處理時，正向DIBR 1925模組維持一閒置狀態。在本發明之一項實施例中，在資料封包之前發送含有後設資料資訊之一表。一旦接收此表，便在韌體記憶體中建構一本端後設資料表，使得可全域地監控各全像元素之狀態。一旦產生該後設資料表(通常由HSI介面觸發，該HSI介面接收含有此資訊之標頭封包)，硬體便移動至其中該硬體檢查清單之頂部全像元素之旗標之狀態。該等旗標指示其中該全像元素經歷之階段(例如，在逆影像變換區塊處解量化紋理或在重複解碼器模組處擴充像差)。正向DIBR 1925模組檢查種子全像元素像差。一旦整個資料可用，該模組便獲得含有種子像差之記憶體模組之所有權且開始執行正向DIBR 1925。應注意，該後設資料表含有變形操作所必需之資訊，諸如種子全像元素及目標全像元素之座標。此外，同時產生多個結果，以保存該裝置之即時特徵。一旦該硬體完成執行，便更新該等後設資料旗標，且該單元繼續產生下一全像元素集之經變形像差，或僅返回至該閒置狀態並等待一新全像元素集。
反向DIBR 1930讀取來自正向DIBR 1925且儲存於暫時性像差記憶體庫1965中之所產生暫時性像差且計算儲存於種子全像元素紋理記憶體1966中之種子全像元素紋理中之當前全像元素位址參考位置。在讀取來自種子全像元素紋理記憶體1966之參考紋理之後，反向DIBR 1930模組將RGB值儲存於適當輸出記憶體位置1967中。反向DIBR 1930產生之全像元素可並非較佳地表示其等應表示之視角。此意謂著 可產生潛在誤差。關於反向DIBR 1930演算法之誤差存在兩個原因。第一個原因係透過正向DIBR 1925產生之像差可能不是一特定像素之最佳選擇。除此之外，對於一些結果，一紋理不在全像元素中界定或該紋理被破壞，即，該經變形全像元素具有孔洞或該紋理係視角相依的且所使用參考紋理不適於彼特定全像元素。為修正像差誤差，反向DIBR 1930利用殘餘像差。該殘餘像差被儲存於像差記憶體1964中，且被讀取並與由正向DIBR 1925產生之像差組合。反向DIBR 1930之操作之可程式化模式允許取代像差或將兩個像差添加在一起。新像差值能夠參考一不同種子全像元素紋理值，且改良最終再現品質。反向DIBR 1930演算法亦能夠用一固定RGB值填充並非由變形操作參考之像素位置。彼等位置亦稱為孔洞，且本發明之一項實施例之所提出模組能夠接收位元串流中之一固定RGB值並用此固定值填充所有孔洞。
類似於正向DIBR 1925模組，反向DIBR 1930模組之行為係由該系統之全像元素之後設資料表指定。在不存在全像元素或該模組剛完成處理後設資料清單之所有全像元素時，該模組僅保持於其中該模組等待傳入全像元素之狀態。一旦在記憶體中形成新後設資料表，便由HSI觸發狀態變更。接著該硬體單元負責監控該表中之各全像元素之狀態。一旦該等全像元素達到其中反向DIBR 1930處理其等之條件，該硬體單元便進入執行狀態，其中自種子像差、殘餘像差及種子紋理產生全像元素紋理。在該硬體完成時，該硬體變更至其中該硬體清除輸入記憶體且釋放輸出資源以用於下一模組之下一狀態。釋放該等資源且更新剛所作用於的全像元素之後設資料狀態。該硬體監控後設資料表中之下一全像元素之狀態，且若已處理所有N個全像元素，則反向DIBR 1930返回至閒置狀態並等待新傳入資料。
誤差校正-
如前文所提及，來自反向DIBR 1930之紋理結果仍可含有錯誤值 或遺漏值。由於變形操作不可涵蓋所有像素位置(通常以孔洞之形式表示)，故該等像素位置可能不具有紋理值(亦稱為孔洞)，或可在反向DIBR 1930孔洞填充期間指派給一錯誤RGB值。此外，視角相依的特徵在視角之間具有不同RGB值，因此在變形操作中使用之參考可不同於真實RGB值。為校正此等假影，發送殘餘紋理資訊並將該殘餘紋理資訊添加至誤差校正模組中之反向DIBR 1930結果。圖19描繪誤差校正1935模組連同用於殘餘紋理之輸入記憶體1966及用於DIBR紋理之輸入記憶體1967、添加至殘餘紋理之經變形種子紋理。結果係儲存於全像元素記憶體區塊1968中之最終全像元素值。在本發明之一項可能實施例中，該誤差校正模組利用實際上含有三個8位元字組之24位元字組。該誤差校正硬體模組需要考量三個值且在個別地添加該三個值並將該三個值合併為一個24位元字組之前使該三個值分離。差資訊被給定為一帶符號數，而結果及原始全像元素資訊被給定為一無符號8位元值。例如，自添加至一帶符號8位元字組之一無符號8位元字組產生一無符號8位元字組。然而，加法函數不應環繞，但於最大值或最小值(即，0或255)處裁剪。除誤差校正功能之外，此硬體模組允許色彩轉換及(亦)色彩參數調整(諸如伽瑪校正及亮度調整)。直接對誤差校正模組之輸出執行色彩校正及色彩空間變換。一色彩轉換矩陣被整合至誤差校正模組中，且該色彩轉換矩陣可經自由程式化且亦根據需要關閉。該輸出係藉由一額外縮放器而縮放，其對所有三個色彩通道而言係相同的。
類似於正向DIBR 1925模組及反向DIBR 1930模組，誤差校正1935模組首先開始於一閒置狀態且監控後設資料表，等待全像元素達到適當狀態。在不存在全像元素或該模組剛完成處理後設資料清單之所有全像元素時，該模組僅保持於其中該模組等待傳入全像元素之狀態。一旦在記憶體中形成新後設資料表，便由HSI觸發狀態變更。一 旦該等全像元素達到其中該誤差校正模組處理其等之條件，該硬體單元便進入執行狀態，其中將全像元素紋理添加至殘餘紋理。在該硬體完成時，該硬體變更至其中該硬體清除輸入記憶體且釋放輸出資源以用於下一模組之下一狀態。一旦釋放資源，便在該後設資料表中更新全像元素後設資料資訊以識別此處理階段已完成。該硬體監控後設資料表中之下一全像元素之狀態，且若已處理所有N個全像元素，則誤差校正1935模組返回至閒置狀態並等待新傳入資料。
交錯器-
接著透過一交錯器功能轉置經誤差校正全像元素以分離出各全像元素之個別位元。在本發明之一項可能實施例中，該交錯器允許將具有24位元之一50x50像素陣列轉化成各50位元之24x50字組。各50位元字組現表示50個像素之24位元中之一個位元。圖19展示交錯器1940模組，其中相關聯輸入記憶體模組1968係由誤差校正模組產生之最終全像元素紋理，且輸出記憶體模組1969保留RGB位元平面。資料來自一24位元寬的全像元素記憶體結構。交錯器1940指令執行以下操作：將24個位元分離成由獨立記憶體表示之R位元平面、G位元平面及B位元平面。交錯器1940之輸出係一150位元寬的匯流排，其允許平行讀取R部分、G部分及B部分。因此，保留輸出之記憶體係3x50位元x(全像元素總數目)字組記憶體。
交錯器1940亦依賴於後設資料表以對傳入全像元素進行操作。在不存在全像元素或該模組剛完成處理後設資料清單之所有全像元素時，該模組僅保持於其中該模組等待傳入全像元素之狀態。一旦在記憶體中形成新後設資料表，便由HSI觸發狀態變更。接著該硬體單元負責監控該表中之各全像元素之狀態。一旦該等全像元素達到其中該交錯器模組處理其等之條件，該硬體單元便進入執行狀態，其中最終全像元素紋理經交錯以用於調變。在該硬體完成時，該硬體變更至其 中該硬體釋放輸出資源以用於下一模組之下一狀態。一旦釋放資源，便在該後設資料表中更新全像元素後設資料資訊以識別此處理階段已完成。該硬體監控後設資料表中之下一全像元素之狀態，且若已處理所有N個全像元素，則該錯誤校正模組返回至閒置狀態並等待新傳入資料。
像素調變器-
最終步驟係將經產生位元用於該像素調變器，該像素調變器提供與所使用光場顯示器之任何像素輸入需求相容之一像素調變器輸出。若在一較佳實施例中使用脈衝寬度調變，則將該等所產生位元用作一PWM調變遮罩。只要PWM計數器運行，該遮罩即開啟個別像素。多個位元平面與適當開啟時間之組合轉化成像素亮度。圖19中所提供之架構展示像素調變器1945及相關聯記憶體模組。對於輸出記憶體，使用以下方案。一複製功能自位元平面記憶體選擇下一待顯示之位元平面並將該位元平面儲存至位元平面1鎖存器中。一控制器接著將該位元平面1鎖存器傳送至位元平面2鎖存器，此係一瞬時事件。在資料位於該位元平面2鎖存器中之後，可用實際PWM信號對該資料進行AND閘控，該實際PWM信號表示開啟時間。使兩個位元平面鎖存器與各像素相關聯允許載入第二位元平面，同時仍顯示第一位元平面。
在後設資料表用於監控全像元素資料何時準備好用於其處理階段之意義上，數位電路之最終硬體模組(像素調變器1945)亦類似於先前硬體而操作。像素調變器1945模組首先開始於一閒置狀態。在不存在全像元素或該模組剛完成處理後設資料清單之所有全像元素時，該模組僅保持於其中該模組等待傳入全像元素之狀態。一旦在記憶體中形成新後設資料表，便由HSI觸發狀態變更。接著該硬體單元負責監控該表中之各全像元素之狀態。一旦該等全像元素達到其中像素調變 器1945模組處理其等之條件，該硬體單元便進入執行狀態，其中由像素調變器1945調變位元平面。在該硬體完成時，該硬體釋放資源且在該後設資料表中更新全像元素後設資料資訊以識別此處理階段已完成。該硬體監控後設資料表中之下一全像元素之狀態，且若已處理所有N個全像元素，則該錯誤校正模組返回至閒置狀態並等待新傳入資料。該像素調變器可(僅藉由實例方式)係一脈衝寬度調變器，但可替代地使用如適於所使用之特定光場顯示器之其他調變器。
熟習此項技術者將容易明白，在不背離隨附申請專利範圍中界定且由其界定之本發明範疇之情況下可將各種修改及變更應用於本發明之實施例。應明白，本發明之前述實例僅係闡釋性的，且在不背離本發明之精神或本質特性之情況下本發明可以其他特定形式體現。因此，所揭示實施例不應在任何意義上被視為限制性。本發明之範疇係由隨附申請專利範圍而非前文描述指示，且屬於隨附申請專利範圍之等效物之意義及範圍內之所有變動意欲包含於其中。
1901‧‧‧序列控制器
1910‧‧‧熵解碼器/硬體單元
1915‧‧‧逆影像變換模組
1920‧‧‧全像元素內容重複模組
1925‧‧‧正向基於深度影像之再現模組
1930‧‧‧反向基於深度影像之再現模組
1935‧‧‧誤差校正模組
1940‧‧‧交錯器模組/交錯器
1945‧‧‧像素調變器/像素調變器模組
1961‧‧‧輸入記憶體
1962‧‧‧記憶體增量記憶體/記憶體
1963‧‧‧係數記憶體/記憶體
1964‧‧‧種子像差記憶體/像差記憶體
1965‧‧‧暫時性像差記憶體/暫時性像差記憶體庫
1966‧‧‧種子全像元素紋理記憶體/紋理記憶體/用於殘餘紋理之輸入記憶體
1967‧‧‧輸出記憶體位置/用於基於深度影像之再現紋理之輸入記憶體
1968‧‧‧全像元素記憶體區塊/輸入記憶體模組
1969‧‧‧輸出記憶體模組

Claims (16)

  1. 一種用於自一經壓縮光場重現用於顯示之一光場之系統，該系統包括：至少一個處理節點，其具有複數個硬體模組，該複數個硬體模組經組態以用於解壓縮該經壓縮光場且重現用於一顯示之該光場；各處理節點具有：一介面模組一熵解碼器模組一影像逆變換模組一全像元素內容重複模組一正向DIBR模組一反向DIBR模組一誤差校正模組一交錯器模組，及一像素調變器模組各處理節點具有用於使該等模組及複數個記憶體互連之一匯流排互連件；一序列控制器，該序列控制器控制該等模組之操作之序列以解壓縮經壓縮光場資料以重現用於顯示之該光場。
  2. 如請求項1之系統，其中該等模組中之至少一者係一特殊應用積體電路。
  3. 如請求項2之系統，其中該等模組中之至少一者係可程式化的。
  4. 如請求項1之系統，其中該介面模組經組態以接收資料封包並將該等資料封包遞送至該熵解碼器。
  5. 如請求項1之系統，其中該熵解碼器模組經組態以自該熵解碼器接收資料封包且若封包標頭指示封包需要解碼，則根據封包類型對該封包進行解碼。
  6. 如請求項1之系統，其中影像逆變換模組經組態以自該熵解碼器模組接收分塊種子以及殘餘紋理解碼及解量化。
  7. 如請求項6之系統，其中該影像逆變換模組使用一預定義影像變換矩陣，藉此允許一逆變換指令用作一管線式單指令、多資料指令。
  8. 如請求項1之系統，其中該全像元素內容重複模組經組態以用於複製內部緩衝器之間的具有不同長度及不同資料寬度而無需乘法縮放之資料。
  9. 如請求項1之系統，其中該正向DIBR模組經組態以接收種子全像元素像差且產生經變形像差。
  10. 如請求項9之系統，其中該反向DIBR模組經組態以自該正向DIBR模組讀取該所產生之暫時性像差且計算種子全像元素紋理中之當前全像元素位址參考位置並產生全像元素。
  11. 如請求項10之系統，其中該反向DIBR模組經組態以亦使用殘餘像差以與該種子像差組合以修正像差誤差。
  12. 如請求項1之系統，其中該反向DIBR模組亦經組態以填充未由變形參考之像素位置。
  13. 如請求項1之系統，其中該誤差校正模組經組態以校正假影。
  14. 如請求項13之系統，其中該誤差校正模組亦經組態以對該誤差校正模組之一輸出執行色彩校正及色彩空間變換。
  15. 如請求項1之系統，其中該交錯器模組經組態以轉置經誤差校正全像元素以分離出各全像元素之個別位元。
  16. 如請求項1之系統，其中該像素調變器經組態以提供與用來顯示 該經重現光場之一光場顯示器之任何像素輸入需求相容之一像素調變器輸出。
TW105112774A 2015-04-23 2016-04-22 用於全視差光場顯示系統之方法及裝置 TWI696378B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562151656P 2015-04-23 2015-04-23
US62/151,656 2015-04-23

Publications (2)

Publication Number Publication Date
TW201644270A true TW201644270A (zh) 2016-12-16
TWI696378B TWI696378B (zh) 2020-06-11

Family

ID=57143569

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105112774A TWI696378B (zh) 2015-04-23 2016-04-22 用於全視差光場顯示系統之方法及裝置

Country Status (8)

Country Link
US (2) US10310450B2 (zh)
EP (1) EP3286916A1 (zh)
JP (1) JP6866299B2 (zh)
KR (1) KR20170139560A (zh)
CN (1) CN107431797B (zh)
HK (1) HK1247764A1 (zh)
TW (1) TWI696378B (zh)
WO (1) WO2016172384A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10448030B2 (en) 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
US10567739B2 (en) 2016-04-22 2020-02-18 Intel Corporation Synthesis of transformed image views
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10573056B2 (en) * 2017-03-06 2020-02-25 3D Patents, Llc Multi-view processing unit systems and methods
US20180350038A1 (en) * 2017-06-02 2018-12-06 Ostendo Technologies, Inc. Methods and Systems for Light Field Compression With Residuals
US11051039B2 (en) 2017-06-02 2021-06-29 Ostendo Technologies, Inc. Methods for full parallax light field compression
US11789413B2 (en) 2017-06-19 2023-10-17 Deere & Company Self-learning control system for a mobile machine
US10694668B2 (en) 2017-06-19 2020-06-30 Deere & Company Locally controlling settings on a combine harvester based on a remote settings adjustment
US10432944B2 (en) 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
US10931956B2 (en) * 2018-04-12 2021-02-23 Ostendo Technologies, Inc. Methods for MR-DIBR disparity map merging and disparity threshold determination
ES2938471T3 (es) * 2018-04-28 2023-04-11 Guangdong Oppo Mobile Telecommunications Corp Ltd Método de procesamiento de datos, dispositivo electrónico y medio de almacenamiento legible por ordenador
US11172222B2 (en) 2018-06-26 2021-11-09 Ostendo Technologies, Inc. Random access in encoded full parallax light field images
WO2020076049A1 (ko) * 2018-10-08 2020-04-16 에스케이텔레콤 주식회사 양자화된 변환 계수들의 부호화 및 복호화를 위한 방법 및 장치
EP3687168A1 (en) * 2019-01-24 2020-07-29 Ultra-D Coöperatief U.A. Assigning view numbers to display elements of an autostereoscopic display
CN109683461B (zh) * 2019-01-24 2020-11-10 杭州光粒科技有限公司 基于光场渲染的全息图生成方法、系统、存储介质及近眼ar全息三维显示系统
CN111757125B (zh) * 2019-03-29 2024-02-27 曜科智能科技（上海）有限公司 基于光场多视角视频压缩方法及其装置、设备和介质
KR20220054850A (ko) * 2019-09-03 2022-05-03 라이트 필드 랩 인코포레이티드 게임 환경을 위한 라이트필드 디스플레이 시스템
CN110602499B (zh) * 2019-10-12 2021-11-26 深圳普罗米修斯视觉技术有限公司 动态全息影像编码方法、装置及存储介质
TWI799828B (zh) * 2021-03-31 2023-04-21 中強光電股份有限公司 影像處理裝置、影像處理方法以及3d影像產生系統

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613048A (en) 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US6252989B1 (en) 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6091767A (en) 1997-02-03 2000-07-18 Westerman; Larry Alan System for improving efficiency of video encoders
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6366370B1 (en) 1998-12-30 2002-04-02 Zebra Imaging, Inc. Rendering methods for full parallax autostereoscopic displays
US6549308B1 (en) 2000-01-11 2003-04-15 Zebra Imaging, Inc. Unibiased light field models for rendering and holography
US6738533B1 (en) 2000-03-29 2004-05-18 Microsoft Corporation Minimum sampling rate and minimum sampling curve for image-based rendering
US6940653B2 (en) * 2001-12-19 2005-09-06 Actuality Systems, Inc. Radiation conditioning system
US20050018911A1 (en) 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
WO2006116134A2 (en) 2005-04-21 2006-11-02 William Marsh Rice University Method and apparatus for compressive imaging device
US7364306B2 (en) 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US7653248B1 (en) 2005-11-07 2010-01-26 Science Applications International Corporation Compression for holographic data and imagery
JP2009530661A (ja) * 2006-03-15 2009-08-27 ゼブラ・イメージング・インコーポレイテッド 動的裸眼立体視ディスプレイ
US9843790B2 (en) 2006-03-15 2017-12-12 Fovi 3D, Inc. Dynamic autostereoscopic displays
US7609906B2 (en) 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
US8044994B2 (en) 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
US7623560B2 (en) 2007-09-27 2009-11-24 Ostendo Technologies, Inc. Quantum photonic imagers and methods of fabrication thereof
US8155456B2 (en) 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
US8970646B2 (en) 2008-07-09 2015-03-03 Ostendo Technologies, Inc. Image construction based video display system
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
KR101468267B1 (ko) 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
US8098265B2 (en) 2008-10-10 2012-01-17 Ostendo Technologies, Inc. Hierarchical multicolor primaries temporal multiplexing system
US8605081B2 (en) 2008-10-26 2013-12-10 Zebra Imaging, Inc. Converting 3D data to hogel data
KR101697598B1 (ko) 2008-10-27 2017-02-01 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치
US8315476B1 (en) 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
CN102292996B (zh) 2009-01-20 2014-09-17 皇家飞利浦电子股份有限公司 3d图像数据的传输
US8681185B2 (en) 2009-03-05 2014-03-25 Ostendo Technologies, Inc. Multi-pixel addressing method for video display drivers
US20100231585A1 (en) 2009-03-13 2010-09-16 Zebra Imaging, Inc. Systems and Methods for Processing Graphics Primitives
WO2010108024A1 (en) * 2009-03-20 2010-09-23 Digimarc Coporation Improvements to 3d data representation, conveyance, and use
US7978407B1 (en) 2009-06-27 2011-07-12 Holovisions LLC Holovision (TM) 3D imaging with rotating light-emitting members
US8284237B2 (en) 2009-09-09 2012-10-09 Nokia Corporation Rendering multiview content in a 3D video system
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
KR20110064161A (ko) 2009-12-07 2011-06-15 삼성전자주식회사 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템
WO2011087289A2 (en) * 2010-01-13 2011-07-21 Samsung Electronics Co., Ltd. Method and system for rendering three dimensional views of a scene
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US8913004B1 (en) 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
CN106131531B (zh) 2010-03-31 2019-04-26 汤姆森特许公司 视频处理方法和装置
WO2011121130A2 (en) * 2010-04-01 2011-10-06 Seereal Technologies S.A. Method and device for encoding three-dimensional scenes which include transparent objects in a holographic system
WO2011129819A1 (en) 2010-04-13 2011-10-20 Empire Technology Development Llc Combined-model data compression
US8994792B2 (en) 2010-08-27 2015-03-31 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
US9529191B2 (en) 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
HU1000640D0 (en) * 2010-11-29 2011-02-28 Holografika Hologrameloeallito Fejlesztoe Es Forgalmazo Kft Image coding and decoding method and apparatus for efficient encoding and decoding of 3d field content
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US20120294374A1 (en) * 2011-05-17 2012-11-22 Amir Said Conditional replenishment for three-dimensional images with block-based spatial thresholding
US8624719B2 (en) 2011-06-03 2014-01-07 Bosch Automotive Service Solutions Llc Smart phone control and notification for an electric vehicle charging station
US20130050786A1 (en) 2011-08-29 2013-02-28 Zebra Imaging, Inc. Hogel Display using Optical Beam Oscillators
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
JP6064040B2 (ja) 2012-05-09 2017-01-18 ライトロ, インコーポレイテッドLytro, Inc. ライトフィールドの取り込み及び操作を改善するための光学系の最適化
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US8581929B1 (en) * 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
US9998726B2 (en) 2012-06-20 2018-06-12 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9544612B2 (en) 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US9274608B2 (en) 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
US9699433B2 (en) 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US9177393B2 (en) 2013-02-04 2015-11-03 Qualcomm Incorporated Mixed mode for frame buffer compression
US9497380B1 (en) 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US20140267228A1 (en) 2013-03-14 2014-09-18 Microsoft Corporation Mapping augmented reality experience to various environments
WO2014145003A1 (en) 2013-03-15 2014-09-18 Ostendo Technologies, Inc. Dynamic gamut display systems, methods, and applications thereof
TWI625551B (zh) 2013-03-15 2018-06-01 傲思丹度科技公司 具有改良之視角深度及解析度之三維光場顯示器及方法
US9392129B2 (en) 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP2015008387A (ja) * 2013-06-25 2015-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置
US9993335B2 (en) 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
US9357236B2 (en) 2014-03-13 2016-05-31 Intel Corporation Color compression using a selective color transform
JP2017528949A (ja) * 2014-07-15 2017-09-28 オステンド・テクノロジーズ・インコーポレーテッド 全方向視差光照射野圧縮のためのプリプロセッサ
CN104216128A (zh) * 2014-09-01 2014-12-17 北京邮电大学 一种全视差三维光场的显示装置、三维光场显示系统
KR20170140187A (ko) 2015-04-23 2017-12-20 오스텐도 테크놀로지스 인코포레이티드 깊이 정보를 이용한 완전 시차 압축 광 필드 합성을 위한 방법
US10448030B2 (en) 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof

Also Published As

Publication number Publication date
EP3286916A1 (en) 2018-02-28
HK1247764A1 (zh) 2018-09-28
WO2016172384A1 (en) 2016-10-27
CN107431797B (zh) 2019-10-11
US20160357147A1 (en) 2016-12-08
JP6866299B2 (ja) 2021-04-28
US20190265646A1 (en) 2019-08-29
US10528004B2 (en) 2020-01-07
US10310450B2 (en) 2019-06-04
CN107431797A (zh) 2017-12-01
TWI696378B (zh) 2020-06-11
KR20170139560A (ko) 2017-12-19
JP2018518866A (ja) 2018-07-12

Similar Documents

Publication Publication Date Title
US10528004B2 (en) Methods and apparatus for full parallax light field display systems
EP3751857A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
US11405643B2 (en) Sequential encoding and decoding of volumetric video
TWI807286B (zh) 用於全視差壓縮光場三維成像系統之方法
US11202086B2 (en) Apparatus, a method and a computer program for volumetric video
EP3614674A1 (en) An apparatus, a method and a computer program for volumetric video
WO2019135024A1 (en) An apparatus, a method and a computer program for volumetric video
US20230080852A1 (en) Use of tiered hierarchical coding for point cloud compression
EP2150065A2 (en) Method and system for video rendering, computer program product therefor
WO2019229293A1 (en) An apparatus, a method and a computer program for volumetric video
WO2008020733A1 (en) A method and apparatus for encoding multiview video using hierarchical b frames in view direction, and a storage medium using the same
WO2019115866A1 (en) An apparatus, a method and a computer program for volumetric video
WO2019115867A1 (en) An apparatus, a method and a computer program for volumetric video
WO2019122504A1 (en) Method for encoding and decoding volumetric video data
WO2020070378A1 (en) An apparatus, a method and a computer program for volumetric video
WO2019077199A1 (en) APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
WO2019162564A1 (en) An apparatus, a method and a computer program for volumetric video
EP3804334A1 (en) An apparatus, a method and a computer program for volumetric video
TW202406340A (zh) 沉浸式視訊編解碼中之冗餘資料減少
WO2023041838A1 (en) An apparatus, a method and a computer program for volumetric video
CN112188201A (zh) 对视频流进行编码的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees