TW201729590A - 內容自適應光場壓縮 - Google Patents

內容自適應光場壓縮 Download PDF

Info

Publication number
TW201729590A
TW201729590A TW105137535A TW105137535A TW201729590A TW 201729590 A TW201729590 A TW 201729590A TW 105137535 A TW105137535 A TW 105137535A TW 105137535 A TW105137535 A TW 105137535A TW 201729590 A TW201729590 A TW 201729590A
Authority
TW
Taiwan
Prior art keywords
light field
holographic
odd
elements
element data
Prior art date
Application number
TW105137535A
Other languages
English (en)
Other versions
TWI746482B (zh
Inventor
丹尼洛 布雷可 葛瑞茲歐西
薩席爾 Y 阿爾帕斯嵐
戴爾 A 麥克尼爾
哈森 S 艾爾－葛洛力
Original Assignee
傲思丹度科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 傲思丹度科技公司 filed Critical 傲思丹度科技公司
Publication of TW201729590A publication Critical patent/TW201729590A/zh
Application granted granted Critical
Publication of TWI746482B publication Critical patent/TWI746482B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0841—Encoding method mapping the synthesized field into a restricted set of values representative of the modulator parameters, e.g. detour phase coding
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Holo Graphy (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明針對其中電腦記憶體約束及延時為關鍵之應用揭示一種用於高解析度光場顯示器之壓縮方法。該所揭示之壓縮演算法利用一光場之3D結構以用一固定壓縮比率及簡單解碼指令來壓縮原始光場資訊。該經壓縮高解析度光場達成具有可接受品質之一減小的頻寬，且以可使用通用介面傳輸之一方式予以封裝。在一較佳實施例中，該壓縮演算法用作光場資訊獲取之後或演現之後之一後處理階段。在另一較佳實施例中，該壓縮演算法併入至該獲取或演現程序中以減少記憶體及演現處理。此等及另外實施例產生具有直接顯示所需之全部資訊之一經壓縮光場。

Description

內容自適應光場壓縮
本發明係關於由光場電子顯示器用於利用諸如全像術、整體成像、立體觀視(stereoscopy)、多視圖成像、視訊等技術顯示超高解析度3D影像之光場成像資訊之資料壓縮。本發明對具有通用、產業標準介面(諸如HDMI、Displayport、MIPI等)之光場顯示器具有獨特應用，對該等介面而言，成像資訊至光場顯示器中之資料傳送頻寬已知係挑戰性的。
在先前技術光場中，相鄰全像元素(hogel)展現類似小光束(anglet)資料。全像元素對觀看者表現為一單點源，該單點源可實施為光場顯示器像素上方之一微透鏡陣列之一單一透鏡(參考文獻[29])。重現的3D影像(亦稱為一光場圖框)由光場顯示器所產生之完整的全像元素集組成。一光場視訊由光場圖框之一時間序列組成。通常，一應用程式處理器預處理輸入光場影像資料(諸如由攝影機獲取之真實影像及/或經演現電腦產生影像)，且將資料傳送至光場顯示器。為了提供應用程式處理器與具有當前可得之通用介面(諸如HDMI、Displayport、MIPI等)之光場顯示器之間之必要頻寬，在若干介面間劃分輸入信號，此在歸因於資料大小限制而非不可行的情況下係麻煩的。 採用傳輸之前的資料壓縮來應對光場顯示器所使用之極大體積的光場影像資料。當前公開之用於光場壓縮之方法，諸如Magnor, M.及Girod, B.的「Data Compression for Light-Field Rendering」，IEEE Trans. on Circuits and Systems for Video Technology，10(3)，338-343 (2000年)及Conti, C.、Lino, J.、Nunes, P.、Soares, L.D.、Lobato Correia, P.的「Spatial prediction based on self-similarity compensation for 3D holoscopic image and video coding」，Image Processing (ICIP)，2011 18th IEEE International Conference on，第卷，第號，第961頁至第964頁，2011年9月11至14日中之方法遵循預測、變換及餘值量化之常規方法，其類似於先前技術3D視訊編碼標準所採用之方法(Ohm, J.-R.的「Overview of 3D video coding standardization」，International Conference on 3D Systems and Applications，Osaka，2013年)。此等壓縮方法之缺點在於其等在圖框緩衝器中處理傳入資料，在壓縮高解析度(及因此高體積)資料時，該等圖框緩衝器變得極大，且必然給即時顯示應用帶來非所要的視訊延時。 用於光場資料壓縮之另一先前技術解決方案為在影像產生程序中「子取樣」視圖且直接在光場顯示器處重建經抑制視圖。例如，在Yan, P.、Xianyuan, Y.的「Integral image compression based on optical characteristic」，Computer Vision ， IET ，第5卷，第3號，第164頁、第168頁，2011年5月及Yan Piao、Xiaoyuan Yan的「Sub-sampling elemental images for integral imaging compression」，Audio Language and Image Processing (ICALIP) ， 2010 International Conference on ，第卷，第號，第1164頁、第1168頁，2010年11月23日至25日)中，基於顯示器系統之光學特性對光場進行子取樣。光場取樣之一正式方法描述於Jin-Xiang Chai、Xin Tong、Shing-Chow Chan及Heung-Yeung Shum的2000. Plenoptic sampling，Proceedings of the 27th annual conference on Computer graphics and interactive techniques (SIGGRAPH '00)及Gilliam, C.、Dragotti, P.L.、Brookes, M.的「Adaptive plenoptic sampling」，Image Processing (ICIP)，2011 1 8th IEEE International Conference on ，第卷，第號，第2581頁、第2584頁，2011年9月11日至14日。儘管此等先前技術方法提供位元速率之顯著降低，但壓縮率非所要地高度內容相依。此外，此等方法通常依靠複雜的視圖合成演算法(例如，參見以下著作：2015年7月16日公開之美國臨時專利申請案第20150201176 A1號之Graziosi等人的「Methods For Full Parallax Compressed Light Field 3D Imaging Systems」；「View Synthesis Reference Software (VSRS) 3.5」，wg11.sc29.org，2010年3月；C. Fehn的「3D-TV Using Depth-Image-Based Rendering (DIBR)」，Proceedings of Picture Coding Symposium，San Francisco，CA，USA，2004年12月；Mori Y、Fukushima N、Yendo T、Fujii T、Tanimoto M的(2009) View generation with 3D warping using depth information for FTV，Sig Processing:Image Commun 24(1–2)：第65頁至72頁；及Tian D、Lai P、Lopez P、Gomila C的(2009) View synthesis techniques for 3D video，Proceedings applications of digital image processing XXXII，第7443卷、第74430T–1–11頁)，該複雜的視圖合成演算法需要非常大的圖框緩衝器、浮點邏輯單元及若干記憶體傳送。因此，子取樣解決方案需要大量的顯示器裝置計算資源，Bhaskaran, V.的「65.1: invited Paper:Image/Video Compression – A Display Centric Viewpoint」，SID Symposium Digest of Technical Papers ，第39卷，第1號，2008年。 已為立體視訊顯示器專門開發一些壓縮方法。例如，用於左視圖及右視圖之圖框相容編碼方法描述於Vetro, A.、Wiegand, T.、Sullivan, G.J.的「Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard」，Proceedings of the IEEE ，第99卷，第4號，第626頁至第642頁，2011年4月。此等方法藉由經由在時間或空間上(水平地或垂直地)將兩個連續圖框捆綁成一個新的圖框來對視訊進行降低取樣而編碼3D立體視訊。圖框封裝之實例包含其中兩個圖框經水平地降低取樣且彼此相鄰配置之並排圖框封裝及其中兩個圖框經垂直地降低取樣且配置於彼此上下之上下圖框封裝。藉由將兩個圖框捆綁成一個，比率減小一半。此方法之另一優點在於解碼方法係可直接在立體顯示器處實施之一極簡單的視圖重建。然而，此等編碼方法始終執行相同的資料子取樣，而無關於影像內容，此導致次佳的影像品質。 用於光場壓縮之一更複雜方法描述於Graziosi, D. B.、Alpaslan, Z. Y.及El-Ghoroury, H. S.的「Compression for full-parallax light field displays」，Proceedings of SPIE-IS&T Electronic Imaging，9011，(2014年)；Graziosi, D. B.、Alpaslan, Z. Y.及El-Ghoroury, H. S.的「Depth assisted compression of full parallax light fields」，Proceedings of SPIE-IS&T Electronic Imaging，9011，(2015年)；及Graziosi等人的「Methods For Full Parallax Compressed Light Field 3D Imaging Systems」，美國專利申請公開案第2015/0201176 A1號。先前技術壓縮方法在其中分析整個光場場景之組成並自與光場相關聯之全部全像元素中選擇一全像元素子集用於傳輸至光場顯示器，其中自所接收全像元素產生經抑制全像元素。為了達成甚至較高的壓縮比率，先前技術壓縮方法採用變換及熵編碼。Graziosi, D. B.、Alpaslan, Z. Y.及El-Ghoroury, H. S.的「Compression for full-parallax light field displays」，Proceedings of SPIE-IS&T Electronic Imaging，9011，(2014年)；Graziosi, D. B.、Alpaslan, Z. Y.及El-Ghoroury, H. S.的「Depth assisted compression of full parallax light fields」，Proceedings of SPIE-IS&T Electronic Imaging，9011，(2015年)；及Graziosi等人的「Methods For Full Parallax Compressed Light Field 3D Imaging Systems」，美國專利申請公開案第2015/0201176 A1號將獲益於一增強型壓縮方法，該方法藉由進行場景之分段分析及省略變換及熵編碼步驟而減少所需解碼處理。解碼時間及處理之減少將有益地導致一較小記憶體覆蓋區及縮短的延時，此對於使用通常可得的記憶體及處理器之顯示器介面係理想的。 如在先前技術中已知，存在需要使用多個介面來接收源影像資料之極高解析度顯示器。藉由拼貼多個小像素節距裝置而形成之一高解析度光場顯示器(美國專利案第7,623,560號、第7,767,479號、第7,829,902號、第8,049,231號、第8,243,770號及第8,567,960號)描述於Alpaslan, Z. Y.、El-Ghoroury, H. S.的「Small form factor full parallax tiled light field display」，SPIE Conference on Stereoscopic Displays and Applications XXVI，2015年。其中所描述之光場顯示器併入多個輸入界面以補償通常所使用之個別顯示器介面之頻寬限制。高頻寬介面之缺少刺激壓縮演算法之後續開發。在圖1之先前技術中，應用程式處理器101處理並格式化光場(全像元素)資料111用於傳送至光場顯示器102。影像產生103數位化由一或多個光場攝影機獲取之光場(全像元素)資料111且亦演現所需之任何電腦產生場景。編碼器104將輸入影像壓縮至與資料傳輸(TX) TX介面105之頻寬限制配合之一大小用於有線或無線傳輸。應用程式處理器101與光場顯示器102之間之鏈路106展示識別所需鏈路頻寬之數B。在光場顯示器102處，將由RX介面107接收(RX)之經壓縮資料傳送至解碼器108用於重建經壓縮小光束。接著藉由顯示光子設備109調變經重建光場影像。 視訊電子標準協會(VESA)顯示器串流壓縮(DSC)演算法為用來壓縮待發送至高解析度顯示器之原始視訊資料之一經提議標準。VESA DSC編碼器在視覺上準確可靠，即，由壓縮引入之假影難以被觀看者感知。VESA DSC演算法利用與極簡單的熵編碼方法混合之複雜的預測技術且在考慮顯示器介面的情況下設計，因此，VESA DSC演算法在逐行的基礎上執行其之全部處理且具有一極精確的速率控制程序以將位元速率維持低於通用顯示器介面之受限頻寬。然而，VESA DSC演算法並未利用在通用視訊壓縮方法中所使用之區塊編碼結構方法且並未利用存在於光場中之高度相關的影像結構，該兩者可提供顯著的壓縮增益。 在其中當光線傳播時射線之強度並未明顯改變之應用中，光場可使用兩個平行平面或等效地四個變量而參數化(Levoy, M.及Hanrahan, P.的「Light Field Rendering」，Proceedings of the 23rd annual conference on Computer Graphics and Iteractive Techniques ，SIGGRAPH 96)。此參數化用於Levoy, M.及Hanrahan, P.的「Light Field Rendering」，Proceedings of the 23rd annual conference on Computer Graphics and Iteractive Techniques ，SIGGRAPH 96以捕獲一光場並藉由利用光線內插而重建光場之新穎視點。為了獲得具有高品質及理想結果之經重建視圖，需要變量的過取樣。此對捕獲及傳輸程序強加一高需求，該捕獲及傳輸程序接著必須產生並傳輸大量的資料。壓縮方法(諸如VESA DSC)之使用可減少傳輸介面之資料需求。然而，此程序仍基於預測及熵編碼，此增加顯示器驅動器處之計算資源。此外，程序並未利用具有全像元素之間之高相關度之光場影像之結構。 前述先前技術未能適應如一全視差光場顯示器之實際實施方案所需之高品質、低計算負載高解析度光場傳輸方法。需要的係利用全像元素之間之相關性且避免與先前技術壓縮方法相關聯之計算負載及延時之一壓縮方法。
相關申請案之交叉參考 本申請案主張2015年11月16日申請之美國臨時專利申請案第62/255,744號之權利。 一「光場」係完全描述在每一方向上流動遍及空間中之每一點之光量之一向量函數，包含其之方向、振幅、頻率及相位。特定言之，自由3D物件組成之一場景發射之光線之集合被視為一光場。藉由發射具有經調變色彩、強度及方向之光，光場顯示器能夠重現場景之一光場用於顯示3D物件，而不需要眼鏡及減少視覺輻輳-調節衝突(VAC)。 為了重現3D影像，光場顯示器併入充足數目個像素，其中各像素在一獨有方向上產生調變光場之一視圖之色彩及強度之一準直光束，其被指定為及稱為一「小光束」。一全像元素(holographic element或「hogel」)由可由顯示器重現之指向全部觀看方向之相鄰小光束之群組組成。在一全像元素中，藉由調變指派至一全像元素之一群組的像素而產生小光束。三種類型的調變為：藉由混合原色而調變色彩；藉由調整像素之驅動時間或驅動電流而調變強度；及基於像素位置調變方向。通常，顯示器具有三種原色(紅、綠及藍)，但一些顯示器可具有三種以上或三種以下原色。對於包含色彩之一光場，各全像元素可被視為多個全像元素，該多個全像元素之各者用於光場中之一特定色彩或原色。 本發明揭示達成與恆定位元速率編碼相關之直觀壓縮增益之內容感知型光場編碼方法。具體言之，本發明利用光場場景之內容來以達成一固定壓縮比率之此一方式對光場資訊之分段整數倍降低取樣作出動態決定。本文中之此固定比率壓縮方法提供具有最小延時之簡單編碼及解碼以容許使用如通常可得之介面及處理器。壓縮方法亦可併入至獲取程序中，使得經抑制資料並未儲存於記憶體中及併入至演現程序中，使得經抑制資料並未演現。壓縮方法可併入獲取及演現兩者中，或其可併入其等之任一者中。當併入兩者中時，壓縮量可增大。因此，極大地減少記憶體及演現處理需求。 所揭示之光場壓縮方法藉由使利用通用介面傳輸各種光場成像系統之高解析度、全視差光場變得可行而擴展先前技術光場裝置及方法之能力。自參考隨附圖式進行之本發明之一較佳實施例之以下詳細描述，將明白本發明之額外目的及優點。 本發明可容易應用於已以不同方式獲取之光場。例如，可藉由利用其中攝影機配置成一規則網格之一2D攝影機陣列而獲取一光場。可藉由將一微透鏡陣列放置於影像感測器前方而模擬此形式的攝影機陣列配置，如在參考文獻[32]中所描述或在商用光場攝影機中所實施。此一陣列中之攝影機可配置於垂直於觀看方向之一平面中(僅有水平及垂直位移)或以一非規則配置放置，諸如由名為Light的一公司提議之L16攝影機。可使用非規則攝影機配置，但此導致一更複雜的視圖投影。一規則網格之優點在於來自全像元素之小光束僅藉由水平或垂直偏移而彼此相關，此減少全像元素重建之相關處理器負載。 為顯示一光場，相關聯的顯示器設備常利用像素網格之頂部上之一微透鏡來進行光線之方向調變。一微透鏡陣列優先將像素網格劃分成對應於規則配置之相同全像元素之規則正方形區域。若輸入信號並非由具有與顯示器的微透鏡陣列相同的光學性質之一攝影機陣列獲取，則需要一光場資料重新格式化。 本發明組合內容自適應編碼及基於場景分析的光場子取樣方法。無關於場景內容，所得降低取樣光場達成一固定壓縮比率。在本發明之所描述實施例中，藉由重新配置光場，使得相鄰對的全像元素經壓縮至一單一全像元素之大小而達成一固定的2:1壓縮。類似地，藉由將2x2全像元素、4x1全像元素或1x4全像元素組合成一單一全像元素之大小，藉由此處演現之方法之自然擴展而達成一固定的4:1壓縮。預期全像元素之更高組合落於本發明之範疇內，導致相稱地更高的壓縮比率。為清楚起見，圖2至圖10係僅針對例示性2:1壓縮之本發明之繪示且除如在本描述之結尾處陳述之外並未描述本發明支援及實現之更高壓縮，明確預期該等更高壓縮比率在本發明之範疇內。 簡單的圖框相容編碼與本發明之方法之間之區別在於，圖框相容編碼僅使用像素子取樣，而本發明之方法包含在三種不同子取樣方法間根據光場之內容在逐圖框的基礎上的動態決定。因此，本發明提供動態適應內容之壓縮，同時維持一固定壓縮比率及一簡單解碼方法。 圖2展示針對例示性2:1壓縮之本發明之編碼器104之結構。編碼器104採用三種不同的壓縮方法：指定的小光束抑制201、偶數全像元素抑制202及奇數全像元素抑制203。壓縮選擇器204使用其等相關聯的保真度度量之最小值來選擇將何資料傳送至TX介面105。在光場顯示器102處，藉由內容自適應解碼器205處理由RX介面107接收之資料用於重建經抑制小光束。經重建小光束連同經傳輸小光束一起產生用於顯示光子設備109之高解析度光場影像。對於2:1壓縮之實例，壓縮方法將所需鏈路106頻寬B減小一半，即減小至B/2。當實施更高壓縮比率時，相稱地減小頻寬B，例如，N:1的壓縮將頻寬減小至B/N。 圖3係繪示小光束抑制201之一方塊圖。影像產生103將輸入轉換成相鄰全像元素對且將此等全像元素保存至兩個資料緩衝器中。假設攝影機將像素網格劃分成規則的正方形區域(但此並非本發明之一限制)，光場圖框中之每一對相鄰全像元素可特性化為一個奇數全像元素310及一個偶數全像元素320，類似於一棋盤佈局圖案。小光束壓縮方法較佳將光場圖框全像元素處理成經受各全像元素為唯一一對之一成員(即，僅包含一次)之約束之相鄰全像元素對。類似地，每一光場圖框全像元素中之每對相鄰小光束可以類似於全像元素配置之棋盤佈局圖案之一方式特性為，一者為一奇數小光束且另一者為一偶數小光束。各全像元素對之小光束分類301至四個資料緩衝器中，即奇數全像元素之全部奇數小光束311、奇數全像元素之全部偶數小光束312、偶數全像元素之全部偶數小光束322及偶數全像元素之全部奇數小光束321。奇數全像元素之奇數小光束311及偶數全像元素之奇數小光束321兩者經選擇而傳輸至光場顯示器102且一起封裝302至資料緩衝器330中。(奇數小光束之選取係任意的；偶數小光束可取而代之由一使用者選擇。)保真度度量SADANGLET 325係(1)奇數全像元素奇數小光束311與對應的奇數全像元素偶數小光束312之強度之絕對差及(2)偶數全像元素偶數小光束322與對應的偶數全像元素奇數小光束321之強度之絕對差之總和。注意，除一棋盤圖案之外之小光束佈局圖案可應用於本發明之內容脈絡內。例如，全部偶數小光束及全部奇數小光束可排列成交替行或交替列，此可導致編碼器/解碼器處理負載的一些減少。類似地，可使用一六邊形圖案而非一棋盤圖案。 圖4係分別繪示偶數全像元素抑制202及奇數全像元素抑制203之一方塊圖。類似於小光束抑制201，影像產生103將輸入轉換成相鄰全像元素對且將全像元素保存至兩個資料緩衝器(奇數全像元素310及偶數全像元素320)中。對於一對相鄰全像元素之各全像元素，其之各自小光束資料可移位至新位置，使得自具有經移位小光束之原始全像元素形成之全像元素足夠類似於該對之相對全像元素以作為其之一替代。因此，將一對相鄰全像元素之各全像元素之小光束放置於原始全像元素小光束411及421及原始全像元素經移位小光束412及422之單獨資料緩衝器中。用於此兩種壓縮方法之保真度度量SADODD HOGEL 415及SADEVEN HOGEL 425係原始全像元素之小光束與該對之相對全像元素之對應經移位小光束之強度之絕對差之總和。可藉由變動位移量直至此壓縮方法之保真度度量達到一最小值而估計401位移量(指定為像差)。此可藉由應用一像差估計演算法(諸如立體匹配)或藉由用一滑動窗類型運算最小化上文定義之SAD保真度度量而完成。具有全解析度之原始全像元素連同其之估計的像差值一起封裝402於資料緩衝器430及440中。在本發明之一實施例中，估計的像差值係針對整個全像元素有效之一獨有值。此對於解碼程序係有利的，此係因為其簡化全像元素重建程序。然而，本發明亦可應用至全像元素影像之片段，且像差值可經判定為小光束之一區塊或甚至一單一小光束。由選定的全像元素接收之更大像差值可用來重新定義所接收像差值，且執行局部像差估計。因此，由選定的全像元素所接收之更大像差值可產生更佳重建品質，但需要更高鏈路頻寬106用於傳送至光場顯示器。 如圖5中所示，壓縮選擇器控制501藉由選擇325、415及425之最小保真度度量而在經壓縮資料緩衝器330、430及440間決定且因此調整壓縮選擇器開關502以將選定的經壓縮資料緩衝器傳送至TX介面105。若SADANGLET 係最小保真度度量，則將壓縮模式設定為ModeANGLET 且傳輸奇數及偶數全像元素之奇數小光束及壓縮模式。若SADODD HOGEL 係最小保真度度量，則將壓縮模式設定為ModeODD HOGEL 且傳輸奇數全像元素之像差、奇數全像元素之小光束及壓縮模式。若SADEVEN HOGEL 係最小保真度度量，則將壓縮模式設定為ModeEVEN HOGEL 且傳輸偶數全像元素之像差、偶數全像元素之小光束及壓縮模式。 圖6展示內容自適應解碼器205之細節。首先解封裝601所接收資料，其中自經壓縮資料擷取壓縮模式及像差值。在605及606中檢查壓縮模式以指示是否在經抑制小光束之重建中複製奇數小光束602或產生經移位奇數全像元素小光束603或產生經移位偶數全像元素小光束604。重複此程序直至完全重建607輸入圖框。歸因於解碼簡單性，本發明中所揭示之方法尤其適合於低延時、計算受約束的光場顯示器。更複雜的小光束內插方案(諸如，雙三次內插)及更複雜的全像元素重建方案(諸如利用每一小光束像差值之方案)亦在本發明之範疇內。內插之更複雜方法將在壓縮量增大至大於2:1時更有用，此係因為此等方法將實現經解碼光場資料之更準確可靠的重建。 圖7繪示由全像元素重建產生之影像。圖7(a)展示由原始全像元素的小光束產生之一影像。圖7(b)展示由原始全像元素的小光束產生之影像且由經移位達像差量至一新位置之原始全像元素的小光束產生之影像。在移位之後，一些小光束落於經移位全像元素位置之邊界外，而其他小光束位置未填充。圖7(c)展示在用以消除該等落於全像元素邊界外之小光束之一邊界裁剪操作之後產生的影像。圖7(d)展示在未填充之小光束位置(指定為孔)已填充之後產生的影像。填充方法為複製最靠近孔位置之小光束之強度值，其僅係可在本發明之方法之內容脈絡內使用之可用來填充孔之若干不同方法之一者。 在美國專利申請公開案第2015/0201176 A1號中，引入經壓縮演現之概念，其中將壓縮應用於演現程序中以抑制可在來源處消除及簡單不產生或演現之資料。在本發明之一實施例中，演現器抑制光場資料，使得僅演現總光場資料之一半，其中相稱地減少處理負載。當光場資料未完全演現時，吾等可藉由首先選擇哪些全像元素應被演現及在此等全像元素演現之後或在此等全像元素演現時將壓縮應用至此等全像元素(可組合演現及壓縮操作)而達成額外資料壓縮、計算及功率節省。圖8展示經壓縮演現801程序之細節。基於由光場資料111指示之一場景之物件，可見度測試803在三種不同的演現模式(指定的小光束演現804、奇數全像元素演現805或偶數全像元素演現806)之間選取。選擇器開關802使用演現模式來實現自小光束演現804、奇數全像元素演現805或偶數全像元素演現806間選擇的光場演現。在小光束演現804之情況中，演現全像元素兩者，而僅保持奇數小光束，而在奇數全像元素演現805或偶數全像元素演現806之情況中，僅演現一對之一個全像元素。此外，可見度測試從物件所在位置計算像差值。演現模式、像差值及經演現光場資料小光束接著一起封裝808且傳輸至TX介面105以用內容自適應解碼器205解碼。 圖9繪示可見度測試中之演現模式選擇程序之一實例。在圖9中，將各全像元素表示為一微透鏡陣列之一單一透鏡，且自全像元素發射之小光束共同判定全像元素的視野(FOV) 904。取決於全像元素的FOV及物件在場景中之位置，可見度測試選擇經減少數目個待演現之全像元素902且抑制其餘全像元素。在本發明之一實施例中，針對各物件，可見度測試建立與顯示器表面對準之一定界框906。選定用於演現之全像元素係一對中大部分小光束擊中定界框之經對準表面之一全像元素。從定界框之深度或從經演現全像元素之最具代表性深度值而計算像差值。 圖10亦繪示可見度測試中之演現模式選擇程序之一實例。如圖10中所繪示，若一物件離光場顯示器太近(諸如具有定界框1002之兔子物件1003)，則擊中全像元素對之全像元素之一者之定界框之經對準表面之小光束之強度可大不同於該對之另一全像元素。在此情況中，小光束壓縮將比全像元素壓縮更有效。因此，兩個全像元素被選定來演現且取而代之利用小光束壓縮1001。 前文揭示內容詳細描述2:1壓縮方法，此方法可在硬體、韌體或軟體中實踐。亦如先前提及，本發明之方法可擴展至更高壓縮比率。藉由實例，為了將方法擴展至4:1壓縮，吾等可簡單將所描述方法應用至兩對相鄰全像元素(通常但未必以一2x2全像元素圖案)，且接著選擇2x2全像元素圖案之具有最佳保真度度量之全像元素。因此在圖6中，針對此實施例，選擇將為5選1而非所示之3選1。此5種模式將係小光束模式(其中，對4個小光束中之3個進行整數倍降低取樣)、全像元素-1模式、全像元素-2模式、全像元素-3模式或全像元素-4模式。類似地，雖然所揭示之實施例在圖2之壓縮處理器210中採用不同的壓縮方法，但可使用更少或更多數目個壓縮方法，儘管所用之壓縮方法之所得保真度度量應為一相當規模，使得保真度度量之比較在選擇哪些資料以傳送至TX介面時係有意義的。視需要，亦可針對4:1壓縮及更高壓縮使用其他或更複雜的方法。 熟習此項技術者將容易瞭解，各種修改及改變可應用至本發明之實施例，而不脫離其定義於隨附申請專利範圍中或由申請專利範圍定義之範疇。應瞭解，本發明之前文實例僅係闡釋性的，且本發明可體現於其他特定形式中，而不脫離其之精神或本質特性。
101‧‧‧應用程式處理器
102‧‧‧光場顯示器
103‧‧‧影像產生
104‧‧‧編碼器
105‧‧‧資料傳輸(TX)介面
106‧‧‧鏈路/鏈路頻寬
107‧‧‧RX介面
108‧‧‧解碼器
109‧‧‧顯示光子設備
111‧‧‧光場資料
201‧‧‧小光束抑制
202‧‧‧偶數全像元素抑制
203‧‧‧奇數全像元素抑制
204‧‧‧壓縮選擇器
205‧‧‧內容自適應解碼器
210‧‧‧壓縮處理器
301‧‧‧小光束分類
302‧‧‧封裝
310‧‧‧奇數全像元素
311‧‧‧奇數全像元素奇數小光束
312‧‧‧奇數全像元素偶數小光束
320‧‧‧偶數全像元素
321‧‧‧偶數全像元素奇數小光束
322‧‧‧偶數全像元素偶數小光束
325‧‧‧保真度度量SADANGLET
330‧‧‧資料緩衝器
401‧‧‧估計
402‧‧‧封裝
411‧‧‧原始全像元素小光束
412‧‧‧原始全像元素經移位小光束
415‧‧‧保真度度量SADODD HOGEL
421‧‧‧原始全像元素小光束
422‧‧‧原始全像元素經移位小光束
425‧‧‧保真度度量SADEVEN HOGEL
430‧‧‧資料緩衝器
440‧‧‧資料緩衝器
501‧‧‧壓縮選擇器控制
502‧‧‧壓縮選擇器開關
601‧‧‧解封裝
602‧‧‧複製奇數小光束
603‧‧‧產生經移位奇數全像元素小光束
604‧‧‧產生經移位偶數全像元素小光束
605‧‧‧檢查壓縮模式
606‧‧‧檢查壓縮模式
607‧‧‧完全重建輸入圖框
801‧‧‧經壓縮演現
802‧‧‧選擇器開關
803‧‧‧可見度測試
804‧‧‧小光束演現
805‧‧‧奇數全像元素演現
806‧‧‧偶數全像元素演現
808‧‧‧封裝
902‧‧‧待演現之全像元素
904‧‧‧視野(FOV)
906‧‧‧定界框
1001‧‧‧小光束壓縮
1002‧‧‧定界框
1003‧‧‧兔子物件
在以下描述中，即使在不同圖式中，相似圖式參考符號用於相似元件。描述中定義之事項(諸如詳細構造及元件)經提供以協助例示性實施例之一全面理解。然而，本發明可在無該等特定定義之內容之情況下實踐。又，眾所周知的功能或構造並未詳細描述，此係因為其等將因不必要的細節而使本發明難懂。為了理解本發明且看其可如何在實踐中執行，現將參考隨附圖式僅藉由非限制性實例方式而描述本發明之幾項實施例，在圖式中： 圖1展示用於高解析度顯示器之光場壓縮之一先前技術通用方塊圖。 圖2繪示本發明之一實施例之一方塊圖且演現關於所揭示之用於高解析度光場顯示器互連之壓縮方法之細節。 圖3繪示本發明之小光束抑制方法之一實施例。 圖4繪示本發明之奇數及偶數全像元素抑制之一實施例。 圖5繪示本發明之壓縮選擇方法。 圖6繪示本發明之內容自適應解壓縮之一實施例。 圖7繪示全像元素重建之一實例。 圖8繪示本發明之經壓縮演現方法之方塊圖。 圖9繪示本發明之一可見度測試方法之一結果。 圖10繪示自本發明之可見度測試方法獲得之全像元素之一選擇之另一實例。
102‧‧‧光場顯示器
103‧‧‧影像產生
105‧‧‧資料傳輸(TX)介面
106‧‧‧鏈路/鏈路頻寬
107‧‧‧RX介面
109‧‧‧顯示光子設備
111‧‧‧光場資料
201‧‧‧小光束抑制
202‧‧‧偶數全像元素抑制
203‧‧‧奇數全像元素抑制
204‧‧‧壓縮選擇器
205‧‧‧內容自適應解碼器
210‧‧‧壓縮處理器

Claims (20)

  1. 一種用於壓縮高解析度光場全像元素資料以藉由有線或無線傳輸系統在一受限頻寬中傳輸該經壓縮高解析度光場全像元素資料之方法，該方法包括： 建立複數個壓縮方法，各壓縮方法具有指示該各自壓縮方法將提供之一光場重建品質之一光場全像元素資料相依度量； 針對各壓縮方法判定待壓縮之該高解析度光場全像元素資料之該光場全像元素資料相依度量之一值； 選擇產生指示一最有利光場重建品質之該光場全像元素資料相依度量之該壓縮方法； 根據該選定的壓縮方法壓縮該高解析度光場全像元素資料；及 將一壓縮模式及像差值與該經壓縮高解析度光場全像元素資料一起封裝，該壓縮模式指示該選定的壓縮方法。
  2. 如請求項1之方法，其中該等壓縮方法將一對相鄰全像元素壓縮成一單一全像元素。
  3. 如請求項1之方法，其中該等壓縮方法將一對以上相鄰全像元素壓縮成一單一全像元素。
  4. 如請求項3之方法，其中該高解析度光場全像元素資料包括全像元素小光束資料，且其中在根據該選定的壓縮方法壓縮該高解析度光場全像元素資料時使用雙三次小光束內插。
  5. 如請求項1之方法，其中該高解析度光場全像元素資料包括多色高解析度光場全像元素資料，且其中該高解析度光場全像元素資料係針對該多色高解析度光場全像元素資料中之各色彩或原色之高解析度光場全像元素資料，且其中用於壓縮該高解析度光場全像元素資料之該方法在逐個彩色全像元素的基礎上進行。
  6. 如請求項5之方法，其中該等壓縮模式之一者ModeANGLET 係壓縮相同色彩之相鄰彩色全像元素之對應小光束之一方法。
  7. 如請求項6之方法，其中一個彩色全像元素之一對相鄰小光束及該相同色彩的一相鄰彩色全像元素之一對對應小光束藉由將該對相鄰彩色全像元素之一第一者之一個彩色小光束與該對相鄰彩色全像元素之一第二者之該對應彩色小光束一起封裝成該經壓縮高解析度光場全像元素資料而壓縮。
  8. 如請求項7之方法，其中藉由以下方式計算用於該壓縮模式ModeANGLET 之該高解析度光場全像元素資料相依度量： 針對各彩色全像元素 a)分離奇數及偶數全像元素，該等奇數及偶數全像元素係相鄰全像元素； b)針對該等奇數及偶數全像元素之各者中之奇數及偶數小光束，該等奇數及偶數小光束係該各自全像元素中之相鄰小光束且各小光束具有一強度； 1)判定該奇數全像元素之該偶數小光束之強度與該奇數全像元素之該奇數小光束之該強度之絕對差； 2)判定該偶數全像元素之該偶數小光束之強度與該偶數全像元素之該奇數小光束之該強度之該絕對差；及 3)加總1)及2)之該等絕對差。
  9. 如請求項8之方法： 其中該等壓縮模式之一第二者及第三者係壓縮該相同色彩的相鄰彩色全像元素之方法； 其中藉由以下方式計算針對壓縮該相同色彩之相鄰彩色全像元素之該等方法之該高解析度光場全像元素資料相依度量： 針對各彩色全像元素 a)分離奇數及偶數全像元素，該等奇數及偶數全像元素係相鄰全像元素； b)針對該等奇數及偶數全像元素之各者中之奇數及偶數小光束，該等奇數及偶數小光束係該各自全像元素中之對應相鄰小光束且各小光束具有一強度； 1)判定如移位之該等偶數全像元素小光束之強度與如移位之該等奇數全像元素小光束之該強度之該絕對差作為用於壓縮相鄰彩色全像元素之該壓縮模式ModeODD HOGEL 之該高解析度光場全像元素資料相依度量SADODD HOGEL ；及 2)判定如移位之該等奇數全像元素小光束之強度與如移位之該等偶數全像元素小光束之該強度之該絕對差作為用於壓縮相鄰彩色全像元素之該壓縮模式ModeEVEN HOGEL 之該經壓縮高解析度光場全像元素資料相依度量SADEVEN HOGEL ； 3)如移位之該等偶數全像元素小光束及如移位之該等奇數全像元素小光束之該位移或該等位移各自藉由變動該位移量或該等位移量直至該各自壓縮模式之該各自高解析度光場全像元素資料相依度量達到一最小值而估計； 其中針對稱為SADODD HOGEL 之具有該高解析度光場全像元素資料相依度量之該壓縮模式，該封裝係該模式ModeODD HOGEL 、等於該奇數全像元素之該等小光束之該位移或該等位移之該像差或該等像差及該奇數全像元素之該等小光束之該強度之一封裝，且針對稱為SADEVEN HOGEL 之該高解析度光場全像元素資料相依度量，該封裝係該模式ModeEVEN HOGEL 、等於該奇數全像元素之該等小光束之該位移或該等位移之該像差或該等像差及該偶數全像元素之該等小光束之強度之一封裝； 該方法進一步包括藉由以下方式解碼該經壓縮高解析度光場全像元素資料： i)解封裝該經封裝壓縮模式、一或多個像差值及經壓縮高解析度光場全像元素資料； ii)當該經解封裝壓縮模式係ModeANGLET 時，複製奇數小光束； iii)當該經解封裝壓縮模式係ModeEVEN HOGEL 時，產生經移位偶數全像元素小光束； iv)當該經解封裝壓縮模式係ModeODD HOGEL 時，產生經移位奇數全像元素小光束；及 重複ii)至iv)直至一各自圖框完成。
  10. 如請求項5之方法，其中該等壓縮模式之兩者係壓縮該相同色彩之相鄰彩色全像元素之方法。
  11. 如請求項10之方法，其中藉由以下方式計算壓縮該相同色彩之相鄰彩色全像元素之該等方法之該高解析度光場全像元素資料相依度量： 針對各彩色全像元素 a)分離奇數及偶數全像元素，該等奇數及偶數全像元素係相鄰全像元素； b)針對該等奇數及偶數全像元素之各者中之奇數及偶數小光束，該等奇數及偶數小光束係該各自全像元素中之相鄰小光束且各小光束具有一強度； 1)判定如移位之該等偶數全像元素小光束之強度與如移位之該等奇數全像元素小光束之該強度之該絕對差作為用於壓縮相鄰彩色全像元素之該壓縮模式ModeODD HOGEL 之該高解析度光場全像元素資料相依度量SADODD HOGEL ；及 2)判定如移位之該等奇數全像元素小光束之強度與如移位之該等偶數全像元素小光束之該強度之該絕對差作為用於壓縮相鄰彩色全像元素之該壓縮模式ModeEVEN HOGEL 之該經壓縮高解析度光場全像元素資料相依度量SADEVEN HOGEL ； 3)如移位之該等偶數全像元素小光束及如移位之該等奇數全像元素小光束之該位移或該等位移各自藉由變動該位移量或該等位移量直至該各自壓縮模式之該各自高解析度光場全像元素資料相依度量達到一最小值而估計。
  12. 如請求項11之方法，其中針對稱為SADODD HOGEL 之具有該高解析度光場全像元素資料相依度量之該壓縮模式，該封裝係該模式ModeODD HOGEL 、等於該奇數全像元素之該小光束之該位移或該等位移之該像差或該等像差及該奇數全像元素之該小光束之該強度之一封裝，且針對稱為SADEVEN HOGEL 之該高解析度光場全像元素資料相依度量，該封裝係該模式ModeEVEN HOGEL 、等於該奇數全像元素之該等小光束之該位移或該等位移之該像差或該等像差及該偶數全像元素之該等小光束之強度之一封裝。
  13. 如請求項1之方法，其中該方法應用至一全像元素之片段。
  14. 如請求項1之方法，其中一固定像差值應用至小光束之一區塊。
  15. 如請求項1之方法，其進一步包括藉由以下方式解碼及重建經壓縮高解析度光場全像元素資料之一圖框： a)解封裝該經封裝壓縮模式、像差值及經壓縮高解析度光場全像元素資料以擷取該經封裝壓縮模式、該等像差值及該經壓縮高解析度光場全像元素資料； b)使用該壓縮模式自複數個重建方法選擇一重建方法而自該經壓縮高解析度光場全像元素資料重建該高解析度光場全像元素資料，各重建方法對應於該複數個壓縮方法之一各自者。
  16. 如請求項15之方法，其中該高解析度光場全像元素資料係小光束資料，且其中自該經壓縮高解析度光場全像元素資料之該高解析度光場全像元素資料之該重建使用每一小光束像差值。
  17. 如請求項1之方法，其進一步包括： 使用一可見度測試選擇待壓縮之全像元素及待用於重建之像差值； 使用如請求項1之壓縮方法壓縮該等選定的全像元素； 將該壓縮模式及像差值與該經壓縮高解析度光場全像元素資料一起封裝以供進一步傳輸。
  18. 如請求項17之方法，其進一步包括擷取該場景中之物件之一定界框。
  19. 如請求項18之方法，其中選定的一全像元素係一對全像元素中大部分小光束擊中該定界框之一經對準表面之一全像元素。
  20. 如請求項18之方法，其進一步包括從該定界框之深度或從該經壓縮全像元素之最具代表性深度值計算該等像差值。
TW105137535A 2015-11-16 2016-11-16 內容自適應光場壓縮 TWI746482B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562255744P 2015-11-16 2015-11-16
US62/255,744 2015-11-16
US15/352,226 US10448030B2 (en) 2015-11-16 2016-11-15 Content adaptive light field compression
US15/352,226 2016-11-15

Publications (2)

Publication Number Publication Date
TW201729590A true TW201729590A (zh) 2017-08-16
TWI746482B TWI746482B (zh) 2021-11-21

Family

ID=58691642

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105137535A TWI746482B (zh) 2015-11-16 2016-11-16 內容自適應光場壓縮

Country Status (7)

Country Link
US (2) US10448030B2 (zh)
EP (1) EP3378228A4 (zh)
JP (1) JP7025327B2 (zh)
KR (1) KR20180084904A (zh)
CN (1) CN108476323B (zh)
TW (1) TWI746482B (zh)
WO (1) WO2017087573A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3286916A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods and apparatus for full parallax light field display systems
US10448030B2 (en) * 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US11051039B2 (en) 2017-06-02 2021-06-29 Ostendo Technologies, Inc. Methods for full parallax light field compression
US10432944B2 (en) * 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
EP3471271A1 (en) * 2017-10-16 2019-04-17 Acoustical Beauty Improved convolutions of digital signals using a bit requirement optimization of a target digital signal
US10931956B2 (en) * 2018-04-12 2021-02-23 Ostendo Technologies, Inc. Methods for MR-DIBR disparity map merging and disparity threshold determination
US11172222B2 (en) 2018-06-26 2021-11-09 Ostendo Technologies, Inc. Random access in encoded full parallax light field images
US11363249B2 (en) 2019-02-22 2022-06-14 Avalon Holographics Inc. Layered scene decomposition CODEC with transparency
US11430175B2 (en) 2019-08-30 2022-08-30 Shopify Inc. Virtual object areas using light fields
US11029755B2 (en) 2019-08-30 2021-06-08 Shopify Inc. Using prediction information with light fields
CN110602499B (zh) * 2019-10-12 2021-11-26 深圳普罗米修斯视觉技术有限公司 动态全息影像编码方法、装置及存储介质
CN112184842B (zh) * 2020-10-07 2024-01-05 北京工业大学 一种光场图像压缩方法
TWI799828B (zh) * 2021-03-31 2023-04-21 中強光電股份有限公司 影像處理裝置、影像處理方法以及3d影像產生系統

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3080777B2 (ja) * 1992-06-03 2000-08-28 日本電信電話株式会社 投写型立体表示装置
JP3081377B2 (ja) * 1992-07-30 2000-08-28 知彦 服部 立体テレビ電話装置
US5613048A (en) 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US6252989B1 (en) 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6091767A (en) 1997-02-03 2000-07-18 Westerman; Larry Alan System for improving efficiency of video encoders
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6366370B1 (en) 1998-12-30 2002-04-02 Zebra Imaging, Inc. Rendering methods for full parallax autostereoscopic displays
US6549308B1 (en) * 2000-01-11 2003-04-15 Zebra Imaging, Inc. Unibiased light field models for rendering and holography
US6738533B1 (en) 2000-03-29 2004-05-18 Microsoft Corporation Minimum sampling rate and minimum sampling curve for image-based rendering
US20050018911A1 (en) 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US7468745B2 (en) 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
WO2006116134A2 (en) 2005-04-21 2006-11-02 William Marsh Rice University Method and apparatus for compressive imaging device
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US7364306B2 (en) 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
US7653248B1 (en) 2005-11-07 2010-01-26 Science Applications International Corporation Compression for holographic data and imagery
US9843790B2 (en) * 2006-03-15 2017-12-12 Fovi 3D, Inc. Dynamic autostereoscopic displays
US8044994B2 (en) 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
US7609906B2 (en) 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
US8594180B2 (en) 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
DE102007023739B4 (de) * 2007-05-16 2018-01-04 Seereal Technologies S.A. Verfahren zum Rendern und Generieren von Farbvideohologrammen in Echtzeit und holographische Wiedergabeeinrichtung
EP2163099A2 (en) 2007-05-30 2010-03-17 Nxp B.V. Method of determining an image distribution for a light field data structure
US7623560B2 (en) 2007-09-27 2009-11-24 Ostendo Technologies, Inc. Quantum photonic imagers and methods of fabrication thereof
US8155456B2 (en) 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
US8970646B2 (en) 2008-07-09 2015-03-03 Ostendo Technologies, Inc. Image construction based video display system
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
CN102239506B (zh) 2008-10-02 2014-07-09 弗兰霍菲尔运输应用研究公司 中间视合成和多视点数据信号的提取
US8098265B2 (en) 2008-10-10 2012-01-17 Ostendo Technologies, Inc. Hierarchical multicolor primaries temporal multiplexing system
US8605081B2 (en) 2008-10-26 2013-12-10 Zebra Imaging, Inc. Converting 3D data to hogel data
US8913657B2 (en) 2008-10-27 2014-12-16 Lg Electronics Inc. Virtual view image synthesis method and apparatus
KR101634569B1 (ko) 2009-01-20 2016-06-29 코닌클리케 필립스 엔.브이. 3ｄ 이미지 데이터의 전송
US8315476B1 (en) * 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
US8681185B2 (en) 2009-03-05 2014-03-25 Ostendo Technologies, Inc. Multi-pixel addressing method for video display drivers
US20100231585A1 (en) 2009-03-13 2010-09-16 Zebra Imaging, Inc. Systems and Methods for Processing Graphics Primitives
WO2010108024A1 (en) 2009-03-20 2010-09-23 Digimarc Coporation Improvements to 3d data representation, conveyance, and use
US7978407B1 (en) 2009-06-27 2011-07-12 Holovisions LLC Holovision (TM) 3D imaging with rotating light-emitting members
US8284237B2 (en) 2009-09-09 2012-10-09 Nokia Corporation Rendering multiview content in a 3D video system
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
KR20110064161A (ko) 2009-12-07 2011-06-15 삼성전자주식회사 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US8913004B1 (en) 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US8334889B2 (en) * 2010-03-18 2012-12-18 Tipd, Llc Auto stereoscopic 3D telepresence using integral holography
AU2011234163B2 (en) 2010-03-31 2015-10-29 Interdigital Ce Patent Holdings 3D disparity maps
WO2011129819A1 (en) * 2010-04-13 2011-10-20 Empire Technology Development Llc Combined-model data compression
US8634119B2 (en) * 2010-07-09 2014-01-21 Tipd, Llc System for holography
US8994792B2 (en) 2010-08-27 2015-03-31 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
US9529191B2 (en) 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US9170723B2 (en) 2011-05-04 2015-10-27 Sony Ericsson Mobile Communications Ab Method, graphical user interface, and computer program product for processing of a light field image
US8624719B2 (en) 2011-06-03 2014-01-07 Bosch Automotive Service Solutions Llc Smart phone control and notification for an electric vehicle charging station
US20130050786A1 (en) * 2011-08-29 2013-02-28 Zebra Imaging, Inc. Hogel Display using Optical Beam Oscillators
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
EP2820838B1 (en) 2012-05-09 2020-01-08 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US8581929B1 (en) 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
US9998726B2 (en) * 2012-06-20 2018-06-12 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140092281A1 (en) * 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US9544612B2 (en) 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US9274608B2 (en) 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
US9699433B2 (en) 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US9177393B2 (en) * 2013-02-04 2015-11-03 Qualcomm Incorporated Mixed mode for frame buffer compression
US9497380B1 (en) 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US20140267228A1 (en) 2013-03-14 2014-09-18 Microsoft Corporation Mapping augmented reality experience to various environments
TWI625551B (zh) * 2013-03-15 2018-06-01 傲思丹度科技公司 具有改良之視角深度及解析度之三維光場顯示器及方法
US9392129B2 (en) 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
TWI639151B (zh) * 2013-03-15 2018-10-21 美商傲思丹度科技公司 動態色域顯示系統、方法、及其應用
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP2015008387A (ja) * 2013-06-25 2015-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置
US9993335B2 (en) 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
US9357236B2 (en) 2014-03-13 2016-05-31 Intel Corporation Color compression using a selective color transform
GB2525851B (en) 2014-04-30 2017-03-29 Canon Kk Method and device for encoding a sub-aperture image of a set of sub-aperture images obtained from a plenoptic image
US20160021355A1 (en) 2014-07-15 2016-01-21 Ostendo Technologies, Inc. Preprocessor for Full Parallax Light Field Compression
CN104216128A (zh) 2014-09-01 2014-12-17 北京邮电大学 一种全视差三维光场的显示装置、三维光场显示系统
CN104735351A (zh) * 2015-03-06 2015-06-24 中国科学院计算技术研究所 一种高分辨率光场图片重建方法与成像装置
EP3286916A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods and apparatus for full parallax light field display systems
EP3286737A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods for full parallax compressed light field synthesis utilizing depth information
US10448030B2 (en) * 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof

Also Published As

Publication number Publication date
CN108476323B (zh) 2023-06-30
KR20180084904A (ko) 2018-07-25
US11019347B2 (en) 2021-05-25
TWI746482B (zh) 2021-11-21
US20200036988A1 (en) 2020-01-30
US10448030B2 (en) 2019-10-15
EP3378228A1 (en) 2018-09-26
JP2018538739A (ja) 2018-12-27
WO2017087573A1 (en) 2017-05-26
US20170142427A1 (en) 2017-05-18
CN108476323A (zh) 2018-08-31
EP3378228A4 (en) 2019-06-19
JP7025327B2 (ja) 2022-02-24

Similar Documents

Publication Publication Date Title
US11019347B2 (en) Content adaptive light field compression
US10528004B2 (en) Methods and apparatus for full parallax light field display systems
CN106068645B (zh) 用于全视差压缩光场3d成像系统的方法
US11202086B2 (en) Apparatus, a method and a computer program for volumetric video
Huynh-Thu et al. Video quality assessment: From 2D to 3D—Challenges and future trends
JP7036599B2 (ja) 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法
JP5544361B2 (ja) 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム
US9973779B2 (en) 3D visual dynamic range coding
TW201904279A (zh) 用於全視差光場壓縮之方法
JP2015005978A (ja) ３次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス
Winkler et al. Stereo/multiview picture quality: Overview and recent advances
TW201351961A (zh) 基於閉塞映像之使用而產生及重建一三維視訊串流之方法以及相應之產生及重建裝置
TWI511525B (zh) 用於產生、傳送及接收立體影像之方法，以及其相關裝置
CN103561255A (zh) 一种裸眼立体显示方法
Agooun et al. Acquisition, processing and coding of 3D holoscopic content for immersive video systems
Ruijters et al. IGLANCE: transmission to medical high definition autostereoscopic displays
Bourge et al. MPEG-C part 3: Enabling the introduction of video plus depth contents
WO2023215108A1 (en) Stereoscopic high dynamic range video
US8526714B2 (en) Method and system for reconstructing a stereoscopic image stream from quincunx sampled frames
Doyen et al. Towards a free viewpoint and 3D intensity adjustment on multi-view display

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees