TW201502589A - 具有改良之視角深度及解析度之三維光場顯示器及方法 - Google Patents

具有改良之視角深度及解析度之三維光場顯示器及方法 Download PDF

Info

Publication number
TW201502589A
TW201502589A TW103109831A TW103109831A TW201502589A TW 201502589 A TW201502589 A TW 201502589A TW 103109831 A TW103109831 A TW 103109831A TW 103109831 A TW103109831 A TW 103109831A TW 201502589 A TW201502589 A TW 201502589A
Authority
TW
Taiwan
Prior art keywords
light field
display system
field display
image
imager
Prior art date
Application number
TW103109831A
Other languages
English (en)
Other versions
TWI625551B (zh
Inventor
Zahir Y Alpaslan
Hussein S El-Ghoroury
Original Assignee
Ostendo Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ostendo Technologies Inc filed Critical Ostendo Technologies Inc
Publication of TW201502589A publication Critical patent/TW201502589A/zh
Application granted granted Critical
Publication of TWI625551B publication Critical patent/TWI625551B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明介紹具有改良之視角、深度及解析度之3D光場顯示方法及設備。該等方法可用於形成自小於一郵票至大於一三層建築物之任何大小之一高品質3D光場顯示器。

Description

具有改良之視角深度及解析度之三維光場顯示器及方法 相關申請案交叉參考
本申請案主張2013年3月15日提出申請之美國臨時專利申請案第61/800,818號之權益。
本發明大體而言係關於影像及視訊顯示器,更特定而言係關於3D光場成像系統及具有大視角、高頻率及擴展深度之3D光場成像系統之構造方法。術語「光場」闡述光的透射及調變,包含方向、振幅、頻率及相位,且因此囊括利用諸如全像、積分成像、立體圖像、多視角成像、自由視點TV(FTV)及諸如此類之技術之成像系統。本文中所闡述之本發明詳述一種不犧牲影像解析度或影像深度的容易製造、高亮度、無色分離、寬視角之3D光場成像系統。
所引用參考文獻
[1] M. E. Lucente、T. Huang、T. L. Burnett、M. A. Klug、A. W. Heath、M. E. Holzbach, 「DYNAMIC AUTOSTEREOSCOPIC DISPLAYS」,美國專利申請公開案第US 2008/0144174 A1號,2008年6月19日
[2] M. E. Lucente、T. Huang、T. L. Burnett、M. A. Klug、A. W. Heath、M. E. Holzbach, 「DYNAMIC AUTOSTEREOSCOPIC DISPLAYS」,美國專利申請公開案第US 2008/0170293 A1號,2008年7月17日
[3] J. W. Goodman, 「Introduction to Fourier Optics」, Roberts and Company Publishers,第3版,2004年12月10日
[4] S. E. Guncer, 「Image Construction Based Video Display System」,美國專利申請案第20100007804號,2010年1月14日
[5] S. E. Guncer, 「Multi-Pixel Addressing Method for Video Display Drivers」,美國專利申請案第20100225679號,2010年9月9日
[6] D. Wakabayashi, 「Panasonic, Japan Work on 3D Safety」, http://blogs.wsj.com/digits/2011/01/06/panasonic-working-with-japan-on-3-d-standards/WSJ Blogs, Digits, Technology News and Insights, 2011年1月6日
[7] Technology News, 「Samsung warns of dangers of 3D television」,http://www.telegraph.co.uk/technology/news/7596241/Samsung-warns-of-dangers-of-3D-television.html, The Telegraph, 2011年1月28日
[8] A. Hudson, 「Could 3D television be dangerous to watch?」, http://news.bbc.co.uk/2/hi/programmes/click_online/9378577.stm, BBC News, 2011年1月28日
[9] H. S. El-Ghoroury、D. A. McNeill、J. Cai, 「Micro-structure based screen system for use in rear projection array display systems」,美國專利第7835079號,2010年11月16日
[10] H. S. El-Ghoroury、R. G. Brown、D. A. McNeill、H. Denboer、A. J. Lanzone, 「Quantum photonic imagers and methods of fabrication thereof」,美國專利第7623560號,2009年11月24日
[11] H. S. El-Ghoroury, 「Low profile, large screen display using a rear projection array system」美國專利第7334901號,2008年2月26日
[12] H. S. El-Ghoroury、R. G. Brown、D. A. McNeill、H. Denboer、A. J. Lanzone, 「Quantum photonic imagers and methods of fabrication thereof」,美國專利第7767479號,2010年8月3日
[13] H. S. El-Ghoroury、R. G. Brown、D. A. McNeill、H. Denboer、A. J. Lanzone, 「Quantum photonic imagers and methods of fabrication thereof」,美國專利申請案第20020116165號,2010年11月9日
[14] H. S. El-Ghoroury, 「Matched instruction set processor systems and method, system, and apparatus to efficiently design and implement matched instruction set processor systems by mapping system designs to re-configurable hardware platforms」,美國專利第7829902號,2002年8月22日
[15] H. S. El-Ghoroury、A. Majumder、R. G. Brown、A. J. Lanzone, 「Hierarchical multicolor primaries temporal multiplexing system」,美國專利第8098265號,2012年1月17日
[16] Z. Y. Alpaslan、H. S. El-Ghoroury、J. Cai、D. A. McNeill, 「Spatio-Optical Directional Light Modulator」,美國專利申請案第20130141895號,2013年6月6日
[17] H. S. El-Ghoroury、Z. Y. Alpaslan、J. Cai、M. Meiers、P. Warner、D. A. McNeill, 「Spatio-Temporal Directional Light Modulator」,美國專利申請案第20130258451號,2013年10月3日
[18] S. W. Min、J. Kim及B. Lee, 「New characteristic equation of three-dimensional integral imaging system and its applications」, Japanese J. Appl. Phys. 44,第L71至L74頁,2005年
[19] T. Okoshi, 「Three-Dimensional Imaging Techniques」(學 術,1976)
[20] J.-H. Park、S.-W. Min、S. Jung及B. Lee, 「Analysis of viewing parameters for two display methods based on integral photography」, Appl. Opt. 40, 5217-5232 (2001年)
[21] B. Lee, S. Jung及J.-H. Park, 「Viewing-angle-enhanced integral imaging by lens switching」 Opt. Lett. 27, 818-820 (2002年)
[22] S. Jung、J.-H. Park、B. Lee、B. Javidi, 「Viewing-angle-enhanced integral 3-D imaging using double display devices with masks」, Opt. Eng. 41, 2389-2390 (2002年)
[23] H. Choi、S.-W. Min、S. Jung、J.-H. Park及B. Lee, 「Multiple-viewing-zone integral imaging using a dynamic barrier array for three-dimensional Displays」, Opt. Express 11 (2003年)
[24] S. Jung、J.-H. Park、H. Choi及B. Lee, 「Wide-viewing integral three-dimensional imaging by use of orthogonal polarization switching」, Appl. Opt. 42, 2513-2520 (2003年)
[25] S. Jung、J.-H. Park、H. Choi及B. Lee, 「Viewing-angle-enhanced integral three-dimensional imaging along all directions without mechanical movement」, Opt. Express 11, 1346-1356 (2003年)
[26] A. Stern及B. Javidi, 「3-D computational synthetic aperture integral imaging (COMPSAII)」, Opt. Express11, 2446-2451 (2003年)
[27] Y. Kim、J.-H. Park、H. Choi、S. Jung、S.-W. Min及B. Lee, 「Viewing-angle-enhanced integral imaging system using a curved lens array」, Opt. Express 12, 421-429 (2004年)
[28] J.-S. Jang、B. Javidi, 「Three-dimensional projection integral imaging using micro-convex-mirror arrays」, Opt. Express 12, 1077-1083 (2004年)
[29] H. Choi, J.-H. Park、J. Kim、S.-W. Cho及B. Lee, 「Wide-viewing-angle 3D/2D convertible display system using two display devices and a lens array.」 Opt. Express 13, 8424-8432 (2005年)
[30] H. Choi、Y. Kim、J.-H. Park、S. Jung及B. Lee, 「Improved analysis on the viewing angle of integral imaging」, Appl. Opt. 44, 2311-2317 (2005年)
[31] H. Choi、Y. Kim、J. Kim、S.-W. Cho、B. Lee, 「Depth- and viewing-angle-enhanced 3-D/2-D switchable display system with high contrast ratio using multiple display devices and a lens array」, Journal of the SID 15/5, 315-320 (2007年)
[32] J. Kim、S.-W. Min及B. Lee, 「Viewing region maximization of an integral floating display through location adjustment of viewing window」, Opt. Express 15, (2007年)
[33] R. Martínez-Cuenca、H. Navarro、G. Saavedra、B. Javidi及M Martínez-Corral, 「Enhanced viewing-angle integral imaging by multiple axis telecentric relay system」, Opt. Express 15, 16255-16260 (2007年)
[34] Y. Kim、J. Kim、J.-M. Kang、J.-H. Jung、H. Choi及B. Lee, 「Point light source integral imaging with improved resolution and viewing angle by the use of electrically movable pinhole array」, Opt. Express 15, 18253-18267 (2007年)
[35] J. Hahn、H. Kim、Y. Lim、G. Park及B. Lee, 「Wide viewing angle dynamic holographic stereogram with a curved array of spatial light modulators」, Opt. Express 16,12372-12386 (2008年)
[36] H. Kim、J. Hahn及B. Lee, 「The use of a negative index p1anoconcave lens array for wide-viewing angle integral imaging」, Opt. Express 16, 21865-21880 (2008年)
[37] J.-H. Park、K. Hong及B. Lee, 「Recent progress in three-dimensional information processing based on integral imaging」, Appl. Opt. 48, H77-H94 (2009年)
[38] J. Hyun、D.-C. Hwang、D.-H. Shin、B.-G. Lee及E.-S. Kim, 「Curved Projection Integral Imaging Using an Additional Large-Aperture Convex Lens for Viewing Angle Improvement」, ETRI Journal 31, No. 2 (2009年)
[39] G. Baasantseren、J.-H. Park、K.-C. Kwon及N. Kim, 「Viewing angle enhanced integral imaging display using two elemental image masks」, Opt. Express 17, 14405-14417 (2009年)
[40] G. Park、J.-H. Jung、K. Hong、Y. Kim、Y.-H. Kim、S.-W. Min及B. Lee, 「Multi-viewer tracking integral imaging system and its viewing zone analysis」, Opt. Express 17, 17895-17908 (2009年)
[41] S.-G. Park、B.-S. Song、S.-W. Min, 「2D/3D convertible display with enhanced 3D viewing region based on integral imaging」, Proc. of SPIE 7524 (2010年)
[42] J.-Y. Jang、H.-S. Lee、S. Cha及S.-H. Shin, 「Viewing angle enhanced integral imaging display by using a high refractive index medium」, APPL. OPTICS 50, B71-B76 (2011年)
[43] J.-H. Park, S. Jung, H. Choi, and B. Lee, 「Integral imaging with multiple image planes using a uniaxial crystal plate」, Opt. Express 11, 1862-1875 (2003)
[44] H. Choi、J.-H. Park、J. Hong及B. Lee, 「Depth-enhanced integral imaging with a stepped lens array or a composite lens array for three-dimensional display」, IEEE (2003年)
[45] J. Arai、H. Hoshino、M. Okui及F. Okano, 「Effects of focusing on the resolution characteristics of integral photography」, J. Opt. Soc. Am. A 20, 996-1004 (2003年)
[46] R. Martínez-Cuenca、G. Saavedra、M. Martínez-Corral及B. Javidi, 「Enhanced depth of field integral imaging with sensor resolution constraints」, Opt. Express 12, 5237-5242 (2004年)
[47] S. Jung、J. Hong、J.-H. Park、Y. Kim、B. Lee, 「Depth-enhanced integral-imaging 3D display using different optical path lengths by polarization devices or mirror barrier array」, Journal of the SID 12/4, 461-467 (2004年)
[48] M. Martínez-Corral、B. Javidi、R. Martínez-Cuenca及G. Saavedra, 「Integral Imaging with Improved Depth of Field by Use of Amplitude-Modulated Microlens Arrays」, Appl. Opt. 43, 5806-5813 (2004年)
[49] S.-W. Min、J. Hong及B. Lee, 「Analysis of an Optical Depth Converter Used in a Three-Dimensional Integral Imaging System」, Appl. Opt. 43, 4539-4549 (2004)
[50] J.-S. Jang及B. Javidi, 「Depth and lateral size control of three-dimensional images in projection integral imaging」, Opt. Express 12, 3778-3790 (2004年)
[51] B. Javidi、E. Tajahuerce、M. Martínez-Corral、T. J. Naughton及Y. Frauel, 「New developments in active and passive 3D image sensing, visualization, and processing」, Proc. of SPIE Vol. 5986, 598601-1 - 598601-11 (2005年)
[52] Y.-W.Song、B. Javidi及F. Jin, 「3D object scaling in integral imaging display by varying the spatial ray sampling rate」, Opt. Express 13, 3242-3251 (2005年)
[53] R. Martínez-Cuenca、G. Saavedra、M. Martínez-Corral及B. Javidi, 「Extended Depth-of-Field 3-D Display and Visualization by Combination of Amplitude-Modulated Microlenses and Deconvolution Tools」, JOURNAL OF DISPLAY TECHNOLOGY,第1卷第2期,2005年12月
[54] M. Martínez-Corral、R. Martínez-Cuenca、G. Saavedra及B. Javidi, 「Integral imaging with extended depth of field」, Proc. of SPIE Vol. 6016, 601602-1 - 601602-14 (2005年)
[55] J. Kim、S. Min、Y. Kim、S.-W. Cho、H. Choi及B. Lee, 「Depth-enhanced floating display system based on integral imaging」, Electronic Imaging,美國,2006年1月
[56] H. Choi、J. H. Park、Y. Kim、J. Kim、S.-W. Cho、B. Lee, 「Depth-enhanced integral imaging using two parallel display devices」, CLEO/Pacific Rim 2005, 201-202 (2006年)
[57] Y. Kim、J.-H. Park、H. Choi、J. Kim、S.-W. Cho及B. Lee, 「Depth-enhanced three-dimensional integral imaging by use of multilayered display devices」, Appl. Opt. 45, 4334-4343 (2006年)
[58] R. Ponce-Díaz、R. Martínez-Cuenca、M. Martínez-Corral、B. Javidi及Y. W. Song, 「Digital Magnification of Three-Dimensional Integral Images」,JOURNAL OF DISPLAY TECHNOLOGY 2, 284-291 (2006年)
[59] M. Martínez-Corral、R. Martínez-Cuenca、G. Saavedra及B. Javidi, 「Orthoscopic, long-focal-depth 3D Integral Imaging」, Proc. of SPIE Vol. 6934, H-1 - H-9 (2009年)
[60] B. Javidi、R. Martínez-Cuenca、G. Saavedra及M. Martínez- Corral, 「Orthoscopic, long-focal-depth integral imaging by hybrid method」, Proc. of SPIE Vol. 6392, 639203-1-8 (2006年)
[61] H. Choi、Y. Kim、J. Kim、S.-W. Cho、B. Lee, 「Depth- and viewing-angle-enhanced 3-D/2-D switchable display system with high contrast ratio using multiple display devices and a lens array」, Journal of the SID 15/5, 315-320 (2007年)
[62] A. Castro、Y. Frauel及B. Javidi, 「Integral imaging with large depth of field using an asymmetric phase mask」, Opt. Express 15, 10266-10273 (2007年)
[63] Y. Kim、J. Kim、Y. Kim、J.-H. Jung及B. Lee, 「Depth-enhanced integral floating imaging system with variable image planes using polymer-dispersed liquid-crystal films」, Digital Holography and Three-Dimensional Imaging (OSA Optics and Photonics Spring Congress),美國,佛羅裏達州聖彼得堡,paper JMA2 (2008年)
[64] J. Arai、H. Kawai、M. Kawakita及F. Okano, 「Depth-control method for integral imaging」, Opt. Lett. 33, 279-281 (2008年)
[65] G. Saavedra、R. Martínez-Cuenca、M. Martínez-Corral、H. Navarro、M. Daneshpanah及B. Javidi, 「Digital slicing of 3D scenes by Fourier filtering of integral images」, OPT. EXPRESS 16, 17154-17160 (2008年)
[66] J.-H. Park、K. Hong及B. Lee, 「Recent progress in three-dimensional information processing based on integral imaging」, Appl. Opt. 48, H77-H94 (2009年)
[67] G. Baasantseren、J.-H. Park、N. Kim及K.-C. Kwon, 「Computational Integral Imaging with Enhanced Depth Sensitivity」, Journal of Information Display, 10, 1-5 (2009年)
[68] F. Okano、J. Arai及M. Kawakita, 「DEPTH RANGE OF A 3D IMAGE SAMPLED BY A LENS ARRAY WITH THE INTEGRAL METHOD」, IEEE 3DTV-CON (2009年)
[69] C.-K. Park、S.-S. Lee及Yong-Seok Hwang, 「Depth-extended integral imaging system based on a birefringence lens array providing polarization switchable focal lengths」, Opt. Express 17, 19047-19054 (2009年)
[70] H. Kim、J. Hahn及B. Lee, 「Image volume analysis of omnidirectional parallax regular-polyhedron three-dimensional displays」, Opt. Express 17, 6389-6396 (2009年)
[71] G. Baasantseren、J.-H. Park、M.-U. Erdenebat、S.-W. Seo及N. Kim, 「Integral floating-image display using two lenses with reduced distortion and enhanced depth」, J. Soc. Inf. Display 18, 519 (2010年)
[72] S. Bagheri、Z. Kavehvash、K. Mehrany及B. Javidi, 「A fast optimization method for extension of depth-of-field in three-dimensional task-specific imaging systems」, J. of Display Technology (2010年)
[73] M. Date、Y. Andoh、H. Takada、Y. Ohtani、N. Matsuura, 「Depth reproducibility of multiview depth-fused 3-D display」, Journal of the SID 18/7, 470-475 (2010年)
[74] Z. Kavehvash、S. Bagheri、K. Mehrany、B. Javidi、E. Sanchez及M. Martinez-Corral, 「Extension of depth of field using amplitude modulation of the pupil function for bio-imaging」, Proc. of SPIE Vol. 7690, 769000-1 - 769000-8 (2010年)
[75] A. Tolosa、R. Martínez-Cuenca、A. Pons、G. Saavedra、M. Martínez-Corral及B. Javidi, 「Optical implementation of micro-zoom arrays for parallel focusing in integral imaging」, J. Opt. Soc. Am. A 27, 495-500 (2010年)
[76] H. Navarro、R. Martínez-Cuenca、G. Saavedra、M. Martínez-Corral及B. Javidi, 「3D integral imaging display by smart pseudoscopic-to-orthoscopic conversion (SPOC)」, Opt. Express 18, 25573-25583 (2010年)
[77] H. Navarro、R. Martínez-Cuenca、A. Molina-Martín、M. Martínez-Corral、G. Saavedra及B. Javidi, 「Method to Remedy Image Degradations Due to Facet Braiding in 3D Integral-Imaging Monitors」, J. Display Technol. 6, 404-411 (2010)
[78] Y. Kim、S. Park、S.-W. Min及B. Lee, 「Projection-type integral imaging system using multiple elemental image layers」, Appl. Opt. 50, B18-B24 (2011年)
概述
在2010年由於所有主要TV製造商引入基於玻璃之3D TV,因此3D顯示器愈來愈受歡迎。當前可用之技術之最大缺陷已經識別為可分類為主動或被動之3D玻璃(參見參考文獻[6]、[7]及[8])。一般而言,基於玻璃之3D顯示技術令使用長時間段之觀看者感到不適且為需要處方眼鏡者造成困難。
自動立體顯示器使用附接至一顯示表面之方向性調變器(諸如視差障壁或雙凸薄片)以形成一3D效應而無需眼鏡。市售自動立體顯示器通常使用水平視差來向觀看者呈現3D資訊。此自動立體顯示技術之主要問題係每視圖有限視角及有限解析度,導致一較低品質3D影像。使用此自動立體技術,一顯示器之像素經劃分成兩個或兩個以上視圖以沿水平方向形成動作視差。在一預定義視框之限制內,一觀看者可看見一立體3D圖像且在某些情形中甚至自相同3D場景之一稍微不同角度看見一3D視圖。然而,由於像素經相等地劃分成每一視 圖,因此視圖具有比實際3D影像小得多之一解析度,導致低解析度影像。另外,在視框中,使用者必須保持其頭部垂直,否則3D效應消失。
用全視差3D顯示技術來達成一更自然3D效應。最廣泛需求之全視差數位3D顯示技術中之兩者係積分成像及全像。除了水平視差外,此等技術亦具有垂直視差,以使得觀看者之一垂直移動將展示3D場景之一不同視圖。與僅水平視差顯示器相比,全視差顯示器通常具有大約量值或更多視圖。密集地配置此等視圖形成不因一使用者移動或傾斜其頭部而改變之一極自然3D影像。數位全像及積分成像技術之間的主要差異中之兩者係視圖產生及照明要求。在數位全像中,視圖產生需要傅立葉變換且比積分成像視圖產生更計算密集,積分成像視圖產生主要需要像素混洗及相對較少計算。數位全像亦需要一同調光源用於照明其條紋,此限制可達成3D影像之亮度及大小。 因此,積分成像在其達到實效產生全視差3D影像之視圖產生及照明要求時係較佳方法。
先前技術
圖1展示積分成像技術之概念。在積分成像中,顯示器執行像素之空間及量值調變同時透鏡陣列執行像素之方向性調變。自至少兩個不同透鏡發出之經方向性地調變光線之相交形成合成空氣中之一浮動物件之一3D影像之一光分佈。儘管積分成像技術係產生全視差3D影像之較佳方法,但其具有其自己的限制。如參考文獻[19]中所闡述及圖2中所圖解說明,任何積分成像顯示器可由三個參數闡述:影像解析度、視角及影像深度。影像解析度經定義為影像像素間距之反數,視角經定義為其中在無裂解或翻轉之情況下看見(感知)3D影像之角度區,且影像深度經定義為其中影像經整合之平面周圍之3D體積之厚度。一積分成像顯示器之特性方程式描述此三個參數之間的關係且 可表達為
其中RI係影像之解析度,PI係影像之像素間距,△z m 係所產生3D影像中之最大可達成深度,Ω係視角,RX係空間調變器裝置解析度且PX係空間調變器裝置像素間距。如自方程式1、方程式2、方程式3所見,隨著空間調變器裝置解析度增加,整個3D積分影像品質增加。此意指最佳影像品質將在最小像素間距之情況下可能。方程式可解釋為一積分成像顯示器之總影像品質頻寬。針對一積分成像顯示器,此品質受空間調變器之像素間距限制且改良此等參數中之任何者,一設計者通常面臨必須使其他兩個參數之組合惡化。
視角改良方法
已嘗試在不使其他兩個參數惡化之情況下改良積分成像顯示器之視角,但此等嘗試對製造不實用,幾乎不提供改良,或使特性方程式中未闡釋之一顯示器之一態樣降級,以使得所得影像不可用。
用於積分成像顯示器之視角改良方法可表徵成5種主要方法:基於遮罩之方法(亦即,移動遮罩、滑動遮罩、兩個顯示器及一遮罩、可移動針孔陣列、兩個遮罩、多軸中繼器、移動透鏡及傾斜障壁、正交偏光切換薄片、具有正交偏光切換之兩個顯示器、作為一動態遮罩之透明顯示裝置、三個顯示器)、微凸鏡陣列、多觀看者追蹤、高折射率媒體及彎曲透鏡陣列方法(亦即,具有障壁之彎曲透鏡陣列及具有一費芮耳透鏡(Fresnel lens)之彎曲投影)。
在基於遮罩之方法中,一遮罩放置於顯示裝置與透鏡陣列之間以使得每一未經遮罩透鏡得以接達大於其直徑之一元素影像區。圖3 展示無遮罩之最頂部透鏡可得以接達原本先前保留用於其上面之經遮罩透鏡之元素影像像素。當遮罩移動至其下一位置時,再產生元素影像以匹配新未經遮罩透鏡之位置。亦存在基於非移動遮罩之方法,其中兩個顯示器與一光束分裂器組合,同時使用兩個遮罩,同時使用遮罩及遠心透鏡,藉由使用一偏光切換螢幕及一偏光薄片完成遮罩,藉由使用透明LCD螢幕完成遮罩,或藉由使附接至一移動透鏡陣列之障壁傾斜完成遮罩。
與基於遮罩之方法相關聯之主要問題係:在任何時間,透鏡陣列中之透鏡僅一半得以接達顯示裝置中之所有像素。此意指顯示裝置中之像素必須使用時間多工共用,從而增加裝置之複雜性及處理要求,或意指像素之數目必須藉由添加另一顯示裝置增加,從而增加由顯示系統佔據之空間。由基於遮罩之方法達成之最大報告視角係60度。
微凸鏡陣列系統將一元素影像陣列投影至一丙烯酸凸透鏡陣列上。來自此等透鏡之4%反射在高達70度視角之情況下形成一極暗之虛擬影像。在虛擬模式中,透鏡陣列介於觀察者與3D影像之間(亦即,影像似乎在透鏡陣列後面浮動)。存在四個與此方法相關聯之問題。第一問題係微凸鏡陣列之可製造性。在目前為止,不存在製造微凸鏡陣列之實用方法,因此方法必須使用來自凸透鏡陣列之反射。由於凸透鏡之反射比係僅4%,因此影像之亮度受損。第三問題係僅支援虛擬模式積分影像限制顯示器之可使用性及吸引力。最終,第四問題係由系統佔據之空間。如同任何前投影系統,投影機必須位於觀看者之後以將影像投影於螢幕上,從而限制顯示系統之可使用性。
多觀看者追蹤方法判定一觀察者之位置且調整元素影像以在彼位置處不失真顯現。追蹤使用者並調整元素影像可針對一個以上使用者進行且需要時間多工。由此方法可達成之視角受可對元素影像及透 鏡數值孔徑進行之調整之量限制。存在三個與此方法相關聯之問題。第一,時間多工增加系統之影像處理要求且減少可用於每一觀察者之影像之亮度。第二,需要一外部系統來追蹤觀察者之移動且使其於元素產生同步化,增加系統之空間要求及複雜性。第三,本方法在透鏡陣列中之透鏡當中形成大量串擾且影像品質受損。
在高折射率媒體方法中,一高折射率媒體插入於顯示裝置與一平凸透鏡陣列之間。此配置形成具有增加之數值孔徑之一系統,此平移至較寬視角中。由此方法報告之最大視角係64度。存在兩個與此方法相關聯之問題。第一,由於數值孔徑增加,因此影像深度及/或像素大小在此方法中受損。第二,隨著媒體之折射率增加,其透射比下降,減少系統之總觀看亮度。
在彎曲透鏡陣列方法中,使用一彎曲透鏡陣列或一平透鏡陣列及一大孔徑透鏡組合來形成一真實模式積分影像。視角由於來自透鏡陣列中之透鏡之配置或來自大孔徑透鏡之添加曲率而增強。此方法係一基於後投影之方法,藉此在透鏡陣列中之透鏡之間使用障壁來防止串擾。此方法之最大報告視角係60度。此方法存在三個缺點。第一,可製造性之困難阻礙製成薄彎曲透鏡陣列及大孔徑透鏡。第二,由於此係一後投影方法,因此空間要求大於規則積分成像顯示器。
除了所闡述先前技術方法具有之所有特定問題外,所有此等方法亦具有由其所使用之顯示技術所引起之共同影像品質問題。當基本顯示技術係平面LCD或LCOS投影時,像素由空間毗鄰之紅色、綠色及藍色子像素組成。在3D影像中,此等子像素形成色分離且降低影像之品質。當基本技術係DLP投影時,色分離可藉由使影像之紅色、綠色及藍色分量重疊來減少,然而與複雜電子同步化及投影光學器件組合操作此技術所需之光源及照明光學器件需要一大操作空間,從而限制技術之有用性。
深度及解析度改良方法
公開的用於積分成像顯示器之深度改良方法可表徵成九種不同方法。最基本深度改良方法係其中透鏡陣列定位於距離顯示裝置其焦距處之深度優先積分成像。此使得顯示系統能夠藉由同時顯示真實及虛擬影像來達成最高景深。
在此等方法中,具有不同焦距之鏡片與透鏡陣列之一經時間多工移動組合空間配置,鏡片可藉由添加多個中心深度平度形成景深之增加。
多層式顯示裝置藉由使用兩個或兩個以上顯示裝置(某些透明)來形成多個中心深度平面且使邊際深度平面重疊而工作。
藉由電子變焦元素影像,可控制深度。若此在時間多工之情況下足夠快進行,則可藉由僅改變元素影像來控制深度,但影像解析度亦改變。
多個顯示方法之一變化形式係具有時間多工之多個顯示器。通常一個裝置專用於顯示一虛擬影像,另一者專用於顯示一真實影像且使用遮罩亦改良視角。
基於複合透鏡陣列或步進式陣列之系統藉由在兩個不同透鏡平面上製作元素透鏡來增加中心深度平面之數目。主要概念係改變透鏡至顯示器之距離。透鏡亦可在時間多工之情況下移動以填充整個體積。
可使用不同光學路徑長度來達成類似效應。上述情形之實例包含使用偏光裝置,藉助該等偏光裝置,影像平面使用一光束分裂器多工有兩個不同中心深度平面。在另一方法中,使鏡旋轉45度之一鏡障壁陣列增加自顯示器至透鏡陣列之光學路徑長度且導致一新中心深度平面實現。
PI‧‧‧像素間距
PX‧‧‧空間調變器裝置像素間距
Ω‧‧‧視角
△z m ‧‧‧最大可達成深度
在以下闡述中,甚至在不同圖式中,相同圖式元件符號用於相同元件。闡述中定義之內容,諸如詳細構造及元件,經提供以輔助於對例示性實施例之一全面理解。然而,可在無彼等具體定義內容之情況下實踐本發明。此外,未詳細闡述眾所周知之功能或構造,此乃因其將用不必要細節模糊本發明。為理解本發明且明白在實務中可如何實施本發明,現在將參考附圖僅藉助於非限制性實例闡述本發明之數項實施例,在該等附圖中:圖1展示先前技術之積分成像光場顯示系統。
圖2展示先前技術之積分成像系統及其特性參數。
圖3圖解說明先前技術之基於遮罩之積分成像顯示器視角改良方法。
圖4以俯視圖及側視圖圖解說明本發明之主要實施例。
圖5圖解說明真實3D影像及虛擬3D影像及使用可變焦距透鏡總成來將此等真實3D影像及虛擬3D影像浮動(或傳送)至不同位置。
圖6圖解說明可變焦距透鏡總成之藉由變化其焦距來使影像移動至多個位置之能力。
圖7圖解說明在操作中之整個系統,旋轉調變系統、可變焦距透鏡總成、微型圖案化螢幕及成像器連同再現軟體一起工作以藉由將影像放置於空間中之不同位置中來形成一大3D體積。
圖8圖解說明2D及3D鋪設由本發明產生之3D影像以形成甚至更大體積之3D影像。
本文中所闡述之本發明詳述一種不犧牲影像解析度或影像深度之容易製造、高亮度、無色分離、寬視角積分成像系統。
在高亮度、垂直堆疊小像素間距顯示器(參考文獻[10]、[12]及[13])之可用性之情況下,具有一寬視角及經改良圖像品質之一全視差 積分成像顯示器係可行的。本發明呈現在不降級影像解析度或影像深度之情況下改良一積分成像顯示器之視角之一方法。本發明消除在其他積分成像顯示器中發現之色彩失真且以一極小體積達成極高亮度。
此等新類型之發射固態顯示器具有10μm或較小像素間距、高動態範圍及快速調變速度(參考文獻[12]、[13])。此等類型之顯示器(其可由多核心匹配指令集處理器(參考文獻[14])驅動),該多核心匹配指令集處理器接合至其光子層,能夠對其輸入資料執行複雜影像處理操作而無需一支援圖形電腦。此等複雜處理操作之實例包含光場再現、視訊解壓縮或視訊解碼(參考文獻[4]及[5]),即時色彩及照度均勻性校正、色域調整([15])、伽馬調整及諸如此類。具有其特有視訊解壓縮能力之此等顯示器可接受經壓縮輸入,此使該等顯示器適合於用於由於由全視差性質強加之高頻寬要求所致之全視差光場成像。由於具有小像素間距之此等發射固態顯示器需要極小數目個連接(電力、輸入資料及某些控制線)以操作,因此該等顯示器可用於獨特之空間光學(參考文獻[16])及時空(參考文獻[17])光場調變器組態中。在此等獨特空間光學及時空光場調變器組態中,微型圖案化螢幕可與發射顯示器組合且經組合結構可在環架之幫助下移動以增加總視角、方向光線之總數目、由顯示器顯示之總深度及所顯示之影像解析度。
本發明詳述使用具有小像素間距及處理能力之發射固態顯示器來形成全視差光場顯示器之新方法。
先前章節中所闡述之先前技術方法由於其使用具有低動態範圍、低亮度、低調變速度及無壓縮輸入能力之顯示器之限制而無法用於形成實用顯示器。本文中所呈現之本發明利用具有高動態範圍、高亮度、高調變速度及壓縮輸入能力之一成像器。因此,其可以實用方式克服所有先前技術限制。
圖4展示利用具有高速度調變能力之一發射成像器之一新穎3D顯 示系統之一項實施例,較佳地,在此實施例及其他實施例中,高亮度及高動態範圍之一固態成像器與使成像器在有限角度內旋轉之一旋轉調變系統、添加方向性調變能力之一微型圖案化螢幕及添加深度調變能力之一可變焦距透鏡總成組合。圖4中之微型圖案化螢幕將通常由多個微尺度光學小面(諸如稜鏡或球形表面)構成,舉例而言,該等微尺度光學小面經設計以取決於像素之各別空間位置而沿一特定方向折射自成像器之像素發射之光。在圖4中,成像器用於在一二維平面中顯示一群組像素,旋轉臂-1及旋轉臂-2使顯示器沿係彼此垂直方向之旋轉方向-1及旋轉方向-2旋轉。微型圖案化螢幕在可變焦距透鏡總成與成像器之間形成界面且輔助於方向性地調變由成像器顯示之像素。可變焦距透鏡總成調整其焦距以改變由成像器及微型圖案化螢幕產生之影像之位置。可變焦距透鏡將通常使用改變透鏡表面之曲率(諸如磁感應可變曲率液態透鏡)或改變透鏡折射率(諸如電感應可變折射率液晶)之方法實現。可變焦距透鏡將實現之任一方式,其焦距將透過硬體及相關聯嵌入軟體演算法電子控制。
在本發明之一項實施例中,成像器在成像器平面中空間地提供對像素之二維(2D)調變,附接至成像器之微型圖案化螢幕藉由用經準直、會聚或發散光束方向性地調變成像器像素來提供三維(3D)調變,其中像素位置判定調變之方向且成像器與螢幕之間的距離判定光束之準直。因此,在本發明之一項實施例中,成像器直接通一2D經調變影像至可變焦距透鏡,且在本發明之另一實施例中,成像器與微型圖案化螢幕之組合提供一3D經調變影像至可變焦距透鏡。可變焦距透鏡總成沿垂直於成像器軸之一方向調變二維影像且作為一浮動裝置(或中繼器)工作以在透鏡總成與觀看者之間形成一真實影像。本發明之可變焦距透鏡總成之一重要態樣係其能夠以將不為人類視覺系統(HVS)感知之一速率(舉例而言,以至少60Hz之一改變速率)改變其焦 距。隨著透鏡總成之焦距至少以60Hz速率改變,自成像器及微型圖案化螢幕發出之二維或三維影像放置於一不同深度位置處同時影像形成之處的深度之改變將不為HVS感知。當輸入至可變焦距透鏡總成之影像係一二維(2D)影像時,與成像器上之2D影像之一快速調變組合之透鏡焦距之快速調變在垂直於成像器平面之一平面中形成背對背地配置之一系列2D影像。微型圖案化螢幕充當一光學界面且充當能夠使用較大或較小直徑透鏡總成且以能夠藉由賦予其一小體積來填充影像片段之間的間隙之一方向光調變器。成像器、微型圖案化螢幕及透鏡總成之組合足以用淺深度三維影像之片段形成一體積型影像。然而,由於一微型圖案化螢幕之有限方向性調變能力,此體積型3D影像將具有極有限量之視角且將不能夠顯示足以形成一浮動影像感覺之視野。當輸入至可變焦距透鏡總成之影像係三維(3D)時,可變焦距透鏡總成可經程式化而以一邊緣匹配、重疊或不匹配組態背對背地配置多個體積型影像以形成較大體積型影像。在至可變焦距透鏡總成之2D及3D輸入模式兩者中,經調變影像可在空間中故意分離以達成資料壓縮或電力節省,而不影響所感知之影像品質,此乃因人類視覺系統可將在彼此遠離約0.6屈光度距離處呈現之多個影像混合。
旋轉臂有助於額外方向性調變由成像器、螢幕及透鏡總成組合形成之體積型影像。由旋轉臂達成之方向性調變可視為具有無像差及一極大孔徑之一透鏡。與雙周旋轉組合之快速體積型調變能力實現形成不同透視圖及可在由多個觀看者觀看而無需眼鏡或導致不適之一更逼真3D影像感覺。
在本發明之另一實施例中,微型圖案化螢幕可沿平行於成像器之軸以小增量移動以增加經調變方向光束之數目。成像器及微型圖案化螢幕組合可藉由相同旋轉臂移動以減少系統體積及簡化影像互連或微型圖案化螢幕可以一靜止組態放置以減少系統電力消耗。
在本發明之另一實施例中,可變焦距透鏡總成可藉由旋轉臂與成像器及微型圖案化螢幕一起移動以使系統之總體積最小化且簡化影像處理演算法。或焦距總成可係靜止的以減少系統電力消耗。
影像形成及再現考量因素
本發明之光場顯示系統可用於藉由改變元素影像形成及多工方法來形成大視角、大深度及高解析度真實3D影像或虛擬3D影像。圖5展示由可調整焦距透鏡總成傳送至遠離接近顯示表面之一不同位置之真實及虛擬3D影像之細節。在真實3D影像模式中,成像器及微型圖案化螢幕形成在微型圖案化螢幕與可調整焦距透鏡總成之間的一影像。在虛擬3D影像模式中,成像器及微型圖案化螢幕形成在微型圖案化螢幕與成像器之間的一影像。對熟習此項技術者亦將明顯的是稱為一聚焦3D成像模式之一第三成像模式可形成可同時存在於真實3D影像位置及虛擬3D影像位置兩者中之影像。真實3D影像、虛擬3D影像或聚焦3D影像之位置可由眾所周知再現演算法調整。藉由在再現軟體中調整此等3D影像之位置及調整可變焦距透鏡總成之焦距,可控制最終影像位置及影像解析度。影像解析度通常在真實3D模式及虛擬3D模式中較高且在聚焦3D模式中較低,同時在成像器周圍形成之深度係在聚焦3D模式中最大。
圖6圖解說明真實3D及虛擬3D模式中顯示器之操作,在兩個模式中,由成像器及微型圖案化螢幕組合產生之3D影像藉由可變焦距透鏡總成移動至不同影像位置。當透鏡總成之焦距係f1時,3D影像傳送至浮動位置-1,當焦距係fn時,影像傳送至浮動位置-n。藉由快速調變可變焦距透鏡總成之焦距,由成像器及微型圖案化螢幕產生之3D影像可在顯示器之一圖框時間內顯示且作為一連續3D影像呈現。
圖7展示當成像器、微型圖案化螢幕及可變焦距浮動透鏡沿兩個軸旋轉時,可能使用本發明之光場顯示系統來形成一較大影像體積以 及一較寬視角。在每一旋轉方向(旋轉方向(1,1)至旋轉方向(n,n))處,再現系統針對彼特定方向在不同位置(浮動位置-1至浮動位置-n)處再現且顯示影像群組。當顯示屬於一特定旋轉方向之所有影像時,旋轉臂移動至一不同方向,直至在一圖框中顯示屬於所有方向之所有影像為止。
圖8展示2D及3D鋪設由圖6中所示之成像系統所產生之體積型影像。當使用2D鋪設時,體積型影像沿x及y方向鋪設以形成一更寬3D影像體積。當僅沿x及y方向進行2D鋪設時,影像大小將沿x及y方向成比例增加。然而,在某些情形中取決於影像塊之大小及影像再現方法,沿z方向之影像大小或深度亦可增加。當使用3D鋪設時,影像體積可沿x、y、及z方向同時擴展。3D影像評論可藉由沿x、y及z方向傳送及配置體積型影像而進行。為完成此目標,由鋪設式顯示器沿僅兩個軸(包含但不限於x-y、x-z或y-z軸)產生之影像由光學構件傳送以沿x、y及z軸在一共同影像體積區域中對準。
視覺科學中之一既定事實係當以毗鄰影像之間0.6屈光度距離向視覺系統呈現兩個或兩個以上影像時,人類視覺系統將藉由深度混合影像來填充毗鄰影像之間的空白體積。出於此目的再現影像將考量影像之深度(以屈光度為單位)進行且在先前技術中廣泛闡釋。本發明之另一實施例再現並顯示彼此隔開0.6屈光度之影像以實現由人類視覺系統進行之深度混合。以0.6屈光度間隔形成並顯示影像可減少需要形成及顯示之影像之總數目以達成實質上大影像體積。儘管0.6屈光度係足以在人類視覺系統中形成深度混合之一間隔,但此距離可經調整以達成較高對比度影像或不同效應。
在本發明之另一實施例中,呈現至顯示系統之3D成像資料可用壓縮再現及顯示匹配壓縮之方法再現。
熟習此項技術者將容易瞭解,各種修改方案及改變可在不背離 隨附申請專利範圍中及由其所定義之本發明之範疇之情況下適用於本發明之實施例。應瞭解,本發明之前述實例僅係說明性,且本發明可在不背離其精神或其基本特性之情況下以其他特定形式體現。因此,所揭示實施例在任何意義上皆不應認為限制性。本發明之範疇由隨附申請專利範圍而非前述說明來指定,且屬於隨附申請專利範圍之等效形式之意義及範圍內之所有變化形式意欲涵蓋於本發明中。

Claims (30)

  1. 一種光場顯示系統,其包括:一發射成像器,其包括多個發射多色像素,一可變焦距透鏡總成,其經安置以接收通過微型圖案化螢幕之來自該發射成像器之光發射,一旋轉調變系統,其用於使該發射成像器在有限角度內旋轉,及一影像處理及控制系統,其經耦合以執行影像再現演算法且控制該發射成像器、該可變焦距透鏡總成及該旋轉調變系統,藉此該光場顯示系統能夠形成寬視角、高解析度、大深度光場影像。
  2. 如請求項1之光場顯示系統,其中該發射成像器包括一固態發射成像器。
  3. 如請求項1之光場顯示系統,其進一步包括一微型圖案化螢幕,該微型圖案化螢幕經安置毗鄰該發射成像器之一發射表面以在自該發射成像器之該等發射多色像素發射之光耦合至該可變焦距透鏡總成中之前方向性地調變該光。
  4. 如請求項3之光場顯示系統,其中該微型圖案化螢幕在發射成像器與該可變焦距透鏡總成之間形成一界面,其中該微型圖案化螢幕取決於該各別像素之各別空間位置沿一特定方向而方向性地調變自該多個發射多色像素發射之該光。
  5. 如請求項4之光場顯示系統,其中該微型圖案化螢幕之該方向性調變係使用多個微尺度光學小面實現,該等微尺度光學小面經設計以取決於該像素之該各別空間位置沿一特定方向折射自該多個發射多色像素發射之該光。
  6. 如請求項1或請求項3之光場顯示系統,其中該可變焦距透鏡總成係透過硬體及相關聯嵌入式軟體演算法電子控制。
  7. 如請求項6之光場顯示系統,其中該可變焦距透鏡總成藉由改變至少一個透鏡表面曲率或藉由改變至少一個透鏡折射率來提供一深度調變能力。
  8. 如請求項1或請求項3之光場顯示系統,其中該旋轉調變系統經組態以使該發射成像器沿彼此垂直之兩個軸可控制地旋轉。
  9. 如請求項8之光場顯示系統,其中該旋轉調變系統經組態以提供由該發射成像器、該微型圖案化螢幕及該可變焦距透鏡總成形成之該等光場影像之方向性調變。
  10. 如請求項8之光場顯示系統,其中旋轉調變系統經組態以充當具有無像差、一極大孔徑及寬視域之一透鏡。
  11. 如請求項3之光場顯示系統,其中該微型圖案化螢幕進一步經組態以使用自該等發射多色像素發射之該光形成經準直、會聚或發散光束。
  12. 如請求項1或請求項3之光場顯示系統,其進一步經調適以形成2D影像及3D影像兩者。
  13. 如請求項1或請求項3之光場顯示系統,其中該可變焦距透鏡總成經組態而以將不為人類視覺系統感知之一速率改變其焦距以將經調變影像以不為該人類視覺系統感知一速率放置於不同深度位置處。
  14. 如請求項10之光場顯示系統,其中該可變焦距透鏡總成經組態而以至少60Hz之一速率改變其焦距。
  15. 如請求項1或請求項3之光場顯示系統,其中該可變焦距透鏡總成進一步經組態以沿垂直於該發射成像器之一平面之一方向來調變由該發射成像器及該微型圖案化螢幕產生之2D或3D影像。
  16. 如請求項1或請求項3之光場顯示系統,其中該可變焦距透鏡總成經程式化而以重疊、邊緣匹配及不匹配組態背對背地配置2D及3D影像。
  17. 如請求項1或請求項3之光場顯示系統,其進一步包括經調適以給該光場顯示系統饋送影像資料以形成2D及3D影像之一光場再現。
  18. 如請求項17之光場顯示系統,其進一步經組態以控制該可變焦距透鏡總成。
  19. 如請求項17之光場顯示系統,其進一步包括使該等經調變影像分離0.6屈光度以利用人類視覺系統之深度混合能力。
  20. 如請求項17之光場顯示系統,其進一步包括經調適以給該光場顯示系統饋送影像資料以形成2D及3D影像之一光場再現,且其中真實3D影像、虛擬3D影像及聚焦3D影像係藉由將輸入影像再現至該發射成像器且藉由控制微型圖案化螢幕距該發射成像器之距離而形成。
  21. 如請求項17之光場顯示系統,其經組態以用於壓縮再現及顯示匹配壓縮以壓縮該影像資料。
  22. 如請求項3之光場顯示系統,其中該微型圖案化螢幕經組態以平行於該發射成像器之該發射表面以小增量移動以增加經調變光束之數目。
  23. 如請求項1或請求項3之光場顯示系統,其中該旋轉調變系統進一步經組態以使該發射成像器單獨移動,使該發射成像器與微型圖案化螢幕一起移動,或使成像器、微型圖案化螢幕及可變焦距透鏡總成一起移動,且其中該旋轉調變系統進一步經組態以使成像器單獨移動,使成像器與微型圖案化螢幕一起移動或使成像器、微型圖案化螢幕及可變焦距透鏡總成一起移動。
  24. 如請求項23之光場顯示系統,其中該旋轉調變系統經組態以使該發射成像器沿彼此垂直之兩個軸可控制地旋轉。
  25. 如請求項1或請求項3之光場顯示系統,其中該光場顯示系統經組態以接收真實3D、虛擬3D及聚焦3D影像資料作為影像資料。
  26. 如請求項1或請求項3之光場顯示系統,其中該可變焦距透鏡總成經控制以在一圖框時間內在空間中之不同位置處呈現影像。
  27. 如請求項1或請求項3之光場顯示系統,其中該旋轉系統經控制以形成一較大3D影像體積。
  28. 如請求項1或請求項3之光場顯示系統,其中多個光場顯示系統經鋪設以形成一較大3D體積及一較大2D顯示器。
  29. 如請求項1或請求項3之光場顯示系統,其經組態以形成實現由一人類視覺系統進行之深度混合之影像。
  30. 如請求項1或請求項3之光場顯示系統,其經組態以使深度可混合影像分離預定距離。
TW103109831A 2013-03-15 2014-03-14 具有改良之視角深度及解析度之三維光場顯示器及方法 TWI625551B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361800818P 2013-03-15 2013-03-15
US61/800,818 2013-03-15

Publications (2)

Publication Number Publication Date
TW201502589A true TW201502589A (zh) 2015-01-16
TWI625551B TWI625551B (zh) 2018-06-01

Family

ID=51537850

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103109831A TWI625551B (zh) 2013-03-15 2014-03-14 具有改良之視角深度及解析度之三維光場顯示器及方法

Country Status (3)

Country Link
US (1) US10297071B2 (zh)
TW (1) TWI625551B (zh)
WO (1) WO2014144989A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106249423A (zh) * 2015-06-12 2016-12-21 群创光电股份有限公司 显示装置及其操作方法
CN111869204A (zh) * 2018-03-22 2020-10-30 亚利桑那大学评议会 为基于积分成像的光场显示来渲染光场图像的方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8511827B2 (en) 2008-01-22 2013-08-20 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
CN104204904B (zh) 2012-01-24 2018-05-18 亚利桑那大学评议会 紧凑式眼睛跟踪头戴式显示器
US9874760B2 (en) 2012-10-18 2018-01-23 Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
AU2015227094B2 (en) 2014-03-05 2019-07-04 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3D augmented reality display with variable focus and/or object recognition
US10176961B2 (en) 2015-02-09 2019-01-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Small portable night vision system
CN107431797B (zh) 2015-04-23 2019-10-11 奥斯坦多科技公司 用于全视差光场显示系统的方法和装置
EP3286737A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods for full parallax compressed light field synthesis utilizing depth information
CN106297610B (zh) * 2015-06-05 2020-03-17 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN106291953B (zh) 2015-06-05 2019-01-08 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN106297611B (zh) 2015-06-05 2021-08-10 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN105511093B (zh) * 2015-06-18 2018-02-09 广州优视网络科技有限公司 3d成像方法及装置
US10448030B2 (en) * 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
US9984507B2 (en) * 2015-11-19 2018-05-29 Oculus Vr, Llc Eye tracking for mitigating vergence and accommodation conflicts
US9830755B2 (en) 2016-02-17 2017-11-28 Jvis-Usa, Llc System including a hand-held communication device having low and high power settings for remotely controlling the position of a door of a land vehicle and key fob for use in the system
US10284822B2 (en) 2016-02-17 2019-05-07 Jvis-Usa, Llc System for enhancing the visibility of a ground surface adjacent to a land vehicle
US10359640B2 (en) 2016-03-08 2019-07-23 Microsoft Technology Licensing, Llc Floating image display
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10215983B2 (en) 2016-07-19 2019-02-26 The Board Of Trustees Of The University Of Illinois Method and system for near-eye three dimensional display
US10001654B2 (en) * 2016-07-25 2018-06-19 Disney Enterprises, Inc. Retroreflector display system for generating floating image effects
KR20180012057A (ko) 2016-07-26 2018-02-05 삼성전자주식회사 투시형 디스플레이 장치
US10298914B2 (en) * 2016-10-25 2019-05-21 Intel Corporation Light field perception enhancement for integral display applications
CA3055542A1 (en) * 2017-03-09 2018-09-13 Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted light field display with integral imaging and relay optics
US11051039B2 (en) 2017-06-02 2021-06-29 Ostendo Technologies, Inc. Methods for full parallax light field compression
US11624934B2 (en) 2017-11-02 2023-04-11 Interdigital Madison Patent Holdings, Sas Method and system for aperture expansion in light field displays
US10678056B2 (en) * 2018-02-26 2020-06-09 Google Llc Augmented reality light field head-mounted displays
US10931956B2 (en) 2018-04-12 2021-02-23 Ostendo Technologies, Inc. Methods for MR-DIBR disparity map merging and disparity threshold determination
US11172222B2 (en) 2018-06-26 2021-11-09 Ostendo Technologies, Inc. Random access in encoded full parallax light field images
US11493768B2 (en) * 2018-07-17 2022-11-08 Ostendo Technologies, Inc. Augmented/virtual reality near eye display with edge imaging spectacle lens
CN109300090A (zh) * 2018-08-28 2019-02-01 哈尔滨工业大学(威海) 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法
WO2020046716A1 (en) * 2018-08-29 2020-03-05 Pcms Holdings, Inc. Optical method and system for light field displays based on mosaic periodic layer
CN110895824B (zh) * 2018-09-12 2023-03-28 上海耕岩智能科技有限公司 确定显示屏幕厚度参数的方法、存储介质及电子设备
CN109212771A (zh) * 2018-11-27 2019-01-15 上海天马微电子有限公司 一种三维显示装置及显示方法
US11212514B2 (en) 2019-03-25 2021-12-28 Light Field Lab, Inc. Light field display system for cinemas
KR20220027836A (ko) 2019-06-07 2022-03-08 피씨엠에스 홀딩스, 인크. 분산 애퍼처들에 기초한 라이트 필드 디스플레이들을 위한 광학 방법 및 시스템
JP2022540350A (ja) 2019-06-28 2022-09-15 ピーシーエムエス ホールディングス インコーポレイテッド 調整可能な液晶(lc)ディフューザに基づいたライトフィールド(lf)ディスプレイのための光学的方法およびシステム
CN114556193B (zh) 2019-08-14 2024-05-24 阿瓦龙全息照相技术股份公司 光场投影仪装置
CN111338097A (zh) * 2020-04-18 2020-06-26 彭昊 一种球形三维显示器

Family Cites Families (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5059008A (en) 1990-03-26 1991-10-22 General Electric Company Wide angle beam steerer using translation of plural lens arrays
US5986811A (en) 1995-06-07 1999-11-16 Meso Scale Technologies Llp Method of and apparatus for generating a 3-D image from a 2-D image having a changeable focusing micro-lens array
US5691836A (en) 1995-07-11 1997-11-25 Sy Technology, Inc. Optically addressed spatial light modulator and method
JPH0954281A (ja) 1995-08-14 1997-02-25 Komatsu Ltd 3次元立体表示装置および方法
JPH09109455A (ja) 1995-10-20 1997-04-28 Ricoh Co Ltd Ledアレイヘッド
US20030071813A1 (en) * 1996-06-05 2003-04-17 Alessandro Chiabrera Three-dimensional display system: apparatus and method
US6583772B1 (en) 1998-08-05 2003-06-24 Microvision, Inc. Linked scanner imaging system and method
US6937221B2 (en) 1998-08-05 2005-08-30 Microvision, Inc. Scanned beam display
US6151167A (en) 1998-08-05 2000-11-21 Microvision, Inc. Scanned display with dual signal fiber transmission
US6331060B1 (en) 1998-10-08 2001-12-18 Sony Corporation Projection-type display device and method of adjustment thereof
US6795241B1 (en) 1998-12-10 2004-09-21 Zebra Imaging, Inc. Dynamic scalable full-parallax three-dimensional electronic display
WO2000054307A1 (fr) 1999-03-05 2000-09-14 Canon Kabushiki Kaisha Dispositif de formation d'images
US6515781B2 (en) 1999-08-05 2003-02-04 Microvision, Inc. Scanned imaging apparatus with switched feeds
US6924476B2 (en) 2002-11-25 2005-08-02 Microvision, Inc. Resonant beam scanner with raster pinch compensation
US6433907B1 (en) 1999-08-05 2002-08-13 Microvision, Inc. Scanned display with plurality of scanning assemblies
US6525310B2 (en) 1999-08-05 2003-02-25 Microvision, Inc. Frequency tunable resonant scanner
US6795221B1 (en) 1999-08-05 2004-09-21 Microvision, Inc. Scanned display with switched feeds and distortion correction
WO2001044858A2 (en) * 1999-12-16 2001-06-21 Reveo, Inc. Three-dimensional volumetric display
US6821810B1 (en) 2000-08-07 2004-11-23 Taiwan Semiconductor Manufacturing Company High transmittance overcoat for optimization of long focal length microlens arrays in semiconductor color imagers
US7193758B2 (en) 2001-02-06 2007-03-20 Microvision, Inc. Scanner and method for sweeping a beam across a target
JP4216603B2 (ja) 2001-03-02 2009-01-28 イノベイティブ・ソリューションズ・アンド・サポート・インコーポレイテッド ヘッドアップディスプレイのためのイメージ表示生成器
US7061450B2 (en) 2001-04-09 2006-06-13 Microvision, Inc. Electronically scanned beam display
US7365908B2 (en) * 2001-11-08 2008-04-29 Eugene Dolgoff Tiling of panels for multiple-image displays
EP2420873A3 (en) 2001-12-14 2013-01-16 QUALCOMM MEMS Technologies, Inc. Uniform illumination system
SE520949C2 (sv) 2002-01-15 2003-09-16 Sven-Aake Afsenius Digitalkamera med sökare avsedd för skärpedjupsförbättrad avbildning
US7378124B2 (en) 2002-03-01 2008-05-27 John James Daniels Organic and inorganic light active devices and methods for making the same
KR100939017B1 (ko) 2002-05-17 2010-01-26 마이크로비젼, 인코퍼레이티드 한 디멘션에서 이미지 빔을 스윕하고 다른 디멘션에서이미지 빔을 양방향으로 스윕하는 장치 및 방법
US7071594B1 (en) 2002-11-04 2006-07-04 Microvision, Inc. MEMS scanner with dual magnetic and capacitive drive
JP4410244B2 (ja) 2003-02-05 2010-02-03 エーユー オプトロニクス コーポレイション 表示装置
DK3722533T3 (da) 2003-04-21 2022-12-05 Signify North America Corp Flisebelysningsfremgangsmåder og systemer
EP1489449A1 (en) 2003-06-20 2004-12-22 ASML Netherlands B.V. Spatial light modulator
GB2403815A (en) 2003-07-10 2005-01-12 Ocuity Ltd Birefringent lens array structure
US7106519B2 (en) 2003-07-31 2006-09-12 Lucent Technologies Inc. Tunable micro-lens arrays
US7372985B2 (en) 2003-08-15 2008-05-13 Massachusetts Institute Of Technology Systems and methods for volumetric tissue scanning microscopy
EP1711854A4 (en) 2003-10-17 2009-08-19 Explay Ltd OPTICAL SYSTEM AND METHOD FOR USE IN PROJECTION SYSTEMS
US7057624B2 (en) 2003-10-28 2006-06-06 Eastman Kodak Company Display device light leakage compensation
US7232071B2 (en) 2003-11-14 2007-06-19 Microvision, Inc. Scanned beam imager
US6999238B2 (en) 2003-12-01 2006-02-14 Fujitsu Limited Tunable micro-lens array
JP2005215475A (ja) 2004-01-30 2005-08-11 Seiko Epson Corp プロジェクタ
US7482730B2 (en) 2004-02-09 2009-01-27 Microvision, Inc. High performance MEMS scanner
US7077523B2 (en) * 2004-02-13 2006-07-18 Angstorm Inc. Three-dimensional display using variable focusing lens
US7724210B2 (en) 2004-05-07 2010-05-25 Microvision, Inc. Scanned light display system using large numerical aperture light source, method of using same, and method of making scanning mirror assemblies
US7486255B2 (en) 2004-07-21 2009-02-03 Microvision, Inc. Scanned beam system and method using a plurality of display zones
CA2576016A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Electronic stylus
US7619807B2 (en) 2004-11-08 2009-11-17 Angstrom, Inc. Micromirror array lens with optical surface profiles
JP4033859B2 (ja) 2004-12-28 2008-01-16 独立行政法人科学技術振興機構 立体画像表示方法
US20060181770A1 (en) 2005-02-15 2006-08-17 K Laser Technology, Inc. Rear projection screen with spatial varying diffusing angle
US20060238545A1 (en) * 2005-02-17 2006-10-26 Bakin Dmitry V High-resolution autostereoscopic display and method for displaying three-dimensional images
US7334901B2 (en) 2005-04-22 2008-02-26 Ostendo Technologies, Inc. Low profile, large screen display using a rear projection array system
US8675125B2 (en) 2005-04-27 2014-03-18 Parellel Consulting Limited Liability Company Minimized-thickness angular scanner of electromagnetic radiation
ES2563755T3 (es) 2005-05-18 2016-03-16 Visual Physics, Llc Presentación de imágenes y sistema de seguridad micro-óptico
JP4863044B2 (ja) 2005-07-21 2012-01-25 ソニー株式会社 表示装置、表示制御方法、並びにプログラム
US7438423B2 (en) 2005-08-29 2008-10-21 3M Innovative Properties Company Illumination system and projection system incorporating same
JP2009515213A (ja) * 2005-11-02 2009-04-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元表示のための光学システム
US7303327B2 (en) 2005-11-15 2007-12-04 American Tack + Hardware Co., Inc. Directionally controllable night light
JP2007226092A (ja) * 2006-02-27 2007-09-06 Seiko Epson Corp 光学素子の製造方法及びプロジェクタの製造方法並びに光学素子及びプロジェクタ
US20080144174A1 (en) 2006-03-15 2008-06-19 Zebra Imaging, Inc. Dynamic autostereoscopic displays
EP1994768A2 (en) 2006-03-15 2008-11-26 Zebra Imaging, Inc. Dynamic autostereoscopic displays
JP2007294337A (ja) 2006-04-27 2007-11-08 Seiko Epson Corp 照明装置及びプロジェクタ
US7889430B2 (en) 2006-05-09 2011-02-15 Ostendo Technologies, Inc. LED-based high efficiency illumination systems for use in projection systems
KR101426970B1 (ko) 2006-07-10 2014-08-06 소니 주식회사 렌즈 어레이
JP2010510643A (ja) 2006-11-22 2010-04-02 リアル・ディ 視覚表示用照明システム
JP4110188B2 (ja) 2006-12-11 2008-07-02 株式会社テクノベイツ 立体表示装置
US7369321B1 (en) 2007-01-16 2008-05-06 University Of Central Florida Research Foundation, Inc. Variable-focus liquid lens
US7835079B2 (en) 2007-03-06 2010-11-16 Ostendo Technologies, Inc. Micro-structure based screen system for use in rear projection array display systems
JP5074103B2 (ja) 2007-06-06 2012-11-14 俊郎 樋口 揺動式ディスプレイ装置、及び揺動式アクチュエータ
US7888640B2 (en) 2007-06-18 2011-02-15 Hitachi High-Technologies Corporation Scanning electron microscope and method of imaging an object by using the scanning electron microscope
US7623560B2 (en) 2007-09-27 2009-11-24 Ostendo Technologies, Inc. Quantum photonic imagers and methods of fabrication thereof
US7791810B2 (en) 2007-12-21 2010-09-07 Microvision, Inc. Scanned beam display having high uniformity and diminished coherent artifacts
US7957061B1 (en) * 2008-01-16 2011-06-07 Holovisions LLC Device with array of tilting microcolumns to display three-dimensional images
US7742222B2 (en) 2008-02-29 2010-06-22 Corning Incorporated Conversion device with multi-faceted output face and laser projection system incorporating the same
US8970646B2 (en) 2008-07-09 2015-03-03 Ostendo Technologies, Inc. Image construction based video display system
US7954953B2 (en) 2008-07-30 2011-06-07 Microvision, Inc. Scanned beam overlay projection
JP2010068435A (ja) 2008-09-12 2010-03-25 Toshiba Corp 光通信装置
US8098265B2 (en) 2008-10-10 2012-01-17 Ostendo Technologies, Inc. Hierarchical multicolor primaries temporal multiplexing system
JP5309908B2 (ja) 2008-11-11 2013-10-09 セイコーエプソン株式会社 電気光学装置、および電子機器
US20100208342A1 (en) * 2009-02-19 2010-08-19 Projectiondesign As Methods and systems for creating passive stereo 3d images
US8681185B2 (en) 2009-03-05 2014-03-25 Ostendo Technologies, Inc. Multi-pixel addressing method for video display drivers
US8107147B2 (en) 2009-03-27 2012-01-31 Microvision, Inc. Two-mirror scanning system
JP5449342B2 (ja) 2009-05-29 2014-03-19 独立行政法人科学技術振興機構 スリット視を利用した3次元情報提示装置
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP5558094B2 (ja) 2009-10-07 2014-07-23 オリンパス株式会社 表示方法、表示装置、光学ユニット、表示装置の製造方法、及び電子機器
SG187478A1 (en) * 2009-10-19 2013-02-28 Ventana Med Syst Inc Imaging system and techniques
US9047793B2 (en) 2009-10-20 2015-06-02 Sharp Kabushiki Kaisha Three dimensional video display device
KR101606797B1 (ko) 2009-10-28 2016-03-29 삼성디스플레이 주식회사 입체 영상 표시 장치 및 영상 표시 방법
KR101279122B1 (ko) 2009-11-24 2013-06-26 엘지디스플레이 주식회사 영상표시장치
US8736670B2 (en) 2009-12-07 2014-05-27 Photon-X, Inc. 3D visualization system
GB2477294B (en) 2010-01-27 2015-05-06 Au Optronics Corp Autostereoscopic display apparatus
WO2011104180A1 (en) * 2010-02-23 2011-09-01 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method
US20130033586A1 (en) * 2010-04-21 2013-02-07 Samir Hulyalkar System, Method and Apparatus for Generation, Transmission and Display of 3D Content
JP2011259373A (ja) 2010-06-11 2011-12-22 Sony Corp 立体画像表示装置及び立体画像表示方法
EP2469295A1 (en) * 2010-12-23 2012-06-27 André Borowski 3D landscape real-time imager and corresponding imaging methods
JP5927532B2 (ja) * 2011-03-22 2016-06-01 株式会社Joled 表示装置および電子機器
CN102749332B (zh) 2011-04-18 2015-08-26 通用电气公司 光学系统和光学检测装置以及检测方法
KR101829889B1 (ko) 2011-05-31 2018-02-20 삼성디스플레이 주식회사 자동초점조절장치 및 이를 이용한 자동초점조절방법
KR101807692B1 (ko) * 2011-06-01 2017-12-12 삼성전자주식회사 다시점 3차원 영상 디스플레이 장치 및 방법
WO2013054634A1 (ja) 2011-10-14 2013-04-18 国立大学法人豊橋技術科学大学 立体画像投影装置、立体画像投影方法、及び立体画像投影システム
US8854724B2 (en) * 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US8928969B2 (en) * 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US9041899B2 (en) 2012-01-18 2015-05-26 Jigabot, Llc Digital, virtual director apparatus and method
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9074878B2 (en) 2012-09-06 2015-07-07 Faro Technologies, Inc. Laser scanner
US9874760B2 (en) * 2012-10-18 2018-01-23 Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
US9494787B1 (en) 2013-03-12 2016-11-15 Sandia Corporation Direct view zoom scope with single focal plane and adaptable reticle
JP6460631B2 (ja) 2014-02-19 2019-01-30 オリンパス株式会社 撮像装置、内視鏡装置及び顕微鏡装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106249423A (zh) * 2015-06-12 2016-12-21 群创光电股份有限公司 显示装置及其操作方法
US9881529B2 (en) 2015-06-12 2018-01-30 Innolux Corporation Display device and operating method thereof
CN106249423B (zh) * 2015-06-12 2019-01-11 群创光电股份有限公司 显示装置及其操作方法
CN111869204A (zh) * 2018-03-22 2020-10-30 亚利桑那大学评议会 为基于积分成像的光场显示来渲染光场图像的方法
CN111869204B (zh) * 2018-03-22 2023-10-03 亚利桑那大学评议会 为基于积分成像的光场显示来渲染光场图像的方法

Also Published As

Publication number Publication date
TWI625551B (zh) 2018-06-01
WO2014144989A1 (en) 2014-09-18
WO2014144989A4 (en) 2014-11-06
US20140347361A1 (en) 2014-11-27
US10297071B2 (en) 2019-05-21

Similar Documents

Publication Publication Date Title
TWI625551B (zh) 具有改良之視角深度及解析度之三維光場顯示器及方法
Geng Three-dimensional display technologies
Hong et al. Three-dimensional display technologies of recent interest: principles, status, and issues
Holliman et al. Three-dimensional displays: a review and applications analysis
CN1977544B (zh) 3d显示方法和设备
JP4459959B2 (ja) 自動立体マルチユーザ・ディスプレイ
WO2018076661A1 (zh) 一种三维显示装置
KR20180078311A (ko) 방향성 컬러 필터 및 나안 3d 디스플레이 장치
Kim et al. Parallax barrier engineering for image quality improvement in an autostereoscopic 3D display
TW200523579A (en) Directional display apparatus
JP2016071316A (ja) 複数の観察者に同時にホログラムを提供する表示方法、装置及びシステム
US9360840B2 (en) Complex spatial light modulator and 3D image display including the same
KR20120063160A (ko) 다시점 3차원 디스플레이 장치
JP2022520807A (ja) 高解像度3dディスプレイ
JP4703477B2 (ja) 3次元表示装置
KR20120090507A (ko) 집적 영상 방식의 입체 영상 표시 장치
EP4305487A1 (en) Devices and methods for enhancing the performance of integral imaging based light field displays using time-multiplexing schemes
CN108388018B (zh) 裸眼式立体显示器以及立体影像的显示方法
JP2018151459A (ja) ステレオ立体視装置
KR20120063161A (ko) 3차원 디스플레이 장치 및 3차원 영상 디스플레이 방법
Pastoor 3D Displays
JP5031909B2 (ja) 3次元表示装置
US8994791B2 (en) Apparatus and method for displaying three-dimensional images
Surman et al. Towards the reality of 3D imaging and display
Surman Stereoscopic and autostereoscopic displays

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees
MM4A Annulment or lapse of patent due to non-payment of fees