JP7353625B2 - 体積型ディスプレイ - Google Patents

体積型ディスプレイ Download PDF

Info

Publication number
JP7353625B2
JP7353625B2 JP2019162573A JP2019162573A JP7353625B2 JP 7353625 B2 JP7353625 B2 JP 7353625B2 JP 2019162573 A JP2019162573 A JP 2019162573A JP 2019162573 A JP2019162573 A JP 2019162573A JP 7353625 B2 JP7353625 B2 JP 7353625B2
Authority
JP
Japan
Prior art keywords
image
user
light
light emitting
display element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019162573A
Other languages
English (en)
Other versions
JP2021043232A (ja
Inventor
寛雅 奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gunma University NUC
Original Assignee
Gunma University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gunma University NUC filed Critical Gunma University NUC
Priority to JP2019162573A priority Critical patent/JP7353625B2/ja
Priority to US17/640,746 priority patent/US11668952B2/en
Priority to KR1020227011014A priority patent/KR20220054873A/ko
Priority to CN202080061918.0A priority patent/CN114341711A/zh
Priority to PCT/JP2020/032814 priority patent/WO2021044990A1/ja
Publication of JP2021043232A publication Critical patent/JP2021043232A/ja
Application granted granted Critical
Publication of JP7353625B2 publication Critical patent/JP7353625B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/33—Acousto-optical deflection devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/54—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being generated by moving a 2D surface, e.g. by vibrating or rotating the 2D surface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/294—Variable focal length devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/008—Projectors using an electronic spatial light modulator but not peculiar thereto using micromirror devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2066—Reflectors in illumination beam
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/28—Reflectors in projection beam
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/16—Stereoscopic photography by sequential viewing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/365—Image reproducers using digital micromirror devices [DMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/393—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the volume being generated by a moving, e.g. vibrating or rotating, surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nonlinear Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Projection Apparatus (AREA)
  • Lens Barrels (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は、体積型ディスプレイに関するものである。
近年のＶＲ及びＡＲへの関心の高まりをうけて、様々なヘッドマウントディスプレイ（ＨＭＤ）が開発され、注目を集めている。中でも透過型のＨＭＤは、実世界にアノテーション（追加情報）を重畳させてユーザに提示することが可能となるため、ＡＲ等での応用に特に重要となると考えられる。
特に動的な現実世界へのアノテーションの重畳を考えると、映像を提示するディスプレイにはミリ秒程度の高速性があることが理想とされる。例えば、タッチパネルのように遅延による位置ずれが認識しやすい状況では、人間が遅延を感じない限界の値として２．３８ｍｓという報告がある（下記非特許文献１）。
ＨＭＤではないが、プロジェクターを用いて情報を投影するprojection based Mixed Reality （ＭＲ）もしくはプロジェクションマッピングの分野では、動的プロジェクションマッピング技術という、高速性が重要である技術も知られている（下記非特許文献２及び３）。ＨＭＤにおいても高速な映像提示について研究が進められており、映像提示の遅延を少なくする手法（下記非特許文献４及び５）や、予測による補正を用いる手法（下記非特許文献６）が提案されてきている。これらの研究は、異なる二次元的な映像をそれぞれの目に提示するステレオ視による三次元情報提示が前提となっている。
一方、ステレオ視による三次元情報提示では、眼の焦点調節と輻輳の矛盾であるVergence Accomodation Conflict（ＶＡＣ）が存在することが知られており、これがいわゆる立体酔いと呼ばれる疲労・酔いの症状の原因と言われている。これを解消するためには、視差のみではなく焦点の手がかりも人間に提示することが必要となる。これに対する解決方法として、ライトフィールド（light field）を利用する手法（下記非特許文献７及び８）や、可変焦点レンズ（下記非特許文献９～１１）を利用する手法、可変ハーフミラー（下記非特許文献１２）による手法、ホログラムを利用する手法（下記非特許文献１３）、ＳＬＭ（Spacial Light Modulator）による波面制御を利用する手法（下記非特許文献１４）などが提案されている。また、ライトフィールドによる手法は、アイボックス（eye box）が小さくなってしまうという問題があるが、この手法に近い構成をとりながら比較的広いアイボックスを実現するＳＭＶ（Super multi-view）による手法（下記非特許文献１５）も提案されている。人間の焦点調節の影響をなくしてしまうアプローチとして、Maxwell視による深いＤＯＦ（Depth of Focus）とＨＯＥ（Holographic Optical Element）によって広いアイボックスを実現した手法（下記非特許文献１６）などが存在する。
しかしながら一般にＶＡＣを低減する方式のディスプレイでは、焦点調節に整合する光線場を提示する必要があるために、フレームレートの高速化が難しくなる傾向にあり、いまのところＶＡＣの低減と高速性とを両立するディスプレイ方式は存在しない。
国際公開２０１４／０６２９１２ 国際公開２０１７／１１２０８４ 米国特許出願公開２０１７／０１８４８４８
R. Jota, A. Ng, P. Dietz, and D. Wigdor, "How fast is fast enough?," in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems - CHI '13, 2013, p. 2291. K. Okumura, H. Oku, and M. Ishikawa, "Lumipen: Projection-Based Mixed Reality for Dynamic Objects," 2012 IEEE Int. Conf. Multimed. Expo (ICME 2012), pp. 699 - 704, 2012. G. Narita, Y. Watanabe, and M. Ishikawa, "Dynamic Projection Mapping onto Deforming Non-Rigid Surface Using Deformable Dot Cluster Marker," IEEE Trans. Vis. Comput. Graph., vol. 23, no. 3, pp. 1235 - 1248, Mar. 2017. F. Zheng et al., "Minimizing latency for augmented reality displays: Frames considered harmful," in ISMAR 2014 - IEEE International Symposium on Mixed and Augmented Reality - Science and Technology 2014, Proceedings, 2014, pp. 195 - 200. P. Lincoln et al., "From Motion to Photons in 80 Microseconds: Towards Minimal Latency for Virtual and Augmented Reality," IEEE Trans. Vis. Comput. Graph., vol. 22, no. 4, pp. 1367 - 1376, 2016. Y. Itoh, J. Orlosky, K. Kiyokawa, and G. Klinker, "Laplacian Vision," in Proceedings of the 7th Augmented Human International Conference 2016 on - AH '16, 2016, pp. 1 - 8. A. Maimone, D. Lanman, K. Rathinavel, K. Keller, D. Luebke, and H. Fuchs, "Pinlight displays," ACM Trans. Graph., vol. 33, no. 4, pp. 1 - 11, Jul. 2014. F.-C. Huang, K. Chen, and G. Wetzstein, "The light field stereoscope," ACM Trans. Graph., vol. 34, no. 4, pp. 60:1-60:12, Jul. 2015. R. Konrad, N. Padmanaban, E. Cooper, and G. Wetzstein, "Computational focus-tunable near-eye displays," 2016, pp. 1 - 2. J.-H. R. Chang, B. V. K. V. Kumar, and A. C. Sankaranarayanan, "Towards Multifocal Displays with Dense Focal Stacks," vol. 37, no. 6, 2018. Sheng Liu, Hong Hua, and Dewen Cheng, "A Novel Prototype for an Optical See-Through Head-Mounted Display with Addressable Focus Cues," IEEE Trans. Vis. Comput. Graph., vol. 16, no. 3, pp. 381 - 393, May 2010. D. Dunn et al., "Wide Field of View Varifocal Near-Eye Display Using See-Through Deformable Membrane Mirrors," IEEE Trans. Vis. Comput. Graph., vol. 23, no. 4, pp. 1275 - 1284, 2017. A. Maimone, A. Georgiou, and J. S. Kollin, "Holographic near-eye displays for virtual and augmented reality," ACM Trans. Graph., vol. 36, no. 4, pp. 1 - 16, Jul. 2017. N. Matsuda, A. Fix, and D. Lanman, "Focal surface displays," ACM Trans. Graph., vol. 36, no. 4, pp. 1 - 14, 2017. T. Ueno and Y. Takaki, "Super multi-view near-eye display to solve vergence - accommodation conflict," Opt. Express, vol. 26, no. 23, p. 30703, Nov. 2018. S.-B. Kim and J.-H. Park, "Optical see-through Maxwellian near-to-eye display with an enlarged eyebox," Opt. Lett., vol. 43, no. 4, p. 767, 2018. A. Mermillod-Blondin, E. McLeod, and C. B. Arnold, "High-speed varifocal imaging with a tunable acoustic gradient index of refraction lens," Opt. Lett., vol. 33, no. 18, pp. 2146 - 2148, 2008.
以上の状況に鑑み、本発明者は、ＶＡＣを解消した三次元光線場を高速に提示することが可能なディスプレイ原理について研究を進めた。
眼の焦点調節に整合するディスプレイ原理について考えると、大きくわけて、三つの方法がある。第１は、いわゆる体積型ディスプレイ原理（前記特許文献１～３参照）であり、これは、ディスプレイ共役像の奥行位置を光学的に走査しながら（つまり奥行き位置を変更しながら）異なる映像を提示する手法である。第２は、ＣＧＨ（Computer Generated Holography）によって光を、位相も含めて波面として生成する手法である。第３はライトフィールドに基づくもので、これは空間中の各座標と方向の両方について光線場を生成するものである。
これらの手法にはそれぞれ得失があるが、高速な映像の生成を目的として考えるとき、前記した第２と第３の手法は、比較的演算量が多いという問題を抱えている。それに比べて体積型ディスプレイ原理は、比較的単純な演算で映像の生成が可能であり、高速化に適していると考えられる。
本発明は、前記した状況に鑑みてなされたものである。本発明の主な目的は、高速な画像提示が可能な体積型ディスプレイを提供することである。
前記した課題を解決する手段は、以下の項目のように記載できる。
（項目１）
画像投影部と、共振型液体レンズとを備えており、
前記共振型液体レンズの焦点距離は、液体の共振を用いて周期的に調節されるようになっており、
前記画像投影部は、前記共振型液体レンズを介して、ユーザの視点位置に向けて画像を投影する構成となっており、
かつ、前記画像投影部は、前記焦点距離の変動周期の１／１０よりも短い時間内に前記画像を投影する構成となっている
体積型ディスプレイ。
（項目２）
前記画像投影部は、発光部と表示素子とを備えており、
前記表示素子は、前記画像を形成する構成となっており、
前記発光部は、前記表示素子に光を照射することにより、前記表示素子に形成された前記画像を前記視点位置に向けて投影する構成となっている
項目１に記載の体積型ディスプレイ。
（項目３）
前記発光部は、前記光を発生するＬＥＤを備えており、
前記表示素子は、ＤＭＤにより構成されている
項目２に記載の体積型ディスプレイ。
（項目４）
さらに制御部を備えており、
前記制御部は、前記発光部の発光タイミングを、ユーザに提示すべき画像の焦点位置に応じて制御する構成となっている
項目２又は３に記載の体積型ディスプレイ。
（項目５）
さらにハーフミラーを備えており、
前記共振型液体レンズを透過した前記画像は、前記ハーフミラーを介して前記ユーザの視点位置に投影される構成となっている
項目１～４のいずれか１項に記載の体積型ディスプレイ。
本発明によれば、高速な画像提示が可能な体積型ディスプレイを提供することが可能になる。
本発明の一実施形態に係る体積型ディスプレイの概略的構成を示す説明図である。 図２（ａ）は、結像位置とＬＥＤの発光タイミングとの関係を模式的に示しており、横軸は時間（ｎｓ）、縦軸は結像位置（任意単位）である。図２（ｂ）は、ＤＭＤのＯＮ／ＯＦＦタイミングを模式的に示しており、横軸は時間（μｓ）、縦軸はＯＮ／ＯＦＦを示す。
以下、本発明の一実施形態に係る体積型ディスプレイを、図１を参照しながら説明する。
本実施形態の体積型ディスプレイは、画像投影部１と、共振型液体レンズ２とを主要な構成として備えている。さらに、この体積型ディスプレイは、ハーフミラー３と制御部４とを追加的な要素として備えている。
（共振型液体レンズ）
共振型液体レンズ２の焦点距離は、液体の共振を用いて周期的に調節されるようになっている。より具体的には、本実施形態の共振型液体レンズ２としては、ＴＡＧ（Tunable Acoustic Gradient index）レンズが用いられている。
このＴＡＧレンズについて以下において説明する。ＴＡＧレンズは、数１０ｋＨｚから数１００ｋＨｚで焦点距離を振動させることのできる液体レンズの一種である（前記非特許文献１７参照）。このデバイスは、円筒形容器に封入された透明な液体に軸対称な疎密波（超音波）の共振を励起し、それによって生成される軸対称の屈折率分布をレンズとして利用するものである。屈折率分布は、物質の屈折率がその密度に依存しているために生成される。適切な振動モードを選ぶと、屈折率分布は、軸対称のベッセル関数を振幅とする単振動となり、光軸付近では放物面に近い分布となる。ＴＡＧレンズは、屈折率分布の高さが時間とともに振動するため、凸レンズと凹レンズとの間を振動し続けることになる。振動の周期は、粗密波の固有周波数となる。レンズのサイズや液体の物性値にも依存するが、手のひらサイズのデバイスにより、数１０ｋＨｚから数１００ｋＨｚの固有振動周波数が得られるため、非常に高速な焦点距離の振動を得ることができる。共振型液体レンズとしては、例えばTAG optics社から市販されているＴＡＧレンズを用いることができる。本実施形態では、固有振動周波数６９ｋＨｚで屈折力が－１[dpt=1/m]から１[dpt]の範囲を振動するＴＡＧレンズを仮定するが、これに限るものではない。
（画像投影部）
画像投影部１は、共振型液体レンズ２を介して、ユーザの視点位置５（図１参照）に向けて画像を投影する構成となっている。
より具体的には、本実施形態の画像投影部１は、発光部１１と表示素子１２と集光レンズ１３とを備えている。
表示素子１２は、ユーザに向けて投影されるべき画像を形成する構成となっている。より具体的には、本実施形態の表示素子は、ＤＭＤ（Digital Micromirror Device）により構成されている。
発光部１１は、表示素子１２に光を照射することにより、表示素子１２に形成された画像をユーザの視点位置５に向けて投影する構成となっている。より具体的には、本実施形態の発光部１１は、表示素子１２に向けて照射されるべき光を発生するＬＥＤにより構成されている。発光部１１からの光線を図１において符号１４で示している。
発光部１１は、共振型液体レンズ２における焦点距離の変動周期の１／１０よりも短い時間内に（つまり短いタイムスロットで）、表示素子１２に向けて光を照射する構成となっている。これにより、本実施形態では、ユーザに向けて投影されるべき画像を、焦点距離の変動周期の１／１０よりも短い時間内に投影できるようになっている。この点についてはディスプレイの動作として後述する。
図１においては、表示素子１２において形成される模式的な像を符号１５により示し、表示素子１２による像を形成するための光線束を符号６で示している。また、符号６１は光線束６の主軸方向を示している。
（集光レンズ）
集光レンズ１３は、発光部１１からの光を集光して表示素子１２に送るものである。図１の例では、集光レンズ１３として単レンズを用いているが、複数のレンズの組み合わせにより必要な機能を発揮する構成とすることも可能である。
（ハーフミラー）
ハーフミラー３は、共振型液体レンズ２を透過した画像を、ユーザの視点位置５に向けて反射できる位置に配置されている。すなわち、本実施形態では、共振型液体レンズ２を透過した画像が、ハーフミラー３を介してユーザの視点位置５に投影される構成となっている。
また、ハーフミラー３は、外部からの光を透過させ、ユーザの視点位置に送るようになっている。これにより、外部の像（例えば実空間の像）に投影像を重畳できるようになっている。
（制御部）
制御部４は、発光部１１（具体的にはＬＥＤ）の発光タイミングを、ユーザに提示すべき画像の焦点位置に応じて制御する構成となっている。制御部４は、適宜なコンピュータハードウエア若しくはコンピュータソフトウエア、又はこれらの組み合わせによって構成することができる。この制御部４の詳しい動作についても後述する。
（本実施形態の動作）
次に、本実施形態に係る体積型ディスプレイの動作を、図２をさらに参照しながら説明する。
（基本的動作）
まず、共振型液体レンズ２を共振させることにより、その焦点距離を変動させる。これにより、共振型液体レンズ２からユーザに向けて投影される像の結像位置も変化する。結像位置の変化を図２（ａ）に示す。典型的には、結像位置は正弦波状に変化するが、これに制約されるものではない。共振型液体レンズ２として用いるＴＡＧレンズの周波数が６９ｋＨｚであるとすれば、結像位置の変動周期Ｔは１４．５μｓ程度となる。ただしこれもこの数値に制約されるものではない。
この結像位置の変動周期Ｔは、一般的に入手できる現在のディスプレイのフレーム周期よりも速い。例えば、ＤＭＤは最速のフレームレートを持つディスプレイの一つであるが、ＤＭＤであってもフレームレートは３２０００ｆｐｓ程度が限界であり、そのフレーム周期は３１．３μｓ程度である。このフレームレートの画像をそのまま共振型液体レンズ２に入射すると、１フレームの間に結像位置（つまり焦点距離）がほぼ２周期分変動してしまう。これでは特定の焦点距離に像を提示することができない。
本実施形態の発光部１１は、共振型液体レンズ２における焦点距離の変動周期Ｔ（図２（ａ）参照）の１／１０よりも短い時間内に、表示素子１２に向けて光を照射する。より具体的には、本実施形態では、５００ｎｓ程度あるいはそれ以下の時間Ｗ（図２（ａ）参照）内に発光部１１のＬＥＤを発光させる。発光部１２からの光の発生タイミングは、本例では、制御部４により制御される。
例えば、図２における時間ｔ１（図２（ａ）参照）において発光部１１を時間Ｗだけ発光させる。これにより、実質的に（すなわち人間の感覚における）特定の結像位置ｘ１（図２（ａ）参照）において像をユーザに提示することができる。
さらに、１フレームの時間間隔Ｖ（例えば３１μｓ、図２（ｂ）参照）内において、同じ結像位置ｘ１に対応する時間ｔ２～ｔｎ（図２（ａ）ではｔ５まで）に発光部１１を発光させれば、同じ結像位置において同じ像を、短い時間間隔で断続的にユーザに提示することができる。これにより、ユーザに明るい像を提示できるという利点がある。
三次元像をユーザに提示する場合、結像位置（つまり奥行き）に対応した像を、１フレームの間にユーザに提示する。この場合、その結像位置ｘｉに対応した時間ｔｉにおいて発光部１１を発光させれば、その結像位置における像を提示することができる。例えば、図１は、特定の位置（結像位置に対応する虚像位置）ｚ１～ｚ４に虚像を表示できることを模式的に示している。さらに、図１は、虚像の表示位置の変動範囲７も模式的に示している。これらの位置及び範囲も単なる例示であり、これらには制約されない。
このようにして、ユーザに三次元像を提示することができる。三次元像の模式的な例を図１において符号８で示す。なお、三次元像が現れる位置は、虚像位置の変動範囲７の内部である。前記した通り、１フレームの間に、同じ結像位置で複数の像を提示できるように発光部１１を発光させることにより、ユーザに明るい像を提示できる。
また、本実施形態では、ハーフミラー３を介してユーザに投影像を提示しているので、ユーザは、外部の像（例えば実空間の像）に投影像が重畳された画像を視認することができる。したがって、本実施形態の技術は、ＡＲやＭＲの実現に寄与することができる。
（実施例）
前記の説明を前提として、より具体的な例を以下に説明する。以下では、１ｍｓ以内に１volume（つまり一つの三次元像の提示）の提示が行えることを示す。
仮に、ＤＭＤのフレームレートを３２０００ｆｐｓとし，１０００volumes／ｓのレートで三次元像を提示することを考えると、１volumeの提示に最大でＤＭＤの３２フレームを割り当てることができる。
例えば、モノクロ１ｂｉｔ階調の画像を提示することを考える場合、奥行方向で３２段階に別々の像を提示できる。つまり、３２段階の奥行き情報を持つ三次元像を、１０００volumes／ｓのレートでユーザに提示することができる。
ここで、像の階調を増やして、モノクロ３ｂｉｔ階調の画面表示を考える。すると、一枚の画像の提示に、ＤＭＤの７フレーム分（＝１＋２＋４）が必要となる。奥行方向で４段階までの像を提示する例であれば、７×４=２８フレームを要することになる。これは３２フレーム未満なので、本実施形態の構成により、１ｍｓ以内に、階調表現のある一つの三次元像をユーザに提示可能であることが分かる。
図２（ｂ）は、ＤＭＤのＯＮ／ＯＦＦにより階調を表す動作を示す例である。良く知られているように、ＤＭＤでは各マイクロミラーのＯＮ／ＯＦＦを切り替えることにより階調表現を行うことができる。ＤＭＤのフレーム周期Ｖが例えば３１μｓであれば、その間は、マイクロミラーのＯＮ／ＯＦＦは一定である。前記したように、そのフレーム周期の間に、図２（ａ）に示すように発光部を動作させることで、特定の結像位置における像をユーザに提示することができる。したがって、前記の例によれば、１／１０００秒ごとに、表示内容が更新された立体像をユーザに提示することができる。ここで、図２はあくまで模式的なものであり、図２（ａ）の縮尺と、図２（ｂ）の縮尺は厳密なものではないことに注意する。
なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。
例えば、前記した実施形態では、ＬＥＤを用いた発光部１１とＤＭＤを用いた表示素子１２を用いて画像投影部１を構成したが、これには制約されない。例えば、ＬＥＤに代えて、ＬＥＤと同程度あるいはさらに高速な発光時間制御が可能な発光素子を用いることもできる。また例えば、画像投影部としてＯＬＥＤ、μＬＥＤ、ＬＥＤアレイのようなデバイスを用いることもできる。ただし、それらのデバイスのフレームレートが十分に速いものであることが好ましい。すなわち、特定の結像位置に対応する短い時間間隔で投影を行えるものであることが好ましい。
さらに、前記した実施形態では、ハーフミラー３を用いてユーザに像（虚像）を提示しているが、ハーフミラーを用いる必要はない。例えば、共振型液体レンズ２により焦点調節された像を、ユーザの目に直接に、又は何らかの光学系を介して投影することにより、ユーザに像（虚像）を提示することも可能である。
さらに、前記した実施形態では、画像投影部１が、共振型液体レンズ２の焦点距離の変動周期の１／１０よりも短い時間内に画像を投影する構成とした。しかし、１／１０よりもさらに短い時間、例えば焦点距離の変動周期の１／２０や１／３０であることも可能である。画像の投影時間が短いほど、精密な立体像を呈示できると考えられる。画像の投影時間が短い場合、立体像が暗くなることも考えられるが、同じ焦点位置において複数回の投影を行うことにより、明るい立体像をユーザに提示できる。
１ 画像投影部
１１ 発光部
１２ 表示素子
１３ 集光レンズ
１４ 光線
１５ 提示画像
２ 共振型液体レンズ
３ ハーフミラー
４ 制御部
５ 視点位置（ユーザの目）
６ 光線束
６１ 主軸方向
７ 虚像位置の変動範囲
８ 三次元像

Claims (5)

  1. 画像投影部と、共振型液体レンズとを備えており、
    前記共振型液体レンズの焦点距離は、液体の共振を用いて周期的に調節されるようになっており、かつ、前記焦点距離の変動周期（Ｔ）は、前記画像投影部における１フレームの時間間隔（Ｖ）の間に複数回の前記変動周期（Ｔ）を含むように設定されており、
    前記画像投影部は、前記共振型液体レンズを介して、前記１フレームの時間間隔（Ｖ）の間に、異なる時間であって同じ前記焦点距離となるタイミングで、同じ画像をユーザの視点位置に向けて投影する構成となっており、
    かつ、前記画像投影部は、前記焦点距離の変動周期の１／１０よりも短い時間内に前記画像を投影する構成となっている
    体積型ディスプレイ。
  2. 前記画像投影部は、発光部と表示素子とを備えており、
    前記表示素子は、前記画像を形成する構成となっており、
    前記発光部は、前記表示素子に光を照射することにより、前記表示素子に形成された前記画像を前記視点位置に向けて投影する構成となっている
    請求項１に記載の体積型ディスプレイ。
  3. 前記発光部は、前記光を発生するＬＥＤを備えており、
    前記表示素子は、ＤＭＤにより構成されている
    請求項２に記載の体積型ディスプレイ。
  4. さらに制御部を備えており、
    前記制御部は、前記発光部の発光タイミングを、ユーザに提示すべき画像の焦点位置に応じて制御する構成となっている
    請求項２又は３に記載の体積型ディスプレイ。
  5. さらにハーフミラーを備えており、
    前記共振型液体レンズを透過した前記画像は、前記ハーフミラーを介して前記ユーザの視点位置に投影される構成となっている
    請求項１～４のいずれか１項に記載の体積型ディスプレイ。
JP2019162573A 2019-09-06 2019-09-06 体積型ディスプレイ Active JP7353625B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019162573A JP7353625B2 (ja) 2019-09-06 2019-09-06 体積型ディスプレイ
US17/640,746 US11668952B2 (en) 2019-09-06 2020-08-31 Volumetric display
KR1020227011014A KR20220054873A (ko) 2019-09-06 2020-08-31 체적형 디스플레이
CN202080061918.0A CN114341711A (zh) 2019-09-06 2020-08-31 体积型显示器
PCT/JP2020/032814 WO2021044990A1 (ja) 2019-09-06 2020-08-31 体積型ディスプレイ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019162573A JP7353625B2 (ja) 2019-09-06 2019-09-06 体積型ディスプレイ

Publications (2)

Publication Number Publication Date
JP2021043232A JP2021043232A (ja) 2021-03-18
JP7353625B2 true JP7353625B2 (ja) 2023-10-02

Family

ID=74852945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019162573A Active JP7353625B2 (ja) 2019-09-06 2019-09-06 体積型ディスプレイ

Country Status (5)

Country Link
US (1) US11668952B2 (ja)
JP (1) JP7353625B2 (ja)
KR (1) KR20220054873A (ja)
CN (1) CN114341711A (ja)
WO (1) WO2021044990A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163644A (ja) 2002-11-13 2004-06-10 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法
JP2009535665A (ja) 2006-04-25 2009-10-01 ザ ボード オブ リージェンツ オブ ザ ユニヴァーシティ オブ オクラホマ ３次元像をレンダリングする光表面ディスプレイ
JP2016099631A (ja) 2014-11-25 2016-05-30 株式会社リコー 多焦点ディスプレイ、方法及びコントローラ
US20170301313A1 (en) 2016-04-13 2017-10-19 Google Inc. Resonant modulation of varifocal liquid membrane lens to provide multiple concurrent focal planes in vr display for realistic focus cues

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP2011090054A (ja) * 2009-10-20 2011-05-06 Sony Corp 可変光学素子、液体レンズアレイ素子、可変照明装置及び２次元／３次元画像切替表示装置
KR102344903B1 (ko) 2012-10-18 2021-12-28 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나 어드레스 가능 포커스 큐를 갖는 입체적 디스플레이
EP4167020A1 (en) 2015-12-22 2023-04-19 e-Vision Smart Optics Inc. Dynamic focusing head mounted display
US9927614B2 (en) 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163644A (ja) 2002-11-13 2004-06-10 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法
JP2009535665A (ja) 2006-04-25 2009-10-01 ザ ボード オブ リージェンツ オブ ザ ユニヴァーシティ オブ オクラホマ ３次元像をレンダリングする光表面ディスプレイ
JP2016099631A (ja) 2014-11-25 2016-05-30 株式会社リコー 多焦点ディスプレイ、方法及びコントローラ
US20170301313A1 (en) 2016-04-13 2017-10-19 Google Inc. Resonant modulation of varifocal liquid membrane lens to provide multiple concurrent focal planes in vr display for realistic focus cues

Also Published As

Publication number Publication date
JP2021043232A (ja) 2021-03-18
CN114341711A (zh) 2022-04-12
KR20220054873A (ko) 2022-05-03
WO2021044990A1 (ja) 2021-03-11
US11668952B2 (en) 2023-06-06
US20220342231A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
US11935206B2 (en) Systems and methods for mixed reality
Jang et al. Retinal 3D: augmented reality near-eye display via pupil-tracked light field projection on retina
JP7005644B2 (ja) 正しい単眼奥行き手がかりを持つニアアイシーケンシャルライトフィールドプロジェクタ
US10685492B2 (en) Switchable virtual reality and augmented/mixed reality display device, and light field methods
US10419731B2 (en) Virtual image generator
US10409082B2 (en) Adjustable focal plane optical system
CN112462517B (zh) 使用全息投影的多图像显示装置
US11889045B2 (en) Dynamic focus 3D display
Suzuki et al. 1000-volume/s high-speed volumetric display for high-speed HMD
US11695913B1 (en) Mixed reality system
US11924401B2 (en) System and method for displaying a 3D image with depths
JP7353625B2 (ja) 体積型ディスプレイ
Osmanis et al. Image sources in next-generation near-to-eye applications: challenges and solutions
中华人民共和国教育部 Research Hot Spots of Optical See-Through Augmented Reality Glasses

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230912

R150 Certificate of patent or registration of utility model

Ref document number: 7353625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150