JP3990865B2 - 3次元アンチエリアシングを用いた多平面ボリュメトリック表示システム及びその動作方法 - Google Patents
3次元アンチエリアシングを用いた多平面ボリュメトリック表示システム及びその動作方法 Download PDFInfo
- Publication number
- JP3990865B2 JP3990865B2 JP2000545126A JP2000545126A JP3990865B2 JP 3990865 B2 JP3990865 B2 JP 3990865B2 JP 2000545126 A JP2000545126 A JP 2000545126A JP 2000545126 A JP2000545126 A JP 2000545126A JP 3990865 B2 JP3990865 B2 JP 3990865B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- liquid crystal
- depth
- optical
- volumetric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 78
- 230000003287 optical effect Effects 0.000 claims description 308
- 239000004973 liquid crystal related substance Substances 0.000 claims description 66
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000000149 argon plasma sintering Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000007667 floating Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 5
- 239000000872 buffer Substances 0.000 description 54
- 230000006870 function Effects 0.000 description 32
- 239000005262 ferroelectric liquid crystals (FLCs) Substances 0.000 description 24
- 239000011521 glass Substances 0.000 description 21
- 230000007704 transition Effects 0.000 description 21
- 239000000758 substrate Substances 0.000 description 20
- 239000012528 membrane Substances 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 239000000463 material Substances 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 239000004033 plastic Substances 0.000 description 11
- 230000010287 polarization Effects 0.000 description 11
- 230000005684 electric field Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000003667 anti-reflective effect Effects 0.000 description 6
- 239000011248 coating agent Substances 0.000 description 6
- 238000000576 coating method Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 125000006850 spacer group Chemical group 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000004020 conductor Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000012530 fluid Substances 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000010408 film Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000003570 air Substances 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003098 cholesteric effect Effects 0.000 description 2
- 239000004927 clay Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003618 dip coating Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 150000002500 ions Chemical class 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004528 spin coating Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 229920002799 BoPET Polymers 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 235000016936 Dendrocalamus strictus Nutrition 0.000 description 1
- 206010049565 Muscle fatigue Diseases 0.000 description 1
- 239000005041 Mylar™ Substances 0.000 description 1
- 239000000020 Nitrocellulose Substances 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 239000011358 absorbing material Substances 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000007675 cardiac surgery Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010849 ion bombardment Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005499 meniscus Effects 0.000 description 1
- 239000002480 mineral oil Substances 0.000 description 1
- 235000010446 mineral oil Nutrition 0.000 description 1
- 229920001220 nitrocellulos Polymers 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- TVMXDCGIABBOFY-UHFFFAOYSA-N octane Chemical compound CCCCCCCC TVMXDCGIABBOFY-UHFFFAOYSA-N 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 229910052761 rare earth metal Inorganic materials 0.000 description 1
- 150000002910 rare earth metals Chemical class 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
- G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
- H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Generation (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
(背景技術)
本発明は、3次元(3D)イメージングに関し、特に、ボリュメトリック3次元画像(volumetric three−dimensional image)を空間中に発生させるための3Dアンチエリアシングを用いた多平面表示システムに関する。
【0002】
3次元(3D)画像とは、発生させると空間中に現れるように見えるものであることが知られている。通常、ゴーグル及び/又はヘルメットなどの特殊メガネ類が用いられるが、このようなメガネ類の装着は違和感を感じさせることがある。さらに、眼への付属品としての性質から、このようなメガネ類を装着すると、実際の3D画像を見る認知力が低下する。また、このようなメガネ類を用いることで眼に疲労が生じることがあるため、眼を疲労させないように3D画像を見る時間が制限されたり、このメガネ類は大きく装着することで不快感を感じる場合がある。
【0003】
このように、上記のようなメガネ類を用いることにより生じる欠点をもたないボリュメトリック3D画像及びディスプレイを発生させる必要がある。
【0004】
他のボリュメトリックシステムでは、例えば、自己発光ボリューム要素、すなわち、ボクセルを用いてこのようなボリュメトリック3D画像を発生する。カリフォルニア州マウンテンビューの3Dテクノロジー・ラボラトリーズ(3D Technology Laboratories)のシステムが一例であり、このシステムでは、希土類不純物イオンをドーピングしたソリッドガラス又はプラスチックボリュームで赤外線レーザービームを交差させると、このようなボクセルベースの画像が発生する。しかしながら、2本の不可視光の赤外線レーザービームから可視光を作り出す非線形効果の効率は、約1%と非常に低いため、大画面ディスプレイに明るい画像を作り出すには強力なレーザが必要となる。このようにレーザーが強力なものになると、眼を害する要因となる場合があるため、ディスプレイの周りに相当な保護用の囲いを設ける必要が生じる。さらに、通常、走査型のレーザーは低解像度となるため、ボクセル数が少なくなり、さらには、ボリュメトリックメカニズムのソリッド特性により、非常に重量のある大型のシステムとなる。
【0005】
マサチューセッツ州ケンブリッジのアクチュアリティ・システムズ,インコーポレイテッド(Actuality Systems,Inc)による別のボリュメトリック表示システムでは、高速スピン多面鏡から高速スピン投影スクリーンに反射されるレーザーダイオードの線形アレイが用いられている。しかしながら、このような高速スピン部品は、その大きさが比較的大きい場合があり、振動や起こる可能性がある規模の大きな破壊を防ぐように慎重にバランスをとらなければならない。さらに、ディスプレイ内のボクセルのサイズ、形状及び方位は、それらの位置に左右されるため、ディスプレイの解像度が位置依存性のものとなる。
【0006】
別のボリュメトリック表示システムが、フロリダ州メルボルンのネオズ・テクノロジーズ,インコーポレイテッド(Neos Technologies,Inc.)により提供されており、このシステムは、高速スピン螺旋状投影スクリーンに音響光学的にレーザービームを走査する。このようにスピン部品が大きいと、ディスプレイの動きと無関係に慎重にバランスを維持させる必要が生じる。レーザー走査システムは、低解像度・低速のもので、ボクセル数が大幅に制限されてしまう。さらに、ディスプレイ内のボクセルのサイズ、形状及び方位は、それらの位置に左右されるため、ディスプレイの解像度が位置依存性のものとなる。最後に、ディスプレイが厳密に直線的なものではないという性質により、異なる2次元画像を計算する処理要求が大幅に増大する。
【0007】
立体ディスプレイなど、知られている他のタイプの3Dイメージングシステムでは、ある情景の僅かに異なる透視図を両眼のそれぞれに与える。次いで、脳が別々の画像を合わせて1つの3D画像にする。これらのシステムの中には、単一の視点のみを与えて特殊メガネ類を必要とするか、又はヘッドトラッキングを実行してメガネ類を不要にするものもあるが、これは3D画像の観察者が1人だけに限られてしまう。この替わりとして、ディスプレイは、多視野自動立体ディスプレイなど、異なる角度にある多数の視野ゾーンに、視点に合わせた各ゾーンの画像を与える場合もある。ユーザーの眼は、離れた場所に位置するが、3D画像を見るためには視野ゾーンの近傍になければならず、さらに、ディスプレイに対して観察者が移動する場合に生じる不安定なジャンピングを防ぐには、視野ゾーンを非常に狭くしなければならない。このようなシステムの中には、横方向の視差/視る範囲のみしかないものがある。さらに、深さの焦点収束が一致しなければ、急速に眼精疲労が生じる場合があり、観察時間が大幅に限られてしまう。さらに、立体ディスプレイは、視野が限られていることから、仮想現実及び/又はフォースフィードバックインターフェースなどの直接的な相互作用技術とともに現実的に使用不可能である。
【0008】
仮想現実の応用では、通常、ヘッドマウンティング式ディスプレイ(HMD)が用いられており、このディスプレイでは、一対のビデオディスプレイが左右眼のそれぞれに適切な透視図を与える。1つのHMDは、一度に1人のみでしか使用できず、それぞれの眼に与える視野は制限される。ヘッドトラッキングは、視差をもたらすように使用されなければならない。
【0009】
他の表示システムには、ホログラフィーディスプレイがあり、このディスプレイでは、ホログラフィー回折格子として知られる非常に微細なラインのパターンとコヒーレントレーザー光を相互作用させて画像が作り出される。この回折格子は、入射光の方向及び強度を変えるため、表示される物体の位置からくるように見える。しかしながら、通常の光ホログラムには大量の情報が含まれているため、ホログラフィーディスプレイを高速に更新することは、演算上集中的なものとなる。比較的サイズが大きく視野も十分なホログラフィーディスプレイの場合、ピクセル数は一般に、2億5千万個よりも多くなる。
【0010】
したがって、処理システムで演算上許容可能な要求で、見える能力と実行性を高めた高品質ボリュメトリック3Dイメージングが必要とされている。
【0011】
さらに、3次元イメージングにおいて、別々のボクセルを用いると、例えば、ボリュメトリック3D画像の別々の深さ間での移行部にある特徴のピクセル化により、画像の部分がギザギザな状態に見える。ボリュメトリック3D画像部分間の移行部を和らげる方法が必要とされている。
【0012】
(発明の開示)
ボリュメトリック3次元画像を発生させる多平面ボリュメトリックディスプレイ(MVD:Multi−Planar Volumetric Display)システム及びその動作方法を開示する。MVDシステムは、アレイ状に配設された複数の個々の光学要素を含む多面光学装置と、多面光学装置のそれぞれの光学要素上に画像のセットを選択的に投影して、多面光学装置で観察可能な第1のボリュメトリック3次元画像を発生させる画像プロジェクタと、多面光学装置から第1のボリュメトリック3次元画像を投影して、多面光学装置から離れた位置で、空間中にフローティングするように見える第2のボリュメトリック3次元画像を発生させるフローティング画像発生器とを含む。
【0013】
多面光学装置の複数の個々の光学要素はそれぞれ、制御可能な可変の半透明性を有する液晶要素を含む。また、液晶要素の半透明性を制御するために、光学要素コントローラが設けられていることで、1つの液晶要素が不透明の光散乱状態をもつように制御されて、画像プロジェクタから画像のセットのそれぞれ1つを受けて表示し、さらに残りの液晶要素が、ほぼ透明になるように制御されて、不透明な液晶要素上に表示された画像が観察可能になる。
【0014】
光学要素コントローラが、複数のイメージングサイクル中に高速で複数の液晶要素にラスタ動作を実行して、ある特定のイメージングサイクル中に不透明な光散乱状態になるように、複数の液晶要素から1つの液晶要素を選択し、不透明な光散乱状態が液晶要素を介して移動して、画像のセットを連続して受け、3次元の深さを有するボリュメトリック3次元画像を発生する。
【0015】
画像プロジェクタが、画像のセットを多面光学装置に投影して、35Hzよりも高速に第1のボリュメトリック3次元画像全体を多面光学装置に発生させて、人間が認知可能な画像のちらつきを防ぐ。例えば、ボリュームレートが約40Hzであってもよい。一実施形態では、例えば、約50個の光学要素が約40Hzのボリュームレートで用いられる場合、画像プロジェクタが、2kHzの速度で画像のセットのそれぞれを各光学要素に投影する。
【0016】
画像プロジェクタは、画像のセットを出力するプロジェクタレンズを含む。また、このプロジェクタは、プロジェクタレンズからの画像のセットの投影の解像度と深さを制御するために、画像のセットのそれぞれの焦点を各光学要素上に合わせる適応光学集束システムを含む。この替わりとして、又はこれに追加して、画像プロジェクタは、複数の色で画像のセットを発生させ投影するために、赤、緑、青のレーザー光をそれぞれ投影する複数のレーザー光源を含む。
【0017】
さらに、3Dアンチエリアシング法を用いて、多面光学装置にある光学要素間の移行部で投影された画像の部分を滑らかにする。アンチエリアシングにより、光学要素間の遷移部のボクセルが調節されることで、ボクセルの色値が、光学要素からボクセルの距離の関数として修正されて、ボリュメトリック3次元画像の部分間の移行部が滑らかになる。
【0018】
(好ましい実施形態の詳細な説明)
以下図1を参照すると、事実上体積的である(ボリュメトリックである)3次元(3D)画像を発生させる多平面ボリュメトリック表示システム10が設けられており、この3D画像は、3D空間のある一定の限定されたボリュームを占め、画像が現れる位置に存在する。したがって、立体表示方法などにより光学的な視覚の錯覚を生じさせて、画像が3Dであるように認識させるものと異なり、このような3D画像は真の3Dである。
【0019】
このシステム10により発生する3D画像は、解像度が非常に高く、広い色範囲で表示できるため、実際の物体を見ているような特性を備えることができる。例えば、このような3D画像は、横と縦の両方の動きの視差又は見る範囲をもつ場合があるため、3D画像を3Dに見える状態のままで、視覚的刺激を観察者12が動いても与えることができる。
【0020】
さらに、3D画像を見るために立体表示用のバイザやメガネなど、眼精疲労などを起こして違和感を感じさせるために欠点となっていた特殊なメガネ類を、観察者12が全く装着する必要がない。さらには、3D画像は、横方向と縦方向の両方に連続した視野をもつもので、横方向の視野はあるディスプレイ構造で360°に等しいものである。さらに、観察者は、3D認知を失わずに、MVDシステム10から任意の視距離の位置にいてよい。
【0021】
多平面ボリュメトリック表示システム10は、グラフィックデータ源16から3Dグラフィックデータを受信するインターフェース14を含み、このグラッフィクデータ源16は、システム10に組み込まれたり、又は例えば、遠隔地から通信チャネルを介してシステム10に動作可能に接続され、従来の遠隔通信リンクやインターネットなどの任意のネットワークで接続されてもよいコンピュータなどである。インターフェース14は、カリフォルニア州サンタクララのインテル社(Intel)から入手可能な、PCIバスや高速グラフィックポート(AGP)インターフェースであってよい。IEE1014規格で標準化されたVMEバックプレインインターコネクションバスシステム、小型コンピュータシステムインターフェース(SCSI)、アップル社(Apple)のMacintoshコンピュータで使用されているNuBus高性能拡張バスシステム、及び他のシステムと共に、インダストリー・スタンダード・アーキテクチャ(ISA)インターフェース、拡張ISA(EISA)インターフェース、ユニバーサル・シリアル・バス(USB)インターフェース、現在IEEE1394規格として標準化され、コンピュータに高速通信及び等時性リアルタイムデータサービスを提供するファイアワイヤバスシステムと共に、公開又は独占的なインターフェースなど、他のインターフェスを用いてもよい。
【0022】
インターフェース14は、非常に高速な画像バッファを含む多平面ボリュメトリックディスプレイ(MVD)コントローラ18に、3Dグラッフィックデータを送信する。ボリュメトリック3D画像として見える3次元画像は、MVDコントローラ18により、3D画像を介して深さが変化する場所にある連続した2次元画像スライスに変換される。次いで、画像のスライスに対応するフレームデータは、MVDコントローラ18の高速画像バッファから画像プロジェクタ20へと高速に出力される。
【0023】
MVDコントローラ18及びインターフェース14は、カリフォルニア州マウンテンビューのシリコン・グラフィックス社(Silicon Graphics)から市販されている、OCTANEグラフィックワークステーションなどのコンピュータで実行されてもよい。また、例えば、195Hzの縮小命令セットコンピュータ(RISC)のマイクロプロセッサを用いたパーソナルコンピュータ(PC)など、他の一般的なコンピュータを用いたシステムを使用してもよい。したがって、開示するMVDシステム10及びその部品は、ハードウェア及び/又はソフトウェアの特定の実施又は現実化に限定されるものではないことを理解されたい。
【0024】
グラフィックデータ源16は、任意に、アプリケーション・プログラム・インターフェース(API)を動作するコンピュータのグラフィック用アプリケーションプログラムや、インターフェース14などの入出力(I/O)デバイスを介してコンピュータのMVDコントローラ18に適切な形式で3D画像データを与えるデバイスドライバであってもよい。MVDコントローラ18は、例えば、パーソナルコンピュータで実行され、任意に、特殊なデータ処理用の拡張カードを用いたハードウェア及び/又はソフトウェアであってよい。
【0025】
例えば、MVDコントローラ18の拡張カードには、グラフィックデータ源16からの3Dデータセットを、スライス24〜30に対応する多平面データセットを形成する連続した2次元画像に変換する、グラフィックハードウェア及び/又はソフトウェアが含まれていてもよい。このように、3D画像34は、手術のシミュレーション、航空交通制御、又は軍事用の指令及び統制など、実世界の応用に、リアルタイム又はほぼリアルタイムの更新速度で発生される。また、このような拡張カードには、3Dデータセットとテクスチャメモリを操作して、3D画像のテクスチャマッピングを実行するジオメトリエンジンが含まれていてもよい。
【0026】
画像データを画像プロジェクタ20に伝送する前に、MVDコントローラ18又は、その替わりとしてグラフィックデータ源16が、画像データ上に3Dアンチエリアシングを実行することで、3D画像34に表示される特徴を滑らかにして、z軸に垂直なx−y平面に整列させた光学要素36〜42を有するMOEデバイス32の本来別個のボクセル構造により生じるディスプレイのピクセル化により、例えば、z方向に沿った平行平面間の深さのギザギザな線が出ないようにする。画像スライス24〜30に対応するデータが発生するにつれ、画像素子が、平面の移行部縁付近、すなわち、光学要素36〜38などの光学要素間に現れることがある。特定の画像素子で突然に移行しないように、スライス24、26は共に、画像44〜46のそれぞれが特定の画像素子を含むように発生されるため、画像素子は、光学要素36〜38により形成された両平面間で共有され、移行部を滑らかにして、3D画像34がより連続的に現れるようにできる。それぞれの連続した光学要素上の画像素子の輝度は、画像データの画像素子の位置に応じて変化するものである。
【0027】
また、グラフィックデータ源16及びMVDコントローラ18は、MVDコントローラ18への画像データの転送率を最大限にして画像を発生させるように、インターフェース14を介してゼロの連続の符号化を実行してもよい。モーション・ピクチャ・エキスパート・グループ(MPEG)データ通信規格やデルタ(Δ)圧縮など、他の画像データの転送技術を用いてもよいことが理解される。
【0028】
3D画像には、40Hzの速度で更新される約50SVGA解像度の画像が含まれている場合があり、表示される生データ信号速度が2GB/secよりも大きくなる。このような生データ信号速度は、ゼロを伝送しないことにより大幅に低減される。通常、物体の内部、前景物体により遮られている背景物体、およびその周りの空の空間に関連する多数のゼロにより、ボリュメトリック3D画像が表される。グラフィックデータ源16は、連続したゼロがゼロ連続フラグ(ZRF)又はゼロ連続符号により表され、その後に連続長が続くか又はそれに関連させるように画像データを符号化してもよい。このように、ゼロのカウントは、ゼロを送信せずに表示して送信されてもよい。MVDコントローラ18の3Dデータ画像バッファが初期化されて、すべてのゼロを格納してもよく、画像データが画像バッファに格納されると、ZRFフラグを検出することによって、MVDコントローラ18が、ゼロの連続長に等しいデータ位置又はピクセル数だけ、バッファで先に飛び越すことができる。次いで、3Dデータ画像バッファは、2次元画像を発生させるために、SLMを動作するSLMドライバを含む場合がある画像プロジェクタ20に出力される3Dデータを含む。
【0029】
画像プロジェクタ20は、高フレームレートで時系列に3D画像の2次元スライス24〜30を多数の光学要素(MOE)からなる装置32に投影し、選択的にイメージングして、観察者12にはMOE装置32の空間にあるように見える第1のボリュメトリック3次元画像34を発生させる。MOE装置32は、複数の光学要素36〜42を含み、これらの光学要素は、MVDコントローラ18の制御下で、2次元画像44〜50が表示される場合、スライス24〜30をそれぞれ選択的に受け、1つの光学要素は、各フレームレートサイクル中にそれぞれのスライスを受けて表示する。MVDコントローラ18により発生された深さスライスの数は、光学要素36〜42の数に等しいものであり、言い換えれば、各光学要素は、発生及び表示されるボリュメトリック3D画像の深さ解像度のユニットを表すものである。
【0030】
光学要素36〜42は、例えば、ネマチック、強誘電、コレステリック材料か、又はこのような組成の当業者には知られている修正ケントステート法を用いたコレステリックテクスチャなどの他のポリマー安定化材料からなる液晶ディスプレイであってもよい。
【0031】
表示される画像のセットとして、MOE装置32の光学要素36〜42によりスライス24〜30のそれぞれはすべて、以下に示すような十分に高いフレームレート、例えば、約35Hzよりも速い速度で表示されるため、人である観察者12は、立体表示用ヘッドセットを用いずに直接見て、個々の2次元画像44〜50ではなく、連続したボリュメトリック3D画像34を認知する。したがって、図1に示すように、画像44〜50は、球体の断面図であるため、このように発生した3D画像34は、MOE装置32を形成する光学要素36〜42の真中に位置する球体として、観察者12には見えることになる。
【0032】
代替実施形態では、画像44〜50は、球体の下側にキャプションとしての2Dテキストや、球体上の2Dテキストなど、2Dと3Dを混合させて表して画像全体を表示させるように発生されてもよい。応用の1つには、グラフィック・ユーザー・インターフェース(GUI)コントロールパッドがあり、これは2Dと3Dの両方の画像特徴をもつことで、仮想フラットスクリーンディスプレイとして2Dスクリーンが現れ、仮想フラットスクリーンディスプレイ上に現れる球体などの3D画像を有する、MICROSOFT WINDOWS 95などのGUIを観察者12が観察することができる。
【0033】
第1のボリュメトリック3D画像34は、配置の範囲内で見ることができる。さらに、第1のボリュメトリック3D画像34からの光52は、MOE装置32からの距離で空間にフローティングしている第1のボリュメトリック3D画像34とほぼ同じ画像であるように観察者12に表示される、第2のボリュメトリック3D画像56を発生するように実像プロジェクタ54によってさらに処理される。実像プロジェクタ54、あるいはその代わりにフローティング画像プロジェクタは、MOE装置32から出される光52を集光し、3D画像34を外側に自由空間に再イメージングするレンズ及び/又は鏡のセットであってもよい。実像プロジェクタ54は、従来の球面鏡あるいは放物面鏡を含み、MOE装置32の光学軸上にある信号観察ゾーンを発生する高精細体積ディスプレイ(HDVD)であってもよい。
【0034】
例えば、実像投影システムは、Princeの米国特許第5,552,934号、及びCrabtree,IVの米国特許第5,572,375号に記載されている装置であってもよく、これらの特許の各々は参照してここに組み込まれる。他の実施形態では、ホログラフィーレンズは、光学軸と整列した中心領域の1つの観察ゾーンのような複数の観察ゾーン及び光学軸のどちらかの側の観察ゾーンの場合を除いて、フローティング画像56を発生するように従来の球面鏡あるいは放物面鏡と同じ機能を有する実画像プロジェクタ54によって使用されてもよいので、複数の3Dフローティング画像56は複数の観察者によって観察されてもよい。
【0035】
他の代替の実施形態では、実像プロジェクタ54は、予め存在する物体の記録画像を示していない、ホログラフィー光学要素(HOE)、すなわち、従来の意味でホログラムを含んでもよい。その代わりに、HOEは、入射光を受光し、反射し、かつ再び向けるレンズ及び/又は鏡のような従来の光学要素の役目を果たす。ガラスあるいはプラスティックのような従来の光学要素に比べて、HOEは、非常に軽量で、再生するのに安価であり、従来の光学素子で使用可能ではない固有の光学特性も持ってもよい。例えば、HOEは、所定の光学軸から異なる角度で同じ物体の複数の画像を発生できるので、比較的小さいHOEを使用するディスプレイの視野は、従来の光学素子に対して必要に応じて光学素子サイズを増加しないで非常に増加できる。したがって、実像プロジェクタ54として少なくとも一つのHOEを使用して、MVDシステム10は、比較的コンパクトなシステムに360°の視野を備えるように製造されてもよい。さらに、レーザ光源を組み込む画像プロジェクタ20に関しては、HOEは、HOEの波長選択性によるこのようなレーザ光源と高性能に関して特に適合している。
【0036】
ボリュメトリック3D画像34、56のいずれかは、観察者12に対してボリューム及び深さ、及び任意には色も有するようにみえるので、多平面ボリュメトリック表示システム10は、外科手術を教示する立体感のあるアニメーションに対して後述される例のような、仮想現実及び触覚の用途に適合されてもよい。実像プロジェクタ54は、フローティング3D画像56が仮想対話に対して直接アクセスできることを可能にする。MVDシステム10は、画像34、56のいずれかを操作しようと試みる観察者12に対応する観察者12からの手の動きを受け取る、ユーザフィードバック装置58を含んでもよい。このような手の動きは、画像34、56の1つあるいは両方を修正し、観察者12の動きに応答するようにみえるようにMVDコントローラ18へのインタフェースに伝達される制御信号として、ユーザフィードバック装置58によって変換されてもよい。一方、ユーザフィードバック装置58は、画像34、56の1つあるいは両方を修正するために、3Dグラフィックスプロセッサを含むグラフィックデータ源16に動作可能に接続されてもよい。
【0037】
多数の新しい対話技術は、実像プロジェクタ54を使用するMVD10の改良された性能をもたらす。例えば、マサチューセッツ州ケンブリッジ市のセンシブルデバイズ(SENSIBLE DEVICES)社によって開発されたフォースフィードバックインタフェースは、MVDシステム10が手で3D画像34、56に実際感知し、操作する能力を与えることができる効果的な使用可能な技術である。適切なプログラミングで、観察者12は、あたかも画像が粘土であるかのように3次元画像を、本出願の譲受人のディメンションナル・メディア・アソシエート(DEMENSIONAL MEDIA ASOCIATES)の商品のディジタルクレイと呼ばれるシステムを使用して彫塑できる。
【0038】
フォースフィードバックインタフェースを有するMVDシステム10の他のアプリケーションは、ユーザが、外科医としての許可を得て、革新的な新しい処置を実行し、あるいはそれどころか遠隔手術を、例えばインターネット通信プロトコルを使用するインターネットを介して実行するために、仮想鼓動のようなアニメーションを含み、ユーザによる仮想プロッディングに反応する3次元仮想解剖を見て、感知することができる外科シミュレータ及びトレーナーである。
【0039】
触覚作用は、実時間シミュレーション及びMVDシステム10によって発生された3D画像で作動するユーザの刺激を与えるように、アニメーションとこのように結合されてもよい。例えば、観察者12は、外科医が仮想現実で第1の3D画像34を観察し操作する、医学生を教える外科医であってもよいが、学生は、第1の3D画像34の変化に応答する実像プロジェクタ54により対応して操作され、修正された第2の3D画像56を観察する。次に、学生は、3D画像34、54のようなアニメーションをイメージングすることによって鼓動でさえあってもよい心臓の画像のような画像34を個別に操作するために回転を行ってもよい。次に、教えている外科医は、あたかもこのような画像が心臓外科手術のシミュレーションのように現実であるかのように、画像操作を実行する際に学生を観察し、採点する。
【0040】
MOE装置
例示された実施形態では、MOE装置32は、ガラス、プラスティック、液体、あるいは空気スペーサによって分離される光学要素36〜42として、ガラスで構成される単一ピクセル液晶ディスプレイ(LCD)のスタックで構成されている。一方、光学要素36〜42は、軽量構造のような様々な長所を有するプラスティックあるいは他の物質で構成されてもよい。ガラス、プラスティック、及び/又は空気スペーサは、内部界面での反射を除去するように光学的に連続している形状のガラスLCDと結合されてもよい。LCD及びスペーサの表面は、光学接触、屈折率整合流体、あるいは光学結合剤のいずれかによって光学的に結合されてもよい。一方、スペーサは、水、鉱物オイル、あるいは屈折率整合流体などの流体と取り換えられてもよい。このような流体は、MOE装置32を冷却するために外部冷却装置によって循環することができる。さらに、このような流体を間に設けたMOE装置32は、全重量を減らすように空の状態で輸送され、設置されてもよく、間に設ける液体は設置後に加えられる。
【0041】
好ましい実施形態では、光学要素36〜42は、平面であり、矩形であるが、任意に曲げられてもよいし及び/又は円筒状のような任意の形状のものであってもよい。例えば、円筒状LCDディスプレイは、押しだし成形のような異なる技術によって製造されてもよいし、互いの内部でぴったりと重ね合わされてもよい。光学要素36〜42間の間隔距離は、一定であってもよいしあるいは他の実施形態では、MOE装置32の深さが、光学要素36〜42の数を増加させないで非常に増加されてもよいように可変であってもよい。例えば、観察者12の目が、増加された観察距離に対する深さ感度を失うので、観察者12からさらに遠くに置かれた光学要素はさらに遠くに離れて置かれてもよい。光学要素36〜42間の間隔が観察者12からの距離と共に直線的に増加した、対数関数の間隔が実現されてもよい。
【0042】
光学要素36〜42は、図2に示されるような明るい非常に透明な状態と、図3に示されるような不透明な非常に散乱している状態との間で迅速にスイッチされるように、例えばMVDコントローラ18のMOE装置ドライバによって、迅速に電子的にスイッチされる特性を有する液晶形態で構成されている。図2〜図3を参照すると、光学要素36の断面が図示され、液晶分子60〜64は、ガラス、プラスティック、あるいは空気スペーサであってもよく、基板66〜68のそれぞれに加えられた透明導電層70、71も有してもよい基板66〜68間に懸濁されてもよい。
【0043】
導電層70、71は、優れた透明性及び低抵抗を有するが、ガラスあるいはプラスティックの基板66〜68の屈折率に比べて比較的高い屈折率を有する、インジウムスズ酸化物(ITO)のスパッタ薄膜あるいは蒸着薄膜で構成されてもよい。これらの材料間の屈折率差は、その界面で反射を生じることもあり、反射防止(AR)材の付加コーティングあるいは層は、望ましくない反射のような反射光量を減らすように、導電層70、71と基板66〜68との間で基板66〜68上に任意に配置されてもよい。例えば、76nmのような典型的な光の波長の1/4の光学的厚さを有し、約1.8の屈折率を有するAR層は、基板導電層界面での反射を非常に低いレベルに減らす。
【0044】
ARコーティングを使用することによって、光学要素36〜42間の間隔材料は、それの間の空気あるいは真空状態を残すように取り除かれてもよいので、MOE装置32の全重量を減らす。このようなARコーティングは蒸着された誘電体でもよいし、あるいは蒸発あるいはスパッタされた誘電体であってもよい。一方、ARコーティングは、スピンコーティング、ディップコーティング、あるいはゾルゲル(SOL−GEL)を有するメニスカスコーティングによって塗布されてもよい。
【0045】
図2を参照すると、このような導電層70、71を使用して、それとの間の電源72は、例えばMVDコントローラ18から、殆どあるいは全然散乱のない光学要素36を通して光76を液晶分子60〜64に整列させ、透過させる光学要素36の基板66〜68間に電界74を発生するので、光学要素36はほぼ透明である。
【0046】
図3を参照すると、電圧72の除去は、例えば、MVDコントローラ18によって制御される迅速にスイッチ可能なスイッチ78を開くすることによるような、導電層70、71間で回路を開くすることによって起こり得る。電圧72のこのような除去の際に、液晶分子60〜64は、ランダムに配向されているので、光76は散乱光80を発生するようにランダムに散乱される。この構成では、光学要素36は不透明に見えるので、画像プロジェクタ20によってそれに集束されたそれぞれの画像44を受像し、表示する投影スクリーンとしての役目を果たしてもよい。
【0047】
他の実施形態では、図2〜図3を参照すると、図示された光学要素36は、第1の基板66に隣接する導電層70をアースに接続すると同時に、第2の導電層68に隣接する導電層71を約50V〜約250Vの範囲にある電圧のような供給電圧に接続することによって、図2に示された透明状態にあるように作動されてもよい。光学要素36を図3のような散乱不透明状態にあるように切り換えるために、電圧の印加は反転される、すなわち、導電層71は、約1ms〜約5msのような所定の遅延のためにアースにされ、次に導電層70は供給電圧に接続される。この手順は、光学要素36を透明状態に戻すように再度反転される。したがって、平均直流(DC)あるいは電圧は、一定印加電圧を有することによって故障をもたらし得る光学要素36に全く印加されない。さらに、加熱を生じ、光学要素への電力要件を増加する連続的な交流(AC)あるいは電圧も全くない。
【0048】
動作中、MOE装置32の光学要素36〜42の1つだけは、所与の時間に散乱不透明な状態にあるので、散乱平面あるいは散乱表面を形成する。画像プロジェクタ20は投影サイクル中、高速度でスライス24〜30を投影し、1スライスはサイクル毎に放射されるので、散乱平面は、効果的に可変深さの投影スクリーンを形成するようにMOE装置32の深さを通して迅速にラスタ動作を実行されると同時に、残りの透明光学要素によって、観察者12は受像された画像スライス24〜30からの表示画像を見ることができる。
【0049】
図4〜図7に示されるように、連続フレームデータは、画像82〜88をフレームデータから発生するようにMVDコントローラ18から画像プロジェクタ20に供給されるので、MVDコントローラ18は、画像82が図4のように光学要素36の上に放射されるとき光学要素36は不透明であり、画像84が図5のように光学要素38の上に放射されるとき光学要素38が不透明であり、画像86が図6のように光学要素40の上に放射されるとき光学要素40が不透明であり、画像88が図7のように光学要素42の上に放射されるとき光学要素42が不透明であるように、光学要素36〜42のスイッチングを同期化する。MVDコントローラ18は、画像プロジェクタ20が、フレームデータ1〜4のセットのそれぞれからそれぞれの画像82〜88を発生するのに十分な時間を遅延中に有するように、各フレームデータのセットを画像プロジェクタ20に供給することと、所与の光学要素を不透明にさせることとの間に遅延を導入してもよい。
【0050】
図4〜7を参照すると、1つの光学要素が不透明であり、それぞれの画像をそれの上に表示するが、残りの光学要素は透明であるので、光学要素36上の図4の画像82は、例えば少なくとも光学要素38を通して見ることができ、同様に画像84は図5の少なくとも光学要素40を通して見ることができ、画像86は少なくとも光学要素42を通して見ることができる。画像82〜88は、比較的高速度で不透明な状態及び透明状態にスイッチされる光学要素36〜42上に画像プロジェクタ20によって高速で表示されるので、画像82〜88は単一ボリュメトリック3D画像34を形成する。
【0051】
認知できるちらつきなしに連続するボリュメトリック3D画像34を形成するために、各光学要素36〜42は、それぞれの画像を受像するためにあり、約35Hzよりも大きいフレームレートで不透明な状態にスイッチされるべきである。したがって、全3D画像をリフレッシュ及び/又は更新するために、画像プロジェクタ20のフレームレートは、約N×35Hzよりも大きいべきである。40Hzの個別の光学要素フレームレートを有するMOE装置32を形成する50個のLCD素子のスタックに関しては、画像プロジェクタ20の全フレームレートは、約50×40Hz=2kHzよりも大きいべきである。MVDシステム10による高性能及び/又は高品質ボリュメトリック3Dイメージングは、約15kHzの画像プロジェクタ20のより大きいフレームレートを必要としてもよい。
【0052】
一実施形態では、図4〜図7の画像82〜84は、逐次表示され、このような逐次フレーム配列は、MOE装置32の全ボリュームの光学要素36〜42を更新するためのボリューム周期毎に一度の深さの範囲の更新である。このような逐次フレーム配列は、静止画像82〜88に対して約32Hz、及び動きを表示する画像82〜88に対して約45Hzのフレーム表示レートのような限界のフレームレート要件で十分であることもある。代替実施形態では、半ランダム平面配列は、各光学要素がボリューム周期毎に一回さらに更新されるだけであるけれども、画像ジッタを低下させ、深さの範囲がより高い周波数で更新される動きアーティファクトを減少させるように実行されてもよい。画像プロジェクタ20のフレームレートを増加させないで認知されたボリュームレートを増加させるこのような半ランダム平面配列は、偶数番号の付いた平面が画像で照らされ、次に奇数番号の付いた平面が照らされる多平面インタレーシングを含む。
【0053】
MOE装置32は、画像プロジェクタ20で最初に発生された画像解像度を保持し、高忠実度3次元画像を提供する。液晶パネル36〜42は、非常に透明で、明るさにごりがなく、透明状態であり、画像プロジェクタ20からの光及び画像が有効的にほぼ散乱されている不透明な散乱状態と、明るく透明な状態とを迅速に切り換えることができる。
【0054】
他の実施形態では、MOE装置32は軽量であるように構成されてもよい。液晶パネル36〜42は、その内部表面上に透明導電層70、71を被覆された一対のガラス基板で構成されてもよく、透明導電層70、71は絶縁層で被覆されている。ポリマー配向層は絶縁層上に最適に配置されてもよい。所与の液晶パネルの基板間に、液晶組成の薄い層が約10〜20ミクロンの厚さであるように配置されている。
【0055】
パネルの大部分のボリューム及び重量は、パネルの横方向のサイズ及び数が増加されるとき、潜在的に非常に重いMOE装置32に寄与するガラス基板に関連している。プラスティック基板で構成される液晶パネル36〜42の実現は、重量の増加に対する1つの解決策である。他の実現は、非常に薄いプラスティック基板上にロール・ツー・ロール法でMOE装置32の光学要素を製造し、連続して非常に低いコスト方法によって製造される処理方法を使用することを含む。
【0056】
MOE装置32に対してこのような比較的軽量の部品を使用すると、MOE装置32も、動作中でない場合、MVDシステム10が携帯であり得るように折り畳み式であってもよい。さらに、光学要素36〜42は、さらにあるいはスピンコーティングあるいはディップコーティングによって有機的に塗布されるITO層のような液晶技術の代わりに他の無機材料を含んでもよい。
【0057】
高フレームレート画像プロジェクタ
MVDシステム10によって発生された3次元画像34、56の最大解像度及び色深さは、高フレームレート画像プロジェクタ20の解像度及び色深さによって直接決定される。MOE装置32の役割は、主に画像プロジェクタ20からの一連の2次元画像を3Dボリュメトリック画像に変換することにある。
【0058】
一実施形態では、画像プロジェクタ20は、短いアークを有するアークランプ光源を含む。ランプからの光は、カラー分離光学素子によって赤成分、緑成分及び青成分に分離され、3つの分離空間光変調器(SLM)を照明するために使用される。SLMによって変調後、3つのカラーチャネルは、単一ビームに再結合され、スライス24〜30からの各それぞれの2次元画像が、光学要素36〜42の中の1つに表示されるように、集束レンズのような光学素子22からMOE装置32に投影される。
【0059】
他の実施形態では、画像プロジェクタ20は、アークランプ及びカラー分離レンズの代わりに高出力固体レーザを含む。レーザ光源は、増加された効率、強い方向性ビーム、及び単一波長動作を含む多数の長所を有する。さらに、レーザ光源はかなり飽和した明るい色を生じる。
【0060】
さらにもう一つの実施形態において、もし高速動作が得られるとすれば、異なる技術は、SLMを実現するために使用されてもよい。例えば、高速液晶装置、マイクロ電気機械(MEM)装置に基づく変調器、あるいは他の光変調方法は、このような高フレームレートイメージングを行うために使用されてもよい。例えば、テキサス州ダラス市にあるテキサスインストルメンツ(TEXAS INSTRUMENTS)社のディジタルライトプロセッシング(DLP)技術、カリフォルニア州のサニーベール市にあるシリコンライトマシンズ(SILICON LIGHT MACHINES)社の回折格子光弁(GLV)技術、コロラド州のボールダーにあるボールダーノンリニアシステムズ(BOULDER NONLINEAR SYSTEMS)社のアナログ強誘電型LCD装置は、画像プロジェクタ20によって出力するための画像を変調するために使用されてもよい。さらに、SLMは、強誘電型液晶(FCL)装置であってもよく、FLC SLMの偏光バイアスが実現されてもよい。
【0061】
MVDシステム10の非常に高い解像度の画像を得るために、画像44〜50は、各対応する画像を光学要素上に適当な深さで表示するために、MOE装置の各対応する光学要素上に適切に迅速に再集束されねばならない。このような再集束要求を満たすために、http://guernsey.et.tudelft.nl/focus/index.htmlでインターネットで利用可能である、G.Vdovin著の「マイクロマシン適応ミラーを使用するイメージング光学素子の高速集束(Fast focusing of imaging optics using micromachined adaptive mirros)」に記載された、高速集束装置のような当該技術で知られている装置であってもよい適応光学素子系が使用される。図8に示されるように、膜光変調器(MLM)90は、制御できる反射および集束特性を有する鏡の役目を果たす薄い可撓性膜92として有する。膜92は、プラスティック、ニトロセルローズ、「マイラー(MYLAR)」、あるいはそれから張力の下で、反射性である金属コーティングの導電性反射層で被覆されているアルミニウムのような金属膜で構成されてもよい。電極及び/又は圧電アクチュエータ94は、膜92にほぼ隣接しているように置かれている。電極94は、膜92の表面に対して2次元で延びるように、平坦あるいはほぼ平面であってもよい。膜92は、円形リングのような楕円取り付けリングのような取り付け構造96によって、電極94にほぼ隣接して取り付けられている。
【0062】
電極94は、電圧源98からの約1,000ボルトのような高圧に置かれることができる。この電圧は、膜92を引き付ける及び/又ははね返すように所望の範囲内で変えられてもよい。アース100に接続することによってアース電位にあってもよい膜92は、このように静電引力によって歪められ、変形させられて、放物状のような曲げられた形状になる。そのように変形される場合、膜92は、焦点距離、したがって電極電圧を変えることによって迅速に変えることができる投影距離を有する集束光学素子の役目を果たす。例えば、膜92の曲面は、曲げられた膜92の曲率半径の半分に等しい焦点距離を有してもよく、この曲率半径は、膜92上の張力、膜92の材料の機械的特性、膜92及び電極94の分離、電極94に印加された電圧によって決定される。
【0063】
一実施形態では、膜94の偏向は常に電極94の方へである。一方、電極94から膜92の反対側の透明導電層を有する窓を設置し、次に一定電圧を窓に加えることによって、膜92は両方向に、すなわち、電極94から離れてあるいは電極94の方へ偏向させられるので、より大きい範囲の集束画像を可能にする。複数の方向のこのような膜92のこのような制御された変化は、例えば、SPIE会議議事録,VOL.75,pp97−102(1976)でMartin Yellinによる論文に記載されている。
【0064】
MLM90の偏向の光学効果は、投影光学素子22によって拡大され、物体平面からの投影画像を、高再集束レートの画像プロジェクタ20から様々な距離で集束させてもよい。さらに、MLM90は、その全集束範囲にわたってほとんど一定の画像倍率を保持できる。
【0065】
図9を参照すると、MLM90は、例えば、画像を投影光学素子22に集束するために、1/4波長板104及びビームスプリッタ106に隣接している適応光学素子系102に組み込まれてもよい。物体あるいは物体平面112からの画像110は、ビームスプリッタ106によって水平方向に偏光される偏光子108を通過するので、1/4波長板104を通過し、反射及び集束するために膜92に入射する円形偏光された光を生じる。反射後、このような集束画像114は、入射光110の方向に対して90°偏光された光114を生じる1/4波長板104を通過し戻される。次に、ビームスプリッタ106は、光114を投影光学素子22の方へ反射し、物体の画像を形成する。1/4波長板104及び偏光子108をMLM90とを併用することによって、適応光学素子系は、MLM90を軸ずれで及び/又は投影レンズ22からの距離に取り付けることを避ける比較的コンパクトな形状に折り畳まれてもよい。
【0066】
この画像は、投影光学素子22から垂直な投影平面116に対する垂直距離FNに集束されてもよく、最小投影平面118からの最小距離FMIX対投影光学素子22から最大投影平面120に対する最大距離FMAX間で、高速に再集束されてもよく、画像の高解像度が保持される。
【0067】
図10に示されるように、MLM90、1/4波長板104、及び偏光子108を有する適応光学素子系を含む画像プロジェクタ20は、2Dスライスが少なくとも1つの光学要素上に集束されるように、2DスライスがMOE装置32の光学要素36〜44間のスペーサ122上に入射しないように、高集束精度で、3D画像の個別の2Dスライスを個別の光学要素36〜42上にこのように選択的に、迅速に投影してもよい。
【0068】
図9〜図10を参照すると、他の代替実施形態では、画像プロジェクタ20は、物体平面112からの光110を変調する複数のピクセル126を有するSLM124を含む。切り換えることができる1/2波長板が、90°だけ向きが異なるSLM124の前部基板及び後部基板上に配向層を生成することによって形成されるツイステッドネマティック(TN)SLMが使用されてもよい。TNSLMの液晶は、各表面上の配向層に配向し、次に、2つの基板間で滑らかに結合し、1/2周期のらせんを形成する。らせんのピッチは光の波長近くに選択され、らせんは、1/2波長板の役目を果たし、入射光偏光を90°だけ回転させる。らせんを巻き戻し、1/2波長板を無効にしTNSLMに十分な強度の電界の印加によって、2つの基板間の大部分の液晶材料は、基板に垂直な点に再度配向するので、入射光の偏光の回転を除去する。固有偏光がTN液晶材料にないことによって、TNSLMは、印加電圧の符号に影響を受けなく、電圧のどちらかの符号は波長板の働きで同じ減少を生じるので、TNSLMは、印加電圧の大きさの関数である遅延を有する波長板の役目を果たす。
【0069】
一方、図11に示されるように、SLM124は、複数のピクセル126で構成される強誘電型液晶(FLC)ベースの装置であってもよく、各ピクセル126はシリコン基板130のような半導体基板上に置かれたFLC材料128を有し、電極132はそれとの間に置かれている。電極132はアルミニウムで構成されてもよい。透明導体134は、FLC材料128の上に配置され、2.5Vの作動電圧のような電圧源に接続されている。例えば、ガラスで構成されるカバースライド136は、透明導体134上に置かれている。
【0070】
このようなピクセル126で構成されているFLC SLMは、例えば、電極128と導体134間への電界への印加が、入射光の偏光の回転を生じるツイステッドネマティック(TN)SLMと同様に作動する。回転度は印加電圧に比例し、0°から90°まで変わる。偏光子108のような外部偏光子と組み合わせて、SLM124の偏光回転は入射光の輝度変調を生じる。
【0071】
TNSLMと違って、FLC SLMは、印加電圧とは無関係の遅延を有する波長板を形成する所望の厚さを有するFLC SLMを生じる固有偏光を有する。FLC SLMは、印加電圧の大きさ及び符号の両方の関数である向きを有する波長板の役目を果たす。
【0072】
図11のFLC SLM124のピクセル126に関して、FLC SLM124の1/2波長板は、水平基準軸に対して約22.5°である電力の供給のない配向を有するように一般的に実現され、入射光偏光の45°回転を生じる。電力が供給される場合、透明導体134は、ピクセル126の電極132の電圧範囲の半分であってもよい2.5Vにバイアスされる。
【0073】
図12〜14を参照すると、FLC SLM124のピクセル126によって形成される1/2波長板の主軸の向きは、0°、45°及び90°偏光をそれぞれ有するように0V、2.5V、及び5Vのそれぞれで示されている。
【0074】
TNSLM及びFLC SLMの両方は正しい動作を維持するようにバランスされる直流(DC)にあるべきである。ピクセル126に連続するDC電界を加えることによって、ピクセル126を破壊する不純物イオン衝撃によって基板上の配向層の破壊を生じる。このような損傷を防止するために、電界は、TNSLMの場合に約100Hz、及びFLC SLMの場合に約1Hzのオーダーの周波数で周期的及び/又は不規則的に符号反転される。電界の符号に対するTNSLMの感度がないことによって、電界が反転されるとき一定の外観を有する、TNSLMを通過する画像を生じる。しかしながら、FLC SLMは、一般的には、SLMがDCバランスされる場合に画像の黒領域が白に変わり、画像の白領域が黒に変わるグレイスケール反転を生じる電界の符号に影響を受ける。
【0075】
SLM124のDCバランス中のグレイスケール反転を防止するために、入射光の偏光は、ピクセル126への電界の印加によって引き起こされる正負の画像が同じ外観を有するようにバイアスされる。SLM124及び/又は個別ピクセル126は、SLM124の前に入射光110を受光するように置かれている静止1/2波長板138を有する。波長板138は、入射光の偏光の22.5°回転を行うように向けられ、生じるグレイスケールは電極132に印加されるOVあるいは5Vのいずれかに対して最大輝度を有し、2.5Vが電極132に印加される場合に最大輝度を有する。他の実施形態では、波長板138を包含することによって最大輝度の減少を防止するために、偏光バイアスされたFLC SLM124の最大輝度が波長板138なしにバイアスされていないSLMの最大輝度に一致させることができる45°の静止配向を有するFLC材料128が使用されてもよい。
【0076】
前述されているように、画像プロジェクタ20の代替実施形態では、物体平面112の彩色された及び/又は固体のカラー発生レーザのようなレーザが使用されてもよい。このようなレーザは、例えばCDROMならびにレーザビデオシステムのような他の情報記憶および検索技術で現在で使用可能である、青及び緑の固体レーザを組み込んでもよい。
【0077】
画像プロジェクタ20の1つの代替実施形態では、適応光学素子は、深さが固定されておらず、その代わりに観察者12の方へあるいは観察者12から離れて移動されてもよい3D画像を生成するように、ヘッドアップディスプレイで使用されてもよい。MOE装置32を使用しないで、2D画像スライス24〜30は、正しい深さで表示するために観察者12の目の中に直接投影されてもよい。このスライス24〜30を観察者12に迅速に表示することによって、3D画像は観察者12によって認知される。MVDシステム10のこの実施形態では、画像プロジェクタ20の適応光学素子及び他の部品は、ヘルメット装着形ディスプレイのためのコックピットのあるいは既存のヘッドアップディスプレイ、あるいは自動車のダッシュボード装着形システムに組み込まれているように非常にコンパクトであってもよい。
【0078】
他の実施形態では、スライス24〜30は、画像44〜50のいくつかが、単一光学要素に対応する単一深さでの代わりにMOE装置32の深さの範囲にわたって画像を表示することによって、深さをオーバサンプリングするために光学要素36〜42の2つ以上にそれぞれ表示されるように発生され、投影されてもよい。例えば、MOE装置32が画像スライス24〜30の数よりも多くの光学要素36〜42の平面を有する場合、オーバサンプリングは有利であるので、画像44〜50の数は画像スライス24〜30の数よりも大きい。例えば、スライス24は、光学要素36〜38の両方に画像44〜46のそれぞれとして表示した。このようなオーバサンプリングは、光学要素36〜42の数あるいは画像プロジェクタ20のフレームレートを増加させないで、より連続している外観を有する3D画像34を発生する。このようなオーバサンプリングは、例えば、それぞれの不透明な複数の光学要素上へのそれぞれの複数の投影サイクル中、単一の投影スライスを受け取るように複数の光学要素を不透明な状態に切り換えことによって実行されてもよい。
【0079】
多平面データセットからの3D画像の発生
3D画像34を形成するように2D画像44〜50のセットとして表示される2D画像スライス24〜30のセットを生成するために、多平面データセットは、グラフィックスデータ源16からMVDコントローラ18によって受信された3D画像データから発生される。スライス24〜30の各々は、MOE装置32内の適切な深さで表示される。すなわち、スライス24〜30は、光学要素36〜42の特定の1つに選択的に投影される。3D画像34のスライス24〜30が十分接近して作られている場合、画像34は連続している3D画像であるようにみえる。ここに記載されている任意の多平面アンチエリアシングも、3D画像34の連続している外観を強調するために使用されてもよい。
【0080】
多平面データセット(MPD)を計算する方法は、MVDシステム10によって実行される。特に、MVDコントローラ18は、このような方法を実行し、グラフィックスコンピュータであってもよいグラフィックスデータ源16のフレームバッファの色バッファ及び深さ(すなわちz)バッファからの情報を結合する。この方法は一定の深さ動作及びアンチエリアシングも含む。
【0081】
図15を参照すると、この方法は、ステップ140で応答し、GUIあるいは任意のユーザフィードバック装置58によるようなMVDシステム10を操作するユーザ12と対話し、表示される画像を選択及び操作する。このような操作及び/又は対話から、MVDシステム10は、例えば、MVDコントローラ18のメモリであってもよいフレームバッファに記憶された画像データからの画像レンダリングをステップ142で実行する。フレームバッファは、色バッファ及び深さバッファのようなサブバッファを含んでもよい。典型的なレンダリング処理中、グラフィックスコンピュータは、深さバッファの同じ(x,y)位置の各ピクセルのカラー及び深さを計算する。新しいピクセルの深さが予め計算されたピクセルの深さよりも小さい場合、新しいピクセルは観察者により接近しているので、新しいピクセルのカラー及び深さは、それぞれ色バッファ及び深さバッファの両方の古いピクセルのカラー及び深さと取り換えられる。一旦シーンの全ての物体がイメージングのためのデータセットとして表現されると、この方法はステップ144〜152で連続する。一方あるいはさらに、フレームバッファの再現画像は、ボリュメトリック3D画像34のような3D画像の生成の準備としての2Dコンピュータスクリーン上の3D画像として観察者12に表示されてもよいので、観察者12は、どの画像が3D画像34として発生するかを選択できる。
【0082】
MPD計算のための方法を実行する際に、色バッファからのデータはステップ144で読み出され、深さバッファからのデータはステップ146で読み出される。フレームバッファは、例えば、光学要素36〜42のピクセル寸法によって決定されてもよい所望の画像スライス24〜42のサイズと同じ、x寸法及びy寸法のピクセル数を有してもよい。寸法当たりのピクセル数がフレームバッファと画像スライス24〜30との間で同じでない場合、色バッファ及び深さバッファのデータは、画像スライス24〜30の所望のピクセル寸法を有するMVDシステム10と同じ解像度を有するようにステップ148でスケーリングされる。MVDコントローラ18は、前述のようにスケーリングされたデータであってもよい色バッファ及び深さバッファのデータから発生された最終MPDを記憶するメモリの出力バッファを含む。
【0083】
出力バッファは、2D画像に対応するデータのセットを記憶し、このような2D画像は、スライス24〜30によって投影される画像44〜50と同じ解像度及びカラー深さを有する。好ましい実施形態では、画像44〜50の数は、MOE装置32の光学要素36〜42によって形成される平面数に等しい。MPD計算が完了され、2D画像のピクセルがステップ150で出力バッファに記憶された後、出力バッファは、画像プロジェクタ20のメモリに保持されてもよいMVD画像バッファに転送される。画像プロジェクタ20からの2D画像は、前述されるように、観察者12によって観察される3D画像34を形成するために画像スライス24〜30に変換される。次に、この方法は、例えば3D画像34の生成と同時にステップ140にループバックし、新しい入力を処理し、それゆえ3D画像34を更新あるいは変更し、例えば動画3D画像を発生する。
【0084】
MVDシステム10は、2つのモード、すなわち可変深さモード及び固定深さモードで作動してもよい。可変深さモードでは、深さバッファは、MVDシステム10による3Dボリュメトリックイメージングより前に、別個の2Dスクリーン上の3D画像の極端な深さの値に対応してもよい最大深さ値ZMAX及び最小深さ値ZMIXを決定するために、ステップ146を含むMPD計算より前に試験される。固定深さモードでは、ZMAX及びZMIXは、MVDシステム10によって発生される3D画像34の前部境界及び後部境界のそれぞれを示すために対話形式で、あるいはアプリケーション起動中のいずれかで観察者12によって割り当てられた値である。可変深さモードによって、2Dスクリーン上で見ることができる物体の全ては、このような物体を有するシーンの対話式操作による深さの範囲あるいは画像深さの変化に関係なくMOE装置32に表示できる。
【0085】
固定深さモードでは、このような物体はMOE装置32の仮想深さの範囲外にあってもよいので、2Dスクリーン上で見ることができる物体は、MOE装置32で見えなくてもよい。固定深さモードの他の実施形態では、MOE装置32の「背部」あるいは最も後部の光学要素の外側にあるように決定されてもよい画像ピクセルは、その代わりに、観察者12に対して、最も後部の光学要素上に表示されてもよい。例えば、図1の観察者12の観点から、この光学要素36は、遠い画像が投影されてもよい最も後部の光学要素である。このように、物体の全シーンは目に見えるままであるが、ZMAX及びZMIX間の深さを有する物体だけは、MOE装置32によって発生されるボリュメトリック3D画像において見える。
【0086】
ここに示されたMPD方法では、ZMAX及びZMINの値を使用して、深さバッファ内の深さ値は、ステップ148でオフセットされ、スケーリングされるので、ZMINの深さを有するピクセルは0のスケーリングされた深さを有し、ZMAXの深さを有するピクセルは、MOE装置32の光学要素36〜42の平面数に等しいスケーリングされた深さを有する。ステップ150では、スケーリングされた深さを有するこのようなピクセルは、そこで、スケーリングされた深さ値diの整数部
【0087】
【数2】
を試験し、色バッファからのカラー値を同じ(x,y)座標の適切なMPDスライス24〜30に割り当てることによって出力バッファ内で分類され、記憶される。このカラー値は関連ピクセルあるいはボクセルの輝度を指示してもよい。
【0088】
開示されたMPD方法を使用すると、MVDシステム10によって発生されたボリュメトリック3D画像34は不完全であってもよい。すなわち、このような物体あるいは部分が2Dコンピュータスクリーン上の対応する3D画像を観察する観察者の観点から見えない場合、その物体あるいは部分が完全に除去される。MVDシステム10によって発生されたボリュメトリックディスプレイでは、予め隠された物体が見えるようになるように、図1の観察者12が視角まで移動できる画像観察が行われるので、このようなMVDシステム10は、3D画像の既存の2D表示よりも有利である。
【0089】
代替実施形態では、MPD方法は、スケーリングされた深さ値の端数部分、すなわち、ピクセルのカラー値の分数をスライス24〜30のセットの2つの隣接MVD画像スライスに割り当てる
【0090】
【数3】
を使用することによって、ここに示されるように、アンチエリアシングを実行してもよい。例えば、スケーリングされた深さ値が5.5であり、各スライスが個別の深さ値に対応する場合、ピクセルの輝度の半分はスライス5及びスライス6の各々に割り当てられる。一方、スケーリングされた深さが5.2の場合、スライス5はスケーリングされた深さに「より接近」し、カラー値の25%はスライス6に割り当てられるので、色値の75%はスライス5に割り当てられる。
【0091】
アンチエリアシングの異なる度合いは、異なる可視化タスクに適切であり得る。アンチエリアシングの度合いは、すなわち、カラー値を分数の深さ値の全てを使用する他方の極値に割り当てるために分数深さ値を無視する一方の極値から変えることができるか、あるいはアンチエリアシングの度合いはこのような極値間の任意の値に変えることができる。このような可変アンチエリアシングは、スケーリングされた深さの端数部分をアンチエリアシングパラメータと乗算し、それから得られた値をアンチエリアシングパラメータの半分だけ負にオフセットすることによって実行されてもよい。最終カラー値は、0と1との間のように負にオフセットされた値を所定の範囲内であるように固定あるいはクランプすることによって決定されてもよい。1のアンチエリアシングパラメータは、全アンチエリアシングに対応し、無限大∞のアンチエリアシングは全くアンチエリアシングに対応しない。1よりも小さいアンチエリアシングも実行されてもよい。
【0092】
深さバッファ値をスケーリングする際に、レンダリング動作及びイメージング動作をサポートするグラフィックスハードウェアのオープングラフィックスライブラリ(OpenGL)マルチプラットホームソフトウェアインタフェースで特定されるような透視投影図が使用されてもよい。このような透視投影図は、深さバッファに非線形の値を生じてもよい。3D画像34の仮想深さと可視深さとの間の正確な関係に関しては、MVDコントローラ18は、ステップ148でスケーリングされた深さを生じる際にこのような非線形性を考慮する。一方、正投影は、ステップ148で深さバッファ値をスケーリングするために使用されてもよい。
【0093】
既存の2Dモニタでは、透視は、観察者からより遠い物体がより小さく見え、平行線が集中するように見えるように、深さの意味を作成する3Dデータの可視化において計算上生成される。開示されたMVDシステム10では、3D画像34は、前述の深さの意味を作成する計算上の透視で生成されるので、3D画像34の深さは強められる。
【0094】
他の実施形態では、スライス24〜30は、画像44〜50のいくつかが単一の光学要素に対応する単一の深さでの代わりに、MOE装置32の深さの範囲にわたって画像を表示することによって深さをオーバサンプリングするために、光学要素36〜42の2つ以上にそれぞれ表示されるように生成され、投影されてもよい。例えば、MOE装置32が画像スライス24〜30の数よりも多い平面の光学要素36〜42を有する場合、オーバサンプリングは有利であることもあるので、画像44〜50の数は画像スライス24〜30の数よりも多い。例えば、スライス24は、光学要素36〜38の両方に画像44〜46としてそれぞれ表示した。このようなオーバサンプリングは、画像プロジェクタ20の光学要素36〜42の数あるいはフレームレートを増加させないで、より連続する外観を有する3D画像34を生成する。このようなオーバサンプリングは、例えば、それぞれの不透明な複数の光学要素へのそれぞれの複数の投影サイクル中、単一投影スライスを受け取るように複数の光学要素を不透明な状態にあるように切り換えることによって実行されてもよい。
【0095】
MVDシステムの他の実施形態
一つの他の実施形態では、MOE装置32は、10個の液晶パネル36〜42を含み、長さ5.5インチ(14cm)×幅5.25インチ(13.3cm)×奥行き2インチ(4.8cm)であるような寸法にされる。画像プロジェクタ20は、赤、緑及び青の光を生じる一対のイオンレーザを使用する音響音波光学レーザビームスキャナを含んでおり、イオンレーザは、高周波数音波によって変調され、次に走査される。レーザスキャナは、200×200ポイントの解像度の毎秒166,000ポイントをベクトル走査できる。40Hzで作動する10個の平面MOE装置32と結合される場合、MVDシステム10は、400,000ボクセル、すなわち3D画素を有する3D画像を発生する。24ビットRGB解像度のカラー深さは、1Hzの画像更新レートで得られる。実像プロジェクタ54を使用すると、100°×45°の視野を得ることができる。
【0096】
他の代替実施形態では、MOE装置32は、12個の液晶パネル36〜42を含み、長さ6インチ(15.2cm)×幅6インチ(15.2cm)×奥行き3インチ(7.7cm)であるような寸法にされる。実像プロジェクタ20は、180Hzのフレームレートでグレイスケール画像を生成するように、フィールドシーケンシャルカラーモードで作動するように構成された一対のテキサスインストルメンツDLPビデオプロジェクタを含む。2つのプロジェクタをインターレースすることによって、有効的な単一プロジェクタは、30Hzのレートで12個の平面ボリュメトリック画像を生成するように360Hzのフレームレートで形成される。達成できる横方向解像度は640×480ポイントである。30Hzで作動する12個の平面MOE装置32と結合される場合、MVDシステム10は、全部が3,686,400ボクセルを有するグレイ3D画像を生成する。8ビットのグレイスケール解像度のカラー深さは、10Hzの画像更新レートで得られる。実像プロジェクタ54を使用すると、100°×45°の視野を得ることができる。
【0097】
さらなる代替実施形態では、MOE装置32は、50個の液晶パネル36〜42を含み、長さ15インチ(38.1cm)×幅13インチ(33.0cm)×奥行き10インチ(25.4cm)であるような寸法にされる。画像プロジェクタ20は、約10kHzのフレームレートで非常に高速である、ボールダーノンリニアシステムズから市販されている高速アナログ強誘電型LCDを含む。達成できる横方向解像度は512×512ポイントである。40Hzで作動する50個の平面MOE装置32と結合される場合、MVDシステム10は、全部で13,107,200ボクセルを有するグレイ3D画像を生成する。24ビットRGB解像度のカラーの深さは、10Hzの画像更新レートで得られる。実像プロジェクタ54を使用すると、100°×45°の視野を得ることができる。このような解像度及び非インタフェースの40Hzのボリュームレートに関しては、MVDシステム10は、20インチ(50.8cm)対角線を有する従来のモニタに等価のディスプレイ機能を有する。
【0098】
他の実施形態では、光学要素36〜42は、1280×1024の横方向解像度及び256の平面の深さ解像度を有してもよい。このシステムは、37.5Hzのレートで更新される全ボリュームを有する、75Hzの合計レートで交互の平面が書き込まれるインターレースされた深さモードで動作する可能性がある。このようなインタレースは、画像プロジェクタ20のフレームレートを増加させないで、より高い認知されたボリュームレートを提供する。
【0099】
他の実施形態では、MOE装置32は、著しく大きい深さ解像度、及び20億ボクセルよりも大きいボクセル数を生じる2048×2048ピクセルの横方向解像度のために500個の平面を含む。この構成のMOE装置32のサイズは、41インチ(104cm)対角線を有する従来のディスプレイに相当する、長さ33インチ(84cm)×幅25インチ(64cm)×奥行き25インチ(64cm)である。本実施形態の画像プロジェクタ20は、20kHzのフレームレートを供給するシリコンライトマシンズの回折格子光弁技術を含む。
【0100】
仮想対話アプリケーション
フォースフィードバックインタフェースとしてユーザフィード装置58を組み込むMVDシステム10の他の実施形態によって、観察者12は、3D画像34、56がみえる同じ位置で、3D画像34、56の触覚及び感覚を認知し、経験する。MVDシステム10は、高解像度3D画像34、56を生成できるので、仮想対話は、高解像度表面テクスチュア及び非常に硬い面、すなわち、観察者12による表面の一部の仮想現実運動を考慮して低コンプライアンスに抵抗し及び/又は低コンプライアンスを持つように表示する面を生成するように、適切なフォースフィードバック装置を使用してMVDシステムで実行される。
【0101】
したがって、ユーザフィードバック58は、高解像度位置エンコーダ及び高周波数フィードバックループを含み、観察者12の手の運動を、3D画像34、56の修正ならびに観察者12のフォースフィードバック感覚と調和させる。好ましくは、ユーザフィード装置58は、部品の減少された質量及びボリューム及び関連重量ならびに慣性が最少で観察者12の動きを邪魔するように、フォースフィードバック誘導グローブのような軽量で、コンパクトな仮想現実部品を含む。
【0102】
このようなユーザフィードバック装置は、観察者12によって着用された任意の着用可能な部品の重量を非常に減らす軽量炭素複合物を含んでもよい。さらに、非常にコンパクトで、非常に高い解像度光ファイバあるいは容量性位置エンコーダは、手及び頭の向きのような観察者12の一部の位置を決定するために当該技術で知られているかさばった光学位置エンコーダの代わりに使用されてもよい。
【0103】
観察者12に着用可能な部品は、ユーザフィードバック装置58を制御する埋め込みプロセッサシステムを含むので、MVDコントローラ18及び/又はインタフェース14の処理オーバーヘッドを軽くする。その唯一の仕事がインタフェースを実行することにある埋め込みプロセッサを使用することによって、全MVDシステム10のためのフィードバックレートは、100kHzよりも大きくてもよい。非常に高い解像度エンコーダと結合される場合、MVDシステムは、非常に高忠実度フォースフィードバックインタフェースを有する。
【0104】
このような仮想対話技術を、このようなボリュメトリック3D画像34、56を表示できるMVDシステム10と併用すると、3DGUIは、観察者12が3Dデータをアクセスし、直接操作できるように実現される。データグローブのような知られているインタフェース装置、ビデオゼスチャ認識装置、及びマサチューセッツ州のケンブリッジ市のMITメディア研究所(MEDIA LAB)から入手できるフィッシュセンサは、ユーザが、例えば、3Dグラフィックス及びコンピュータ支援設計(CAD)システムで、3Dデータを直接操作できるように使用できる。
【0105】
このような3D画像及びデータ操作に関しては、MVDシステム10は、マサチューセッツ州のローウェル市のスペーステック(Spacetec)社から市販されているスペースボールのような3Dマウス装置、ならびに観察者12が真の空間で手を移動させるのと同じように画像34の周りの表示ボリュームにおいて3Dカーソルをどこへでも移動させる3Dポイント装置も組み込んでもよい。一方、MVDシステム10は、ユーザフィードバック装置58により、観察者12の手の移動を3Dカーソルとして解釈してもよい。
【0106】
一実施形態では、ユーザフィードバック装置58は、観察者12の手の位置及び向きを検知する部品を含んでもよい。例えば、観察者12は、ポリヘマウス(POLYHEMUS,INC.,)社から入手できる磁気センサのような位置センサ、及び/又は仮想現実データグローブに組み込まれた位置センサのような他の種類のセンサを保持あるいは着用してもよい。一方、手の位置は、コンピュータ画像処理あるいはMITメディア研究所で開発されたセンサのような無線周波数センサの使用により、3D画像34の表示ボリューム内で検知される。筋肉疲労を避けるために、ユーザフィードバック装置58は、パーソナルコンピュータの2Dスクリーン上の2Dカーソルの位置を制御するためにデスクトップのフラットな表面上の従来の2Dマウスの2D移動と同様に表示された3D画像34から、物理的に離れている非常に小さい検知空間の観察者12の手あるいは指の移動を検知してもよい。
【0107】
MVDシステムの長所
MVDシステム10を使用して、3D画像34、56は、観察者12による自然観察を与えるように生成されるが、それは、すなわち、3D画像34、56が、現実の物体を観察することに関連する深さキューすべてを実質的に有し、目の過労を最小限度にし、疲労せずに延長された時間の期間も観察することを可能にする。
【0108】
MVDシステム10は、当業者には知られている数多くのボリュメトリックディスプレイ上の大きさの少なくとも1つの大きさの度合いである、例えば、3,000,000よりも大きなボクセル数を提供するMOE装置32により、高度の解像度/ボクセル数を提供する。さらに、2D画像44〜50のように、ディスプレイ画像スライス24〜30に適応させた矩形の断面を有するMOE装置32などの、3D画像34を表示するために直線幾何学を好適に使用することによって、MVDシステム10は、付加的な変換ソフトウエアを必要としないコンピュータ性能とディスプレイ更新速度を容易にしかつ最大限にする、数多くの知られているグラフィックスコンピュータならびにグラフィカルアプリケーションプログラムの内部座標システムにマッチする1つの座標システムを使用している。さらに付け加えると、1つの好適な実施形態においては、MOE32の画像ボクセルは、3D画像34における画像の歪みを消去する、同一かつ定常的な形状、大きさ、方向を有している。
【0109】
当業者には知られているマルチビュー自動立体ディスプレイとは異なり、MVDシステム10は、たった1つだけの代わりに複数の範囲における観察により3D画像を「見渡せる」ことを可能にする、水平と垂直の両方の視差により広範な視野を提供する。さらに、マルチビュー自動立体ディスプレイとは異なり、MVDシステム10の視野は、全方向において連続的であり、それはすなわち、MOE装置32に対して観察者12が動く際に、3D画像34で混乱させるようなジャンプがない。
【0110】
さらに、MOE装置32における光学要素36〜42の静的構成のため、MOE装置32の全体のバランスを喪失するような場合に、MOE装置32の画像の歪み、ディスプレイ振動、また破滅的な機械的障害をも結果的に生じる動的な部品がない。
【0111】
MVDシステム10はまた、閉塞、すなわち、背景物体によって放射される光の前景物体による障害を避けることが可能である。コンピュータ上の閉塞と呼ばれる閉塞の1つの限定された形態は、画像構築と表示の速度を改善するため、特定の視点を取り上げて、またその後にその視点からは見ることができない表面を単に描かないことによって作り出すことができる。しかし、観察者12が前景物体を見渡そうと試みる場合には、描かれなかった背景物体の部品は見えない。1つの実施形態においては、MVDシステム10は、背景光を吸収することにより閉塞を作り出す散乱状態にあるほかの光学要素とともに、1つの画像を表示する散乱している光学要素を散らばらせることにより、閉塞の欠如に対する補償を行う。ゲストホストポリマー分散液晶は、染料が液晶分子と一緒に混合され、印加される電圧により材料の色が変化することを許容する、光学要素36〜42において使用することができる。
【0112】
MVDシステム10はまた、実画像プロジェクタ54を使用すると、MOE装置32まで達するハウジングを必要し、そのためMOE装置32に達する周囲の光の量を減らすことになり、またそれによってコントラストグラデーションを防ぐことになるため、MVDシステム10の周囲の照明によるコントラストグラデーションをほとんど有していないに等しい。
【0113】
代替的には、コントラストグラデーションは、周囲の照明に比例して画像プロジェクタ20からの照明を増加することにより、また観察可能なレベルにまで画像の明るさを減らすために、MOE装置32の周囲に吸収用プラスチックの囲いを設置することにより、減らすことができる。周囲の光が、観察者12に達するには吸収用の囲いを2度通過しなければならない。一度は途中で、またもう一度はMOE装置32の光学要素36〜42を散乱させた後である。反対に、画像44〜50を形成する画像プロジェクタ20からの光は、観察者12への途中で吸収用囲いのなかを通過するだけであり、またそのため、周囲の光により受ける損失の平方根の関数である、照明の損失が減った。
【0114】
周囲の光の影響を減らす代替的な実施形態の1つは、赤、緑、青における3つの狭いスペクトルのバンドパスを付けた1つの囲いと、そうした周囲の光の影響を減らすためには非常に効果的であるバンド外の光に対する高度な吸収材料を使用するものである。レーザー光源からの狭いバンドの光はMOE装置32から散乱した後も減衰されずに透過し、一方、周囲の照明から得られる広域バンド光はほとんどが吸収されるため、画像プロジェクタ20でレーザー光源を使用することにより、周囲の光の点でより高い性能が得られる。
【0115】
MOE装置におけるアンチエリアシング
もう1つの代替的な実施形態においては、図16に参照して、また本出願に説明されているように、画像データの画像プロジェクタ20への伝送の前に、またそこからMOE装置32の光学要素160〜168までの伝送の前に、MVDコントローラ18ないしは代替的にはグラフィックスデータ源16が、光学要素160〜168上に3D画像34に表示されている特徴を円滑にするように、画像データ上で3Dアンチエリアシングを行うことができる。3Dアンチエリアシングを使用して、システム10は、z軸に対して垂直であるx−y平面に整列している光学要素160〜168により、MOE装置32の固有の分離ボクセル構成により引き起こされる表示のピクセル化による、例えば、z方向に沿って平行平面162〜164の間にある深さの画像のきざきざになった線ないしは不完全な領域を回避する。
【0116】
画像スライスに対応するデータが生成されると、画像素子170が平面移行部の1つの端の近傍に現れて、すなわち、光学要素の間、例えば、光学要素162〜164の間に現れる。説明的な目的のためにのみ、図16〜18に図示されている光学要素160〜168とボクセル170の構造形態は、開示されているアンチエリアシングシステムと方法をさらに明らかに説明し図示するために誇張されており、またそのため、光学要素160〜168は相対的にその間に小さな間隙を有していることが理解されるべきである。
【0117】
特定の画像素子170と、少なくともボクセル及び/又は画像素子170で構成される3D画像での突然の移行を避けるために、光学要素162〜164上でプロジェクタ20から照明を受けている、本出願に説明されているような両方のスライスを、光学要素162〜164上の各画像172〜174が、それぞれ画像素子170ないしは一部分ないしはその誘導形態を含むように生成することができ、したがって、画像素子170は、その移行を柔軟化し、またさらに図1の3D画像34が連続的にみえることを可能にする、光学要素162〜164により形成される両方の平面の間で共有される。それぞれ連続的になっている光学要素162〜164上の画像素子172〜174の輝度は、画像データにおける画像素子172〜174の位置により変わる。
【0118】
図16に参照すると、光学要素160〜168の数Nは、平面LCD表面(複数)になっていて、したがって、P1、P2、P3、・・・PNと標識化され、またMOE装置32の幅である距離Dにわたっている。したがって、各光学要素160〜168は、DN−D1=Dとなるように、共通基準点からz軸に沿って距離D1、D2、D3、・・・DNをもって間隔を空ける。例えば、共通基準点は、プロジェクタ20に対してz軸に沿ってもっとも近い光学要素160であり、したがってD1=0、またDN=Dである。代替的には、光学要素160〜168の距離は、プロジェクタ20のレンズ22から測定され、したがって光学要素160からの相対的距離を得るために、光学要素160とレンズ22からのオフセット距離DOFFSETが、レンズ22からの光学要素160〜168の絶対的距離D1、D2、D3、・・・DNから減算される。したがって、D1=DOFFSETとなる。光学要素160〜168はまた、その間の均一な間隙Sを有し、あるいは代替的には、光学要素160〜168の間の間隙にバラツキがあるものも考えられる。
【0119】
本出願に説明されているように、各ボクセル170の深さ値は、レンズ22においてかあるいは光学要素160においてかのいずれかで、基準点からz軸に沿った測定され、またそうした深さ値は、色バッファのなかに格納されている関連する色値とともに深さバッファのなかに格納されている。例えば、深さ値DVは、ボクセル170と関連している。
【0120】
アンチエリアシングを実施するために、またしたがって光学要素162〜164の間に横たわっているボクセル170の外観を円滑にするために、深さ値DVと光学要素162〜164の間の距離DA、DBはそれぞれ測定され、そうした距離はアンチエリアシングパラメータを生成するのに使用される。アンチエリアシングパラメータは、その後、2つのボクセル172〜174のそれぞれの色値を生成するために、アンチエリアシングパラメータにより修正されたボクセル170に対応している色値が、光学要素162〜164上の2つのボクセル172〜174をそれぞれ生成するのに使用される。
【0121】
図17はアンチエリアシングを使用していない、1つのボクセル表示を図示している。図17に図示されているように、光学要素162上のボクセル176〜178と、光学要素164上のボクセル180〜184は、ボクセル178〜180により規定されている境界で鋭い移行を形成する。光学要素162〜164の間の距離が大きい場合には、画像34の目立ったぎざぎざな、あるいは断続的な外観が、表示されたボクセル176〜184の組み合わせにより形成される可能性がある。例えば、ボクセル178は光学要素162により近いが、光学要素162の上になく、またボクセル180は光学要素162により近いが、しかし光学要素162上にないといった、ボクセル178〜180が、光学要素162〜164の間の深さ値を有することもある。こうした中間的な深さ値はその後に、ボクセル178〜180を表示するために、光学要素162〜164の分離深さ値D2、D3にそれぞれ変換されてもよい。さらに、図17におけるボクセル178〜180の色値は変わらず、したがってこのボクセル178〜180の色の強度は、このように異なった光学的深さでは異常に見えることもある。代替的には、移行部のボクセル178〜180は、それらの中間的な深さのため除外されるが、しかしボクセル176と182〜184で構成される3D画像34には、穴あるいは破損があるように見える。
【0122】
アンチエリアシングを使用して、図18に図示されているように、両方の移行ボクセル178〜180が、光学要素162上に表示されているボクセル178A〜180Aと光学要素164上に表示されているボクセル178B〜180Bとともに、新しいボクセル178A〜178Bと、180A〜180Bを生成するのに使用してもよい。さらに、図18に図示されているように、ボクセル176と182〜184の色値は変化しないが、アンチエリアシングを実施することにより、新しいボクセルの色値が、各新しいボクセル178A〜178Bと180A〜180Bが、異なった深さにわたってx−y平面における画像の移行を柔軟化するために調節された色を有するように、修正されることがある。したがって、図19に図示されているように、ボクセル176〜184は、図17にある画像に関して曲線176により見かけ上の深さで突然の移行が行われるが、図18にあるボクセル176、178A〜178B、180A〜180B、182〜184は、曲線188により見かけ上の深さで相対的により円滑な移行が行われる。説明的な目的のみのために、曲線186〜188は、曲線186〜188を明瞭に示すために、図18に重ね描きされてはいないことに留意すべきであり、したがって、図18において、ボクセル176と182〜184の見かけ上の深さは、アンチエリアシングに拠り、また拠らずに同一であると理解されたい。
【0123】
図19においては、図18のボクセル178A〜178Bは、ボクセル178A〜178Bの深さの間の中間にあって、また光学要素162上にはないが、そのより近傍にあるように、図17のボクセル178の元の深さに対応している見かけ上の深さ178Cをもって、光学要素162〜164にわたる画像を形成する。同様に、図18のボクセル180A〜180Bは、ボクセル180A〜180Bの深さの間の中間にあって、光学要素164上にではなく、その近傍にあるように、図17のボクセル180の元の深さに対応している見かけ上の深さ180Cをもって、光学要素162〜164にわたる画像を形成する。
【0124】
アンチエリアシングは、もっとも近傍の境界光学要素に限定されていないが、その代わりに、ボクセル178〜180は、光学要素160〜168のそれぞれの複数上に対応する複数のボクセルを生成するのに使用してもよく、したがって、例えば、図19の曲線188よりも円滑である深さ移行曲線を提供するために使用してもよい。例えば、アンチエリアシングによる深さ移行曲線188は、シグモイドあるいはタンジェント関数に近似することが可能である。
【0125】
図16を参照すると、ボクセル170のアンチエリアシングを実施するために、少なくとも1つの光学要素からボクセル170までの距離の関数である少なくとも1つの深さ調節値λが生成される。1つの実施形態においては、各光学要素162〜164からの距離DA、DBのスケーリング値の関数である調節値λ、μが生成されてもよい。調節値λ、μはその後に、ボクセル170のx−y位置に等しい光学要素162〜164上の各x−y位置を有するボクセル172〜174とともに、新たに生成されたボクセル172〜174に関連している新しい色値CA、CBを生成するように、ボクセル170に関連する色値CVを修正するのに使用される。
【0126】
1つのボクセルの色値は、表示されるべきボクセルの輝度を少なくとも特定することができる。代替的には、ボクセル170を、色づけしたボクセルの輝度を特定する少なくとも1つのスカラを含むパラメータのセットに関連させることが可能である。したがって、色値の修正が、調節値による色値の乗算によって実施される。例えば、色値CV=12輝度単位及び調節値λ=0.5に関しては、修正色値CAは、CVλ=(12輝度単位)×(0.5)=6輝度単位であるとして求められる。
【0127】
1つの実施形態においては、距離DVは、1からNまでの深さ値であるようにスケーリングされ、Nは光学要素160〜168の数であり、例えば、図16に図示されているように、標識P1、P2、P3、・・・PNに対する指標として、各整数値1〜Nが光学要素160〜168の特定の1つに対応している。調節値λ、μはスケーリングされた深さ値から求められる。光学要素160〜168が距離Dに沿って定常間隙Sをもって一様に間隔決めされている場合には、すなわち、
S=D/(N−1) (1)
したがってボクセル170のスケーリング距離は、
【0128】
【数4】
ここでは、DVはレンズ22ないしほかの基準点から測定された絶対距離である。例えば、レンズ22がz軸の原点であれば、光学要素160は距離D1=DOFFSETにあることになる。
【0129】
DSCALEDは、1≦DSCALED≦Nであるような実数値であり、したがって0と1の間の範囲にあるDSCALEDの端数部分は、光学要素162〜164からの相対距離を示す。z軸に沿っていずれの側にもボクセル170と接している光学要素162〜164に関しては、光学要素162〜164の指標はそれぞれ、すなわち、
【0130】
【数5】
【0131】
【数6】
ここでは、
【0132】
【数7】
は1つの値あるいは変数Xのフロアあるいは整関数であり、すなわち、X未満の最大整数をもとに戻す関数である。
【0133】
DSCALEDの端数部分は、すなわち、
【0134】
【数8】
したがって、
μ=1−λ (6)
ボクセル172、174にそれぞれ関連している各輝度を示す色値CA、CBは、以下のように値を割り当てられる。すなわち、
CA:=CV(1−λ) (7)
CB:=CVλ=CV(1−μ) (8)
ここでは、シンボル「:=」は、1つの新しい値の割り当てを示している。
【0135】
例えば、レンズ22から深さDV=9.2単位を有するボクセル170に関しては、オフセットDOFFSET=3.0単位であり、MOE装置32が長さで20単位伸びている5つの均等に間隔決めされた光学要素を有する場合には、式(1)により、N=5、D=20、その後に間隔S=5単位であり、また式(2)によりDSCALED=2.24である。ボクセル170はこのように、式(3)〜(4)により、指標
【0136】
【数9】
を有する光学要素の間に間隔決めされており、また、したがって図16において、標識P2とP3を有する光学要素162〜164は、新しいボクセル172〜174がボクセル170に対応してその上に表示されるべき光学要素として同定される。
【0137】
本実施例においては、式(5)〜(6)からスケーリングされた深さの端数値はλ=0.24であり、またしたがってμ=0.76である。したがって、(1−λ)=0.76、及び(1−μ)=0.24であり、また式(7)〜(8)から、ボクセル172の色値は、元のボクセル170の輝度のCA=0.76 CV=76%であり、またボクセル174の色値は元のボクセル170の輝度のCB=0.24 CV=24%である。したがって、ボクセル170は、光学要素164よりも光学要素162に「より近い」ため、対応する新しいボクセル172〜174は、より近い光学要素162が、2つのボクセル172〜174の間の色の大部分を表示するように分布された輝度を有し、一方、さらに遠くにある光学要素164は、ボクセル170で光学要素162〜164の間にある3Dボリュメトリック画像の移行部の外観に対してより少ないがしかしゼロ量ではなく貢献する。
【0138】
光学要素160〜168上に正確にある深さ値を有するボクセル170に関しては、アンチエリアシングは必要ない。したがって、式(2)〜(4)は、整数値に縮重し、また式(5)〜(6)の結果は、調節値λ、μはそれぞれ0と1であり、あるいはそれぞれ1と0であり、したがって、色値の調節は行われない。不必要な計算を避けるために、MVDコントローラ18は、式(2)における計算が、1パーセントといった所定の誤り公差内にあって、結果的に整数になるかどうかをチェックし、また、もしそうであれば、ボクセル170は、光学要素160〜168のうちの1つ上に正確にあるように求められ、あるいはそのように考えられる。アンチエリアシングの手順は現時点で処理されたボクセル170に関しては完了し、またその手順はその後に、3D画像34のほかのボクセルを処理するよう継続することができる。
【0139】
式(1)〜(8)を使用する本実施形態においては、MOE装置32の均一な間隔とほかの特性が知られているため、ボクセル170の距離DVとMOE装置の特性が、式(3)〜(4)によってどの光学要素がボクセル170と接するかを判定するので、もっとも近くにある境界光学要素を探索する必要はない。
【0140】
もう1つの実施形態においては、均一な間隔か、あるいは可変及び/又は非均等な間隔かのいずれかを有するMOE装置32の光学要素160〜168に関しては、アンチエリアシングは、上の式(7)〜(8)と関連して下に説明されている式(9)〜(13)を使用して実施することができる。例えば、プロジェクタ20とレンズ22からのMOE装置の可変間隔及び/又は可変オフセットを有するMOE装置に関しては、アンチエリアシング方法を、光学要素160〜168の間隔と構造形態の修正の間にオンザフライ式に実施することができる。光学要素160〜168の距離/深さが可変するため、代替的な実施形態においては、アンチエリアシング方法では、現時点で処理されているボクセル170と接している少なくとも2つの光学要素を、以下のように、距離/深さ値DNEAR1とDNEAR2を有する2つの境界光学要素に対して各光学要素160〜168の深さ値を探索することにより求める。すなわち、
DNEAR1≦DV≦DNEAR2 (9)
変数NEAR1とNEAR2は、光学要素160〜168のなかから関連する光学要素を特定する整数指標である。例えば、図16において、NEAR1=2とNEAR2=3は、z軸に沿ってボクセル170と接している光学要素162〜164に対応している。
【0141】
深さ調節値λとμは次にように決定される。
【0142】
【数10】
【0143】
【数11】
ここで、|X|は値すなわち変数Xの絶対値すなわち大きさの関数である。
【0144】
式(10)と(11)から得られる深さ調節値は双方共が次式を満足する正の実数である。
【0145】
0≦λ,μ≦1 (12)
λ+μ=1 (13)
したがって、深さ調節値が、光学要素間の非一様な及び/又は可変の距離をスケーリングし、次に式(7)と(8)中で用いられて、対応する調節済み色値を持ったボクセル172〜174を発生する。式(10)と(11)に示すように、深さ調節値λとμは、光学要素162〜164にそれぞれ関連したボクセル172〜174の深さの範囲内においてボクセル170の深さの内挿に基づいている。
【0146】
一様な間隔を有する上記の例では、式(9)〜(13)はDV=9.2単位、DNEAR1=D2=8単位、DNEAR2=D3=13単位という条件で適用されており、したがって、
【0147】
【数12】
となるが、これは式(1)〜(8)を用いた調節値と一致している。この代替実施形態は、MOE装置32と光学要素160〜168の寸法的及び空間的特徴が変化する場合には有用であるが、新しいボクセル172〜174を発生するために適切な境界光学要素162〜164を決定するための探索が必要である。
【0148】
図20は本明細書に述べる3次元アンチエリアシングを実現する方法の流れ図を示すが、同図では、ボクセル170のような表示される現行のボクセルに対して、本方法は、それに対応する深さ値DVと色値CVをステップ190でそれぞれ深さバッファと色バッファから読み取る。次に、本方法は、光学要素間間隔が一定であるかどうかをステップ192で判断する。例えば、MVDコントローラ18の構成設定が、光学要素160〜168が固定されていて、一様又は非一様な分布を有しているかどうか、及び/又はMVDコントローラ18とMOE装置32が、本明細書で説明するように可変間隔モードで動作するがどうかを示すこともある。
【0149】
間隔が一定である場合、本方法は次にステップ194で、式(1)と(2)を用いて光学要素160〜168の指標の範囲内にあるように深さ値DVをスケーリングし、次に本方法はステップ196で式(3)と(4)を用いて、ステップ196において深さ値DVに最も近く、これと接する光学要素を決定する。しかし、ステップ192で間隔が一定でなかった場合、本方法はこの代替実施形態で、ステップ194を無視してステップ196を実行して、式(9)を満足する光学要素を決定する。すなわち、光学要素160〜168の各々の間隔/深さの値を探索する手順を用いる。別の代替方法では、ステップ192は、MVDコントローラ18とMOE装置32の構成と動作モードしだいで、任意に実行されたり省略されたりする。
【0150】
次に、本方法は、本明細書で説明するように実現される実施形態によって、式(5)と(6)又は式(10)と(11)を用いてステップ198で深さ調節値λ及び/又は第2の値μを決定する。次に、本方法は、式(7)と(8)を用いて1つ又は複数の深さ調節値を用いて最も近い境界光学要素上のボクセルに対してステップ200で色値を調節し、また、この調節された色値を持つ最も近い境界光学要素上の調節済みボクセルをステップ202で表示する。
【0151】
別の代替実施形態では、中間程度のアンチエリアシングが実現される。例えば、調節値λとμは、例えば、ボクセル170の輝度の半分が、ボクセル172〜174の各々に割り当てられるように、0.5という値に固定されてもよい。このような中間的なアンチエリアシングによって、図19の曲線189で示されるような中間移行曲線に対応する中間深さ180Dなどの見かけ上の深さが発生されることがある。
【0152】
他の代替実施形態では、アンチエリアシングの程度は、1つの極値から、すなわち、色値を割り当てるために深さの端数値λとμを無視して、深さの端数値λとμの全てを用いる別の極値まで変化し得る、すなわち、アンチエリアシングの程度はこのような2つの極値間のいかなる値でも取り得る。このような可変のアンチエリアシングは、スケーリングされた深さの端数部分λをアンチエリアシングパラメータPで除算し、次にその結果値を1から負の方向にオフセットすることによって実行され得る。すなわち、αを式(5)と(10)で計算した後で、変数値λVARが次式のように計算される。
【0153】
λVAR=λ/P (14)
最終的な色値は、負方向にオフセットされた値を所定の範囲内、例えば0と1の間に収まるように固定又はクランプすることによって決定され得る。したがって、式(7)と(8)は可変のアンチエリアシングに対して次式のように修正される。
【0154】
CA2=CV(1−λVAR) (15)
CB2=CVλVAR (16)
このように、図20のステップ198〜202はそれぞれ式(14)〜(16)を実現して、可変アンチエリアシングを提供する。
【0155】
P=1のアンチエリアシングパラメータは、全アンチエリアシングに対応し、任意の高い数値で計算的に実現され得る無限のアンチエリアシングパラメータP→∞は、いかなるアンチエリアシングにも対応していない。1未満のアンチエリアシングパラメータもまた実現され得る。例えば、P=1である場合、上記の式(1)〜(13)に対するアンチエリアシングが実現される。
【0156】
別の例では、アンチエリアシング値がλ=0.24でアンチエリアシングパラメータが3である場合、式(14)によってλVAR=0.08であり、したがってCA2=0.92 CV=ボクセル170の色値の92%であり、一方、式(15)と(16)により、CB2=0.08 CV=ボクセル170の色値の8%となる。前の数値の例と比較して、このような可変アンチエリアシングは、見かけ上の深さにおけるボクセル172の貢献度を76%から92%に増加させ、一方、ボクセル174の貢献度は24%すなわち約1/4から10%未満にまで減少する。さらなる例では、P→∽の場合、アンチエリアシングは消滅し、したがって、式(14)によってλVAR=0.00となる。このように、式(15)と(16)によれば、CA2=1.0 CV=ボクセル170の色値の100%であり、一方CB2=0.0 CV=ボクセル170の色値の0%である。したがって、光学要素162〜164の間にあるあらゆるボクセル170がアンチエリアシング無しで、より近い光学要素162上に表示され、したがって、図20のステップ202は、P→∽の場合、基準点からより遠い第2のボクセルを発生しない、したがって表示しないステップをさらに含む。例えば、ボクセル174は発生されない。
【0157】
可変アンチエリアシングを用いるさらなる代替実施形態では、図20の方法は、調節された色値が所定のしきい値Tより大きい場合にだけ、新しいボクセルを表示することを含むことがある。例えば、
CV(1−λVAR)>Tであれば、CA2=CV(1−λVAR)
でなければ、CA2=0 (17)
CVλVAR>Tであれば、CB2=CVλVAR
でなければ、CB2=0 (18)
例えば、Tは0.05に等しいことがあり、したがって、例えば、約5%未満の色の貢献度は無視可能であると考えられるが、その理由は、このような色値を持つボクセルは、不透明/散乱モードに切り換えられたときに光学要素160〜168上に表示されるからである。したがって、全体的な3次元画像に対するこのような無視可能な貢献度は切り捨てられ、また、非貢献のボクセルは表示されず、これによって、表示されるボクセルの数が減少し、3次元画像の計算処理が向上する。
【0158】
追加の代替実施形態では、MVDシステム10は、3次元画像34のある部分の外観が半透明である3次元画像34を発生することが可能である。すなわち、MOE装置32の光学要素36〜42上に表示される画像44〜50は、1つの画像のある部分が半透明に見え、第2の画像の別の部分がこの半透明な部分を通して観測可能であるように見えるように、適切なシェーディングと色を有する。このような半透明な外観は、アンチエリアシングあるなしに関わらず発生され得る。
【0159】
3次元画像34を発生するに際して、MVDシステム10が用いる方法は、例えばグラフィックデータ源16のフレームバッファの色バッファと深さ(又はz)バッファなどのOpenGLフレームバッファデータを用いて、MPD計算を実行する。この深さバッファ中の値は、色バッファ中にある対応するピクセルの深さであり、MOE装置32内に表示される、図16のボクセル170などのピクセル又はボクセルのロケーションを決定するために用いられる。このMPD計算方法は、MOE装置32からのボリュメトリック画像34の背景物体の画像の部分が、このような画像が前景物体の画像によって塞がれている場合には、再現されないのが望ましい状況下では適切である。
【0160】
前景物体の画像が半透明であるため塞がれている背景物体に対応する画像が見えるMOE装置32中で画像を発生するために、アルファチャネル技法が用いられるが、この場合、パラメータα(アルファ)によって、αの値次第で前景物体と背景物体双方の色を合成することによって色バッファ中のピクセル/ボクセルの色が決定される。完全な不透明はα=1で与えられ、完全な透明性はα=0で与えられる。このようなアルファチャネルイメージングを用いて、正確に見える画像を色バッファから発生する一方では、深さバッファ中の深さ値は不変であり、このため、最も前方にある物体の画像の深さにまだ対応している。
【0161】
知られている表示システムでは、深さが修正されていないとボリュメトリック表示システム中で画像が適切に表示されないが、その理由は、これらの画像が、たった1つの深さ値を用いて表示されるはずの様々な深さにある複数の表面であり得るからである。ここで開示するMVDシステム10は、例えば半透明な物体又は部分を有するボリュメトリック画像34を発生し、これによって、単一の深さ値に対する様々な深さで複数の表面を表示する際の先行技術における禁止を避けている。この開示のMVDシステム10は、OpenGLの追加の機能を用いて、MVDシステム10のモデル空間中に位置しているクリップ平面を発生するが、これでは、例えば、負の側に対面した正の側のような各クリップ平面の所定の側上で単に再現し得るだけである。
【0162】
図21〜24に示すように、指標1からNで番号付けされ、これらの間に一様な間隔Δを有するN個の平面204〜212を有するMOE装置32の場合、ボリュメトリック画像34などのシーンは、互いに対面しており、距離Δだけ離間しており、モデル空間中の平面204〜212から成る所与のMOE平面のロケーションに中心付けされているクリップ平面でN回も再現される。したがって、N個の異なった画像が発生し、それに対応する色バッファが、フレームバッファから検索されてMVDコントローラ18に送られる。MOE装置32中で表示するために色バッファをMVDコントローラ18に送ると、アルファチャネルがオフされることがあるが、その理由は、MVDシステム10が、3次元ボリュメトリック画像34を発生するために用いられているMOE装置と関連する固有のアルファ値を有するからである。
【0163】
クリップ平面で再現するという動作は、図21〜22に示すようにアンチエリアシング無しでも実行され得るが、この場合、クリップ平面214〜216を観測者218に近接して位置している画像部分に対応して用いられ、また、画像34のある部分が発生して、クリップ平面214〜216間に位置している第1の平面206上に表示され、クリップ平面214〜216間にある画像部分は第1の平面206上に表示される。画像34の新しい部分はクリップ平面220〜222間で発生して、観測者218からさらに離れ、クリップ平面220〜222間に置かれた第2の平面208上で表示され、クリップ平面220〜222間にある画像部分は第2の平面208上に表示される。
【0164】
アルファチャネルを用いる上記の方法でアンチエリアシングを実行するために、アンチエリアシングで用いられるフォグ状イメージングを実現する雰囲気効果など、OpenGLの他の特徴が用いられる。フォグ特徴によって、フォグの密度と、そのフォグに対して指定された遠値と近値に関連した深さ範囲を基準としたモデルの深さとによって決まる比率で、各イメージングされた物体の色がフォグの色と合成される。
【0165】
OpenGLで利用可能なフォグ関数には、線形関数、指数関数及び平方指数関数がある。本開示のMVDシステム10はこのような関数とさらに、図23〜24に示すような線形フォグ関数224〜227の重ね合わせなどの、このようなフォグ関数の組合せを用いてもよい。図23〜24に示す図示実施形態では、線形フォグ関数224〜227の各組み合わせは、フォグの近い深さで黒色の設定に応じてゼロという値から始まり、線形に進行して、真の色の設定に応じて、近い深さのロケーションから(FAR−NEAR)/2の距離だけ離れたところで1という値に達する。次に、フォグ関数はフォグの遠い深さのところでゼロに戻る。このようなフォグ関数によって、また、画像34が表示されるモデル空間中の所与のMOE平面上に中心を持つ距離2Δだけ離間したクリップ平面によって、画像34は、N回だけ再現されるが、毎回色バッファからのデータが、MOE装置32の対応する平面に送られる。
【0166】
ある図示の実施形態では、線形フォグ関数の組合せとこのような組合せをもちいるボクセル画像データの処理とは、所与の光学要素、例えば図23の平面206に対する画像を、少なくとも2つの再現パスによって合成することによって実行される。第1のパスの間では、2つのクリップ平面が距離Δだけ離間されるが、第1のクリップ平面228は、現行の光学要素206の前で再現されている画像を持つ光学要素204上にあり、第2のクリップ平面はこの現行の光学要素206上にある。NEARがFAR未満であり、距離が増加する前方線形フォグ関数224が、次に前記のクリップ平面と共に用いられて、光学要素206に対する画像の第1のセットを再現する。
【0167】
第2のパスの間では、この2つのクリップ平面は距離Δだけ離間しており、第1のクリップ平面は現行の光学要素206上にあり、第2のクリップ平面230は光学要素208上に置かれて、現行の光学要素206の後でその画像が再現され、第2のクリップ平面は現行の光学要素206上にある。距離が増加し、FARがNEAR未満である後方線形フォグ関数225が次に前記のクリップ平面と共に用いられて、光学要素206に対する画像の第2のセットを再現する。
【0168】
様々な線形フォグ関数224〜225で再現されたこの第2のセットの画像は次に、MVDシステム10によって一緒に加算されて、光学要素206上で表示される。
【0169】
図23に示すように第1の画像を第1の平面206上で再現するために、フォグ関数224〜225が第1の平面206の周りに中心付けされ、クリップ平面228〜230からの画像とこれら間の深さは自身の対応する色値が、関連する深さでフォグ関数224〜225の対応する値によって修正される。この加算された画像を光学要素206上で関数224〜225を用いて再現した後は、MVDシステム10は、連続する画像を第2の平面208上で図24に示すように再現するが、フォグ関数226〜227は第2の平面208の周りに中心付けされるように変換される。クリップ平面232〜234からの画像とこれら間の深さは、自身の対応する色値が関連する深さでフォグ関数226の対応する値によって修正される。MVDシステム10は、連続的にフォグ関数を移動させ、また、対応するクリップ平面を処理して、各個別の画像をアルファチャネル方法を用いて色調節する。代替実施形態では、例えば観測者218からよりの距離が大きいとフォグ密度も大きくなるように、別のフォグ関数が様々な平面204〜212に対して実現され、これによって、表示された3次元ボリュメトリック画像34の深さ認識効果を増してもよい。
【0170】
例えば、図23を参照すると、Dと標識付けされた深さ238にあり、それぞれの色値Ciを画像の各部分に対して有する画像236の場合、深さDにおけるフォグ関数224の値240はαDであり、したがって、画像236に対して表示される調節された色値はαDCiである。この色値Ciは、本明細書で述べるように式(7)〜(8)及び/又は式(15)〜(18)中のような深さ調節された色値であってもよく、したがってアルファチャネル調節は図20のステップ200で任意に実現されて、本明細書で述べるアルファチャネル技法でアンチエリアシングを実行する。
【0171】
前記によって、新規で明瞭な多平面ボリュメトリック表示システム10と動作方法を、好ましい実施形態を参照として開示した。しかしながら、本発明の精神から逸脱することなく多くの修正や置換が可能である。例えば、好ましい実施形態は平坦パネル液晶表示などの平面光学要素を用いて説明したが、上記のように湾曲した光学要素を想定することも本発明に完全に含まれる。
【0172】
MVDシステム10は、1998年4月20日提出の同時係属米国仮特許出願第60/082,442号に記載の装置と方法、さらに、米国特許第5,090,789号の分割である、米国特許第5,572,375号の部分継続出願である、1996年11月4日提出の同時継続米国特許出願第08/743,483号に記載の装置と方法を用いて実現してもよい。MVDシステム10はまた、1998年1月8日提出の同時継続米国出願第09/004,722号に記載の装置と方法を用いて実現してもよい。上記のそれぞれ仮の及び仮ではない特許出願と発行済みの特許は各々が、参照してここに組み込まれる。したがって、本発明は制限目的ではなく図示目的で記載されたものである。
【図面の簡単な説明】
【図1】 開示する多平面ボリュメトリック表示システムを示す図である。
【図2】 透明状態を有する液晶に基づく光学要素を示す図である。
【図3】 散乱不透明状態にある図2の光学要素を示す図である。
【図4】 ボリュメトリック3D画像を形成するためのもので、複数の光学要素上での連続した画像の表示を示す図である。
【図5】 ボリュメトリック3D画像を形成するためのもので、複数の光学要素上での連続した画像の表示を示す図である。
【図6】 ボリュメトリック3D画像を形成するためのもので、複数の光学要素上での連続した画像の表示を示す図である。
【図7】 ボリュメトリック3D画像を形成するためのもので、複数の光学要素上での連続した画像の表示を示す図である。
【図8】 膜光変調器を示す図である。
【図9】 画像プロジェクタで使用される適応光学システムを示す図である。
【図10】 複数の光学要素システムと共に、図9の適応光学システムを示す図である。
【図11】 強誘電性液晶(FLC)空間光変調器(SLM)のピクセルの横断面図である。
【図12】 図11のFLC SLMの軸の角度方位を示す図である。
【図13】 図11のFLC SLMの軸の角度方位を示す図である。
【図14】 図11のFLC SLMの軸の角度方位を示す図である。
【図15】 多平面データセットを発生させる方法の流れ図である。
【図16】 複数の光学要素でのボクセルの3Dアンチエリアシングを示す図である。
【図17】 3Dアンチエリアシングを用いない場合のボクセル表示を示す図である。
【図18】 3Dアンチエリアシングを用いた場合のボクセル表示を示す図である。
【図19】 3Dアンチエリアシングを用いた場合と用いない場合の見掛けの深さを比較したグラフである。
【図20】 3Dアンチエリアシングの実施方法の流れ図である。
【図21】 アンチエリアシングを用いない場合の半透明の前景物体を有する3D画像の発生を示す図である。
【図22】 アンチエリアシングを用いない場合の半透明の前景物体を有する3D画像の発生を示す図である。
【図23】 アンチエリアシングを用いた場合の半透明の前景物体を有する3D画像の発生を示す図である。
【図24】 アンチエリアシングを用いた場合の半透明の前景物体を有する3D画像の発生を示す図である。
Claims (36)
- 複数の光学要素上に表示された3次元画像の第1のボクセルのアンチエリアシングを実行する方法であって、第1のボクセルの第1のボクセル深さの値が、第1のボクセルに接する一対の光学要素に対応する一対の光学要素の深さの値間にある方法であり、
第1のボクセル深さの値から深さ調節値を発生させるステップと、
深さ調節値を用いて、第1のボクセルと関連する第1の色値を調節するステップと、
調節された色値を用いて、一対の光学要素の少なくとも1つに第2のボクセルを表示するステップとを備えることを特徴とする、複数の光学要素上に表示された3次元画像の第1のボクセルのアンチエリアシングを実行する方法。 - 複数の光学要素と関連する指標の所定の範囲内になるように、第1のボクセル深さの値をスケーリングするステップをさらに備え、
深さ調節値を発生させるステップが、スケーリングしたボクセル深さの値から深さ調節値を発生させるステップを備えることを特徴とする請求項1に記載の方法。 - 深さ調節値を発生させるステップが、
深さ調節値になるように、スケーリングしたボクセル深さの値の端数部分を決定するステップを含むことを特徴とする請求項2に記載の方法。 - 第1の色値を調節するステップが、
第2のボクセルと関連する第2の色値を調節された色値として発生させるように、第1の色値を端数部分の関数で乗算するステップを含むことを特徴とする請求項3に記載の方法。 - 深さ調節値を発生させるステップが、
3次元画像の第1のボクセルの表示のアンチエリアシング度を制御するように、深さ調節値をアンチエリアシングパラメータで修正するステップを含むことを特徴とする請求項1に記載の方法。 - 第1の色値を調節するステップが、
深さ調節値を用いて調節された第1の色値から第2及び第3の色値を発生させるステップを含み、
第2のボクセルを表示するステップが、
第2及び第3の色値を用いて一対の光学要素のそれぞれ一つの要素に第2のボクセル及び第3のボクセルを表示するステップを含むことを特徴とする請求項1に記載の方法。 - 複数の光学要素の間隔が均一であることを特徴とする請求項6に記載の方法。
- 複数の光学要素の間隔が不均一であることを特徴とする請求項6に記載の方法。
- 複数の光学要素の間隔がその間で可変であることを特徴とする請求項6に記載の方法。
- 一対の光学要素を決定するステップが、
一対の光学要素を決定するように、複数の光学要素に関連する複数の深さ値を探索するステップを含み、第1のボクセルの第1のボクセル深さの値が、一対の光学要素に関連する一対の光学要素の深さ値間にあることを特徴とする請求項6に記載の方法。 - 深さ調節値を発生させるステップが、
第1のボクセルの深さ値及びボクセルと一対の光学要素に関連する光学要素の深さ値それぞれから、深さ調節値を発生させるステップを含むことを特徴とする請求項6に記載の方法。 - 複数の個々の光学要素を含む多面光学装置と、
光学要素の深さの値の間の深さの値を有するボクセルを含む画像データのアンチエイリアシングを行い、調整された色値を有する処理されたボクセルを有する画像スライスを発生するコントローラと、
多面光学装置のそれぞれの光学要素の1つ上に画像スライスの各々を投影してボリュメトリック3次元画像を発生させる画像プロジェクタとを備えることを特徴とする、アンチエイリアシングされたボリュメトリック3次元画像を発生させるシステム。 - 多面光学装置から第1のボリュメトリック3次元画像を投影して、多面光学装置から離れた位置で、空間中にフローティングするように見える第2のボリュメトリック3次元画像を発生させるフローティング画像発生器をさらに備えることを特徴とする請求項13に記載のシステム。
- 多面光学装置の複数の個々の光学要素のそれぞれが、制御可能な可変半透明性を有する液晶要素を含み、アンチエリアシングされた画像を受けることを特徴とする請求項13に記載のシステム。
- 液晶要素の半透明性を制御する光学要素コントローラをさらに備え、
1つの液晶要素が、不透明光散乱状態をもつように制御されて、画像プロジェクタからアンチエリアシングされた画像のセットのそれぞれの画像を受けて表示し、
残りの液晶要素が、ほぼ透明になるように制御されて、不透明な液晶要素上に表示された画像が観察可能になることを特徴とする請求項15に記載のシステム。 - アレイ状に配設された複数の個々の光学要素を含む多面光学装置と、
多面光学装置のそれぞれの光学要素上に画像のセットを投影して、多面光学装置で観察可能な第1のボリュメトリック3次元画像を発生させる画像プロジェクタと、
多面光学装置から第1のボリュメトリック3次元画像を投影して、多面光学装置から離れた位置で、空間中にフローティングするように見える第2のボリュメトリック3次元画像を発生させるフローティング画像発生器とを備えることを特徴とするボリュメトリック3次元画像を発生させるシステム。 - 多面光学装置の複数の個々の光学要素のそれぞれが、制御可能な可変の半透明性を有する液晶要素を含むことを特徴とする請求項17に記載のシステム。
- 液晶要素の半透明性を制御する光学要素コントローラをさらに備え、
1つの液晶要素が、不透明光散乱状態をもつように制御されて、画像プロジェクタから画像のセットのそれぞれの画像を受けて表示し、
残りの液晶要素が、ほぼ透明になるように制御されて、不透明な液晶要素上に表示された画像が観察可能になることを特徴とする請求項18に記載のシステム。 - 光学要素コントローラが、複数のイメージングサイクル中に高速で複数の液晶要素にラスタ動作を実行して、ある特定のイメージングサイクル中に不透明な光散乱状態になるように、複数の液晶要素から1つの液晶要素を選択することで、光学要素コントローラにより、不透明な光散乱状態が複数の液晶要素を介して移動して、画像のセットを連続して受け、3次元の深さを有するボリュメトリック3次元画像を発生することを特徴とする請求項19に記載のシステム。
- 画像プロジェクタが、画像のセットを多面光学装置に投影して、35Hzよりも高速に第1のボリュメトリック3次元画像全体を多面光学装置に発生させて、人間が認知可能な画像のちらつきを防ぐことを特徴とする請求項17に記載のシステム。
- 多面光学装置が、約50個の光学要素を含み、
画像プロジェクタが、少なくとも2kHzの速度で画像のセットのそれぞれを各光学要素に投影することを特徴とする請求項21に記載のシステム。 - 画像プロジェクタが、
画像のセットを出力するプロジェクタレンズと、
プロジェクタレンズからの画像のセットの投影の解像度と深さを制御するように、画像のセットのそれぞれの焦点を各光学要素上に合わせる適応光学集束システムとを含むことを特徴とする請求項17に記載のシステム。 - 画像プロジェクタが、
複数の色で画像のセットを発生させ投影するように、赤、緑、青のレーザー光をそれぞれ投影する複数のレーザー光源を含むことを特徴とする請求項17に記載のシステム。 - 制御可能な可変の半透明性を有する複数の平面液晶要素を含む多平面光学装置と、
3次元画像の2次元スライスとして画像のセットを各液晶要素に投影して、多平面光学装置で観察される第1のボリュメトリック3次元画像を発生させる画像プロジェクタと、
多平面光学装置から第1のボリュメトリック3次元画像を投影して、多面光学装置から離れた位置で、空間中にフローティングするように見える第2のボリュメトリック3次元画像を発生させるフローティング画像発生器とを備えることを特徴とするボリュメトリック3次元画像を空間中に発生させるシステム。 - 複数の平面液晶要素が、多平面光学装置を形成する線形アレイ状に積層されることを特徴とする請求項25に記載のシステム。
- 複数の平面液晶要素の少なくとも1つが、それぞれの画像を受けて表示するための曲面であることを特徴とする請求項25に記載のシステム。
- 液晶要素の半透明性を制御する光学要素コントローラをさらに備え、
1つの液晶要素が、不透明光散乱状態をもち、画像プロジェクタから画像のセットのそれぞれの画像を受けて表示するように、1つの液晶要素に対して、画像プロジェクタからの画像のセットのそれぞれ1つの出力と同期するように制御され、
残りの液晶要素が、ほぼ透明になり、不透明な液晶要素上に表示された画像が観察可能になるように、画像のセットのそれぞれ1つの出力と同期するように制御されることを特徴とする請求項25に記載のシステム。 - 多平面光学装置が、少なくとも512ポイント×少なくとも512ポイントの横解像度をそれぞれが有する少なくとも50個の平面液晶要素を含むことにより、多平面光学装置が少なくとも1300万個のボクセルを有するように形成されることを特徴とする請求項25に記載のシステム。
- 3次元画像の2次元スライスセットに対応する画像データを画像プロジェクタに与えるステップと、
多面光学装置で観察可能な第1のボリュメトリック3次元画像を発生させるように、多面光学装置を形成する複数の液晶要素から選択された各液晶要素に、画像プロジェクタから前記2次元スライスのそれぞれを投影する投影ステップと、
フローティング画像発生器を用いて、多面光学装置から第1のボリュメトリック3次元画像を投影して、多面光学装置から離れた位置で空間中にフローティングするように見える第2のボリュメトリック3次元画像を発生するステップとを備えることを特徴とするボリュメトリック3次元画像を発生する方法。 - 光学要素コントローラを用いて多面光学装置の複数の個々の光学要素のそれぞれの半透明性を制御する制御ステップをさらに備えることを特徴とする請求項 30に記載の方法。
- 制御ステップが、
1つの液晶要素に不透明な光散乱状態をもつようにさせるステップと、
残りの液晶要素に半透明性をもつようにさせて、画像のセットがその上にそれぞれ投影可能なようにするステップとを含むことを特徴とする請求項31に記載の方法。 - 制御ステップが、
複数のイメージングサイクル中に高速で複数の液晶要素にラスタ動作を実行するステップと、
ある特定のイメージングサイクル中に1つの液晶要素が不透明な光散乱状態になるように、複数の液晶要素から1つの液晶要素を選択するステップと、
不透明な光散乱状態を複数の液晶要素を介して移動させるステップと、
不透明な光散乱状態の対応する1つの液晶要素上に表示されるように、それぞれの画像の投影を同期させるステップと、
不透明状態の各液晶要素上に同期させた投影像を用いて、3次元深さを有するようにボリュメトリック3次元画像を発生させるステップとを含むことを特徴とする請求項32に記載の方法。 - 投影ステップが、
画像のセットを多面光学装置に投影して、35Hzよりも高速に第1のボリュメトリック3次元画像全体を多面光学装置に発生させて、人間が認知可能な画像のちらつきを防ぐステップを含むことを特徴とする請求項30に記載の方法。 - 多面光学装置が、約50個の光学要素を含み、
投影ステップが、少なくとも2kHzの速度で画像のセットのそれぞれを各光学要素に投影するステップを含むことを特徴とする請求項34に記載の方法。 - 投影ステップが、
複数の色で複数の光学要素に画像のセットを発生させ投影するように、複数のレーザー光源から赤、緑、青のレーザー光をそれぞれ投影するステップを含むことを特徴とする請求項30に記載の方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US8244298P | 1998-04-20 | 1998-04-20 | |
US09/196,553 US6100862A (en) | 1998-04-20 | 1998-11-20 | Multi-planar volumetric display system and method of operation |
US60/082,442 | 1999-04-14 | ||
US09/291,315 US6377229B1 (en) | 1998-04-20 | 1999-04-14 | Multi-planar volumetric display system and method of operation using three-dimensional anti-aliasing |
US09/291,315 | 1999-04-14 | ||
US09/196,553 | 1999-04-14 | ||
PCT/US1999/008618 WO1999054849A1 (en) | 1998-04-20 | 1999-04-20 | Multi-planar volumetric display system and method of operation ussing three-dimensional anti-aliasing |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006329064A Division JP2007164784A (ja) | 1998-04-20 | 2006-12-06 | 3次元アンチエリアシングを用いた多平面ボリュメトリック表示システム及びその動作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002512408A JP2002512408A (ja) | 2002-04-23 |
JP3990865B2 true JP3990865B2 (ja) | 2007-10-17 |
Family
ID=46149801
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000545126A Expired - Lifetime JP3990865B2 (ja) | 1998-04-20 | 1999-04-20 | 3次元アンチエリアシングを用いた多平面ボリュメトリック表示システム及びその動作方法 |
JP2006329064A Pending JP2007164784A (ja) | 1998-04-20 | 2006-12-06 | 3次元アンチエリアシングを用いた多平面ボリュメトリック表示システム及びその動作方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006329064A Pending JP2007164784A (ja) | 1998-04-20 | 2006-12-06 | 3次元アンチエリアシングを用いた多平面ボリュメトリック表示システム及びその動作方法 |
Country Status (17)
Country | Link |
---|---|
US (2) | US6377229B1 (ja) |
EP (1) | EP1082705A4 (ja) |
JP (2) | JP3990865B2 (ja) |
KR (1) | KR100555807B1 (ja) |
CN (1) | CN1155915C (ja) |
AU (1) | AU774971B2 (ja) |
BR (1) | BR9909938A (ja) |
CA (1) | CA2329037A1 (ja) |
EA (1) | EA200001081A1 (ja) |
EE (1) | EE200000604A (ja) |
HK (1) | HK1039822B (ja) |
HU (1) | HUP0102634A3 (ja) |
IS (1) | IS5672A (ja) |
NO (1) | NO20005247L (ja) |
PL (1) | PL343606A1 (ja) |
RO (1) | RO120509B1 (ja) |
WO (1) | WO1999054849A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022152471A1 (en) * | 2021-01-14 | 2022-07-21 | Lightspace Technologies, SIA | Display system for displaying three-dimensional image and method therefor |
Families Citing this family (136)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6084587A (en) * | 1996-08-02 | 2000-07-04 | Sensable Technologies, Inc. | Method and apparatus for generating and interfacing with a haptic virtual reality environment |
US7239293B2 (en) * | 1998-01-21 | 2007-07-03 | New York University | Autostereoscopic display |
US6525699B1 (en) * | 1998-05-21 | 2003-02-25 | Nippon Telegraph And Telephone Corporation | Three-dimensional representation method and an apparatus thereof |
US6552722B1 (en) * | 1998-07-17 | 2003-04-22 | Sensable Technologies, Inc. | Systems and methods for sculpting virtual objects in a haptic virtual reality environment |
US6421048B1 (en) * | 1998-07-17 | 2002-07-16 | Sensable Technologies, Inc. | Systems and methods for interacting with virtual objects in a haptic virtual reality environment |
JP4277362B2 (ja) * | 1999-05-25 | 2009-06-10 | 株式会社セガ | 画像処理方法及び画像処理装置 |
US6606089B1 (en) * | 1999-06-08 | 2003-08-12 | Sulzer Market And Technology Ag | Method for visualizing a spatially resolved data set |
JP2003506742A (ja) * | 1999-08-01 | 2003-02-18 | ディープ ヴィデオ イメージング リミテッド | 層状スクリーンを備えた、相互作用的(インタラクティブ)な3次元ディスプレイ |
US7624339B1 (en) | 1999-08-19 | 2009-11-24 | Puredepth Limited | Data display for multiple layered screens |
AU769103B2 (en) | 1999-08-19 | 2004-01-15 | Pure Depth Limited | Display method for multiple layered screens |
CA2420081C (en) | 1999-08-19 | 2011-10-11 | Deep Video Imaging Limited | Control of depth movement for visual display with layered screens |
GB2358980B (en) * | 2000-02-07 | 2004-09-01 | British Broadcasting Corp | Processing of images for 3D display |
US20080024598A1 (en) * | 2000-07-21 | 2008-01-31 | New York University | Autostereoscopic display |
WO2002033657A2 (en) * | 2000-10-20 | 2002-04-25 | Robert Batchko | Combinatorial optical processor |
US7072086B2 (en) * | 2001-10-19 | 2006-07-04 | Batchko Robert G | Digital focus lens system |
JP3524529B2 (ja) * | 2000-12-19 | 2004-05-10 | 株式会社ソニー・コンピュータエンタテインメント | コンピュータに実行させるための描画処理プログラム、コンピュータに実行させるための描画処理プログラムを記録した記録媒体、プログラム実行装置、描画装置及び方法 |
US20030208753A1 (en) * | 2001-04-10 | 2003-11-06 | Silicon Light Machines | Method, system, and display apparatus for encrypted cinema |
NZ511444A (en) * | 2001-05-01 | 2004-01-30 | Deep Video Imaging Ltd | Information display |
CA2386479C (en) * | 2001-05-15 | 2009-01-13 | Research In Motion Limited | Light source system for a color flat panel display |
JP3812368B2 (ja) * | 2001-06-06 | 2006-08-23 | 豊田合成株式会社 | Iii族窒化物系化合物半導体素子及びその製造方法 |
JP3918487B2 (ja) * | 2001-07-26 | 2007-05-23 | セイコーエプソン株式会社 | 立体表示装置及び投射型立体表示装置 |
US7595811B2 (en) | 2001-07-26 | 2009-09-29 | Seiko Epson Corporation | Environment-complaint image display system, projector, and program |
NZ514119A (en) * | 2001-09-11 | 2004-06-25 | Deep Video Imaging Ltd | Improvement to instrumentation |
US20030067421A1 (en) * | 2001-10-10 | 2003-04-10 | Alan Sullivan | Variable focusing projection system |
DE10206397B4 (de) * | 2002-02-15 | 2005-10-06 | Siemens Ag | Verfahren zur Darstellung von Projektions- oder Schnittbildern aus 3D-Volumendaten eines Untersuchungsvolumens |
WO2003079272A1 (en) * | 2002-03-15 | 2003-09-25 | University Of Washington | Materials and methods for simulating focal shifts in viewers using large depth of focus displays |
US7081892B2 (en) * | 2002-04-09 | 2006-07-25 | Sony Computer Entertainment America Inc. | Image with depth of field using z-buffer image data and alpha blending |
NZ521505A (en) * | 2002-09-20 | 2005-05-27 | Deep Video Imaging Ltd | Multi-view display |
US6867774B1 (en) * | 2002-12-02 | 2005-03-15 | Ngrain (Canada) Corporation | Method and apparatus for transforming polygon data to voxel data for general purpose applications |
JP2004241962A (ja) * | 2003-02-05 | 2004-08-26 | Pioneer Electronic Corp | 表示装置及び方法 |
NZ525956A (en) * | 2003-05-16 | 2005-10-28 | Deep Video Imaging Ltd | Display control system for use with multi-layer displays |
JP2004363680A (ja) * | 2003-06-02 | 2004-12-24 | Pioneer Electronic Corp | 表示装置及び方法 |
PL360688A1 (en) * | 2003-06-13 | 2004-12-27 | Cezary Tkaczyk | Method for converting two-dimensional image into corresponding three-dimensional object as well as three-dimensional object |
EP1524865A1 (en) * | 2003-10-17 | 2005-04-20 | Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno | Multi-plane display for displaying overlapping images |
US6948819B2 (en) * | 2003-12-06 | 2005-09-27 | Christopher Westlye Mann | Three-dimensional display using optical fibers of different lengths |
JP4341398B2 (ja) * | 2003-12-18 | 2009-10-07 | セイコーエプソン株式会社 | 光伝搬特性制御装置、光学表示装置、光伝搬特性制御プログラムおよび光学表示装置制御プログラム、並びに光伝搬特性制御方法および光学表示装置制御方法 |
EP1705929A4 (en) * | 2003-12-25 | 2007-04-04 | Brother Ind Ltd | IMAGE DISPLAY DEVICE AND SIGNAL PROCESSING DEVICE |
GB0400372D0 (en) * | 2004-01-09 | 2004-02-11 | Koninkl Philips Electronics Nv | Optical path length adjuster |
DE102005003548A1 (de) * | 2004-02-02 | 2006-02-09 | Volkswagen Ag | Bedienelement für ein Kraftfahrzeug |
KR100601256B1 (ko) * | 2004-03-12 | 2006-07-14 | 주식회사 대우일렉트로닉스 | 홀로그래픽 디지털 데이터 시스템의 재생 방법 및 재생 장치 |
GB0410551D0 (en) * | 2004-05-12 | 2004-06-16 | Ller Christian M | 3d autostereoscopic display |
US20080273027A1 (en) * | 2004-05-12 | 2008-11-06 | Eric Feremans | Methods and Devices for Generating and Viewing a Planar Image Which Is Perceived as Three Dimensional |
JP4122314B2 (ja) * | 2004-06-15 | 2008-07-23 | ザイオソフト株式会社 | 投影画像処理方法、投影画像処理プログラム、投影画像処理装置 |
US20050285854A1 (en) * | 2004-06-29 | 2005-12-29 | Ge Medical Systems Information Technologies, Inc. | 3D display system and method |
US7376903B2 (en) * | 2004-06-29 | 2008-05-20 | Ge Medical Systems Information Technologies | 3D display system and method |
US20050285844A1 (en) * | 2004-06-29 | 2005-12-29 | Ge Medical Systems Information Technologies, Inc. | 3D display system and method |
WO2006004894A2 (en) | 2004-06-29 | 2006-01-12 | Sensable Technologies, Inc. | Apparatus and methods for haptic rendering using data in a graphics pipeline |
US20050285853A1 (en) * | 2004-06-29 | 2005-12-29 | Ge Medical Systems Information Technologies, Inc. | 3D display system and method |
US8042094B2 (en) * | 2004-07-08 | 2011-10-18 | Ellis Amalgamated LLC | Architecture for rendering graphics on output devices |
US7804500B2 (en) * | 2004-07-26 | 2010-09-28 | Che-Chih Tsao | Methods of displaying volumetric 3D images |
WO2006017771A1 (en) * | 2004-08-06 | 2006-02-16 | University Of Washington | Variable fixation viewing distance scanned light displays |
JP4468370B2 (ja) * | 2004-09-08 | 2010-05-26 | 日本電信電話株式会社 | 三次元表示方法、装置およびプログラム |
US20060056680A1 (en) * | 2004-09-13 | 2006-03-16 | Sandy Stutsman | 3D volume construction from DICOM data |
DE102004047960A1 (de) * | 2004-10-01 | 2006-04-06 | Siemens Ag | Strahlprojektions-Anzeigeeinrichtung und Verfahren zum Betreiben einer Strahlprojektions-Anzeigeeinrichtung |
TW200617807A (en) * | 2004-11-19 | 2006-06-01 | Actuality Systems Inc | System and method for generating rendering data associated with a 3-d image |
US8149218B2 (en) * | 2004-12-21 | 2012-04-03 | Universal Electronics, Inc. | Controlling device with selectively illuminated user interfaces |
KR101170798B1 (ko) * | 2005-06-01 | 2012-08-02 | 삼성전자주식회사 | 다층 유기발광소자를 이용한 체적형 3차원 디스플레이시스템 |
WO2007018111A1 (ja) * | 2005-08-05 | 2007-02-15 | Pioneer Corporation | 画像表示装置 |
US7848556B2 (en) * | 2005-10-07 | 2010-12-07 | Siemens Medical Solutions Usa, Inc. | Method and apparatus for calculating a virtual image plane for magnetic resonance imaging |
WO2007127319A2 (en) * | 2006-04-25 | 2007-11-08 | The Board Of Regents Of The University Of Oklahoma | Volumetric liquid crystal display for rendering a three- dimensional image |
KR101258584B1 (ko) * | 2006-06-21 | 2013-05-02 | 엘지디스플레이 주식회사 | 부피표현방식 3차원 영상표시장치 |
US8972902B2 (en) * | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
US8589824B2 (en) * | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
KR100811954B1 (ko) * | 2006-07-13 | 2008-03-10 | 현대자동차주식회사 | 물체상 표시방법 |
US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
US8234578B2 (en) * | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
US8432448B2 (en) * | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
US8248462B2 (en) * | 2006-12-15 | 2012-08-21 | The Board Of Trustees Of The University Of Illinois | Dynamic parallax barrier autosteroscopic display system and method |
US8100539B2 (en) * | 2007-04-10 | 2012-01-24 | Tunable Optix Corporation | 3D imaging system employing electronically tunable liquid crystal lens |
US7777760B2 (en) | 2007-06-29 | 2010-08-17 | Apple Inc. | Display color correcting system |
US8139110B2 (en) * | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
US20090219253A1 (en) * | 2008-02-29 | 2009-09-03 | Microsoft Corporation | Interactive Surface Computer with Switchable Diffuser |
US7985016B2 (en) * | 2008-04-14 | 2011-07-26 | Dorian Christine Webb Fritze | Fiber optic display systems and related methods |
US8345920B2 (en) * | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
WO2010021972A1 (en) * | 2008-08-18 | 2010-02-25 | Brown University | Surround structured lighting for recovering 3d object shape and appearance |
KR101580275B1 (ko) * | 2008-11-25 | 2015-12-24 | 삼성전자주식회사 | 멀티 레이어 디스플레이에 3차원 영상을 표현하기 위한 영상 처리 장치 및 방법 |
KR101066524B1 (ko) * | 2008-11-25 | 2011-09-21 | 한국전자통신연구원 | 원통형 객체 렌더링 장치 및 그 렌더링 방법 |
US8704822B2 (en) * | 2008-12-17 | 2014-04-22 | Microsoft Corporation | Volumetric display system enabling user interaction |
CN101533529B (zh) * | 2009-01-23 | 2011-11-30 | 北京建筑工程学院 | 基于深度图像的三维空间数据处理方法与装置 |
US9524700B2 (en) | 2009-05-14 | 2016-12-20 | Pure Depth Limited | Method and system for displaying images of various formats on a single display |
CN104301586A (zh) * | 2010-02-12 | 2015-01-21 | 佳能株式会社 | 根据图像数据生成亮度信号的设备和方法 |
US8190585B2 (en) * | 2010-02-17 | 2012-05-29 | Lockheed Martin Corporation | Supporting multiple different applications having different data needs using a voxel database |
US9200779B2 (en) | 2010-05-25 | 2015-12-01 | Nokia Technologies Oy | Three-dimensional display for displaying volumetric images |
CN107103639B (zh) * | 2010-06-30 | 2021-05-18 | 巴里·林恩·詹金斯 | 确定网格多边形或网格多边形的分段的集合的方法和系统 |
US9892546B2 (en) | 2010-06-30 | 2018-02-13 | Primal Space Systems, Inc. | Pursuit path camera model method and system |
US9916763B2 (en) | 2010-06-30 | 2018-03-13 | Primal Space Systems, Inc. | Visibility event navigation method and system |
US9146403B2 (en) | 2010-12-01 | 2015-09-29 | Massachusetts Institute Of Technology | Content-adaptive parallax barriers for automultiscopic display |
US8502816B2 (en) | 2010-12-02 | 2013-08-06 | Microsoft Corporation | Tabletop display providing multiple views to users |
DE102011009270A1 (de) * | 2011-01-24 | 2012-12-27 | Uwe Ritscher | Kostruktion zur Darstellung dreidimensionaler Bilder |
US8692738B2 (en) | 2011-06-10 | 2014-04-08 | Disney Enterprises, Inc. | Advanced Pepper's ghost projection system with a multiview and multiplanar display |
US8878780B2 (en) | 2011-07-10 | 2014-11-04 | Industrial Technology Research Institute | Display apparatus |
TW201303368A (zh) * | 2011-07-10 | 2013-01-16 | Ind Tech Res Inst | 顯示裝置 |
KR101568971B1 (ko) * | 2011-08-03 | 2015-11-13 | 인디안 인스티튜트 오브 테크놀로지, 카라그푸르 | 화상 및 동영상에서 안개를 제거하는 방법 및 시스템 |
DE102011112618A1 (de) * | 2011-09-08 | 2013-03-14 | Eads Deutschland Gmbh | Interaktion mit einem dreidimensionalen virtuellen Szenario |
US8651678B2 (en) | 2011-11-29 | 2014-02-18 | Massachusetts Institute Of Technology | Polarization fields for dynamic light field display |
KR102028732B1 (ko) * | 2012-04-05 | 2019-10-04 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
CN104049453B (zh) * | 2013-03-12 | 2017-05-10 | 耿征 | 真三维显示装置和系统、真三维显示控制方法和装置 |
KR20150033162A (ko) * | 2013-09-23 | 2015-04-01 | 삼성전자주식회사 | 컴포지터, 이를 포함하는 시스템온칩 및 이의 구동 방법 |
NZ722903A (en) * | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
CN106461955B (zh) * | 2014-01-31 | 2019-08-13 | 奇跃公司 | 显示增强现实的方法 |
KR101381580B1 (ko) | 2014-02-04 | 2014-04-17 | (주)나인정보시스템 | 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 방법 및 시스템 |
GB2526158B (en) * | 2014-05-16 | 2017-12-20 | Two Trees Photonics Ltd | Imaging device for moving a virtual image |
NZ764960A (en) | 2014-05-30 | 2022-05-27 | Magic Leap Inc | Methods and system for creating focal planes in virtual and augmented reality |
NZ727361A (en) | 2014-05-30 | 2020-05-29 | Magic Leap Inc | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
US9916794B2 (en) * | 2015-08-05 | 2018-03-13 | Disney Enterprises, Inc. | Switched emissive transparent display with controllable per-pixel opacity |
IL257984B (en) | 2015-10-05 | 2022-08-01 | Magic Leap Inc | Microlens collimator for optical fiber scanning in a virtual/augmented reality system |
JP7216547B2 (ja) | 2015-10-06 | 2023-02-01 | マジック リープ, インコーポレイテッド | 逆角度回折格子を有する仮想/拡張現実システム |
US9946070B2 (en) * | 2016-03-08 | 2018-04-17 | Sharp Kabushiki Kaisha | Automotive head up display |
CN107390377A (zh) * | 2016-05-17 | 2017-11-24 | 上海科斗电子科技有限公司 | 液晶多层立体显示器驱动系统 |
US11150486B2 (en) * | 2017-02-15 | 2021-10-19 | Pure Depth Inc. | Method and system for object rippling in a display system including multiple displays |
US10628995B2 (en) | 2017-04-17 | 2020-04-21 | Microsoft Technology Licensing, Llc | Anti-aliasing of graphical elements defined based on functions |
JP2018205614A (ja) * | 2017-06-08 | 2018-12-27 | パイオニア株式会社 | 表示装置 |
KR102013917B1 (ko) * | 2017-06-28 | 2019-08-23 | (주)다이브코어 | Vr에서의 깊이 계층 이미지 표시장치 및 방법 |
KR102539538B1 (ko) * | 2017-10-24 | 2023-06-01 | 엘지디스플레이 주식회사 | 부피표현방식 3차원 표시장치 |
CN107894666B (zh) * | 2017-10-27 | 2021-01-08 | 杭州光粒科技有限公司 | 一种头戴式多深度立体图像显示系统及显示方法 |
KR102507626B1 (ko) * | 2017-10-31 | 2023-03-07 | 엘지디스플레이 주식회사 | 부피표현방식 3차원 표시장치 |
CN107884948A (zh) * | 2017-12-27 | 2018-04-06 | 王洪淼 | 一种多层透明彩色液晶屏立体模型显示器及方法 |
US12072493B2 (en) * | 2018-03-22 | 2024-08-27 | Lightspace Technologies, SIA | Near-eye display apparatus and method of displaying three-dimensional images |
US20190293950A1 (en) * | 2018-03-22 | 2019-09-26 | Lightspace Technologies, SIA | Near-eye display apparatus and method of displaying three-dimensional images |
CN110364127A (zh) * | 2018-04-10 | 2019-10-22 | 普天信息技术有限公司 | 智能大屏幕系统的自适应显示方法及装置 |
US10728534B2 (en) * | 2018-07-31 | 2020-07-28 | Lightspace Technologies, SIA | Volumetric display system and method of displaying three-dimensional image |
CN109143763A (zh) * | 2018-08-24 | 2019-01-04 | 西安电子科技大学 | 一种体三维显示装置及其控制方法 |
CN116413940A (zh) * | 2018-08-27 | 2023-07-11 | 成都理想境界科技有限公司 | 一种图像深度调制模组、显示模组及近眼显示设备 |
KR102250687B1 (ko) * | 2018-12-28 | 2021-05-10 | 광운대학교 산학협력단 | 3차원 VR을 위한 2차원 LiDAR 기반 전 방향 3차원 계측 기법 및 이의 장치 |
US11314383B2 (en) * | 2019-03-24 | 2022-04-26 | Apple Inc. | Stacked media elements with selective parallax effects |
CN114175627B (zh) * | 2019-06-07 | 2024-04-12 | 交互数字Vc控股公司 | 用于基于分布式光孔的光场显示器的光学方法和系统 |
CN110430422A (zh) * | 2019-06-26 | 2019-11-08 | 边策 | 立体影像显示器和立体影像显示方法 |
US11768463B2 (en) | 2019-06-26 | 2023-09-26 | Electronics And Telecommunications Research Institute | Digital hologram display apparatus and displaying method of digital holographic image |
KR102546710B1 (ko) * | 2019-06-26 | 2023-06-23 | 한국전자통신연구원 | 디지털 홀로그램 표시 장치 및 디지털 홀로그램 영상 재생 방법 |
CN112180619B (zh) * | 2019-07-02 | 2022-08-16 | 财团法人工业技术研究院 | 三维成像系统及方法 |
CN110456517B (zh) * | 2019-08-20 | 2021-11-02 | 杭州海藻科技服务有限公司 | 3d显示屏及其3d显示方法 |
KR20200026768A (ko) * | 2019-11-22 | 2020-03-11 | 엘지전자 주식회사 | 반도체 발광소자를 이용한 디스플레이 장치의 제조방법 및 이에 사용되는 자가조립 장치 |
US12019253B2 (en) * | 2022-09-30 | 2024-06-25 | Universal City Studios Llc | Oscillating stacked digital displays for holographic image |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2961486A (en) * | 1951-03-05 | 1960-11-22 | Alvin M Marks | Three-dimensional display system |
US3555349A (en) * | 1968-07-17 | 1971-01-12 | Otto John Munz | Three-dimensional television system |
US3989355A (en) | 1975-01-21 | 1976-11-02 | Xerox Corporation | Electro-optic display system |
US4472737A (en) | 1982-08-31 | 1984-09-18 | Tokyo Shibaura Denki Kabushiki Kaisha | Stereographic tomogram observing apparatus |
JPS6095515A (ja) * | 1983-09-26 | 1985-05-28 | テクトロニツクス・インコーポレイテツド | カラーフイルタ |
JPS60165632A (ja) | 1984-02-08 | 1985-08-28 | Fujitsu Ltd | 立体スクリ−ン装置 |
US4670744A (en) * | 1985-03-14 | 1987-06-02 | Tektronix, Inc. | Light reflecting three-dimensional display system |
US4835712A (en) * | 1986-04-14 | 1989-05-30 | Pixar | Methods and apparatus for imaging volume data with shading |
EP0513474A1 (en) * | 1986-09-11 | 1992-11-19 | Hughes Aircraft Company | Digital visual and sensor simulation system for generating realistic scenes |
US5005578A (en) * | 1986-12-16 | 1991-04-09 | Sam Technology, Inc. | Three-dimensional magnetic resonance image distortion correction method and system |
US4879668A (en) * | 1986-12-19 | 1989-11-07 | General Electric Company | Method of displaying internal surfaces of three-dimensional medical images |
JPH0357437A (ja) * | 1989-07-25 | 1991-03-12 | Agency Of Ind Science & Technol | Mri断層像立体視装置 |
US5113272A (en) | 1990-02-12 | 1992-05-12 | Raychem Corporation | Three dimensional semiconductor display using liquid crystal |
US5201035A (en) * | 1990-07-09 | 1993-04-06 | The United States Of America As Represented By The Secretary Of The Air Force | Dynamic algorithm selection for volume rendering, isocontour and body extraction within a multiple-instruction, multiple-data multiprocessor |
US5990990A (en) | 1990-08-03 | 1999-11-23 | Crabtree; Allen F. | Three-dimensional display techniques, device, systems and method of presenting data in a volumetric format |
US5572375A (en) * | 1990-08-03 | 1996-11-05 | Crabtree, Iv; Allen F. | Method and apparatus for manipulating, projecting and displaying light in a volumetric format |
US5090789A (en) | 1990-08-03 | 1992-02-25 | Crabtree Allen E | Laser light show device and method |
US5594652A (en) * | 1991-01-31 | 1997-01-14 | Texas Instruments Incorporated | Method and apparatus for the computer-controlled manufacture of three-dimensional objects from computer data |
US5282121A (en) * | 1991-04-30 | 1994-01-25 | Vari-Lite, Inc. | High intensity lighting projectors |
US5734384A (en) * | 1991-11-29 | 1998-03-31 | Picker International, Inc. | Cross-referenced sectioning and reprojection of diagnostic image volumes |
DE4300246A1 (en) * | 1992-01-08 | 1993-07-15 | Terumo Corp | Depth scanner for displaying three=dimensional pictures without lenses - projects collimated light through object to be scanned and condenses light and filters to remove direct flow component |
US5886818A (en) * | 1992-12-03 | 1999-03-23 | Dimensional Media Associates | Multi-image compositing |
US5497453A (en) * | 1993-01-05 | 1996-03-05 | International Business Machines Corporation | Method and apparatus for detecting and visualizing interferences between solids |
IL108668A (en) * | 1993-02-25 | 1998-09-24 | Hughes Training Inc | A method and system for creating a plurality of 3D image characters |
JP2627607B2 (ja) * | 1993-06-16 | 1997-07-09 | 日本アイ・ビー・エム株式会社 | ボリュームレンダリング方法 |
US5552934A (en) * | 1994-03-18 | 1996-09-03 | Spm Corporation | Background reflection-reducing plano-beam splitter for use in real image projecting system |
US5594842A (en) * | 1994-09-06 | 1997-01-14 | The Research Foundation Of State University Of New York | Apparatus and method for real-time volume visualization |
JPH09512937A (ja) * | 1994-09-06 | 1997-12-22 | ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク | ボリュームを実時間で視覚化する装置及び方法 |
US5764317A (en) | 1995-06-26 | 1998-06-09 | Physical Optics Corporation | 3-D volume visualization display |
JP3203160B2 (ja) * | 1995-08-09 | 2001-08-27 | 三菱電機株式会社 | ボリューム・レンダリング装置及び方法 |
JP3268625B2 (ja) | 1995-08-11 | 2002-03-25 | シャープ株式会社 | 3次元画像表示装置 |
US5745197A (en) * | 1995-10-20 | 1998-04-28 | The Aerospace Corporation | Three-dimensional real-image volumetric display system and method |
US5671136A (en) * | 1995-12-11 | 1997-09-23 | Willhoit, Jr.; Louis E. | Process for seismic imaging measurement and evaluation of three-dimensional subterranean common-impedance objects |
US5813742A (en) | 1996-04-22 | 1998-09-29 | Hughes Electronics | Layered display system and method for volumetric presentation |
JP3150066B2 (ja) * | 1996-07-16 | 2001-03-26 | 有限会社アロアロ・インターナショナル | 造形装置および方法 |
US5929862A (en) * | 1996-08-05 | 1999-07-27 | Hewlett-Packard Co. | Antialiasing system and method that minimize memory requirements and memory accesses by storing a reduced set of subsample information |
US6016151A (en) * | 1997-09-12 | 2000-01-18 | Neomagic Corp. | 3D triangle rendering by texture hardware and color software using simultaneous triangle-walking and interpolation for parallel operation |
US6100862A (en) * | 1998-04-20 | 2000-08-08 | Dimensional Media Associates, Inc. | Multi-planar volumetric display system and method of operation |
-
1999
- 1999-04-14 US US09/291,315 patent/US6377229B1/en not_active Expired - Lifetime
- 1999-04-20 EE EEP200000604A patent/EE200000604A/xx unknown
- 1999-04-20 JP JP2000545126A patent/JP3990865B2/ja not_active Expired - Lifetime
- 1999-04-20 CN CNB998073911A patent/CN1155915C/zh not_active Expired - Lifetime
- 1999-04-20 HU HU0102634A patent/HUP0102634A3/hu unknown
- 1999-04-20 RO ROA200001024A patent/RO120509B1/ro unknown
- 1999-04-20 EA EA200001081A patent/EA200001081A1/ru unknown
- 1999-04-20 AU AU36549/99A patent/AU774971B2/en not_active Expired
- 1999-04-20 EP EP99918696A patent/EP1082705A4/en not_active Withdrawn
- 1999-04-20 KR KR1020007011657A patent/KR100555807B1/ko not_active IP Right Cessation
- 1999-04-20 CA CA002329037A patent/CA2329037A1/en not_active Abandoned
- 1999-04-20 PL PL99343606A patent/PL343606A1/xx unknown
- 1999-04-20 BR BR9909938-1A patent/BR9909938A/pt not_active IP Right Cessation
- 1999-04-20 WO PCT/US1999/008618 patent/WO1999054849A1/en active IP Right Grant
-
2000
- 2000-10-18 NO NO20005247A patent/NO20005247L/no not_active Application Discontinuation
- 2000-10-20 IS IS5672A patent/IS5672A/is unknown
-
2002
- 2002-01-24 HK HK02100552.8A patent/HK1039822B/zh not_active IP Right Cessation
- 2002-03-20 US US10/103,356 patent/US6806849B2/en not_active Expired - Lifetime
-
2006
- 2006-12-06 JP JP2006329064A patent/JP2007164784A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022152471A1 (en) * | 2021-01-14 | 2022-07-21 | Lightspace Technologies, SIA | Display system for displaying three-dimensional image and method therefor |
Also Published As
Publication number | Publication date |
---|---|
KR100555807B1 (ko) | 2006-03-03 |
WO1999054849A1 (en) | 1999-10-28 |
NO20005247L (no) | 2000-12-14 |
US6377229B1 (en) | 2002-04-23 |
WO1999054849A9 (en) | 2000-03-09 |
US20020130820A1 (en) | 2002-09-19 |
HUP0102634A3 (en) | 2003-08-28 |
HK1039822B (zh) | 2005-04-08 |
HK1039822A1 (en) | 2002-05-10 |
BR9909938A (pt) | 2001-10-02 |
CA2329037A1 (en) | 1999-10-28 |
JP2007164784A (ja) | 2007-06-28 |
RO120509B1 (ro) | 2006-02-28 |
KR20010042880A (ko) | 2001-05-25 |
EP1082705A4 (en) | 2002-10-23 |
NO20005247D0 (no) | 2000-10-18 |
US6806849B2 (en) | 2004-10-19 |
EE200000604A (et) | 2002-04-15 |
EA200001081A1 (ru) | 2001-06-25 |
CN1155915C (zh) | 2004-06-30 |
CN1305619A (zh) | 2001-07-25 |
PL343606A1 (en) | 2001-08-27 |
AU774971B2 (en) | 2004-07-15 |
HUP0102634A2 (en) | 2001-12-28 |
AU3654999A (en) | 1999-11-08 |
EP1082705A1 (en) | 2001-03-14 |
JP2002512408A (ja) | 2002-04-23 |
IS5672A (is) | 2000-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3990865B2 (ja) | 3次元アンチエリアシングを用いた多平面ボリュメトリック表示システム及びその動作方法 | |
US6100862A (en) | Multi-planar volumetric display system and method of operation | |
US6466185B2 (en) | Multi-planar volumetric display system and method of operation using psychological vision cues | |
US20020163482A1 (en) | Multi-planar volumetric display system including optical elements made from liquid crystal having polymer stabilized cholesteric textures | |
US6525699B1 (en) | Three-dimensional representation method and an apparatus thereof | |
WO2017055894A1 (en) | Multi-planar volumetric real time three-dimensional display and method of operation | |
Osmanis et al. | Advanced multiplanar volumetric 3D display | |
CN207625713U (zh) | 视觉显示系统以及头戴显示装置 | |
CN207625711U (zh) | 视觉显示系统以及头戴显示装置 | |
Lipton | Future of autostereoscopic electronic displays | |
MXPA00010327A (en) | Multi-planar volumetric display system and method of operation ussing three-dimensional anti-aliasing | |
JP3564170B2 (ja) | 平面画像を立体画像昇華する処理関連物及び該製造方法。 | |
CZ20003912A3 (cs) | Vícerovinný volumetncký displejový systém a způsob činnosti využívající trojrozměrné protirozostřování | |
JP2006221128A (ja) | 3次元表示方法および3次元表示装置 | |
Carson | A color spatial display based on a raster framebuffer and varifocal mirror | |
Aieta et al. | 14‐4: Invited Paper: A Diffractive LCD Backlight Approach to Dynamic Lightfield Displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20040720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060822 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061206 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20061124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070723 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140727 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |