JP6675312B2 - 拡張現実感のための方法とシステム - Google Patents
拡張現実感のための方法とシステム Download PDFInfo
- Publication number
- JP6675312B2 JP6675312B2 JP2016539532A JP2016539532A JP6675312B2 JP 6675312 B2 JP6675312 B2 JP 6675312B2 JP 2016539532 A JP2016539532 A JP 2016539532A JP 2016539532 A JP2016539532 A JP 2016539532A JP 6675312 B2 JP6675312 B2 JP 6675312B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- computer
- wearer
- image data
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- 230000003190 augmentative effect Effects 0.000 title description 4
- 238000004891 communication Methods 0.000 claims description 88
- 238000012800 visualization Methods 0.000 claims description 80
- 241001393742 Simian endogenous retrovirus Species 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 29
- 201000009310 astigmatism Diseases 0.000 claims description 14
- 230000035945 sensitivity Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 238000010304 firing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 24
- 230000004075 alteration Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 239000011521 glass Substances 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 230000001427 coherent effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000036040 emmetropia Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 201000010041 presbyopia Diseases 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000005802 health problem Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010002945 Aphakia Diseases 0.000 description 1
- 108010010803 Gelatin Proteins 0.000 description 1
- 206010038848 Retinal detachment Diseases 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 239000006117 anti-reflective coating Substances 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 239000000839 emulsion Substances 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 229920000159 gelatin Polymers 0.000 description 1
- 239000008273 gelatin Substances 0.000 description 1
- 235000019322 gelatine Nutrition 0.000 description 1
- 235000011852 gelatine desserts Nutrition 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004264 retinal detachment Effects 0.000 description 1
- 229910052594 sapphire Inorganic materials 0.000 description 1
- 239000010980 sapphire Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/024—Methods of designing ophthalmic lenses
- G02C7/027—Methods of designing ophthalmic lenses considering wearer's parameters
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/08—Auxiliary lenses; Arrangements for varying focal length
- G02C7/086—Auxiliary lenses located directly on a main spectacle lens or in the immediate vicinity of main spectacles
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/14—Mirrors; Prisms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2286—Particular reconstruction light ; Beam properties
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C2202/00—Generic optical aspects applicable to one or more of the subgroups of G02C7/00
- G02C2202/20—Diffractive and Fresnel lenses or lens portions
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
- G03H2001/0825—Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2249—Holobject properties
- G03H2001/2284—Superimposing the holobject with other visual information
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2225/00—Active addressable light modulator
- G03H2225/60—Multiple SLMs
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/04—Transmission or communication means, e.g. internet protocol
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2227/00—Mechanical components or mechanical aspects not otherwise provided for
- G03H2227/02—Handheld portable device, e.g. holographic camera, mobile holographic display
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Holo Graphy (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
(i)以下のデータ
− 装着者処方箋データ、装着者眼感度データ及び装着者眼科バイオメトリックデータを含む装着者眼科データ、及び
− フレームデータ及びレンズデータを含む頭部装着装置データ、から選択される視覚化パラメータデータを提供する工程と、
(ii)コンピュータ生成画像データを提供する工程と、
(iii)工程(i)の視覚化パラメータデータを考慮することにより工程(ii)のコンピュータ生成画像データから修正コンピュータ生成画像データを計算する工程と、
(iv)工程(iii)の修正コンピュータ生成画像データを上記表示装置へ提供する工程とを含む。
− 工程(ii)はコンピュータ生成ホログラフィック画像データを光源から上記装置へ送信する工程を含み得る、又は
− 工程(iv)は修正コンピュータ生成ホログラフィック画像データを光源から上記装置へ送信する工程を含み得る。
(i−a)少なくとも1つの通信端末により装着者の存在を検出する工程と、
(i−b)工程(i−a)において検知された存在に応じて、視覚化パラメータデータを通信サーバから通信端末へ送信する工程と、
任意選択的に、(i−c)視覚化パラメータデータを通信端末から上記装置へ送信する別の工程とを含み得る。
− 修正コンピュータ生成画像データを通信端末から上記装置へ送信する工程と、
− 任意選択的に、修正コンピュータ生成画像データを通信サーバから通信端末へ送信する前工程とを含み得る。
本発明は、
− 照射によりホログラフィック画像を表示するのに好適な(するように構成、配置された)光源と、
− 任意選択的に、頭部装着型コンピュータ生成ホログラフィック画像表示装置を備える装着者の存在を検知するのに好適な(するように構成、配置された)センサと、
− 任意選択的に、視覚化パラメータデータ、コンピュータ生成ホログラフィック画像データ、及び修正コンピュータ生成ホログラフィック画像データから選択されたデータを上記端末から及び/又は上記端末へ送信するのに好適な(するように配置され、構成された)通信インターフェースとを含む照射端末を提供する。
− 例えばLCoS(液晶オンシリコン:liquid crystal on silicon)又はガラス透過型アクティブマトリックス液晶で作られた位相及び/又は振幅空間光変調器と、
− 任意選択的に、照射次第画像を表示するのに好適な(するように配置され、構成された)光源と、
− 任意選択的に、視覚化パラメータデータ、コンピュータ生成ホログラフィック画像データ、及び修正コンピュータ生成ホログラフィック画像データから選択されたデータを上記端末から及び/又は上記端末へ送信するのに好適な(するように配置され、構成された)通信インターフェースとを含む。
− 反射SLM(表示を引き起こす光ビームはSLM上で反射される)であり得る。その例としては、LCoS(液晶オンシリコン)材料で作られたSLMが挙げられる。可能な商業的供給源としては、Holoeye、Boulder Nonlinear Systems、Syndiant、Cambridge technologiesが挙げられる。反射SLMを含む本発明の装置HMDはさらに、ホログラフィックミラー又は
− 透過SLM(表示を引き起こす光ビームはSLMを通る)を含む。好適には、透過SLMは「シー・スルー」又は「透明」SLM、すなわち>85%又は>90%の透過率を有するSLMである。このような「シー・スルー」SLMは視野を損なうこと無しに装着者の眼の前に直接配置され得るので有利である。その例としては、ガラス上の薄いシリコン(SOI:シリコンオンインシュレータ)又はサファイヤ基板又はガラス透過型アクティブマトリックス液晶で作られる透明アクティブマトリクスが挙げられる。このような製品はCitizen Finetech Miyotaにより開発された。他の例としては、アモルファスシリコン、IGZOなどのLCD型透明アクティブマトリクスが挙げられる。可能な商業的供給源の例としてはBoulder Nonlinear Systemsが挙げられる。透過SLMを含む本発明の装置HMDはホログラフィックミラーを含んでも含まなくてもよい。
− <10μmの画素サイズ、好適には<5μm又は<4μm。間隔が空いた回折次数(選択/精選することが容易な)を有するように、そして位相の好適な(構成、配置された)空間サンプリングを提供してより高い解像度を有する画像及びその詳細のより良好な再生を生じるように、小さな画素サイズを有するSLMを選択することが好ましい。さらに、より小さな画素サイズは、回折角がより大きいのでより広い視野の画像の可能性を提供する。
− >85%、好適には>90%の回折効果。これは、改善された動力学(応答)、及び単一画素の位相の好適な(構成、配置された)サンプリングを提供するので、望ましい。
− 非可視コマンドマトリックスとハードウェア(画素を操るための)
− >2πの位相動力学
− 16レベル(4ビット)以上の位相サンプリング
− >90%、好適には>95%の充填比(画素有用領域)。
一態様では、本発明は、装着者により装着される頭部装着型コンピュータ生成画像表示装置HMDによる表示のためのコンピュータ生成画像データを処理するコンピュータ実施方法に関する。本方法は、
(i)以下のデータ
− 装着者処方箋データPD、装着者眼感度データSD及び装着者眼科バイオメトリックデータBDを含む装着者眼科データOD、及び
− フレームデータFD及びレンズデータLDを含む頭部装着装置データHMDD、から選択される視覚化パラメータデータVPDを提供する工程と、
(ii)コンピュータ生成画像データIDを提供する工程と、
(iii)工程(i)の視覚化パラメータデータVPDを考慮することにより工程(ii)のコンピュータ生成画像データIDから修正コンピュータ生成画像データMIDを計算する工程と、
(iv)工程(iii)の修正コンピュータ生成画像データMIDを表示装置HMDへ提供する工程とを含む。
− 図1〜図2は、コンピュータ生成画像データID又はHDが通信端末COM TERM上に提供される実施形態を示す。
− 図3〜図4は、コンピュータ生成画像データID又はHDが通信データベースDBへ接続された通信サーバCOM SERV上に提供される実施形態を示す。
− 図5は、視覚化パラメータデータVPDが通信データベースDBから検索され、通信端末COM TERMを介し装置HMDへ送信される実施形態を示す。
− 図6は、コンピュータ生成画像データID、HDが通信端末COM TERM上に提供される実施形態を示す。
− 図7と図8は、コンピュータ生成画像データID、HDが、通信データベースDBへ接続された通信サーバSERV上に提供される実施形態を示す。
別の態様では、本発明は、照射端末LIGHT TERMと装置HMDとを含むシステムを提供する。上記システムは、本発明の方法を実行するのに好適である(するように構成、配置される)。
− 照射によりホログラフィック画像を表示するのに好適な(するように構成、配置された)光源LIGHT SOURCと、
− 任意選択的に、頭部装着型コンピュータ生成ホログラフィック画像表示装置HMDを備える装着者の存在を検知するのに好適な(するように構成、配置された)センサSENSと、
− 任意選択的に、視覚化パラメータデータVPD、コンピュータ生成ホログラフィック画像データHD、及び修正コンピュータ生成ホログラフィック画像データMHDから選択されたデータを上記端末から及び/又は上記端末へ送信するのに好適な(するように配置され、構成された)通信インターフェースINTとを含む。
− 電池又は任意の他の電源手段、
− GPS座標を判断するためのGPS、
− 1つのメモリ又は複数のメモリ、
− ディジタルカメラ、
− 他のセンサ、
− ホログラフィック画像データ(修正又は未修正)を処理するために好適な(するように構成、配置された)コントローラCONT。コントローラCONTは、工程(iii)を実行するのに好適であり(するように構成、配置され)、プロセッサを含む。
− 位相及び/又は振幅空間光変調器SLMと、
− 任意選択的に、照射次第画像を表示するのに好適な(するように構成、配置された)光源LIGHT SOURCと、
− 任意選択的に、視覚化パラメータデータVPD、コンピュータ生成画像データID、及び修正コンピュータ生成画像データMIDから選択されたデータを装置HMDから及び/又は装置HMDへ送信するのに好適な(するように配置され、構成された)通信インターフェースμINTとを含む頭部装着型コンピュータ生成画像表示装置HMDを提供する。
− 少なくとも1つのレンズ。レンズは、反射防止膜と、任意選択的に、装着者側のレンズ上又は内に設けられるホログラフィックミラーとを備え、ホログラフィックミラーは好適には、装置HMDが内蔵光源LIGHT SOURCを備える場合に存在し、レンズは一対の処方箋レンズの一部であり得る、
− 電池、
− GPS、
− 少なくとも1つのメモリ、
− カメラ、
− マイクロホン、
− センサ(例えば、アイトラッカ、運動トラッカー又は触覚指令手段を含む触覚手段)、
− 画像データを処理(復号化、復調、符号化等々)するのに好適な(するように構成、配置された)マイクロコントローラ(μCONT)。コントローラCONTは、工程(iii)を実行するのに好適であり(するように構成、配置され)得、プロセッサを含み得る。
近視装着者は本発明の装置HMDを備える。装着者には、処方箋データPD(左及び右眼の度数)及び装置HMDに対応する装置データHMDDを含む視覚化パラメータデータVPDが割り振られる。視覚化パラメータデータVPDは装置HMD上のメモリ上に格納される。
乱視装着者は本発明の装置HMDを備える。同装着者は、処方箋データPD(左及び右眼の乱視度及び軸)と上記装置に対応する装置データHMDDとを含む視覚化パラメータデータVPDを有する。装置HMDは、時計、メモリ及び内蔵光源LIGHT SOURCを含む。時計は日時を提供するのに好適である。メモリは、装着者の乱視処方箋データPDと装置データHMDDとを考慮する修正ホログラフィック画像データを含む。ホログラフィック画像データは数字0、1、2、...、9と、スラッシュ、ダッシュなどの他のアルファベット文字とを含む。装着者からの触覚指令と光源LIGHT SOURCによる照射とに続いて、HMDは、次のフォーマットで、装着者視野の左上角に日時のホログラフィック画像を表示させる。
dd/mm/yy(日/月/年)
hh:mm(時:分)
hh:mm(午前又は午後)(時:分)
老眼装着者は本発明の装置HMDを備える。同装着者は、処方箋データPD(左及び右眼)と上記装置に対応する装置データHMDDとを含む視覚化パラメータデータVPDを有する。装置は光源LIGHT SOURCを含む。
博物館を訪れること
可能な用途は、単一光源LIGHT SOURCが端末TERMの一部であり博物館を訪れる装着者のために放射し得る博物館におけるものである。さらに、光源LIGHT SOURCは、多重モードで放射し得、したがって、博物館を同時に訪れる複数のHMD装着者のために使用され得る。
光源LIGHT SOURCを備えた端末TERMは自動車、モーターバイク、飛行機、トラックなどの車両内に設定され得る。端末は、交通、天候などに関する情報などの情報の表示のためのものである。情報は、個別的やり方であるが極めて可視的やり方で表示される(暗闇により、又は雨又は霧などの困難な天候条件下で、常にはあまり可視的でない道路標識とは対照的に)。画像は車両の基準系において「設定」され、したがって運転者は、標識を見るために頭を回転する必要が無い。さらに、光源は、多重モードで放射し、車両内の非運転者のための他の情報を表示し得る。
ビルセキュリティ(入退場制御)は本発明にしたがって行われ得る。入口の端末は、入場コードを入力するための仮想キーボードの表示を可能にする。建物への入場は、訪問客が好適な(構成、配置された)HMDを着用することを必要とする。
Claims (11)
- 装着者により装着される頭部装着型コンピュータ生成ホログラフィック画像表示装置(HMD)による表示のためのコンピュータ生成ホログラフィック画像データ(HD)を処理するコンピュータ実施方法であって、
(i)以下のデータ
− 装着者処方箋データ(PD)、装着者眼感度データ(SD)、及び装着者眼科バイオメトリックデータ(BD)を含む装着者眼科データ(OD)及び
− フレームデータ(FD)及びレンズデータ(LD)を含む頭部装着装置データ(HMDD)
から選択される、視覚化パラメータデータ(VPD)を提供する工程と、
(ii)コンピュータ生成ホログラフィック画像データ(HD)を提供する工程と、
(iii)工程(i)の前記視覚化パラメータデータ(VPD)を考慮することにより工程(ii)の前記コンピュータ生成ホログラフィック画像データ(HD)から修正コンピュータ生成ホログラフィック画像データ(MHD)を計算する工程と、
(iv)表示のために、工程(iii)の前記修正コンピュータ生成ホログラフィック画像データ(MHD)を前記表示装置(HMD)へ提供する工程と、
(v)前記装置(HMD)の照射により工程(iii)の前記修正コンピュータ生成ホログラフィック画像データ(MHD)からホログラフィック画像を表示するように配置された光ビームを少なくとも1つの光源(LIGHT SOURC)により発射する工程と、を含み、
ここで前記光源(LIGHT SOURC)は遠隔照射端末上に設けられ、
前記光源(LIGHT SOURC)はさらに、データを送信するように構成され、
工程(ii)は、前記コンピュータ生成ホログラフィック画像データ(HD)を前記光源(LIGHT SOURC)から前記装置(HMD)へ送信する工程を含むか、
工程(iv)は、前記修正コンピュータ生成ホログラフィック画像データ(MHD)を前記光源(LIGHT SOURC)から前記装置(HMD)へ送信する工程を含む、
コンピュータ実施方法。 - 前記視覚化パラメータデータ(VPD)は、乱視度、乱視軸、度数、プリズム及び加入度から選択された装着者処方箋データ(PD)である、請求項1に記載のコンピュータ実施方法。
- 工程(i)の前記視覚化パラメータデータ(VPD)の少なくとも1つは前記装置(HMD)上のメモリ内に格納される、請求項1または2に記載のコンピュータ実施方法。
- 工程(i)は、
(i−a)少なくとも1つの通信端末(COM TERM)により前記装着者の存在を検出する工程と、
(i−b)工程(i−a)における前記検知された存在に応じて、前記視覚化パラメータデータ(VPD)を前記装置(HMD)から前記通信端末(COM TERM)へ送信する工程とを含み、
工程(iv)は、修正コンピュータ生成ホログラフィック画像データ(MHD)を前記通信端末(COM TERM)から前記装置(HMD)へ送信する工程を含む、請求項3に記載のコンピュータ実施方法。 - 工程(i)の前記視覚化パラメータデータ(VPD)の少なくとも1つは、前記視覚化パラメータデータ(VPD)の検索を可能にする識別子である視覚化パラメータ識別子(VP ID)に関連して、通信ネットワーク(COM NETW)を介し少なくとも1つの通信端末(COM TERM)へ接続された通信サーバ(COM SERV)上の装着者データベース(WEAR DB)内に格納される、請求項1または2に記載のコンピュータ実施方法。
- 工程(i)は、
(i−a)前記少なくとも1つの通信端末(COM TERM)により前記装着者の存在を検出する工程と、
(i−b)工程(i−a)における前記検知された存在に応じて、前記視覚化パラメータデータ(VPD)を前記通信サーバ(COM SERV)から前記通信端末(COM TERM)へ送信する工程とを含む、請求項5に記載のコンピュータ実施方法。 - 工程(i)は、(i−c)視覚化パラメータデータ(VPD)を前記通信端末(COM TERM)から前記装置(HMD)へ送信する別の工程を含む、請求項6に記載のコンピュータ実施方法。
- 工程(iv)は、修正コンピュータ生成ホログラフィック画像データ(MHD)を前記通信端末(COM TERM)から前記装置(HMD)へ送信する工程を含む、請求項5に記載のコンピュータ実施方法。
- 工程(iv)は、修正コンピュータ生成ホログラフィック画像データ(MHD)を前記通信サーバ(COM SERV)から前記通信端末(COM TERM)へ送信する前工程を含む、請求項8に記載のコンピュータ実施方法。
- 前記コンピュータ生成ホログラフィック画像データ(HD)又は前記修正コンピュータ生成ホログラフィック画像データ(MHD)は画像データベース(IM DB)内に格納され、
請求項1乃至9のいずれか一項に記載のコンピュータ実施方法は、装着者識別子(WEAR ID)と前記装着者との関連性を前記データベース内に事前登録する予備工程を含み、
工程(ii)の前記コンピュータ生成ホログラフィック画像データ(HD)及び/又は工程(iii)の前記修正コンピュータ生成ホログラフィック画像データ(MHD)は前記装着者識別子(WEAR ID)に基づき判断される、請求項1乃至9のいずれか一項に記載のコンピュータ実施方法。 - 工程(ii)の前記コンピュータ生成ホログラフィック画像データ(HD)及び/又は工程(iii)の前記修正コンピュータ生成ホログラフィック画像データ(MHD)はアクセス権にしたがって前記装着者識別子(WEAR ID)に基づき判断される、請求項10に記載のコンピュータ実施方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13306208.3 | 2013-09-04 | ||
EP13306208 | 2013-09-04 | ||
PCT/EP2014/068758 WO2015032828A1 (en) | 2013-09-04 | 2014-09-03 | Methods and systems for augmented reality |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016535872A JP2016535872A (ja) | 2016-11-17 |
JP6675312B2 true JP6675312B2 (ja) | 2020-04-01 |
Family
ID=49170647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016539532A Active JP6675312B2 (ja) | 2013-09-04 | 2014-09-03 | 拡張現実感のための方法とシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US10520730B2 (ja) |
EP (1) | EP3042249B1 (ja) |
JP (1) | JP6675312B2 (ja) |
KR (1) | KR102309257B1 (ja) |
CN (1) | CN105518539A (ja) |
WO (1) | WO2015032828A1 (ja) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10048647B2 (en) | 2014-03-27 | 2018-08-14 | Microsoft Technology Licensing, Llc | Optical waveguide including spatially-varying volume hologram |
US10062224B2 (en) * | 2014-05-20 | 2018-08-28 | Tyco Safety Products Canada Ltd. | Dual access level security system and method |
NZ773812A (en) | 2015-03-16 | 2022-07-29 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
US10534174B2 (en) * | 2015-04-03 | 2020-01-14 | Essilor International | Methods and systems for augmented reality |
US9939644B2 (en) * | 2015-06-25 | 2018-04-10 | Intel Corporation | Technologies for controlling vision correction of a wearable computing device |
US10210844B2 (en) | 2015-06-29 | 2019-02-19 | Microsoft Technology Licensing, Llc | Holographic near-eye display |
US9798894B2 (en) * | 2015-07-02 | 2017-10-24 | Xerox Corporation | Secure computer display using inverse computational light field displays |
US10852541B2 (en) | 2015-07-03 | 2020-12-01 | Essilor International | Methods and systems for augmented reality |
EP3317716B1 (en) | 2015-07-03 | 2020-03-11 | Essilor International | Methods and systems for augmented reality |
CA3015213C (en) * | 2015-09-16 | 2019-03-19 | Robert THERRIEN | Relaxation and meditation eyewear |
DE102015219859B4 (de) | 2015-10-13 | 2017-07-27 | Carl Zeiss Vision International Gmbh | Vorrichtung und Verfahren für die AR-Darstellung |
US10338410B1 (en) * | 2015-12-28 | 2019-07-02 | Facebook Technologies, Llc | Eyeglass prescription correction for optics blocks in head-mounted displays |
WO2017145158A1 (en) | 2016-02-22 | 2017-08-31 | Real View Imaging Ltd. | Zero order blocking and diverging for holographic imaging |
US11663937B2 (en) | 2016-02-22 | 2023-05-30 | Real View Imaging Ltd. | Pupil tracking in an image display system |
US10788791B2 (en) | 2016-02-22 | 2020-09-29 | Real View Imaging Ltd. | Method and system for displaying holographic images within a real object |
US10795316B2 (en) | 2016-02-22 | 2020-10-06 | Real View Imaging Ltd. | Wide field of view hybrid holographic display |
EP3329316B1 (en) * | 2016-03-11 | 2023-09-20 | Facebook Technologies, LLC | Corneal sphere tracking for generating an eye model |
US10115205B2 (en) | 2016-03-11 | 2018-10-30 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
JP6409015B2 (ja) * | 2016-03-29 | 2018-10-17 | 矢崎総業株式会社 | 車両用投影表示装置 |
EP4273615A3 (en) | 2016-04-08 | 2024-01-17 | Magic Leap, Inc. | Augmented reality systems and methods with variable focus lens elements |
US20170323482A1 (en) * | 2016-05-05 | 2017-11-09 | Universal City Studios Llc | Systems and methods for generating stereoscopic, augmented, and virtual reality images |
US10108144B2 (en) | 2016-09-16 | 2018-10-23 | Microsoft Technology Licensing, Llc | Holographic wide field of view display |
EP3296792A1 (en) * | 2016-09-19 | 2018-03-21 | Essilor International | Method for managing the display of an image to a user of an optical system |
EP3296793A1 (en) * | 2016-09-19 | 2018-03-21 | Essilor International | Method of determining a correcting optical function to a virtual image |
US10254542B2 (en) | 2016-11-01 | 2019-04-09 | Microsoft Technology Licensing, Llc | Holographic projector for a waveguide display |
US20180144554A1 (en) | 2016-11-18 | 2018-05-24 | Eyedaptic, LLC | Systems for augmented reality visual aids and tools |
US11022939B2 (en) | 2017-01-03 | 2021-06-01 | Microsoft Technology Licensing, Llc | Reduced bandwidth holographic near-eye display |
EP4328865A3 (en) | 2017-02-23 | 2024-06-05 | Magic Leap, Inc. | Variable-focus virtual image devices based on polarization conversion |
JP7058471B2 (ja) * | 2017-04-17 | 2022-04-22 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN114019683A (zh) | 2017-05-17 | 2022-02-08 | 苹果公司 | 具有视力矫正的头戴式显示设备 |
US10712567B2 (en) | 2017-06-15 | 2020-07-14 | Microsoft Technology Licensing, Llc | Holographic display system |
US20190012841A1 (en) | 2017-07-09 | 2019-01-10 | Eyedaptic, Inc. | Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids |
CN107589562A (zh) * | 2017-09-20 | 2018-01-16 | 厦门云镜视界设计有限公司 | 一种眼镜定制方法 |
US11231581B2 (en) * | 2017-09-27 | 2022-01-25 | Magic Leap, Inc. | Near eye 3D display with separate phase and amplitude modulators |
US10984508B2 (en) * | 2017-10-31 | 2021-04-20 | Eyedaptic, Inc. | Demonstration devices and methods for enhancement for low vision users and systems improvements |
EP3502763B1 (en) | 2017-12-22 | 2023-02-01 | Essilor International | Head mounted device comprising a fourier hologram |
WO2019126951A1 (zh) * | 2017-12-25 | 2019-07-04 | 歌尔科技有限公司 | 激光束扫描显示设备及增强现实眼镜 |
US11253149B2 (en) | 2018-02-26 | 2022-02-22 | Veyezer, Llc | Holographic real space refractive sequence |
US11614623B2 (en) | 2018-02-26 | 2023-03-28 | Veyezer, Llc | Holographic real space refractive system |
US10441161B2 (en) * | 2018-02-26 | 2019-10-15 | Veyezer LLC | Holographic real space refractive sequence |
US11563885B2 (en) | 2018-03-06 | 2023-01-24 | Eyedaptic, Inc. | Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids |
EP3567419A1 (en) * | 2018-05-11 | 2019-11-13 | Essilor International (Compagnie Generale D'optique) | A system for generating a virtual image for a wearer |
US11187906B2 (en) | 2018-05-29 | 2021-11-30 | Eyedaptic, Inc. | Hybrid see through augmented reality systems and methods for low vision users |
KR20210058964A (ko) | 2018-09-24 | 2021-05-24 | 아이답틱 인코포레이티드 | 전자 시각 보조기들에서의 향상된 자율적 핸즈-프리 제어 |
DE102018126329A1 (de) * | 2018-10-23 | 2020-04-23 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Ausrichten eines virtuellen Bildelements und Head-up-Display zum Abbilden eines virtuellen Bildelements |
US10930183B2 (en) * | 2018-11-22 | 2021-02-23 | Electronics And Telecommunications Research Institute | Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus |
CN109769136B (zh) * | 2018-12-07 | 2021-02-19 | 北京交通大学 | 基于瞬时访问速率值的在线视频缓存管理方法和系统 |
US20220240772A1 (en) * | 2019-05-09 | 2022-08-04 | Evolution Optiks Limited | Corrective light field display profile management, communication and integration system and method |
US20220343606A1 (en) * | 2021-04-21 | 2022-10-27 | NewSight Reality, Inc. | Optical module with active microlens array capable of synchronizing with see-through display to provide multiple modes of functionality |
US11790345B2 (en) * | 2022-02-03 | 2023-10-17 | Bank Of America Corporation | Card to card transaction initiation using light fidelity (“LIFI”) enabled smart glasses |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6421147B2 (en) * | 1998-07-07 | 2002-07-16 | Denso Corporation | Hologram screen and a method of producing the same |
JP3385238B2 (ja) * | 1999-01-12 | 2003-03-10 | シャープ株式会社 | 光送受信モジュール |
JP3827082B2 (ja) * | 2002-10-24 | 2006-09-27 | 株式会社中川研究所 | 放送システム及び電球、照明装置 |
US7733298B2 (en) * | 2004-10-19 | 2010-06-08 | Hewlett-Packard Development Company, L.P. | Display device |
JP2006208687A (ja) | 2005-01-27 | 2006-08-10 | Konica Minolta Photo Imaging Inc | ヘッドマウントディスプレイの映像調節システム |
DE102006003741B4 (de) * | 2006-01-18 | 2009-08-27 | Seereal Technologies S.A. | Verfahren zum Kodieren eines computergenerierten Hologramms |
JP2007274566A (ja) | 2006-03-31 | 2007-10-18 | Nakagawa Kenkyusho:Kk | 照明光通信装置 |
FR2900475B1 (fr) | 2006-04-26 | 2008-10-31 | Essilor Int | Afficheur comportant une paire de lunettes de type binoculaire et avec un dispositif de reglage de l'image |
US7595933B2 (en) * | 2006-10-13 | 2009-09-29 | Apple Inc. | Head mounted display system |
JP4963467B2 (ja) | 2007-12-14 | 2012-06-27 | 独立行政法人情報通信研究機構 | ホログラムパターン発生装置、電子ホログラフィの非点収差補正方法、および、ホログラムパターン発生プログラム |
US8019233B2 (en) * | 2008-05-30 | 2011-09-13 | Avago Technologies Fiber Ip (Singapore) Pte. Ltd. | Method and apparatus for using a hologram to control the optical field distribution of light generated by a light source and launched into an end of an optical waveguide |
JP4858512B2 (ja) * | 2008-08-21 | 2012-01-18 | ソニー株式会社 | 頭部装着型ディスプレイ |
US8436789B2 (en) * | 2009-01-16 | 2013-05-07 | Microsoft Corporation | Surface puck |
JP5874176B2 (ja) * | 2011-03-06 | 2016-03-02 | ソニー株式会社 | 表示装置、並びに中継装置 |
JP5451670B2 (ja) | 2011-03-15 | 2014-03-26 | 株式会社アウトスタンディングテクノロジー | 可視光通信装置 |
WO2012132289A1 (ja) * | 2011-03-25 | 2012-10-04 | パナソニック株式会社 | 表示装置 |
US9389421B2 (en) * | 2011-10-20 | 2016-07-12 | Panasonic Intellectual Property Management Co., Ltd. | Display device and display system |
US9143402B2 (en) * | 2012-02-24 | 2015-09-22 | Qualcomm Incorporated | Sensor based configuration and control of network devices |
JP5994715B2 (ja) * | 2012-04-10 | 2016-09-21 | パナソニックIpマネジメント株式会社 | 計算機ホログラム型表示装置 |
CN102857299A (zh) * | 2012-08-23 | 2013-01-02 | 中国科学院苏州纳米技术与纳米仿生研究所 | 光通信系统及方法 |
US20150355481A1 (en) * | 2012-12-31 | 2015-12-10 | Esight Corp. | Apparatus and method for fitting head mounted vision augmentation systems |
WO2014152430A1 (en) * | 2013-03-15 | 2014-09-25 | Huntington Ingalls, Inc. | Method and system for disambiguation of augmented reality tracking databases |
CN103297888A (zh) * | 2013-04-24 | 2013-09-11 | 青岛海信电器股份有限公司 | 无线耳机装置、移动终端装置以及可调制光源器件 |
US10698364B2 (en) * | 2013-09-04 | 2020-06-30 | Essilor International | Methods and systems for augmented reality |
-
2014
- 2014-09-03 KR KR1020167005451A patent/KR102309257B1/ko active IP Right Grant
- 2014-09-03 CN CN201480048719.0A patent/CN105518539A/zh active Pending
- 2014-09-03 EP EP14758926.1A patent/EP3042249B1/en active Active
- 2014-09-03 US US14/916,905 patent/US10520730B2/en active Active
- 2014-09-03 WO PCT/EP2014/068758 patent/WO2015032828A1/en active Application Filing
- 2014-09-03 JP JP2016539532A patent/JP6675312B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
KR20160048800A (ko) | 2016-05-04 |
WO2015032828A1 (en) | 2015-03-12 |
CN105518539A (zh) | 2016-04-20 |
EP3042249B1 (en) | 2020-03-18 |
US20160216515A1 (en) | 2016-07-28 |
JP2016535872A (ja) | 2016-11-17 |
KR102309257B1 (ko) | 2021-10-06 |
EP3042249A1 (en) | 2016-07-13 |
US10520730B2 (en) | 2019-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6675312B2 (ja) | 拡張現実感のための方法とシステム | |
JP6632979B2 (ja) | 拡張現実感のための方法とシステム | |
US10884246B2 (en) | Releasably attachable augmented reality system for eyewear | |
US20180084232A1 (en) | Optical See-Through Head Worn Display | |
US10534174B2 (en) | Methods and systems for augmented reality | |
CA2629903C (en) | Ophthalmic lens simulation system and method | |
US10429648B2 (en) | Augmented reality head worn device | |
JP6145789B2 (ja) | 表示装置および表示システム | |
CN107438796B (zh) | 头戴式显示装置、近眼显示装置和方法 | |
WO2017133564A1 (zh) | 一种头戴式增强现实智能显示装置 | |
JP5118266B2 (ja) | 表示装置 | |
CN114270245A (zh) | 多投影仪视场拼接波导显示器 | |
US10573080B2 (en) | Apparatus and method for augmented reality presentation | |
US20190347833A1 (en) | Head-mounted electronic device and method of utilizing the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170901 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20180516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180625 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180925 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6675312 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |