WO2022086355A1 - Экран дополненной и совмещённой реальности - Google Patents

Экран дополненной и совмещённой реальности Download PDF

Info

Publication number
WO2022086355A1
WO2022086355A1 PCT/RU2020/000569 RU2020000569W WO2022086355A1 WO 2022086355 A1 WO2022086355 A1 WO 2022086355A1 RU 2020000569 W RU2020000569 W RU 2020000569W WO 2022086355 A1 WO2022086355 A1 WO 2022086355A1
Authority
WO
WIPO (PCT)
Prior art keywords
waveguide
augmented
image
diffractive element
input
Prior art date
Application number
PCT/RU2020/000569
Other languages
English (en)
French (fr)
Inventor
Дмитрий Сергеевич МОСКАЛЕВ
Original Assignee
Дмитрий Сергеевич МОСКАЛЕВ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Дмитрий Сергеевич МОСКАЛЕВ filed Critical Дмитрий Сергеевич МОСКАЛЕВ
Publication of WO2022086355A1 publication Critical patent/WO2022086355A1/ru
Priority to US18/303,605 priority Critical patent/US20230368477A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings

Definitions

  • the present technical solution generally relates to the field of computing, and in particular to displays or screens for creating an image of augmented or combined reality.
  • the source of information US 2017/0299864 A1 (patent holder: MICROSOFT TECHNOLOGY LICENSING LLC, publ. 10/19/2017) is known from the prior art.
  • the source reveals the general principle of building a display to create an image of augmented or combined reality.
  • This solution describes a display for creating an image of augmented or combined reality, consisting of: a group of diffractive components that input image rays into the waveguide and distribute them; a waveguide for propagating image beams; groups of diffractive components that output image rays in the direction of the user's eyes and distribute image rays over the volume of the element; image projector.
  • the input diffractive element encircles the output diffractive element around the entire perimeter, which allows you to enter the image rays from different directions.
  • the input diffractive element also "multiplies” the image spot before the image spot reaches the output diffractive element.
  • the output diffractive element also "multiplies” the image spot.
  • the input and output diffractive elements consist of optical gratings that work in pair with each other in the sense that their periods and mutual orientation are matched in such a way that the input diffractive element also partially returns the image rays escaping to the edges of the waveguide.
  • the technical problem or technical problem solved in this technical solution is the creation of an image of augmented reality. More specifically, the creation of a device that transmits the image created by the projector to the eyes of the user, while the device itself is transparent and does not block the view of the surrounding reality.
  • the achieved technical result is an increase in the efficiency of image transmission, as well as an increase in the uniformity of the virtual image in color due to the multiple reuse of image rays introduced into the waveguide from one or more projectors from different directions along the perimeter of the output diffractive element.
  • the image spot is multiplied and the image rays are introduced into the waveguide along the perimeter of the waveguide already at the stage and immediately after the interaction of the image rays created by the projector with the input diffractive element.
  • Input diffractive element also carries out a partial return of the image rays escaping to the edges of the waveguide.
  • FIG. Figure 1a shows options for structuring waveguide surfaces to create input and output diffractive elements.
  • FIG. 16 shows the same options as in Fig. 1a, but at the same time, a functional optical coating and diffractive elements created in its volume are applied to the surface of the waveguide.
  • FIG. 2 shows the general structure of the device, its elements are marked, 210 - a group of input diffractive components, 220 - a waveguide, 230 - a group of output diffractive components.
  • FIG. Figure 3 shows options for implementing an end device, augmented or combined reality glasses or screen, showing the design flexibility of diffractive component placement.
  • FIG. Figure 4 shows implementations of the end device, augmented or combined reality glasses or screen, shows a waveguide built into the frame of the glasses, shows the design flexibility to allow the image projector to be positioned in several positions.
  • FIG. 5 shows the principle of operation of the device with a duplicate input diffractive element located on the opposite surface of the waveguide.
  • FIG. 6 shows the structure of the diffraction grating of the input and output diffraction elements, the options for the mutual orientation of these diffraction gratings are indicated.
  • FIG. 7 shows the principle of operation of the input diffractive element, the main directions of diffraction are indicated.
  • FIG. 8 shows the vector space in the x-y plane, indicating the diffraction orders of the input and output diffraction element for the case when the angle of rotation of their diffraction gratings relative to each other is 0 degrees, the wave vectors corresponding to the image rays are indicated, the maximum allowable values of the wave vector are shown.
  • FIG. 9 shows the vector space in the x-y plane, the diffraction orders of the input and output diffraction element are indicated for the case when the angle of rotation of their diffraction gratings relative to each other is 45 degrees, the wave vectors corresponding to the image rays are indicated, the maximum allowable values of the wave vector are shown.
  • FIG. 10 shows the spread of the angles of the rays of the image created by the projector, the working field of the image is indicated.
  • Waveguide - a device in the form of a channel, pipe, rod, etc., designed to propagate sound or electromagnetic waves.
  • This technical solution which is a device, may consist of three elements.
  • the waveguide is flat or curved optical glass or plastic.
  • the curved waveguide is used to improve the ergonomics of the device, in the same way as the curved lenses of ordinary glasses follow the shape of the profile of the face and eyes, or as curved glasses are used in aircraft windows, while technically the curved augmented reality waveguide is more difficult to implement.
  • Diffractive components in some implementations can either be created directly in the glass body by structuring its surface, top or bottom (for example, by applying a mask and subsequent etching), or in the volume waveguide.
  • a diffraction grating is created in the bulk of the waveguide, it is necessary to first create a diffraction grating on the surface of one glass and then connect (for example, by gluing or welding) to the second glass.
  • a functional optical coating is applied to the glass surface (for example, a layer of SiN or TiO2 is deposited), a diffractive structure is then created in this layer, for example, by the same etching.
  • the functional coating can be multi-layered and consist of several layers.
  • a diffractive structure can also be created in a functional layer sandwiched between two glasses. First, a layer is applied to one of the glasses, then a diffractive structure is etched in the layer, then this glass is connected (for example, by gluing or welding) with the second glass. With this bonding, the etched voids can be filled with a material with a refractive index different from that of glass, so that the surface is once again flat and smooth, as shown in FIG. 1.
  • Such material in some implementations may be, for example, SiO2, ZnO, or GaP. You can swap materials, use SiO2, ZnO, GaP for optical coating, and SiN and TiO2 for void filling.
  • any arbitrary combination of the listed materials and other optical materials can be used, as long as the refractive index of the selected materials differs from each other.
  • the thickness of the sprayed layer to fill the voids may be greater than the depth of the voids, i.e. the material fills the voids and still forms an additional layer on top. This is necessary because when spraying, the voids may not be filled evenly, and if you spray a thicker layer, then in the end it will level the surface.
  • both the functional layer and the void-filling material may be multi-layered. Each of the layers can have an arbitrary thickness and consist of one of the above materials or any other material suitable for creating optical components.
  • a metal such as Au, Pt, Al
  • the area covered with metal becomes opaque, but has a large efficiency of diffraction orders.
  • This option is applicable, for example, to create an input diffractive element 210 of increased efficiency, when its transparency is not necessary in accordance with the design of the final device. Also, in this way, separate high-performance areas of the output diffractive element 230 can be created, while their size should remain minimal so as not to interfere with the view of the surrounding reality.
  • the diffractive components may be generated on both surfaces of the waveguide.
  • the voids can be filled with an optical material with a different refractive index as described above.
  • the design of the diffractive components created on the upper surface of the waveguide may differ from the design of the diffractive components created on the lower surface of the waveguide.
  • the diffractive elements can be created by performing a holographic recording of the desired optical response in a holographic coating deposited on the waveguide surface or embedded in the volume of the waveguide.
  • the optical response of the holographic diffraction grating is achieved by spatial modulation of the optical properties of the holographic coating (or spatial change in the dielectric and magnetic permeability of the material) and is equivalent / identical to the optical response of the diffraction gratings described below.
  • Various implementations are shown in Fig. 1a and Fig. sixteen.
  • the augmented and combined reality screen consists of the following components, as schematically shown in FIG. 2 detailed below:
  • a group of diffractive components 210 that performs (a) input of image rays into the waveguide and their distribution, and (b) partial return of runaway image rays back into the waveguide (hereinafter referred to as the input diffractive element);
  • a group of diffractive components 230 that (a) output image rays in the direction of the user's eyes and (b) distribute image rays over the entire volume of the waveguide 220 (hereinafter referred to as the output diffractive element).
  • Partial return is understood as a situation when part of the rays escaping to the edges of the waveguide (and therefore lost because, having reached the edge of the waveguide, the rays will leave the waveguide not in the direction of the user's eyes, and therefore will not bring a useful effect) will be redirected back towards the output diffraction grating and after interaction with the output diffraction grating will be directed to the user's eyes.
  • the augmented and combined reality device can be at different angles depending on the position of the user's eye.
  • the upper and lower limit of the angles relative to the location of the device and the eyes of the user depends on the specific geometry of the end device (for example, glasses or an augmented reality screen).
  • the device may be implemented as a transparent screen, such as glass installed in a window of a house, car, shop window, or used as a transparent display, such as at check-in counters.
  • Output diffractive element 230 must overlap the area of the user's field of view in which the virtual image is created, otherwise part of the virtual image may be lost.
  • FIG. 2 shows the general scheme of the device.
  • the geometric shape of elements 210 and 230, the distances between elements 210 and 230, as well as the mutual orientation in the x-y plane can be any, while the output diffractive element occupies most of the waveguide in the x-y plane, and the input diffractive element surrounds it along the perimeter .
  • the input and output diffraction elements can be divided into zones, and some selected zones may not be structured and do not contain a diffraction grating. This feature is necessary for the flexibility of design ergonomics. For example, areas that overlap with other structural elements of the device (eg, with a frame holding a waveguide eyeglass lens) may be intentionally left blank. In this case, in the ideal case, i.e.
  • the input diffraction grating 210 encircles the output diffraction grating 230 over the entire period without the presence of empty zones.
  • Blank zones can be created if there is overlap with physical contact with other elements of the device, whereby the optical response of the device is degraded.
  • the filled zones may contain different types of diffraction grating, described below. This capability is necessary to achieve the desired optical response.
  • the projector or multiple projectors may be positioned at any position opposite the input diffractive element region such that the image spot produced by the projector falls on the input diffractive element region as shown in FIG. 2 and FIG. 3.
  • FIG. 3 shows two specific examples of the implementation of the technical solution.
  • the input diffractive element encircles the output diffractive element along the entire perimeter.
  • Two projectors are used that project an image spot at the center of the input diffractive element symmetrically left and right.
  • the input and output diffractive elements are divided into zones, some zones are empty (empty zones are not shown in the figure, but should be clear from a comparison of the diagrams), one projector is used to project an image spot into the upper left corner.
  • the optical response of the system is worse, however, as described below, empty areas may be necessary for integration into the final device, for example, augmented reality glasses.
  • the top surface containing the diffractive elements 210 and 230 faces either the user's eyes or the opposite direction.
  • the virtual image will be created by diffraction orders in transmission (i.e., rays are used that, after diffraction, exit the waveguide 220 into the air), and in the second case, diffraction orders in reflection (i.e., rays are used, which, after diffraction, are reflected back into waveguide 220 and exit waveguide 220 reaching the opposite surface of waveguide 220).
  • a miniature image projector 240 may be integrated into the eyeglasses.
  • the projector then projects the image onto the top corner of the input diffractive element 210 as shown in the first embodiment in FIG. 4, the output diffractive element 230 is positioned in front of the user's eyes.
  • the projector is mounted under the goggles, as shown in the second variant in Fig. 4, the image spot is projected at the center of the input diffractive element 210 symmetrically on the left and right.
  • the spot rays of the image generated by the projector 240 may be projected onto the input diffractive element 210 in both transmission and reflection, depending on the location of the projector and the orientation of the top (or bottom) surface with respect to the user's eyes.
  • a detailed description of the operation of the input diffractive element 210 is given below.
  • the output diffractive element 230 is positioned opposite the user's eyes.
  • the design of the input diffractive element 210 is given when it encircles the output diffractive element around the perimeter and provides flexibility in the implementation of an end device, such as glasses or an augmented reality screen.
  • an augmented reality screen which, for example, can be used at check-in counters or as a personal work display.
  • several projectors are used that can be located anywhere along the perimeter of the waveguide, while each of the image spots created by the projectors must fall on the area of the input diffractive element 210. The use of several projectors allows you to increase the brightness of the image and increase its color uniformity.
  • the latter is achieved due to a more uniform distribution of the image rays over the area of the output diffractive element by introducing the rays into the waveguide 220 from several directions.
  • the projectors in the third embodiment in FIG. 4 are shown schematically, in a real device, the projectors can be mounted in the screen frame from the front or back side.
  • the size of the input diffractive element 210 is selected depending on the size of the image spot produced by the projector or multiple projectors 240 and the size and location of the output diffractive element 230.
  • the size of the output diffractive element 230 is determined by three factors - the size of the image field (produced by the projector 240, the larger the image field (in other words, the range of spread of the angles of the image beams created by the projector 240), the larger the size of the image that the user sees), the distance from the output diffractive element 230 to the user's eyes and the required (or incorporated in the design) size of the zone of allowable deviations of the position of the user's eyes from the given central positions.
  • the size of the output diffractive element 230 can be up to, for example, 4x4cm or 4x6cm or 20x20cm, 100x50cm or more.
  • the eye-to-glass distance is determined by the design of the final device—frame size, etc.
  • the center of the output diffractive element 230 may be located opposite the user's eye, typically on a line perpendicular to the surface of the waveguide 210, but depending on the ergonomics of the final device, this line may pass at a certain angle. Overall holiday the diffractive element 230 should overlap the area of the user's field of view in which the virtual image is created. In the case where the device is implemented as an augmented reality screen, the output diffractive element 230 occupies the maximum surface area of the screen.
  • the input diffractive element 210 also performs a partial return of the runaway image rays back into the waveguide, as described in more detail below.
  • a duplicate copy of the input diffractive element 210 can be created on the opposite surface of the waveguide 220 as shown in FIG. 5.
  • the runaway image rays that, upon interaction with the input diffractive element 210, were previously redirected towards the opposite surface of the waveguide and exited the waveguide, are now redirected back into the waveguide as shown by the bold arrows in FIG. 5.
  • the input of the image rays created by the projector 240 is carried out by the input diffractive element 210 located on both surfaces of the waveguide 220.
  • the input diffractive element 210 and the output diffractive element 230 comprise square two-dimensional optical gratings rotated relative to each other by any multiple of 45 degrees as shown in FIG. 6. There are four options for the location and orientation of elements 210 and 230 relative to each other and relative to the x-axis. In the first embodiment, the square arrays of elements 210 and 230 are rotated 0 degrees relative to the x-axis and 0 degrees relative to each other. In the second embodiment, the square arrays of elements 210 and 230 are rotated 45 degrees relative to the x-axis and 0 degrees relative to each other.
  • the square lattice of element 210 is rotated relative to the x axis by 0 degrees
  • the square lattice of element 230 is rotated by 45 degrees relative to the x axis
  • the angle between the square lattices of elements 210 and 230 is 45 degrees.
  • the square lattice of element 210 is rotated relative to the x-axis by 45 degrees
  • the square lattice of element 230 is rotated by 0 degrees relative to the x-axis
  • the angle between the square lattices of elements 210 and 230 is 45 degrees.
  • the optical arrays of elements 210 and 230 may be formed by solid lines. It is possible that the lines of the optical grating 210 or 230 are broken into individual elements of a certain shape (for example, cylindrical, cubic, etc., however, elements of different shapes and sizes can be used), becoming discontinuous, which allows you to control the effectiveness of the diffraction orders.
  • a different shape allows you to control the intensity of diffraction orders, which allows you to control the uniformity of the image image in color. Different shapes give different degrees of control, and they can be simpler or more difficult to fabricate.
  • Elements can be layered or slanted, such as a pyramid with steps or sloping sides. Below is the principle of operation of the device on the examples of embodiments described above. In options two and four, the device works as in options one and three with the x-axis rotated by 45 degrees, the various directions of propagation of the rays described below are rotated by 45 degrees, while the principle of operation of the device does not change.
  • the optical grating of the input diffractive element 210 redirects light from the miniature projector 240 in directions determined by its diffraction vectors
  • K210A ⁇ u003d 2TG * (A210 * P / V210 , (A210 X P)); K210B 2TT'( B210 ⁇ P/A210*(B210*P)); where A10 and B210 are the Bravais grating vectors of the square grating of the input diffractive element 210 as shown in FIG. 7 in the example of option one described above.
  • Some of these directions such as Kgyd and Kgyd + Kgyv, correspond to directions to the output diffractive element 230.
  • diffractive elements of a certain shape for example inclined towards the output diffractive element 230.
  • the optical grating of the input diffractive element 210 also redirects the light from the projector 240 along the perimeter of the output diffractive element 230, in options one and three this direction is given by the vector Kgyv and then in the direction of the output diffractive element 230 by re-diffraction in the direction of Kgyd + Kgyw as shown in FIG. 7.
  • the input of image rays into the waveguide and their distribution over the area of the waveguide is carried out already at the stage of the initial input of image rays into the waveguide 220.
  • the inner circular contour indicates the minimum value of the wave vector of the diffracted rays in the x-y plane, upon reaching which the condition of total internal reflection of the rays in the waveguide 220 is violated.
  • the input diffractive element 210 inputs the image rays generated by the projector 240 into the waveguide 220 and directs the image rays in the directions given by the diffractive nodes shown in FIG. 8 and described above. It can be seen that all nodes enclosed between the outer and inner contours correspond to the allowed diffraction orders, in which the image rays are introduced into the waveguide and propagate at an angle greater than the angle of the total internal reflection of the waveguide 220, and the angle is measured from the normal to the surface of the waveguide.
  • the optical grating of the output diffractive element 230 has a period of 2 1/2 twice that of the optical grating of the input diffractive element 210. As described above, the optical gratings of the elements 210 and 230 are rotated 45 degrees relative to each other. .
  • the optical grating of the output diffractive element 230 has diffraction node nodes, indicated by cross nodes in FIG. nine.
  • the resulting wave vector has a component in the x-y plane corresponding to one of the nodes depicted in FIG. 9. It can be seen that transitions are allowed only between the depicted nodes, and some of the transitions lead to circular nodes, while other transitions lead to cruciform nodes.
  • the image rays corresponding to all nodes except the central one continue to propagate in the waveguide in the respective directions. Rays the images corresponding to the center node are output in the direction of the user's eyes.
  • the optical grating of element 210 can be coated with a functional coating, for example, Au, Pt, Al, TiO2, SiO2.
  • a duplicate copy of the input diffractive element 210 can be created on the opposite surface of the waveguide 220 as shown in FIG. 5.
  • the image rays that, when interacting with the input diffractive element 210, were previously redirected towards the opposite surface of the waveguide (this direction corresponds to the central diffractive node in Fig. 8 and Fig. 9.) and exited the waveguide are now redirected back to waveguide as shown in bold arrows in FIG. 5.
  • the input of the image rays created by the projector 240 can be carried out by the input diffractive element 210 located on both surfaces of the waveguide 220 if a transparent functional coating is used.
  • the areas on which the image spots created by the projectors 240 fall should be covered with a transparent functional coating, or should not use coatings on at least one of the surfaces. Otherwise, the image beams will be blocked and will not enter the waveguide 220.
  • Reproduction of the "image spot" (originally created by the projector 240) is carried out according to the standard scheme of operation of such devices and is known from the prior art (in the sense that the spot must be propagated over the volume of the waveguide 220, technically this can be implemented in different ways).
  • the particular image beam produced by the projector 240 "splits" into N beams upon each interaction with the grating.
  • the directions of divergence are determined by the diffraction vectors of the input and output diffractive elements 210 and 230 as described above.
  • Element 210 can operate both in reflection mode (image rays first pass through waveguide 220 at an angle less than the angle of total internal reflection before interacting with element 210), and in transmission mode (image rays interact with element 210 at the moment of penetration into waveguide 220).
  • the element 210 can simultaneously operate in both the reflection mode and the transmission mode as shown in FIG. 5.
  • the waveguide 220 may be made of glass, plastic, or any other material suitable for making optical components. Depending on the application, this can be, for example, glass or plastic.
  • An important indicator of such materials is the refractive index (affects the size of the working field of the virtual image or, in other words, the image size) and transmission over the entire range of visible waves (the absorption of light in the visible range should be minimal), as well as how smooth the waveguide 220 is - thickness variations, roughness surfaces, etc. The smaller the values characterizing the "non-ideality" of the waveguide, the better.
  • a host of other mechanical properties, such as hardness, etc. are not important for optical performance, but may be important for the final device.
  • Waveguide 220 Light propagates within waveguide 220 by reflecting at an angle greater than the angle of total internal reflection of the material from which waveguide 220 is made.
  • the range of angles of incidence on the surface of waveguide 220 would be 42 - 90 degrees, and the angle is measured from the normal to the surface of the waveguide 220.
  • the waveguide surfaces can be flat and parallel to each other, or bent while remaining parallel, as needed for flexibility in the ergonomics of the end device.
  • Planar waveguide 220 is technically easier to implement.
  • Surfaces 410 and 420 can be coated with a functional coating, such as an antireflection coating or a coating that changes the angle of total internal reflection of the surface, to improve the performance and performance of the device. Two examples of such a coating are discussed below, an antireflection coating and a refractive index changing coating.
  • Indicator refraction determines the working field of the virtual image (image size). For example, the refractive index of glass is 1.5, then the field of view is 30 degrees diagonally, the refractive index is 1.8 - the field of view is 50 degrees diagonally.
  • the aspect ratio is 16:9 in both cases.
  • Anti-reflective coating prevents glare (for example, from the sun or lanterns).
  • Another example is a special coating that prevents the output of the image image in the direction “from the user's eyes”.
  • the output diffractive element 230 outputs an image in two directions, namely in the directions towards the top and bottom surfaces of the waveguide 220. In this case, the image output in the direction "from the user's eyes” is visible to the surrounding, which is undesirable.
  • a special coating can be used, which will create antisymmetry in the diffraction efficiency in these two directions. The picture displayed "from the user's eyes” will not be lost, but will be redirected to the user's eyes.
  • the projector 240 may be composed of a light source, such as light emitting diodes (LEDs) or laser diodes (SLEDs), or may be a laser, LCOS or DMD image forming pixel array, image enhancing and output optical elements.
  • LEDs light emitting diodes
  • SLEDs laser diodes
  • the collemated beams created by the projector 240 fall on the surface of the input grating at a set of angles Dx1 and Dn1 counted from the z1 axis, which determine the working field of the virtual image (image size).
  • a beam of these rays is introduced into the waveguide and propagates in the waveguide under a new set of angles Dx2 and Dy2, but now counted from the z2 axis passing at an angle Z0 to the z1 axis.
  • the angle Z0 is determined by the formula as d * (sinO2 - sinZO) ⁇ u003d L / n2 where b ⁇ u003d 2tt / Ko, Ko - the value of the wave vector of the image rays created by the projector, sinO2 * n2 ⁇ u003d sinO1 * n1, n2 - the refractive index of the waveguide, n1 - refractive index of the environment (air), L - working the wavelength of the waveguide 220, 01 is the angle of the z1 axis with respect to the surface normal of the waveguide 220, as shown in FIG. ten.
  • the beam of rays interacts with the output grating 230. Since the image rays fall on the output grating under the set of Dx2 and Dy2 counted from the z2 axis, it is important that the intensity of the diffracted angles has a minimum dependence on the angles of incidence Dx2 and Dy2. This ensures maximum image uniformity in color.
  • the virtual image consists of beams created by the projector 240 and having a certain spread of angles. Upon entering waveguide 220, this set of angles is converted as described above. Further, all these beams interact with the output diffraction grating 230. Let us set the efficiency function of this interaction as F (Dx2, Dy2).
  • Elements 210 and 230 can be divided into an unlimited number of zones of arbitrary shape and size.
  • Element 230 may be provided on one or both surfaces of waveguide 220 or within its volume as described above.
  • aspects of the present technical solution may be implemented as a device. Accordingly, various aspects of the present technical solution may be implemented solely as hardware, and some as software (including application software and so on), or as an embodiment combining software and hardware aspects, which in general can be referred to as a "module", “system” or “architecture”. In addition, aspects of the present technical solution may take the form of a computer program product implemented on one or more computer-readable media having computer-readable program code embodied thereon.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

Настоящее техническое решение в общем относится к области вычислительной техники, а в частности к дисплеям или экранам для создания изображения дополненной или совмещенной реальности. Технический результат - повышение эффективности передачи изображения, а также повышение однородности виртуального изображения по цвету за счет многократного переиспользования лучей изображения, вводимых в волновод от одного или нескольких проекторов с различных направлений по периметру выходного дифракционного элемента. Экран дополненной и совмещенной реальности, содержащий корпус, в котором расположены группа входных дифракционных компонент, выполненная с возможностью ввода лучей изображения в волновод и их распределение и частичного возвращения убегающих лучей изображения обратно в волновод; волновод, выполненный с возможностью распространения лучей изображения; группа выходных дифракционных компонент, выполненная с возможностью вывода лучей изображения в направлении глаз пользователя и распределения лучей изображения по всему объему волновода.

Description

ЭКРАН ДОПОЛНЕННОЙ И СОВМЕЩЁННОЙ РЕАЛЬНОСТИ ОБЛАСТЬ ТЕХНИКИ
[001] Настоящее техническое решение в общем относится к области вычислительной техники, а в частности к дисплеям или экранам для создания изображения дополненной или совмещенной реальности.
УРОВЕНЬ ТЕХНИКИ
[002] Из уровня техники известен источник информации US 2017/0299864 А1 (патентообладатель: MICROSOFT TECHNOLOGY LICENSING LLC, опубл. 19.10.2017). Источник раскрывает общий принцип построения дисплея для создания изображения дополненной или совмещенной реальности. В данном решении описывается дисплей для создания изображения дополненной или совмещенной реальности состоящий из: группы дифракционных компонент, осуществляющих ввод лучей изображения в волновод и их распределение; волновода для распространения лучей изображения; группы дифракционных компонент, осуществляющих вывод лучей изображения в направлении глаз пользователя и распределение лучей изображения по объему элемента; проектора изображения.
[003] Также из уровня техники известна патентная заявка № US 2019/0056593 А1 (заявитель: TIPD LLC), опубл. 21.02.2019, раскрывающая дисплей для создания изображения дополненной или совмещенной реальности, состоящий из: группы дифракционных компонент, осуществляющих ввод лучей изображения в волновод и их распределение; волновода для распространения лучей изображения; группы дифракционных компонент, осуществляющих вывод лучей изображения в направлении глаз пользователя и распределение лучей изображения по всей площади элемента; проектора изображения. В указанном источнике информации используются голографические оптические элементы. Также в этом патенте выходной оптический элемент не распределяет лучи по объему элемента, а для этого используется дополнительный “Y-expander”.
[004] В уровне техники потенциальные отличия от других устройств есть в схеме входного и выходного дифракционных элементов. Хотя строение этих элементов и схоже с аналогами, но в заявленном решении входной дифракционный элемент опоясывает выходной дифракционный элемент по всему периметру, что позволяет вводить лучи изображения с разных направлений. Входной дифракционный элемент также осуществляет «размножение» пятна изображения, до того, как пятно изображения достигает выходного дифракционного элемента. При этом выходной дифракционный элемент так же «размножает» пятно изображения. Таким образом эффективность «размножения» удваивается и получается гибридный вариант. Входной и выходной дифракционные элементы состоят из оптических решеток, работающих в паре друг с другом в том смысле, что их периоды и взаимная ориентация согласованы таким образом, что входной дифракционный элемент также осуществляет частичное возвращение лучей изображения, убегающих к краям волновода.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[005] Технической задачей или технической проблемой, решаемой в данном техническом решении, является создание изображения дополненной реальности. Более конкретно, создание устройства, осуществляющего передачу изображения, созданного проектором в глаза пользователя, при этом само устройство прозрачно и не блокирует вид на окружающую реальность.
[006] Достигаемым техническим результатом является повышение эффективности передачи изображения, а также повышение однородности виртуального изображения по цвету за счет многократного переиспользования лучей изображения, вводимых в волновод от одного или нескольких проекторов с различных направлений по периметру выходного дифракционного элемента.
[007] Также за счет структуры входного дифракционного элемента, который опоясывает выходной дифракционный элемент по периметру, осуществляется размножение пятна изображения и ввод лучей изображения в волновод по периметру волновода уже на этапе и сразу после взаимодействия лучей изображения, созданных проектором с входным дифракционным элементом. Входной дифракционный элемент также осуществляет частичный возврат лучей изображения, убегающих к краям волновода.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[008] На Фиг. 1а показаны варианты структурирования поверхностей волновода для создания входного и выходного дифракционных элементов.
[009] На Фиг. 16 показан те же варианты что и на Фиг. 1а, но при этом на поверхность волновода нанесено функциональное оптическое покрытие и дифракционные элементы созданные в его объеме.
[0010] На Фиг. 2 показана общая структура устройства, обозначены его элементы, 210 - группа входных дифракционных компонент, 220 - волновод, 230 - группа выходных дифракционных компонент.
[0011] На Фиг. 3 показаны варианты реализации конечного устройства, очков или экрана дополненной или совмещенной реальности, показана заложенная в дизайне гибкость расположения дифракционных компонент.
[0012] На Фиг. 4 показаны варианты реализации конечного устройства, очков или экрана дополненной или совмещенной реальности, показан волновод встроенный в оправу очков, показана гибкость дизайна позволяющая расположить проектор создающий изображения в нескольких позициях.
[0013] На Фиг. 5 показан принцип работы устройства с дублирующим входным дифракционным элементом расположенный на противоположной поверхности волновода.
[0014] На Фиг. 6 показана структура дифракционный решетки входного и выходного дифракционных элементов, обозначены варианты взаимной ориентации данных дифракционных решеток.
[0015] На Фиг. 7 показан принцип работы входного дифракционного элемента, обозначены основные направления дифракции.
[0016] На Фиг. 8 показано векторное пространство в плоскости х-у, обозначены дифракционные порядки входного и выходного дифракционного элемента для случая когда угол поворота их дифракционных решеток относительно друг друга равен 0 градусов, обозначены волновые вектора соответствующие лучам изображения, показаны предельные допустимые значения волнового вектора.
[0017] На Фиг. 9 показано векторное пространство в плоскости х-у, обозначены дифракционные порядки входного и выходного дифракционного элемента для случая когда угол поворота их дифракционных решеток относительно друг друга равен 45 градусам, обозначены волновые вектора соответствующие лучам изображения, показаны предельные допустимые значения волнового вектора.
На Фиг. 10 показан разброс углов лучей изображения, созданного проектором, обозначено рабочее поле изображения.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0018] Ниже будут подробно рассмотрены термины и их определения, используемые в описании данного технического решения для понимания и ясности его работы.
[0019] Волновод - устройство в виде канала, трубы, стержня и т.п., предназначенное для распространения звуковых или электромагнитных волн.
[0020] Данное техническое решение, представляющее собой устройство, может состоять из трех элементов.
[0021] Волновод представляет из себя плоское или изогнутое оптическое стекло или пластик. Изогнутый волновод используется с целью улучшения эргономики устройства, в том же виде, как и изогнутые линзы обычных очков повторяют форму профиля лица и глаз или как изогнутые стекла используются в иллюминаторах самолётов, при этом технически изогнутый волновод дополненной реальности более сложен в реализации.
[0022] Дифракционные компоненты (решетки) в некоторых вариантах реализации могут либо быть созданы непосредственно в теле стекла путем структурирования его поверхности, верхней или нижней (например, посредством нанесения маски и последующего травления), либо в объеме волновода. В случае, когда дифракционная решетка создается в объеме волновода, требуется сначала создать дифракционную решетку на поверхности одного стекла и затем соединить (например, методом склеивания или сварки) со вторым стеклом. В другом варианте реализации на поверхность стекла наносится функциональное оптическое покрытие (например, напыляется слой SiN или ТЮ2), дифракционная структура тогда создается в этом слое, например таким же травлением. Функциональное покрытие может быть многослойным и состоять из нескольких слоев. Дифракционная структура также может быть создана в функциональном слое, зажатом между двух стекол. Сначала слой наносится на одно из стекол, потом в слое вытравливается дифракционная структура, потом данное стекло соединяется (например, методом склеивания или сварки) со вторым стеклом. При таком соединении протравленные пустоты могут быть заполнены материалом с показателем преломления, отличающимся от показателя преломления стекла таким образом, чтобы поверхность стала опять ровной и гладкой, как показано на Фиг. 1. Таким материалом в некоторых вариантах реализации может быть, например, SiO2, ZnO, или GaP. Можно поменять материалы местами, использовать SiO2, ZnO, GaP для оптического покрытия, a SiN и ТЮ2 для заполнения пустот. В целом могут использоваться любые произвольные комбинации перечисленных материалов и других оптических материалов, главное, чтобы показатель преломления выбранных материалов отличался друг от друга. Толщина напыляемого слоя для заполнения пустот может быть больше, чем глубина пустот, т.е. материал заполняет пустоты и еще образует дополнительный слой поверх. Это необходимо, потому что при напылении пустоты могут быть заполнены не равномерно, а если напылить более толстый слой, то в итоге он выровняет поверхность. В другом варианте реализации как функциональный слой, так и материал, заполняющий пустоты, могут быть многослойными. Каждый из слоев может иметь произвольную толщину и состоять из одного из вышеперечисленных материалов или любого другого материала пригодного для создания оптических компонент. Также возможен вариант, когда в качестве функционального слоя или покрытия используется металл, например Au, Pt, Al. В данном варианте область, покрытая металлом, становится непрозрачной, но имеет большую эффективность дифракционных порядков. Данный вариант применим, например для создания входного дифракционного элемента 210 повышенной эффективности, когда его прозрачность не является необходимой в соответствии с дизайном конечного устройства. Также данным путем могут быть созданы отдельные высокоэффективные области выходного дифракционного элемента 230 при этом их размер должен оставаться минимальным, чтобы не препятствовать обзору окружающей реальности.
[0023] В варианте реализации, когда дифракционные компоненты создаются на поверхности волновода, дифракционные компоненты могут быть созданы на обоих поверхностях волновода. Пустоты могут быть заполнены оптическим материалом с отличающимся показателем преломления как описано выше. При этом дизайн дифракционных компонент, созданных на верхней поверхности волновода, может отличаться от дизайна дифракционных компонент, созданных на нижней поверхности волновода. Таким образом достигается расширенная функциональности и гибкость реализации конечного устройства (дисплея дополненной или расширенной реальности) так как оптический отклик устройства, создаваемый дифракционными компонентами на верхней поверхности волновода, дополняется оптическим откликом, создаваемым дифракционными компонентами на нижней поверхности волновода. При создании дифракционных решеток на поверхности стекла без соединения вытравленные пустоты заполнять не обязательно, т.к. они уже заполнены воздухом. Аналогично можно не заполнять пустоты и при соединении двух стекол. Еще в одном варианте реализации дифракционные элементы могут быть созданы путем проведения голографической записи требуемого оптического отклика в голографическом покрытии, нанесенном на поверхность волновода или внедренном в объем волновода. Оптический отклик голографической дифракционной решетки достигается за счет пространственного модулирования оптических свойств голографического покрытия (или пространственное изменение диэлектрической и магнитной проницаемости материала) и эквивалентен / идентичен оптическому отклику дифракционных решёток, описанных ниже. Различные варианты реализации показаны на Фиг. 1а и Фиг. 16.
[0024] Как упоминалось выше в общем виде экран дополненной и совмещённой реальности состоит из следующих компонент, как схематично показано на Фиг. 2, подробно раскрытых ниже:
[0025] группа дифракционных компонент 210, осуществляющая (а) ввод лучей изображения в волновод и их распределение и (б) частичное возвращение убегающих лучей изображения обратно в волновод (далее - входной дифракционный элемент);
[0026] волновод 220 для распространения лучей изображения;
[0027] группа дифракционных компонент 230, осуществляющих (а) вывод лучей изображения в направлении глаз пользователя и (б) распределение лучей изображения по всему объему волновода 220 (далее - выходной дифракционный элемент).
[0028] Под частичным возращением понимается ситуация, когда часть лучей убегающих к краям волновода (а значит теряемых т. к. достигнув края волновода лучи выйдут из волновода не в направлении глаз пользователя, а значит не принесут полезного действия) будет перенаправлена обратно в направлении выходной дифракционной решетки и после взаимодействия с выходной дифракционной решеткой будут направлены в глаза пользователя.
[0029] Глаза пользователя двигаются, в связи с чем устройство дополненной и совмещенной реальности может находиться под разными углами в зависимости от положения глаза пользователя. Верхний и нижний предел углов относительного расположения устройства и глаз пользователя зависит от конкретной геометрии конечного устройства (например, очков или экрана дополненной реальности). В некоторых вариантах реализации устройство может быть реализовано в виде прозрачного экрана, например, в виде стекла, устанавливаемого в окно дома, автомобиль, витрину, или используемого как прозрачный дисплей, например, на стойках регистрации. Выходной дифракционный элемент 230 должен перекрывать область поля обзора пользователя, в которой создается виртуальное изображение, в противном случае часть виртуальной картинки может быть утеряна.
[0030] На Фиг. 2 приведена общая схема устройства. Геометрическая форма элементов 210 и 230, расстояния между элементами 210 и 230, а также взаимная ориентация в плоскости х-у могут быть любыми, при этом выходной дифракционный элемент занимает большую часть волновода в плоскости х-у, а входной дифракционный элемент опоясывает его по периметру. Входной и выходной дифракционный элементы могут быть разделены на зоны, причем некоторые выбранные зоны могут быть не структурированы и не содержать дифракционной решетки. Данная возможность необходима для гибкости эргономики дизайна. Например, зоны, перекрывающиеся с другими структурными элементами устройства (например, с оправой, удерживающей линзу очков, являющуюся волноводом) могут быть намеренно оставлены пустыми. При этом в идеальном случае, т.е. когда осуществляется максимальное полезное действие, входная дифракционная решетка 210 опоясывает выходную дифракционную решетку 230 по всему периоду без наличия пустых зон. Пустые зоны могут быть созданы, если есть перекрытие с физическим контактом с другими элементами устройства, при этом оптический отклик устройства ухудшается. Заполненные зоны могут содержать разные типы дифракционной решетки, описанные ниже. Данная возможность необходима для достижения требуемого оптического отклика.
[0031] Проектор или несколько проекторов могут располагаться в любой позиции напротив области входного дифракционного элемента так, что пятно изображения, создаваемое проектором, падает на область входного дифракционного элемента как показано на Фиг. 2 и Фиг. 3.
[0032] На Фиг. 3 приведены два конкретных примера реализации технического решения. В первом варианте входной дифракционный элемент опоясывает выходной дифракционный элемент по всему периметру. Используются два проектора, проецирующие пятно изображения по центру входного дифракционного элемента симметрично слева и справа. Во втором варианте входной и выходной дифракционный элемент разбит на зоны, некоторые зоны пусты (пустые зоны не показаны на фигуре, но должны быть понятны из сравнения схем), используется один проектор проецирующий пятно изображения в левый верхний угол. Во втором варианте оптический отклик системы хуже, однако, как описано ниже, пустые зоны могут быть необходимы для интеграции в конечное устройство, например, очки дополненной реальности.
[0033] Когда волновод 220 встроен, например, в очки, как показано на Фиг. 4, верхняя поверхность, содержащая дифракционные элементы 210 и 230 (если структурирована только верхняя поверхность) обращена либо в сторону глаз пользователя, либо в противоположную сторону. В первом случае виртуальное изображение будет создаваться дифракционными порядками в пропускании (т.е. используются лучи, которые после дифракции выйдут из волновода 220 в воздух), а во втором случае дифракционными порядками в отражении (т.е. используются лучи, которые после дифракции отражаются обратно в волновод 220 и выйдут из волновода 220, достигнув противоположной поверхности волновода 220). Например, миниатюрный проектор изображения 240 может быть вмонтирован в душку очков. Тогда проектор проецирует изображение на верхний угол входного дифракционного элемента 210 как показано в первом варианте на Фиг. 4, выходной дифракционный элемент 230 располагается напротив глаз пользователя. Если же проектор смонтирован под душкой очков, как показано во втором варианте на Фиг. 4, то пятно изображения проецируется по центру входного дифракционного элемента 210 симметрично слева и справа. Лучи пятна изображения, создаваемого проектором 240, могут проецироваться на входной дифракционный элемент 210 как в пропускании, так и в отражении в зависимости от расположения проектора и ориентации верхней (или нижней) поверхности по отношению к глазам пользователя. Детальное описание работы входного дифракционного элемента 210 приведено ниже. Выходной дифракционный элемент 230 располагается напротив глаз пользователя. Таким образом приводится конструкция входного дифракционного элемента 210, когда он опоясывает выходной дифракционный элемент по периметру и обеспечивает гибкость реализации конечного устройства, например, очков или экрана дополненной реальности. На Фиг. 4 в третьем варианте показан экран дополненной реальности, который, например может использоваться на стойках регистрации или как персональный рабочий дисплей. В данном варианте используются несколько проекторов которые могут располагаться в любом месте по периметру волновода при этом каждое из пятен изображения, создаваемых проекторами должно падать на площадь входного дифракционного элемента 210. Использование нескольких проекторов позволяет повысить яркость изображения и повысить его однородность по цвету. Последнее достигается за счет более однородного распределения лучей изображения по площади выходного дифракционного элемента путем введения лучей в волновод 220 с нескольких направлений. Проекторы в третьем варианте на Фиг. 4 изображены схематически, в реальном устройстве проекторы могут быть вмонтированы в раму экрана с фронтальной или задней стороны. Размер входного дифракционного элемента 210 подбирается в зависимости от размера пятна изображения, создаваемого проектором или несколькими проекторами 240 и размеров, и расположения выходного дифракционного элемента 230. Размер выходного дифракционного элемента 230 определяется тремя факторами — размером поля изображений (создаваемого проектором 240, чем больше поле изображения (иными словами диапазон разброса углов лучей изображения создаваемых проектором 240), тем больше размер изображения, которое видит пользователь), расстоянием от выходного дифракционного элемента 230 до глаз пользователя и требуемым (или заложенным в дизайне) размером зоны допустимых отклонений положения глаз пользователя от заданной центральной позиции. В некоторых вариантах реализации размер выходного дифракционного элемента 230 может достигать значения, например, 4x4см или 4x6см или 20x20см, 100x50см и больше. Расстояние от глаз до стекла очков определяется дизайном конечного устройства — размером оправы, и т. д. Центр выходного дифракционного элемента 230 может располагаться напротив глаза пользователя, обычно на линии перпендикулярной к поверхности волновода 210, но в зависимости от эргономики конечного устройства, эта линия может проходить и под определенным углом. В целом выходной дифракционный элемент 230 должен перекрывать область поля обзора пользователя, в которой создается виртуальное изображение. В случае, когда устройство реализуется в виде экрана дополненной реальности выходной дифракционный элемент 230 занимает максимальную площадь поверхности экрана.
[0034] Входной дифракционный элемент 210 также осуществляет частичное возвращение убегающих лучей изображения обратно в волновод как более детально описано ниже. Дублирующая копия входного дифракционного элемента 210 может быть создана на противоположной поверхности волновода 220 как показано на Фиг. 5. В данном варианте убегающие лучи изображения, которые при взаимодействии с входным дифракционным элементом 210 до этого перенаправлялись в направлении к противоположной поверхности волновода и выходили из волновода, теперь перенаправляются обратно в волновод как показано жирным выделение стрелок на Фиг. 5. При этом, изначально ввод лучей изображения, созданных проектором 240, осуществляется входным дифракционным элементом 210 расположенным на обеих поверхностях волновода 220.
[0035] Детальное описание отдельных компонент приведено ниже и включает описание принципов их работы.
[0036] Входной дифракционный элемент 210 и выходной дифракционный элемент 230 содержат квадратные двумерные оптические решетки, повернутые относительно друг друга на любой угол, кратный 45 градусам как показано на Фиг. 6. Возможны четыре варианта расположения и ориентации элементов 210 и 230 относительно друг друга и относительно оси х. В первом варианте квадратные решетки элементов 210 и 230 повернуты на 0 градусов относительно оси х и на 0 градусов относительно друг друга. Во втором варианте квадратные решетки элементов 210 и 230 повернуты на 45 градусов относительно оси х и на 0 градусов относительно друг друга. В третьем варианте квадратная решетка элемента 210 повернута относительно оси х на 0 градусов, квадратная решетка элемента 230 повернута относительно оси х на 45 градусов, угол между квадратными решетками элементов 210 и 230 равен 45-ти градусам. В четвертом варианте квадратная решетка элемента 210 повернута относительно оси х на 45 градусов, квадратная решетка элемента 230 повернута относительно оси х на 0 градусов, угол между квадратными решетками элементов 210 и 230 равен 45-ти градусам.
[0037] Оптические решетки элементов 210 и 230 могут быть сформированы сплошными линиями. Возможен вариант, когда линии оптической решетки 210 или 230 разбиваются на отдельные элементы определенной формы (например, цилиндрической, кубической и т.д., однако могут быть использованы элементы разной формы и размеров), становясь прерывными, что позволяет управлять эффективностью дифракционных порядков. Разная форма позволяет управлять интенсивностью дифракционных порядков, что позволяет контролировать однородность картинки изображения по цвету. Разные формы дают разную степень контроля, при это они могут быть более просты или сложны в фабрикации. Элементы могут быть многоуровневыми или наклонными, например, пирамида со ступенями или наклонными сторонами. Ниже приведен принцип работы устройства на примерах вариантов реализации, описанных выше. В вариантах два и четыре устройство работает как в вариантах один и три при оси х повернутой на 45 градусов, различные направления распространения лучей описанные ниже поворачиваются на 45 градусов, при этом принцип работы устройства не меняется.
[0038] Оптическая решетка входного дифракционного элемента 210 перенаправляет свет от миниатюрного проектора 240 в направления определенных ее дифракционными векторами
К210А=2ТГ*(А210*П/В210,(А210ХП)); К210В=2ТТ’(В210ХП/А210*(В210*П));, где Агю и Вгю - вектора решетки Браве квадратной решетки входного дифракционного элемента 210 как показано на Фиг. 7 на примере варианта один описанного выше. Некоторые из этих направлений, например Кгюд, и Кгюд + Кгюв соответствуют направлениям на выходной дифракционный элемент 230. Другие направления, например -Кгюд и -Кгюд - Кгюв, приводят к убеганию лучей от выходного дифракционного элемента 230 и эффективность дифракции в этих направлениях может быть минимизирована путем выбора дифракционных элементов определенной формы, например наклоненный в направлении к выходному дифракционному элементу 230.
[0039] Оптическая решетка входного дифракционного элемента 210 также перенаправляет свет от проектора 240 вдоль периметра выходного дифракционного элемента 230, в вариантах один и три это направление задано вектором Кгюв и затем в направлении выходного дифракционного элемента 230 путем повторной дифракции в направлении Кгюд + Кгюв как показано на Фиг. 7. Таким образом осуществляется ввод лучей изображения в волновод и их распределение по площади волновода уже на этапе первичного ввода лучей изображения в волновод 220.
[0040] На Фиг. 8 использованы следующие обозначения. Внешний круговой контур обозначает максимальную разрешенную величину волнового вектора дифрагированных лучей в плоскости х-у, причем эта величина в свою очередь равна К=Ко*п2, где Ко - волновой вектор лучей изображения, созданных проектором, п2 - показатель преломления волновода. Внутренний круговой контур обозначает минимальную величину волнового вектора дифрагированных лучей в плоскости х-у, при достижении которой нарушается условие полного внутреннего отражения лучей в волноводе 220. Периодические узлы отображают дифракционные порядки квадратной оптической решетки входного и выходного дифракционных элементов 210 и 230. Квадратная рамка показывает значения волнового вектора лучей изображения в плоскости х-у, созданного проектором до дифракции (в центре внутреннего кругового контура) и после дифракции (рамки, центрированные на узлах дифракционных порядков квадратной решетки элементов 210 и 230).
[0041] Таким образом входной дифракционный элемент 210 вводит лучи изображения, созданные проектором 240 в волновод 220, и направляет лучи изображения в направлениях, заданных дифракционными узлами, изображенными на Фиг. 8 и описанными выше. Видно, что все узлы заключенные между внешним и внутренним контурами соответствуют разрешенным дифракционным порядкам, при которых лучи изображения вводятся в волновод и распространяются под углом большим угла полного внутреннего отражения волновода 220, причем угол отсчитывается от нормали к поверхности волновода.
[0042] При взаимодействии с выходным дифракционным элементом 230 к волновому вектору лучей изображения добавляется или вычитается волновой вектор К2ЗОА=2ТТ«(А2ЗО*П/В2ЗО,(А2ЗОХП));
К230В=2ТТ*(В230ХП/А230*(В210ХП)); ИЛИ вектор Кгзод + Кгзов , где Агзо и Вгзо - вектора решетки Браве квадратной решетки входного дифракционного элемента 230. В варианте один и три оптические решетки элементов 210 и 230 одинаковые и выше описанные вектора идентичны векторам Кгюд, Кгюв, и К21 ОА + K210B. Таком образом после взаимодействия с выходным дифракционным элементов 230 результирующий волновой вектор имеет компоненту в плоскости х-у соответствующую одному из узлов изображенных на Фиг. 8. Лучи изображения, соответствующие всем узлам кроме центрального, продолжают распространяться в волноводе в соответствующих направлениях. Лучи изображения, соответствующие центральному узлу, выводятся в направлении глаз пользователя.
[0043] В вариантах два и четыре оптическая решетка выходного дифракционного элемента 230 имеет период в 21/2 два раза больше, чем оптическая решетка входного дифракционного элемента 210. Как описано выше, оптические решетки элементов 210 и 230 повернуты на 45 градусов относительно друг друга. Оптическая решетка выходного дифракционного элемента 230 обладает узлами дифракционными узлами, обозначенными крестообразными узлами на Фиг. 9.
[0044] Таком образом после взаимодействия с выходным дифракционным элементом 230 результирующий волновой вектор имеет компоненту в плоскости х-у соответствующую одному из узлов изображенных на Фиг. 9. Видно, что переходы разрешены только между изображенными узлами, причем одни из переходов приводят в кругообразные узлы в другие переходы приводят в крестообразные узлы. Лучи изображения, соответствующие всем узлам кроме центрального, продолжают распространяться в волноводе в соответствующих направлениях. Лучи изображения, соответствующие центральному узлу, выводятся в направлении глаз пользователя.
[0045] Как видно из Фиг. 8 и Фиг. 9 некоторые из лучей изображения после взаимодействия с выходным дифракционным элементом 230 убегают в направлениях к краям волновода и достигнув краев дифрагируют на оптической решетке входного дифракционного элемента 210. В результате часть лучей перенаправляется обратно в направлении выходного дифракционного элемента 230. Направления возвращения лучей определяются результирующей компонентой волнового вектора лучей изображения в плоскости х-у которая соответствует одному из переходов между узлами изображенными на Фиг. 8. и Фиг 9. Таким образом частично предотвращается потеря лучей изображения из волновода. Для повышения эффективности работы входного дифракционного элемента 210 для ввода лучей изображения от проектора 240 в волновод 210, так и для повышения эффективности возвращения убегающих лучей изображения, оптическая решетка элемента 210 может быть покрыта функциональным покрытием, например Au, Pt, Al, ТЮ2, SiO2.
[0046] Дублирующая копия входного дифракционного элемента 210 может быть создана на противоположной поверхности волновода 220 как показано на Фиг. 5. В данном варианте лучи изображения, которые при взаимодействии с входным дифракционным элементом 210 до этого перенаправлялись в направлении к противоположной поверхности волновода (данное направление соответствует центральному дифракционному узлу на Фиг. 8 и Фиг. 9.) и выходили из волновода теперь перенаправляются обратно в волновод как показано жирным выделение стрелок на Фиг. 5. При этом, изначально ввод лучей изображения, созданных проектором 240, может осуществляться входным дифракционным элементом 210 расположенным на обеих поверхностях волновода 220 если использовано прозрачное функциональное покрытие. Если же используется металлическое покрытие Au, Pt, Al, в комбинации с дублирующей копией входного дифракционного элемента 210, то области, на которые падают пятна изображения, созданные проекторами 240, должны быть покрыты прозрачным функциональным покрытием, или должны не использовать покрытия хотя бы на одной из поверхностей. В противном случае лучи изображения будут блокированы и не будут введены в волновод 220.
Размножение «пятна изображения» (изначально созданного проектором 240) осуществляется по стандартной схеме работы подобных устройств и известна из уровня техники (в том смысле, что пятно должно быть размножено по объему волновода 220, технически это может быть реализовано по-разному). Конкретный луч изображения, созданный проектором 240 «расщепляется» на N лучей при каждом из взаимодействий с дифракционной решеткой. Таким образом, если рассмотреть всю совокупность лучей изображения в «пятне изображения», получается, что создаются копии «пятна изображения», убегающие в стороны от направления распространения основного «пятна изображения», направления разбегания определяются векторами дифракции входного и выходного дифракционных элементов 210 и 230 как описано выше. Размножение «пятна изображения» (источника изображения) по объему волновода 220 необходимо, чтобы пользователь видел виртуальную картинку независимо от того, в каком положении по отношению к волноводу 220, а значит линзе очков или экрану, находятся его глаза. Т.е. это нужно, чтобы в поле зрения всегда находилось хотя бы одно «пятно изображения» являющееся источником одного из углов изображения.
[0047] Для достижения полноцветной картинки может потребоваться создать три дифракционных волновода 220, причем каждый для одного из цветов RGB. Тогда все три волновода 220 соединяются в «стек», т.е. собираются в стопку один над другим. Тогда нужна гибкость, где и на какой поверхности располагается входная решетка и используется ли металлическое, или прозрачное функциональное покрытие.
[0048] Элемент 210 может работать как в режиме отражения (лучи изображения сначала проходят через волновод 220 под углом, меньшим угла полного внутреннего отражения до взаимодействия с элементом 210), так и в режиме пропускания (лучи изображения взаимодействуют с элементом 210 в момент проникновением в волновод 220). В варианте, когда создана дублирующая копия входного дифракционного элемента 210 на противоположной поверхности волновода 220, элемент 210 может одновременно работать и в режиме отражения, и в режиме пропускания как показано на Фиг. 5.
[0049] Волновод 220 может быть сделан из стекла, пластика, или любого другого материала пригодного для создания оптических компонент. В зависимости от применения это может быть, например, стекло или пластик. Важным показателем таких материалов являются показатель преломления (влияет на размер рабочего поля виртуального изображения или другими словами размер картинки) и пропускание во всем диапазоне видимых волн (поглощение света в видимом диапазоне должно быть минимальным), а также насколько волновод 220 ровный — вариации толщины, шероховатость поверхности и т. д. Чем меньше величины характеризующие «не-идеальность» волновода, тем лучше. Масса других механических показателей, например, таких как твердость и т. д., не имеют значения для оптического функционирования, но могут иметь значение для конечного устройства.
[0050] Свет распространяется внутри волновода 220 путем отражения под углом, большим угла полного внутреннего отражения материала, из которого сделан волновод 220. Например, для волновода 220, сделанного из стекла с показателем преломления 1.5, диапазон углов падения на поверхность волновода 220 будет 42 — 90 градусов, причем угол отсчитывается от нормали к поверхности волновода 220.
[0051] Поверхности волновода могут быть плоскими и параллельными друг другу или изогнуты оставаясь параллельными, что нужно для гибкости эргономики конечного устройства. Технически проще реализовать плоский волновод 220. На поверхности 410 и 420 может быть нанесено функциональное покрытие, например антиотражающее или покрытие, меняющее угол полного внутреннего отражения поверхности, для улучшения производительности и технических показателей устройства. Ниже рассматриваются два примера такого покрытия — антиотражающее покрытие и покрытие, изменяющее показатель преломления. Показатель преломления определяет рабочее поле виртуального изображения (размер картинки). Например, показатель преломления стекла имеет значение 1.5, тогда поле обзора 30 градусов по диагонали, показатель преломления 1.8 - поле обзора 50 градусов по диагонали. Соотношение сторон (формат изображения), например принимает значение 16:9 в обоих случаях. Антиотражающее покрытие предотвращает блики (например, от солнца или фонарей). Еще пример — специальное покрытие, препятствующее выходу картинки изображения в направлении “от глаз пользователя”. По умолчанию, выходной дифракционный элемент 230 выводит картинку в двух направлениях, а именно в направлениях к верхней и нижней поверхностям волновода 220. При этом изображение, выводимое в направлении “от глаз пользователя” видно окружающим, что является нежелательным. Для борьбы с этим эффектом может быть использовано специальное покрытие, которое создаст антисимметрию эффективности дифракции в указанных двух направлениях. Картинка, выводимая “от глаз пользователя” не будет потеряна, а будет перенаправлена в глаза пользователя. Указанные функциональные покрытия могут быть нанесены как сверху уже созданной дифракционной структуры, так и под ней, или же нанесены на ту поверхность стекла, на которой дифракционная структура не создается. Проектор 240 может состоять из источника света, например светодиодов (LED) или лазерных диодов (SLED) или может быть лазерным, пиксельной матрицы LCOS или DMD формирующей изображение, оптических элементов, улучшающих и выводящих изображение. Таким образом коллемированные лучи, созданные проектором 240, падают на поверхность входной решетки под набором углов Дх1 и Ду1 отсчитанных от оси z1 , которые определяют рабочее поле виртуального изображения (размер изображения). В качестве примера реализации для формата 16:9 и диагонали 30 градусов: Дх1= ±13, Ду1=±7. Пучок этих лучей вводится в волновод, и распространяется в волноводе под новым набором углов Дх2 и Ду2, однако теперь отсчитанных от оси z2 проходящей под углом Z0 к оси z1. Угол Z0 определяется по формуле как d*(sinO2 - sinZO) = L/n2 где б=2тт/Ко, Ко - величина волнового вектора лучей изображения, созданных проектором, sinO2*n2=sinO1*n1 , п2 - показатель преломления волновода, п1 - показатель преломления окружающей среды (воздуха), L - рабочая длина волны волновода 220, 01 - угол оси z1 по отношению к нормали поверхности волновода 220, как показано на Фиг. 10.
[0052] Пучок лучей взаимодействует с выходной дифракционной решеткой 230. Так как лучи изображения падают на выходную решетку под набором Дх2 и Ду2, отсчитанных от оси z2, важно, чтобы интенсивность дифрагированных углов имела минимальную зависимость от углов падения Дх2 и Ду2. Этим обеспечивается максимальная равномерность изображения по цвету. Как описано выше, виртуальное изображение состоит из лучей, созданных проектором 240 и имеющих определенный разброс углов. При попадании в волновод 220 этот набор углов преобразуется как описано выше. Далее все эти лучи взаимодействуют с выходной дифракционной решеткой 230. Зададим функцию эффективности этого взаимодействия как F (Дх2, Ду2). Далее F (Дх2, Ду2) = С, где С - фиксированная величина, не зависящая от Дх2, Ду2. В этом случае цветовой баланс изображения не искажается. В конкретном примере реализации С не является константой, но ее зависимость от Дх2, Ду2 минимизирована за счет многократного переиспользования лучей изображения, распространяемых под разными углами как описано выше. Иными словами зависимость С от уДх2, Ду2 размывается за счет того, что все лучи взаимодействуют с выходной дифракционной решеткой 230 многократно и с разных направлений.
[0053] Элементы 210 и 230 могут быть разбиты на неограниченное количество зон произвольной формы и размера.
Элемент 230 может быть создан на одной или обеих поверхностях волновода 220 или в его объеме как описано выше.
[0054] Как будет понятно специалисту в данной области техники, аспекты настоящего технического решения могут быть выполнены в виде устройства. Соответственно, различные аспекты настоящего технического решения могут быть реализованы исключительно как аппаратное обеспечение, а некоторые как программное обеспечение (включая прикладное программное обеспечение и так далее) или как вариант осуществления, сочетающий в себе программные и аппаратные аспекты, которые в общем случае могут упоминаться как «модуль», «система» или «архитектура». Кроме того, аспекты настоящего технического решения могут принимать форму компьютерного программного продукта, реализованного на одном или нескольких машиночитаемых носителях, имеющих машиночитаемый программный код, который на них реализован.

Claims

ФОРМУЛА
1. Экран дополненной и совмещённой реальности, содержащий корпус, в котором расположены:
• группа входных дифракционных компонент, выполненная с возможностью ввода лучей изображения в волновод и их распределение и частичного возвращения убегающих лучей изображения обратно в волновод;
• волновод, выполненный с возможностью распространения лучей изображения;
• группа выходных дифракционных компонент, выполненная с возможностью вывода лучей изображения в направлении глаз пользователя и распределения лучей изображения по всему объему волновода.
2. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что при возвращении убегающих лучей, часть лучей убегающих к краям волновода перенаправляется обратно в направлении выходной дифракционной решетки и после взаимодействия с выходной дифракционной решеткой направляются в глаза пользователя.
3. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что дифракционный элемент для вывода лучей изображения перекрывает область поля обзора пользователя, в которой создается виртуальное изображение.
4. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что выходной дифракционный элемент занимает большую часть волновода, а входной дифракционный элемент опоясывает его по периметру.
5. Экран дополненной и совмещённой реальности по п. 1, характеризующийся тем, что входной и выходной дифракционный элементы разделены на зоны.
6. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что входная дифракционная решетка опоясывает выходную дифракционную решетку по всему периоду без наличия пустых зон или с пустыми зонами.
7. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что в случае, когда волновод встроен в очки, верхняя поверхность содержащая входной и выходной дифракционные элементы обращена или в сторону глаз пользователя, или в противоположную сторону.
8. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что выходной дифракционный элемент располагается напротив глаз пользователя.
9. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что используется на стойках регистрации или как персональный рабочий дисплей.
10. Экран дополненной и совмещённой реальности по п. 1, характеризующийся тем, что размер входного дифракционного элемента подбирается в зависимости от размера пятна изображения, создаваемого проектором или несколькими проекторами и размеров, и расположения выходного дифракционного элемента.
11. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что дублирующая копия входного дифракционного элемента создана на противоположной поверхности волновода.
12. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что ввод лучей изображения, созданных проектором, осуществляется входным дифракционным элементом, расположенным на обеих поверхностях волновода.
13. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что входной дифракционный элемент и выходной дифракционный элемент содержат квадратные двумерные оптические решетки, повернутые относительно друг друга на угол, кратный 45 градусам. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что оптические решетки входного дифракционного элемента и выходного дифракционного элемента сформированы сплошными линиями. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что линии оптической решетки входного дифракционного элемента и выходного дифракционного элемента разбиваются на отдельные элементы определенной формы. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что оптическая решетка входного и выходного дифракционного элемента перенаправляет свет от миниатюрного проектора в направлении определенных ее дифракционными векторами. Экран дополненной и совмещённой реальности по п. 1 , характеризующийся тем, что выходной дифракционный элемент создан на обеих поверхностях волновода.
PCT/RU2020/000569 2020-10-23 2020-10-23 Экран дополненной и совмещённой реальности WO2022086355A1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/303,605 US20230368477A1 (en) 2020-10-23 2023-04-20 Augmented and mixed reality screen

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2020134874A RU2763122C1 (ru) 2020-10-23 2020-10-23 Экран дополненной и совмещённой реальности
RU2020134874 2020-10-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/303,605 Continuation US20230368477A1 (en) 2020-10-23 2023-04-20 Augmented and mixed reality screen

Publications (1)

Publication Number Publication Date
WO2022086355A1 true WO2022086355A1 (ru) 2022-04-28

Family

ID=80039145

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2020/000569 WO2022086355A1 (ru) 2020-10-23 2020-10-23 Экран дополненной и совмещённой реальности

Country Status (3)

Country Link
US (1) US20230368477A1 (ru)
RU (1) RU2763122C1 (ru)
WO (1) WO2022086355A1 (ru)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155117A1 (en) * 2018-02-06 2019-08-15 Dispelix Oy Diffractive display element with grating mirror
RU2719568C1 (ru) * 2019-07-12 2020-04-21 Самсунг Электроникс Ко., Лтд. Устройство дополненной реальности и способ его функционирования
CN111474718A (zh) * 2020-05-05 2020-07-31 谷东科技有限公司 体全息光波导显示装置和增强现实显示设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11320571B2 (en) * 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
US11150394B2 (en) * 2019-01-31 2021-10-19 Facebook Technologies, Llc Duty cycle range increase for waveguide combiners

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155117A1 (en) * 2018-02-06 2019-08-15 Dispelix Oy Diffractive display element with grating mirror
RU2719568C1 (ru) * 2019-07-12 2020-04-21 Самсунг Электроникс Ко., Лтд. Устройство дополненной реальности и способ его функционирования
CN111474718A (zh) * 2020-05-05 2020-07-31 谷东科技有限公司 体全息光波导显示装置和增强现实显示设备

Also Published As

Publication number Publication date
US20230368477A1 (en) 2023-11-16
RU2763122C1 (ru) 2021-12-27

Similar Documents

Publication Publication Date Title
US10802212B2 (en) Angular subpixel rendering multiview display using shifted multibeam elements
CN108351468B (zh) 使用移位多束元件对多视图显示器的角子像素渲染
KR102493252B1 (ko) 도파관 구조체
JP7092136B2 (ja) 拡張現実または仮想現実ディスプレイ用の導波路
US11994680B2 (en) Methods and systems for high efficiency eyepiece in augmented reality devices
CA2997564C (en) Angular subpixel rendering multiview display using shifted multibeam elements
US20190339447A1 (en) Diffraction gratings for beam redirection
US10866419B2 (en) Optical combiner and applications thereof
US11048036B2 (en) Multiview displays having a reflective support structure
CN113568167B (zh) 镜片单元和包括镜片单元的ar设备
CN110764265A (zh) 一种近眼导光组件、显示装置
CN113568168B (zh) 镜片单元和包括镜片单元的ar设备
WO2022086355A1 (ru) Экран дополненной и совмещённой реальности
JP7441443B2 (ja) 光学システム及び複合現実装置
RU2747680C1 (ru) Устройство дополненной и совмещенной реальности
WO2023162506A1 (ja) 導光板及び画像表示装置
WO2021140717A1 (ja) 画像表示素子および装置
CN118011644A (zh) 光波导系统、增强现实显示设备
CN116661148A (zh) 一种用于vr显示的光波导器件
CN112817150A (zh) 用于增强现实显示的装置和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20958823

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20958823

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20958823

Country of ref document: EP

Kind code of ref document: A1