RU2747680C1 - Augmented and combined reality device - Google Patents
Augmented and combined reality device Download PDFInfo
- Publication number
- RU2747680C1 RU2747680C1 RU2020122777A RU2020122777A RU2747680C1 RU 2747680 C1 RU2747680 C1 RU 2747680C1 RU 2020122777 A RU2020122777 A RU 2020122777A RU 2020122777 A RU2020122777 A RU 2020122777A RU 2747680 C1 RU2747680 C1 RU 2747680C1
- Authority
- RU
- Russia
- Prior art keywords
- waveguide
- image
- components
- diffractive
- output
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
Abstract
Description
ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY
[001] Настоящее техническое решение в общем относится к области вычислительной техники, а в частности к дисплеям для создания изображения дополненной или совмещенной реальности.[001] The present technical solution generally relates to the field of computing, and in particular to displays for creating images of augmented or combined reality.
УРОВЕНЬ ТЕХНИКИLEVEL OF TECHNOLOGY
[002] Из уровня техники известен источник информации US 2017/0299864 А1 (патентообладатель: MICROSOFT TECHNOLOGY LICENSING LLC, опубл. 19.10.2017). Источник раскрывает общий принцип построения дисплея для создания изображения дополненной или совмещенной реальности. В данном решении описывается дисплей для создания изображения дополненной или совмещенной реальности состоящий из: группы дифракционных компонент, осуществляющих ввод лучей изображения в волновод и их распределение; волновода для распространения лучей изображения; группы дифракционных компонент, осуществляющих вывод лучей изображения в направлении глаз пользователя и распределение лучей изображения по объему элемента; проектора изображения.[002] A source of information US 2017/0299864 A1 is known from the prior art (patentee: MICROSOFT TECHNOLOGY LICENSING LLC, publ. 19.10.2017). The source reveals the general principle of constructing a display for creating an image of augmented or combined reality. This solution describes a display for creating an image of augmented or combined reality, consisting of: a group of diffractive components that input the image rays into the waveguide and their distribution; a waveguide for the propagation of image beams; groups of diffractive components that output the image beams in the direction of the user's eyes and distribute the image beams over the volume of the element; image projector.
[003] Также из уровня техники известна патентная заявка № US 2019/0056593 А1 (заявитель: TIPD LLC), опубл. 21.02.2019, раскрывающая дисплей для создания изображения дополненной или совмещенной реальности, состоящий из: группы дифракционных компонент, осуществляющих ввод лучей изображения в волновод и их распределение; волновода для распространения лучей изображения.[003] Also known from the prior art patent application No. US 2019/0056593 A1 (applicant: TIPD LLC), publ. 02/21/2019, revealing a display for creating an augmented or combined reality image, consisting of: a group of diffractive components that input the image rays into the waveguide and their distribution; waveguide for the propagation of image beams.
[004] В уровне техники, потенциальные отличия от других устройств есть в схеме входного дифракционного элемента. В заявляемом решении, хотя строение этого элемента и схоже с аналогами, однако он состоит из специализированного набора компонент, обеспечивающих гибкость его реализации. В частности, в нескольких вариантах, описанных ниже, входной дифракционный элемент также осуществляет «размножение» пятна изображения, до того, как пятно изображения достигает выходного дифракционного элемента. При этом выходной дифракционный элемент так же «размножает» пятно изображения. Таким образом эффективность «размножения» удваивается и получается гибридный вариант.[004] In the prior art, potential differences from other devices are in the circuitry of the input diffractive element. In the claimed solution, although the structure of this element is similar to its counterparts, it consists of a specialized set of components that provide flexibility in its implementation. In particular, in several embodiments described below, the input diffractive element also “multiplies” the image spot before the image spot reaches the output diffractive element. In this case, the output diffractive element also "multiplies" the image spot. Thus, the efficiency of "breeding" is doubled and a hybrid variant is obtained.
СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION
[005] Технической задачей или технической проблемой, решаемой в данном техническом решении, является создание изображения дополненной реальности. Более конкретно, создание устройства, осуществляющего передачу изображения, созданного миниатюрным проектором в глаза пользователя, при этом само устройство прозрачно и не блокирует вид на окружающую реальность.[005] The technical problem or technical problem solved in this technical solution is the creation of an augmented reality image. More specifically, the creation of a device that transmits an image created by a miniature projector into the eyes of a user, while the device itself is transparent and does not block the view of the surrounding reality.
[006] Достигаемым техническим результатом является повышение качества получения однородного по цвету виртуального изображения за счет использования симметрии выходного дифракционного элемента.[006] The achieved technical result is to improve the quality of obtaining a color-uniform virtual image by using the symmetry of the output diffractive element.
[007] Также за счет структуры входного дифракционного элемента, который состоит из набора подкомпонент, осуществляется размножение пятна изображения уже на этапе и сразу после взаимодействия лучей изображения, созданных проектором с входным дифракционным элементом.[007] Also, due to the structure of the input diffractive element, which consists of a set of subcomponents, the image spot is multiplied already at the stage and immediately after the interaction of the image beams created by the projector with the input diffractive element.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF DRAWINGS
[008] Признаки и преимущества настоящего технического решения станут очевидными из приведенного ниже подробного описания и прилагаемых чертежей, на которых:[008] The features and advantages of the present technical solution will become apparent from the following detailed description and the accompanying drawings, in which:
[009] На Фиг. 1 показан вариант использования, когда устройство интегрировано в очки. Показано расположение дифракционных компонент на плоскости прозрачного волновода 220 (в другом варианте дифракционные компоненты могут быть интегрированы в объем волновода), в данном случае, выполняющего роль, или совмещенного, с линзой очков. Показаны два варианта расположения входной дифракционной решетки 210.[009] FIG. 1 shows a use case when the device is integrated into glasses. The location of the diffractive components on the plane of the
[0010] На Фиг. 2 показаны элементы устройства и принцип его работы, группа дифракционных компонент 210, осуществляющая ввод лучей изображения в волновод 220 и их распределение; волновод 220 для распространения лучей изображения; группа дифракционных компонент 230, осуществляющих вывод лучей изображения в направлении глаз пользователя и распределение лучей изображения по всему объему волновода 220.[0010] FIG. 2 shows the elements of the device and the principle of its operation, a group of
[0011] На Фиг. 3 показаны отдельные компоненты (дифракционные решетки) входящие в группу дифракционных компонент 210 и вместе составляющих входной дифракционный элемент. Показаны волновые векторы каждой из дифракционных решеток и соотношение волновых векторов, определяющие принцип работы данного элемента.[0011] FIG. 3 shows the individual components (diffraction gratings) included in the group of
[0012] На Фиг. 4 показан волновод 220, вид сбоку. Схематически показано распространение лучей изображения внутри волновода 220.[0012] FIG. 4, a side view of
[0013] На Фиг. 5 показаны два варианта структуры дифракционной компоненты, входящей и составляющей группу дифракционных компонент 230 (выходной дифракционный элемент). Данная дифракционная компонента представляет из себя двумерную дифракционную решетку, показаны два варианта решетки.[0013] FIG. 5 shows two variants of the structure of the diffractive component included and constituting the group of diffractive components 230 (output diffractive element). This diffraction component is a two-dimensional diffraction grating; two grating options are shown.
[0014] На Фиг. 6 показана деформация обоих вариантов двумерной дифракционной, решетки входящей и составляющей группу дифракционных компонент 230 (выходной дифракционный элемент), позволяющая управлять углами и эффективностью ее дифракционных порядков.[0014] FIG. 6 shows the deformation of both versions of the two-dimensional diffraction grating entering and constituting a group of diffractive components 230 (output diffraction element), which makes it possible to control the angles and efficiency of its diffraction orders.
[0015] На Фиг. 7-8 показаны различные варианты реализации дифракционных компонент (решеток) описанные ниже, где в правой части показаны те же варианты реализации, но со вторым стеклом сверху.[0015] FIG. 7-8 show various embodiments of the diffractive components (gratings) described below, where the right side shows the same embodiments, but with a second glass from the top.
[0016] На Фиг. 9 показан вариант реализации, в котором решетки 310 и 320 совмещены и скрещены.[0016] FIG. 9 shows an embodiment in which the
[0017] На Фиг. 10 показано рабочее поле виртуального изображения, создаваемая миниатюрным проектором, проектор 240 создает пучок лучей изображения, имеющих набор углов по отношению к собственной оси проектора z1 в направлениях х и у.[0017] FIG. 10 shows the working field of a virtual image created by a miniature projector, the
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF THE INVENTION
[0018] Ниже будут подробно рассмотрены термины и их определения, используемые в описании данного технического решения для понимания и ясности его работы.[0018] Below will be discussed in detail the terms and their definitions used in the description of this technical solution for understanding and clarity of its operation.
[0019] Волновод - устройство в виде канала, трубы, стержня и т.п., предназначенное для распространения звуковых или электромагнитных волн.[0019] Waveguide - a device in the form of a channel, pipe, rod, etc., designed to propagate sound or electromagnetic waves.
[0020] Данное техническое решение, представляющее собой устройство, может состоять из трех элементов.[0020] This technical solution, which is a device, may consist of three elements.
[0021] Волновод представляет из себя плоское или изогнутое оптическое стекло или пластик. Изогнутое стекло используется с целью улучшения эргономики устройства, в том же виде, как и изогнутые линзы обычных очков повторяют форму профиля лица и глаз или как изогнутые стекла используются в иллюминаторах самолетов, при этом технически изогнутый волновод дополненной реальности более сложен в реализации.[0021] The waveguide is a flat or curved optical glass or plastic. Curved glass is used to improve the ergonomics of the device, in the same way that curved lenses of ordinary glasses follow the shape of the profile of the face and eyes, or as curved glasses are used in aircraft windows, while technically curved augmented reality waveguide is more difficult to implement.
[0022] Дифракционные компоненты (решетки) в некоторых вариантах реализации могут либо быть созданы непосредственно в теле стекла путем структурирования его поверхности, верхней или нижней (например, посредством нанесения маски и последующего травления), либо в объеме волновода. В случае, когда дифракционная решетка создается в объеме волновода, требуется сначала создать дифракционную решетку на поверхности одного стекла и затем соединить (например, методом склеивания или сварки) со вторым стеклом. В другом варианте реализации на поверхность стекла наносится функциональное оптическое покрытие (например, напыляется слой SiN или TiO2), дифракционная структура тогда создается в этом покрытии, например таким же травлением. Функциональное покрытие может быть многослойным и состоять из нескольких слоев. Дифракционная структура также может быть создана в функциональном слое, зажатом между двух стекол. Сначала слой наносится на одно из стекол, потом в слое вытравливается дифракционная структура, потом данное стекло соединяется (например, методом склеивания или сварки) со вторым стеклом. При таком соединении протравленные пустоты могут быть заполнены материалом с показателем преломления, отличающимся от показателя преломления стекла таким образом, чтобы поверхность стала опять ровной и гладкой, как показано на Фиг. 7 и Фиг. 8. Таким материалом в некоторых вариантах реализации может быть, например, SiO2, ZnO, или GaP. Можно поменять материалы местами, использовать SiO2, ZnO, GaP для оптического покрытия, a SiN и TiO2 для заполнения пустот. В целом могут использоваться любые произвольные комбинации перечисленных материалов, главное, чтобы показатель преломления выбранных материалов отличался друг от друга. Так же могут использоваться металлы, например Al, Pt, Au, как в комбинации с вышеперечисленными материалами, так и сами по себе. Толщина напыляемого слоя для заполнения пустот может быть больше, чем глубина пустот, т.е. материал заполняет пустоты и еще образует дополнительный слой поверх. Это необходимо, потому что при напылении пустоты могут быть заполнены не равномерно, а если напылить более толстый слой, то в итоге он выровняет поверхность. В другом варианте реализации как функциональный слой, так и материал, заполняющий пустоты, могут быть многослойными. Каждый из слоев может иметь произвольную толщину и состоять из одного из вышеперечисленных материалов или любого другого материала пригодного для создания оптических компонент.[0022] Diffractive components (gratings) in some implementations can either be created directly in the glass body by structuring its surface, top or bottom (for example, by applying a mask and subsequent etching), or in the volume of the waveguide. In the case when a diffraction grating is created in the volume of the waveguide, it is necessary to first create a diffraction grating on the surface of one glass and then connect (for example, by gluing or welding) to the second glass. In another embodiment, a functional optical coating is applied to the glass surface (for example, a layer of SiN or TiO2 is deposited), a diffraction structure is then created in this coating, for example, by the same etching. A functional coating can be multi-layer and consist of several layers. The diffractive structure can also be created in a functional layer sandwiched between two glasses. First, a layer is applied to one of the glasses, then a diffractive structure is etched in the layer, then this glass is connected (for example, by gluing or welding) with the second glass. With this connection, the etched voids can be filled with a material with a refractive index different from that of glass so that the surface becomes even and smooth again, as shown in FIG. 7 and FIG. 8. Such a material in some embodiments may be, for example, SiO2, ZnO, or GaP. You can swap materials, use SiO2, ZnO, GaP for optical coatings, and SiN and TiO2 for void filling. In general, any arbitrary combinations of the listed materials can be used, the main thing is that the refractive index of the selected materials differs from each other. Metals can also be used, for example Al, Pt, Au, both in combination with the above materials, or by themselves. The thickness of the layer to be sprayed to fill the voids can be greater than the depth of the voids, i.e. the material fills in the voids and also forms an additional layer on top. This is necessary because when spraying, voids may not be filled evenly, and if a thicker layer is sprayed, it will eventually level the surface. In another embodiment, both the functional layer and the void filling material may be multilayer. Each of the layers can be of arbitrary thickness and consist of one of the above materials or any other material suitable for creating optical components.
[0023] В варианте реализации, когда дифракционные компоненты создаются на поверхности волновода, дифракционные компоненты могут быть созданы на обоих поверхностях волновода. При этом дизайн дифракционных компонент, созданных на верхней поверхности волновода, может отличаться от дизайна дифракционных компонент, созданных на нижней поверхности волновода. Таким образом достигается расширенная функциональность и гибкость реализации конечного устройства (дисплея дополненной или расширенной реальности), так как оптический отклик устройства, создаваемый дифракционными компонентами на верхней поверхности волновода, дополняется оптическим откликом, создаваемым дифракционными компонентами на нижней поверхности волновода. При создании дифракционных решеток на поверхности стекла без соединения вытравленные пустоты заполнять не обязательно, т.к. они уже заполнены воздухом. Аналогично можно не заполнять пустоты и при соединении двух стекол. Еще в одном варианте реализации дифракционные элементы могут быть созданы путем проведения голографической записи требуемого оптического отклика в голографическом покрытии, нанесенном на поверхность волновода или внедренном в объем волновода. Оптический отклик голографической дифракционной решетки достигается за счет пространственного модулирования оптических свойств голографического покрытия (или пространственное изменение диэлектрической и магнитной проницаемости материала) и эквивалентен / идентичен оптическому отклику дифракционных решеток, описанных ниже.[0023] In an embodiment, when diffractive components are generated at the surface of the waveguide, diffractive components can be generated at both surfaces of the waveguide. However, the design of the diffractive components created on the upper surface of the waveguide may differ from the design of the diffractive components created on the lower surface of the waveguide. In this way, enhanced functionality and implementation flexibility of the end device (augmented or augmented reality display) is achieved, since the optical response of the device generated by the diffractive components on the upper surface of the waveguide is complemented by the optical response generated by the diffractive components on the lower surface of the waveguide. When creating diffraction gratings on a glass surface without joining, it is not necessary to fill in the etched voids, because they are already filled with air. Similarly, it is possible not to fill the voids when connecting two glasses. In yet another embodiment, the diffractive elements can be created by holographic recording of the required optical response in a holographic coating applied to the surface of the waveguide or embedded in the volume of the waveguide. The optical response of the holographic diffraction grating is achieved by spatial modulation of the optical properties of the holographic coating (or the spatial variation of the dielectric and magnetic permeability of the material) and is equivalent / identical to the optical response of the diffraction gratings described below.
[0024] Как упоминалось выше в общем виде устройство дополненной и совмещенной реальности состоит из следующих компонент, как схематично показано на Фиг. 2, подробно раскрытых ниже:[0024] As mentioned above in general terms, the AR device consists of the following components, as schematically shown in FIG. 2, detailed below:
[0025] группа дифракционных компонент 210, осуществляющая ввод лучей изображения в волновод и их распределение (далее - входной дифракционный элемент);[0025] a group of
[0026] волновод 220 для распространения лучей изображения;[0026] a
[0027] группа дифракционных компонент 230, осуществляющих (а) вывод лучей изображения в направлении глаз пользователя и (б) распределение лучей изображения по всему объему волновода (2) (далее - выходной дифракционный элемент).[0027] a group of
[0028] Глаза пользователя двигаются, в связи с чем устройство дополненной и совмещенной реальности будет находиться под разными углами в зависимости от положения глаза пользователя, верхний и нижний предел углов относительного расположения устройства и глаз пользователя зависит от конкретной геометрии конечного устройства (например, очков или экрана дополненной реальности). В некоторых вариантах реализации устройство может быть реализовано в виде прозрачного экрана, например, в виде стекла, устанавливаемого в окно дома, автомобиль, витрину, или используемого как прозрачный дисплей, например, на стойках регистрации. Выходной дифракционный элемент 230 должен перекрывать область поля обзора пользователя, в которой создается виртуальное изображение, в противном случае часть виртуальной картинки может будет утеряна.[0028] The user's eyes move, and therefore the AR device will be at different angles depending on the position of the user's eye, the upper and lower limit of the angles of the relative position of the device and the user's eyes depends on the specific geometry of the final device (for example, glasses or augmented reality screen). In some implementations, the device can be implemented as a transparent screen, for example, in the form of glass, installed in a window of a house, car, shop window, or used as a transparent display, for example, at check-in counters. The output
[0029] На Фиг. 2 приведена общая схема устройства. Геометрическая форма, относительная ориентация и расстояние между элементами 210 и 230 в плоскости х-у может быть любой, т.е. угол между осью элемента 210 и осью элемента 230 может быть произвольным, который может принимать, например, значение в 0 градусов или 30 градусов. Возможность изменять угол между группами дифракционных компонент 210 и 230 необходима для обеспечения гибкости эргономики дизайна.[0029] FIG. 2 shows a general diagram of the device. The geometric shape, relative orientation and distance between
[0030] Ниже приведены два примера реализации технического решения (вид сверху и вид сбоку, т.е. вид на верхнюю поверхность волновода 220 и сбоку), как показано на Фиг. 2.[0030] Below are two examples of the implementation of the technical solution (top view and side view, ie, view of the upper surface of the
[0031] Когда волновод 220 встроен, например, в очки, как показано на Фиг. 1, верхняя поверхность обращена либо в сторону глаз пользователя, либо в противоположную сторону. В первом случае виртуальное изображение будет создаваться дифракционными порядками в пропускании (т.е. используются лучи, которые после дифракции выйдут из волновода 220 в воздух), а во втором случае дифракционными порядками в отражении (т.е. используются лучи, которые после дифракции отражаются обратно в волновод 220 и выйдет из волновода 220, достигнув противоположной поверхности волновода 220). Например, миниатюрный проектор изображения 240 может быть вмонтирован в душку очков. Тогда входной дифракционный элемент 210 будет расположен как показано во втором варианте на Фиг. 1, выходной дифракционный элемент 230 располагается напротив глаз пользователя. Технически этот вариант более сложен для реализации, но такая возможность необходима для обеспечения гибкости дизайна и реализации таких дисплеев, которые потом будут удобно использовать в конечных устройствах. Размер компонент входного дифракционного элемента 210 подбирается в зависимости от размера пятна изображения, создаваемого миниатюрным проектором 240 и размеров, и расположения входного дифракционного элемента 210. Расположение и размер компонент 310 и 320 (если компонент 320 присутствует), как показано на Фиг. 3, входного дифракционного элемента 210 выбирается таким образом, чтобы падающее от проектора 240 пятно изображения перекрывало площадь этих компонент (при этом проектор 240 может располагаться под углом к волноводу 220, т.е. пятно изображения не обязательно падает на волновод 220 перпендикулярно, направление падения задается двумя углами -зенитным и азимутальным (в сферической системе координат, причем значения может принимать, например, 15 и 10 градусов.). Размер выходного дифракционного элемента 230 определяется тремя факторами - размером поля изображения (создаваемого проектором 240, чем больше поле изображения (иными словами диапазон разброса углов лучей изображения создаваемых проектором 240), тем больше размер изображения, которое видит пользователь), расстоянием от выходного дифракционного элемента 230 до глаз пользователя и требуемым (или заложенным в дизайне) размером зоны допустимых отклонений положения глаз пользователя от заданной центральной позиции. В некоторых вариантах реализации размер выходного дифракционного элемента 230 может достигать значения, например, 4×4 см или 4×6 см или 20×20 см и больше. Расстояние от глаз до стекла очков определяется дизайном конечного устройства - размером оправы, и т.д. Центр выходного дифракционного элемента 230 может располагаться напротив глаза пользователя, обычно на линии перпендикулярной к поверхности волновода 210, но в зависимости от эргономики конечного устройства, эта линия может проходить и под определенным углом. В целом выходной дифракционный элемент 230 должен перекрывать область поля обзора пользователя, в которой создается виртуальное изображение. В случае, когда устройство реализуется в виде экрана дополненной реальности выходной дифракционный элемент 230 занимает максимальную площадь поверхности экрана.[0031] When the
[0032] Детальное описание отдельных компонент приведено ниже и включает описание принципов их работы.[0032] A detailed description of the individual components is provided below and includes a description of how they work.
[0033] Группа дифракционных компонент 210, осуществляющая ввод лучей изображения в волновод 220 и их распределение, показана на Фиг. 3.[0033] A group of
[0034] Позиции 310, 320, 330, 340 показывают одномерные дифракционные решетки на поверхности волновода 220 или встроенные в волновод 220. Дифракционная решетка 310 перенаправляет свет от миниатюрного проектора 240 в направлении дифракционных решеток 340 и 330 путем дифракции лучей изображения в первый, или второй, или более высокие дифракционные порядки под углом, большим угла полного внутреннего отражения волновода 220. Проектор 240 проецирует пятно изображения на ту область поверхности волновода 220, в которой (или под которой, в случае если компоненты входной дифракционной решетки 210 созданы на противоположной поверхности или в объеме волновода 220) созданы компоненты входной дифракционной решетки 210. Пятно изображения проецируется на компоненты 310 и 320 (если компонент 320 присутствует), размер и геометрическая форма компоненты 310 и 320 может совпадать с размером и геометрической формой пятна изображения. Для получения описанного эффекта для волновода с фиксированным показателем преломления (который может принимать значения, например, 1.5 или 1.8), описанные дифракционные решетки могут иметь период только в определенном диапазоне величин. В одном варианте реализации компонент 320 перенаправляет свет в направлении оси элемента 210 путем дифракции лучей изображения в первый, или второй, или более высокие дифракционные порядки под углом, большим угла полного внутреннего отражения волновода 220. В одном варианте, как показано на Фиг. 9., решетки 310 и 320 совмещены и скрещены, совмещенный элемент одновременно перенаправляет свет от миниатюрного проектора 240 в направлении дифракционных решеток 340 и 330, а также в направлении оси элемента 210. Данный эффект достигается за счет двумерной природы решетки. В примерном варианте реализации она обладает дифракционными порядками как в направлениях к элементам 340 и 330 (волновой вектор дифракции k1a и -k1a), так и в направлении оси элемента 210 (волновой вектор дифракции k1б). Например, такими порядками обладает квадратная дифракционная решетка.[0034]
[0035] Дифракционные решетки 330 и 340 перенаправляют свет в направлении оси элемента 210 путем повторной дифракции лучей изображения в первый, или второй, или более высокие дифракционные порядки под углом, большим угла полного внутреннего отражения волновода 220.[0035]
[0036] Дифракционная решетка 320 перенаправляет свет в направлении оси элемента 210 путем дифракции лучей изображения в первый, или второй, или более высокие дифракционные порядки под углом, большим угла полного внутреннего отражения волновода 220.[0036] The
[0037] Волновые вектора дифракционных решеток соотнесены следующим соотношением: -k1a+k1г=+k1a+k1в=k1б=kлуча, где kлуча - результирующий волновой вектор луча изображения в плоскости х-у. Направление векторов k1б и kлуча совпадают с направлением оси элемента 210. Данное соотношение определяет период и ориентацию дифракционных решеток, составляющих входной дифракционный элемент. Если это требование не соблюдено, устройство работать не будет. Например, если показатель преломления волновода имеет значение 1.5. Выбранная рабочая длинна волны - 620 нм (красный цвет). Тип дифракционной решетки для всех компонент - линейная. Период компонент 310, 320-500 нм (в другом варианте реализации квадратная решетка 320 имеет период 500 нм в обоих направлениях). Период 330 и 340-500 нм * (2)∧(-1/2)=353.5 нм, располагаются по углом 45 градусов к 310.[0037] The wave vectors of the diffraction gratings are related by the following relationship: -k 1a + k 1d = + k 1a + k 1c = k 1b = k ray , where k ray is the resulting wave vector of the image ray in the x-y plane. The direction of the vectors k 1b and k of the beam coincide with the direction of the axis of the
[0038] В некоторых вариантах реализации техническое решение может быть также реализовано посредством использования дифракционных решеток 310, 320 и только решетку 330, решетка 340 отсутствует. В некоторых вариантах реализации техническое решение может быть также реализовано посредством использования дифракционных решеток 310, 320 и только решетку 340, решетка 330 отсутствует. Дифракционная решетка 320 является опциональной компонентой в обоих вариантах реализации. Также возможна реализация, при которой элемент 210 содержит только дифракционную решетку 320. Также может быть вариант реализации с использованием только решетки 310. Функционально варианты реализации одинаковы, а отличаются только геометрией. Использование того или иного варианта реализации влияет на размножение лучей «пятна» изображения. Варианты с уменьшенным количеством компонент заложены для гибкости реализации, так как необходимый эффект достигается и меньшем количеством компонент. В зависимости от геометрии конечного устройства может возникнуть необходимость обойтись определенным набором компонент в ущерб функциональных показателей. С функциональной точки зрения разницы нет. Возможность заложена для гибкости расположения проектора 240, который может находиться как напротив верхней поверхности волновода 220, так и напротив нижней поверхности. Это нужно для обеспечения гибкости дизайна конечного устройства. Также, для достижения полноцветной картинки может потребоваться создать три дифракционных волновода 220, причем каждый для одного из цветов RGB. Тогда все три волновода 220 соединяются в «стек», т.е. собираются в стопку один над другим. Тогда нужна гибкость, где и на какой поверхности располагается входная решетка.[0038] In some embodiments, the technical solution may also be implemented using
[0039] Элемент 210 может работать как в режиме отражения (лучи изображения сначала проходят через волновод 220 под углом, меньшим угла полного внутреннего отражения до взаимодействия с элементом 210), так и в режиме пропускания (лучи изображения взаимодействуют с элементом 210 в момент проникновением в волновод 220).[0039]
[0040] На Фиг. 4 показан пример реализации 220 волновода для распространения лучей изображения.[0040] FIG. 4 shows an
[0041] Волновод 220 может быть сделан из стекла, пластика, или любого другого материала пригодного для создания оптических компонент. В зависимости от применения, это может быть, например, стекло или пластик. Важным показателем таких материалов являются показатель преломления (влияет на размер рабочего поля виртуального изображения или, другими словами, размер картинки) и пропускание во всем диапазоне видимых волн (поглощение света в видимом диапазоне должно быть минимальным), а также насколько волновод 220 ровный - вариации толщины, шероховатость поверхности и т.д. Чем меньше величины характеризующие «не-идеальность» волновода, тем лучше. Масса других механических показателей, например, таких как твердость и т.д., не имеют значения для оптического функционирования, но могут иметь значение для конечного устройства.[0041]
[0042] Свет распространяется внутри волновода 220 путем отражения под углом, большим угла полного внутреннего отражения материала, из которого сделан волновод 220. Например, для волновода 220, сделанного из стекла с показателем преломления 1.5, диапазон углов падения на поверхность волновода 220 будет 42-90 градусов, причем угол отсчитывается от нормали к поверхности волновода 220.[0042] Light propagates within
[0043] Поверхности волновода 410 и 420, показанные на Фиг. 4, могут быть плоскими и параллельными друг другу или изогнуты оставаясь параллельными, что нужно для гибкости эргономики конечного устройства. Технически проще реализовать плоский волновод 220. На поверхности 410 и 420 может быть нанесено функциональное покрытие, например антиотражающее или покрытие, меняющее угол полного внутреннего отражения поверхности, для улучшения производительности и технических показателей устройства. Ниже рассматриваются два примера такого покрытия - антиотражающее покрытие и покрытие, изменяющее показатель преломления. Показатель преломления определяет рабочее поле виртуального изображения (размер картинки). Например, показатель преломления стекла имеет значение 1.5, тогда поле обзора 30 градусов по диагонали, показатель преломления 1.8 - поле обзора 50 градусов по диагонали. Соотношение сторон (формат изображения), например, принимает значение 16:9 в обоих случаях. Антиотражающее покрытие предотвращает блики (например, от солнца или фонарей). Еще пример - специальное покрытие, препятствующее выходу картинки изображения в направлении "от глаз пользователя". По умолчанию, выходной дифракционный элемент 230 выводит картинку в двух направлениях, а именно в направлениях к верхней и нижней поверхностям волновода 220. При этом изображение, выводимое в направлении "от глаз пользователя" видно окружающим, что является нежелательным. Картинка, выводимая "от глаз пользователя" не будет потеряна, а будет перенаправлена в глаза пользователя. Указанные функциональные покрытия могут быть нанесены как сверху уже созданной дифракционной структуры, так и под ней, или же нанесены на ту поверхность стекла, на которой дифракционная структура не создается.[0043] The surfaces of the
[0044] На Фиг. 5 показана группа дифракционных компонент 230, осуществляющих вывод лучей изображения в направлении глаз пользователя и распределение лучей изображения по всему объему волновода 220.[0044] FIG. 5 shows a group of
[0045] Элемент 230 состоит из оптической решетки 510 ромбического паркета или 520 искусственного графена (в том смысле, что данная оптическая решетка повторяет структуру кристаллической решетки графена и состоит из шестиугольных ячеек, как изображено на Фиг. 5). Шестиугольный вид обеих решеток влияет на оптический отклик решетки, а именно направление и интенсивность лучей после дифракции от решетки. Предложенные решетки имеют более равномерный отклик по сравнению с другими решетками, т.е. интенсивность дифрагированных лучей имеет более слабую зависимость от углов падения на решетку.[0045]
[0046] Дифракционные порядки оптической решетки 510 / 520 определяются ее волновыми векторами по формулам: KA=2π⋅(А×n/В⋅(А×n)); KB=2π⋅(В×n/А⋅(В×n));, где А и В - вектора решетки Браве ромбического паркета 510 / искусственного графена 520 a n-единичный вектор перпендикулярный к плоскости дифракционной решетки.[0046] The diffraction orders of the
[0047] Уникальная симметрия данных оптических решеток позволяет получить схожую эффективность дифракционных порядков для лучей изображения, падающих на оптическую решетку 510 / 520 под отличающимися углами. Для создания изображения проектор 240 создает пучок лучей изображения, имеющих набор углов по отношению к собственной оси проектора z1 (линия, проходящая через центр проектора 240, обычно перпендикулярна к поверхности волновода 220) в направлениях х и у (как показано на Фиг. 10). Проектор 240 может состоять из источника света, например светодиодов (LED) или лазерных диодов (SLED) или может быть лазерным, пиксельной матрицы LCOS или DMD формирующей изображение, оптических элементов, улучшающих и выводящих изображение. Таким образом колерованные лучи, созданные проектором 240, падают на поверхность входной решетки под набором углов Δх1 и Δу1 отсчитанных от оси z1, которые определяют рабочее поле виртуального изображения (размер изображения). В качестве примера реализации для формата 16:9 и диагонали 30 градусов: Δх1=±13, Δу1=±7. Пучок этих лучей вводится в волновод, и распространяется в волноводе под новым набором углов Δх2 и Δу2, однако теперь отсчитанных от оси z2 проходящей под углом Z0 к оси z1. Угол Z0 определяется по формуле как d*(sinO2 - sinZ0)=L/n2 где d=2π/kлуча, sinO2*n2=sinO1*n1, n2 - показатель преломления стекла, n1 - показатель преломления окружающей среды (воздуха), L - рабочая длина волны волновода 220, O1 - угол оси z1 по отношению к нормали поверхности волновода 220, как показано на Фиг. 10.[0047] The unique symmetry of these optical gratings allows for similar efficiency of diffraction orders for the image beams incident on the
[0048] Пучок лучей взаимодействует с выходной дифракционной решеткой 230. Так как лучи изображения падают на выходную решетку под набором Δх2 и Δу2, отсчитанных от оси z2, важно, чтобы интенсивность дифрагированных углов имела минимальную зависимость от углов падения Δх2 и Δу2. Этим обеспечивается максимальная равномерность изображения по цвету. Как описано выше, виртуальное изображение состоит из лучей, созданных проектором 240 и имеющих определенный разброс углов. При попадании в волновод 220 этот набор углов преобразуется как описано выше. Далее все эти лучи взаимодействуют с выходной дифракционной решеткой 230. Зададим функцию эффективности этого взаимодействия как F (Δх2, Δу2). Далее F (Δх2, Δу2)=С, где С - фиксированная величина, не зависящая от Δх2, Δу2. В этом случае цветовой баланс изображения не искажается. В конкретном примере реализации С не является константой, но ее зависимость от Δх2, Δу2 минимизирована.[0048] The beam of rays interacts with the
[0049] Векторы А и В, а также оптическая ось элемента 230 заданы таким образом, что: KA+KB=-k1B=-kлуча. При взаимодействии с оптической решеткой 510 или 520 луч изображения: (i) испытывает дифракцию в направлении глаза пользователя под углом, меньшим угла полного внутреннего отражения волновода 220, таким образом осуществляется вывод изображения из волновода 220 (ii) испытывает дифракцию в других направлениях определяемых векторами KA и KB углом, большим угла полного внутреннего отражения волновода 220, таким образом распространяясь по объему волновода 220.[0049] The vectors A and B and the optical axis of the
[0050] Это необходимо для осуществления размножения «пятна изображения» (изначально созданного проектором 240). Это стандартная схема работы подобных устройств, известная из уровня техники (в том смысле, что пятно должно быть размножено по объему волновода 220, технически это может быть реализовано по-разному). Конкретный луч изображения, созданный проектором 240 «расщепляется» на N лучей при каждом из взаимодействий с дифракционной решеткой. Таким образом, если рассмотреть всю совокупность лучей изображения в «пятне изображения», получается, что создаются копии «пятна изображения», убегающие в стороны от направления распространения основного «пятна изображения», направления разбегания определяются векторами KA и KB. Размножение «пятна изображения» (источника изображения) по объему волновода 220 необходимо, чтобы пользователь видел виртуальную картинку независимо от того, в каком положении по отношению к волноводу 220, а значит линзе очков или экрану, находятся его глаза. Т.е. это нужно, чтобы в поле зрения всегда находилось хотя бы одно «пятно изображения» являющееся источником одного из углов изображения в диапазоне Δх1, Δу1.[0050] This is necessary for the propagation of the "image spot" (originally created by the projector 240). This is a standard scheme for the operation of such devices, known from the prior art (in the sense that the spot must be multiplied over the volume of the
[0051] Оптическая решетка 510 или 520 может быть сплошными линиями. Возможен вариант, когда линии оптической решетки 510 или 520 разбиваются на отдельные элементы определенной формы (например, цилиндрической, кубической и т.д., однако могут быть использованы элементы разной формы и размеров), становясь прерывными, что позволяет управлять эффективностью дифракционных порядков. Разная форма позволяет управлять интенсивностью дифракционных порядков, что позволяет контролировать однородность картинки изображения по цвету. Разные формы дают разную степень контроля, при это они могут быть более просты или сложны в фабрикации. Элементы могут быть многоуровневыми или наклонными, например, пирамида со ступенями или наклонными сторонами. В частности, возможен вариант, когда оптическая решетка 520 сформирована элементами, находящимися в узлах решетки искусственного графена, полностью повторяя кристаллическую структуру графена.[0051] Optical grating 510 or 520 can be solid lines. A variant is possible when the lines of the
[0052] Элемент 230 может быть разбит на неограниченное количество зон произвольной формы и размера. При этом каждая из зон содержит одну из решеток 510/520.[0052]
[0053] Элемент 230 может быть создан на одной или обоих поверхностях волновода 220 или в его объеме как описано выше.[0053]
[0054] На Фиг. 6 показана группа дифракционных компонент 230, осуществляющих вывод лучей изображения в направлении глаз пользователя и распределение лучей изображения по всему объему волновода 220. Оптическая решетка 510 / 520 может быть деформирована нижеописанными способами, что позволяет управлять направлениями и эффективностью дифракционных порядков. При деформации должны сохраняться указанные выше параметры. Угол α может быть изменен в пределах [60°;300°] при фиксированном угле β. При этом узлы Х1 и Х2 смещаются симметрично по отношению к линии, изображенной красным пунктиром в противоположных направлениях изменяя длину L. Угол β определяющий изображенную ячейку периодической структуры 510 / 520 может быть изменен в пределах [0°, 90°]. При этом угол α изменяется в соответствии с деформацией единичной ячейки. Также возможна комбинированная деформация. После изменения угла β на новое значение β0 и соответствующем изменении угла α, угол α может быть дополнительно изменен в новых пределах [β0, 360°-β0].[0054] FIG. 6 shows a group of
[0055]Как будет понятно специалисту в данной области техники, аспекты настоящего технического решения могут быть выполнены в виде устройства. Соответственно, различные аспекты настоящего технического решения могут быть реализованы исключительно как аппаратное обеспечение, а некоторые как программное обеспечение (включая прикладное программное обеспечение и так далее) или как вариант осуществления, сочетающий в себе программные и аппаратные аспекты, которые в общем случае могут упоминаться как «модуль», «система» или «архитектура». Кроме того, аспекты настоящего технического решения могут принимать форму компьютерного программного продукта, реализованного на одном или нескольких машиночитаемых носителях, имеющих машиночитаемый программный код, который на них реализован.[0055] As will be understood by one skilled in the art, aspects of the present technical solution may be embodied in a device. Accordingly, various aspects of the present technical solution may be implemented solely as hardware, and some as software (including application software, and so on) or as an embodiment combining software and hardware aspects, which may generally be referred to as " module "," system "or" architecture ". In addition, aspects of the present technical solution may take the form of a computer program product implemented on one or more computer-readable media having computer-readable program code that is implemented thereon.
Claims (23)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2020122777A RU2747680C1 (en) | 2020-07-09 | 2020-07-09 | Augmented and combined reality device |
PCT/RU2020/000377 WO2022010375A1 (en) | 2020-07-09 | 2020-07-23 | Augmented and mixed reality device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2020122777A RU2747680C1 (en) | 2020-07-09 | 2020-07-09 | Augmented and combined reality device |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2747680C1 true RU2747680C1 (en) | 2021-05-12 |
Family
ID=75919874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2020122777A RU2747680C1 (en) | 2020-07-09 | 2020-07-09 | Augmented and combined reality device |
Country Status (2)
Country | Link |
---|---|
RU (1) | RU2747680C1 (en) |
WO (1) | WO2022010375A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100321781A1 (en) * | 2006-12-28 | 2010-12-23 | Nokia Corporation | Device for expanding an exit pupil in two dimensions |
US20140140653A1 (en) * | 2012-11-16 | 2014-05-22 | Rockwell Collins, Inc. | Transparent waveguide display |
US20170034435A1 (en) * | 2015-07-30 | 2017-02-02 | Tuomas Vallius | Diffractive optical element using crossed grating for pupil expansion |
CN106680910A (en) * | 2016-12-20 | 2017-05-17 | 哈尔滨工程大学 | Graphene surface achromatic Airy light beam generator excited by Array grating |
RU2719568C1 (en) * | 2019-07-12 | 2020-04-21 | Самсунг Электроникс Ко., Лтд. | Augmented reality device and method of its operation |
-
2020
- 2020-07-09 RU RU2020122777A patent/RU2747680C1/en active
- 2020-07-23 WO PCT/RU2020/000377 patent/WO2022010375A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100321781A1 (en) * | 2006-12-28 | 2010-12-23 | Nokia Corporation | Device for expanding an exit pupil in two dimensions |
US20140140653A1 (en) * | 2012-11-16 | 2014-05-22 | Rockwell Collins, Inc. | Transparent waveguide display |
US20170034435A1 (en) * | 2015-07-30 | 2017-02-02 | Tuomas Vallius | Diffractive optical element using crossed grating for pupil expansion |
CN106680910A (en) * | 2016-12-20 | 2017-05-17 | 哈尔滨工程大学 | Graphene surface achromatic Airy light beam generator excited by Array grating |
RU2719568C1 (en) * | 2019-07-12 | 2020-04-21 | Самсунг Электроникс Ко., Лтд. | Augmented reality device and method of its operation |
Also Published As
Publication number | Publication date |
---|---|
WO2022010375A1 (en) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102493252B1 (en) | waveguide structure | |
JP7247437B2 (en) | Diffractive element with double periodic grating | |
CN112088141B (en) | Diffraction grating for beam redirection | |
US10802212B2 (en) | Angular subpixel rendering multiview display using shifted multibeam elements | |
CN109073884B (en) | Waveguide exit pupil expander with improved intensity distribution | |
US10866419B2 (en) | Optical combiner and applications thereof | |
CN112867956B (en) | Waveguide including volume Bragg grating | |
KR102266550B1 (en) | Systems for Imaging in Air | |
JP2020515884A (en) | Waveguides for augmented reality or virtual reality displays | |
WO2010131440A1 (en) | Sheet and light-emitting device | |
WO2021218453A1 (en) | Lens unit and ar device comprising same | |
JP2020514791A (en) | Multi-view display with reflective support structure | |
JP2022553595A (en) | Display waveguides with high refractive index sections | |
US20230341597A1 (en) | Eyepieces for augmented reality display system | |
WO2021169383A1 (en) | Apparatus for displaying augmented reality image, and system comprising apparatus | |
CN108828780A (en) | A kind of nearly eye display Optical devices based on holographic grating | |
RU2747680C1 (en) | Augmented and combined reality device | |
CA2910498C (en) | Field inversion waveguide using micro-prism array | |
CN208705580U (en) | A kind of nearly eye display Optical devices based on holographic grating | |
RU2763122C1 (en) | Augmented and combined reality screen | |
WO2021218454A1 (en) | Lens unit and ar device comprising same | |
CN116547575A (en) | Eyepiece for augmented reality display system |