RU2766107C1

RU2766107C1 - Sensor and method for tracking the position of eyes

Info

Publication number: RU2766107C1
Application number: RU2020133060A
Authority: RU
Inventors: Александр Евгеньевич Ангервакс; Николай Викторович Муравьев; Владимир Николаевич Борисов; Роман Александрович ОКУНЬ; Гаврил Николаевич Востриков; Михаил Вячеславович Попов
Original assignee: Самсунг Электроникс Ко., Лтд.
Priority date: 2020-10-07
Filing date: 2020-10-07
Publication date: 2022-02-07
Also published as: KR20220046494A

Abstract

FIELD: optics.

SUBSTANCE: invention relates to the field of optics and pertains to a method for tracking the position of the eyes of the user. The method comprises stages of forming structured illumination on the surface of the eye in the area of the cornea by means of a source of collimated optical emission, the emission reflected from the surface of the eye is collected and multiplied by means of a waveguide and transmitted by means of a waveguide to a detector. An image is formed by means of the detector, whereon the elements of the structured illumination that were reflected from the cornea of the eye and reached the entrance pupil of the detector through the waveguide are displayed. The image formed by the detector is analysed, and the position of the eye of the useris calculated by means of a controller.

EFFECT: increase in the reliability and reduction in the size of the sensor while ensuring safety and absence of interference in the vision of the user.

11 cl, 9 dwg

Description

Область техники, к которой относится изобретениеThe technical field to which the invention belongs

Настоящее изобретение относится к области отслеживания положения глаз пользователя, и более конкретно к средствам бесконтактного отслеживания положения глаз пользователя. Изобретение может применяться, в частности, в устройствах дополненной реальности или виртуальной реальности (AR/VR), периферийных устройствах отслеживания положения глаз пользователя для персональных компьютеров, нашлемных системах целеуказания, в медицинском оборудовании и т.п.The present invention relates to the field of tracking the position of the user's eyes, and more specifically to means for non-contact tracking the position of the user's eyes. The invention can be applied, in particular, in augmented reality or virtual reality (AR/VR) devices, user eye tracking peripherals for personal computers, helmet-mounted targeting systems, medical equipment, and the like.

Уровень техникиState of the art

Во многих разрабатываемых в настоящее время устройствах дополненной реальности или виртуальной реальности (AR/VR) необходима информация о направлении взгляда пользователя. Эта информация используется для построения пользовательских интерфейсов, оптимизации проработки представляемого пользователю изображения (называемого в англоязычной литературе foveated rendering), определения расстояния до области внимания пользователя и для решения других задач. Эту информацию формируют датчики отслеживания положения глаз пользователя (называемые в англоязычной литературе eye-tracking sensors).Many augmented reality or virtual reality (AR/VR) devices currently under development require information about the direction of the user's gaze. This information is used to build user interfaces, optimize the processing of the image presented to the user (called foveated rendering in the English literature), determine the distance to the user's attention area, and to solve other problems. This information is generated by the user's eye tracking sensors (called eye-tracking sensors in the English literature).

Во многих известных датчиках отслеживания глаз пользователя, используемых в настоящее время, для регистрации положения глаза используются камеры. Камера формирует изображение глаза, затем это изображение обрабатывается для определения положения центра зрачка глаза. Однако такой датчик в носимом устройстве необходимо размещать в поле зрения пользователя для обеспечения наблюдения глаза пользователя, такой датчик плохо защищен от внешней засветки и требует большого объема вычислений. Таким образом, подобные решения малопригодны для использования в системах AR/VR и других носимых устройствах.Many known user eye tracking sensors currently in use use cameras to record the position of the eye. The camera forms an image of the eye, then this image is processed to determine the position of the center of the pupil of the eye. However, such a sensor in a wearable device must be placed in the field of view of the user to ensure observation of the user's eye, such a sensor is poorly protected from external illumination and requires a large amount of computing. Thus, such solutions are of little use for AR/VR systems and other wearable devices.

В настоящее время разрабатывается новое поколение датчиков отслеживания положения глаз на основе волноводной оптики. Такие датчики являются компактными и обладают минимальным энергопотреблением, при этом они могут быть с легкостью установлены в существующих или разрабатываемых в настоящее время устройствах AR/VR и других подобных устройствах.A new generation of eye tracking sensors based on waveguide optics is currently being developed. Such sensors are compact and have minimal power consumption, while they can be easily installed in existing or currently developed AR / VR devices and other similar devices.

Среди требований, предъявляемых к датчикам отслеживания положения глаз пользователя, подходящих для применения в устройствах AR/VR, и в других подобных устройствах, следует отметить, в первую очередь, компактность, малый вес и низкое энергопотребление, простоту встраивания в устройства, содержащие волноводы, безопасность глаз пользователя и высокую надежность.Among the requirements for sensors for tracking the position of the user's eyes, suitable for use in AR / VR devices, and in other similar devices, it should be noted, first of all, compactness, low weight and low power consumption, ease of embedding in devices containing waveguides, safety user's eye and high reliability.

Таким образом, существует потребность в средствах отслеживания положения глаз пользователя, обладающих надежностью, малыми габаритами, низким энергопотреблением и стоимостью, а также безопасностью и отсутствием помех для зрения пользователя.Thus, there is a need for a user's eye tracker that is reliable, small in size, low in power consumption and cost, as well as safe and does not interfere with the user's vision.

Известные из уровня техники решения, направленные на отслеживание положения глаз пользователя, состоят в следующем.The prior art solutions aimed at tracking the position of the user's eyes are as follows.

Известно решение, раскрытое в источнике US 10213105 (Adhawk Microsystems Inc., опубликовано 26.02.2019), в котором раскрыт способ и датчик отслеживания положения глаза, включающий в себя сканнер для сканирования поверхности глаза первым оптическим сигналом, детектор для обнаружения второго оптического сигнала, отраженного от глаза, схему обработки сигнала детектора, вычислитель. При работе сканнер сканирует поверхность глаза первым оптическим сигналом, а вычислитель определяет амплитуду и время максимумов сигнала детектора. Время между максимумами сигнала детектора относительно сигнала управления сканером и амплитуды этих максимумов указывают на положение роговой оболочки глаза. К недостаткам данного известного решения можно отнести низкую надежность вследствие использования микроэлектромеханического (MEMS) сканера с механическим движением зеркала, а также низкую защищенность системы от изменений внешнего освещения ввиду необходимости обработки амплитуды сигнала.A known solution is disclosed in the source US 10213105 (Adhawk Microsystems Inc., published on February 26, 2019), which discloses a method and a sensor for tracking the position of the eye, including a scanner for scanning the surface of the eye with the first optical signal, a detector for detecting the second optical signal reflected from the eye, the signal processing circuit of the detector, the calculator. During operation, the scanner scans the surface of the eye with the first optical signal, and the calculator determines the amplitude and time of the detector signal maxima. The time between the detector signal maxima relative to the scanner control signal and the amplitudes of these maxima indicate the position of the cornea. The disadvantages of this well-known solution include low reliability due to the use of a microelectromechanical (MEMS) scanner with a mechanical movement of the mirror, as well as low security of the system from changes in ambient light due to the need to process the signal amplitude.

В источнике US 9804389 (Digilens Inc., опубликовано 31.10.2017) раскрыт датчик отслеживания положения глаз, имеющий волновод для распространения подсвечивающего глаз оптического излучения и распространения оптического излучения, отраженного от по меньшей мере одной поверхности глаза, источник оптического излучения, оптически соединенный с волноводом, и детектор, оптически соединенный с волноводом. В волноводе размещена по меньшей мере одна прослойка в виде переключаемой оптической решетки для отклонения подсвечивающего глаз оптического излучения по первому волноводному каналу и отклонения отраженного от глаза оптического излучения в направлении детектора по второму волноводному каналу. К недостаткам данного известного решения можно отнести низкую надежность вследствие использования структуры переключаемой оптической решетки, такой как переключаемая Брэгговская решетка, а также низкую эффективность ввиду использования волновода с оптическими решетками для направления оптического излучения из источника к глазу и направления оптического излучения от глаза к детектору. Кроме того, ввиду сложности структуры, включающей в себя переключаемую Брэгговскую решетку, используемый в известном решении волновод является весьма дорогостоящим.US 9804389 (Digilens Inc., published 10/31/2017) discloses an eye position tracking sensor having a waveguide for propagating optical radiation illuminating the eyes and propagating optical radiation reflected from at least one surface of the eye, an optical radiation source optically connected to the waveguide , and a detector optically coupled to the waveguide. At least one interlayer in the form of a switchable optical grating is placed in the waveguide for deflecting the optical radiation illuminating the eye along the first waveguide channel and deflecting the optical radiation reflected from the eye in the direction of the detector along the second waveguide channel. The disadvantages of this known solution include low reliability due to the use of a switchable optical grating structure, such as a switchable Bragg grating, as well as low efficiency due to the use of a waveguide with optical gratings to direct optical radiation from the source to the eye and direct optical radiation from the eye to the detector. In addition, due to the complexity of the structure including the switchable Bragg grating, the waveguide used in the known solution is very expensive.

В источнике US 10168531 (Facebook Technologies, LLC, опубликовано 01.01.2019) раскрыт способ и датчик отслеживания положения глаза. Датчик включает в себя по меньшей мере один волновод с массивом структур оптических решеток, массив источников оптического излучения, детектор и контроллер. Контроллер приводит в действие по меньшей мере один источник оптического излучения в каждый момент времени для испускания по меньшей мере одного пучка светового излучения, который распространяется через по меньшей мере один волновод и выводится через массив структур оптических решеток в направлении глаза пользователя. Сигналы оптического излучения, отражаемые от глаза пользователя и поверхности кожи, вводятся в упомянутый по меньшей мере один волновод и распространяются в направлении детектора, который преобразует полученные сигналы оптического излучения в электрический сигнал. Контроллер вычисляет параметры полученного электрического сигнала для формирования сигнатуры преобразованных сигналов оптического излучения, и определяет положение и ориентацию глаза пользователя на основании сигнатуры преобразованных сигналов оптического излучения. К недостаткам данного известного решения следует отнести низкую разрешающую способность ввиду ограничений по размещению массива дискретных структур оптических решеток в волноводе с определенными размерами, а также низкую защищенность системы от изменений внешнего освещения ввиду необходимости обработки амплитуды сигнала.US 10168531 (Facebook Technologies, LLC, published 01/01/2019) discloses an eye tracking method and sensor. The sensor includes at least one waveguide with an array of optical grating structures, an array of optical radiation sources, a detector, and a controller. The controller activates at least one optical source at each time to emit at least one beam of light that propagates through at least one waveguide and is output through the array of optical grating structures towards the user's eye. Optical radiation signals reflected from the user's eye and skin surface are introduced into said at least one waveguide and propagate towards the detector, which converts the received optical radiation signals into an electrical signal. The controller calculates the parameters of the received electrical signal to form the signature of the converted optical radiation signals, and determines the position and orientation of the user's eye based on the signature of the converted optical radiation signals. The disadvantages of this well-known solution include low resolution due to restrictions on the placement of an array of discrete structures of optical gratings in a waveguide with certain dimensions, as well as low security of the system from changes in external illumination due to the need to process the signal amplitude.

В источнике WO 2015099924 (Microsoft Technology Licensing LLC, опубликовано 02.07.2015) раскрыт способ и датчик отслеживания положения глаза, который включает в себя волновод, источник излучения и детектор. Волновод, в свою очередь, включает в себя вводной дифракционный оптический элемент (ДОЭ) и выводной ДОЭ. Вводной ДОЭ содержит множество изогнутых линий оптической решетки с шагом, изменяющимся в радиальном направлении. При размещении перед глазом, подсвечиваемым инфракрасным излучением, пучки инфракрасного излучения, отражающиеся от глаза и попадающие на вводной ДОЭ, вводятся в волновод, распространяются по волноводу посредством полного внутреннего отражения и выходят из волновода через выводной ДОЭ. Изменяющийся в радиальном направлении шаг изогнутых линий оптической решетки вводного ДОЭ обеспечивает кодирование положения точки падения излучения на вводной ДОЭ в угол и направление распространения излучения внутри волновода. Излучение выходит из волновода через выводной ДОЭ под различными углами относительно поверхности волновода, соответствующими положению глаза. К недостаткам данного известного решения можно отнести низкую эффективность ввиду использования вводного ДОЭ с узким диапазоном угловой селективности. Известное решение обладает различными характеристиками чувствительности и точности определения положения глаза пользователя для радиальной и угловой компонент положения глаза, а также имеет сложную конструкцию вводного ДОЭ концентрической структуры с переменным шагом.WO 2015099924 (Microsoft Technology Licensing LLC, published 07/02/2015) discloses a method and an eye position tracking sensor, which includes a waveguide, a radiation source and a detector. The waveguide, in turn, includes an input diffractive optical element (DOE) and an output DOE. The introductory DOE contains a plurality of curved optical grating lines with a pitch that varies in the radial direction. When placed in front of the eye illuminated by infrared radiation, the infrared radiation beams reflected from the eye and falling on the input DOE are introduced into the waveguide, propagate along the waveguide through total internal reflection, and exit the waveguide through the output DOE. The step of the curved lines of the optical grating of the input DOE, which changes in the radial direction, encodes the position of the point of incidence of radiation on the input DOE into the angle and direction of radiation propagation inside the waveguide. The radiation leaves the waveguide through the output DOE at different angles relative to the waveguide surface, corresponding to the position of the eye. The disadvantages of this known solution include low efficiency due to the use of an introductory DOE with a narrow range of angular selectivity. The known solution has different characteristics of sensitivity and accuracy of determining the position of the user's eye for the radial and angular components of the eye position, and also has a complex design of the input DOE of a concentric structure with variable pitch.

В источнике US 8955973 (Google Inc., опубликовано 17.02.2015) описаны способ и датчик отслеживания положения глаза. В частности, раскрытый способ включает в себя этапы, на которых осуществляют проецирование на глаз пользователя структурированной подсветки, причем структурированная подсветка содержит по меньшей мере одну линию. Затем формируют изображение глаза на котором фиксируют деформацию по меньшей мере одной линии упомянутой подсветки (оптическое излучение подсветки рассеивается на поверхности глаза пользователя). Далее в известном способе коррелируют полученные данные о деформации структурированной подсветки на изображении глаза с положением глаза. К недостаткам данного известного решения можно отнести то, что в известном способе используется оптическое излучение, которое диффузно рассеивается на поверхности глаза. При этом большая часть оптического излучения, падающего на поверхность глаза, преломляется на роговице и рассеивается на радужной оболочке. Таким образом, в известном способе требуется источник оптического излучения с высокой яркостью. Кроме того, размещение камеры перед глазом пользователя причиняет пользователю неудобства.US Pat. No. 8,955,973 (Google Inc., published Feb. 17, 2015) describes an eye tracking method and sensor. In particular, the disclosed method includes the steps of projecting a structured illumination onto a user's eye, the structured illumination comprising at least one line. Then an image of the eye is formed on which the deformation of at least one line of said illumination is fixed (the optical radiation of the illumination is scattered on the surface of the user's eye). Further, in a known method, the obtained data on the deformation of the structured illumination in the eye image are correlated with the position of the eye. The disadvantages of this known solution include the fact that the known method uses optical radiation, which is diffusely scattered on the surface of the eye. In this case, most of the optical radiation incident on the surface of the eye is refracted at the cornea and scattered at the iris. Thus, in the known method, an optical radiation source with high brightness is required. In addition, placing the camera in front of the user's eye causes inconvenience to the user.

В источнике US 7809160 (Queen's University at Kingston, опубликовано 05.10.2010) раскрыты способ и датчик отслеживания направления взгляда человека или животного, не требующие калибровки, конкретных измерений геометрических параметров глаза. В одном из вариантов выполнения используется камера для получения видеоизображений глаза (глаз) субъекта и при необходимости размещенный по оси источник подсветки, а также поверхность, объект или визуальная сцена с встроенными подсвечивающими маркерами, размещенными вне оси. Упомянутые маркеры отражаются на поверхности роговой оболочки глаз пользователя в виде бликов. Эти блики указывают на расстояние между точкой, в которую направлен взгляд, на упомянутой поверхности, объекте или визуальной сцене, и соответствующим маркером на упомянутой поверхности, объекте или визуальной сцене. К недостаткам данного известного решения можно отнести большие габариты устройства с множеством размещенных вне оси подсвечивающих маркеров и камерой, сложный процесс вычисления параметров, характеризующих направление взгляда, и низкую точность получаемого результата, а также размещение камеры перед глазом пользователя, что причиняет пользователю неудобства.US Pat. No. 7,809,160 (Queen's University at Kingston, published Oct. 5, 2010) discloses a method and sensor for tracking the gaze direction of a person or animal that does not require calibration, specific measurements of the geometric parameters of the eye. In one embodiment, a camera is used to obtain video images of the subject's eye(s) and, if necessary, an on-axis illumination source, as well as a surface, object, or visual scene with built-in off-axis illumination markers. Said markers are reflected on the surface of the cornea of the user's eyes in the form of highlights. These highlights indicate the distance between a point of view on said surface, object, or visual scene and a corresponding marker on said surface, object, or visual scene. The disadvantages of this well-known solution include the large dimensions of the device with a plurality of illuminating markers and a camera placed off-axis, the complex process of calculating parameters characterizing the direction of view, and the low accuracy of the result, as well as placing the camera in front of the user's eye, which causes inconvenience to the user.

Охарактеризованное выше известное решение, раскрытое в источнике US 8955973, может быть принято в качестве ближайшего аналога (прототипа) заявляемого изобретения.The well-known solution described above, disclosed in US 8955973, can be taken as the closest analogue (prototype) of the claimed invention.

Раскрытие изобретенияDisclosure of invention

Данный раздел, раскрывающий различные аспекты и варианты выполнения заявляемого изобретения, предназначен для представления краткой характеристики заявляемых объектов изобретения и вариантов его выполнения. Подробная характеристика технических средств и методов, реализующих сочетания признаков заявляемых изобретений, приведена ниже. Ни данное раскрытие изобретения, ни нижеприведенное подробное описание и сопровождающие чертежи не следует рассматривать как определяющие объем заявляемого изобретения. Объем правовой охраны заявляемого изобретения определяется исключительно прилагаемой формулой изобретения.This section, which discloses various aspects and embodiments of the claimed invention, is intended to provide a brief description of the claimed objects of the invention and embodiments. A detailed description of technical means and methods that implement combinations of features of the claimed inventions is given below. Neither this disclosure nor the following detailed description and accompanying drawings should be construed as defining the scope of the claimed invention. The scope of legal protection of the claimed invention is determined solely by the attached claims.

С учетом вышеуказанных недостатков уровня техники задача настоящего изобретения состоит в создании устройства (датчика) и способа отслеживания положения глаза пользователя, в которых исключались бы вышеуказанные недостатки известных решений из уровня техники.Taking into account the above disadvantages of the prior art, the object of the present invention is to provide a device (sensor) and a method for tracking the position of the user's eye, which would eliminate the above disadvantages of the known solutions from the prior art.

Технический результат, достигаемый при использовании настоящего изобретения, состоит в повышении надежности и уменьшении размеров датчика при обеспечении безопасности и отсутствии помех для зрения пользователя.The technical result achieved by using the present invention is to increase the reliability and reduce the size of the sensor while ensuring safety and no interference with the user's vision.

Для решения вышеуказанной задачи, согласно первому аспекту изобретения предложен Способ отслеживания положения глаза пользователя, содержащий этапы, на которых: формируют структурированную подсветку на поверхности глаза пользователя в области роговой оболочки посредством по меньшей мере одного источника коллимированного оптического излучения; собирают по меньшей мере часть оптического излучения, отраженного от поверхности глаза пользователя, посредством волновода, и передают собранное оптическое излучение на детектор посредством упомянутого волновода; формируют изображение, на котором отображаются элементы структурированной подсветки, отраженные от роговой оболочки глаза и дошедшие до входного зрачка детектора через волновод, посредством детектора; и анализируют сформированное детектором изображение и вычисляют положение глаза пользователя посредством контроллера.To solve the above problem, according to the first aspect of the invention, a method for tracking the position of the user's eye is provided, comprising the steps of: forming a structured illumination on the surface of the user's eye in the cornea region by means of at least one source of collimated optical radiation; collecting at least a portion of the optical radiation reflected from the user's eye surface via a waveguide, and transmitting the collected optical radiation to a detector via said waveguide; an image is formed on which the elements of structured illumination are displayed, reflected from the cornea of the eye and reached the entrance pupil of the detector through the waveguide, by means of the detector; and analyzing the image generated by the detector and calculating the position of the user's eye by the controller.

По меньшей мере в одном варианте выполнения, структурированная подсветка формируется посредством по меньшей мере одного источника коллимированного излучения, работающего в ближнем инфракрасном (NIR) диапазоне. Структурированная подсветка может формироваться в виде одной линии или набора параллельных линий. В другом варианте выполнения, структурированная подсветка формируется посредством по меньшей мере одного лазерного диода.In at least one embodiment, the patterned illumination is generated by at least one collimated radiation source operating in the near infrared (NIR) range. Structured illumination can be formed as a single line or a set of parallel lines. In another embodiment, the structured illumination is formed by at least one laser diode.

Этап сбора оптического излучения и передачи собранного оптического излучения на детектор может содержать этапы, на которых: вводят по меньшей мере часть оптического излучения, отраженного от поверхности глаза пользователя, в волновод посредством дифракционного оптического элемента (ДОЭ); и выводят из волновода часть оптического излучения, введенного в волновод, посредством ДОЭ. Способ может дополнительно содержать этап, на котором с помощью дополнительного ДОЭ внутри волновода размножают оптическое излучение, собранное посредством волновода.The step of collecting optical radiation and transmitting the collected optical radiation to the detector may comprise the steps of: introducing at least a portion of the optical radiation reflected from the surface of the user's eye into the waveguide by means of a diffractive optical element (DOE); and a part of the optical radiation introduced into the waveguide is removed from the waveguide by means of the DOE. The method may further comprise the step of multiplying the optical radiation collected by the waveguide using an additional DOE inside the waveguide.

Согласно второму аспекту настоящего изобретения, предложен датчик для отслеживания положения глаза пользователя, содержащий: по меньшей мере один источник коллимированного оптического излучения, выполненный с возможностью формирования структурированной подсветки на поверхности глаза пользователя по существу в области роговой оболочки; волновод, выполненный с возможностью сбора по меньшей мере части оптического излучения, отраженного от поверхности глаза пользователя, и передачи собранного оптического излучения на детектор; детектор, выполненный с возможностью формирования изображения, на котором отображается оптическое излучение, собранное посредством волновода; и контроллер, выполненный с возможностью анализа изображения, полученного на детекторе, и вычисления положения глаза пользователя.According to a second aspect of the present invention, there is provided a sensor for tracking the position of a user's eye, comprising: at least one source of collimated optical radiation, configured to form a structured illumination on the surface of the user's eye essentially in the cornea; a waveguide configured to collect at least a portion of the optical radiation reflected from the surface of the user's eye and transmit the collected optical radiation to the detector; a detector configured to form an image on which the optical radiation collected by the waveguide is displayed; and a controller configured to analyze the image received at the detector and calculate the position of the user's eye.

По меньшей мере в одном варианте выполнения, по меньшей мере один источник коллимированного оптического излучения выполнен с возможностью испускания оптического излучения в ближнем инфракрасном (NIR) диапазоне. Структурированная подсветка может формироваться в виде одной линии или набора параллельных линий. В другом варианте выполнения, по меньшей мере один источник коллимированного оптического излучения выполнен в виде лазерного диода. По меньшей мере в одном варианте выполнения, волновод дополнительно содержит по меньшей мере один ДОЭ, выполненный с возможностью ввода оптического излучения, отраженного от поверхности глаза пользователя, в волновод, и/или выполненный с возможностью вывода оптического излучения, собранного посредством волновода, на детектор. По меньшей мере один дополнительный ДОЭ может быть выполнен с возможностью размножения внутри волновода оптического излучения, собранного посредством волновода.In at least one embodiment, at least one source of collimated optical radiation is configured to emit optical radiation in the near infrared (NIR) range. Structured illumination can be formed as a single line or a set of parallel lines. In another embodiment, at least one source of collimated optical radiation is made in the form of a laser diode. In at least one embodiment, the waveguide further comprises at least one DOE configured to input optical radiation reflected from the user's eye surface into the waveguide and/or configured to output optical radiation collected by the waveguide to a detector. At least one additional DOE can be made with the possibility of reproduction inside the waveguide of the optical radiation collected by the waveguide.

В третьем аспекте изобретение относится к устройству формирования изображения для системы дополненной реальности (AR) или системы виртуальной реальности (VR), содержащему по меньшей мере один датчик отслеживания положения глаза пользователя по вышеуказанному второму аспекту настоящего изобретения.In a third aspect, the invention relates to an imaging apparatus for an augmented reality (AR) system or a virtual reality (VR) system, comprising at least one user's eye position tracking sensor according to the above second aspect of the present invention.

Специалистам в данной области техники будет очевидно, что помимо вышеперечисленных объектов изобретения изобретательский замысел, лежащий в основе настоящего изобретения, может быть реализован в форме других объектов изобретения, таких как устройство дополненной реальности (AR) или виртуальной реальности (VR), способ работы такого устройства, периферийное устройство отслеживания положения глаз пользователя для персонального компьютера, нашлемная система целеуказания и тому подобное.It will be apparent to those skilled in the art that in addition to the above objects of the invention, the inventive concept underlying the present invention can be implemented in the form of other objects of the invention, such as an augmented reality (AR) or virtual reality (VR) device, the method of operation of such a device , a peripheral device for tracking the position of the user's eyes for a personal computer, a helmet-mounted target designation system, and the like.

Краткое описание чертежейBrief description of the drawings

Чертежи приведены в настоящем документе для облегчения понимания сущности настоящего изобретения. Чертежи являются схематичными и выполнены не в масштабе. Чертежи служат исключительно в качестве иллюстрации и не предназначены для определения объема настоящего изобретения. На всех чертежах одинаковые или аналогичные ссылочные позиции используются для обозначения одинаковых или аналогичных элементов.The drawings are given in this document to facilitate understanding of the essence of the present invention. The drawings are schematic and not to scale. The drawings are for illustrative purposes only and are not intended to define the scope of the present invention. Throughout the drawings, the same or similar reference numerals are used to refer to the same or similar elements.

На Фиг. 1 показана схема, иллюстрирующая принцип работы датчика согласно изобретению;On FIG. 1 is a diagram illustrating the principle of operation of a sensor according to the invention;

На Фиг. 2 представлена более подробная схема, иллюстрирующая формирование структурированной подсветки глаза источником коллимированного излучения, траекторию оптического излучения, отраженного от роговой оболочки глаза, и его распространение по волноводу;On FIG. 2 is a more detailed diagram illustrating the formation of a structured illumination of the eye by a source of collimated radiation, the trajectory of optical radiation reflected from the cornea of the eye, and its propagation along the waveguide;

На Фиг. 3 проиллюстрирован вариант выполнения изобретения с использованием более одного источника коллимированного оптического излучения;On FIG. 3 illustrates an embodiment of the invention using more than one source of collimated optical radiation;

На Фиг. 4 схематично представлен волновод с вводным и выводным дифракционными оптическими элементами (ДОЭ);On FIG. 4 is a schematic representation of a waveguide with input and output diffractive optical elements (DOE);

На Фиг. 5 проиллюстрирован вариант встраивания датчика согласно изобретению в примерное устройство формирования изображения в системе дополненной реальности (AR);On FIG. 5 illustrates an embodiment of a sensor according to the invention in an exemplary augmented reality (AR) imaging device;

На Фиг. 6 проиллюстрирован примерный вариант встраивания компонентов датчика согласно изобретению в конструкцию носимого устройства AR;On FIG. 6 illustrates an exemplary embodiment of incorporating the sensor components of the invention into an AR wearable device;

На Фиг. 7 приведена блок-схема способа отслеживания положения глаза пользователя согласно изобретению;On FIG. 7 is a flow chart of a method for tracking the position of a user's eye according to the invention;

На Фиг. 8 схематично проиллюстрирован способ определения положения глаза пользователя согласно изобретению, положение глаза пользователя, компоненты датчика, реализующего способ согласно изобретению, и направление падения оптического излучения, формирующего структурированную подсветку глаза пользователя, отраженного излучения от роговой оболочки глаза, а также оптического излучения, распространяющегося в волноводе;On FIG. 8 schematically illustrates the method for determining the position of the user's eye according to the invention, the position of the user's eye, the components of the sensor implementing the method according to the invention, and the direction of incidence of optical radiation that forms a structured illumination of the user's eye, reflected radiation from the cornea of the eye, as well as optical radiation propagating in the waveguide ;

На Фиг. 9 проиллюстрирован пример, демонстрирующий форму по меньшей мере одной линии структурированной подсветки глаза пользователя, сформированной источником коллимированного оптического излучения, отраженной роговой оболочкой глаза пользователя, на плоскости вводного дифракционного оптического элемента (ДОЭ).On FIG. 9 illustrates an example showing the shape of at least one structured illumination line of the user's eye formed by a collimated optical source reflected by the user's cornea on the plane of the input diffractive optical element (DOE).

Осуществление изобретенияImplementation of the invention

Согласно изобретению, предложен способ отслеживания положения глаза пользователя, который в общем случае реализуется посредством следующей последовательности действий над материальными объектами при помощи материальных средств.According to the invention, a method for tracking the position of the user's eye is proposed, which is generally implemented through the following sequence of actions on material objects using material means.

Обращаясь к Фиг. 1, с помощью по меньшей мере одного источника 1 коллимированного оптического излучения формируется структурированная подсветка 2 на поверхности глаза 3 пользователя в области роговой оболочки. Далее обеспечивается ввод и распространение по меньшей мере части оптического излучения, отраженного от роговой оболочки глаза 3 пользователя, в волноводе 4. Часть излучения, отраженного от роговой оболочки глаза 3 пользователя, выводится из волновода 4 на детектор 5. С помощью детектора 5 формируется изображение, на котором оптическое излучение, отраженное от роговой оболочки глаза 3 пользователя, которое распространяется через волновод 4 и падает на входной зрачок детектора 5, отображается в виде по меньшей мере одного пятна (области, включающей в себя пикселы с высокой интенсивностью сигнала). Сформированное с помощью детектора 5 изображение анализируется на предмет положения упомянутого по меньшей мере одного пятна, и на основании данного анализа вычисляется положение глаза 3 пользователя.Referring to FIG. 1, with the help of at least one source 1 of collimated optical radiation, a structured illumination 2 is formed on the surface of the user's eye 3 in the area of the cornea. Next, the input and distribution of at least part of the optical radiation reflected from the cornea of the eye 3 of the user is provided in the waveguide 4. Part of the radiation reflected from the cornea of the eye 3 of the user is output from the waveguide 4 to the detector 5. Using the detector 5, an image is formed, in which the optical radiation reflected from the cornea of the user's eye 3, which propagates through the waveguide 4 and impinges on the entrance pupil of the detector 5, is displayed as at least one spot (area including high signal intensity pixels). The image generated by the detector 5 is analyzed for the position of said at least one spot, and based on this analysis, the position of the user's eye 3 is calculated.

Согласно изобретению, для получения информации о положении глаза 3 используется сигнал оптического излучения, формируемый посредством зеркального отражения структурированной подсветки 2, формируемой источником 1 коллимированного оптического излучения, от роговой оболочки глаза 3. Отслеживание положения глаза 3 (направления взгляда) пользователя основано на регистрации части структурированной подсветки 2, формируемой источником 1 коллимированного оптического излучения, зеркально отраженной от роговой оболочки глаза 3, и ее передачи на детектор 5 через волновод 4. Важным отличием предлагаемого изобретения от известных решений из уровня техники является использование именно зеркально отраженного излучения, а не части излучения, диффузно рассеиваемого с поверхности глаза пользователя, как, например, в прототипе настоящего изобретения, раскрытом в публикации US 8955973.According to the invention, to obtain information about the position of the eye 3, an optical radiation signal is used, formed by mirror reflection of the structured illumination 2, formed by the source 1 of collimated optical radiation, from the cornea of the eye 3. Tracking the position of the eye 3 (direction of gaze) of the user is based backlight 2, formed by the source 1 of collimated optical radiation, specularly reflected from the cornea 3, and its transmission to the detector 5 through the waveguide 4. An important difference between the present invention and the known solutions from the prior art is the use of specularly reflected radiation, and not part of the radiation, diffusely scattered from the surface of the user's eye, as, for example, in the prototype of the present invention, disclosed in the publication US 8955973.

Конфигурация устройства (датчика), реализующего обозначенный выше принцип, имеет преимущества, состоящие в простоте, пригодности для использования в составе любого устройства, содержащего волноводы, компактности в силу того, что волновод 4 собирает оптическое излучение из широкой области в передней части глаза 3 пользователя, надежности устройства ввиду отсутствия подвижных частей или переключаемых оптических элементов. Кроме того, предлагаемое техническое решение отличается безопасностью и отсутствием помех для глаз пользователя ввиду невысокой яркости источника (источников) 1 коллимированного оптического излучения, используемого для формирования структурированной подсветки 2 в области поверхности глаза 3 пользователя, а в предпочтительных вариантах выполнения - ввиду использования коллимированного оптического излучения в диапазонах, отличных от видимого спектра, низким энергопотреблением и малым весом устройства (датчика).The configuration of the device (sensor) that implements the above principle has the advantages of simplicity, suitability for use as part of any device containing waveguides, compactness due to the fact that the waveguide 4 collects optical radiation from a wide area in front of the eye 3 of the user, reliability of the device due to the absence of moving parts or switchable optical elements. In addition, the proposed solution is safe and does not interfere with the user's eyes due to the low brightness of the source (sources) 1 of collimated optical radiation used to form a structured illumination 2 in the area of the surface of the eye 3 of the user, and in preferred embodiments, due to the use of collimated optical radiation in ranges other than the visible spectrum, low power consumption and low weight of the device (sensor).

Распространение оптического излучения в предлагаемом решении характеризуется следующими этапами:The propagation of optical radiation in the proposed solution is characterized by the following stages:

- источник 1 коллимированного оптического излучения формирует структурированную подсветку 2 в области роговицы глаза 3 пользователя;- the source 1 of collimated optical radiation forms a structured illumination 2 in the area of the cornea of the eye 3 of the user;

- часть оптического излучения упомянутой структурированной подсветки 2 отражается от роговой оболочки глаза 3 и падает на поверхность волновода 4;- part of the optical radiation mentioned structured illumination 2 is reflected from the cornea of the eye 3 and falls on the surface of the waveguide 4;

- оптическое излучение на поверхности волновода 4 претерпевает дифракцию на структуре вводного ДОЭ 6, 7 и распространяется в волноводе 4, испытывая полное внутреннее отражение;- optical radiation on the surface of the waveguide 4 undergoes diffraction on the structure of the input DOE 6, 7 and propagates in the waveguide 4, experiencing total internal reflection;

- оптическое излучение в волноводе 4 претерпевает вторичную дифракцию на структуре выводного ДОЭ 6, 7 и выводится из волновода 4;- optical radiation in the waveguide 4 undergoes secondary diffraction on the structure of the output DOE 6, 7 and is output from the waveguide 4;

- часть выводимого оптического излучения попадает на детектор 5.- part of the output optical radiation falls on the detector 5.

Поступивший на детектор 5 сигнал оптического излучения далее используется для выполнения следующих действий:The optical radiation signal received at the detector 5 is then used to perform the following actions:

- детектор 5 формирует изображение, на котором в виде по меньшей мере одного пятна отображается оптическое излучение, отраженное от роговой оболочки глаза;- the detector 5 generates an image on which the optical radiation reflected from the cornea of the eye is displayed in the form of at least one spot;

- контроллер 8 анализирует сформированное изображение, и на основании анализа положения упомянутого по меньшей мере одного пятна на изображении вычисляется положение 10 глаза.- the controller 8 analyzes the generated image, and based on the analysis of the position of said at least one spot in the image, the position 10 of the eye is calculated.

Устройство, реализующее способ отслеживания положения глаз пользователя (направления взгляда пользователя) может быть реализовано, например, в виде датчика для отслеживания положения глаза пользователя, содержащего следующие элементы:A device that implements a method for tracking the position of the user's eyes (direction of the user's gaze) can be implemented, for example, in the form of a sensor for tracking the position of the user's eye, containing the following elements:

- по меньшей мере один источник 1 коллимированного оптического излучения, выполненный с возможностью формирования структурированной подсветки 2 в области роговой оболочки 9 глаза 3 пользователя;- at least one source 1 of collimated optical radiation, configured to form a structured illumination 2 in the area of the cornea 9 of the eye 3 of the user;

- волновод 4, в предпочтительном варианте выполнения - по меньшей мере с одним дифракционным оптическим элементом (ДОЭ) 6, 7, выполненным с возможностью ввода оптического излучения в волновод 4 и/или вывода оптического излучения из него;- waveguide 4, in the preferred embodiment - with at least one diffractive optical element (DOE) 6, 7, configured to input optical radiation into the waveguide 4 and/or output optical radiation from it;

- детектор 5, выполненный с возможностью формирования изображения, на котором отображается оптическое излучение, выведенное из волновода 4 на входной зрачок детектора 5; и- detector 5, configured to form an image, which displays the optical radiation output from the waveguide 4 to the entrance pupil of the detector 5; and

- контроллер 8, выполненный с возможностью анализа изображения, сформированного детектором 5, на предмет положения по меньшей мере одного пятна, и вычисления положения глаза на основании упомянутого анализа.a controller 8 configured to analyze the image formed by the detector 5 for the position of at least one spot and calculate the position of the eye based on said analysis.

Формируемая источником коллимированного оптического излучения структурированная подсветка в области роговой оболочки глаза пользователя обеспечивает формирование сигнала оптического излучения, отраженного от роговой оболочки глаза, за счет анализа которого и определяется текущее положение глаза пользователя. В отличие от известного решения, принятого за прототип изобретения (US 8955973), в изобретении структурированная подсветка формируется посредством коллимированного оптического излучения. Это обеспечивает преимущество, состоящее в том, что отраженный сигнал локализован по угловой составляющей и распространяется с небольшим углом расходимости, определяемым кривизной роговой оболочки глаза и расходимостью источника оптического излучения, что обеспечивает высокую эффективность предлагаемого устройства.The structured illumination formed by the source of collimated optical radiation in the region of the cornea of the user's eye ensures the formation of an optical radiation signal reflected from the cornea of the eye, due to the analysis of which the current position of the user's eye is determined. In contrast to the well-known solution adopted as a prototype of the invention (US 8955973), in the invention the structured illumination is formed by means of collimated optical radiation. This provides the advantage that the reflected signal is localized in the angular component and propagates with a small angle of divergence, determined by the curvature of the cornea and the divergence of the optical radiation source, which ensures the high efficiency of the proposed device.

В отличие от известных решений, в предлагаемом изобретении отсутствует необходимость использования какого-либо сканирования либо какого-либо механического перемещения источника излучения или других компонентов устройства, что обеспечивает предлагаемому изобретению преимущества, состоящие, в частности, в повышении надежности, снижении энергопотребления и уменьшении габаритов устройства.In contrast to the known solutions, in the proposed invention there is no need to use any scanning or any mechanical movement of the radiation source or other components of the device, which provides the proposed invention with the advantages of increasing reliability, reducing power consumption and reducing the size of the device. .

Источник коллимированного оптического излучения, посредством которого формируется структурированная подсветка, может быть, в качестве неограничивающего примера, лазерным диодом с дифракционным оптическим компонентом, обеспечивающим коллимацию и формирование структурированной подсветки. В предпочтительном варианте выполнения источник оптического излучения работает в ближнем инфракрасном (NIR) диапазоне, при этом оптическое излучение является невидимым для глаза пользователя. Следует отметить, что специалистам в данной области техники будут очевидны другие варианты выполнения изобретения, в которых может использоваться как невидимое, так и видимое глазу оптическое излучение, однако в последнем случае может быть выбрана такая интенсивность коллимированного оптического излучения и/или такие диапазоны длин волн коллимированного оптического излучения, которые по существу не создают помех и не могут нанести вред зрению пользователя. Сам по меньшей мере один источник коллимированного оптического излучения предпочтительно расположен на элементах конструкции устройства, в которое встроен датчик согласно предлагаемому изобретению. Такими элементами конструкции могут быть оправа волновода, держатель защитного стекла и т.д. Благодаря такому размещению элементов датчика исключается затенение поля зрения пользователя и не создаются помехи зрению пользователя.The source of collimated optical radiation, through which the structured illumination is formed, can be, as a non-limiting example, a laser diode with a diffractive optical component that provides collimation and formation of the structured illumination. In a preferred embodiment, the source of optical radiation operates in the near infrared (NIR) range, while the optical radiation is invisible to the user's eye. It should be noted that other embodiments of the invention will be apparent to those skilled in the art, in which both invisible and visible optical radiation can be used, however, in the latter case, such an intensity of collimated optical radiation and / or such wavelength ranges of collimated optical radiation can be selected. optical radiation that is substantially non-interfering and cannot harm the user's vision. The at least one source of collimated optical radiation itself is preferably located on the structural elements of the device in which the sensor according to the invention is integrated. Such structural elements can be a waveguide frame, a protective glass holder, etc. Due to this arrangement of the sensor elements, the shading of the user's field of vision is excluded and no interference is created with the user's vision.

Формируемая в области роговой оболочки 9 глаза 3 структурированная подсветка 2 является статичной в том смысле, что ее положение остается неизменным, без какого-либо сканирования или иных возможных перемещений по поверхности глаза пользователя или каких-либо изменений формы или размеров элементов структурированной подсветки 2. Это позволяет использовать по меньшей мере один источник 1 коллимированного оптического излучения, который является статичным (неподвижным), без использования каких-либо сканирующих или переключаемых оптических элементов.The structured illumination 2 formed in the region of the cornea 9 of the eye 3 is static in the sense that its position remains unchanged, without any scanning or other possible movements on the surface of the user's eye or any changes in the shape or size of the elements of the structured illumination 2. This allows the use of at least one source 1 of collimated optical radiation, which is static (stationary), without the use of any scanning or switchable optical elements.

Структурированная подсветка 2 согласно изобретению может иметь форму различных геометрических фигур, таких как, не ограничиваясь, набор точек, прямоугольник, квадрат, окружность, эллипс, овал, либо форму одной или более параллельных и/или пересекающихся (в том числе перпендикулярных) линий. Следует отметить, что объем изобретения не ограничивается конкретной формой картины структурированной подсветки, и специалистам в данной области техники могут быть очевидны другие возможные формы структурированной подсветки 2, пригодные для различных вариантов применения способа и устройства (датчика) согласно изобретению.The structured illumination 2 according to the invention may take the form of various geometric shapes, such as, but not limited to, a set of dots, a rectangle, a square, a circle, an ellipse, an oval, or the form of one or more parallel and/or intersecting (including perpendicular) lines. It should be noted that the scope of the invention is not limited to the specific form of the structured illumination pattern, and other possible forms of the structured illumination 2 suitable for various applications of the method and device (sensor) according to the invention may be apparent to those skilled in the art.

По меньшей мере в одном конкретном варианте выполнения, структурированная подсветка 2 может иметь форму набора линий. На Фиг. 2 проиллюстрирован вариант выполнения, в котором структурированная подсветка 2 выполнена в виде набора линий, в качестве неограничивающего примера - в виде набора параллельных прямых линий (позициями 11, 12 на Фиг. 2 показано излучение, формирующее, соответственно, первую и вторую линии, позициями 13, 14 - проекции первой и второй линий структурированной, подсветки, лежащие вдоль оси Y, соответственно). При этом, если по меньшей мере один источник 1 света и детектор 5 расположены вдоль оси X (см. Фиг. 2), то параллельные линии, образующие структурированную подсветку 2, ориентированы вдоль оси Y (см. Фиг. 2). Каждая линия в такой картине структурированной подсветки дает на изображении, формируемом детектором 5, проекцию в виде пятна. Поскольку подсвечиваемая структурированной подсветкой 2 роговая оболочка 9 глаза может изменять свое положение, отраженный от нее сигнал оптического излучения падает на волновод 4 под разными углами. При этом на изображении, формируемом детектором, будет получено множество пятен в разных областях изображения, формируемого детектором, которые будут изменять свое положение при изменении положения глаза пользователя. Использование набора параллельных линий в качестве рисунка структурированной подсветки может расширить рабочий диапазон углов, под которыми датчик согласно изобретению отслеживает положение глаза, по отношению к движениям глаза относительно оси Y (в частности, при развороте глаза вокруг оси Y).In at least one particular embodiment, the structured highlight 2 may be in the form of a set of lines. On FIG. 2 illustrates an embodiment in which the structured illumination 2 is made in the form of a set of lines, as a non-limiting example, in the form of a set of parallel straight lines (positions 11, 12 in Fig. 2 show the radiation that forms, respectively, the first and second lines, positions 13 , 14 - projections of the first and second lines of the structured illumination, lying along the Y axis, respectively). In this case, if at least one light source 1 and detector 5 are located along the X axis (see Fig. 2), then the parallel lines forming the structured illumination 2 are oriented along the Y axis (see Fig. 2). Each line in such a pattern of structured illumination gives a projection in the form of a spot on the image formed by the detector 5. Since the cornea 9 of the eye illuminated by the structured illumination 2 can change its position, the optical radiation signal reflected from it falls on the waveguide 4 at different angles. In this case, on the image generated by the detector, a lot of spots will be obtained in different areas of the image generated by the detector, which will change their position when the position of the user's eye changes. The use of a set of parallel lines as a pattern of structured illumination can expand the operating range of angles under which the sensor according to the invention tracks the position of the eye, in relation to eye movements about the Y axis (in particular, when turning the eye around the Y axis).

Обращаясь к Фиг. 3, по меньшей мере в одном другом варианте выполнения для формирования структурированной подсветки в области роговой оболочки глаза может использоваться множество источников оптического излучения, что позволяет расширить рабочий диапазон датчика для отслеживания положения глаза по отношению к движениям глаза относительно оси X (в частности, при развороте глаза вокруг оси X). Предложено использование набора источников коллимированного оптического излучения, в качестве неограничивающего примера - два или более источников коллимированного оптического излучения, - каждый из которых формирует свою структурированную подсветку или часть общей картины структурированной подсветки 2, подсвечивая роговую оболочку глаза с различных направлений. В примерном варианте выполнения изобретения, проиллюстрированном на Фиг. 3, используется два источника оптического излучения - первый источник 101 оптического излучения и второй источник 102 оптического излучения, соответственно. Каждый из упомянутых источников 101, 102 коллимированного оптического излучения формирует свою структурированную подсветку 201, 202 в разные моменты (периоды) времени, в частности в первый период 100 времени и во второй период 200 времени, соответственно. При этом в первый период 100 времени первый источник 101 оптического излучения включен, а второй источник 102 оптического излучения - выключен, и наоборот, во второй период 200 времени первый источник 101 оптического излучения выключен, а второй источник 102 оптического излучения включен.Referring to FIG. 3, in at least one other embodiment, a plurality of sources of optical radiation can be used to form a structured illumination in the region of the cornea of the eye, which makes it possible to expand the operating range of the sensor for tracking the position of the eye in relation to eye movements relative to the X axis (in particular, when turning eyes around the x-axis). It is proposed to use a set of sources of collimated optical radiation, as a non-limiting example, two or more sources of collimated optical radiation, each of which forms its own structured illumination or part of the overall pattern of structured illumination 2, illuminating the cornea of the eye from different directions. In the exemplary embodiment of the invention illustrated in FIG. 3, two optical sources are used, the first optical source 101 and the second optical source 102, respectively. Each of said sources 101, 102 of collimated optical radiation generates its structured illumination 201, 202 at different times (periods), in particular in the first time period 100 and in the second time period 200, respectively. At the same time, in the first time period 100, the first optical radiation source 101 is turned on, and the second optical radiation source 102 is turned off, and vice versa, in the second time period 200, the first optical radiation source 101 is turned off, and the second optical radiation source 102 is turned on.

В данном варианте выполнения структурированная подсветка в области роговой оболочки глаза формируется каждым из упомянутых двух источников 101, 102 оптического излучения попеременно. При этом каждый из упомянутых двух источников 101, 102 оптического излучения может формировать структурированную подсветку 201, 202, которая совпадает по форме, размеру и/или расположению с картиной структурированной подсветки, формируемой другим из упомянутых двух источников 101, 102 коллимированного оптического излучения, либо которая не совпадает по форме, размеру и/или расположению, соответственно.In this embodiment, the structured illumination in the area of the cornea is formed by each of the two sources 101, 102 of optical radiation alternately. In this case, each of the two sources 101, 102 of optical radiation can form a structured illumination 201, 202, which matches in shape, size and/or location with the pattern of structured illumination formed by the other of the two mentioned sources 101, 102 of collimated optical radiation, or which does not match in shape, size and/or location, respectively.

Использование множества источников оптического излучения позволяет дополнительно расширить диапазон работы устройства отслеживания положения глаз пользователя и получить больший объем информации для отслеживания положения глаза. Кроме того, попеременное включение и выключение источников оптического излучения, описанное выше, упрощает интерпретацию контроллером информации, поступающей с детектора. Следует отметить, что варианты выполнения изобретения со множеством источников оптического излучения не ограничены вышеописанным вариантом выполнения, в котором показаны только два источника, а также описанным выше принципом их попеременной работы. Специалистам в данной области техники будут очевидны другие примерные варианты выполнения для двух или более источников оптического излучения в зависимости от конкретного применения устройства согласно изобретению.The use of a plurality of optical radiation sources makes it possible to further extend the operating range of the user's eye position tracking device and obtain more information for tracking the position of the eye. In addition, the alternate switching on and off of the sources of optical radiation, described above, simplifies the interpretation by the controller of the information coming from the detector. It should be noted that embodiments of the invention with multiple sources of optical radiation are not limited to the above-described embodiment, in which only two sources are shown, as well as the principle of their alternate operation described above. Those skilled in the art will appreciate other exemplary embodiments for two or more sources of optical radiation, depending on the specific application of the device according to the invention.

Согласно предлагаемому изобретению, отслеживание положения глаза пользователя основано на регистрации той части структурированной подсветки, отраженной от роговой оболочки глаза, которая поступает на детектор через волновод. Использование волновода отличает предлагаемое изобретение от рассмотренных выше известных решений, и в частности от принятого в качестве прототипа решения по US 8955973.According to the invention, tracking the position of the user's eye is based on the registration of that part of the structured illumination reflected from the cornea of the eye, which enters the detector through the waveguide. The use of a waveguide distinguishes the present invention from the known solutions discussed above, and in particular from the solution adopted as a prototype according to US 8955973.

Элементы упомянутой структурированной подсветки падают на поверхность роговой оболочки глаза и отражаются от нее в соответствии с законом отражения, согласно которому угол падения излучения относительно нормали к поверхности равен углу отражения относительно нормали, а нормаль, луч падающий и луч отраженный лежат в одной плоскости. Согласно изобретению оптическое излучение, отражаемое от поверхности роговой оболочки глаза, испытывает дифракцию на вводном ДОЭ 6 и проходит через волновод 4 (см. Фиг. 4), распространяясь по значительной области волновода 4 по существу без потерь благодаря полному внутреннему отражению в волноводе 4 (область, где излучение распространяется внутри волновода без потерь, обозначена на Фиг. 4 позицией 300). Волновод 4 обеспечивает возможность сбора отраженного от роговой оболочки глаза оптического излучения из большой области пространства, что исключает, в частности, необходимость размещения камеры, фиксирующей отраженное излучение, перед глазом пользователя, или использования множества камер, размещенных в различных положениях в пространстве также перед глазом пользователя. В качестве своего рода модулятора оптического излучения в предлагаемом изобретении используется поверхность глаза пользователя (более конкретно - роговая оболочка глаза пользователя), при этом при изменении положения глаза изменяется распределение отраженного от него оптического излучения в пространстве. Сигнал оптического излучения, отражаемого поверхностью глаза, расходится за счет по существу сферической формы глаза, и изменяется при изменении положения глаза. Использование волновода в устройстве согласно изобретению позволяет с достижением преимущества собирать сигнал оптического излучения с большей площади, а также собирать сигнал оптического излучения, претерпевающий упомянутые изменения, вызванные движением поверхности глаза.The elements of said structured illumination fall on the surface of the cornea and are reflected from it in accordance with the law of reflection, according to which the angle of incidence of radiation relative to the normal to the surface is equal to the angle of reflection relative to the normal, and the normal, the incident beam and the reflected beam lie in the same plane. According to the invention, the optical radiation reflected from the surface of the cornea of the eye is diffracted by the input DOE 6 and passes through the waveguide 4 (see Fig. 4), propagating along a significant area of the waveguide 4 essentially without loss due to total internal reflection in the waveguide 4 (area , where the radiation propagates without loss inside the waveguide, is indicated in Fig. 4 by position 300). The waveguide 4 makes it possible to collect optical radiation reflected from the cornea of the eye from a large region of space, which eliminates, in particular, the need to place a camera that captures the reflected radiation in front of the user's eye, or to use a plurality of cameras placed at different positions in space also in front of the user's eye. . As a kind of modulator of optical radiation in the proposed invention, the surface of the user's eye (more specifically, the cornea of the user's eye) is used, while changing the position of the eye changes the distribution of optical radiation reflected from it in space. The signal of optical radiation reflected by the surface of the eye diverges due to the essentially spherical shape of the eye, and changes as the position of the eye changes. The use of a waveguide in the device according to the invention makes it possible to advantageously collect an optical radiation signal from a larger area, as well as to collect an optical radiation signal undergoing said changes caused by the movement of the eye surface.

Часть оптического излучения, вводимого в волновод 4, повторно претерпевает дифракцию на выводном ДОЭ 7, выводится из волновода 4 и попадает на детектор 5. Оптическое излучение, падающее на детектор 5 с одного направления, формирует пятно на изображении, получаемом детектором 5. Положение упомянутого пятна (пятен) на изображении, получаемом детектором 5, зависит от углового положения глаза пользователя.Part of the optical radiation introduced into the waveguide 4 undergoes repeated diffraction at the output DOE 7, is output from the waveguide 4 and enters the detector 5. Optical radiation incident on the detector 5 from one direction forms a spot on the image obtained by the detector 5. The position of the said spot (spots) in the image obtained by the detector 5 depends on the angular position of the user's eye.

В одном или более вариантах выполнения оптическое излучение, вводимое в волновод, может быть размножено посредством по меньшей мере одного дополнительного ДОЭ, что означает дублирование направлений, под которыми распространяется излучение в волноводе, для разных областей волновода. Благодаря этому на область выводного ДОЭ и соответственно на область входного зрачка детектора попадет отраженное от роговой оболочки излучение с большим диапазоном углов, что позволяет получить картину оптического излучения на детекторе не в виде пятна, а в виде рисунка, соответствующего по крайней мере части рисунка структурированной подсветки, формируемой источником коллимированного оптического излучения на поверхности роговой оболочки глаза пользователя. Это позволяет расширить диапазон принимаемого сигнала оптического излучения и, таким образом, расширить рабочий диапазон углов предлагаемого датчика согласно изобретению.In one or more embodiments, the optical radiation introduced into the waveguide can be multiplied by at least one additional DOE, which means duplicating the directions along which the radiation propagates in the waveguide for different regions of the waveguide. Due to this, radiation reflected from the cornea with a large range of angles will reach the output DOE area and, accordingly, the entrance pupil area of the detector, which makes it possible to obtain a picture of optical radiation on the detector not in the form of a spot, but in the form of a pattern corresponding to at least part of the structured illumination pattern. , formed by a source of collimated optical radiation on the surface of the cornea of the user's eye. This makes it possible to expand the range of the received signal of optical radiation and, thus, to expand the operating range of angles of the proposed sensor according to the invention.

В различных вариантах выполнения детектор может по существу представлять собой камеру с матрицей на комплементарных металло-оксидных полупроводниках (CMOS) или на устройствах с зарядовой связью (CCD) и объективом. Благодаря использованию отраженного сигнала оптического излучения обеспечивается высокая эффективность датчика согласно изобретению, а также широкий диапазон чувствительности датчика за счет использования волновода для сбора оптического излучения, отраженного от роговой оболочки глаза.In various embodiments, the detector may be essentially a camera with a complementary metal oxide semiconductor (CMOS) or charge-coupled device (CCD) array and a lens. Due to the use of the reflected optical radiation signal, the high efficiency of the sensor according to the invention is ensured, as well as a wide range of sensor sensitivity due to the use of a waveguide to collect the optical radiation reflected from the cornea of the eye.

В одном или более вариантах выполнения изобретения на волноводе предусмотрен один общий ДОЭ 6, 7, обеспечивающий и ввод и вывод излучения.In one or more embodiments of the invention, one common DOE 6, 7 is provided on the waveguide, which provides both input and output of radiation.

В одном или более вариантах выполнения изобретения на волноводе предусмотрены отдельные вводной 6 и выводной ДОЭ 7. В качестве неограничивающего примера, вводной ДОЭ может быть предусмотрен на волноводе (например, на поверхности волновода, либо интегрирован в него, выполнен в нем способом «записи» и т.п.) для ввода оптического излучения, отраженного от поверхности роговой оболочки глаза, в волновод. Перед детектором на волноводе (например, на поверхности волновода, либо интегрирована в него, выполнена в нем способом «записи» и т.п.) может быть предусмотрен выводной ДОЭ для вывода оптического излучения из волновода на детектор. Следует понимать, что варианты выполнения с отдельными вводными и/или выводными ДОЭ не ограничивают объем изобретения, и могут быть использованы другие конфигурации элементов ДОЭ, например, для сбора оптического излучения, отраженного от поверхности роговой оболочки глаза, в волновод, ввода отраженного излучения в волновод и/или вывода оптического излучения из волновода, и т.п.In one or more embodiments of the invention, separate input 6 and output DOE 7 are provided on the waveguide. etc.) to input optical radiation reflected from the surface of the cornea of the eye into the waveguide. Before the detector on the waveguide (for example, on the surface of the waveguide, or integrated into it, made in it by the method of "recording", etc.), an output DOE can be provided to output optical radiation from the waveguide to the detector. It should be understood that embodiments with separate input and/or output DOEs do not limit the scope of the invention, and other configurations of DOE elements can be used, for example, to collect optical radiation reflected from the surface of the cornea into a waveguide, to input reflected radiation into a waveguide and/or the output of optical radiation from the waveguide, and the like.

Такая конфигурация волновода 4 с отдельным ДОЭ 6 для ввода и отдельным ДОЭ 7 для вывода излучения в датчике согласно изобретению позволяет уменьшить потери оптического излучения между детектором 5 и областью ввода оптического излучения, поскольку свет распространяется в этой области (область 300 на Фиг. 4) без потерь благодаря полному внутреннему отражению света в волноводе 4, как описано выше.Such a configuration of the waveguide 4 with a separate input DOE 6 and a separate output DOE 7 in the sensor according to the invention makes it possible to reduce the loss of optical radiation between the detector 5 and the optical input region, since light propagates in this region (region 300 in Fig. 4) without losses due to the total internal reflection of light in the waveguide 4, as described above.

На Фиг. 5 схематично проиллюстрировано носимое устройство дополненной реальности (AR), в которое встроены компоненты датчика для отслеживания положения глаза пользователя по изобретению. Так, на Фиг. 5 показаны расположенный вне поля зрения глаза пользователя источник 1 коллимированного оптического излучения, формирующий структурированную подсветку на поверхности роговой оболочки глаза 3 пользователя, а также расположенный вне поля зрения глаза пользователя детектор 5, принимающий сигнал отраженного оптического излучения. Кроме того, показан волновод 4 датчика для отслеживания положения глаза пользователя, а также волновод 15 самого устройства дополненной реальности, предназначенный для трансляции изображений виртуальных объектов из источника изображений виртуальных объектов устройства AR (который обозначен на Фиг. 5 позицией 16).On FIG. 5 schematically illustrates an augmented reality (AR) wearable device incorporating sensor components for tracking a user's eye position in accordance with the invention. So, in Fig. 5 shows a source 1 of collimated optical radiation located outside the field of view of the user's eye, which forms a structured illumination on the surface of the cornea of the eye 3 of the user, as well as a detector 5 located outside the field of view of the user's eye, which receives a signal of reflected optical radiation. In addition, a sensor waveguide 4 is shown for tracking the position of the user's eye, as well as a waveguide 15 of the augmented reality device itself, designed to broadcast images of virtual objects from the source of images of virtual objects of the AR device (which is indicated in Fig. 5 by position 16).

Датчик для отслеживания положения глаза пользователя согласно изобретению может быть с легкостью встроен в конструкцию носимого устройства дополненной реальности (AR), содержащего по меньшей мере проектор 16 (источник изображений виртуальных объектов) и один или более волноводов 15 для трансляции изображений виртуальных объектов в глаз пользователя.The sensor for tracking the position of the user's eye according to the invention can be easily integrated into the design of a wearable augmented reality (AR) device, containing at least a projector 16 (source of images of virtual objects) and one or more waveguides 15 for transmitting images of virtual objects to the user's eye.

На Фиг. 6 показан неограничивающий пример практической реализации изобретения с встраиванием устройства для отслеживания положения глаза пользователя в конструкцию носимого устройства дополненной реальности (AR) в виде очков. В конструкции таких очков компоненты датчика согласно изобретению могут быть расположены в тех частях, которые остаются вне поля зрения пользователя - например, детектор 5 может быть расположен в области дужки очков, а один или более источников 1 коллимированного оптического излучения (на Фиг. 6 в качестве примера показан один источник 1 оптического излучения) заявляемого датчика могут быть расположены на оправе очков, например в области ближе к носу пользователя.On FIG. 6 shows a non-limiting example of a practical implementation of the invention with the integration of a device for tracking the position of the user's eye into the design of a wearable augmented reality (AR) device in the form of glasses. In the design of such glasses, the sensor components according to the invention can be located in those parts that remain out of the user's field of view - for example, the detector 5 can be located in the region of the glasses temple, and one or more sources 1 of collimated optical radiation (in Fig. 6 as example shows one source 1 of optical radiation) of the inventive sensor can be located on the frame of glasses, for example, in the area closer to the user's nose.

Далее будет описан способ отслеживания положения глаза пользователя согласно изобретению. Следует отметить, что данный способ реализуется датчиком для отслеживания положения глаза пользователя, некоторые неограничивающие иллюстративные варианты выполнения которого были описаны выше.Next, the method for tracking the position of the user's eye according to the invention will be described. It should be noted that this method is implemented by a sensor for tracking the position of the user's eye, some non-limiting illustrative embodiments of which have been described above.

Этапы способа отслеживания положения глаза пользователя согласно изобретению проиллюстрированы на Фиг. 7.The steps of the method for tracking the position of the user's eye according to the invention are illustrated in FIG. 7.

На этапе S1 формируют структурированную подсветку на поверхности глаза пользователя в области роговой оболочки. Для этого по меньшей мере один источник коллимированного оптического излучения подсвечивает поверхность глаза пользователя по существу в области роговой оболочки. Как указано выше, в качестве источника коллимированного оптического излучения может использоваться, например, лазерный диод или другой источник коллимированного оптического излучения, работающий в ближнем инфракрасном (NIR) диапазоне.At step S1, a structured illumination is formed on the surface of the user's eye in the area of the cornea. To do this, at least one source of collimated optical radiation illuminates the surface of the user's eye essentially in the region of the cornea. As mentioned above, as a source of collimated optical radiation, for example, a laser diode or other source of collimated optical radiation operating in the near infrared (NIR) range can be used.

Структурированная подсветка, формируемая на поверхности глаза пользователя по существу в области роговой оболочки, частично претерпевает зеркальное отражение от поверхности роговой оболочки глаза пользователя. При этом оптическое излучение будет отражаться, преломляться, рассеиваться и поглощаться на поверхности роговой оболочки глаза. По оценке, не менее 2,5% коллимированного оптического излучения падающего на роговую оболочку глаза, будет претерпевать зеркальное отражение.The structured illumination formed on the surface of the user's eye essentially in the cornea region is partly specularly reflected from the surface of the cornea of the user's eye. In this case, optical radiation will be reflected, refracted, scattered and absorbed on the surface of the cornea of the eye. It is estimated that at least 2.5% of the collimated optical radiation incident on the cornea of the eye will undergo specular reflection.

Отраженное оптическое излучение, получающееся в результате зеркального отражения элементов структурированной подсветки от роговой оболочки глаза пользователя, собирается посредством волновода. Так, на этапе S2 вызывают прохождение по меньшей мере части принятого оптического излучения, отраженного от роговой оболочки глаза пользователя, через волновод на детектор. Другими словами, волновод используется для сбора оптического излучения, отраженного от поверхности глаза пользователя. Отраженное оптическое излучение вводится в волновод, распространяется по нему и выводится из него, в предпочтительном варианте выполнения изобретения - с помощью соответствующих ДОЭ. В одном или более вариантах выполнения для повышения эффективности ввода оптического излучения в волновод и/или вывода оптического излучения из волновода на детектор используются один или более ДОЭ, как было описано выше с обращением к различным вариантам выполнения датчика согласно изобретению.The reflected optical radiation resulting from the specular reflection of the structured illumination elements from the cornea of the user's eye is collected by means of a waveguide. Thus, in step S2, at least a portion of the received optical radiation, reflected from the cornea of the user's eye, is caused to pass through the waveguide to the detector. In other words, the waveguide is used to collect optical radiation reflected from the surface of the user's eye. The reflected optical radiation is introduced into the waveguide, propagates along it and is removed from it, in the preferred embodiment of the invention - using the appropriate DOEs. In one or more embodiments, one or more DOEs are used to increase the efficiency of inputting optical radiation into the waveguide and/or outputting optical radiation from the waveguide to the detector, as described above with reference to various embodiments of the sensor according to the invention.

Распространение введенного в волновод оптического излучения осуществляется за счет полного внутреннего отражения оптического излучения в волноводе, что снижает потери оптического излучения на пути к детектору.The propagation of optical radiation introduced into the waveguide is carried out due to the total internal reflection of optical radiation in the waveguide, which reduces the loss of optical radiation on the way to the detector.

На этапе S3 детектор формирует изображение, на котором в виде по меньшей мере одного пятна отображается оптическое излучение, отраженное от роговой оболочки глаза пользователя, которое поступает на детектор через волновод. Как описано выше, в качестве детектора может использоваться камера с CMOS- или CCD-датчиком изображения, который принимает собранное оптическое излучение, поступившее на детектор через волновод. Форма отображения сигнала, отраженного от роговицы глаза пользователя, на изображении, формируемом детектором, зависит от конкретного варианта выполнения датчика по изобретению, как описано выше.In step S3, the detector generates an image in which at least one spot shows the optical radiation reflected from the cornea of the user's eye, which enters the detector through the waveguide. As described above, a camera with a CMOS or CCD image sensor can be used as a detector, which receives the collected optical radiation that has entered the detector through a waveguide. How the signal reflected from the cornea of the user's eye is displayed on the image generated by the detector depends on the specific embodiment of the sensor according to the invention, as described above.

Например, в случае использования в качестве структурированной подсветки рисунка, состоящего из одной линии на изображении, формируемом детектором с небольшим размером входного зрачка, будет отображаться одна область овальной формы высокой интенсивности. В случае большего размера входного зрачка детектора это пятно будет увеличиваться в размерах в одном направлении, так как через больший входной зрачок пройдет больше излучения различных направлений от структурированной подсветки. В случае использования в качестве структурированной подсветки рисунка, состоящего из нескольких линий или других элементов, на изображении могут отображаться несколько областей высокой интенсивности.For example, if a pattern consisting of a single line is used as a structured illumination, the image generated by a detector with a small entrance pupil size will display a single oval-shaped region of high intensity. In the case of a larger entrance pupil of the detector, this spot will increase in size in one direction, since more radiation from different directions from the structured illumination will pass through the larger entrance pupil. In the case of using a pattern consisting of several lines or other elements as a structured highlight, several areas of high intensity may be displayed in the image.

На этапе S4 анализируют изображение, сформированное детектором, посредством контроллера и вычисляют текущее положение глаза пользователя на основании анализа сформированного изображения. Для анализа изображения может использоваться соответствующее программное обеспечение или микропрограммное обеспечение, которое может быть реализовано в виде одной или более компьютерных программ, компьютерных программных элементов, программных модулей и т.п. Упомянутое программное обеспечение может быть сохранено в одном или более элементах памяти устройства.In step S4, the image generated by the detector is analyzed by the controller, and the current position of the user's eye is calculated based on the analysis of the generated image. Appropriate software or firmware may be used for image analysis, which may be implemented as one or more computer programs, computer program elements, program modules, or the like. Said software may be stored in one or more memory elements of the device.

Для пояснения способа определения положения глаза датчиком согласно изобретению, далее рассмотрим случай, при котором происходит изменение положения глаза (поворот глаза) относительно вертикальной оси Y. Обратимся к Фиг. 8, схематично иллюстрирующей способ определения положения глаза согласно изобретению, положение 31, 32 глаза пользователя, компоненты датчика, реализующего способ согласно изобретению, и направление 11, 12 падения оптического излучения, формирующего структурированную подсветку 2, отраженного от роговой оболочки глаза излучения, а также оптического излучения, распространяющегося в волноводе.To explain the method of determining the position of the eye by the sensor according to the invention, next, consider the case in which there is a change in the position of the eye (eye rotation) relative to the vertical Y-axis. Refer to FIG. 8, schematically illustrating the method for determining the position of the eye according to the invention, the position 31, 32 of the user's eye, the components of the sensor implementing the method according to the invention, and the direction 11, 12 of incidence of optical radiation forming a structured illumination 2, radiation reflected from the cornea of the eye, as well as optical radiation propagating in the waveguide.

Предположим, что имеется первое положение 31 глаза и второе положение 32 глаза, когда глаз поворачивается вокруг центра 33 поворота глаза на угол γ_eye. При этом структурированная подсветка 2, формируемая источником коллимированного оптического излучения под постоянным углом, отражается от роговой оболочки глаза в различных направлениях при различных положениях глаза. Оптическое излучение, отраженное от поверхности роговой оболочки глаза (обозначено позициями 131, 141 для первого и второго положений глаза, соответственно), претерпевает дифракцию на вводном ДОЭ 6 под углом ϕ_in1 для первого положения 31 роговой оболочки глаза и под углом ϕ_in2 для второго положения 32 роговой оболочки глаза.Assume that there is a first eye position 31 and a second eye position 32 when the eye is rotated around the eye rotation center 33 by an angle γ _eye . In this case, the structured illumination 2, formed by a source of collimated optical radiation at a constant angle, is reflected from the cornea of the eye in different directions at different positions of the eye. Optical radiation reflected from the surface of the cornea of the eye (indicated by positions 131, 141 for the first and second positions of the eye, respectively), undergoes diffraction on the input DOE 6 at an angle ϕ _in1 for the first position 31 of the cornea and at an angle ϕ _in2 for the second position 32 of the cornea of the eye.

Часть оптического излучения, вводимого в волновод 4, проходит через волновод 4 и вторично претерпевает дифракцию на выводном ДОЭ 7. Углы выхода оптического излучения из волновода α_out1 для первого положения 31 роговой оболочки глаза и α_out2 для второго положения 32 роговой оболочки глаза фиксируются детектором 5.Part of the optical radiation introduced into the waveguide 4 passes through the waveguide 4 and again undergoes diffraction at the output DOE 7. The exit angles of the optical radiation from the waveguide α _out1 for the first position 31 of the cornea and α _out2 for the second position 32 of the cornea are fixed by the detector 5 .

Используемая часть оптического излучения, отраженного от роговой оболочки глаза и собранного посредством волновода 4, попадает на входной зрачок детектора 5 и формирует пятно на изображении, получаемом детектором 5. При этом, если роговая оболочка глаза поворачивается относительно вертикальной оси Y, на изображении, получаемом детектором, пятно смещается вдоль горизонтальной оси X.The used part of the optical radiation reflected from the cornea of the eye and collected through the waveguide 4 falls on the entrance pupil of the detector 5 and forms a spot on the image obtained by the detector 5. In this case, if the cornea of the eye is rotated about the vertical axis Y, on the image obtained by the detector , the spot is displaced along the horizontal X axis.

Аналогичным образом, при развороте глаза пользователя относительно оси X оптическое излучение, отражаемое роговой оболочкой глаза, попадает на входной зрачок детектора под углом вокруг горизонтальной оси X, а пятно на изображении на детекторе смещается вдоль вертикальной оси Y. Таким образом, положение пятна на изображении на детекторе зависит от углового положения роговой оболочки глаза.Similarly, when the user's eye is rotated about the X axis, the optical radiation reflected by the cornea of the eye enters the entrance pupil of the detector at an angle around the horizontal X axis, and the spot on the image on the detector is shifted along the vertical Y axis. Thus, the position of the spot on the image on the detector depends on the angular position of the cornea.

Контроллер анализирует изображение, полученное детектором, и вычисляет положение глаза. Анализ изображения может быть основан, например, на определении текущих координат пятна, формируемого детектором, по осям X и Y.The controller analyzes the image received by the detector and calculates the position of the eye. Image analysis can be based, for example, on determining the current coordinates of the spot formed by the detector along the X and Y axes.

Следует отметить, что согласно изобретению структурированная подсветка, формируемая посредством источника коллимированного оптического излучения, должна формироваться таким образом, чтобы для каждого положения 31, 32 роговой оболочки глаза в пределах интересующего диапазона положений глаза имелся по меньшей мере один элемент упомянутой структурированной подсветки 2, который прошел бы через волновод 4, попал на входной зрачок детектора 5 и отобразился на изображении, полученном на детекторе 5.It should be noted that according to the invention, the structured illumination formed by means of a source of collimated optical radiation should be formed in such a way that for each position 31, 32 of the cornea of the eye within the range of interest of the eye positions, there is at least one element of said structured illumination 2, which has passed through the waveguide 4, hit the entrance pupil of the detector 5 and displayed on the image obtained on the detector 5.

На Фиг. 9 проиллюстрирован пример того, какую форму имеет по меньшей мере одна линия структурированной подсветки 2, отраженная роговой оболочкой глаза пользователя, на плоскости вводного ДОЭ (по существу соответствует плоскости волновода 4). Видно, что в результате отражения структурированной подсветки 2 от поверхности глаза пользователя на плоскости вводного ДОЭ получается изогнутая линия 34, представляющая собой проекцию отраженного сигнала на плоскости волновода 4, положение и форма которой изменяются в зависимости от разворота глаза пользователя вокруг осей X и Y, соответственно.On FIG. 9 illustrates an example of the shape of at least one line of structured illumination 2 reflected by the cornea of the user's eye on the plane of the input DOE (substantially corresponding to the plane of the waveguide 4). It can be seen that as a result of the reflection of the structured illumination 2 from the surface of the user's eye on the plane of the input DOE, a curved line 34 is obtained, which is a projection of the reflected signal on the plane of the waveguide 4, the position and shape of which change depending on the rotation of the user's eye around the X and Y axes, respectively. .

Структурированная подсветка согласно изобретению обнаруживается детектором, таким как, в качестве неограничивающего примера, камера с CMOS- или CCD-датчиком, предпочтительно чувствительная к излучению в ближнем инфракрасном диапазоне (NIR). Статичность структурированной подсветки, проецируемой на поверхность глаза пользователя в области роговой оболочки, означает, что положение элементов структурированной подсветки не изменяется. За счет того, что структурированная подсветка формируется с помощью именно коллимированного оптического излучения, элементы структурированной подсветки формируют отраженный от роговой оболочки глаза сигнал, параметры которого однозначно соответствуют положению роговой оболочки глаза в определенном диапазоне.The patterned illumination according to the invention is detected by a detector such as, but not limited to, a camera with a CMOS or CCD sensor, preferably sensitive to near infrared (NIR) radiation. The static nature of the structured illumination projected onto the surface of the user's eye in the cornea region means that the position of the elements of the structured illumination does not change. Due to the fact that structured illumination is formed using precisely collimated optical radiation, the elements of structured illumination form a signal reflected from the cornea, the parameters of which uniquely correspond to the position of the cornea in a certain range.

Предлагаемое изобретение обеспечивает следующие преимущества по сравнению с известными решениями из уровня техники:The present invention provides the following advantages over prior art solutions:

- надежность при долговременной работе датчика благодаря использованию простых элементов без их механического перемещения или оптического переключения;- reliability for long-term operation of the sensor due to the use of simple elements without their mechanical movement or optical switching;

- не создающую помех и безопасную для пользователя работу датчика благодаря использованию при работе оптического излучения малой мощности в диапазонах, невидимых для глаза пользователя (предпочтительно в ближнем инфракрасном диапазоне (NIR);- non-interference and safe for the user operation of the sensor due to the use of low-power optical radiation in the ranges invisible to the user's eye (preferably in the near infrared range (NIR);

- размещение компонентов датчика вне поля зрения пользователя благодаря использованию волновода для сбора отраженного оптического излучения.- placement of the sensor components out of the user's field of view due to the use of a waveguide to collect the reflected optical radiation.

Способ и устройство согласно настоящему изобретению могут быть использованы, в качестве неограничивающего примера, в устройствах и системах дополненной реальности (AR) или виртуальной реальности (VR), периферийных устройствах отслеживания положения глаз пользователя для персональных компьютеров, нашлемных системах целеуказания, в медицинском оборудовании и т.д. Кроме того, предлагаемая технология отслеживания положения глаз пользователя может быть использована, в качестве неограничивающего примера, в пользовательских интерфейсах, при выборе элементов контента виртуальной и/или дополненной реальности, при автоматической «прокрутке» текста при чтении с экрана, для выбора направления, считывания жестов глаз пользователя, ввода текста, при процедурах контроля доступа, а также для определения направления взгляда пользователя для таких задач, как оптимизация проработки представляемого пользователю изображения (называемая в англоязычной литературе foveated rendering), коррекция цвета для установления однородной яркости, распознавание физиологического состояния пользователя на основании параметров движений глаз пользователя.The method and apparatus of the present invention can be used, by way of non-limiting example, in augmented reality (AR) or virtual reality (VR) devices and systems, user eye tracking peripherals for personal computers, helmet-mounted targeting systems, medical equipment, and the like. .d. In addition, the proposed technology for tracking the position of the user's eyes can be used, as a non-limiting example, in user interfaces, when selecting virtual and/or augmented reality content items, when automatically "scrolling" text when reading from the screen, for choosing a direction, reading gestures the user's eyes, text input, access control procedures, and to determine the direction of the user's gaze for tasks such as optimizing the processing of the image presented to the user (called foveated rendering in the English literature), color correction to establish uniform brightness, recognition of the physiological state of the user based on parameters of the user's eye movements.

Следует понимать, что выше перечислены лишь некоторые наиболее иллюстративные примеры области применения настоящего изобретения, и специалистам в данной области техники будут очевидны другие применения настоящего изобретения, также находящиеся в рамках объема правовой охраны настоящего изобретения.It should be understood that the above are only some of the more illustrative examples of the scope of the present invention, and those skilled in the art will recognize other uses of the present invention that are also within the scope of the present invention.

Специалистам в данной области техники будет понятно, что выше описаны и показаны на чертежах лишь некоторые из возможных примеров технических приемов и материально-технических средств, которыми могут быть реализованы варианты выполнения настоящего изобретения. Приведенное выше подробное описание вариантов выполнения изобретения не предназначено для ограничения или определения объема правовой охраны настоящего изобретения.Those skilled in the art will appreciate that the foregoing described and illustrated in the drawings are only some of the possible examples of techniques and facilities by which embodiments of the present invention may be implemented. The above detailed description of embodiments of the invention is not intended to limit or determine the scope of legal protection of the present invention.

Другие варианты выполнения, которые могут входить в объем настоящего изобретения, могут быть предусмотрены специалистами в данной области техники после внимательного прочтения вышеприведенного описания с обращением к сопровождающим чертежам, и все такие очевидные модификации, изменения и/или эквивалентные замены считаются входящими в объем настоящего изобретения. Все источники из уровня техники, приведенные и рассмотренные в настоящем документе, настоящим включены в данное описание путем ссылки, насколько это применимо.Other embodiments that may be within the scope of the present invention may be contemplated by those skilled in the art upon careful reading of the foregoing description with reference to the accompanying drawings, and all such obvious modifications, alterations and/or equivalent substitutions are deemed to be within the scope of the present invention. All prior art references cited and discussed in this document are hereby incorporated into this specification by reference, as far as applicable.

При том, что настоящее изобретение описано и проиллюстрировано с обращением к различным вариантам его выполнения, специалистам в данной области техники будет понятно, что в нем могут быть выполнены различные изменения в его форме и конкретных подробностях, не выходящие за рамки объема настоящего изобретения, который определяется только нижеприведенной формулой изобретения и ее эквивалентами.While the present invention has been described and illustrated with reference to various embodiments, it will be understood by those skilled in the art that various changes may be made to its form and specific details without departing from the scope of the present invention, which is defined only the following claims and their equivalents.

Claims

1. A method for tracking the position of the user's eye, comprising the steps of:

forming a structured illumination on the surface of the user's eye in the area of the cornea by means of at least one source of collimated optical radiation;

collecting at least a portion of the optical radiation reflected from the surface of the user's eye through the waveguide, multiplying the optical radiation collected through the waveguide; and

transmitting the collected optical radiation to the detector through said waveguide;

an image is formed by means of the detector, on which elements of the structured illumination are displayed, reflected from the cornea of the eye and reaching the entrance pupil of the detector through the waveguide; and

analyzing the image formed by the detector and calculating the position of the user's eye by means of the controller.

2. The method of claim. 1, in which the structured illumination is formed by at least one source of collimated radiation operating in the near infrared (NIR) range.

3. The method according to claim. 1, in which the structured highlight is formed in the form of a single line or a set of parallel lines.

4. The method according to claim 1, wherein the structured illumination is formed by at least one laser diode.

5. The method of claim 1, wherein the step of collecting at least a portion of the optical radiation and transmitting the collected optical radiation to the detector comprises the steps of:

introducing at least a portion of the optical radiation reflected from the surface of the user's eye into the waveguide by means of a diffractive optical element (DOE);

multiply the radiation introduced into the waveguide by means of the DOE,

and

a part of the optical radiation introduced into the waveguide is removed from the waveguide by means of a DOE.

6. A sensor for tracking the position of the user's eye, containing:

at least one source of collimated optical radiation, configured to form a structured illumination on the surface of the user's eye essentially in the cornea;

a waveguide configured to collect at least a portion of the optical radiation reflected from the surface of the user's eye and transmit the collected optical radiation to the detector;

a detector configured to form an image on which the optical radiation collected by the waveguide is displayed; and

a controller configured to analyze the image received at the detector and calculate the position of the user's eye;

wherein the waveguide contains at least one DOE configured to propagate the optical radiation collected by the waveguide.

7. The sensor of claim 6, wherein the at least one source of collimated optical radiation is configured to emit optical radiation in the near infrared (NIR) range.

8. The sensor according to claim 6, in which the structured illumination is formed in the form of a single line or a set of parallel lines.

9. The sensor according to claim 6, in which at least one source of collimated optical radiation is made in the form of a laser diode.

10. The sensor according to claim 6, in which the waveguide further comprises at least one DOE configured to input optical radiation reflected from the surface of the user's eye into the waveguide, and/or configured to output optical radiation collected by means of the waveguide to detector.

11. An imaging device for an augmented reality (AR) system or a virtual reality (VR) system, comprising at least one sensor for tracking the position of the user's eye according to any one of paragraphs. 6-10.