RU2724445C1 - Устройство и способ отслеживания положения глаза - Google Patents
Устройство и способ отслеживания положения глаза Download PDFInfo
- Publication number
- RU2724445C1 RU2724445C1 RU2019126697A RU2019126697A RU2724445C1 RU 2724445 C1 RU2724445 C1 RU 2724445C1 RU 2019126697 A RU2019126697 A RU 2019126697A RU 2019126697 A RU2019126697 A RU 2019126697A RU 2724445 C1 RU2724445 C1 RU 2724445C1
- Authority
- RU
- Russia
- Prior art keywords
- eye
- scanning
- scanner
- photodetectors
- radiation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000012806 monitoring device Methods 0.000 title 1
- 210000004087 cornea Anatomy 0.000 claims abstract description 64
- 230000005855 radiation Effects 0.000 claims abstract description 59
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 24
- 230000000737 periodic effect Effects 0.000 claims abstract description 3
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract 1
- 230000004418 eye rotation Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 210000001508 eye Anatomy 0.000 description 100
- 210000005252 bulbus oculi Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
- G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Изобретение относится к сканирующим системам слежения за глазами. Предлагаемое устройство содержит сканер, по меньшей мере два фотодетектора, вычислитель. Сканер формирует в области глаза и периодически разворачивает сканирующее излучение в виде сканирующей линии. Каждый из фотодетекторов формирует импульс на вычислителе, когда излучение сканера, отраженное от роговицы глаза, падает на фотодетектор. Вычислитель определяет моменты времени формирования упомянутых импульсов фотодетекторов относительно траектории сканирующего излучения и рассчитывает угловые координаты поворота глаза на основе упомянутых моментов времени формирования упомянутых импульсов относительно начала периодического разворота сканера. Применение изобретения позволяет упростить обработку данных, увеличить частоту обновления информации о положении глаза. 2 н. и 7 з.п. ф-лы, 11 ил.
Description
Область техники
Настоящее изобретение относится к сканирующим системам слежения за глазами.
Описание предшествующего уровня техники
В последние годы большинство датчиков слежения за положением глаз используют камеры. Известные датчики должны производить множество вычислений для определения положения зрачка на изображении, поэтому в известных датчиках камера и вычислитель занимают много места и потребляют много энергии. Известные датчики имеют ограничения по точности и частоте обновления. Следовательно, известные решения не вполне удобно использовать для устройств, таких как системы VR (виртуальной реальности) и AR (дополненной реальности). Сейчас разрабатывается новое поколение датчиков слежения за глазами на основе МЭМС–сканеров (микроэлектромеханических). Такие датчики компактны и имеют низкое энергопотребление.
Из уровня техники известен способ слежения за положением глаз, раскрытый в документе US 2018210547 A1, опубликованном 26.07.2018. Способ включает в себя управление лучом света посредством МЭМС–сканера, работающего на резонансной частоте, обнаружение света, отраженного от поверхности глаза. Недостатками известного способа являются низкая точность определения положения глаз, низкая частота обновления информации, для осуществления способа требуется двухосевой МЭМС–сканер.
В документе US 10303248 B2, опубликованном 28.05.2019, раскрыты примеры, которые относятся к отслеживанию положения глаз с использованием сканирующего луча и множества фотодетекторов. Один из примеров раскрывает систему слежения за глазами, содержащую источник инфракрасного света, сканирующую оптику, сконфигурированную для сканирования области, содержащей роговицу пользователя, и множество фотодетекторов, причем каждый фотодетектор сконфигурирован для обнаружения инфракрасного света, отраженного от роговицы пользователя под соответствующим углом. Недостатками известного решения также являются низкая точность, низкая частота обновления, требуется двухосевой МЭМС–сканер.
Из уровня техники известна система слежения за положением глаз, раскрытая в патенте US 10213105 B2, опубликованном 26.02.2019. Известная система является наиболее близким аналогом предлагаемого изобретения. Известная система содержит точечный источник излучения, двухкоординатное сканирующее микромеханическое (МЭМС) зеркало, которое имеет возможность разворота по двум координатным осям, и фотодетектор. Излучение от точечного источника излучения попадает на сканер и отражается от него. Излучение от источника излучения падает на сканирующее зеркало, и, отражаясь от него, сканирует область пространства, где находится роговица глаза. Отраженное от роговицы глаза излучение в разные моменты времени фиксирует фотодетектор. Анализируя амплитуду сигнала фотодетектора в разные моменты времени, вычисляют положение роговицы. Время между максимумами интенсивности во время развертки и амплитуды импульсов фотодетектора для разных строк указывают на месторасположение роговицы. Недостатками известной системы являются низкая точность обнаружения положения глаз, низкая частота обновления информации, кроме того требуется двухосевой сканер, и необходимо формирование строчно–кадровой развертки и анализа амплитуды сигнала, что усложняет процесс получения результата определения положения глаз, увеличивает погрешность измерения и уменьшает частоту обновления информации.
Анализируя известный уровень техники можно прийти к выводу, что значительным достижением в данной области техники станет недорогое, с высоким разрешением, с малым электропотреблением, высокоскоростное, надежное устройство слежения за положением глаз (за положением взгляда).
Сущность изобретения
Предлагается устройство отслеживания положения глаза, содержащее сканер, выполненный с возможностью формирования и периодического разворота в прямом и обратном направлениях сканирующего излучения в виде по меньшей мере одной сканирующей линии, по меньшей мере два фотодетектора, вычислитель. Причем каждый из по меньшей мере двух фотодетекторов выполнен с возможностью формирования импульса на вычислителе, когда сканирующее излучение, отраженное от роговицы глаза, попадет на фотодетектор. Причем вычислитель выполнен с возможностью определять угловые координаты положения глаза на основе моментов времени формирования упомянутых импульсов относительно начала периодического разворота сканирующего излучения. Причем сканер может включать в себя источник излучения, оптический элемент, выполненный с возможностью формирования по меньшей мере одной сканирующей линии, сканирующее зеркало. Причем сканирующее зеркало может быть одноосным. Причем сканер может представлять собой источник излучения и оптический элемент, выполненные с возможностью разворота вокруг по меньшей мере одной оси. Причем устройство может дополнительно содержать по меньшей мере два средства для оцифровки сигналов фотодетекторов, причем по меньшей мере два средства для оцифровки сигналов фотодетекторов связаны с по меньшей мере двумя фотодетекторами и вычислителем, причем количество средств оцифровки сигналов соответствует количеству фотодетекторов.
Также предлагается способ работы устройства отслеживания положения глаза, содержащий этапы, на которых сканер формирует в области глаза и периодически разворачивает в прямом и обратном направлениях сканирующее излучение в виде по меньшей мере одной сканирующей линии; каждый из по меньшей мере двух фотодетекторов формирует импульс на вычислителе, когда излучение сканера, отраженное от роговицы глаза, падает на фотодетектор; вычислитель определяет моменты времени формирования упомянутых импульсов по меньшей мере двух фотодетекторов и рассчитывает угловые координаты положения глаза на основе упомянутых моментов времени формирования упомянутых импульсов относительно начала периода разворота сканирующего излучения.
Краткое описание чертежей
Вышеописанные и другие признаки и преимущества настоящего изобретения поясняются в последующем описании, иллюстрируемом чертежами, на которых представлено следующее:
Фиг. 1 схематично изображает суть способа определения положения глаза (уровень техники).
Фиг. 2 схематично изображает устройство определения положения глаза согласно предлагаемому изобретению.
Фиг. 3 подробно изображает устройство определения положения глаза согласно предлагаемому изобретению.
Фиг. 4 иллюстрирует схему устройства определения положения глаза.
Фиг. 5 иллюстрирует график зависимости угла поворота сканера от времени.
Фиг. 6а, 6b иллюстрирует варианты зависимости угла разворота сканера от времени.
Фиг. 7 иллюстрирует систему координат, связанную с глазным яблоком.
Фигура 8 иллюстрирует временные диаграммы формирования сигналов на фотодетекторах для случая разворота глаза влево или (разворот вокруг оси Z).
Фигура 9 иллюстрирует временные диаграммы формирования сигналов на фотодетекторах для случая разворота глаза вверх или вниз (разворот вокруг оси Z).
Фиг.10 иллюстрирует временные диаграммы формирования сигналов на фотодетекторах для случая произвольного разворота глаза.
Фигура 11 иллюстрирует зависимости углов разворота глаза вокруг оси Z и оси X как функции двух переменных: и .
Подробное описание изобретения
Настоящее изобретение позволяет отслеживать и определять положение глаза при движениях глаз. Настоящее изобретение позволяет упростить обработку данных, увеличить частоту обновления информации о положении глаза, имеет небольшие габариты, является легко управляемым.
Для обнаружения положения глаза предлагается использовать одноосный сканер, что существенно уменьшает габариты устройства, упрощает управление устройством и упрощает анализ полученных при сканировании данных, по сравнению с устройствами известными из уровня техники.
Сканирование осуществляется путем поворота сканера вокруг одной оси. Сканер выполнен с возможностью периодичного поворота и формирования излучения в виде по меньшей мере одной сканирующей линии. В течение одного периода сканирования сканер поворачивается на небольшой угол и затем возвращается в начальную точку. В этом случае можно получить всю информацию о положении глаза дважды за каждый период сканирования, что увеличивает частоту обновления информации о положении глаза. Таким образом, частота обновления такого датчика слежения за глазом может достигать нескольких килогерц.
Для определения положения глаза (а именно роговицы глаза) предлагается использовать информацию только о временных интервалах между импульсами фотодетекторов. Это повышает точность устройства, поскольку определение временных интервалов между импульсами может быть выполнено с высокой точностью известными электронными компонентами.
Поскольку, согласно настоящему изобретению, вся информация обрабатывается в полупериоде движения сканера, когда роговица глаза незначительно меняет свое положение, повышается точность определения положения роговицы глаза.
На фигуре 1 показан известный принцип работы устройств, определяющих положение глаза. Как видно из фигуры 1 глаз 4 имеет центр О вращения глаза, причем центр роговицы вращается вокруг центра О вращения глаза. Точка А соответствует точке падения излучения на сканирующее зеркало, точка В1 соответствует точке на роговице, на которую попадает излучение от сканера, О1 – центр роговицы, точка С соответствует центру фоточувствительной площадки фотодетектора 3.
Источник света 1 излучает инфракрасное излучение, которое преобразуется оптическим элементом 5. После оптического элемента излучение отражается от сканирующего зеркала 2 сканера в область роговицы. На расстоянии от сканера расположен фотодетектор 3, причем его расположение относительно сканера известно. Фотодетектор 3 генерирует электрический импульс в момент времени, когда отраженное от роговицы излучение упадет на фотодетектор 3. То есть фотодетектор 3 формирует электрический сигнал, максимум которого соответствует моменту времени, когда отраженное от глаза излучение попадает на фотодетектор, то есть, когда угол падения излучения от сканера на роговицу AB1O1 равен углу отражения излучения от роговицы на фотодетектор O1B1C и центр фотодетектора C, точка падения излучения на зеркало сканера А, точка падения излучения на роговицу B1 и центр O1 лежат в одной плоскости. Когда глазное яблоко повернется, то есть роговица переместится (центр роговицы развернется, например, в точку О2), попадание отраженного от роговицы излучения на фотодетектор будут выполняться для другого углового положения сканирующего зеркала, и соответственно, максимум сигнала фотодетектора будет сформирован в другой момент времени относительно начала сканирования, когда угол АВ2О2 равен углу О2В2С и точки А В2 О2 и С лежат в одной плоскости.
Необходимо отметить, что при отсутствии на фотодетекторе зеркальной составляющей отраженного от роговицы излучения, на фотодетектор попадает существенно меньше излучения (фон, рассеянное элементами глаза (склера, зрачок, роговица) излучение сканера, возможны отражения от других элементов глаза и т.д.).
Необходимо отметить, что излучение может отражаться и рассеиваться от всех элементов глаза. Но максимальный сигнал будет формироваться фотодетектором именно от роговицы, так как самый сильный сигнал будет давать отражение, а самое сильное отражение дает роговица (первое изображение Пуркинье) см. например, https://en.wikipedia.org/wiki/Purkinje_images
Сканер может представлять собой систему, содержащую источник излучения, оптический элемент, формирующий сканирующую линию и поворачивающийся сканер, который отражает сканирующую линию в направлении глаза. В качестве источника излучения целесообразно использовать инфракрасный полупроводниковый лазер или светодиод, или лазерный диод. Оптический элемент может представлять собой цилиндрическую линзу или дифракционный оптический элемент.
В другом случае сканер может представлять собой систему, содержащую источник излучения, оптический элемент, и привод. Сканирование роговицы осуществляется в этом случае путем поворота источника излучения вместе с оптическим элементом вокруг одной оси. Оптический элемент должен формировать в области глаза область подсвета в виде линии, перпендикулярной направлению сканирования (сканирующей линии). В этом случае сканирование выполняется с помощью привода, который вращает источник излучения и оптический элемент таким образом, что источник излучения и оптический элемент совершают равномерный поворот сначала в одном направлении, а затем в обратном направлении. Привод может быть устройством МЭМС или компактным электромеханическим приводом.
Как показано на фигуре 2, в настоящем изобретении устройство для определения положения глаз пользователя содержит излучатель, оптический элемент, одноосный сканер, показанные позицией 10, два фотодетектора 3a и 3b. Оптический элемент формирует в области глаза освещенную область в виде линии (сканирующая линия), перпендикулярной направлению сканирования.
Сканирующая линия полностью пересекает (сканирует) глаз, проходя от внутреннего угла глаза (который располагается возле переносицы) к внешнему углу глаза (который располагается в височной области) и обратно (или наоборот). То есть, в отличие от известного уровня техники, в предлагаемом изобретении подсвечиваемая в области глаза область (сканирующее излучение) представляет собой не точку, а отрезок, пересекающий глаз от верхнего века до нижнего века. Предлагаемое устройство содержит по меньшей мере два фотодетектора. Для каждого фотодетектора излучение сканера, отраженное от глаза будет попадать на фотодетектор, только при одном угловом положении сканера для каждого положения роговицы. Такой набор элементов позволяет получить информацию о двух координатах положения глаза за один проход сканирующей линии (за один период сканирования) от одного угла глаза (внутреннего или внешнего) к другому, при обработке только временных интервалов формирования импульсов, сформированных фотодетекторами, что, по сравнению с известным уровнем техники, позволяет увеличить частоту обновления информации о положении роговицы глаза и точность определения положения роговицы глаза.
Как показано на фигуре 3 излучение от источника излучения 1 попадает на оптический элемент 5, формирующий сканирующую линию 6, состоящую из множества лучей, которая отражается от сканирующего зеркала 2 и попадает на область, где располагается глаз (элементы 1, 2, 5 объединены на фигуре под позицией 10). При перемещении сканирующей линии от внутреннего угла глаза к внешнему и наоборот (прямое сканирование и обратное сканирование), на глаз падает излучение, формирующее сканирующую линию 6, при этом, в процессе сканирования, если излучение 7, отразившееся от роговицы, попадает на фотодетектор 3a или 3 b, то в этот момент времени в выходном электрическом сигнале фотодетектора 3 будет сформирован импульс.
Необходимо подчеркнуть, что излучение, упавшее на роговицу, всегда будет частично отражаться от нее (другая часть будет преломляться и уходить внутрь, еще часть будет рассеиваться), но далеко не все лучи, отразившиеся от роговицы, попадут на фотоприемник.
Итак, необходимо определить угловое положение роговицы (то есть угловое положение глаза). Вычислитель управляет сканером, поэтому положение сканера в каждый момент времени известно, положение фотодетектора относительно сканера тоже известно; когда фотодетектор формирует импульс фиксирует вычислитель, и положение роговицы вычисляется на основании данных о зафиксированном времени формирования импульса относительно начала сканирования.
На фигуре 4 показана схема устройства определения положения глаза. Как показано на фигуре 4 вычислитель 8 управляет сканирующим устройством 2 и обрабатывает сигналы от фотодетекторов 3a или 3b, обработанные средствами оцифровки сигнала 9a и 9b соответственно (такими как, например, компараторы или аналогово–цифровые преобразователи), преобразующими аналоговый сигнал от фотодетекторов в цифровой. В качестве вычислителя может быть использован микроконтроллер, ПЛИС (программируемая логическая интегральная схема), цифровой сигнальный процессор, специализированная вычислительная система на одном кристалле, или их сочетание. После обработки сигналов вычислитель передает информацию о текущем положении глаза во внешнюю систему, которая не является частью настоящего изобретения. Эта внешняя система может быть AR или VR устройством, и может использовать полученную от описываемого устройства информацию с целью определения направления взгляда. Внешняя система использует данные от датчика о угловом положении глаза и .
На фигуре 5 показан график зависимости угла поворота сканера от времени. Как видно из фигуры 5 вычислитель управляет сканированием таким образом, что сканер делает равномерные повороты сначала в одном направлении (прямое сканирование), при котором сканирующая линия проходит от одного (первого) угла глаза к другому (второму) углу глаза, а затем в обратном направлении (обратное сканирование), при этом сканирующая линия проходит обратно от второго угла глаза к первому углу глаза. На фигуре 5 показан один период поворота сканера, а также из графика видно, что разворот сканера линейно зависит от времени при прямом и обратном сканировании.
Для поворота сканера можно использовать различные зависимости угла разворота сканера от времени, как показано на фигурах 6а и 6b.
На фигуре 6а показана зависимость угла разворота сканера от времени в виде синусоидальной кривой. Для такой траектории сканирования возможна работа сканера на частоте резонанса. Это обеспечит высокую частоту сканирования и наибольшую амплитуду сканирования. Для синусоидального сканирования необходимо учитывать нелинейность такой траектории.
На фигуре 6b показана пилообразная зависимость угла разворота сканера от времени. При таком режиме для ускорения процесса обновления информации о положении роговицы глаза принимают сигналы фотодатчиков только когда сканер поворачивается в прямом направлении, сигналы фотодатчиков можно не принимать во внимание, когда сканер поворачивается в обратном направлении. Для пилообразного сканирования обрабатывается информация только прямого сканирования.
Для увеличения рабочего диапазона работы устройства и для улучшения его точности возможно использование большего количества фотодетекторов.
Сканер может быть выполнен таким образом, чтобы сканирование проводилось несколькими сканирующими линиями. Благодаря увеличению количества линий сканирования увеличивается частота обновления информации о положении роговицы глаза и точность устройства.
Рассмотрим подробнее принцип определения положения глаза, согласно предлагаемому изобретению. Зададим систему координат с началом отчета в центре глазного яблока, ось X направлена вдоль линии, проходящей от одного угла глаза к другому углу глаза, ось Z соответственно перпендикулярна оси X, а угол поворота φ роговицы, равный нулю, соответствует положению роговицы, когда прямая, проведенная через центр роговицы и центр глазного яблока перпендикулярна осям X и Z.
В реальности, глазное яблоко одновременно вращается вокруг обеих осей, в предлагаемом изобретении используется отражение излучения именно от роговицы глаза, являющейся одной из оболочек глазного яблока, поэтому далее речь идет о вращении роговицы. Чтобы понять принцип действия предлагаемого устройства, рассмотрим два случая, когда вращение глаза осуществляется только вокруг одной из осей. На фигуре 7 показана система координат, связанная с глазным яблоком. Пусть – угол, на который поворачивается роговица при повороте вокруг оси Z, – угол, на который поворачивается роговица вокруг оси X. Углы поворота роговицы и , равные нулю, соответствуют положению роговицы, когда прямая, проведенная через центр роговицы и центр глазного яблока перпендикулярна осям X и Z.
Рассмотрим случай, когда фотодетекторы расположены симметрично плоскости XOY, излучатель лежит в плоскости XOY, а роговица зафиксирована относительно оси X, как показано на фигуре 2, то есть, глаз не смотрит вверх или вниз, а находится в среднем положении и роговица перемещается только вокруг оси Z, то есть глаз смотрит только влево и вправо.
В этом случае при сканировании глаза сканирующей линией, ориентированной вдоль оси Z, от одного угла глаза к другому углу глаза, при падении излучения, отраженного роговицей, на фотодетекторы 3a и 3b в их выходных электрических сигналах импульсы будут сформированы одновременно. На Фигуре 8 показаны временные диаграммы появления импульсов на фотодетекторах, спроецированные на график угла поворота сканера в зависимости от времени. Временные диаграммы а соответствуют появлению импульсов на фотодетекторах 3a и 3b, когда роговица находится в центральном положении, то есть угол =0 и угол . На фигуре 8 временные диаграммы b соответствуют появлению импульсов на фотодетекторах 3a и 3b, когда роговица переместилась только вокруг оси Z, то есть угол =0, а угол . Время формирования импульса, когда сканер движется в прямом направлении обозначено , а время формирования импульса, когда сканер движется в обратном направлении обозначено . Время формирования импульса относительно времени начала периода сканирования будет зависеть от положения роговицы, то есть ее поворота вокруг оси Z.
Рассмотрим случай, когда фотодетекторы расположены симметрично плоскости XOY, излучатель лежит в плоскости XOY, а роговица зафиксирована относительно оси Z, то есть, глаз не смотрит влево или вправо, а смотрит только вверх или вниз, то есть роговица разворачивается только вокруг оси X.
При сканировании глаза сканирующей линией, ориентированной вдоль оси Z, от одного угла глаза к другому углу глаза, при падении излучения, отраженного от роговицы на фотодетекторы, в выходных электрических сигналах фотодетекторов в разные моменты времени будут сформированы импульсы. Как показано на фигуре 9 между импульсами появляется разность во времени, и эта разность по времени будет тем больше, чем больше будет угол поворота роговицы вокруг оси X (позиция с на фигуре 9), то есть, чем выше вверх будет смотреть глаз или чем ниже вниз будет смотреть глаз. Другими словами, роговица глаза разворачивается на какой–то угол вокруг оси Х. На фигуре 9 видно, что разница во времени формирования импульса на первом фотодетекторе и втором детекторе, когда сканер движется в прямом направлении обозначена , а разница во времени формирования импульса на первом фотодетекторе и втором детекторе, когда сканер движется в обратном направлении обозначено . Разницы во времени формирования импульсов будут зависеть от величины угла вращения глаза вокруг оси X.
На фигуре 10 показан случай, когда , то есть случай произвольного разворота роговицы глаза (позиция d).
Для каждого периода сканирования в прямом направлении и в обратном направлении, два фотодетектора формируют по два импульса. За каждый период сканирования определяются четыре временных параметра, соответствующих моментам времени, когда формируемый фотодетектором электрический сигнал максимален на интервале одного полупериода.
Таким образом, как показано на фигуре 10, в каждом периоде сканирования после обработки преобразованных в двоичную форму сигналов могут быть получены для двух фотодетекторов четыре значения времени:
– соответствует времени от начала периода сканирования до появления импульса на первом фотодетекторе при прямом направлении сканирования,
– соответствует времени от начала периода сканирования до появления импульса на втором фотодетекторе при прямом направлении сканирования,
– соответствует времени от начала периода сканирования до появления импульса на первом фотодетекторе при обратном направлении сканирования,
– соответствует времени от начала периода сканирования до появления импульса на втором фотодетекторе при обратном направлении сканирования.
С помощью упомянутых четырех значений времени можно определить четыре параметра времени:
t_d_x – временной интервал между появлением импульса на первом фотодетекторе и появлением импульса на втором фотодетекторе при прямом направлении сканирования, этот временной интервал соответствует развороту глаза вокруг оси Х,
t_r_x – временной интервал между появлением импульса на первом фотодетекторе и появлением импульса на втором фотодетекторе при обратном направлении сканирования, этот временной интервал соответствует развороту глаза вокруг оси Х,
t_d_z – временной интервал от момента начала сканирования до момента времени, соответствующего середине между временем формирования импульса первым и вторым фотодетектором при прямом сканировании,
t_r_z – временной интервал от момента начала сканирования до момента времени, соответствующего середине между временем формирования импульса первым и вторым фотодетектором при обратном сканировании.
Указанные временные интервалы можно вычислить следующим образом:
Эти вычисленные параметры (переменные) и , и являются входными параметрами расчетного алгоритма, с помощью которого рассчитывают координаты роговицы глаза. Как видно из фигуры 10, в алгоритме каждой паре t_d_x и t_d_z; t_r_x и t_r_z соответствуют где это угол, на который повернется зеркало сканера, между моментами формирования импульсов первым и вторым фотодетекторами, и где это угол, на который повернется зеркало сканера, с момента начала сканирования, до момента времени, соответствующего середине между временем формирования импульса первым и вторым фотодетектором, которые рассчитывает вычислитель.
В случае сканирования в линейном режиме (угол поворота сканера линейно изменяется во времени в рабочей области), угол поворота сканера прямо пропорционален временным интервалам между импульсами фотодиода на интервале линейного сканирования (прямого или обратного).
В этом случае коэффициент между временем и углом будет равен угловой скорости сканирования . Тогда взаимосвязь между временными интервалами формирования импульсов фотодетекторов и угловым положением сканера математически выражается следующим образом:
где Т_scan – период сканирования
С использованием векторной алгебры и известных численных методов решения нелинейных уравнений можно определить положение глаза и как функции от и .
Фигура 11 иллюстрирует зависимости углов разворота роговицы глаза вокруг оси X и вокруг оси Z как функции от и . По осям отложены значения и и соответствующие им значения углов поворота и рассчитанные с помощью известных математических методов. Таким образом вычислитель определяет угловое положение роговицы глаза основываясь на заранее рассчитанных таблицах зависимости от и и зависимости от и.
Предлагаемое изобретение может успешно применяться в системах виртуальной реальности, в системах дополненной реальности, в офтальмологическом медицинском оборудовании. Также настоящее изобретение может применяться в видоискателях фотоаппаратов, например, для функции определения точки фокусировки по положению зрачка.
Предлагаемая технология отслеживания положения глаз может быть использована для пользовательских интерфейсов, выбора элементов виртуального контента, автоматической прокрутки для чтения, выбора направления, ввода текста, распознавания физиологического состояния пользователя по параметрам движения глаз и т.п.
Хотя изобретение описано в связи с некоторыми иллюстративными вариантами осуществления, следует понимать, что сущность изобретения не ограничивается этими конкретными вариантами осуществления. Напротив, предполагается, что сущность изобретения включает в себя все альтернативы, коррекции и эквиваленты, которые могут быть включены в сущность и объем формулы изобретения.
Кроме того, изобретение сохраняет все эквиваленты заявляемого изобретения, даже если пункты формулы изобретения изменяются в процессе рассмотрения.
Claims (17)
1. Устройство отслеживания положения глаза, содержащее:
сканер, выполненный с возможностью формирования и периодического разворота в прямом и обратном направлениях сканирующего излучения в виде по меньшей мере одной сканирующей линии;
по меньшей мере два фотодетектора;
вычислитель;
причем каждый из по меньшей мере двух фотодетекторов выполнен с возможностью формирования импульса на вычислителе, когда сканирующее излучение, отраженное от роговицы глаза, попадет на фотодетектор,
причем вычислитель выполнен с возможностью определять угловые координаты положения глаза на основе моментов времени формирования упомянутых импульсов относительно начала периодического разворота сканирующего излучения сканером.
2. Устройство по п. 1, в котором сканер включает в себя источник излучения, оптический элемент, выполненный с возможностью формирования по меньшей мере одной сканирующей линии, сканирующее зеркало.
3. Устройство по п. 2, в котором сканирующее зеркало является одноосным.
4. Устройство по п. 1, в котором сканер представляет собой источник излучения и оптический элемент, выполненные с возможностью разворота вокруг по меньшей мере одной оси.
5. Устройство по любому из пп. 1–4, дополнительно содержащее по меньшей мере два средства для оцифровки сигналов фотодетекторов, причем по меньшей мере два средства для оцифровки сигналов фотодетекторов связаны с по меньшей мере двумя фотодетекторами и вычислителем, причем количество средств оцифровки сигналов соответствует количеству фотодетекторов.
6. Способ работы устройства отслеживания положения глаза, содержащий этапы, на которых:
сканер формирует в области глаза и периодически разворачивает в прямом и обратном направлениях сканирующее излучение в виде по меньшей мере одной сканирующей линии;
каждый из по меньшей мере двух фотодетекторов формирует импульс на вычислителе, когда излучение сканера, отраженное от роговицы глаза, падает на фотодетектор;
вычислитель определяет моменты времени формирования упомянутых импульсов по меньшей мере двух фотодетекторов и рассчитывает угловые координаты положения глаза на основе упомянутых моментов времени формирования упомянутых импульсов относительно начала периода разворота сканирующего излучения.
7. Способ по п. 6, в котором сканер включает в себя источник излучения, оптический элемент, выполненный с возможностью формирования по меньшей мере одной сканирующей линии, сканирующее зеркало.
8. Способ по п. 7, в котором сканирующее зеркало является одноосным.
9. Способ по п. 6, в котором сканер представляет собой источник излучения и оптический элемент, выполненные с возможностью разворота вокруг по меньшей мере одной оси.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019126697A RU2724445C1 (ru) | 2019-08-23 | 2019-08-23 | Устройство и способ отслеживания положения глаза |
KR1020200060900A KR20210023665A (ko) | 2019-08-23 | 2020-05-21 | 시선을 추적하는 방법 및 전자 장치 |
US16/996,203 US11698676B2 (en) | 2019-08-23 | 2020-08-18 | Method and electronic device for eye-tracking |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019126697A RU2724445C1 (ru) | 2019-08-23 | 2019-08-23 | Устройство и способ отслеживания положения глаза |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2724445C1 true RU2724445C1 (ru) | 2020-06-23 |
Family
ID=71136151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2019126697A RU2724445C1 (ru) | 2019-08-23 | 2019-08-23 | Устройство и способ отслеживания положения глаза |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20210023665A (ru) |
RU (1) | RU2724445C1 (ru) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2487653C2 (ru) * | 2008-12-26 | 2013-07-20 | Кэнон Кабусики Кайся | Устройство для формирования изображения и способ получения изображения глазного дна с помощью оптической когерентной томографии |
KR20130118897A (ko) * | 2010-11-04 | 2013-10-30 | 디지맥 코포레이션 | 스마트폰 기반 방법들 및 시스템들 |
US20160161754A1 (en) * | 2014-12-09 | 2016-06-09 | Japan Display Inc. | Display device |
RU2625815C2 (ru) * | 2015-09-18 | 2017-07-19 | Самсунг Электроникс Ко., Лтд. | Устройство отображения |
US10027883B1 (en) * | 2014-06-18 | 2018-07-17 | Amazon Technologies, Inc. | Primary user selection for head tracking |
RU2665289C1 (ru) * | 2017-08-15 | 2018-08-28 | Самсунг Электроникс Ко., Лтд. | Система отображения реальной или виртуальной сцены и способ ее функционирования |
-
2019
- 2019-08-23 RU RU2019126697A patent/RU2724445C1/ru active
-
2020
- 2020-05-21 KR KR1020200060900A patent/KR20210023665A/ko active Search and Examination
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2487653C2 (ru) * | 2008-12-26 | 2013-07-20 | Кэнон Кабусики Кайся | Устройство для формирования изображения и способ получения изображения глазного дна с помощью оптической когерентной томографии |
KR20130118897A (ko) * | 2010-11-04 | 2013-10-30 | 디지맥 코포레이션 | 스마트폰 기반 방법들 및 시스템들 |
US10027883B1 (en) * | 2014-06-18 | 2018-07-17 | Amazon Technologies, Inc. | Primary user selection for head tracking |
US20160161754A1 (en) * | 2014-12-09 | 2016-06-09 | Japan Display Inc. | Display device |
RU2625815C2 (ru) * | 2015-09-18 | 2017-07-19 | Самсунг Электроникс Ко., Лтд. | Устройство отображения |
RU2665289C1 (ru) * | 2017-08-15 | 2018-08-28 | Самсунг Электроникс Ко., Лтд. | Система отображения реальной или виртуальной сцены и способ ее функционирования |
Also Published As
Publication number | Publication date |
---|---|
KR20210023665A (ko) | 2021-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11379035B2 (en) | System and method for resonant eye-tracking | |
US10542246B2 (en) | Methods and apparatus for superpixel modulation with ambient light suppression | |
KR102669768B1 (ko) | 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템 | |
CN110520827B (zh) | 使用扫描束和多个检测器的眼睛跟踪 | |
US20150253428A1 (en) | Determining positional information for an object in space | |
CN107036534B (zh) | 基于激光散斑测量振动目标位移的方法及系统 | |
US20190369253A1 (en) | Edge Detection Circuit and Detection of Features on Illuminated Eye Using the Same | |
US20220201264A1 (en) | Mems mirror-based extended reality projection with eye-tracking | |
CN108802870A (zh) | 可变焦距透镜装置和可变焦距透镜控制方法 | |
US20170059710A1 (en) | Object recognition device | |
CN111712781A (zh) | 具有硅光电倍增管传感器的高效的基于mems的眼睛追踪系统 | |
EP3382421A1 (en) | Methods and apparatus for superpixel modulation with ambient light suppression | |
US11435823B2 (en) | Eye-tracker with improved beam scanning and method therefor | |
Sarkar et al. | A large angle, low voltage, small footprint micromirror for eye tracking and near-eye display applications | |
RU2724445C1 (ru) | Устройство и способ отслеживания положения глаза | |
US11698676B2 (en) | Method and electronic device for eye-tracking | |
RU2766107C1 (ru) | Датчик и способ отслеживания положения глаз | |
JP2020087200A (ja) | 光学装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置 | |
JP3381233B2 (ja) | オートフォーカス装置及びフォーカス調整方法 | |
CN205785496U (zh) | 扫描振镜振动参数的测量系统 | |
JPH07244145A (ja) | 画像目標検出装置 | |
CN108169134B (zh) | 一种可连续旋转的光学扫描装置 | |
JPH09325019A (ja) | 3次元計測装置 | |
JPH09325010A (ja) | 3次元計測装置 | |
TW201300725A (zh) | 體感偵測裝置 |