RU2738070C1 - Устройство определения координат линии взора наблюдателя в режиме реального времени - Google Patents

Устройство определения координат линии взора наблюдателя в режиме реального времени Download PDF

Info

Publication number
RU2738070C1
RU2738070C1 RU2020115781A RU2020115781A RU2738070C1 RU 2738070 C1 RU2738070 C1 RU 2738070C1 RU 2020115781 A RU2020115781 A RU 2020115781A RU 2020115781 A RU2020115781 A RU 2020115781A RU 2738070 C1 RU2738070 C1 RU 2738070C1
Authority
RU
Russia
Prior art keywords
optical
observer
sight
distance
mirror
Prior art date
Application number
RU2020115781A
Other languages
English (en)
Inventor
Григор Леонович Григорян
Левон Арнольдович Григорян
Андрей Виталиевич Правдивцев
Original Assignee
Общество С Ограниченной Ответственностью «Тотал Вижен» (Ооо "Тотал Вижен")
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество С Ограниченной Ответственностью «Тотал Вижен» (Ооо "Тотал Вижен") filed Critical Общество С Ограниченной Ответственностью «Тотал Вижен» (Ооо "Тотал Вижен")
Priority to RU2020115781A priority Critical patent/RU2738070C1/ru
Priority to PCT/RU2020/000219 priority patent/WO2021230762A1/ru
Application granted granted Critical
Publication of RU2738070C1 publication Critical patent/RU2738070C1/ru

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Abstract

Изобретение относится к области физики, а именно к обработке данных, в частности к получению в режиме реального времени точных угловых координат линии взора наблюдателя относительно заданной точки на изображении и координат пересечения линии взора наблюдателя с плоскостью изображения. Устройство содержит оптические блоки для правого глаза и левого глаза наблюдателя, расположенные на одной плоскости таким образом, что их оптические оси параллельны и проходят в непосредственной близости от линии взора наблюдателя; устройство регулирования расстояния между упомянутыми оптическими блоками; контроллер регулирования расстояния между оптическими блоками; сенсоры определения движения головы; контроллер связи с внешними устройствами и внешние устройства. При этом каждый оптический блок состоит из оптической системы. Оптическая система состоит по меньшей мере из одной линзы, зеркала со спектральным делением каналов, устройства вывода визуальной информации и отслеживающего устройства на базе монокристальной видеосистемы. Вокруг оптической системы, в плоскости, перпендикулярной оптической оси блока, расположены источники инфракрасного излучения. Оптическая система расположена между глазом и зеркалом со спектральным делением каналов. Зеркало со спектральным делением каналов расположено между оптической системой и устройством вывода визуальной информации под углом к оптической оси блока. Отслеживающее устройство расположено под углом к зеркалу со спектральным делением каналов. 7 з.п. ф-лы, 9 ил.

Description

Область техники
Изобретение относится к области физики, а именно к обработке данных, в частности к получению в режиме реального времени точных угловых координат линии взора наблюдателя относительно заданной точки на изображении и координат пересечения линии взора наблюдателя с плоскостью изображения.
Уровень техники
Изобретение относится к области физики, а именно к обработке данных, в частности – получения в режиме реального времени точных угловых координат линии взора наблюдателя относительно заданной точки на изображении и координат пересечения линии взора с плоскостью изображения, формируемого устройством вывода визуальной информации – матрицей, экраном проектора или иным устройством (Visual Information Output Device – VIOD), встроенном в приспособление, размещенное на голове, например (но не ограничиваясь), шлем виртуальной реальности или очки дополненной или смешанной реальности (Head-Mounted Device – HMD) и может быть использовано во всех случаях, когда для получения корректного результата требуется точное, представленное в виде калиброванных данных, отслеживание координат линии взора наблюдателя, в частности – для создания измерительных устройств для измерения физиологических и зрительных функций организма; для реализации методик, использующих видеонистагмографию; в медицине (офтальмологии, неврологии, психиатрии, хирургии, психологии, реабилитации и т.д.), психолингвистике и других областях для получения объективной картины и достоверных результатов при исследовании физиологических и зрительных функций или проведении лечебных процедур; в маркетинге, образовании и игровой индустрии при тестировании различного видео-контента и работы с видео-тренажерами; в устройствах моделирования, диагностирования, ремонта, настройки и управления сложными системами и других областях; в системах создания виртуальной, дополненной и смешанной реальности для устранения негативной реакции в виде потери ориентации, утомляемости, головокружении, тошноты и т.д.; а также в качестве устройств ввода-вывода данных для взаимодействия человека с компьютером во всех областях.
Из уровня техники известна система отслеживания взгляда (US8510166B2, опубл. 13.08.2013). Система отслеживания взгляда представляет собой устройство отслеживания взгляда, размещенное на голове и сервер с программным обеспечением. Устройство, размещенное на голове выполнено с возможностью связи с сервером. Сервер получает изображения сцен от устройства слежения за взглядом, которое захватывает внешние сцены, просматриваемые наблюдателем, носящим устройство, установленное на голове. Сервер также получает информацию о направлении взгляда от устройства отслеживания взгляда, смонтированного на голове. Информация о направлении взгляда указывает, куда во внешних сценах смотрел наблюдатель при просмотре внешних сцен. Алгоритм распознавания изображений выполняется на изображениях сцены, чтобы идентифицировать элементы в пределах внешних сцен, просматриваемых наблюдателем. Создается журнал наблюдения, отслеживающий идентифицированные предметы, просматриваемые наблюдателем.
Недостатки данного решения: для отслеживания движения глаз в системе используется камера, работающая в видимом диапазоне. Системы подсветки нет. В этом случае могут быть проблемы при использовании при ярком освещении (блики и насыщение) или в тёмных условиях (плохо виден зрачок). Кроме того, такие системы обычно имеют узкое поле зрение, поэтому при больших поворотах зрачка будет существенное искажение формы и возможно даже будет потеря зрачка. Кроме того, присутствует возможность появления ошибок определения направления линии взора на изображение за счет: погрешностей, в частности геометрических, вносимых системой отслеживания линии взора, которая находится не линии взора; задержки при обработки визуальной информации, получаемой с системы слежения за линией взора (eye tracker); анатомических особенностей каждого человека, в частности за счет разного межзрачкового расстояния.
Из уровня техники известно устройство обнаружения точки взора (US9262680B2, опубл.16.02.2016). Устройство обнаружения точки обзора обнаруживает точку обзора объекта на окружающую среду. Устройство включает в себя: средство получения изображения глазного яблока, выполненное с возможностью получения изображения глазного яблока субъекта; средство оценки точки отражения, выполненное с возможностью оценки первой точки отражения, в которой отражается входящий свет в направлении оптической оси глазного яблока субъекта от изображения глазного яблока; средство вычисления скорректированной точки отражения, сконфигурированное для вычисления скорректированной точки отражения в качестве скорректированной первой точки отражения путем коррекции первой точки отражения на основе личного параметра, указывающего разницу между направлением взгляда субъекта и направлением оптической оси глазное яблоко.
Недостатки данного решения: для работы устройства требуется калибровка под каждый глаз, которая зависит от положения камеры. Система для калибровки достаточно сложная для реализации ее в носимом на голове устройстве. Кроме того, устройство «обнаруживает точку обзора объекта на окружающую среду», другим словами не предназначено для работы с системами генерирующими изображение устройствами вывода визуальной информации – матрицей, экраном проектора или иным устройством. Кроме того, обработка данных, получаемых с устройства, происходит с помощью средств обнаружения и вычисления, которые являются программами, работающими на компьютере, а следовательно, в этом случае, появляется вероятность ошибок определения направления оптической оси глазного яблока за счет задержки при обработке информации, в компьютере.
Точные координаты и их изменение в режиме реального времени необходимы во всех случаях, когда для получения корректного результата требуется точное, представленное в виде калиброванных данных, отслеживание координат линии взора наблюдателя, в частности – для создания измерительных устройств для измерения физиологических и зрительных функций организма; для реализации методик, использующих видеонистагмографию; в медицине (офтальмологии, неврологии, психиатрии, хирургии, психологии, реабилитации и т.д.), психолингвистике и других областях для получения объективной картины и достоверных результатов при исследовании физиологических и зрительных функций или проведении лечебных процедур; в маркетинге, образовании и игровой индустрии при тестировании различного видео-контента и работы с видео-тренажерами; в устройствах моделирования, диагностирования, ремонта, настройки и управления сложными системами и других областях; в системах создания виртуальной, дополненной и смешанной реальности для устранения негативной реакции в виде потери ориентации, утомляемости, головокружении, тошноты и т.д.; а также в качестве устройств ввода-вывода данных для взаимодействия человека с компьютером во всех областях.
Задача определения координат линии взора наблюдателя на изображение с помощью устройств слежения (eye tracker), усложняется необходимостью отслеживания изменения положения головы наблюдателя относительно объекта фиксации взора. Для отслеживания изменения положения головы наблюдателя применяются специальные датчики, показания которых обрабатываются компьютерными программами.
В результате накапливаются ошибки, связанные с ограниченной точностью работы датчиков и задержкой, вызванной временем обработки их показаний.
Устранить эти ошибки возможно зафиксировав положение устройства фиксации линии взора относительно устройства вывода визуальной информации (VIOD) в едином блоке, встроенном в приспособление, размещенное на голове (HMD), например, (но не ограничиваясь) шлем виртуальной реальности или очки дополненной, или смешанной реальности. Однако, в этом случае, остается возможность появления ошибки определения координат линии взора на изображение за счет: погрешностей, в частности геометрических, вносимых системой отслеживания координат линии взора; задержки при обработки визуальной информации, получаемой с системы слежения за линией взора (eye tracker); анатомических особенностей каждого человека, в частности за счет разного межзрачкового расстояния.
Раскрытие изобретения
Задачей, решаемой заявленным техническим решением, является создание устройства для определения в режиме реального времени угловых координат линии взора наблюдателя относительно заданной точки на изображении, а также координат пересечения линии взора с плоскостью изображения, формируемого устройством вывода визуальной информации – матрицей, экраном проектора или иным устройством (Visual Information Output Device – VIOD), встроенном в приспособление, размещенное на голове, например, (но не ограничиваясь) шлем виртуальной реальности или очки дополненной или смешанной реальности (Head-Mounted Device – HMD). А также создание устройства с минимальной погрешностью и с минимальной задержкой при обработке информации. Заявленное техническое решение позволяет получать калиброванные данные результатов измерения координат линии взора наблюдателя, в результате чего также позволяет устранить такие неприятные явления для наблюдателя, как потеря ориентации, утомляемость, головокружение, тошнота и т.д., которые возникают при использовании неправильно настроенных шлемов виртуальной реальности или очков дополненной или смешанной реальности.
Технический результат заявленного изобретения заключается в снижении погрешности, в уменьшение задержки при обработке информации и в повышении точности настройки оптических осей устройств вывода визуальной информации (VIOD) относительно оптических осей глаз.
Технический результат заявленного изобретения достигается за счет того, что устройство определения координат линии взора наблюдателя в режиме реального времени содержит оптические блоки для правого глаза и левого глаза наблюдателя, расположенные на одной плоскости, таким образом, что их оптические оси параллельны и проходят в непосредственной близости от линии взора наблюдателя; устройство регулирования расстояния между упомянутыми оптическими блоками и контроллер регулирования расстояния между оптическими блоками, выполненные с возможностью автоматического регулирования расстояния между оптическими блоками, в плоскости перпендикулярной оптическим осям упомянутых блоков; сенсоров определения движения головы, контроллера связи с внешними устройствами и внешние устройства, при этом каждый оптический блок состоит из оптической системы, состоящей по меньшей мере из одной линзы, зеркала со спектральным делением каналов, устройства вывода визуальной информации и отслеживающего устройства на базе монокристальной видеосистемы, при этом вокруг оптической системы, в плоскости перпендикулярной оптической оси блока расположены источники инфракрасного излучения, а оптическая система расположена между глазом и зеркалом со спектральным делением каналов, а зеркало со спектральным делением каналов расположено между оптической системой и устройством вывода визуальной информации под углом к оптической оси блока, при этом отслеживающее устройство расположено под углом к зеркалу со спектральным делением каналов.
В частном случае реализации заявленного технического решения контроллер регулирования расстояния между оптическими блоками выполнен с возможностью обработки данных с отслеживающего устройства, их сравнения с координатами пересечения линии взора с плоскостью изображения на устройстве вывода визуальной информации и подачи команды устройству регулирования расстояния между оптическими блоками на изменение расстояния между оптическими блоками для совмещения оптических осей обоих глаз наблюдателя с центрами изображения на устройствах вывода визуальной информации.
В частном случае реализации заявленного технического решения устройство регулирования расстояния между оптическими блоками расположено между или сзади или сверху или снизу от оптических блоков.
В частном случае реализации заявленного технического решения внешние устройства выполнены в виде устройств, генерирующих визуальную информацию и/или требующих для работы информацию о координатах линии взора, такие как компьютеры, измерительные устройства, контроллеры для решения задач в области медицины, образования, игровой индустрии, моделирования, диагностирования, ремонта, настройки и управления сложными системами, видео-тренажеры.
В частном случае реализации заявленного технического решения отслеживающее устройство выполнено на базе монокристальной видеосистемы представляет собой видеосистему, предназначенную для определения угловых координат линии взора, а также для обнаружения и идентификации быстро меняющихся малоразмерных целей в условиях неоднородного, изменяющегося во времени фона.
В частном случае реализации заявленного технического решения устройство регулирования расстояния между оптическими блоками представляет собой механизм, приводимый в действие электромотором или иным электрическим устройством.
В частном случае реализации заявленного технического решения источники инфракрасного излучения выполнены в виде отдельных светодиодов или в виде ленточных светодиодов.
В частном случае реализации заявленного технического решения выполнено в виде устройства, встроенного в приспособление, размещенное на голове, например, шлем виртуальной реальности или очки дополненной или смешанной реальности.
Для устранения указанных выше причин появления ошибок определения координат линии взора на изображение, использованы следующие технические решения:
• зеркало со спектральным делением каналов (spectral beamsplitter mirror - SBSM)
• система отслеживания координат линии взора (eye tracker) на базе монокристальной видеосистемы (System-on-a-Chip – SOC);
• устройство автоматического совмещения оптической оси глаза и оптической оси устройства вывода визуальной информации (VIOD).
Совместное использование этих технических решений позволяет получить в режиме реального времени максимально точное значение угловых координат линии взора наблюдателя относительно заданной точки на изображении и координат пересечения линии взора с плоскостью изображения для всех наблюдателей вне зависимости от межзрачкового расстояния.
Использование зеркала со спектральным делением каналов (SBSM) позволяет разместить оптическую ось отслеживающего устройства на линии взора и, таким образом, получить изображение зрачка глаза на камере отслеживающего устройства с минимальными геометрическими искажениями.
Система отслеживания координат линии взора (eye tracker) на базе монокристальной видеосистемы (SOC) позволяет исключить процессы передачи изображения и обработки видеоизображения с помощью специальных компьютерных программ, что решает сразу две задачи: первая – значительно сократить время обработки информации, поскольку все процессы анализа и обработки визуальной информации происходят в едином кристалле и в качестве результата видеосистема SOC выдает координаты зрачка на матрице видеосистемы; и вторая – сокращает требования в вычислительной мощности процессоров и устраняет необходимость использования сложных программ обработки изображения, что совместно позволяет использовать более экономичные вычислительные системы (экономия времени и денег).
Использование устройства автоматического совмещения оптической оси глаза и оптической оси устройства вывода визуальной информации (VIOD), позволяет устранить ошибки определения координат линии взора, а также другие искажения и ограничения видимого изображения, вызванные несовпадением оптической оси глаза и центра изображения на устройстве вывода визуальной информации (VIOD).
Краткое описание чертежей
Детали, признаки, а также преимущества настоящего изобретения следуют из нижеследующего описания вариантов реализации заявленного технического решения с использованием чертежей, на которых показано:
Фиг.1 – общая схема устройства;
Фиг.2 – структура оптического блока с оптической системой, состоящей из одной линзы;
Фиг.3 – структура оптического блока с оптической системой, состоящей из двух линз;
Фиг.4 – два варианта проекции глаза на устройство вывода визуальной информации (VIOD) – без использования зеркала со спектральным делением каналов и при использовании такого зеркала;
Фиг.5 – смещение оптических осей при разном значении межзрачкового расстояния и расстояния между осями устройств вывода визуальной информации (VIOD);
Фиг.6 – искажения и ограничения видимого изображения, возникающие в результате смещения оптических осей при разном значении межзрачкового расстояния и расстояния между осями устройств вывода визуальной информации (VIOD).
Фиг.7 – схема отслеживающего устройства на базе монокристальной видеосистемы (SOC);
Фиг.8 – сравнение размеров системы eye tracker «Eyelink 1000» и отслеживающего устройства на базе монокристальной видеосистемы – SOC;
Фиг.9 – пример механизма регулирования расстояния между оптическими блоками.
На фигурах цифрами обозначены следующие позиции:
1а – правый глаз; 1b – левый глаз; 2 – оптические блоки с зеркалом со спектральным делением каналов; 3 – контроллер регулирования расстояния между оптическими блоками; 4 – устройство регулирования расстояния между оптическими блоками; 5 – сенсоры определения движения головы; 6 – контроллер связи с внешними устройствами; 7 – внешнее устройство; 8 – источники инфракрасного излучения; 9 – оптическая система; 10 – зеркало со спектральным делением каналов; 11 – устройство вывода визуальной информации (VIOD); 12 – отслеживающее устройство; 13 – оптический блок без зеркала со спектральным делением каналов, характеризующий существующий уровень техники – оптические оси отслеживающего устройства и линия взора находятся под углом друг к другу; 14 – проекция глаза на отслеживающее устройство с зеркалом со спектральным делением каналов, происходит без геометрических искажений; 15 – проекция глаза на отслеживающее устройство без зеркала со спектральным делением каналов, происходит с геометрическими искажениями; 16 – сенсор (матрица пикселей); 17 – блок управления сенсором; 18 – блок приема данных от сенсора; 19 – блок вычисления параметров обнаруженных целей; 20 – система eye tracker «Eyelink 1000», характеризующая существующий уровень техники; 21 – отслеживающее устройства системы eye tracker на базе монокристальной видеосистемы – SOC; 22 – редуктор; 23 – электродвигатель; 24 – реечный механизм регулирования расстояния между оптическими блоками.
Сокращения и термины:
• Линия взора – пространственная ориентация сетчатки глаза (зрительная ось);
• Приспособление, размещенное на голове, например, шлем виртуальной реальности или очки дополненной, или смешанной реальности (Head-Mounted Device – HMD);
• Устройства вывода визуальной информации – матрица, экран проектора или иное устрой ство предназначенное для вывода визуальной информации (Visual Information Output Device – VIOD);
• Отслеживающее устройство (eye tracker) на базе монокристальной видеосистемы (System-on-a-Chip – SOC);
• Наблюдатель – человек или машина, ведущий наблюдение за изображением, формируемым устройством вывода визуальной информации – матрицей, экраном проектора или иным устройством (Visual Information Output Device – VIOD), встроенном в приспособление, размещенное на голове (Head-Mounted Device – HMD).
Раскрытие изобретения
Схема устройства определения координат линии взора в режиме реального времени изображена на фиг.1.
Устройство определения координат линии взора наблюдателя состоит из двух, левого и правого оптических блоков (2), контроллера регулирования расстояния между упомянутыми оптическими блоками (3), устройства регулирования расстояния между оптическими блоками (4), сенсоров определения движения головы (5) и контроллера (6) связи с внешними устройствами (7).
Оптические блоки (2) расположены на одной плоскости, таким образом, что их оптические оси параллельны и проходят в непосредственной близости от линии взора.
Устройство (4) регулирования расстояния между оптическими блоками (2) в вариантах реализации заявленного технического решения может быть расположено между, сзади, сверху или снизу от оптических блоков (2). Задача устройства (4) изменять расстояние между оптическими блоками (2), перемещая их в плоскости перпендикулярной их оптическим осям. Контроллеры регулировки расстояния между блоками и контроллеры связи с внешними устройствами расположены на платах в непосредственной близости от оптических блоков (2).
Под внешними устройствами (7) подразумеваются устройства, генерирующие визуальную информацию и/или требующие для работы информацию о координатах линии взора, например, но не только, компьютеры, измерительные устройства, контроллеры для решения специальных задач в области медицины, здравоохранения, образования, игровой индустрии, моделирования, диагностирования, ремонта, настройки и управления сложными системами, видео-тренажеры и т.д.
Оптические блоки (2) для правого и левого глаза имеют идентичную конструкцию. Схемы оптических блоков с одной и двумя линзами изображены на фиг. 2 и фиг. 3.
Оптический блок (2) состоит из источников инфракрасного излучения (8), оптической системы, состоящей из одной или более линз (9), зеркала со спектральным делением каналов (10), устройства вывода визуальной информации (VIOD) (11) и отслеживающего устройства на базе монокристальной видеосистемы (SOC) (12).
Источники инфракрасного излучения (8) расположены вокруг оптической системы (9), в плоскости перпендикулярной оптической оси блока (2). Оптическая система (9) расположена между глазом и зеркалом со спектральным делением каналов (SBSM) (10). Зеркало со спектральным делением каналов (SBSM) (10) расположено между оптической системой (9) и устройством вывода визуальной информации (VIOD) (11) под углом к оптической оси блока. Отслеживающее устройство на базе монокристальной видеосистемы (SOC) (12) расположено под углом к зеркалу со спектральным делением каналов (10).
Отслеживающее устройство на базе монокристальной видеосистемы (12) представляет собой видеосистему на кристалле (SOC), предназначенную для обнаружения и идентификации быстро меняющихся (перемещающихся и/или меняющих яркость) малоразмерных целей (световых пятен) в условиях неоднородного, изменяющегося во времени фона. Алгоритм обработки изображения обеспечивает определение X-, Y- координат центра тяжести, площади, признака формы, а также яркости одновременно нескольких целей.
Все узлы и блоки отслеживающего устройства расположены в одном кристалле (монокристальная система – SOC). Изображение проецируется на сенсор (матрицу пикселей) (16) (см. фиг. 7) и через блок приема данных от сенсора (17) передается на блок вычисления параметров цели (18) в котором реализуется алгоритм обработки изображения и вычисления требуемых параметров цели. Блок управления сенсором (19) осуществляет управление процессом считывания изображения с матрицы.
Глаз наблюдателя подсвечивается одним или несколькими источниками (8) света, работающими в инфракрасном диапазоне и расположенными вокруг оптической системы (9), в плоскости перпендикулярной оптической оси блока. Количество источников (8) света не влияет на результат действия устройства и определяется только конструкторским решением.
Источники (8) могут быть, как дискретные (например, светодиоды), так и ленточные (например, светодиодное кольцо). Зеркало (10) со спектральным делением каналов отражает свет в инфракрасном диапазоне и проецирует изображение глаза на отслеживающее устройство (SOC) (12) без геометрических искажений, как, если бы оно находилось непосредственно на линии взора. При этом для видимого цветового диапазона зеркало является прозрачным и позволяет глазу видеть изображение на устройстве вывода визуальной информации (VIOD).
Наличие зеркала со спектральным делением каналов позволяет отслеживать поворот глазного яблока и, соответственно, определять координаты линии взора, размеры и площадь зрачка, и другие параметры без искажений с максимальной точностью во всем диапазоне угла обзора.
На фиг. 4 изображены два варианта конструкции оптических блоков с использованием зеркала со спектральным делением каналов (2) и без использования такого зеркала (13).
Из рисунка видно, что в случае непосредственного наблюдения за глазным яблоком отслеживающим устройством (13), расположенным с сбоку от линии взора, зрачок, который является объектом непосредственного наблюдения, проецируется на отслеживающее устройство с геометрическими искажениями (15).
Эти искажения ограничивают угол возможного слежения и вносят значительные погрешности в результат измерения. Использование зеркала (10) со спектральным делением каналов позволяет разместить оптическую ось отслеживающего устройства (монокристальная видеосистема – SOC) на линии взора и, таким образом, получить изображение (14) зрачка глаза на камере отслеживающего устройства с минимальными геометрическими искажениями. Что, в свою очередь, дает возможность определять изменение координат линии взора на изображение с максимальной точностью во всем диапазоне угла обзора.
Однако, для получения в режиме реального времени точных угловых координат линии взора относительно заданной точки на изображении и координат пересечения линии взора с плоскостью изображения, формируемого устройством вывода визуальной информации (VIOD) необходимо совмещение оптической оси глаза и оптической оси устройства вывода визуальной информации (VIOD).
На фиг. 6 показано, что происходит при несоблюдении этого условия. Предположим, что глаз поворачивается на угол α, в случае совпадения осей, точка пересечения линии взора с плоскостью изображения отклонится на величину ∆х 1, в случае не совпадения осей, точка пересечения линии взора с плоскостью изображения отклонится на величину ∆х 2. При этом ∆х 1≠∆х 2 (на примере ∆х 1<∆х 2), что внесет погрешность в результат.
Межзрачковое расстоянием у разных людей – различается. Для взрослых оно составляет 58÷66мм, для детей – 41÷55мм.
Такой разброс не позволяет создавать универсальные устройства определения координат линии взора, подходящие любому человеку. Для устранения этого недостатка используют разнообразные приспособления для настройки устройства или компенсации возникающих искажений.
Описываемое решение производит автоматическое совмещение оптической оси глаза и оптической оси устройства вывода визуальной информации (VIOD). Что в свою очередь позволяет устранить ошибки определения координат линии взора, а также другие искажения и ограничения видимого изображения, вызванные несовпадением оптической оси глаза и центра изображения на устройстве вывода визуальной информации (см. фиг. 1).
Отслеживающее устройство (SOC) (12) определяет угловые координаты линии взора, а также другие параметры, например, но те только, размер, признаки формы, яркость зрачка, а также иных объектов, расположенных в зоне действия устройства, и передает их в контроллер регулирования расстояния между оптическими блоками (3).
Контроллер регулирования расстояния между оптическими блоками (3) обрабатывает эти данные, сравнивает их с координатами пересечения линии взора с плоскостью изображения на устройстве вывода визуальной информации (VIOD) и дает команду устройству регулирования расстояния между оптическими блоками (4) на изменение расстояния между оптическими блоками для совмещения оптических осей обоих глаз наблюдателя с центрами изображения на устройствах вывода визуальной информации (VIOD). Данные об изменении расстояния также поступают в контроллер, который актуализирует команды устройству регулирования расстояния между оптическими блоками (4). Эти действия повторяются до того момента, когда будет достигнуто совмещение точек пересечения линии взора с плоскостью устройства вывода визуальной информации (VIOD) с заданными координатами на этой плоскости.
Устройство регулирования расстояния между оптическими блоками (4) представляет собой механизм (червячный, шестереночный, рычажной, реечные или иной, конструкция устройства не влияет на принцип действия системы) приводимый в действие электромотором или иным электрическим устройством. Задача устройства изменять расстояние между оптическими блоками перемещая их в плоскости перпендикулярной их оптическим осям. На фиг. 9 приведен пример реализации устройства регулирования расстояния между оптическими блоками. Устройство приводится в действие электродвигателем (23). Посредством редуктора (22) и реечного механизма (24) вращательное движение оси электродвигателя преобразуется в поступательное. Реечный механизм (24) осуществляет перемещение оптических блоков (2).
В качестве отслеживающего устройства использована монокристальная видеосистема (SOC). Преимущество такого решения в том, что один монокристалл SOC заменяет сложный дорогостоящий аппаратно-программный комплекс, состоящий из видеокамеры, процессора и программного обеспечения. Благодаря использованию отслеживающего устройства на базе монокристальной видеосистемы (SOC) удается получить значительную экономию в размерах и стоимости решения.
Используемая в устройстве монокристальная видеосистема SOC имеет следующие характеристики: частота обновления до 2000 кадров в секунду, точность 5 угловых минут. Традиционные устройства, не экономичны (требуют большой вычислительной мощности и, следовательно, дополнительного охлаждения) и в силу громоздкости не могут быть использованы в мобильных устройствах, в частности в приспособлениях, размещенных на голове (HMD), например, шлемах виртуальной реальности или очках дополненной, или смешанной реальности. К примеру, eye tracker Eyelink 1000 (Канада), имеющий сходные характеристики по частоте и точности имеет размеры 29 см x 18 см x 9 см, вес 7 кг, требует для работы дополнительный монитор и компьютер и стоит в минимальной комплектации $31000. На фиг. 8 представлены фотографии eye tracker Eyelink 1000 (слева) и отслеживающего устройства на базе монокристальной видеосистемы (SOC) (справа).

Claims (13)

1. Устройство определения координат линии взора наблюдателя в режиме реального времени, содержащее
оптические блоки для правого глаза и левого глаза наблюдателя, расположенные на одной плоскости таким образом, что их оптические оси параллельны и проходят в непосредственной близости от линии взора наблюдателя;
устройство регулирования расстояния между упомянутыми оптическими блоками и контроллер регулирования расстояния между оптическими блоками, выполненные с возможностью автоматического регулирования расстояния между оптическими блоками, в плоскости, перпендикулярной оптическим осям упомянутых блоков;
сенсоры определения движения головы,
контроллер связи с внешними устройствами и внешние устройства,
при этом каждый оптический блок состоит из оптической системы, состоящей по меньшей мере из одной линзы, зеркала со спектральным делением каналов, устройства вывода визуальной информации и отслеживающего устройства на базе монокристальной видеосистемы, причем вокруг оптической системы в плоскости, перпендикулярной оптической оси блока, расположены источники инфракрасного излучения, а оптическая система расположена между глазом и зеркалом со спектральным делением каналов, причем зеркало со спектральным делением каналов расположено между оптической системой и устройством вывода визуальной информации под углом к оптической оси блока, при этом отслеживающее устройство расположено под углом к зеркалу со спектральным делением каналов.
2. Устройство по п.1, отличающееся тем, что контроллер регулирования расстояния между оптическими блоками выполнен с возможностью обработки данных с отслеживающего устройства, их сравнения с координатами пересечения линии взора с плоскостью изображения на устройстве вывода визуальной информации и подачи команды устройству регулирования расстояния между оптическими блоками на изменение расстояния между оптическими блоками для совмещения оптических осей обоих глаз наблюдателя с центрами изображения на устройствах вывода визуальной информации.
3. Устройство по п.1, отличающееся тем, что устройство регулирования расстояния между оптическими блоками расположено между, или сзади, или сверху, или снизу от оптических блоков.
4. Устройство по п.1, отличающееся тем, что внешние устройства выполнены в виде устройств, генерирующих визуальную информацию и/или требующих для работы информации о координатах линии взора, такие как компьютеры, измерительные устройства, контроллеры для решения задач в области медицины, образования, игровой индустрии, моделирования, диагностирования, ремонта, настройки и управления сложными системами, видеотренажеры.
5. Устройство по п.1, отличающееся тем, что отслеживающее устройство выполнено на базе монокристальной видеосистемы, представляет собой видеосистему, предназначенную для определения угловых координат линии взора, а также для обнаружения и идентификации быстро меняющихся малоразмерных целей в условиях неоднородного, изменяющегося во времени фона.
6. Устройство по п.1, отличающееся тем, что устройство регулирования расстояния между оптическими блоками представляет собой механизм, приводимый в действие электромотором или иным электрическим устройством.
7. Устройство по п.1, отличающееся тем, что источники инфракрасного излучения выполнены в виде отдельных светодиодов или в виде ленточных светодиодов.
8. Устройство по п.1, отличающееся тем, что выполнено в виде устройства, встроенного в приспособление, размещенное на голове, например шлем виртуальной реальности или очки дополненной или смешанной реальности.
RU2020115781A 2020-05-13 2020-05-13 Устройство определения координат линии взора наблюдателя в режиме реального времени RU2738070C1 (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RU2020115781A RU2738070C1 (ru) 2020-05-13 2020-05-13 Устройство определения координат линии взора наблюдателя в режиме реального времени
PCT/RU2020/000219 WO2021230762A1 (ru) 2020-05-13 2020-05-14 Устройство определения координат линии взора наблюдателя

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2020115781A RU2738070C1 (ru) 2020-05-13 2020-05-13 Устройство определения координат линии взора наблюдателя в режиме реального времени

Publications (1)

Publication Number Publication Date
RU2738070C1 true RU2738070C1 (ru) 2020-12-07

Family

ID=73792338

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020115781A RU2738070C1 (ru) 2020-05-13 2020-05-13 Устройство определения координат линии взора наблюдателя в режиме реального времени

Country Status (2)

Country Link
RU (1) RU2738070C1 (ru)
WO (1) WO2021230762A1 (ru)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262680B2 (en) * 2012-07-31 2016-02-16 Japan Science And Technology Agency Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium
RU2634682C1 (ru) * 2016-06-15 2017-11-02 Алексей Павлович Ермолаев Портативное устройство для исследования зрительных функций
RU2642130C2 (ru) * 2013-09-03 2018-01-24 Сейко Эпсон Корпорейшн Прибор отображения виртуального изображения
US9971401B2 (en) * 2011-04-21 2018-05-15 Sony Interactive Entertainment Inc. Gaze-assisted computer interface
US20190392210A1 (en) * 2014-06-27 2019-12-26 Fove, Inc. Gaze detection device
JP2020059325A (ja) * 2018-10-05 2020-04-16 現代自動車株式会社Ｈｙｕｎｄａｉ Ｍｏｔｏｒ Ｃｏｍｐａｎｙ 注視検出装置及びその輻輳制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2332921C1 (ru) * 2006-12-01 2008-09-10 НМУ "Клиническое объединение Центров Охраны Зрения Детей и Подростков "Ясный взор" Бинокулярный оптометрический комплекс

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971401B2 (en) * 2011-04-21 2018-05-15 Sony Interactive Entertainment Inc. Gaze-assisted computer interface
US9262680B2 (en) * 2012-07-31 2016-02-16 Japan Science And Technology Agency Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium
RU2642130C2 (ru) * 2013-09-03 2018-01-24 Сейко Эпсон Корпорейшн Прибор отображения виртуального изображения
US20190392210A1 (en) * 2014-06-27 2019-12-26 Fove, Inc. Gaze detection device
RU2634682C1 (ru) * 2016-06-15 2017-11-02 Алексей Павлович Ермолаев Портативное устройство для исследования зрительных функций
JP2020059325A (ja) * 2018-10-05 2020-04-16 現代自動車株式会社Ｈｙｕｎｄａｉ Ｍｏｔｏｒ Ｃｏｍｐａｎｙ 注視検出装置及びその輻輳制御方法

Also Published As

Publication number Publication date
WO2021230762A1 (ru) 2021-11-18

Similar Documents

Publication Publication Date Title
US20230379449A1 (en) Systems for facilitating augmented reality-assisted medical procedures
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
US7783077B2 (en) Eye gaze tracker system and method
US7533989B2 (en) Sight-line detection method and device, and three-dimensional view-point measurement device
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
US8371693B2 (en) Autism diagnosis support apparatus
EP0596868A2 (en) Eye tracking method using an image pickup apparatus
US20240046432A1 (en) Compensation for deformation in head mounted display systems
JP4517049B2 (ja) 視線検出方法および視線検出装置
US20070189742A1 (en) Method and apparatus for detecting sight line vector
EP2649932A1 (en) Method for detecting point of gaze and device for detecting point of gaze
CN111603134B (zh) 眼球运动测试的装置及方法
JP2010259605A (ja) 視線測定装置および視線測定プログラム
CN104244807A (zh) 注视点检测装置、注视点检测方法、个人参数计算装置、个人参数计算方法、程序、以及计算机可读取的记录介质
JP2014509533A (ja) 照射特性を調整可能にして少なくとも１つの眼における少なくとも１つのパラメータを捕捉する光学的測定装置及び方法
CN107991775B (zh) 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
WO2017179279A1 (ja) 視線測定装置および視線測定方法
US20220365342A1 (en) Eyeball Tracking System and Method based on Light Field Sensing
US5896226A (en) Optical device for the visualization of a three dimensional virtual image in superposition with a real object, especially for surgical applications
RU2738070C1 (ru) Устройство определения координат линии взора наблюдателя в режиме реального времени
JP2012029940A (ja) 視線計測方法及び視線計測装置
CN112315423B (zh) 眼球运动测量设备
JP6496917B2 (ja) 視線測定装置および視線測定方法
RU2739519C1 (ru) Устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, и фиксации реакции на это изображение
CN113729609A (zh) 同视机