RU220681U1 - Устройство дополненной реальности - Google Patents

Abstract

Полезная модель относится к классу оптических устройств иммерсивной технологии для формирования дополненной реальности и представляет собой носимое оператором устройство, которое может использоваться для проецирования в монокулярном или бинокулярном варианте виртуального «информационного слоя» на видимое реальное окружение оператора, при проведении различных технологических операций со сложными машиностроительными изделиями и оборудованием.

Устройство дополненной реальности состоит из головного блока, содержащего оптические модули, модуль инерциальной навигационной системы, модуль камер, модуль платы сопряжения, модуль компьютерной платы, Wi-Fi-модуль и вычислительный модуль. При этом головной блок включает затылочную и лобную части. Оптические модули, модуль инерциальной навигационной системы, модуль камер и модуль платы сопряжения размещены в лобной части головного блока. А модуль компьютерной платы, Wi-Fi-модуль и вычислительный модуль размещены в затылочной части головного блока. Модуль ввода/вывода звука располагается непосредственно рядом с ушами оператора.

Технический результат полезной модели заключается в повышении комфортности использования УДР, размещаемого на голове. 2 ил.

Description

Полезная модель устройства дополненной реальности (УДР), относится к классу оптических устройств иммерсивной технологии для формирования дополненной реальности и представляет собой носимое оператором устройство, которое может использоваться для проецирования в монокулярном или бинокулярном варианте виртуального «информационного слоя» на видимое реальное окружение оператора, при проведении различных технологических операций со сложными машиностроительными изделиями и оборудованием.

Ниже приведены описания нескольких устройств, характеризующие уровень техники в области устройств трансляции дополненной реальности, наиболее близких по функционалу к предлагаемой полезной модели.

Известен патент на полезную модель РФ RU 210426 U1 «Устройство для трансляции дополненной реальности». Полезная модель относится к портативной цифровой технике формирования дополненной реальности, в частности к оптическим устройствам, предназначенным для формирования стереовидеопотока в режиме реального времени. Устройство для трансляции дополненной реальности на видеопоток реального физического окружения пользователя содержит стереокамеры для мониторинга пространства, установленные на каркас оптического устройства защитных очков закрытого исполнения; механизм для крепления аппаратного модуля с экраном; разъем с проводом для подключения к аппаратному модулю с экраном, аппаратный модуль с экраном, где аппаратный модуль обеспечивает передачу видеопотока с эффектом дополненной реальности; корпус с бинокулярной оптикой и интегрированным в корпус блоком управления автофокусом, где автоматическое управление автофокусом включает обеспечение максимальной четкости изображения при попеременной смене фокусного расстояния с дальнего на ближнее с последующим выбором оптимального фокусного расстояния; механизм для регулирования положения линз бинокулярной оптики. Заявленным техническим результатом является расширение арсенала технических устройств трансляции изображений дополненной реальности на реальное физическое окружение. Недостатками данного устройства являются: неизбежная задержка, возникающая при выводе изображения со стереокамеры оператору; смещение всей массы устройства на лобную часть головы, что увеличивает нагрузку на шею оператора; отсутствие штатного вычислительного модуля; отсутствие вывода звуковой информации; отсутствие технического описания принципа позиционирования объектов виртуального слоя относительно объектов из реального физического окружения пользователя.

Известен патент на полезную модель РФ RU 138628 U1 «Очки дополненной реальности». Очки дополненной реальности, содержащие оправу, на которой закреплены правый и левый оптические рефлекторы, каждый из которых выполнен из слоев поликарбонатного прозрачного стекла, между которыми имеется электроуправляемая пленка, внутренняя поверхность оптических рефлекторов покрыта полупрозрачным отражающим слоем, между рефлекторами на носовой перемычке над правым и левым носовыми упорами установлены правая и левая эмиссионные жидкокристаллические матрицы, размещенные с возможностью формирования оптического пути через соответствующий рефлектор к глазу пользователя, корпуса дужек оправы выполнены полыми, и в корпусе правой дужки размещен правый электронный блок, включающий процессор с блоком памяти, к шине которого подключены модуль беспроводной связи Bluetooth, разъем MicroUSB, датчик освещенности, микрофон и динамик, а в корпусе левой дужки размещен левый электронный блок, включающий подключенные к шине правого электронного блока видеопроцессор, ИК-камеру, МЭМС-датчик движения и устройство ввода, при этом видеопроцессор связан с правой и левой эмиссионными жидкокристаллическими матрицами, а на разъемной носовой перемычке размещен узел регулировки, выполненный с возможностью изменения расстояния между оптическими рефлекторами. Заявленным техническим результатом является повышение комфортности ношения и исключение нарушений зрения за счет учета анатомических особенностей каждого пользователя при наблюдении изображения. Недостатками данного устройства являются: возможность размещения вычислительного устройства ограниченной производительности и аккумуляторной батареи ограниченной емкости из-за компоновки и габаритных размеров устройства; отсутствие RGB камеры; отсутствие возможности высокоскоростного соединения с удаленным вычислительным устройством.

Известен патент США US 11120266 «Augmented reality display device with deep learning sensors» (Устройство вывода дополненной реальности с датчиками глубокого обучения). В данном изобретении описано устройство дополненной реальности, носимое на голове пользователя. Устройство включает процессорный модуль, обрабатывающий разные типы данных с множества датчиков. Датчики включают инерциальную навигационную систему, камеры, в том числе глубины сцены и анализа зрачка пользователя, и микрофон. С помощью нейросетевых алгоритмов система анализирует данные и способна выполнять такие задачи как распознавание лиц, идентификация жестов, визуальный поиск объектов, семантическую сегментацию, одновременное картографирование и локализацию (SLAM - англ. simultaneous localization and mapping), и релокализацию. В патенте на изобретение рассмотрено множество вариантов совместной компоновки датчиков и оборудования устройства дополненной реальности, а также схемы, раскрывающие принципы и методы комплексирования и нейросетевого анализа данных, поступающих с датчиков на процессор устройства. Заявленное преимущество изобретения - множество вариантов компоновок устройства дополненной реальности, рассмотрены принципы обработки данных, в том числе, схема потоковой обработки данных бортовой нейросетью устройства. Недостатками данного устройства являются: размещение вычислительного устройства на удалении от датчиков, что ограничивает выбор аппаратного интерфейса высокоскоростной связи между ними; смещение всей массы устройства на лобную часть головы, что увеличивает нагрузку на шею оператора.

Известен патент Республики Корея №KR 20130067450 «Field applied safety helmet apparatus for AR-based of maintenance and method for providing its application service» (Защитный шлем для проведения базирующихся на дополненной реальности технических работ в полевых условиях, и метод его применения). В изобретении описывается устройство дополненной реальности, встроенное в защитный шлем полевого обслуживающего персонала. В состав устройства входит камера, собирающая данные об окружающей обстановке. Кроме того, устройство оснащено дисплеем, датчиками положения, датчиками состояния среды, микрофоном и динамиками, а также процессорным модулем и устройством ввода команд. Процессорный модуль обрабатывает данные с датчиков, и на основе их показаний генерирует указания и рекомендации пользователю, выводя их на экран в виде дополненного изображения. Заявленное преимущество изобретения - интеграция системы с шлемом рабочего и его направленность на конкретное применение в реальных промышленных условиях. Кроме того, устройство интегрирует датчики состояния среды, такие как показателей CO₂ или загазованности среды, что позволяет повышать безопасность проведения некоторых работ в опасных средах и условиях. Недостатками данного устройства являются: размещение на защитном шлеме, что может ограничивать область применения; отсутствие аккумуляторной батареи.

Известен патент на полезную модель РФ RU 201742 U1 на очки дополненной реальности, ориентированные на применение в условиях опасного производства. Очки дополненной реальности содержат каркас, выполненный с возможностью крепления на голове пользователя, дисплеи, оптический элемент, светоотражающий элемент, расположенный под углом к оптическому элементу, обеспечивающему проекцию света от дисплея на оптическую систему глаза пользователя. Очки содержат вычислительный модуль с блоком автономного питания, вынесенные для ношения на поясе пользователя, сенсоры, отвечающие за ориентацию в пространстве, и камеры для визуального восприятия окружающего пространства. В качестве оптического элемента установлена проективная оптика со светоделителем и сферическим зеркалом. На очках установлен автоматический регулятор светопропускания на основе динамического аттенюатора. Заявленный технический результат - обеспечение высокого качества изображения, в том числе, за счет отсутствия зависимости от зарядки/разрядки аккумулятора и изменения степени освещенности объекта. Данное техническое решение принято в качестве прототипа. Недостатками данного устройства являются: размещение вычислительного устройства на удалении от датчиков, что ограничивает выбор аппаратного интерфейса высокоскоростной связи между ними; смещение всей массы устройства на лобную часть головы, что увеличивает нагрузку на шею оператора; отсутствие возможности высокоскоростного соединения с удаленным вычислительным устройством.

Техническими проблемами, на устранение которых направлена заявляемая полезная модель, являются ограниченные вычислительные мощности устройств (отсутствие возможности масштабирования за счет подключения удаленной подсистемы обработки данных), неоптимальная компоновка, приводящая к чрезмерной нагрузке на голову оператора.

Технический результат полезной модели заключается в повышении комфортности использования УДР, размещаемого на голове.

Технический результат достигается разнесенной компоновкой модулей головного блока УДР. Оптические модули, модуль камер, модуль инерционной навигационной системы и модуль платы сопряжения размещаются в лобной части головного блока, а вычислительный модуль, модуль компьютерной платы и Wi-Fi-модуль в затылочной части головного блока, модуль ввода/вывода звука располагается непосредственно рядом с ушами оператора. При этой компоновке достигается оптимальная развесовка головного блока УДР, снижающая нагрузку на мышцы шеи оператора, и увеличивается время работы оператора с УДР.

Реализована возможность подключения к удаленной подсистеме обработки данных (далее - ПОД, эта подсистема в устройство не входит) по интерфейсу Wi-Fi, при этом задачи УДР, которые требуют минимальной задержки (формирование виртуального «информационного слоя», задачи определения положения УДР на основе данных с инерциальной навигационной системы и камер), а также задачи передачи данных, требующих сжатия, по беспроводной сети на ПОД могут выполняться на УДР, а задачи, не требующие решения с минимальными задержками, могут выполняться на ПОД. При этом, вычислительные возможности системы возможно масштабировать, путем подбора ПОД необходимой производительности, а использование ограниченных вычислительных возможностей УДР минимизировать. Автономность устройства достигается с помощью поясного блока, размещаемого на поясе или в кармане оператора, с аккумуляторными батареями, который не нагружает дополнительной массой головной блок УДР. Поясной блок позволяет варьировать емкость аккумуляторной батареи путем изменения количества элементов питания.

УДР испытано в составе системы контроля ручных операций по видеоизображению, использующей обучение на синтетических данных, детектирование объектов, ручных операций, жестов, голосовых команд и пр. Использование перечисленных технологий повышает качество выводимого виртуального информационного слоя на видимое реальное окружение оператора.

Полезная модель поясняется чертежами.

На фиг. 1 изображена структурная схема устройства, на фиг. 2 изображен внешний вид устройства.

Позициями на фигурах обозначены:

1 - головной блок (ГБ) (включает носимые на голове очки дополненной реальности);

2 - поясной блок (ПБ) (включает носимый на поясе блок аккумуляторов с контроллером управления питанием).

Блоки соединены специализированным кабелем, по которому передается питание, а также осуществляется обмен данными между блоками.

Основные компоненты ГБ:

3 - лобная часть ГБ;

4 - затылочная часть ГБ;

5 - вычислительный модуль (необходим для приема, передачи и обработки информации);

6 - модуль компьютерной платы (предназначен для подключения вычислительного модуля, модуля ввода/вывода, модуля платы сопряжения, кроме того через этот модуль питание от ПБ поступает во все остальные модули ГБ);

7 - Wi-Fi-модуль;

8 - модуль ввода/вывод звука;

9 - модуль платы сопряжения (предназначен для подключения модуля инерциальной навигационной системы (далее - ИНС), оптических модулей и модуля камер);

10 - модуль камер (включает в себя RGB и Depth камеры);

11 - модуль ИНС (предназначен для измерения ускорений, угловых скоростей и определения ориентации в пространстве ГБ);

12, 13 - оптические модули, предназначенные для вывода виртуального информационного слоя оператору.

ПБ УДР служит для обеспечения автономного использования УДР на протяжении требуемого времени, а также дает возможность непрерывно работать с использованием подключенного внешнего источника питания (в УДР не входит), если необходимо.

ГБ УДР предназначен для обработки информации с модуля камер и модуля ИНС, и генерации изображения дополненной реальности оператору с помощью оптических модулей. Кроме того, УДР обеспечивает возможность удаленной связи с ПОД или для видеосвязи со специалистом для консультаций.

Устройство работает следующим образом.

Информация с модуля ИНС 11 поступает в модуль платы сопряжения 9, где происходит обработка данных модуля ИНС 11 и предварительное вычисление ориентации ГБ 1. Информация с модуля камер 10 объединяется с данными о вычисленной ориентации ГБ 1 и передается в затылочную часть ГБ 4 на модуль компьютерной платы 6. Модуль компьютерной платы 6 преобразует полученные данные для дальнейшей передачи по штатным интерфейсам вычислительному модулю 5. Вычислительный модуль 5 с помощью предварительно вычисленной ориентации ГБ 1 и информации с модуля камер 10 решает задачу определения положения и ориентации ГБ 1 в рабочем пространстве с привязкой к кадрам видеоинформации, поступающей с модуля камер 10. При необходимости вычислительный модуль 5 производит предварительную обработку, сжатие и передачу информации через Wi-Fi-модуль 7 на ПОД (на фигурах не показана) для последующей обработки.

Информация, необходимая для генерации дополненной реальности формируется в вычислительном модуле 5 или поступает от ПОД через Wi-Fi-модуль 7 на вычислительный модуль 5. В вычислительном модуле 5 генерируется изображение дополненной реальности с использованием информации о положении и ориентации ГБ в рабочем пространстве. Изображение дополненной реальности через модуль компьютерной платы 6 и модуля платы сопряжения 9 выводится на оптические модули 12, 13. При реализации монокулярного варианта используется один оптический модуль 12.

Питание от ПБ 2 поступает на модуль компьютерной платы 6 и затем распределяется для питания вычислительного модуля 5 и модуля платы сопряжения 9. По запросу вычислительного модуля 5 через модуль компьютерной платы 6 поступает телеметрическая информация с ПБ 2 о состоянии питания. Модуль платы сопряжения 9 осуществляет питание модуля ИНС 11, модуля камер 10 и оптических модулей 12, 13.

В качестве вычислительного модуля 3 может использоваться Jetson ТХ2 производителя Nvidia, в качестве модуля камер 11 - Realsense D415 производителя Intel. Оптические модули 12, 13 вывода дополненной реальности могут быть выполнены на основе световодных пластин с дифракционными оптическими элементами.

На основании вышеприведенного описания можно сделать вывод о достижении заявленного технического результата полезной модели.

Claims (1)

1. Устройство дополненной реальности, состоящее из головного блока, содержащего оптические модули, модуль инерциальной навигационной системы, модуль камер, модуль платы сопряжения, модуль компьютерной платы, Wi-Fi-модуль и вычислительный модуль, отличающееся тем, что головной блок включает затылочную и лобную части, при этом оптические модули, модуль инерциальной навигационной системы, модуль камер и модуль платы сопряжения размещены в лобной части головного блока, а модуль компьютерной платы, Wi-Fi-модуль и вычислительный модуль размещены в затылочной части головного блока, модуль ввода/вывода звука располагается непосредственно рядом с ушами оператора.

Images