WO2019004862A1

WO2019004862A1 - Система виртуальной реальности

Info

Publication number: WO2019004862A1
Application number: PCT/RU2017/000705
Authority: WO
Inventors: Дмитрий Сергеевич ШАНЬГИН
Original assignee: Дмитрий Сергеевич ШАНЬГИН
Priority date: 2017-06-29
Filing date: 2017-09-26
Publication date: 2019-01-03
Also published as: RU2682014C1

Abstract

Изобретение относится к компьютерным системам, а именно к системам виртуальной реальности, и предназначено, в частности, для создания игровых симуляторов. Техническим результатом заявляемого изобретения является упрощение калибровки системы при упрощении конструкции без потери точности распознавания. Система виртуальной реальности содержит видеокамеру, средство формирования изображения, носимый элемент, выполненный флуоресцентного цвета, и устройство обработки данных, выполненное с возможностями: получения информации от видеокамеры, распознавания флуоресцентного цвета носимого элемента и вывода на средство формирования изображения.

Description

СИСТЕМА ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ

5 Изобретение относится к компьютерным системам, а именно к системам виртуальной реальности, и предназначено, в частности, для создания игровых симуляторов.

В описании использованы следующие термины и сокращения.

Пантон (Pantone) - цветовая модель Пантон, система PMS (англ. Pantone ю Matching System)— стандартизованная система подбора цвета, разработанная американской фирмой Pantone Inc в середине XX века.

Bluetooth (от слов англ. blue— синий и tooth— зуб)— производственная спецификация беспроводных персональных сетей.

Wi-Fi (англ. Wireless Fidelity - дословно «беспроводное качество» или

15 «беспроводная точность») — торговая марка Wi-Fi Alliance для беспроводных сетей на базе стандарта IEEE 802.11.

Наиболее близким аналогом заявляемого изобретения является техническое решение из патента US 8206266. Система содержит компьютерный модуль, трамплин для упражнений, модуль с датчиками для определения

20 перемещений пользователя на трамплине. Модуль с датчиками передаёт информацию компьютерному модулю для отображения аватара пользователя на мониторе в зависимости от движений пользователя. В качестве датчиков могут быть использованы нательные датчики, датчики на трамплине и датчики дистанционного обзора.

25 Однако в данном решении использовано большое количество датчиков, что усложняет работу системы, и требует точной настройки и калибровки, без которых значительно снижается точность распознавания образов, захвата движения и, соответственно, некорректная генерация виртуальной реальности. Данное решение является достаточно сложным и громоздким техническим сооружением, зо которое требует внесение изменений в сам батут, имплементацией датчиков натяжения, а также установки над батутом инфракрасных датчиков контроллеров, отслеживающих инфракрасные метки на специальных перчатках, на наголовнике и на руках. Калибровка данного решения перед практическим использованием требует достаточно тонких и продолжительных настроек под каждого игрока, т.к.

35 датчики натяжения батута по-разному будут реагировать на людей с разным физическим весом. Кроме того, инфракрасные датчики могут захватывать и неправильно идентифицировать помехи от солнечных бликов и мощного светового оборудования. Все это накладывает существенные ограничения на мобильность, транспортировку, монтаж и интенсивность использования данного 5 решения.

Техническая проблема, на решение которой направлено заявляемое изобретение, заключается в создании системы виртуальной реальности с простой калибровкой захвата движения.

Техническим результатом заявляемого изобретения является упрощение ю калибровки системы при упрощении конструкции без потери точности распознавания.

Указанный технический результат достигается за счёт того, что система виртуальной реальности содержит видеокамеру, средство формирования изображения, носимый элемент, выполненный флуоресцентного цвета, и 15 устройство обработки данных, выполненное с возможностями: получения информации от видеокамеры, распознавания флуоресцентного цвета носимого элемента и вывода на средство формирования изображения.

Видеокамера может быть выполнена в виде или цифровой камеры, или в виде контроллера Kinect, или в виде веб-камеры.

20 Носимый элемент может быть выполнен в виде жилета.

Система может дополнительно содержать спортивный инвентарь.

Спортивный инвентарь может быть выполнен в виде батута.

Устройство обработки данных может быть выполнено в виде персонального компьютера или мобильного устройства.

25 Устройство обработки данных может быть снабжено программным обеспечением создания виртуальной реальности на основе данных, получаемых от видеокамеры.

Носимый элемент может быть выполнен размером не менее 200X200 мм.

Средство формирования изображения может быть выполнено в виде зо дисплея или проектора.

Заявляемая система обеспечивает решение, которое максимально упрощает игровой комплекс, дает возможность его применения не только в самых разных условиях, но и унифицирует его для интенсивного использования большим количеством участников без индивидуальных калибровок и настроек. Использование флуоресцентного цвета носимого элемента повышает точность распознавания данного носимого элемента как цветового маркера для программного обеспечения распознавания образов и создания виртуальной реальности, что было доказано экспериментально.

Наилучший вариант реализации заявляемого изобретения показан на фигурах 1-17, на которых изображены:

Фиг. 1 - система виртуальной реальности;

Фиг. 2-5 - фотографии батутных центров;

Фиг. 6-17 - фотографии экспериментов.

На фиг. 1 позициями 1-5 показаны:

1 - видеокамера;

2 - дисплей;

3 - носимый элемент;

4 - устройство обработки данных;

5 - спортивный инвентарь.

Система виртуальной реальности содержит видеокамеру 1 , дисплей 2, носимый элемент 3, выполненный флуоресцентного цвета с возможностью фиксации на пользователе (игроке), и устройство обработки данных 4, выполненное с возможностью получения информации от видеокамеры 1 , распознавания флуоресцентного цвета носимого элемента 3 и вывода на дисплей 2.

В данном случае видеокамера 1 выполнена в виде веб-камеры. Однако видеокамера 1 может быть выполнена в виде цифровой камеры, контроллера Kinect и других подходящих устройств.

В данном случае средство формирования изображения выполнено в виде дисплея 2, но может представлять собой и проектор, например, кинопроектор с экраном или лазерный проектор.

Носимый элемент 3 в данном случае выполнен в виде жилета, однако может быть выполнен в виде повязки, футболки или другого элемента одежды, а также куска самоклеящейся бумаги или плёнки.

В данном случае система содержит спортивный инвентарь 5 в виде батута. В качестве спортивного инвентаря 5 могут быть использованы и другие устройства, например, беговая дорожка или велотренажер. Система может быть использована и без спортивного инвентаря, когда пользователь перемещается по полу. В данном случае устройство обработки данных 4 выполнено в виде персонального компьютера, а именно ноутбука. Однако устройство обработки данных 4 может быть выполнено в виде мобильного устройства или самостоятельного устройства управления, содержащего микропроцессор.

Устройство обработки данных 4 в данном случае снабжено программным обеспечением создания виртуальной реальности на основе данных, получаемых от видеокамеры, в частности компьютерной игры.

Устройство обработки данных 4 связано с видеокамерой 1 и дисплеем 2 проводным или беспроводным соединением, например, с помощью протоколов Bluetooth или Wi-Fi.

Для доказательства повышения точности распознавания носимого элемента 3 именно флуоресцентного цвета был проведён ряд испытаний. При проведении экспериментов использовалось самостоятельно написанное программное обеспечение распознавания цвета, которое идентифицирует пользователя по цветовой метке - носимому элементу 3, которая должна выделяться на фоне других цветов различных предметов, расположенных в поле обзора видеокамеры. Однако для различных применений может быть использовано и другое программное обеспечение распознавания цвета.

Было проведено исследование нескольких крупных батутных центров на определение основных цветов батутов, страховочных матов и стен.

Как видно на фиг. 2-5, батутные центры оформлены в ярких цветах практически всего цветового диапазона с преобладанием красного, зеленого, желтого, оранжевого и синего.

Сложность работы программы распознавания цвета заключалась в том, что в поле зрения камеры одновременно могло попадать от двух до пяти разных цветов. Была поставлена задача выделить один или несколько универсальных цветовых пантонов, при использовании которых другие цвета предметов батутного центра не вызывали бы помех, влияющих на корректную работу программы.

С этой целью была проведена серия практических опытов с цветовой мишенью, на которой были нанесены маркеры основных цветов.

Технология опытов заключалась в последовательном сравнении разных цветовых меток и выявлении помех в программе распознавания цвета от цветов одной гаммы на цветовой мишени. На фиг. 6-17 приведены результаты тестирования с фото цветовой мишени, меток разных цветов на человеке, а также вид экрана программы распознавания.

На фиг. 6-7 показан тест с оранжевым цветом. При тестировании метки оранжевого цвета создается мощная помеха от оранжевого на цветовой мишени, что влечет за собой некорректную работу программного обеспечения системы. При этом другие цвета мишени не вызывают помех при работе с оранжевой меткой.

На фиг. 8-9 показан тест с желтым цветом. Желтая цветовая метка также вызвала две помехи от желтой гаммы цветов на мишени. Результат - некорректная работа программного обеспечения системы.

На фиг. 10-11 показан тест с зелёным цветом. Зеленая метка сочетается с помехой от зеленого цвета мишени. Результат - некорректная работа программного обеспечения системы.

На фиг. 12-13 показан тест с оранжевым неоновым цветом, являющийся флуоресцентным. Программа четко работает с неоновым оранжевым цветом и помех ни от одного, даже красного и оранжевого цветов мишени нет. Результат - корректная работа программного обеспечения системы.

На фиг. 14-15 показан тест с лимонным неоновым цветом, являющийся флуоресцентным. Тестирование метки цвета лимонный неон показала, что желтые цвета мишени дают незначительные помехи, но они не оказывают влияния на корректность работы программы.

На фиг. 16-17 показан тест с красным неоновым цветом, являющийся флуоресцентным. Метка цвета красного неона не была подвержена помехам красного и оранжевого цветового спектров мишени. Результат - корректная работа программы.

Результаты тестов сведены в таблицу 1.

Таблица 1

Реакция

Корректность

Цвет мишени (есть

работы

тестируемой помеха/нет Вывод

программы

метки помех) на

(Да/Нет)

какой цвет

Красный Помеха от Нет Можно работать с красного данной меткой только при отсутствии в поле обзора камеры красных цветов

Синий Помеха от Нет Можно работать с синего данной меткой только при отсутствии в поле обзора камеры синих цветов

Зеленый Помеха от Нет Можно работать с зеленого данной меткой только при отсутствии в поле обзора камеры зеленых цветов

Желтый Помеха от Нет Можно работать с разных данной меткой только оттенков при отсутствии в поле желтого обзора камеры желтых цветов

Оранжевый Помеха от Нет Можно работать с оранжевого данной меткой только при отсутствии в поле обзора камеры оранжевых цветов

Оранжевый Нет помех Да Универсальная метка с неон которой можно работать практически на всех площадках

Красный неон Нет помех Да Универсальная метка с которой можно работать практически на всех площадках

Лимонный неон Нет помех Да Универсальная метка с которой можно работать практически на всех площадках

Обобщение результатов экспериментов свидетельствует о том, что все цвета неонового (флуоресцентного) спектра являются универсальными и могут использоваться в качестве меток игроков в любых помещениях. Причем цвет 5 неона не вызывает помех от такого же цвета обычного пантона.

Таким образом, использование носимого элемента повышает универсальность его использования и использования системы в целом без потери точности распознавания.

Опытным путем было установлено, что размер метки имеет значение для ю повышения точности идентификации цвета и корректной работы программы. Для повышения точности идентификации игрока требуется использовать цветовую метку из любого материала (ткань, бумага, пленка) размером не менее 200X200 мм. При меньших размерах программа распознает цвет не полностью, и присутствуют помехи от самой метки. Кроме того при маленьких размерах метки 15 программа распознает и отображает движения игрока с запаздыванием.

Полученные данные позволяют аппроксимировать результаты на любые помещения, не только содержащие яркие цвета, в частности батутные центры. Специалисту в данной области техники понятно, что носимый элемент флуоресцентного цвета может быть использован в любых система виртуальной 20 реальности, где требуется распознавание образа по цвету.

Система работает следующим образом.

Принцип работы комплекса состоит в том, что игровой аватар на экране дисплея 2 управляется игроком, в данном случае человеком на батуте посредством прыжков. Прыжки детектируются видеокамерой 1 , установленной 25 напротив батута - спортивного инвентаря 5. На игрока закрепляется цветовая метка - носимый элемент 3, например, жилет. Детектирование игрока осуществляется по данной цветовой метке.

Настройка системы перед практическим использованием проста. Игрок с цветовой меткой размещается в центре батута на расстоянии 2-3 метра от зо видеокамеры 1 , и оператор игры производит калибровку программы.

Первый уровень - калибровка идентификации игрока по цветовой метке. Второй уровень калибровки - выставление в программе ширины игровой зоны, совпадающей с периметром прыжкового полотна батута и нижней вертикальной границей прыжка, которая устанавливается в зависимости от уровня подготовленности игроков либо для взрослых, либо для детей. Калибровка программы не превышает одной минуты. Далее программа переводится в рабочий режим.

Компьютерная игровая программа позволяет/отображает:

5 · Видео с камеры-детектора.

• Видео с сегментацией по цветовому ключу.

• Гистограммы распределения цвета на кадре.

^• Отображение центра-массы заданного цвета жилета.

^• Прямоугольные области, отвечающие за расположение ю игрока/персонажа на левой (красная область), центральной (зеленая область), правой (синяя область) дорожке. Перемещение центра-масс в ту или другую область приводит к переходу игрового персонажа на соответствующую дорожку в игре.

• Уровень прыжка. Все движение ниже этой линии отфильтровывается. 15 Пересечение этой линии расценивается как прыжок игрового персонажа.

Размер экрана дисплея может быть любым в зависимости от помещения или пространства, в котором расположена игровая система. Наиболее простое решение - обычный экран с проектором. Мощность проектора при наличии искусственного освещения в зале от 3300 до 3500 ANSI люмен. Возможна 20 установка плазменной панели или светодиодного экрана.

В качестве веб-камеры рекомендуется любая из веб-камер премиум-класса: матрица в 2 Мп, с максимальным разрешением снимаемого видео 1920x1080 (Full HD), а разрешение фото (при программной обработке)— до 15 Мп, объектив с автофокусом и функцией слежения за лицом.

25 Системные требования к устройству обработки данных: рекомендуется

Core i5-6300HQ 2.3ГГц ОС Windows, оперативная память - от 2 Гбайт.

Расстояние от веб-камеры до игрока оптимально составляет два-три метра.

Компьютерная программа позволяет менять сценарии игры, игровых зо аватаров, сложность игрового маршрута, виды и количество улавливаемых в ходе прыжка предметов. Игровая система позволяет настраивать программу игры индивидуально в зависимости от степени подготовленности игроков к различным видам прыжков на батуте.

Таким образом, предложенное решение является уникальным и позволяет 35 максимально широко внедрять его как для физических тренировок, например, на профессиональном батуте, так и в развлекательных игровых целях для взрослых и детей. Наличие недорогого комплекта оборудования и программного обеспечения, простота калибровки и управления делает ее доступной как для батутных центров, так и для личного пользования частных потребителей, позволяет повысить универсальность без потери точности распознавания движений пользователя на батуте.

Приведённые примеры являются частными случаями и не исчерпывают всех возможных реализаций заявляемого изобретения.

Специалисту в данной области техники должно быть понятно, что различные вариации заявляемой системы не изменяют сущность изобретения, а лишь определяют его конкретные воплощения.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ

1. Система виртуальной реальности, характеризующаяся тем, что содержит видеокамеру, средство формирования изображения, носимый элемент, выполненный флуоресцентного цвета, и устройство обработки данных,

5 выполненное с возможностями: получения информации от видеокамеры, распознавания флуоресцентного цвета носимого элемента и вывода на средство формирования изображения.

2. Система по п.1 , характеризующаяся тем, что видеокамера выполнена в виде цифровой камеры.

ю 3. Система по п.1 , характеризующаяся тем, что видеокамера выполнена в виде контроллера Kinect.

4. Система по п.1 , характеризующаяся тем, что видеокамера выполнена в виде веб-камеры.

5. Система по п.1 , характеризующаяся тем, что носимый элемент выполнен 15 в виде жилета.

6. Система по п.1 , характеризующаяся тем, что дополнительно содержит спортивный инвентарь.

7. Система по п.б, характеризующаяся тем, что спортивный инвентарь выполнен в виде батута.

20 8. Система по п.1 , характеризующаяся тем, что устройство обработки данных выполнено в виде персонального компьютера.

9. Система по п.1 , характеризующаяся тем, что устройство обработки данных выполнено в виде мобильного устройства.

10. Система по п.1 , характеризующаяся тем, что устройство обработки 25 данных снабжено программным обеспечением создания виртуальной реальности на основе данных, получаемых от видеокамеры.

1 1. Система по п.1 , характеризующаяся тем, что носимый элемент выполнен размером не менее 200X200 мм.

12. Система по п.1 , характеризующаяся тем, что носимый элемент выполнен зо размером не менее 200X200 мм.

13. Система по п.1 , характеризующаяся тем, что средство формирования изображения выполнено в виде дисплея.

14. Система по п.1 , характеризующаяся тем, что средство формирования изображения выполнено в виде проектора.

35