RU2762579C1

RU2762579C1 - Способ изменения области видимости относительно положения и ориентации головы оператора в автомобильном тренажере

Info

Publication number: RU2762579C1
Application number: RU2021113968A
Authority: RU
Inventors: Алексей Александрович Захаров
Original assignee: Алексей Александрович Захаров
Priority date: 2021-05-17
Filing date: 2021-05-17
Publication date: 2021-12-21

Abstract

Изобретение относится к области тренажеростроения и может быть использовано для изменения области видимости в тренажерах наземных транспортных средств. Сущность изобретения состоит в том, что с помощью RGBD-камеры инициализируют голову на изображении, обнаруживают голову на изображении, отслеживают голову на изображении, определяют положение и ориентацию головы, вычисляют параметры пирамиды видимости, изменяют область видимости на экранах мониторов и на изображениях зеркал заднего вида в соответствии с вычисленными параметрами. Способ позволяет изменять область видимости на экране мониторов и изображениях зеркал заднего вида без использования датчиков и маркеров, прикрепленных к голове оператора. 3 ил.

Description

Изобретение относится к области тренажеров с моделируемым обзором из транспортного средства. Цель предлагаемого изобретения - увеличение эффекта присутствия обучаемого в синтезируемой среде за счет изменения области видимости. Кроме повышения реалистичности отображения внешнего пространства, у обучающегося появится возможность освоения такого важного навыка, как контроль дорожной обстановки посредством обзора зеркал заднего вида. Это повысит качество подготовки водителей транспортных средств.

Известен способ исключения эффекта разделения изображения рамками мониторов визуализации внекабинной обстановки авиационных тренажеров (RU 2695480 С1; G09B 9/30; 2019), при котором формируют изображение местности и изображение существенных для тренажера объектов, с учетом исключения из изображения участка внекабинного пространства, закрываемого рамкой каждого монитора, отслеживают положение головы обучаемого пилота в реальном масштабе времени датчиком положения головы обучаемого, формируют разностный сигнал пропорциональный величине и направлению смещения головы обучаемого пилота, формируют размеры сдвигов изображений внекабинной обстановки и объектов воздушного пространства так, чтобы часть изображения внекабинного пространства ранее закрытого рамками мониторов появилась на экранах мониторов, а изображение каждого объекта воздушного пространства переместилось на величину, рассчитанную с учетом расстояния от обучаемого летчика до этого объекта внекабинного пространства.

К недостаткам известного изобретения относится то, что внекабинная обстановка синтезируется для авиационных тренажеров и изменение области видимости не осуществляется в зеркалах заднего вида. Кроме того, в рассматриваемом способе используют рамки мониторов для имитации обрамления лобового стекла в самолетах или переплета остекления фонаря кабины у вертолетов и повышения эффекта реалистичности за счет перемещения изображения внекабинного пространства относительно рамки монитора при движениях головы обучаемого пилота. Эта особенность является частным случаем синтеза визуальной обстановки для автомобильных тренажеров, так как часто визуальная обстановка автомобильного тренажера отображается на одном мониторе без эффекта разделения изображения рамками мониторов, что существенным образом ограничивает применение рассматриваемого изобретения.

Известен способ представления виртуального пространства пользователю и система для осуществления способа (RU 2106695 С1; кл. G09B 19/10; 1998), при котором определяют параметры перемещения частей тела пользователя, преобразуют полученные данные в требуемую форму их представления, обрабатывают совокупности преобразованных данных для определения области виртуального пространства, отображаемой пользователю в соответствии с его положением и ориентацией с учетом взаимодействия с объектами виртуального пространства.

К недостаткам известного изобретения относится необходимость закрепления у каждого из основных сочленений сегментов опорно-двигательной системы пользователя средства определения по меньшей мере одного угла между сегментами, примыкающими к соответствующему сочленению, что вызывает дискомфорт у обучаемого и затрудняет процесс обучения.

Наиболее близким по техническому решению, принятому за прототип, является система изменения области видимости на основе стереоизображений, включающая инициализацию головы на изображении, обнаружение головы на изображении, отслеживание головы на изображении, расчет параметров положения и ориентации головы, изменение области видимости в соответствии с положением головы (Захаров А.А., Баринов А.Е. Система определения положения и ориентации головы человека на основе стереоизображений // Инновационные, информационные и коммуникационные технологии. 2018. №1. С. 297-302.).

Недостатком прототипа является использование стереокамеры для вычисления трехмерных данных сцены, так как при вычислении карты диспаритета возникают неточности из-за наличия областей однородной закраски и неравномерного освещения. Кроме того, при вычислении карты диспаритета требуются значительные вычислительные мощности.

Задача заключалась в разработке способа изменения области видимости относительно положения и ориентации головы оператора в автомобильном тренажере, лишенного вышеизложенных недостатков, и при котором обеспечивается изменение отображаемого пространства относительно головы оператора для увеличения эффекта присутствия обучаемого в синтезируемой среде.

Для решения данной задачи предложен способ изменения области видимости относительно положения и ориентации головы оператора в автомобильном тренажере, при котором инициализируют голову на изображении, обнаруживают голову на изображении, отслеживают голову на изображении, определяют положение и ориентацию головы, вычисляют параметры пирамиды видимости, изменяют область видимости на экранах мониторов и на изображениях зеркал заднего вида в соответствии с вычисленными параметрами, отличающийся тем, что для получения параметров положения и ориентации головы оператора используют RGBD-камеру.

Благодаря использованию RGBD-камеры точность и скорость изменения области видимости в зависимости от положения и ориентации головы оператора значительно увеличивается. Предлагаемый способ позволяет изменять область видимости без использования датчиков и маркеров, прикрепленных к голове оператора. Кроме того, одновременное изменение отображаемого пространства на экранах монитора и на изображениях зеркал заднего вида относительно головы оператора увеличивает эффект присутствия обучаемого в синтезируемой среде.

На фиг. 1 изображено крепление RGBD-камеры на мониторе в автомобильном тренажере. На фиг. 1 обозначено: 1 - экраны мониторов тренажера, 2 - отображение зеркал заднего вида на экране мониторов, 3 - RGBD-камера,

На фиг. 2 изображено изменение области видимости при обзоре через лобовое стекло при изменении положения и ориентации головы оператора.

На фиг. 3 изображено изменение области видимости при обзоре зеркал заднего вида при изменении положения и ориентации головы оператора.

Способ изменения области видимости относительно положения и ориентации головы оператора в автомобильном тренажере включает инициализацию головы на изображении, обнаружение головы на изображении, отслеживание головы на изображении, определение положения и ориентации головы, вычисление параметров пирамиды видимости, изменение области видимости на экранах мониторов 1 (фиг. 1) и на изображениях зеркал заднего вида 2 (фиг. 2) в соответствии с вычисленными параметрами. Для получения параметров положения и ориентации головы оператора используют RGBD-камеру 3 (фиг. 1).

Предлагаемый способ изменения области видимости относительно положения и ориентации головы оператора в автомобильном тренажере осуществляется следующим образом. Для инициализации головы на изображении используют структурный дескриптор, который идентифицирует область головы на изображении. Оценивают спектральные характеристики графа, вершинами которого являются особые точки. Для вычисления дескриптора выделяют особые точки на изображении в процессе инициализации.

Для обнаружения головы на изображении сравнивают граф изображения-эталона и граф изображения-кандидата. Для сравнения выполняют вложение графов в векторное пространство. Это позволяет представить изображения в виде векторов числовых характеристик, что дает возможность приближенного сравнения структур графов. При этом выполняется полная инвариантность к повороту изображения на плоскости, так как спектральные характеристики графа не зависят от маркировки его вершин.

Отслеживание головы осуществляют по видеопоследовательности. Этот процесс необходим, чтобы получить положение и ориентацию головы человека в любой момент времени. При отслеживании сопоставляют особенности области головы, полученные на этапе инициализации, и особенности, выделенные в текущем кадре видеопоследовательности.

Для определения положения и ориентации головы с помощью RGBD-камеры получают трехмерные координаты особых точек, выделенных на изображении. Углы кивка, поворота и наклона головы рассчитывают относительно координатной системы RGBD-камеры. Вычисляют угол между векторами, образованными соответствующими точками в начальном и последующих положениях. Такими точками являются точки, заданные на этапе инициализации.

При изменении положения и ориентации головы в пространстве вычисляют параметры пирамиды видимости, ось которой совпадает с направлением взгляда обучаемого. В соответствии с параметрами пирамиды видимости изменяют область видимости на экранах мониторов (фиг. 2) и на изображениях зеркал заднего вида (фиг. 3).

Преимущество предлагаемого изобретения состоит в том, что способ позволяет с высокой точностью и скоростью изменять область видимости без использования датчиков и маркеров, прикрепленных к голове оператора, что увеличивает свободу действий обучаемого. Одновременное изменение отображаемого пространства на экранах монитора и на изображениях зеркал заднего вида относительно головы оператора увеличивает эффект присутствия обучаемого в синтезируемой среде и позволяет вырабатывать навыки регулярного обзора зеркал заднего вида для безопасного управления автомобилем.

Claims

Способ изменения области видимости относительно положения и ориентации головы оператора в автомобильном тренажере, при котором инициализируют голову на изображении, обнаруживают голову на изображении, отслеживают голову на изображении, определяют положение и ориентацию головы, вычисляют параметры пирамиды видимости, изменяют область видимости на экранах мониторов и на изображениях зеркал заднего вида в соответствии с вычисленными параметрами, отличающийся тем, что для получения параметров положения и ориентации головы оператора используют RGBD-камеру.