WO2022159007A1 - Система дополненной реальности - Google Patents

Система дополненной реальности Download PDF

Info

Publication number
WO2022159007A1
WO2022159007A1 PCT/RU2022/050087 RU2022050087W WO2022159007A1 WO 2022159007 A1 WO2022159007 A1 WO 2022159007A1 RU 2022050087 W RU2022050087 W RU 2022050087W WO 2022159007 A1 WO2022159007 A1 WO 2022159007A1
Authority
WO
WIPO (PCT)
Prior art keywords
markers
tank
unit
augmented reality
components
Prior art date
Application number
PCT/RU2022/050087
Other languages
English (en)
French (fr)
Inventor
Виктор Александрович ЕПИФАНОВ
Дмитрий Валерьевич ЖИВАЕВ
Original Assignee
Виктор Александрович ЕПИФАНОВ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Виктор Александрович ЕПИФАНОВ filed Critical Виктор Александрович ЕПИФАНОВ
Publication of WO2022159007A1 publication Critical patent/WO2022159007A1/ru

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Definitions

  • the proposed invention relates to interactive systems and can be used in such areas as education, medicine and entertainment.
  • augmented reality systems make it possible to ensure the availability of an interactive system (in the terminology of GOST R ISO 9241 -161 - 2016), including for users with disabilities, which are, for example, a consequence of disability or young age.
  • a holographic projector is known from the prior art (RU 2653560 C1, 05/11/2018), designed to form a three-dimensional projection in 360 °.
  • the well-known holographic projector includes a body, four projectors, four transparent trapezoidal plates, fastened together by four small transparent belts, which are located in the upper part and fasten the plates together at the point of contact.
  • the projector allows you to provide a joint display of a three-dimensional projection and an object, for which the object must be placed inside a truncated pyramid (ie, the body of the projector).
  • the known solution has a number of significant drawbacks, which include the limitation of the display area by the projector body and the inability to control its area.
  • drawbacks which include the limitation of the display area by the projector body and the inability to control its area.
  • there is no feedback between the user action and the displayed information since the possibility the joint display of the projection and the object is provided by pre-recorded images corresponding to a particular object, while the user does not have the ability to modify the object itself and receive a response from the system in response to such a modification.
  • the known solution essentially performs mainly demonstration functions.
  • a system is also known for creating the effect of three-dimensionality of an image formed on the surface of display devices (WO 2016108720 A1, 07/07/2016), which provides the effects of binocular parallax and motion parallax.
  • the known system includes: at least one display device configured to display a sequence of images; at least one glasses, made with the possibility of stereoscopic image separation, containing at least two optical shutters and at least two markers, located in a known way; at least two matrix optical sensors, configured to obtain an image of the markers, located in a known way; at least two reading and processing devices configured to read data from the matrix optical sensor and determine the 20-coordinates of the markers; a marker 30 coordinate calculator, configured to calculate 30 marker coordinates based on the 20 marker coordinates; at least one marker coordinate predictor configured to extrapolate marker coordinates to compensate for the delay between the moment of image acquisition from the matrix optical sensors and the moment of displaying the 3D scene; a device for building a 3D scene, configured to build a 3D scene based on the 3D coordinates of the markers, taking into account the extrapolation of the coordinates of the markers; at least one image output device configured to output an image of the 3D scene to at least one display device.
  • the system provides for the presence of markers located in advance in a known way, which makes it impossible to arbitrarily modify and manipulate objects located on the surface of display devices, which reduces the availability of the interactive system for users with limited capabilities.
  • a game table containing: a fiber optic plate having an upper side and a lower side; a projector configured to project images onto an underside of said fiber optic plate that forms a touch screen interface for players on its top side; an image capturing device for capturing an image from the underside of the fiber optic plate, said image containing sensory information associated with sensory interactions with the top side of said fiber optic plate; and an interface for communicating with the memory having the stored sensory data, wherein the sensory information received by said image pickup device is compared with the stored sensory data and used to interact with the player interface.
  • Fingerprints are used as tokens in the known system, wherein the fingerprint recognition software module converts the fingerprint data/information received by the transmitting thermal imaging camera into a form suitable for comparison with the stored fingerprint data.
  • the fingerprint of one of the fingers of the player's hand is used to select the chip value, is received and stored in volatile memory, and associated with the identified player and the value of the selected chip value based on the location of the touch.
  • this solution also has increased complexity, since it requires the manufacture of a gaming table containing a fiber optic plate.
  • this system can find its own the use is solely for entertainment purposes, without affecting the fields of education and medicine.
  • the system does not provide for the possibility of tactile modification of objects on the gaming table with the appropriate visual feedback.
  • the proposed invention is aimed at overcoming the shortcomings of the prior art and allows, in its implementation, to achieve a set of technical results, consisting in increasing the availability of an interactive system, simplifying the system, expanding functionality in the form of providing several modes of operation and rehabilitation or developing motor, cognitive and communication skills of the user. .
  • an augmented reality system containing an image processing and projection unit, including components enclosed in a housing: a power distributor designed to provide power to the components of the said unit, a computing module on based on the Android system, designed to control the components of the above block, an LCD projector, a mirror with a mirror positioning device, an infrared spotlight, a 3D camera and an infrared camera, while the body of the said block is designed to be connected to a ceiling mount or to the first end of a vertical telescopic rod , the second end of which is connected to one of the sides of an open tank having a bottom and telescopic legs equipped with means for moving the tank.
  • the tank is designed to be filled with quartz sand.
  • the proposed system comprises a flat sheet means sized to the top surface of the tank such that the placement of said means on the tank forms a countertop.
  • the system contains a plurality of markers, made in the form of separate elements, having the form of geometric figures, and on the markers, by means of a retroreflective coating, information encoding elements are applied.
  • the information encoding elements have a shape different from that of the markers.
  • the proposed invention is a multifunctional interactive augmented reality system.
  • the expansion of the functionality of the system is ensured both by design features and by the software and hardware complex of tools used in it.
  • FIG. 1 At the heart of the system is an image processing and projection unit (1) (Fig. 1).
  • FIG. 1 shows one of the options for the location of the unit in the case when it has the ability to connect to a ceiling mount (2) or is equipped with a means for such a mount.
  • the block (1) projects an image onto a flat surface (3) (which can be, for example, the floor of a room) and to create user interaction with the block, no additional means are required, with the exception of specialized retroreflective markers (4), which greatly simplifies the system.
  • a retroreflective marker is an element in the form of a flat base made of solid material (plastic, wood and etc.) preferably in the form of some geometric figure (square, circle, triangle, polygon, etc.).
  • the shape of the marker can be correlated with the information contained in the system memory. Through the camera and the recognition algorithm, the shape of the marker can be read and the system can respond by providing the user with an appropriate static or animated image. For example, when two markers of the same shape are located on a flat surface, the system can project an image of a road, a river, and/or moving objects onto a straight line between them.
  • it may be difficult for the system to determine the shape of a marker located on the surface for example, on a deformed sand surface).
  • retroreflective markers for augmented reality systems preferably consist of a flat base with an information encoding image placed on its surface, the image being made of a layer of retroreflective material and having a shape different from the shape of the base surface.
  • the shape of the image is a character selected from alphabetic characters and/or mathematical characters.
  • the block (1) is connected to one of the ends of the telescopic rod (5).
  • the telescopic rod is made with the possibility of vertical movement to change the height of the block and fix it at a given height.
  • the variable positioning of the block (1 ) provided by the invention provides the flexibility to customize the display depending on the size of the tank.
  • the other end of the rod (5) is connected to one of the sides of the open tank (6), which has a bottom and telescopic legs equipped with means (7) for moving the tank, which ensures its mobility. height.
  • the tank is filled with quartz sand (8). Quartz sand does not cake, does not form dust particles, and its white color provides excellent contrast of the projected image.
  • the use of specialized markers, although not excluded, is not mandatory, since the interaction of the user with the system can be carried out through manipulations with the fill of the tank, as shown below.
  • the system comprises a flat sheet (9) sized to the upper surface of the tank so that the placement of said tool on the tank forms a table top, as shown in FIG. 3.
  • This option involves the use of reflective markers and can be used to increase the accessibility of the interactive system, for example, for older users who can be placed near the tabletop in a sitting position, which is additionally provided by the ability to adjust the height of the tank through telescopic legs.
  • the advantage lies in the fact that the coding image is made in the form of a layer of retroreflective material placed on the base.
  • a material but not limited to, a combination of microprisms or microlenses (for example, microspheres) with high retroreflectivity embedded in a fabric base can be used.
  • the reflective surface of materials based on the use of cubic corner prisms can be made by casting or molding prismatic elements on the bottom surface of a thin substrate.
  • the retroreflective material may consist of prismatic lenses encased in a transparent polymer and protected by a synthetic film, the reverse side of the material being covered with a protective substrate.
  • the layer of retroreflective material is placed on the flat base of the marker by any known method, such as glue.
  • the light from the source falls on the surface of the microlens, is refracted, reflected from the inner surface and returns to the source. This achieves the optical effect of returning the light flux, which reduces crosstalk between pixels and helps the sensor to clearly separate the object from the background.
  • retroreflective markers makes it possible, even in conditions of difficult terrain and the presence of many third-party light sources, to increase the readability of information from the marker, used in augmented reality systems.
  • a layer of retroreflective material forms an image encoding information, since reading information in augmented reality systems is directly related to the need to encode it and fulfill its purpose by the marker.
  • the application of information to the marker simultaneously with the execution of its base of a certain form allows increasing the information capacity of such a marker, since information can be contained both in the form of a marker and in an image encoding information.
  • FIG. 4 shows some components according to an exploded view of the image processing and projection unit.
  • the housing elements contain an LCD projector (10), a mirror with a mirror positioning device (11), a 3D camera (12), an infrared projector and an infrared camera (13).
  • the power distributor and computing module based on the Android system in FIG. 4 are not shown.
  • the case also contains additional mechanisms and items that ensure the operation of the hardware-software complex (wires, connectors, fans, converters), combined in the usual way for this level of technology.
  • the invention works as follows.
  • the computing module following the program embedded in it, generates an image and displays it on the projector, which projects this image onto the surface.
  • two modes of operation are provided: projecting an image onto a sand surface and projecting an image onto a flat surface on which retroreflective markers are placed by the user.
  • a flat surface can be, for example, the floor of a room or the countertop discussed above.
  • the system recognizes the shape of the sand surface through a 3D camera using machine learning and computer vision algorithms. After successful recognition, the installation projects an image onto the sand surface in such a way as to emphasize the relief of the sand. This makes it possible to organize an interface for interaction with by the user using sand relief and augmented reality technology.
  • the projection on the sand is carried out through an adjustable mirror, thereby ensuring the passage of the light flux through the center of the sandbox, as a result of which shadows are minimized and camera performance is improved.
  • the depth sensor connected to the computing module measures the distance to the sand
  • the program processes the data received from the sensor and sends commands to the projector with what color to highlight a particular section of the sandbox
  • the volume sensor reads objects that are in the projection zone, and projected onto the sand colors and textures of various objects and surfaces depending on the state of the sand surface and objects in the projection zone.
  • the projection changes with the change in the landscape of the sand in the sandbox and or objects that are in the projection area.
  • the following are non-limiting options for interacting with the system in the first mode.
  • Any game in the first lesson is preceded by familiarizing the child with the changes that occur in the sandbox under the action of hand movements, in subsequent lessons - with clarification whether he remembers how the surface changes under the action of hand movements.
  • the first games involve modification of the initial position, which has the same "altitude”; subsequent games, which are held as the child masters the technology of working with sand, involve the modification of the surface with different "heights”.
  • Game name Plain. Participants: adult and child. Starting position, modeled by an adult: "mountainous terrain.”
  • Game content make the relief even (flat).
  • An adult demonstrates to the child movements that level the surface [1], and then performs them in the “hand in hand” method [2]. After mastering the joint movements, the child proceeds to independently complete the task (levels without the help of an adult). In the case of a child making small, chaotic, inaccurate movements, an adult uses a correction by showing and verbal explanation. The goal is to level the surface of the sand with large and precise movements.
  • Game name Sea. Participants: adult and child. Starting position, modeled by an adult: "plain" (sand surface at the same level).
  • Task "dig the sea.”
  • the adult demonstrates to the child the movements that allow the “deepening” of the relief [1], and then performs them in the “hand in hand” method [2].
  • the child proceeds to independently perform the task (“digs” without the help of an adult). If a child makes small, chaotic, inaccurate movements, an adult uses a correction using display and verbal explanation.
  • the goal is to create a sea without areas of "land" with precise movements.
  • the proposed system can be used for sand therapy in patients with mild cognitive decline (60+).
  • the program is aimed at overcoming several main symptoms: a decrease in the neurodynamic parameters of mental activity associated with the function of the deep structures of the brain; deficiency of the frontal structures of the brain in the form of a decrease in control, programming and voluntary regulation of activity; decrease in spatial analysis and synthesis, the level of concentration of attention; unsharp decrease in visual and tactile gnosis and praxis.
  • the second operating mode of the system uses a flat surface with reflective markers.
  • the system can be easily transformed and transferred from one mode to another by installing a tabletop, as shown above.
  • the system recognizes the location and type of the marker on the surface. This makes it possible to organize interaction with the user based on the movement of certain markers and augmented reality technology.
  • a retroreflective coating on the markers makes it possible to increase the accuracy of reading encoded information without increasing the requirements for the resolution of devices when reading information, for example, by means of an infrared illuminator and an infrared camera.
  • a practical example of such a regime is shown in Fig. 7 and 8. As you can see, the correct placement of markers in a given zone leads to a system reaction in the form of displaying an object corresponding to the word formed by the markers.
  • the following are non-limiting options for interacting with the system in the second mode.
  • Any game in the first lesson is preceded by familiarizing the child with the changes that occur on the table or on the floor as a result of choosing one or another letter, in subsequent lessons - by clarifying whether he remembers what happens if the letter is chosen correctly or incorrectly.
  • the game is played with significant support and help from an adult (pronunciation; exaggerated pronunciation of the first sound; showing how the task should be done; detailed explanation, etc.), then the same game is played with an independent search for a solution by the child.
  • Game content identify the voice of the animal hidden behind the screen, and pick up the letter with which the word denoting its name begins.
  • the child names the animal and puts a marker with the first letter.
  • the word is laid out by an adult.
  • the main goal of this game is the development of phonemic perception and sound-letter analysis. The game is appropriate for the first stage of learning to read and write.
  • Speech development the development of phonemic hearing and perception, the ability to correlate non-speech sounds with specific objects and their names, the development of the nominative function of speech, sound-letter analysis.
  • Mental development the formation of auditory perception, auditory memory, stability of auditory attention, purposefulness of activity. Game name: Who's there -2?. Participants: adult and child. Starting position, simulated by an adult: Markers on a flat surface.
  • Game content identify the voice of the animal and write (compose from markers) its name.
  • Speech development development The game is a complicated modification of the game "Who's there?" and assumes a certain level of literacy. The child names the animal and, pronouncing the word aloud, successively lays it out on the table.
  • Speech development the development of phonemic hearing and perception, the ability to correlate non-speech sounds with specific objects and their names, the development of the nominative function of speech, sound-letter analysis.
  • Mental development the formation of auditory perception, auditory memory, stability of auditory attention, purposefulness of activity.
  • Motor development the ability to coordinate the actions of both hands (reciprocal coordination); accuracy, smoothness and range of hand movements.
  • the image processing and projection unit provides for a built-in acoustic system or an interface for connecting external audio equipment.
  • Processor Quad-core Cortex A17 up to 1.8 GHz.
  • RAM 2 GB DDR3.
  • GPU Mali-T7 600 MHz.
  • Memory at least 4 GB EMMS (internal), MicroSD (up to 32 GB).
  • WiFi 802.11 2.4G.
  • Ethernet LAN UM / 100M (without LED).
  • Software Operating system Android. Supported audio formats: MP1, MP2. MP3.
  • Case material 1599 x 1136 x 2805 mm. Internal tank size: 1050 x 660 x 190 mm.
  • Volume sensor (3D camera) Field of view: 60° H x 49° H x 73° D.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к системе дополненной реальности. Техническим результатом является повышение доступности интерактивной системы, упрощение системы, расширение функциональных возможностей в виде обеспечения нескольких режимов работы, повышение точности считывания закодированной информации с маркеров системы без повышения требований к разрешающей способности устройств при считывании информации, обеспечение минимизации тени и улучшение работы камер. Система дополненной реальности содержит блок обработки и проецирования изображений, включающий заключенные в корпус компоненты: распределитель питания, предназначенный для обеспечения питания компонентов упомянутого блока, вычислительный модуль на базе системы Android, предназначенный для управления компонентами упомянутого блока, LCD-проектор, зеркало с устройством позиционирования зеркала, инфракрасный прожектор, 3D-камеру и инфракрасную камеру, множество маркеров, выполненных в виде отдельных элементов, имеющих форму геометрических фигур, причем на маркеры посредством световозвращающего покрытия нанесены элементы кодирования информации.

Description

Система дополненной реальности
Область техники
Предложенное изобретение относится к интерактивным системам и может найти свое применение в таких областях как образование, медицина и развлечения.
Уровень техники
В последнее время в уровне техники все более широкое распространение находят системы, предоставляющие пользователю интерактивные интерфейсы взаимодействия, основанные на технологии дополненной реальности как результата введения в зрительное поле пользователя любых сенсорных данных с целью дополнения сведений об окружении и изменения восприятия окружающей среды.
Применение систем дополненной реальности позволяет обеспечить доступность интерактивной системы (в терминологии ГОСТ Р ИСО 9241 -161 - 2016), в том числе для пользователей, имеющих ограниченные возможности, которые являются, например, следствием инвалидности или малого возраста.
Для создания подобных систем применяется широкий арсенал технических средств, в число которых входят также различные проекторы.
Так, из уровня техники известен голографический проектор (RU 2653560 С1 , 11.05.2018), предназначенный для формирования трехмерной проекции в 360°. Известный голографический проектор включает в себя корпус, четыре проектора, четыре прозрачные пластины трапециевидной формы, скрепляемые между собой четырьмя небольшими прозрачными поясами, которые находятся в верхней части и скрепляют пластины между собой в месте соприкосновения.
Проектор позволяет обеспечить совместный показ трехмерной проекции и предмета, для чего объект должен быть помещен внутрь усеченной пирамиды (т.е. корпуса проектора).
Известное решение обладает рядом существенных недостатков, к которым можно отнести ограниченность области отображения корпусом проектора и невозможность регулирования ее площади. Кроме того, в известном решении отсутствует обратная связь между действием пользователя и отображаемой информацией, поскольку возможность совместного показа проекции и предмета обеспечивается заранее записанными в памяти образами, соответствующими тому или иному объекту, при этом пользователь не имеет возможности модификации самого предмета и получения отклика системы в ответ на такую модификацию. Таким образом, известное решение по существу выполняет преимущественно демонстрационные функции.
Известна также система для создания эффекта объемности изображения, формируемого на поверхности устройств отображения (WO 2016108720 А1 , 07.07.2016), обеспечивающая эффекты бинокулярного параллакса и параллакса движения.
Известная система включает в себя: по меньшей мере одно устройство отображения, выполненное с возможностью отображения последовательности изображений; по меньшей мере одни очки, выполненные с возможностью стереоскопической сепарации изображений, содержащие по меньшей мере два оптических затвора и по меньшей мере два маркера, расположенные заранее известным образом; по меньшей мере два матричных оптических датчика, выполненные с возможностью получения изображения маркеров, расположенные заранее известным образом; по меньшей мере два устройства считывания и обработки, выполненные с возможностью считывания данных с матричного оптического датчика и определения 20-координат маркеров; устройство вычисления ЗО-координат маркеров, выполненное с возможностью вычисления ЗО-координат маркеров на основе 20-координат маркеров; по меньшей мере одно устройство предсказания координат маркеров, выполненное с возможностью экстраполяции координат маркеров для компенсации задержки между моментом времени получения изображения с матричных оптических датчиков и моментом отображения ЗО-сцены; устройство построения ЗО-сцены, выполненное с возможностью построения ЗО-сцены на основе ЗО-координат маркеров с учетом экстраполяции координат маркеров; по меньшей мере одно устройство вывода изображения, выполненное с возможностью вывода изображения ЗО-сцены по меньшей мере на одно устройство отображения.
Несмотря на обеспечиваемую известной системой интерактивность взаимодействия, она обладает повышенной сложностью, в частности, вследствие необходимости использования очков, выполненных с возможностью стереоскопической сепарации изображений. Кроме того, в системе предусматривается наличие маркеров, расположенных заранее известным способом, что приводит к невозможности произвольной модификации и манипулирования объектами, расположенными на поверхности устройств отображения, что снижает доступность интерактивной системы для пользователей, имеющих ограниченные возможности.
В качестве функционального аналога предложенного изобретения можно принять известную интерактивную игровую систему (WO 2015135872 А1 , 17.09.2015), включающую: игровой стол, содержащий: волоконно-оптическую пластину, имеющую верхнюю сторону и нижнюю сторону; проектор, выполненный с возможностью проецирования изображений на нижнюю сторону указанной волоконно-оптической пластины, которая образует интерфейс с сенсорным экраном, предназначенный для игроков, на своей верхней стороне; устройство захвата изображения, предназначенное для захвата изображения с нижней стороны волоконно-оптической пластины, причем указанное изображение содержит сенсорную информацию, связанную с сенсорными взаимодействиями с верхней стороной указанной волоконно-оптической пластины; и интерфейс, предназначенный для связи с памятью, имеющей запомненные сенсорные данные, причем сенсорная информация, полученная указанным устройством захвата изображения, сравнивается с запомненными сенсорными данными и используется для взаимодействия с интерфейсом игрока.
В качестве маркеров в известной системе используются отпечатки пальцев, причем программно реализованный модуль распознавания отпечатков пальцев преобразует данные/информацию об отпечатке пальца, полученную передающей тепловизионной камерой, в форму, подходящую для сравнения с запомненными данными отпечатков пальцев. Отпечаток пальца одного из пальцев руки игрока используют для выбора достоинства фишки, получают и запоминают в энергозависимой памяти и ассоциируют с идентифицированным игроком и значением выбранного достоинства фишки на основе местонахождения касания.
Как и указанное ранее, данное решение также обладает повышенной сложностью, поскольку требует изготовления игрового стола, содержащего волоконно-оптическую пластину. Кроме того, данная система может найти свое применение исключительно в развлекательных целях, не затрагивая области образования и медицины. В системе не предусматривается возможность тактильной модификации объектов на игровом столе с получением соответствующей визуальной обратной связи.
Предложенное изобретение направлено на преодоление недостатков известного уровня техники и позволяет при своем осуществлении обеспечить достижение совокупности технических результатов, заключающихся в повышении доступности интерактивной системы, упрощении системы, расширении функциональных возможностей в виде обеспечения нескольких режимов работы и реабилитации или развития двигательных, познавательных и коммуникативных навыков пользователя.
Раскрытие изобретения
Для достижения указанных выше, а также иных следующих для специалиста из описания технических результатов, согласно изобретению предложена система дополненной реальности, содержащая блок обработки и проецирования изображений, включающий заключенные в корпус компоненты: распределитель питания, предназначенный для обеспечения питания компонентов упомянутого блока, вычислительный модуль на базе системы Android, предназначенный для управления компонентами упомянутого блока, LCD-проектор, зеркало с устройством позиционирования зеркала, инфракрасный прожектор, ЗО-камеру и инфракрасную камеру, при этом корпус упомянутого блока выполнен с возможностью соединения с потолочным креплением или с первым концом вертикальной телескопической штанги, второй конец которой соединен с одной из боковых сторон открытого резервуара, имеющего дно и телескопические ножки, оснащенные средствами для перемещения резервуара.
В дополнительном варианте осуществления резервуар предназначен для заполнения его кварцевым песком.
В еще одном дополнительном варианте осуществления предложенная система содержит средство в виде плоского листа, выполненного соразмерно с верхней поверхностью резервуара так, что размещение упомянутого средства на резервуаре образует столешницу.
В еще одном дополнительном варианте осуществления система содержит множество маркеров, выполненных в виде отдельных элементов, имеющих форму геометрических фигур, причем на маркеры посредством световозвращающего покрытия нанесены элементы кодирования информации.
Также в следующем варианте осуществления элементы кодирования информации, имеют форму, отличную от формы маркеров.
Далее в описании представлены более подробные сведения, касающиеся осуществления предложенного изобретения.
Осуществление изобретения
В данном разделе описания представлены предпочтительные варианты осуществления изобретения, не предназначенные для ограничения объема охраны, определяемого формулой изобретения. Предполагается, что различные аспекты и модификации выполнения изобретения, которые могут быть осуществлены средствами, тождественными по своему функциональному назначению представленным далее, также должны входить в объем изобретения, например, посредством отсылок.
Для более полного понимания сущности изобретение поясняется графическими материалами, отсылки на которые используются далее при пояснении конструктивного и функционального выполнения.
По существу, предложенное изобретение представляет собой многофункциональную интерактивную систему дополненной реальности. Расширение функциональных возможностей системы обеспечивается как за счет конструктивных особенностей, так и за счет используемого в ней программно-аппаратного комплекса средств.
В основе системы находится блок обработки и проецирования изображений (1 ) (фиг. 1 ).
На фиг. 1 представлен один из вариантов расположения блока в случае, когда он имеет возможность соединения с потолочным креплением (2) или оснащен средством для такого крепления. В данном случае блок (1 ) осуществляет проецирование изображения на плоскую поверхность (3) (в качестве которой может выступать, например, пол помещения) и для создания взаимодействия пользователя с блоком не требуется наличие дополнительных средств за исключением специализированных световозвращающих маркеров (4), что существенно упрощает систему.
Конструктивно световозвращающий маркер представляет собой элемент в виде плоского основания из твердого материала (пластик, дерево и т.п.) предпочтительно в форме какой-либо геометрической фигуры (квадрат, круг, треугольник, многоугольник и т.п.). В случае соответствующих настроек системы форма маркера может быть соотнесена с информацией, содержащейся в памяти системы. Посредством камеры и алгоритма распознавания форма маркера может быть считана и система в ответ может предоставить пользователю соответствующее статическое или анимированное изображение. Например, при расположении на плоской поверхности двух маркеров одинаковой формы система может проецировать на прямой между ними изображение дороги, реки и/или движущихся объектов. Однако в условиях сложного рельефа системе может быть затруднительно определить форму расположенного на поверхности (например, на деформированной поверхности песка) маркера.
Данные световозвращающие маркеры для систем дополненной реальности предпочтительно состоят из плоского основания с размещенным на его поверхности кодирующим информацию изображением, причем изображение выполнено из слоя световозвращающего материала и имеет форму, отличную от формы поверхности основания. Предпочтительно, форма изображения представляет собой знак, выбранный из знаков алфавита и/или математических знаков.
Во втором варианте осуществления (фиг. 2) блок (1 ) соединен с одним из концов телескопической штанги (5). Телескопическая штанга выполнена с возможностью вертикального перемещения для изменения высоты блока и фиксации на заданной высоте. Обеспечиваемое изобретением изменяемое позиционирование блока (1 ) обеспечивает гибкость настройки отображения в зависимости от размеров резервуара. Другой конец штанги (5) соединен с одной из боковых сторон открытого резервуара (6), имеющего дно и телескопические ножки, оснащенные средствами (7) для перемещения резервуара, что обеспечивает его мобильность, Телескопические ножки выполнены с возможностью изменения высоты резервуара и фиксации на заданной высоте. В предпочтительном варианте резервуар заполнен кварцевым песком (8). Кварцевый песок не слеживается, не образует частицы пыли, а его белый цвет обеспечивает отличную контрастность проецируемого изображения. В данном варианте осуществления применение специализированных маркеров хоть и не исключается, но не является обязательным, поскольку взаимодействие пользователя с системой может осуществляться посредством манипуляций с наполнителем резервуара, как это показано далее.
В третьем варианте осуществления (фиг. 3) система содержит средство в виде плоского листа (9), выполненного соразмерно с верхней поверхностью резервуара так, что размещение упомянутого средства на резервуаре образует столешницу, как это показано на фиг. 3. Данный вариант предполагает использование световозвращающих маркеров и может быть использован для повышения доступности интерактивной системы, например, для пожилых пользователей, которые могут размещаться около столешницы в сидячем положении, что дополнительно обеспечивается возможностью регулирования высоты резервуара посредством телескопических ножек.
Преимущество заключается в том, что кодирующее изображение выполнено в виде размещенного на основании слоя из световозвращающего материала.
В качестве такого материала, но не ограничиваясь этим, может быть использована совокупность микропризм или микролинз (например, микросфер) с высокой световозвращающей способностью, внедренных в тканевую основу.
Отражающая поверхность материалов, основанная на использовании кубических уголковых призм, может быть изготовлена методом литья или формовки призматических элементов на нижней поверхности тонкой подложки. Световозвращающий материал может состоять из призматических линз, находящихся в прозрачном полимере и защищенных синтетической пленкой, оборотная сторона материала покрыта защитной подложкой.
Слой световозвращающего материала размещается на плоском основании маркера любым известным способом, например, клеем.
При считывании информации свет от источника падает на поверхность микролинзы, преломляется, отражается от внутренней поверхности и возвращается к источнику. Этим достигается оптический эффект возвращения светового потока, что уменьшает перекрестные помехи между пикселями и помогает сенсору четко отделить объект от фона.
Таким образом, применение световозвращающих маркеров позволяет даже в условиях сложного рельефа и наличия множества сторонних источников освещения обеспечить повышение считываемое™ информации с маркера, используемого в системах дополненной реальности. При этом также является существенным, что слой из световозвращающего материала образует кодирующее информацию изображение, поскольку считывание информации в системах дополненной реальности непосредственно связано с необходимостью ее кодирования и выполнения маркером своего назначения. Дополнительно можно отметить, что нанесение информации на маркер одновременно с выполнением его основания какой-либо определенной формы, позволяет повысить информационную емкость такого маркера, поскольку информация может быть заключена как в форме маркера, так и в кодирующем информацию изображении.
На фиг. 4 согласно взрыв-схеме блока обработки и проецирования изображений представлены некоторые компоненты. В элементы корпуса заключены LCD-проектор (10), зеркало с устройством позиционирования зеркала (11 ), ЗО-камера (12), инфракрасный прожектор и инфракрасная камера (13). Распределитель питания и вычислительный модуль на базе системы Android на фиг. 4 не показаны. Как это следует для специалиста, корпус также содержит дополнительные механизмы и предметы, обеспечивающие работу программно-аппаратного комплекса (провода, соединители, вентиляторы, преобразователи), объединенные обычным для данного уровня техники образом.
Изобретение работает следующим образом.
Вычислительный модуль, следуя заложенной в него программе, генерирует изображение и выводит его на проектор, который проецирует это изображение на поверхность.
В предложенном изобретении предусмотрено два режима работы: проецирование изображения на поверхность песка и проецирование изображения на плоскую поверхность, на которой пользователем размещаются световозвращающие маркеры. Такой плоской поверхностью могут быть, например, пол помещения или рассмотренная выше столешница.
В первом режиме система распознает форму поверхности песка посредством ЗО-камеры, используя алгоритмы машинного обучения и компьютерного зрения. После успешного распознавания установка проецирует на поверхность песка изображение таким образом, чтобы подчеркнуть рельеф песка. Это дает возможность организовать интерфейс взаимодействия с пользователем, используя рельеф песка и технологию дополненной реальности. Проекция на песок осуществляется через регулируемое зеркало, тем самым обеспечивая прохождение светового потока по центру песочницы, вследствие чего минимизируются тени и улучшается работа камер.
Более конкретно, сенсор для определения глубины, подключенный к вычислительному модулю, замеряет расстояние до песка, программа обрабатывает полученные от сенсора данные и подает проектору команды, каким цветом подсвечивать конкретный участок песочницы, датчик объема считывает предметы, оказавшиеся в зоне проекции, и на песок проецируются цвета и текстуры различных объектов и поверхностей в зависимости от состояния поверхности песка и предметов, оказавшихся в зоне проекции. Проекция изменяется с изменением ландшафта песка в песочнице и или предметами, оказавшимися в зоне проекции.
Практический пример осуществления такого режима представлен на фиг. 5 и 6. Как можно увидеть, цвета и текстуры, проецируемые на песок, находятся в зависимости от рельефа.
В качестве иллюстративного примера, далее представлены неограничивающие изобретение варианты взаимодействия с системой в первом режиме.
При этом следует сделать важные методические замечания.
1. Любая игра на первом занятии предваряется ознакомлением ребенка с изменениями, которые происходят в песочнице под действием движений руки, на последующих занятиях - с уточнения, помнит ли он, как меняется поверхность под действием движений руки.
2. Важно не только достичь цели игры («вырыть море» или «насыпать гору»), но и сформировать умение совершать точные, объемные движения, а также двигаться к цели не хаотично, а последовательно.
3. Первые игры предполагают модификацию исходной позиции, имеющей одинаковую «высотность»; последующие игры, которые проводятся по мере овладения ребенком технологией работы с песком, предполагают модификацию поверхности с разной «высотностью».
4. Все движения рук должны сопровождаться речевыми комментариями взрослого. 5. Сначала игра проводится с преимущественным участием ведущей руки (у правшей - правой, у левшей - левой), далее та же игра проводится с равноценным вовлечением двух рук (это позволяет сформировать способность к согласованным движениям и приводит к активизации работы обеих полушарий головного мозга).
6. Последовательно используются разные способы обучения ребенка: демонстрация [1 ], выполнение движения рукой ребенка, взятой в руку взрослого [2], выполнение движения ребенком при направляющей поддержке взрослого [3], самостоятельное выполнение движения ребенком по словесной инструкции взрослого [4].
Название игры: Равнина. Участники: взрослый и ребенок. Исходная позиция, моделируемая взрослым: «гористая местность».
Содержание игры. Задание: сделать рельеф ровным (плоским). Взрослый демонстрирует ребенку движения, которые выравнивают поверхность [1], и далее выполняет их способом «рука в руке» [2]. После овладения совместными движениями ребенок переходит к самостоятельному выполнению задания (выравнивает без помощи взрослого). В случае совершения ребенком мелких, хаотичных, неточных движений, взрослый использует коррекцию с помощью показа и словесного пояснения. Целью является выравнивание поверхности песка крупными и точными движениями.
Достигаемый результат: Моторное развитие: точность, плавность и объем движений рук. Речевое развитие: овладение понятиями «ровный», «плоский». Психическое развитие: формирование зрительного прослеживания, целенаправленности деятельности, умения достигать результата.
Название игры: Море. Участники: взрослый и ребенок. Исходная позиция, моделируемая взрослым: «равнина» (поверхность песка на одном уровне).
Содержание игры. Задание: «вырыть море». Взрослый демонстрирует ребенку движения, которые позволяют «углубить» рельеф [1 ], и далее выполняет их способом «рука в руке» [2]. После овладения совместными движениями ребенок переходит к самостоятельному выполнению задания («роет» без помощи взрослого). В случае совершения ребенком мелких, хаотичных, неточных движений, взрослый использует коррекцию с помощью показа и словесного пояснения. Целью является создание моря без участков «суши» точными движениями.
Достигаемый результат: Моторное развитие: способность к согласованным действиям обеих рук (реципрокная координация); точность, плавность и объем движений рук. Речевое развитие: овладение понятием «высокий», «холм», «гора». Психическое развитие: формирование целенаправленности деятельности, понимание этапности работы.
Кроме этого, предложенная система может быть использована для проведения песочной терапии в работе с пациентами с легким когнитивным снижением (60+).
Программа направлена на преодоление нескольких основных симптомов: снижение нейродинамических параметров психической деятельности, связанных с функцией глубинных структур мозга; дефицитарность лобных структур мозга в виде снижения контроля, программирования и произвольной регуляции деятельности; снижение пространственного анализа и синтеза, уровня концентрации внимания; нерезкое снижение зрительного и тактильного гнозиса и праксиса.
Во втором режиме работы системы используется плоская поверхность со световозвращающими маркерами. Система может быть легко трансформирована и переведена из одного режима в другой посредством установки столешницы, как показано выше. Система распознает расположение и тип маркера на поверхности. Это дает возможность организовать взаимодействие с пользователем на основе передвижения тех или иных маркеров и технологии дополненной реальности. Наличие на маркерах световозвращающего покрытия (например, из такого СВМ-материала как ткань серебристо-серая, которая представляет собой совокупность стеклянных микролинз с высокой световозвращающей способностью к источнику, внедренных в специальный клеевой слой, нанесенный на основу), посредством которого нанесены элементы кодирования информации, позволяет обеспечить повышение точности считывания закодированной информации без повышения требований к разрешающей способности устройств при считывании информации, например, посредством инфракрасного прожектора и инфракрасной камеры. Практический пример осуществления такого режима представлен на фиг. 7 и 8. Как можно увидеть, правильное размещение маркеров в заданной зоне приводит к реакции системы в виде отображения объекта, соответствующего слову, образованному маркерами.
В качестве иллюстративного примера далее представлены неограничивающие изобретение варианты взаимодействия с системой во втором режиме.
При этом следует сделать важные методические замечания.
1. Любая игра на первом занятии предваряется ознакомлением ребенка с изменениями, которые происходят на столе или на полу в результате выбора той или иной буквы, на последующих занятиях - с уточнения, помнит ли он, что происходит, если буква выбрана правильно или неправильно.
2. Важно не только достичь цель игры (сложить слово из букв, «накормить питомца» или открыть его изображение, составив правильное название персонажа), но и сформировать фонематическое восприятие и звукобуквенный анализ, а также умение двигаться к цели не хаотично, а последовательно. Основной формой контроля правильности выполнения задания должен быть слуховой контроль, а визуальная поддержка используется как дополнительная.
3. Все игры предполагают расширение кругозора ребенка и его активное ознакомление с окружающим миром, поэтому игру не следует ограничивать материалом, представленным в поле непосредственного восприятия - она должна выходить за его пределы, то есть дополняться вопросами по теме, рассказами, содержащими разнообразные познавательные сведения.
4. Все представленные игры имеют большой потенциал в плане развития речи детей. Любые действия ребенка должны сначала сопровождаться речевыми комментариями взрослого, а затем - собственными высказываниями ребенка. Оречевление собственных действий не только совершенствует экспрессивную речь, но и способствует формированию самоконтроля, развитию регулирующей функции речи и активизации согласованной работы полушарий головного мозга.
5. Сначала игра проводится со значительной поддержкой и помощью со стороны взрослого (проговаривание; утрированное произнесение первого звука; показ, как следует выполнять задание; подробное разъяснение и др.), далее та же игра проводится с самостоятельным поиском решения ребенком.
6. Последовательно используются разные способы обучения ребенка: демонстрация [1 ], совместное выполнение задания [2], выполнение задания ребенком при направляющей поддержке взрослого [3], самостоятельное выполнение задания ребенком по словесной инструкции взрослого [4]. Взрослый всегда должен помнить о необходимости соблюдать указанную последовательность.
7. Все представленные ниже игры могут использоваться для проведения занятий по ознакомлению с окружающим миром и развитию речи. Их образовательный потенциал полностью соответствует освоению таких тем как природа и социум, формированию представлений об этих сферах жизни, их упорядочиванию, осмыслению существующих закономерностей, связей и зависимостей, обеспечивающих дальнейшее интеллектуальное и эмоционально-личностное развитие ребенка. Следует отметить, что развитие речевой функции в представленных играх сопровождается развитием коммуникативной сферы ребенка, формированием его познавательноисследовательской и продуктивной деятельности в процессе общения со сверстниками и взрослыми.
Название игры: Кто там -1 ?. Участники: взрослый и ребенок. Исходная позиция, моделируемая взрослым: Маркеры на ровной поверхности
Содержание игры. Задание: идентифицировать голос животного, спрятанного за ширмой, и подобрать букву, с которой начинает слово, обозначающее его название. Ребенок называет животное и кладет маркер с первой буквой. Далее слово выкладывает взрослый. Главной целью данной игры является развитие фонематического восприятия и звуко-буквенного анализа. Игра целесообразна для первого этапа освоения грамоты.
Достигаемый результат. Ознакомление с окружающим миром по теме «животные». Речевое развитие: развитие фонематического слуха и восприятия, умение соотносить неречевые звуки с конкретными объектами и их названиями, развитие номинативной функции речи, звуко-буквенного анализа. Психическое развитие: формирование слухового восприятия, слуховой памяти, устойчивости слухового внимания, целенаправленности деятельности. Название игры: Кто там -2?. Участники: взрослый и ребенок. Исходная позиция, моделируемая взрослым: Маркеры на ровной поверхности.
Содержание игры. Задание: идентифицировать голос животного и написать (сложить из маркеров) его название. Речевое развитие: развитие Игра является усложненной модификацией игры «Кто там?» и предполагает определенный уровень овладения грамотой. Ребенок называет животное и, проговаривая слово вслух, последовательно выкладывает его на столе.
Достигаемый результат. Речевое развитие: развитие фонематического слуха и восприятия, умение соотносить неречевые звуки с конкретными объектами и их названиями, развитие номинативной функции речи, звукобуквенного анализа. Психическое развитие: формирование слухового восприятия, слуховой памяти, устойчивости слухового внимания, целенаправленности деятельности. Моторное развитие: способность к согласованным действиям обеих рук (реципрокная координация); точность, плавность и объем движений рук.
Для реализации данного режима в блоке обработки и проецирования изображений предусмотрено наличие встроенной акустической системы либо интерфейса для подключения внешней аудиоаппаратуры.
В результате изготовления опытных образцов и проведения испытаний составлено экспертное заключение, представленное в качестве приложения к материалам заявки и подтверждающее достижение указанных результатов.
Для осуществления предложенного изобретения в практическом варианте был использован проектор Epson 3300LM/1200*800 WXGA.
Примерные параметры вычислительного модуля. Процессор: Четырехъядерный Cortex А17 с частотой до 1 ,8 ГГц. Оперативная память: 2 ГБ DDR3. GPU: Mali-T7 600 МГц. Память: не менее 4 ГБ ЕММС (внутренняя), MicroSD (до 32 ГБ). Wi-Fi: 802.11 2.4G. Ethernet: LAN ЮМ / 100М (без светодиода). Видео выходы: HDMI, AV. USB: порт USB 2.0, USB OTG (Micro USB). Аудио: разъем для наушников 3,5 мм стерео, микрофон стерео. Bluetooth. Программное обеспечение Операционная система: Android. Поддерживаемые форматы аудио: МР1 , МР2. MP3. WMA, WAV, OGG, OGA, APE. FLAC, AAC, M4A, 3GPP. Иллюстративные параметры резервуара. Корпус: 1599 х 1136 х 2805 мм. Внутренний размер резервуара: 1050 х 660 х 190 мм. Материал корпуса: металл. Материал накладки на резервуар: ЛДСП.
Датчик объема (ЗО-камера) Поле зрения: 60° В х 49° В х 73° D. Разрешение (Глубина): 640 х 480 (VGA) при 30 кадрах в секунду. Разрешение (RGB): 1280 х 720 при 30 кадр/с (поддержка UVC).
Представленные в описании сведения показывают возможность осуществления изобретения известными из уровня техники средствами, а раскрытые варианты осуществления подтверждают достижение основных технических результатов, заключающихся в повышении доступности интерактивной системы, упрощении системы, расширении функциональных возможностей в виде обеспечения нескольких режимов работы и реабилитации или развития двигательных, познавательных и коммуникативных навыков пользователя.

Claims

Формула изобретения
1. Система дополненной реальности, содержащая блок обработки и проецирования изображений, включающий заключенные в корпус компоненты: распределитель питания, предназначенный для обеспечения питания компонентов упомянутого блока, вычислительный модуль на базе системы Android, предназначенный для управления компонентами упомянутого блока, LCD-проектор, зеркало с устройством позиционирования зеркала, инфракрасный прожектор, ЗО-камеру и инфракрасную камеру, при этом корпус упомянутого блока выполнен с возможностью соединения с потолочным креплением или с первым концом вертикальной телескопической штанги, второй конец которой соединен с одной из боковых сторон открытого резервуара, имеющего дно и телескопические ножки, оснащенные средствами для перемещения резервуара, причем резервуар предназначен для заполнения его кварцевым песком, а система дополнительно содержит множество маркеров, выполненных в виде отдельных элементов, имеющих форму геометрических фигур, причем на маркеры посредством световозвращающего покрытия нанесены элементы кодирования информации.
2. Система по п. 1 , отличающаяся тем, что дополнительно содержит средство в виде плоского листа, выполненного соразмерно с верхней поверхностью резервуара так, что размещение упомянутого средства на резервуаре образует столешницу.
PCT/RU2022/050087 2021-01-20 2022-03-16 Система дополненной реальности WO2022159007A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2021101140A RU2760179C1 (ru) 2021-01-20 2021-01-20 Система дополненной реальности
RU2021101140 2021-01-20

Publications (1)

Publication Number Publication Date
WO2022159007A1 true WO2022159007A1 (ru) 2022-07-28

Family

ID=78719487

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2022/050087 WO2022159007A1 (ru) 2021-01-20 2022-03-16 Система дополненной реальности

Country Status (2)

Country Link
RU (1) RU2760179C1 (ru)
WO (1) WO2022159007A1 (ru)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2298294C2 (ru) * 2001-06-05 2007-04-27 Риэктрикс Системз, Инк. Интерактивная видеодисплейная система
US20100199232A1 (en) * 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
RU2621633C2 (ru) * 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
US10031335B1 (en) * 2010-12-23 2018-07-24 Amazon Technologies, Inc. Unpowered augmented reality projection accessory display device
CN210575012U (zh) * 2019-08-21 2020-05-19 梁少勇 一种科技馆展示电子沙盘
CN112164297A (zh) * 2020-09-18 2021-01-01 山东工业职业学院 物联网教学用沙盘演示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2298294C2 (ru) * 2001-06-05 2007-04-27 Риэктрикс Системз, Инк. Интерактивная видеодисплейная система
US20100199232A1 (en) * 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
US10031335B1 (en) * 2010-12-23 2018-07-24 Amazon Technologies, Inc. Unpowered augmented reality projection accessory display device
RU2621633C2 (ru) * 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
CN210575012U (zh) * 2019-08-21 2020-05-19 梁少勇 一种科技馆展示电子沙盘
CN112164297A (zh) * 2020-09-18 2021-01-01 山东工业职业学院 物联网教学用沙盘演示装置

Also Published As

Publication number Publication date
RU2760179C1 (ru) 2021-11-22

Similar Documents

Publication Publication Date Title
LaValle Virtual reality
JP7445720B2 (ja) 拡張現実のためのシステムおよび方法
Biocca et al. Immersive virtual reality technology
Craig Understanding augmented reality: Concepts and applications
Slater et al. Computer graphics and virtual environments: from realism to real-time
Sugimoto A mobile mixed-reality environment for children's storytelling using a handheld projector and a robot
CN109643161A (zh) 动态进入和离开由不同hmd用户浏览的虚拟现实环境
US20130307855A1 (en) Holographic story telling
US20130307856A1 (en) Synchronizing virtual actor's performances to a speaker's voice
CN108701369A (zh) 针对虚拟现实的娱乐数据的制作与封装
Thevin et al. X-road: virtual reality glasses for orientation and mobility training of people with visual impairments
US20240105157A1 (en) Surface appropriate collisions
Tacgin Virtual and augmented reality: an educational handbook
CN114502921A (zh) 混合现实中的空间指令和指南
Leporini et al. Design guidelines for an interactive 3D model as a supporting tool for exploring a cultural site by visually impaired and sighted people
US11756449B2 (en) System and method for improving reading skills of users with reading disability symptoms
US20190005831A1 (en) Virtual Reality Education Platform
RU2760179C1 (ru) Система дополненной реальности
Keays Using high-bandwidth input/output in interactive art
Zhang A virtual reality head mounted display for underwater training and recreational purpose
Gaddis Using Virtual Reality To Bring Your Instruction to Life.
Loviscach Playing with all senses: Human–Computer interface devices for games
Landy Supporting collaborative learning in computer-enhanced environments
Laakso Practical navigation in virtual architectural environments
Luo Animated installations for immersive spaces: developing a design process to enhance the experiences of cultural heritage in China, using an exhibit design for the Western Xia Imperial Tombs as a case history

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22742947

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22742947

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17/01/2024)