WO2022018480A1 - Métodos de interacción aumentada háptica e inmersiva - Google Patents

Métodos de interacción aumentada háptica e inmersiva Download PDF

Info

Publication number
WO2022018480A1
WO2022018480A1 PCT/IB2020/056782 IB2020056782W WO2022018480A1 WO 2022018480 A1 WO2022018480 A1 WO 2022018480A1 IB 2020056782 W IB2020056782 W IB 2020056782W WO 2022018480 A1 WO2022018480 A1 WO 2022018480A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented
haptic
user
users
portable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/IB2020/056782
Other languages
English (en)
French (fr)
Inventor
Julio Alberto Mendoza Mendoza
Hazur Sahib SOCCONINI ALVARADO
Gabriel SEPÚLVEDA CERVANTES
Víctor Javier GONZÁLEZ VILLELA
Chadwick CARRETO ARELLANO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to PCT/IB2020/056782 priority Critical patent/WO2022018480A1/es
Priority to MX2023000463A priority patent/MX2023000463A/es
Publication of WO2022018480A1 publication Critical patent/WO2022018480A1/es
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a set of haptic and immersive augmented interaction methods for use in portable augmented physical interaction systems using feedback-enabled haptic and immersive devices for individual or collective applications.
  • the uses can be for entertainment, medical, remote work, training, communications and internet of things, in video games and in the virtual design process of parts and components, among others.
  • One of the greatest advantages of these methods is the improvement in the use of services and products without having to be in person, as in the case of social contingencies, or without having to have space or money for equivalent physical products.
  • the user or users are chosen without limitation from among human beings, any non-human entity such as an animal, a robot, an android, an artificial intelligence or a combination of all of the aforementioned.
  • Augmented reality allows one or more users to mix the real world with added graphics.
  • Haptic interfaces the science called haptics allows users to extend their sense of touch to virtual objects. Such interfaces may have force augmentation configurations or exoskeletons.
  • Teleoperation It is the interaction with a remote system or machine.
  • Position sensors allow monitoring the position and orientation of an object of interest, for example, one or several parts of a human body.
  • Telemetry interfaces These devices allow sending and receiving information in a wired or wireless way between 2 or more processing units.
  • Processing units they are responsible for the control and processing of the data and information of the rest of the components described, their core is a microcontroller or microprocessor.
  • INROL Laboratory South Korea where a virtual object immersed in a virtual environment is controlled with multiple users through haptic teleoperation (hftps://www.inrol.snu.ac.kr/haptics-yr).
  • Heudiasyc CNRS Abaunza-Castillo where a real quadcopter is controlled from a virtual quadcopter, immersing the user in a virtual environment and with haptic feedback to the user.
  • the present invention relates to a set of methods adapted to use a portable augmented physical interaction system for individual or collective applications through haptic and immersive feedback devices comprising: at least one wearable haptic interface (4), at least one portable unit of processing (6), at least one sensor on board the haptic interfaces (4a), at least one portable sensor external to the haptic interface that can be placed in any other part of the user's body (2) or outside of it as preferred, at least one telemetry equipment (7), at least one augmented reality immersive viewer (3), at least one virtual object augmented over the real world (5), at least one world base (1) which can be portable or fixed.
  • the uses can be entertainment, medical, remote work, training, communications and Internet of Things, in video games, or in the virtual design process of parts and components among others, including portable applications.
  • One of the greatest advantages of these methods is the improvement in the use of services and products without having to be in person, as in the case of social contingencies, or without having to have space or money for physical products.
  • most of the existing user measurement systems are external to the user, that is, they are non-portable cameras placed outside the user's body.
  • the invention can be extended to its application for non-human users, which can be other forms of life such as animals for veterinary applications, or the users can be artificial intelligences or robots.
  • Figure 1 shows the usual physical components of the augmented physical interaction system for individual or collective applications through haptic and immersive feedback devices and an illustration for its use. in the tactile visual augmented sports entertainment method.
  • the figure illustrates with two human users playing table tennis.
  • Figure 2 illustrates the use of the augmented physical interaction system for individual or collective applications through haptic and immersive feedback devices in different geographical locations, that is, through teleoperation and coordination of at least one world base for each user.
  • the figure illustrates two human users playing augmented and tactile table tennis in two different geographical locations.
  • Figure 3 illustrates an application of the augmented physical interaction system for individual or collective applications with a user and their mobile device, which can be without limitation an electronic tablet or a cell phone or smartphone, note that said mobile device already embeds several components and that said application can be used on board a vehicle or for some recreational or educational purpose, in this case the user's interaction with a virtual touch menu of his mobile phone without ceasing to be aware of the real environment that surrounds him, in this case
  • the haptic device functions as a mouse or three-dimensional mouse, the user being able to choose between haptic interaction for two-way tactile feedback (towards the user and towards the augmented object) total, limited, intermittent, or null.
  • Figure 3 illustrates a user walking in a physical environment (the location of a road is illustrated), said user uses his mobile (6) in this case placed on his waist and visualizes and touches an enlarged object (5).
  • Figure 4 is an extension of figure 3 where more than one user can share and feel a virtual object between them, this can be a plan or design of an object or a simple video game avatar, in this case both users decide who it is the base world or else it changes via request (a button to receive and send).
  • Figure 4 illustrates a case similar to that of figure 3 but with two users.
  • Figure 5 is an illustration for the method that allows the editing, visualization and/or design of virtual and augmented objects to share said objects between a team of work users or a single user, using CAD/CAM software for this purpose.
  • the figure illustrates a couple of users editing from their desks and computers an augmented object in a common room.
  • Figure 6 is an illustration for the method that allows multiple control of a robot or vehicle using an augmented object representative thereof.
  • the figure illustrates a pair of users altering a common augmented object, which at the same time alters the behavior of a robot.
  • Figure 7 illustrates all the implicit coordinate frames: the haptic device external monitoring and sensor frame (Xse, Yse, Zse), the haptic device frame (Xh, Yh, Zh), the viewer frame (Xv, Yv, Zv), that of the world base (Xb, Yb, Zb), that of the augmented objects (Xo, Yo, Zo) and that of the user's computer or processor (Xu, Yu, Zu).
  • Figure 7 takes up the example of users playing tennis augmented by visual touch.
  • the present invention relates to a set of haptic and immersive augmented interaction methods, for use in a portable augmented physical interaction system with haptic and immersive feedback devices for individual or collective applications.
  • the present invention extends its application to human and non-human users, which may be other forms of life such as animals, androids, robots, or avatars or programming routines managed by artificial intelligence.
  • the minimum components of such a system are:
  • At least one world base (1) is a marker that is placed in a common work point for all users, this always indicates the position that each user has, this base is unique if the users occupy the same workspace or geographical location or multiple which allows tele-existence if the users are in different geographical locations, it is in charge of updating for each user the values related to the virtual object or serving as a global frame of reference.
  • At least one portable sensor (2) external to the haptic interface that is placed in any other part of the user's body. It is adapted to measure distances and relative positions of the haptic interface with respect to the frame of the immersive and global viewer in order to detect the overlapping of the wearable haptic interface with the virtual object.
  • the sensors are chosen without limitation, cameras, ultrasonic or radiofrequency arrays or non-motorized kinematic chains that incorporate joint sensors such as encoders, potentiometers, inertial measurement units (IMUS), etc., including optical, electrical or flow interruption sensors. Pressure.
  • At least one immersive viewer (3) can be immersive or augmented reality glasses, in the former a video of the real world is taken and is projected to the user together with an overlay of images of the virtual object. In the second case, a virtual environment is superimposed on the real world through specialized lenses.
  • At least one wearable haptic interface (4) whose shape is chosen without limitation from among gloves, footwear, limbs, torso, hat or full body or a force-enhancing device such as an exoskeleton, in addition it is adapted to sense an augmented object and alter it, that is, a virtual object superimposed on reality.
  • At least one virtual object augmented on the real world (5) these virtual objects are placed superimposed on the real world (5), having the world base (1) as a reference.
  • At least one portable processing unit (6) adapted to perform calculations, measurements, haptic control, sending and receiving telemetric data, communication with other units and the world base, as well as the superimposition of the virtual object in the real world , each user carries one of them.
  • At least one telemetry equipment (7) this is adapted to send the data of each user, as well as of the world base (1) and of the virtual objects among themselves. they are two-way data communicators that can use wireless communication technologies such as Bluetooth or WiFi or any other available communication technology.
  • a set of position and orientation spatial coordinate frames are composed of three translation basis coordinates and three rotation basis coordinates) and are at least: a.
  • the one of each user (Xu, Yu, Zu) this is established by each user and is measured with respect to the world base
  • the one of the increased object (Xo, Yo, Zo), this is measured with respect to the base world and consequently each user; and.
  • the haptic device (Xh, Yh, Zh), this is measured at the user level, with respect to the viewer and with respect to the external monitoring device, it is also considered as an end effector;
  • F The external sensor and monitoring of the haptic device (Xse, Yse, Zse), this is measured at the user level and is the link between the viewer and the haptic device. Between this sensor and the haptic device, the user forms a kinematic chain with his own body, which can be placed next to the viewer.
  • Eligible Touch Augmented Sports Entertainment System Since virtual objects are designable and do not need to be physically manufactured because they are virtual objects, they are programmed on a readable medium. You can have a sports menu where a team of players chooses which sport they want to practice, thus varying fields or virtual game objects (balls, mitts, etc.), this system even makes it possible to play in a team without the players being present in the same geographical location, only having a large enough space and an internet connection or any other data network.
  • the method for using this system is as follows: a. At least one user chooses a pre-programmed sport of the augmented type; b. At least one fixed base unit loads said program and augmented interaction objects (nets, balls, rackets, etc.); c.
  • At least one fixed base unit estimates the position of the users by means of the telemetry units and calculates the position of the augmented sports objects; d. At least one sensing unit of the haptic device together with the processing units of each user determine if there is contact between the position and orientation of the haptic device and the augmented object; and. At least one user interacts with the augmented sports objects by viewing them in their visors and altering their movement and force with haptic interfaces; F. Said alteration of force given by each user, through the on-board processing units and their respective telemetry units, is retransmitted to the world base or bases and with this it returns to point 3 of the method until the users or user decide to end the game, save and quit the game or change physical activity increased.
  • Augmented educational, labor or medical training tactile system in a similar way to the previous one, but this time each student or apprentice or practitioner has an individual or common augmented simulator among all users, reducing costs compared to having equipment real.
  • the method is similar to the one described in the augmented sports entertainment system, only that the augmented objects and scenarios change to educational, labor or medical material for carrying out practices, in this case, a change is available in step one, such that a user or group of users has the role of teacher and the others are only students, being the users with the role of teacher who decide when to start and end the method.
  • Augmented CAD/CAM design system or to share objects between video games one application consists of giving current CAD/CAM design systems the ability to generate tactile and alterable augmented objects between users such that these changes can be stored and shared, facilitating the design without having to produce parts or prototypes and wait for manufacturing times or associated expenses.
  • Another application is in video games where users can interact and share tangible avatars.
  • the method is as follows: a. An augmented object is arranged, edited or created from some CAD/CAM or video game software; b. This augmented object is moved to the fixed base unit(s), c. the fixed base unit(s) estimates the position of the users via the telemetry units and calculates the position of the augmented objects; d.
  • the sensing unit or units of the haptic device together with the processing units of each user determine if there is contact between the position and orientation of the haptic device and the augmented object; and. Users interact with augmented objects by viewing them in their visors and altering their shape, movement, or force with haptic interfaces; F. Said alteration of physical properties given by each user, through the on-board processing units and their respective telemetry units, is retransmitted to the world base or bases and with this it returns to point 3 of the method until the users or user decide to finish the modification; g. once the modification is complete, the base unit retransmits the modified augmented object to some computer where it is stored for later use.
  • Touch navigation system for mobile devices a problem with current cell phones and/or smart tablets (tablets), is that they lose attention by focusing it on screens and keyboards, thus superimposing enlarged objects as they already do. immersive glasses, with this this problem is solved and also tactile capabilities are added, where the user obtains the ability to feel and share with other users, objects such as menus and virtual buttons augmented in reality, this can be used in social networks to share objects as icons or memes with tactile feedback.
  • the method is as follows: a. the base unit (or units if a group or internet interaction is desired) that in this case is contained or can be adapted to the mobile device starts a menu with enlarged objects (said menu can be a chat or simple navigation windows); b.
  • the sensing units of the haptic device together with the processing units of each user determine if there is contact between the position and orientation of the haptic device and the augmented object; c. Users interact with the augmented objects by viewing them in their viewers and altering their shape, movement or force with the haptic interfaces, being able to share them or not as required by the application; d. said alteration of physical properties given by each user, through the on-board processing units and their respective telemetry units, is retransmitted to the world base or bases where the menu of increased objects is altered and the sequences are repeated, until the users or user end the program or leave the session.
  • Augmented vehicle teleoperation / teleexistence system here one or more users can control a robot or vehicle remotely through a virtual avatar of said vehicle augmented in their individual real space, the real vehicle may or may not modify the virtual avatar for users to feel haptic feedback.
  • the method is as follows: a. Real parameters of the vehicle to be controlled or of its components are measured; b. An enlarged object is available as a visual and tactile representation associated with the previous vehicle; c. Move said augmented object to the fixed base unit(s), d. the fixed base unit(s) estimate the position of the users via the telemetry units and calculate the position of the augmented objects; and.
  • the sensing units of the haptic device together with the processing units of each human or non-human user determine if there is contact between the position and orientation of the haptic device and the augmented object;
  • the augmented representation of the vehicle or its components is totally, null or partially altered by the real vehicle or its components; i.
  • the method is repeated from step 1 until the users decide to abandon the cycle or the vehicle stops giving priority to the latter.
  • Augmented system with force enhancement in this case the wearable haptic device has force enhancement in the form of an exoskeleton and allows users to realistically feel bulky or heavy augmented virtual objects, this can be used for mechanical or rescue training where interacts with heavy and bulky items and parts.
  • the method is similar to that described in the educational, labor or medical augmented tactile training system, but an exoskeleton is available in the haptic system, which allows interaction or the generation of the sensation of bulky and/or massive augmented objects.
  • Augmented system of augmented brain-computer touch interaction in this case, the user, in addition to having virtual touch on an augmented object, has the ability to control said object with signals from his brain through one of the many brain-computer interfaces available in the system. market, so it would be an experience that does not exist in the reality of touch and "telekinesis", this can be an aid to therapies or immersive playful experiences, for example, the user or users can have an enlarged arm that when manipulated with signals from your brain, allow direct feedback to your real arms via the haptic device placed on your real arms, such an experience can be seen as a kind of third person or out of body experience.
  • the system can be used in rehab or other mixed use environments , this is an auxiliary of immersive playful experiences or therapies, providing a sensation in the user io or third-person users or out-of-body experience, there is also a combined augmented object control input between the device haptic interface and the brain-computer interface, this is what generates the third-person experience because the user, in addition to being able to control or not
  • the method is similar to that described in the educational, labor or medical augmented tactile training system, but there is also an augmented object control input combined between the haptic device and the brain-computer interface, this is what generates the experience in third person because the user, in addition to being able to control or not the augmented object with the wearable haptic interface (remember that this interface is controlled with body movement and there are users who lack it), can also control said augmented object with their brain activity and Whether or not said user or users move the haptic device, it will always return a reaction impulse to your body.
  • an increased guide can be placed on a real object, to correctly direct the trajectory of a real drill through haptic feedback or the proper placement of a gutter or the positioning of a violin bow, being a three-dimensional plane said tactile augmented object.
  • the method is similar to that described in the educational, labor or medical augmented tactile training system, but augmented object templates or tactile and visual augmented reality planes are available such that the user is forced by the haptic device to follow a pattern of movement and properly use some tool or real object or have access to visual touch planes for the intervention of a building or object on the built work or in black work, also changes step 5 because the increased object presents high resistance to being deformed forcing thereby allowing the user to adapt to its shape.
  • Augmented medical representation and reconstruction system in this case there is a usual sensor, for example an ultrasound or X-ray that is capable of reconstructing an organ, based on its interpretation and a database of said interpretation, the The haptic system can generate the possible textures associated with said sensors and make it possible for a doctor to recreate the increased touch of an organ. This is useful for blind doctors in the analysis of an ultrasound or radiography, which are generally visual elements.
  • the method is similar to that described in the augmented educational, labor or medical training tactile system, only that the object to be monitored is non-deformable and is generated as a representation of a real object or organ through sensors placed on it, as obtained a visual touch representation, a blind person is able to interpret the magnified object without seeing it.
  • Industrial representation and reconstruction system it is basically the same as the previous example, but with industrial applications such as flow monitoring in a pipeline, where an inspector can feel a representation of its content without breaking the tube and determine speed, viscosity , pressure, etc
  • the method is similar to the one described in the previous case, it simply changes from medical to industrial area and therefore its standards and regulations.
  • Three-dimensional augmented tactile microscope taking up the last two applications and increasing the dimensions (size or mass) of the virtual reconstruction of the monitored object (an artery and the blood that flows through it, for example), an enlarged and tactile interactive behavior of said object.
  • the method is a combination of those described in numbers 9 and 10 above, but the tactile and/or visual representation is amplified in dimensions or virtual mass in order to increase either sensation.
  • Two-way tactile augmented three-dimensional microscope the same as above, but performing an action on the magnified magnified object affects the real object through robotic teleoperation, for example, a dentist can perform operations on a magnified magnified tooth that is replicate in a mini robot inside the patient's mouth.
  • the method is similar to the previous one and an additional step is added between steps 5 and 6 where the real object can be altered through the replication of the interaction with the augmented object by means of robotic mechanisms placed on the real object.
  • Sewing simulator or display objects tailors or related workers can make virtual garments in an augmented world and test their designs or modifications on real models through combined touch (real touch plus haptic touch) or haptic visual touch advertising to promote objects such as footwear or furniture.
  • the method is similar to that of the industrial representation and reconstruction system, but a catalog of textures is available for the augmented object that can be superimposed on a real mold, a humanoid base such as a mannequin or on a user with the quality of being alive, that is to say, augmented objects, in addition to being three-dimensional volumes, can be three-dimensional surfaces.
  • any user can play an augmented virtual instrument with real haptic feedback, being able to even form an orchestra of augmented instruments where only speakers are required for each instrument, the same can apply for other arts for example a sculptor or graphic designer can generate an augmented representation (copy) of a real object and work it in his augmented virtual world, only to print it later.
  • the method is similar to the one used for the tactile system for augmented educational, labor or medical training, but it also has a sound output linked to three-dimensional tactile interaction with augmented musical instruments.
  • this and other artistic applications there is the possibility of scanning a real item and using it as part or all of the augmented object, for example scanning a violin bridge and augmentedly mounting it on top of a virtual violin to alter its sound, or scanning a person and then sculpting them into a cartoon modification, etc. others.
  • Teletouch a virtual object associated with a real object or real person is generated and one or more users can feel that same virtual person or object but augmented in its location by means of the wearable haptic interface, this can have erotic, rehabilitation, personal communication between families or acquaintances, support for helpless people such as the elderly or children, rescue situations, etc.
  • the method is similar to the tactile augmented sports entertainment system, but the augmented object is a three-dimensional mesh or surface obtained from the geometry and shapes of each user, the haptic devices used here can also cover from partial to total body of each user and even be untranslatable in certain areas of the body to emulate a totally immersive experience.
  • Humanoid robot with augmented visual touch teleexistence suppose that being in another country we remember that we left the stove on, we activate a humanoid that is at home which we take to the kitchen via video, at that moment a virtual object associated with the stove and the hands of the humanoid that allow it to capture physical properties such as hardness, volume or inertia, in this way a version of the knob is reconstructed that we can feel and alter with the haptic interface present in our location to turn off the stove for example, if this is mixed with the application of tele touch it is possible to embrace or more actions with an augmented virtual representation of an object or person.
  • the proposed method is a joint and selectable action of the previous one and the augmented method of vehicle teleoperation/teleexistence. It is also multi-way, that is, one or more humanoids or artificial intelligences can be the users and control one or more humans or other beings through the action of the haptic device or exoskeleton, being useful for rescue or rehabilitation applications. Shared interaction of the same virtual object or its partialities, that is, suppose a virtual humanoid where 4 users independently control its two arms and two legs, to achieve a coordinated execution as in the concept of anime robots called "mecha" and that this virtual humanoid operates a real one.
  • Augmented digital reading system it is an augmented virtual book reader, that is, reading digital books with a similar touch sensation to read a physical book, users can be given the ability to feel a digital document and thereby increase the sale of books in those formats.
  • the method is as follows: a. a digital document is available; b. it is superimposed the content of the digital document to an enlarged object that represents a book and its pages; c.
  • each action can be saved to keep a history of events
  • the sensors indicate if there is splicing or contact between the user and the augmented object d the user decides whether to share each book, or buy/sell it, and even if you have your own book collection, each action can be saved to keep track of events; and. multiple users can carry out the processes from "c” to "d” independently or there is a master user who determines the permissions and scope of each user; F. Steps from “a” to "e” are repeated until each user decides to leave their respective session or disconnects from their respective system.
  • Electronic devices or augmented furniture the user can do without having a television or a collection of multimedia files contained in physical readable media, being able to have them virtually but with the ability to interact tactilely with said objects (change the channel, select a legible medium of a virtual counter, having an augmented turntable, etc.), an augmented video or audio player, or an augmented avatar of your cell phone all with tactile feedback, this can also be used as a pre-purchase test method. device or actual physical object.
  • the method is the same as that of augmented digital reading, but it can be extended to furniture, electrical appliances and equipment or objects in general.
  • it can be used as a set of augmented utensils or objects such as furniture, crafts, avatars, or visual, acoustic, and tactile virtual entertainment equipment augmented in reality, such as a turntable, television, or haptic interaction chat. touch to share memes or increased icons, etc.
  • Augmented portable libraries In a scenario, where it is not possible to build a building, several portable systems of augmented physical interaction can be carried for individual or collective applications through haptic and immersive feedback devices, with augmented virtual environments. preloaded with bookshelves and books, with the ability to share and exchange those books with other people in other geographical locations.
  • the method is similar to that of augmented digital reading, but they are arranged with shelves shared by as many users as the system supports or allows, and with the functionalities of a library: loan of books, return of the same, acquisition of new books, reward or fine systems, many copies of the same book, other services such as audio, newspapers, etc., and geographical restrictions or extensions, among others.
  • Augmented Password or Lock Systems Augmented Virtual Items can be generated or augmented Virtual Items modified (by adding a note to an Augmented Book) and tell specific people where this information is to be used as a group password or else that it is capable of interacting with real locks through expansive haptic devices, this password generator or augmented physical locks, its use is restricted to one or more users who are capable of generating an augmented object that by itself or interacting with a real object serve as a password or key, ranging from writing a password in an augmented book that opens a virtual or augmented program or used to open a real button lock to an augmented key such that when printed it opens a real lock or either multiple objects designed by multiple users that when assembled are a key or lock or the s simple scan of a real key that can be shared by users or an augmented lock that allows access to a place or object whenever a real and an augmented lock are activated simultaneously, or finally an augmented key that is interactive with haptic locks (that is, the haptic lock feels and acts according to the geometry of
  • the method is similar to that used in the tactile augmented educational, labor or medical training system, but it is restricted to one or more users who are capable of generating an augmented object that by itself or by interacting with a real object serves as a password or key. , being able to be from the writing of a password in an augmented book that opens a virtual or augmented program or that is used to open a real button lock to an augmented key such that when printed it opens a real lock or multiple objects designed by multiple users that when assembled are a key or lock or the simple scanning of a real key that can be shared by users or an augmented lock that allows access to a place or object whenever a real and an augmented lock are activated simultaneously, or finally an augmented key that is interactive with haptic locks (i.e. the haptic lock adapts and acts according to the geometry of a increased key).
  • Haptic touch augmented mouse and keyboard or notebook and pencil system these are applications derived from the fusion of several methods already described: the augmented book, the school or industrial training, the augmented passwords and locks, and the use on mobile devices. DESCRIPTION OF THE LABELS OF THE FIGURES

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

La presente invención se refiere a un conjunto de métodos para su uso en sistemas portátiles de interacción física aumentada utilizando dispositivos hápticos e ¡nmersivos retroalimentados para aplicaciones individuales o colectivas. Los usos pueden ser de entretenimiento, médicos, trabajo a distancia, de entrenamiento, de comunicaciones e internet de las cosas, en videojuegos y en el proceso de diseño virtual de piezas y componentes entre otros. Incluyendo aplicaciones portátiles. Una de las mayores ventajas de los presentes métodos es la mejora del uso de servicios y productos sin tener que estar de manera presencial como en el caso de contingencias sociales o bien sin tener que disponer de espacio o dinero para productos físicos equivalentes. El usuario o usuarios se eligen sin limitar de entre seres humanos, cualquier entidad no humana como lo es un animal, un robot, un androide, una inteligencia artificial o bien la combinación de todos los mencionados.

Description

MÉTODOS DE INTERACCIÓN AUMENTADA HÁPTICA E INMERSIVA CAMPO DE LA INVENCIÓN
La presente invención se refiere a un conjunto de métodos de interacción aumentada háptica e inmersiva para su uso en sistemas portátiles de interacción física aumentada utilizando dispositivos hápticos e inmersivos retroalimentados para aplicaciones individuales o colectivas. Los usos pueden ser de entretenimiento, médicos, de trabajo a distancia, de entrenamiento, de comunicaciones e internet de las cosas, en videojuegos y en el proceso de diseño virtual de piezas y componentes entre otros. Incluyendo aplicaciones portátiles. Una de las mayores ventajas de los presentes métodos es la mejora del uso de servicios y productos sin tener que estar de manera presencial como en el caso de contingencias sociales o bien sin tener que disponer de espacio o dinero para productos físicos equivalentes. El usuario o usuarios se eligen sin limitar de entre seres humanos, cualquier entidad no humana como lo es un animal, un robot, un androide, una inteligencia artificial o bien la combinación de todos los mencionados.
ANTECEDENTES DE LA INVENCIÓN
Del estado de la técnica, se tienen identificadas seis tecnologías que anteceden la presente invención y estas son:
1 . Realidad aumentada: permite a uno o más usuarios, mezclar el mundo real con gráficos añadidos.
2. Interfaces hápticas: la ciencia denominada háptica permite extender el sentido del tacto de los usuarios a objetos virtuales. Dichas interfaces pueden tener configuración de aumento de fuerza o exoesqueletos.
3. Teleoperación: Es la interacción con un sistema o máquina a distancia.
4. Sensores de posición: estos permiten monitorear la posición y orientación de un objeto de interés, por ejemplo, una o varias partes de un cuerpo humano.
5. Interfaces de telemetría: Estos dispositivos permiten enviar y recibir información de manera alámbrica o inalámbrica entre 2 o mas unidades de procesamiento.
6. Unidades de procesamiento: se encargan del control y procesamiento de los datos e información del resto de los componentes descritos, su núcleo es un microcontrolador o microprocesador.
Algunos trabajos destacables y semejantes son:
1. Laboratorio INROL Corea del Sur: donde se controla con múltiples usuarios a través de la teleoperación háptica un objeto virtual inmerso en un ambiente virtual (hftps://www.inrol.snu.ac.kr/haptics-yr).
2. Heudiasyc CNRS Abaunza-Castillo: donde se controla un cuadricóptero real desde un cuadricóptero virtual inmergiendo al usuario en un ambiente virtual y con retroalimentación háptica al usuario.
“Teleoperation of a drone based in a virtual environment” (https://wyvwyoutube co ni/watch?y hnjpyi/UHLa4). 3. SONY INTERACTIVE ENTERTAINMENT INC con las patentes WO2016/205143 y US10296086B2 en las cuales no reivindican aplicaciones concretas o detalladas de realidad aumentada mezcladas con el mundo real, pero que hace uso de los mismos componentes aquí indicados.
Es de notarse que, en los primeros dos casos mencionados, el sistema de medición del usuario es externo a él, es decir son cámaras no portátiles colocadas fuera del cuerpo del usuario, mientras que los documentos WO2016/205143 y US10296086B2 describen variantes portátiles, siendo estos los documentos más próximos a nuestra invención descrita en este documento. Sin embargo, en dichos documentos, no reclaman los métodos de uso objeto de la presente invención y sobretodo aplicaciones tecnológicas que utilizan realidad aumentada.
SUMARIO
La presente invención se refiere a un conjunto de métodos adaptados para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados que comprende: al menos una interfaz háptica vestible (4), al menos una unidad portátil de procesamiento (6), al menos un sensor a bordo de las interfaces hápticas (4a), al menos un sensor portátil externo a la interfaz háptica colocable en cualquier otra parte del cuerpo del usuario (2) o bien fuera de él según se prefiera, al menos un equipo de telemetría (7), al menos un visor inmersivo de realidad aumentada (3), al menos un objeto virtual aumentado sobre el mundo real (5), al menos una base mundo (1) la cual puede ser portátil o fija. Los usos pueden ser de entretenimiento, médicos, de trabajo a distancia, de entrenamiento, de comunicaciones e internet de las cosas, en videojuegos, o en el proceso de diseño virtual de piezas y componentes entre otros, incluyendo aplicaciones portátiles. Una de las mayores ventajas de los presentes métodos es la mejora en el uso de servicios y productos sin tener que estar de manera presencial como en el caso de contingencias sociales o bien sin tener que disponer de espacio o dinero para productos físicos. Del estado de la técnica actual se sabe que la mayoría de los sistemas de medición del usuario existentes son externos a él, es decir son cámaras no portátiles colocadas fuera del cuerpo del usuario. Cabe destacar que la invención se puede extender a su aplicación para usuarios no humanos, que pueden ser otras formas de vida como los animales para aplicaciones veterinarias, o bien, los usuarios pueden ser inteligencias artificiales o robots.
Otros aspectos de la invención serán evidentes a partir de la descripción detallada, tomada en conjunto con las figuras, ilustrando a modo de ejemplo, los principios de la invención.
BREVE DESCRIPCIÓN DE LAS FIGURAS
La figura 1 muestra los componentes físicos usuales del sistema de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados y una ilustración para su uso en el método de entretenimiento deportivo aumentado tactovisual. La figura ilustra con dos usuarios humanos jugando tenis de mesa.
La figura 2 ilustra el uso del sistema de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados en diferentes locaciones geográficas, es decir mediante teleoperación y coordinación de al menos una base mundo para cada usuario. La figura ilustra con dos usuarios humanos jugando tenis de mesa aumentado y tactovisual en dos distintas locaciones geográficas.
La figura 3 ilustra una aplicación del sistema de interacción física aumentada para aplicaciones individuales o colectivas con un usuario y su dispositivo móvil, que puede ser sin limitar una tableta electrónica o tablet o bien un teléfono celular o smartphone, nótese que dicho dispositivo móvil ya embebe varios componentes y que dicha aplicación puede usarse a bordo de un vehículo o con algún fin recreativo o pedagógico, en este caso la interacción del usuario con un menú táctil virtual de su móvil sin dejar de darse cuenta del medio real que lo rodea, en este caso el dispositivo háptico funciona como un ratón o mouse tridimensional, pudiendo el usuario elegir entre interacción háptica para retroalimentación táctil de dos vías (hacia el usuario y hacia el objeto aumentado) total, limitada, intermitente, o nula. La figura 3 ilustra un usuario caminando en un entorno físico (se ilustra el paraje de una carretera), dicho usuario utiliza su móvil (6) en este caso colocado en su cintura y visualiza y toca un objeto aumentado (5).
La figura 4 es una extensión de la figura 3 donde mas de un usuario pueden compartir y sentir un objeto virtual entre ellos, este puede ser un plano o diseño de un objeto o un simple avatar de videojuegos, en este caso ambos usuarios deciden quien es la base mundo o bien esta cambia vía petición (un botón para recibir y enviar). En la figura 4 se ilustra un caso semejante al de la figura 3 pero con dos usuarios.
La figura 5 es una ilustración para el método que permite la edición, visualización y/o diseño de objetos virtuales y aumentados para compartir dichos objetos entre un equipo de usuarios de trabajo o bien un único usuario, empleando para ello software CAD/CAM. En la figura se ilustran un par de usuarios editando desde sus escritorios y ordenadores un objeto aumentado en una habitación común.
La figura 6 es una ilustración para el método que permite el control múltiple de un robot o vehículo usando un objeto aumentado representativo del mismo. En la figura se ilustran un par de usuarios alterando un objeto aumentado común, el cual al mismo tiempo altera el comportamiento de un robot.
La figura 7 ilustra todos los marcos coordenados implícitos: el de sensor y monitoreo exterior del dispositivo háptico (Xse, Yse, Zse), el del dispositivo háptico (Xh, Yh, Zh), el del visor (Xv, Yv, Zv), el de la base mundo (Xb, Yb, Zb), el de los objetos aumentados (Xo, Yo, Zo) y el de la computadora o procesador de usuario (Xu, Yu, Zu). En la figura 7 se retoma el ejemplo de los usuarios jugando tenis aumentado tactovisual. DESCRIPCIÓN DETALLADA DE LA INVENCIÓN
La presente invención se refiere a un conjunto de métodos de interacción aumentada háptica e inmersiva, para su uso en un sistema portátil de interacción física aumentada con dispositivos hápticos e inmersivos retroalimentados para aplicaciones individuales o colectivas. La presente invención, extiende su aplicación a usuarios humanos y no humanos, que pueden ser otras formas de vida como los animales, androides, robots, o bien, avatares o rutinas de programación manejadas por una inteligencia artificial. Los componentes mínimos de dicho sistema son:
1. Al menos una base mundo (1 ), este es un marcador que se coloca en algún punto común de trabajo a todos los usuarios, este indica siempre la posición que tiene a cada usuario, esta base es única si los usuarios ocupan un mismo espacio de trabajo o ubicación geográfica o bien múltiple lo cual permite tele existencia si los usuarios están en distintas ubicaciones geográficas, es la encargada de actualizar para cada usuario los valores relativos al objeto virtual o bien servir como marco global de referencia.
2. Al menos un sensor portátil (2) externo a la interfaz háptica que se coloca en cualquier otra parte del cuerpo del usuario. Está adaptado para medir distancias y posiciones relativas de la interfaz háptica con respecto al marco del visor inmersivo y del global para así poder detectar la sobreposición de la interfaz háptica vestible con el objeto virtual. Por ejemplo, en el caso de usarse un guante háptico, se dispone de sensores monitoreando marcadores en puntos específicos de la mano y los dedos para poder detectar si existe contacto aumentado entre la mano y el objeto virtual. Los sensores se eligen sin limitar, cámaras, arreglos ultrasónicos o de radiofrecuencia o cadenas cinemáticas no motorizadas que incorporen sensores articulares como encoders, potenciómetros, unidades de medición inercial (IMUS), etc., incluso sensores de interrupción de flujo óptico, eléctrico o de presión.
3. Al menos un visor inmersivo (3), estos pueden ser lentes inmersivos o bien de realidad aumentada, en los primeros se toma un video del mundo real y se proyecta al usuario junto con una superposición de imágenes del objeto virtual. En el segundo caso se superpone un ambiente virtual al mundo real a través de lentes especializados.
4. Al menos una interfaz háptica vestible (4), que su forma se elige sin limitar de entre guante, calzado, extremidades, torso, gorro o bien de cuerpo completo o bien un dispositivo de aumento de fuerza como lo es un exoesqueleto, además esta adaptado para sentir un objeto aumentado y alterarlo, es decir un objeto virtual sobrepuesto en la realidad.
5. Al menos un sensor a bordo de la interfaz háptica (4a), estos están adaptados para detectar, velocidades, aceleraciones y fuerzas, tanto rotacionales como traslacionales de la parte del cuerpo cubierta por la interfaz háptica vestible y cuya medición permite alterar el comportamiento del objeto virtual aumentado.
6. Al menos un objeto virtual aumentado sobre el mundo real (5), estos objetos virtuales se colocan superpuestos en el mundo real (5), teniendo la base mundo (1) como referencia.
7. Al menos una unidad portátil de procesamiento (6), adaptada para realizar cálculos, mediciones, control háptico, envío y recepción telemétrica de datos, comunicación con otras unidades y la base mundo, así como la superposición del objeto virtual en el mundo real, cada usuario lleva una de ellas. 8. Al menos un equipo de telemetría (7), este está adaptado para enviar los datos de cada usuario, así como de la base mundo (1) y de los objetos virtuales entre si. son comunicadores bidireccionales de datos que pueden usar tecnologías de comunicación inalámbrica como Bluetooth o WiFi o cualquier otra tecnología de comunicación disponible.
9. Un conjunto de marcos coordenados espaciales de posición y orientación, estos se componen de tres coordenadas de base de traslación y tres coordenadas de base de rotación) y son al menos: a. El del visor inmersivo (Xv, Yv, Zv), este es la referencia a nivel usuario; b. El base mundo (Xb, Yb, Zb), este lo establece el marcador base mundo y se coloca en el cero mundo o la posición que tenga dicha base, este puede también ser establecido a bordo de un usuario, el cual sirve como una base de referencia para los demás usuarios, además puede contar con un sistema de rastreo y transmisión dinámico a modo de radar y con ello reducir los sensores y emisores o bien, poseer tantos sensores y emisores como usuarios existan; c. El de cada usuario (Xu, Yu, Zu), este lo establece cada usuario y se mide respecto al base mundo
O); d. El del objeto aumentado (Xo, Yo, Zo), esta se mide respecto al base mundo y en consecuencia cada usuario; e. El del dispositivo háptico (Xh, Yh, Zh), este se mide a nivel usuario, respecto al visor y respecto al dispositivo de monitoreo exterior, también se le considera como un efector final; f. El del sensor y monitoreo exterior del dispositivo háptico (Xse, Yse, Zse), este se mide a nivel usuario y es la liga entre el visor y el dispositivo háptico. Entre este sensor y el dispositivo háptico, el usuario forma una cadena cinemática con su propio cuerpo, este puede ser colocado junto al visor.
EJEMPLOS DE USO O APLICACIÓN DE LA INVENCIÓN
La descripción de los métodos para el uso de dicho sistema háptico e inmersivo portátil con sus ejemplos de aplicación a proteger son los siguientes:
1 . Sistema táctil elegible de entretenimiento deportivo aumentado: como los objetos virtuales son diseñables y no es necesario fabricarlos físicamente debido que son objetos virtuales, estos se programan en un medio legible. Se puede disponer de un menú de deportes donde un equipo de jugadores elige que deporte quiere practicar, variando con ello canchas u objetos virtuales de juego (balones, manoplas, etc.), este sistema posibilita incluso jugar en un equipo sin que los jugadores estuvieran presentes en la misma locación geográfica, solo disponiendo de un espacio lo suficientemente grande y conexión a internet o cualquier otra red de datos. El método para el uso de este sistema es el siguiente: a. Al menos un usuario elige un deporte pre programado de tipo aumentado; b. Al menos una unidad de base fija carga dicho programa y objetos aumentados de interacción (redes, pelotas, raquetas, etc.); c. Al menos una unidad de base fija estima la posición de los usuarios mediante las unidades de telemetría y calcula la posición de los objetos deportivos aumentados; d. Al menos una unidad de sensado del dispositivo háptico junto con las unidades de procesamiento de cada usuario determinan si existe contacto entre la posición y orientación del dispositivo háptico y el objeto aumentado; e. Al menos un usuario interactúa con los objetos deportivos aumentados visualizándolos en sus visores y alterando su movimiento y fuerza con las interfaces hápticas; f. Dicha alteración de fuerza dada por cada usuario, mediante las unidades de procesamiento a bordo y sus respectivas unidades de telemetría, es retransmitida a la base o bases mundo y con esto se regresa al punto 3 del método hasta que los usuarios o usuario decidan finalizar el juego, guardar y abandonar el juego o cambiar de actividad física aumentada.
2. Sistema táctil de entrenamiento educativo, laboral o medico aumentado: de una forma parecida a la anterior, pero en esta ocasión cada alumno o aprendiz o practicante dispone de un simulador aumentado individual o común entre todos los usuarios, reduciendo costos respecto a tener equipo real. El método es semejante al descrito en el sistema de entretenimiento deportivo aumentado, solo que los objetos y escenarios aumentados, cambian a material educativo, laboral o medico para la realización de practicas, en este caso, se dispone de un cambio en el paso uno, tal que un usuario o grupo de usuarios tenga el rol de maestro y los otros solo sean alumnos, siendo los usuarios con rol de maestro quienes deciden en que momento iniciar y terminar el método.
3. Sistema de diseño CAD/CAM aumentado o para compartir objetos entre videojuegos: una aplicación consiste en darle capacidad a los sistemas de diseño CAD/CAM actuales de generar objetos aumentados táctiles y alterables entre usuarios tal que puedan almacenarse y compartirse dichos cambios facilitando el diseño sin tener que producir piezas o prototipos y esperar tiempos de manufactura o gastos asociados. Otra aplicación es en los videojuegos donde los usuarios pueden interactuar y compartir avatares tangibles. El método es el siguiente: a. Se dispone, edita o crea un objeto aumentado desde algún software de tipo CAD/CAM o videojuego; b. Se traslada dicho objeto aumentado a la unidad (o unidades) de base fija, c. la unidad o las unidades de base fija estiman la posición de los usuarios mediante las unidades de telemetría y calcula la posición de los objetos aumentados; d. la unidad o las unidades de sensado del dispositivo háptico junto con las unidades de procesamiento de cada usuario determinan si existe contacto entre la posición y orientación del dispositivo háptico y el objeto aumentado; e. Los usuarios interactúan con los objetos aumentados visualizándolos en sus visores y alterando su forma, movimiento o fuerza con las interfaces hápticas; f. dicha alteración de propiedades físicas dada por cada usuario, mediante las unidades de procesamiento a bordo y sus respectivas unidades de telemetría, es retransmitida a la base o bases mundo y con esto se regresa al punto 3 del método hasta que los usuarios o usuario decidan finalizar la modificación; g. una vez finalizada la modificación, la unidad base retransmite el objeto aumentado modificado a algún ordenador donde es almacenado para su uso posterior.
4. Sistema de navegación táctil para dispositivos móviles: un problema con los actuales teléfonos celulares y/o tabletas inteligentes (tablets), es que hacen perder la atención focalizándola en las pantallas y teclados, de esta forma superponiendo objetos aumentados como lo hacen ya los lentes inmersivos, con esto se soluciona dicho problema y además se agregan capacidades táctiles, donde el usuario obtiene la capacidad de sentir y compartir con otros usuarios, objetos como menús y botones virtuales aumentados en la realidad, esto puede utilizarse en redes sociales para compartir objetos virtuales como iconos o memes con retroalimentación táctil. El método es el siguiente: a. la unidad (o unidades si se desea una interacción grupal o a través del internet) de base que en este caso esta contenida o puede adaptarse al dispositivo móvil inicia un menú con objetos aumentado (dicho menú puede ser un chat o simples ventanas de navegación); b. las unidades de sensado del dispositivo háptico junto con las unidades de procesamiento de cada usuario (que pueden estar embebidas en el móvil y el visor de los usuarios) determinan si existe contacto entre la posición y orientación del dispositivo háptico y el objeto aumentado; c. Los usuarios interactúan con los objetos aumentados visualizándolos en sus visores y alterando su forma, movimiento o fuerza con las interfaces hápticas, pudiendo compartirlos o no según lo requiera la aplicación; d. dicha alteración de propiedades físicas dada por cada usuario, mediante las unidades de procesamiento a bordo y sus respectivas unidades de telemetría, es retransmitida a la base o bases mundo donde se altera el menú de objetos aumentados y se repiten las secuencias, hasta que los usuarios o usuario finalicen el programa o abandonen la sesión.
5. Sistema aumentado de teleoperación / tele existencia vehicular: aquí uno o mas usuarios pueden controlar un robot o vehículo a distancia a través de un avatar virtual de dicho vehículo aumentado en su espacio real individual, el vehículo real puede o no modificar el avatar virtual para que los usuarios sientan retroalimentación háptica. El método es el siguiente: a. Se miden parámetros reales del vehículo a controlar o bien de sus componentes; b. Se dispone de un objeto aumentado a manera de representación visual y táctil asociada al vehículo anterior; c. Se traslada dicho objeto aumentado a la unidad (o unidades) de base fija, d. la unidad (o unidades) de base fija estiman la posición de los usuarios mediante las unidades de telemetría y calcula la posición de los objetos aumentados; e. Las unidades de sensado del dispositivo háptico junto con las unidades de procesamiento de cada usuario humano o no humano determinan si existe contacto entre la posición y orientación del dispositivo háptico y el objeto aumentado; f. Los usuarios interactúan con los objetos aumentados visualizándolos en sus visores y alterando su forma, movimiento o fuerza con las interfaces hápticas y deciden la manera en que el vehículo real o sus componentes alteran el objeto aumentado; g. Dicha alteración de propiedades físicas dada por cada usuario, mediante las unidades de procesamiento a bordo y sus respectivas unidades de telemetría, es retransmitida a la base o bases mundo y la alteración del objeto aumentado o sus componentes es replicada a los actuadores del vehículo o sus componentes; h. La representación aumentada del vehículo o sus componentes es alterada total, nula o parcialmente por el vehículo real o sus componentes; i. Se repite el método desde el paso 1 hasta que los usuarios decidan abandonar el ciclo o el vehículo se detenga dando prioridad a esto ultimo. Sistema aumentado con potenciación de fuerza: en este caso el dispositivo háptico vestible tiene potenciación de fuerza a manera de un exoesqueleto y permite a los usuarios sentir de forma realista objetos virtuales aumentados voluminosos o pesados, esto puede servir para entrenamiento mecánico o de rescate donde se interactúa con elementos y piezas pesadas y voluminosas. El método es semejante al descrito en el sistema táctil de entrenamiento educativo, laboral o medico aumentado, pero se dispone de un exoesqueleto en el sistema háptico, lo cual permite interactuar o generar la sensación de objetos aumentados voluminosos y/o masivos. Sistema aumentado de interacción aumentada tacto cerebro-computadora: en este caso el usuario además de disponer de tacto virtual sobre un objeto aumentado, tiene la capacidad de controlar a dicho objeto con señales de su cerebro mediante alguna de las muchas interfaces cerebro computadora disponibles en el mercado, por lo que seria una experiencia no existente en la realidad de tacto y "telequinesis”, esto puede ser auxiliar de terapias o experiencias lúdicas inmersivas, por ejemplo, el usuario o usuarios pueden disponer de un brazo aumentado que al manipularlo con las señales de su cerebro, permita una retroalimentación directa a sus brazos reales mediante el dispositivo háptico colocado en sus brazos reales, dicha experiencia puede verse como una especie de tercera persona o experiencia extra corporal. Es sistema se puede usar en entornos de rehabilitación u otros usos mixtos, esto es un auxiliar de terapias o experiencias lúdicas inmersivas, proporcionando una sensación en el usuario o usuarios de tercera persona o experiencia extra corporal, se dispone además de una entrada de control del objeto aumentado combinada entre el dispositivo háptico y la interfaz cerebro-computadora, esto es lo que genera la experiencia en tercera persona pues el usuario además de poder controlar o no el objeto aumentado con la interfaz háptica vestible (se recuerda que esta interfaz se controla con el movimiento corporal y hay usuarios que lo carecen), también puede controlar dicho objeto aumentado con su actividad cerebral y pueda o no dicho usuario o usuarios mover el dispositivo háptico, este siempre devolverá un impulso de reacción a su cuerpo. El método es semejante al descrito en el sistema táctil de entrenamiento educativo, laboral o medico aumentado pero se dispone además de una entrada de control del objeto aumentado combinada entre el dispositivo háptico y la interfaz cerebro-computadora, esto es lo que genera la experiencia en tercera persona pues el usuario además de poder controlar o no el objeto aumentado con la interfaz háptica vestible (se recuerda que esta interfaz se controla con el movimiento corporal y hay usuarios que lo carecen), también puede controlar dicho objeto aumentado con su actividad cerebral y pueda o no dicho usuario o usuarios mover el dispositivo háptico, este siempre devolverá un impulso de reacción a su cuerpo.
8. Sistema de guiado para operaciones manuales: se puede colocar una guía aumentada sobre un objeto real, para dirigir correctamente la trayectoria de un taladro real mediante retroalimentación háptica o bien la adecuada colocación de una canaleta o el posicionado del arco de un violín, siendo un plano tridimensional dicho objeto aumentado táctil. El método es semejante al descrito en el sistema táctil de entrenamiento educativo, laboral o medico aumentado pero se dispone de plantillas de objetos aumentados o planos de realidad aumentada táctil y visual tal que el usuario se vea forzado por el dispositivo háptico a seguir un patrón de movimiento y utilizar adecuadamente alguna herramienta u objeto real o bien tener acceso a planos tacto visuales para la intervención de un edificio u objeto sobre la obra construida o en obra negra, también cambia el paso 5 pues el objeto aumentado presenta alta resistencia a ser deformado obligando con ello al usuario a adaptarse a su forma.
9. Sistema de representación y reconstrucción medica aumentado: en este caso se dispone de un sensor habitual, por ejemplo un ultrasonido o rayos X que sea capaz de reconstruir un órgano, con base en su interpretación y una base de datos de dicha interpretación, el sistema háptico puede generar las texturas posibles asociadas a dichos sensores y hacer que un medico pudiera recrear el tacto aumentado de un órgano, esto es de utilidad para médicos invidentes en el análisis de un ultrasonido o radiografía que en general son elementos visuales.
El método es semejante al descrito en el sistema táctil de entrenamiento educativo, laboral o medico aumentado, solo que el objeto a monitorear es indeformable y es generado como una representación de un objeto u órgano real a través de sensores en el colocados, como se obtiene una representación tacto visual, una persona invidente es capaz de interpretar el objeto aumentado sin necesidad de verlo. 10. Sistema de representación y reconstrucción industrial: es básicamente lo mismo que el ejemplo anterior, pero con aplicaciones industriales como el monitoreo del flujo en una tubería, donde un inspector puede sin partir el tubo sentir una representación de su contenido y dictaminar velocidad, viscosidad, presión, etc. El método es semejante al descrito en el caso anterior, simplemente cambia de área médica a industrial y por lo tanto sus estándares y normativas.
11. Microscopio tridimensional aumentado táctil: retomando las ultimas dos aplicaciones y aumentando las dimensiones (tamaño o masa) de la reconstrucción virtual del objeto monitoreado (una arteria y la sangre que por ella fluye, por ejemplo), se dispone con una versión aumentada y táctilmente interactiva del comportamiento de dicho objeto.
El método es una combinación de los descritos en los numerales 9 y 10 previamente, pero la representación táctil y/o visual se amplifican en dimensiones o masa virtual para poder incrementar cualquiera de ambas sensaciones.
12. Microscopio tridimensional aumentado táctil de dos vías: lo mismo que el anterior, pero la realización de una acción sobre el objeto aumentado amplificado afecta mediante teleoperación robótica al objeto real, por ejemplo, un dentista puede hacer operaciones sobre un diente aumentado amplificado que se replican en un mini robot dentro de la boca del paciente.
El método es semejante al previo y se agrega un paso adicional entre los pasos 5 y 6 donde se puede alterar el objeto real a través de la replicación de la interacción con el objeto aumentado mediante mecanismos robóticos colocados en el objeto real.
13. Simulador de costura u objetos de exhibición: los sastres o trabajadores relacionados pueden realizar prendas virtuales en un mundo aumentado y probar sus diseños o modificaciones en modelos reales mediante tacto combinado (el tacto real mas el tacto háptico) o bien publicidad tacto visual háptica para promocionar objetos como calzado o muebles.
El método es semejante al del sistema de representación y reconstrucción industrial, pero se dispone para el objeto aumentado un catalogo de texturas que pueden ser superpuestas sobre un molde real, una base humanoide como lo es un maniquí o bien sobre un usuario con la cualidad de estar vivo, es decir los objetos aumentados además de ser volúmenes tridimensionales, pueden ser superficies tridimensionales.
14. Orquesta virtual y aplicaciones artísticas: cualquier usuario puede tocar con retroalimentación háptica real un instrumento virtual aumentado, pudiendo incluso formar una orquesta de instrumentos aumentados donde solo se requieren bocinas para cada instrumento, lo mismo puede aplicar para otras artes por ejemplo un escultor o diseñador gráfico puede generar una representación (copia) aumentada de un objeto real y trabajarla en su mundo virtual aumentado, para posteriormente solo imprimirla.
El método es semejante al utilizado para el sistema táctil de entrenamiento educativo, laboral o medico aumentado pero además cuenta con salida sonora vinculada con la interacción táctil tridimensional con los instrumentos musicales aumentados, en el caso de esta y otras aplicaciones artísticas se tiene la posibilidad de escanear un elemento real y usarlo como parte o totalidad del objeto aumentado, por ejemplo, escanear el puente de un violín y montarlo de manera aumentada sobre un violín virtual para alterar su sonido o bien escanear una persona para después esculpirla en una modificación caricaturesca, entre otras. Tele tacto: se genera un objeto virtual asociado a un objeto real o persona real y uno o mas usuarios pueden sentir esa misma persona u objeto virtual pero aumentado en su locación mediante la interfaz háptica vestible, esto puede tener aplicaciones eróticas, de rehabilitación, de comunicación personal entre familias o conocidos, de apoyo a personas desvalidas como ancianos o niños, situaciones de rescate, etc.
El método es semejante al sistema táctil elegible de entretenimiento deportivo aumentado, pero el objeto aumentado es una malla o superficie tridimensional obtenida a partir de la geometría y formas de cada usuario, los dispositivos hápticos aquí utilizados también pueden cubrir desde la parcialidad hasta la totalidad del cuerpo de cada usuario e incluso ser intraducibies en determinadas zonas del cuerpo para emular una experiencia totalmente inmersiva. Robot humanoide de tele existencia tacto visual aumentada: supongamos que estando en otro país recordamos que dejamos la estufa encendida, activamos un humanoide que se encuentre en casa el cual llevamos mediante video a la cocina, en ese momento se reconstruye un objeto virtual asociado a la estufa y las manos del humanoide que le permiten captar propiedades físicas como dureza, volumen o inercias, de esta forma se reconstruye una versión de la perilla que podemos sentir y alterar con la interfaz háptica presente en nuestra localización para apagar la estufa por ejemplo, si esto es mezclado con la aplicación del tele tacto es posible abrazar o mas acciones con una representación virtual aumentada de un objeto o persona.
El método propuesto es una acción conjunta y seleccionable del anterior y del método aumentado de teleoperación/tele existencia vehicular. También es multivía, es decir, uno o mas humanoides o inteligencias artificiales pueden ser los usuarios y controlar a uno o mas humanos o a otros seres a través de la acción del dispositivo háptico o exoesqueleto, teniendo utilidad para aplicaciones de rescate o rehabilitación. Interacción compartida de un mismo objeto virtual o sus parcialidades, es decir, supóngase un humanoide virtual donde 4 usuarios controlen de manera independiente sus dos brazos y dos piernas, para lograr una ejecución coordinada como en el concepto de los robots de anime denominados "mecha” y que este humanoide virtual opere a uno real. Sistema de lectura digital aumentada: es un lector de libros virtuales aumentado, es decir leer libros digitales con una sensación de tacto semejante a leer un libro físico, se puede otorgar a los usuarios la capacidad de sentir un documento digital y con ello aumentar la venta de libros en esos formatos. El método es el siguiente: a. se dispone de algún documento digital; b. se sobrepone el contenido del documento digital a un objeto aumentado que represente un libro y sus paginas; c. El usuario decide si abrirlo, cerrarlo, cambiar de pagina o cambiar de libro mediante la interfaz háptica, así como realizar anotaciones o colocar marcadores de avance de lectura, cada acción puede ser guardada para llevar un histórico de eventos. Los sensores indican si hay empalmamiento o contacto entre el usuario y el objeto aumentado; d. el usuario decide si comparte cada libro, o lo compra/vende, e incluso si tiene su propia colección de libros, cada acción puede ser guardada para llevar un histórico de eventos; e. múltiples usuarios pueden realizar los procesos de "c” a "d” de manera independiente o bien existe un usuario maestro que determina los permisos y alcances de cada usuario; f. se repiten los pasos del "a” al "e” hasta que cada usuario decida abandonar su respectiva sesión o se desconecte de su respectivo sistema. Dispositivos electrónicos o muebles aumentados: el usuario puede prescindir de tener una televisión o bien, de una colección de archivos multimedia contenidos en medios legibles físicos pudiendo tenerlos de manera virtual pero con la capacidad de interactuar táctilmente con dichos objetos (cambiar el canal, seleccionar un medio legible de un mostrador virtual, tener una tornamesa aumentada, etc.), un reproductor de video o audio aumentado o un avatar aumentado de su celular todo con retroalimentación táctil, esto también puede usarse como un método de prueba previo a la compra de un dispositivo u objeto físico real.
El método es igual que el de la lectura digital aumentada, pero extendible a muebles, electrodomésticos y equipo u objetos en general. Además, puede ser ser utilizado como un conjunto de utensilios u objetos aumentados como por ejemplo muebles, artesanías, avatares o equipo de entretenimiento virtual visual, acústico y táctilmente aumentado en la realidad, por ejemplo, una tornamesa, una televisión o chat de interacción háptica táctil para compartir memes o ¡conos aumentados, etc. Bibliotecas portátiles aumentadas: En un escenario, donde no es posible construir un edificio se puede llevar varios sistemas portables de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados, con ambientes virtuales aumentados precargados de estantes y libros, con la capacidad de compartir e intercambiar dichos libros con otras personas en otras locaciones geográficas.
El método es semejante al de la lectura digital aumentada, pero se disponen con estantes compartidos por tantos usuarios como el sistema lo soporte o permita y con las funcionalidades propias de una biblioteca: préstamo de libros, devolución de los mismos, adquisición de nuevos libros, sistemas de recompensa o multa, muchos ejemplares de un mismo libro, otros servicios como audio, periódicos, etc., y restricciones o ampliaciones geográficas entre otros.
21. Sistemas aumentados de contraseñas o cerraduras: se pueden generar objetos virtuales aumentados o modificar dichos objetos virtuales aumentados (agregando una nota a un libro aumentado) e indicarles a personas especificas donde se encuentra esta información para ser utilizada como una contraseña de grupo o bien que esta sea capaz de interactuar con cerrojos reales mediante dispositivos hápticos expansivos, este generador de contraseñas o cerraduras físicas aumentadas, se restringe el uso a uno o mas usuarios que son capaces de generar un objeto aumentado que por si mismo o interactuando con un objeto real sirvan como contraseña o llave, pudiendo ser desde la escritura de una contraseña en un libro aumentado que abre un programa virtual o aumentado o bien que se use para abrir una cerradura de botones real hasta una llave aumentada tal que al imprimirse abra un cerrojo real o bien múltiples objetos diseñados por múltiples usuarios que al ensamblarse sean una llave o cerradura o el simple escaneado de una llave real que pueda ser compartido por usuarios o bien una cerradura aumentada que permita el acceso a un lugar u objeto siempre que se activen simultáneamente una cerradura real y una aumentada, o finalmente una llave aumentada que sea interactiva con cerrojos hápticos (es decir el cerrojo háptico siente y actúa conforme la geometría de una llave aumentada).
El método es semejante al usado en el sistema táctil de entrenamiento educativo, laboral o medico aumentado, pero se restringe a uno o mas usuarios que son capaces de generar un objeto aumentado que por si mismo o interactuando con un objeto real sirvan como contraseña o llave, pudiendo ser desde la escritura de una contraseña en un libro aumentado que abre un programa virtual o aumentado o bien que se use para abrir una cerradura de botones real hasta una llave aumentada tal que al imprimirse abra un cerrojo real o bien múltiples objetos diseñados por múltiples usuarios que al ensamblarse sean una llave o cerradura o el simple escaneado de una llave real que pueda ser compartido por usuarios o bien una cerradura aumentada que permita el acceso a un lugar u objeto siempre que se activen simultáneamente una cerradura real y una aumentada, o finalmente una llave aumentada que sea interactiva con cerrojos hápticos (es decir el cerrojo háptico se adapta y actúa conforme la geometría de una llave aumentada).
22. Sistema de ratón y teclado o libreta y lápiz aumentados con tacto háptico: estas son aplicaciones derivadas de la fusión de varios métodos ya descritos: el del libro aumentado, el de entrenamiento escolar o industrial, el de contraseñas y cerraduras aumentadas y el de uso en dispositivos móviles. DESCRIPCION DE LAS ETIQUETAS DE LAS FIGURAS
Figure imgf000016_0001

Claims

REIVINDICACIONES
1. Un sistema portátil de interacción física aumentada con dispositivos hápticos e inmersivos retroalimentados para aplicaciones individuales o colectivas adaptado para usuarios humanos y no humanos, que se eligen sin limitar entre humanos, animales, androides, robots, avatares o inteligencias artificiales, caracterizado porque comprende los siguientes elementos: a. Al menos una base mundo (1 ), este es un marcador que se coloca en algún punto común de trabajo a todos los usuarios, este indica siempre la posición que tiene a cada usuario, esta base es única si los usuarios ocupan un mismo espacio de trabajo o ubicación geográfica o bien múltiple lo cual permite tele existencia si los usuarios están en distintas ubicaciones geográficas, es la encargada de actualizar para cada usuario los valores relativos al objeto virtual o bien servir como marco global de referencia; b. Al menos un sensor portátil (2) externo a la interfaz háptica que se coloca en cualquier otra parte del cuerpo del usuario. Está adaptado para medir distancias y posiciones relativas de la interfaz háptica con respecto al marco del visor inmersivo y del global para así poder detectar la sobre posición de la interfaz háptica vestible con el objeto virtual. Los sensores se eligen sin limitar de entre cámaras, arreglos ultrasónicos o de radiofrecuencia o cadenas cinemáticas no motorizadas que incorporen sensores articulares como encoders, potenciómetros, unidades de medición inercial (IMUS), sensores de interrupción de flujo óptico, eléctrico o de presión; c. Al menos un visor inmersivo (3), estos pueden ser lentes inmersivos o bien de realidad aumentada, en los primeros se toma un video del mundo real y se proyecta al usuario junto con una superposición de imágenes del objeto virtual. En el segundo caso se superpone un ambiente virtual al mundo real a través de lentes; d. Al menos una interfaz háptica vestible (4), que su forma se elige de entre guante, calzado, extremidades, torso, gorro o bien de cuerpo completo o bien un dispositivo de aumento de fuerza como lo es un exoesqueleto, además esta adaptado para sentir un objeto aumentado y alterarlo, es decir un objeto virtual sobrepuesto en la realidad; e. Al menos un sensor a bordo de la interfaz háptica (4a), estos están adaptados para detectar, velocidades, aceleraciones y fuerzas, tanto rotacionales como traslacionales de la parte del cuerpo cubierta por la interfaz háptica vestible y cuya medición permite alterar el comportamiento del objeto virtual aumentado; f. Al menos un objeto virtual aumentado sobre el mundo real (5), estos objetos virtuales se colocan superpuestos en el mundo real (5), teniendo la base mundo (1) como referencia; g. Al menos una unidad portátil de procesamiento (6), adaptada para realizar cálculos, mediciones, control háptico, envío y recepción telemétrica de datos y la superposición del objeto virtual en el mundo real, cada usuario lleva una de ellas; h. Al menos un equipo de telemetría (7), este está adaptado para enviar los datos de cada usuario, así como de la base mundo (1) y de los objetos virtuales entre si, son comunicadores bidireccionales de datos que pueden usar tecnologías de comunicación inalámbrica como Bluetooth o WiFi o cualquier otra tecnología de comunicación disponible; i. Un conjunto de marcos coordenados espaciales de posición y orientación, estos se componen de tres coordenadas de base de traslación y tres coordenadas de base de rotación) y son al menos:
A. El del visor inmersivo (Xv, Yv, Zv), este es la referencia a nivel usuario;
B. El base mundo (Xb, Yb, Zb), este lo establece el marcador base mundo y se coloca en el cero mundo o la posición que tenga dicha base, este puede también ser establecido a bordo de un usuario, el cual sirve como una base de referencia para los demás usuarios, además puede contar con un sistema de rastreo y transmisión dinámico a modo de radar y con ello reducir los sensores y emisores o bien, poseer tantos sensores y emisores como usuarios existan;
C. El de cada usuario (Xu, Yu, Zu), este lo establece cada usuario y se mide respecto al base mundo (1);
D. El del objeto aumentado (Xo, Yo, Zo), esta se mide respecto al base mundo y en consecuencia cada usuario);
E. El del dispositivo háptico (Xh, Yh, Zh), este se mide a nivel usuario, respecto al visor y respecto al dispositivo de monitoreo exterior, también se le considera como un efector final;
F. El del sensor y monitoreo exterior del dispositivo háptico (Xse, Yse, Zse), este se mide a nivel usuario y es la liga entre el visor y el dispositivo háptico, entre este y el dispositivo háptico, el usuario forma una cadena cinemática con su propio cuerpo, este puede ser colocado junto al visor.
2. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados, caracterizado por que el método permite la edición, visualización y/o diseño de objetos virtuales y aumentados para compartir dichos objetos entre un equipo de usuarios de trabajo o bien un único usuario, empleando para ello software CAD/CAM y dispositivos de almacenamiento, que comprende las siguientes etapas: a. Se dispone, edita o crea un objeto aumentado desde algún software de tipo CAD/CAM o videojuego, b. se traslada dicho objeto aumentado a la unidad o unidades de base fija, c. la unidad o unidades de base fija estiman la posición de los usuarios mediante las unidades de telemetría y calcula la posición de los objetos aumentados, d. la unidad o las unidades de sensado del dispositivo háptico junto con las unidades de procesamiento de cada usuario determinan si existe contacto entre la posición y orientación del dispositivo háptico y el objeto aumentado, e. Los usuarios interactúan con los objetos aumentados visualizándolos en sus visores y alterando su forma, movimiento o fuerza con las interfaces hápticas, f. dicha alteración de propiedades físicas dada por cada usuario, mediante las unidades de procesamiento a bordo y sus respectivas unidades de telemetría, es retransmitida a la base o bases mundo y con esto se regresa al punto f del método hasta que los usuarios o usuario decidan finalizar la modificación, g. una vez finalizada la modificación, la unidad base retransmite el objeto aumentado modificado a algún ordenador donde es almacenado para su uso posterior.
3. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados, caracterizado porque está adaptado para ser utilizado con dispositivos móviles como teléfonos o tabletas donde el usuario tiene la capacidad de sentir y compartir con otros usuarios objetos como menús y botones virtuales aumentados en la realidad, el método es como sigue: a. la unidad (o unidades si se desea una interacción grupal o a través del internet) de base que en este caso esta contenida o puede adaptarse al dispositivo móvil inicia un menú con objetos aumentado (dicho menú puede ser un chat o simples ventanas de navegación); b. las unidades de sensado del dispositivo háptico junto con las unidades de procesamiento de cada usuario (que pueden estar embebidas en el móvil y el visor de los usuarios) determinan si existe contacto entre la posición y orientación del dispositivo háptico y el objeto aumentado; c. Los usuarios interactúan con los objetos aumentados visualizándolos en sus visores y alterando su forma, movimiento o fuerza con las interfaces hápticas, pudiendo compartirlos o no según lo requiera la aplicación; d. dicha alteración de propiedades físicas dada por cada usuario, mediante las unidades de procesamiento a bordo y sus respectivas unidades de telemetría, es retransmitida a la base o bases mundo donde se altera el menú de objetos aumentados y se repiten las secuencias, hasta que los usuarios o usuario finalicen el programa o abandonen sesión.
4. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados, caracterizado por que el método permite a un equipo de usuarios o a un único usuario utilizar y cambiar de un entorno aumentado a otro por ejemplo de un entorno de basquetbol a uno de tenis, de uno de soccer a uno de fútbol americano, de uno de ajedrez a una orquesta de realidad aumentada o cualquier otro entorno lúdico existente, todo con la intención de combinar un ambiente virtual de juegos con el mundo real, que comprende las siguientes etapas: a. Al menos un usuario elige un deporte pre programado de tipo aumentado, b. Al menos una unidad de base fija carga dicho programa y objetos aumentados de interacción, c. Al menos una unidad de base fija estiman la posición de los usuarios mediante las unidades de telemetría y calcula la posición de los objetos deportivos aumentados, d. Al menos una unidad de sensado del dispositivo háptico junto con las unidades de procesamiento de cada usuario determinan si existe contacto entre la posición y orientación del dispositivo háptico y el objeto aumentado, e. Al menos un usuario interactúa con los objetos deportivos aumentados visualizándolos en sus visores y alterando su movimiento y fuerza con las interfaces hápticas, f. Dicha alteración de fuerza dada por cada usuario, mediante las unidades de procesamiento a bordo y sus respectivas unidades de telemetría, es retransmitida a la base o bases mundo y con esto se regresa al punto c del método hasta que los usuarios o usuario decidan finalizar el juego, guardar y abandonar el juego o cambiar de actividad física aumentada.
5. Un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 1, caracterizado porque puede ser utilizado por un equipo de usuarios en la misma locación geográfica o bien en locaciones geográficas distintas entre dichos usuarios.
6. Un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 1, caracterizado porque está adaptado con la capacidad de elegir si es utilizado solo por único usuario real o por un grupo de usuarios reales.
7. Un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 1, caracterizado porque, los sensores portátiles externos a la interfaz háptica colocables en cualquier otra parte del cuerpo del usuario, tienen la opción de colocarse en una superficie o volumen externo al cuerpo del usuario.
8. Un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 1, caracterizado porque los sensores y transmisores en general se eligen de entre radiofrecuencias, visuales, acústicos, térmicos, o cualquier otra tecnología disponible.
9. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 4, caracterizado porque está adaptado para ser utilizado en aplicaciones de entrenamiento educativo, laboral o medico aumentado donde cada alumno o aprendiz o practicante dispone de un simulador aumentado individual o común entre todos los usuarios, reduciendo costos respecto a tener equipo real, los objetos y escenarios aumentados, cambian a material educativo, laboral o medico para la realización de practicas, en este caso, se dispone de un cambio pequeño en el paso uno, tal que un usuario o grupo de usuarios tenga el rol de maestro y los otros solo sean alumnos, siendo los usuarios con rol de maestro quienes deciden en que momento iniciar y terminar el método.
10. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con las reivindicaciones 2, 3, 4 y 9, caracterizado porque la interfaz háptica aumentada tiene un mecanismo de aumento de fuerza como lo es un exoesqueleto y ello le permite al usuario interactuar con objetos aumentados y virtuales voluminosos o masivos.
11. Un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 1, caracterizado porque el equipo de telemetría a bordo de las bases mundo puede ser dinámico (uno o mas sensores y transmisores colocados a manera de radar) o estático (tantos sensores o transmisores colocados de manera arbitraria y fija a conveniencia de los usuarios).
12. Un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 1, caracterizado porque las bases mundo sean equipos móviles como celulares, tabletas o laptops o bien fijos como ordenadores de escritorio y en ellos estén o no incorporados: al menos un equipo de telemetría, al menos una unidad portátil de procesamiento y al menos un sensor portátil externo a la interfaz háptica.
13. Un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 1, caracterizado porque, los sensores portátiles externos a la interfaz háptica colocables en cualquier otra parte del cuerpo estén empotrados en el visor inmersivo de realidad aumentada.
14. Un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 1, caracterizado porque está adaptado con la variante de ser colocado en vehículos que se eligen de entre terrestres, marinos, aéreos o una combinación de las anteriores.
15. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados, caracterizado porque se puede seleccionar si se altera o no la posición y orientación de un, vehículo, robot, robot humanoide, animal, ser humano, inteligencia artificial u objeto real utilizando uno aumentado o virtual y viceversa, mediante la acción replicada de uno o múltiples usuarios que pueden o no ser humanos, que comprende las siguientes etapas: a. se miden parámetros reales del vehículo o entidad humana o no humana a controlar o bien de sus componentes, b. se dispone de un objeto aumentado a manera de representación visual y táctil asociada al vehículo anterior o entidad humana o no humana a controlar, c. se traslada dicho objeto aumentado a la unidad (o unidades) de base fija, d. la unidad (o unidades) de base fija estiman la posición de los usuarios mediante las unidades de telemetría y calcula la posición de los objetos aumentados, e. las unidades de sensado del dispositivo háptico junto con las unidades de procesamiento de cada usuario humano o no humano, determinan si existe contacto entre la posición y orientación del dispositivo háptico y el objeto aumentado, f. los usuarios humanos o no humanos, interactúan con los objetos aumentados visualizándolos en sus visores y alterando su forma, movimiento o fuerza con las interfaces hápticas y deciden la manera en que el vehículo real o sus componentes alteran el objeto aumentado, g. dicha alteración de propiedades físicas dada por cada usuario, mediante las unidades de procesamiento a bordo y sus respectivas unidades de telemetría, es retransmitida a la base o bases mundo y la alteración del objeto aumentado o sus componentes es replicada a los actuadores del vehículo o sus componentes, o bien hacia los seres humanos o vivos que porten un dispositivo háptico, h. la representación aumentada del vehículo, usuario humano o no humano o sus componentes es alterada total, nula o parcialmente por el vehículo real, usuario humano o no humano o sus componentes, i. se repite el método desde el paso 1 hasta que los usuarios decidan abandonar el ciclo o el vehículo o entidad humana o no humana a conducir se detenga dando prioridad a esto último.
16. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicaciones 2, 3, 4, 9 ,10 y 15 caracterizado porque está adaptado para usarse en conjunto con otros sistemas como pueden ser interfaces cerebro-computadora en entornos de rehabilitación u otros usos mixtos, esto es un auxiliar de terapias o experiencias lúdicas inmersivas, proporcionando una sensación en el usuario o usuarios de tercera persona o experiencia extra corporal, se dispone además de una entrada de control del objeto aumentado combinada entre el dispositivo háptico y la interfaz cerebro-computadora, esto es lo que genera la experiencia en tercera persona pues el usuario además de poder controlar o no el objeto aumentado con la interfaz háptica vestible, esta interfaz se controla con el movimiento corporal y hay usuarios que lo carecen, también puede controlar dicho objeto aumentado con su actividad cerebral y pueda o no dicho usuario o usuarios mover el dispositivo háptico, este siempre devolverá un impulso de reacción a su cuerpo.
17. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 2, y es adaptado para usarse como generador de contraseñas o cerraduras físicas aumentadas, se restringe el uso a uno o mas usuarios que son capaces de generar un objeto aumentado que por si mismo o interactuando con un objeto real sirvan como contraseña o llave, pudiendo ser desde la escritura de una contraseña en un libro aumentado que abre un programa virtual o aumentado o bien que se use para abrir una cerradura de botones real hasta una llave aumentada tal que al imprimirse abra un cerrojo real o bien múltiples objetos diseñados por múltiples usuarios que al ensamblarse sean una llave o cerradura o el simple escaneado de una llave real que pueda ser compartido por usuarios o bien una cerradura aumentada que permita el acceso a un lugar u objeto siempre que se activen simultáneamente una cerradura real y una aumentada, o finalmente una llave aumentada que sea interactiva con cerrojos hápticos, el cerrojo háptico siente y actúa conforme la geometría de una llave aumentada.
18. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 15, caracterizado porque está adaptado para funcionar con interacción compartida de un mismo objeto aumentado o sus parcialidades. Es decir, cada usuario controla partes o componentes individuales de un robot, vehículo, ser humano o no humano a través del objeto aumentado.
19. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados, caracterizado porque está adaptado para ser utilizado como un lector de libros virtuales aumentado, es decir leer libros digitales con una sensación de tacto semejante a leer un libro físico, el método es: a. se dispone de algún documento digital; b. se sobrepone el contenido del documento digital a un objeto aumentado que represente un libro y sus paginas; c. El usuario decide si abrirlo, cerrarlo, cambiar de pagina o cambiar de libro mediante la interfaz háptica, así como realizar anotaciones o colocar marcadores de avance de lectura, cada acción puede ser guardada para llevar un histórico de eventos, los sensores indican si hay empalmamiento o contacto entre el usuario y el objeto aumentado; d. el usuario decide si comparte cada libro, o lo compra/vende, e incluso si tiene su propia colección de libros, cada acción puede ser guardada para llevar un histórico de eventos; e. múltiples usuarios pueden realizar los procesos "c” a "e” de manera independiente o bien existe un usuario maestro que determina los permisos y alcances de cada usuario; f. se repiten los pasos del "a” al "f” hasta que cada usuario decida abandonar su respectiva sesión o se desconecte de su respectivo sistema.
20. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicaciones 9 y 19, caracterizado porque está adaptado para ser utilizado como una biblioteca portátil, con la capacidad de compartir e intercambiar dichos libros y otros materiales virtuales o aumentados con otras personas en otras locaciones geográficas, se disponen de estantes compartidos por tantos usuarios como el sistema lo soportara o permitiera y con las funcionalidades propias de una biblioteca: préstamo de libros, devolución de los mismos, adquisición de nuevos libros, sistemas de recompensa o multa, muchos ejemplares de un mismo libro, otros servicios como audio, periódicos y restricciones o ampliaciones geográficas entre otros.
21. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicaciones 9, 10, 15 y 19 caracterizado porque está adaptado para se utilizado como un conjunto de utensilios u objetos aumentados como por ejemplo muebles, artesanías, avatares o equipo de entretenimiento virtual visual, acústico y táctilmente aumentado en la realidad, por ejemplo una tornamesa, una televisión o chat de interacción háptica táctil para compartir memes o ¡conos aumentados, etc.
22. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 4, caracterizado porque está adaptado para ser utilizado con aplicaciones eróticas, de interacción social y de rehabilitación o bien de apoyo en rescate y atención a niños o desvalidos empleando hápticos infiables o atuendos hápticos de cuerpo completo, el objeto aumentado es una malla o superficie tridimensional obtenida a partir de la geometría y formas de cada usuario, los dispositivos hápticos aquí utilizados también pueden cubrir desde la parcialidad hasta la totalidad del cuerpo de cada usuario e incluso ser intraducibies en determinadas zonas del cuerpo para emular una experiencia totalmente inmersiva, los objetos aumentados además de volúmenes son mallas táctiles replicantes de los objetos o usuarios a emular.
23. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 9, caracterizado porque está adaptado para ser utilizado como un sistema de guiado para operaciones manuales en entrenamiento de uso de herramientas o instrumentos musicales o entrenamiento y guía de construcción, se dispone de plantillas de objetos aumentados o planos de realidad aumentada táctil y visual tal que el usuario se vea forzado por el dispositivo háptico a seguir un patrón de movimiento y utilizar adecuadamente alguna herramienta u objeto real o bien tener acceso a planos tacto visuales para la intervención de un edificio u objeto sobre la obra construida o en obra negra, el objeto aumentado presenta alta resistencia a ser deformado obligando con ello al usuario a adaptarse a su forma, el objeto aumentado es indeformable o de muy alta resistencia a ser deformado para obligar al usuario a adaptarse a sus geometrías.
24. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 9, caracterizado porque está adaptado para ser utilizado como una forma de representación y reconstrucción medica o industrial, para disposición de representaciones tacto visuales, mediante el uso de sensores y bases de datos para la representación de órganos o medición de procesos industriales como flujo en tuberías, el objeto a monitorear es indeformable y es generado como una representación de un objeto u órgano real a través de sensores en el colocados, como se obtiene una representación tacto visual, una persona invidente es capaz de interpretar el objeto aumentado sin necesidad de verlo, el objeto aumentado es indeformable o de muy alta resistencia a ser deformado por el usuario para obligar al usuario a adaptarse a sus geometrías pero es generado en tiempo real a partir de un sensor especializado como un ultrasonido o una máquina de rayos X , lo alteran los sensores que generan dicho objeto aumentado, pero no el usuario.
25. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 24, caracterizado porque está adaptado para ser utilizado como un microscopio háptico de realidad aumentada, es decir, incrementando las dimensiones táctiles y visuales del objeto monitoreado.
26. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicaciones 24 y 25, caracterizado porque puede ser utilizado en doble vía, es decir que además de monitorear el objeto real, permitan modificarlo a través de la interacción del objeto virtual y un mecanismo replicante de la acción háptica colocado en el objeto real, el usuario puede alterar el objeto aumentado y el objeto aumentado altera simultáneamente el objeto real que representa.
27. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 21, caracterizado porque puede ser utilizado como un método publicitario servo táctil, para su uso en diversos objetos de exhibición como muebles o calzado, se dispone para el objeto aumentado un catalogo de texturas que pueden ser superpuestas sobre un molde real, una base humanoide como lo es un maniquí o bien sobre un ser vivo, es decir los objetos aumentados además de ser volúmenes tridimensionales, pueden ser superficies tridimensionales, además se cuenta con catálogos de objetos aumentados .
28. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 21 , caracterizado porque puede ser utilizado en aplicaciones de modas como una forma de realizar tacto aumentado o probar un tipo de tela o prenda superpuesta de manera aumentada a una persona real o bien a un maniquí, además se dispone de un catalogo háptico de texturas textiles.
29. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicaciones 4 y 9 caracterizado porque puede ser utilizado en aplicaciones artísticas como en una orquesta aumentada donde los músicos pueden tocar con retroalimentación háptica real un instrumento virtual aumentado, pudiendo formar una orquesta de instrumentos aumentados donde solo se requieren bocinas para cada instrumento, lo mismo puede aplicar para otras artes por ejemplo un escultor o diseñador gráfico puede generar una representación (copia) aumentada de un objeto real a partir de su reconstrucción tridimensional y trabajarla en su mundo virtual aumentado, para posteriormente solo imprimirla, la interacción acústica a través de bocinas con los objetos aumentados o bien los objetos aumentados son una reconstrucción ínsítu de objetos reales con una cámara o cualquier otro medio tecnológico disponible.
30. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con las reivindicaciones 19 y 21, caracterizado porque puede ser usado como libreta aumentada donde los usuarios disponen de una libreta con lápiz ambos de retroalimentación háptica.
31. Un método adaptado para usar un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 21, caracterizado porque puede ser usado como mouse y teclados aumentados con retroalimentación háptica.
32. Un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 1, caracterizado porque la acción de la interfaz háptica es ajustable entre un modo total, parcial, intermitente o nulo.
33. Un sistema portátil de interacción física aumentada para aplicaciones individuales o colectivas mediante dispositivos hápticos e inmersivos retroalimentados de conformidad con la reivindicación 1, caracterizado porque al menos una base mundo (1) puede ser fija y externa al o los usuarios o ser portable entre uno o mas usuarios quienes eligen a conveniencia quien de ellos lleva la base mundo (1).
PCT/IB2020/056782 2020-07-19 2020-07-19 Métodos de interacción aumentada háptica e inmersiva Ceased WO2022018480A1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/IB2020/056782 WO2022018480A1 (es) 2020-07-19 2020-07-19 Métodos de interacción aumentada háptica e inmersiva
MX2023000463A MX2023000463A (es) 2020-07-19 2020-07-19 Metodos de interaccion aumentada haptica e inmersiva.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2020/056782 WO2022018480A1 (es) 2020-07-19 2020-07-19 Métodos de interacción aumentada háptica e inmersiva

Publications (1)

Publication Number Publication Date
WO2022018480A1 true WO2022018480A1 (es) 2022-01-27

Family

ID=79728539

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2020/056782 Ceased WO2022018480A1 (es) 2020-07-19 2020-07-19 Métodos de interacción aumentada háptica e inmersiva

Country Status (2)

Country Link
MX (1) MX2023000463A (es)
WO (1) WO2022018480A1 (es)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES1162933U (es) * 2013-09-20 2016-08-17 Universidad Politécnica de Madrid Sistema vestible para interacción con entornos remotos mediante información gestual y sensaciones táctiles
WO2016205143A1 (en) * 2015-06-14 2016-12-22 Sony Interactive Entertainment Inc. Gloves that include haptic feedback for use with hmd systems
WO2019068095A1 (en) * 2017-09-29 2019-04-04 The Regents Of The University Of California HAPTIC EXOSQUELET DEVICE FOR A COMPLETE BODY
US20190279424A1 (en) * 2018-03-07 2019-09-12 California Institute Of Technology Collaborative augmented reality system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES1162933U (es) * 2013-09-20 2016-08-17 Universidad Politécnica de Madrid Sistema vestible para interacción con entornos remotos mediante información gestual y sensaciones táctiles
WO2016205143A1 (en) * 2015-06-14 2016-12-22 Sony Interactive Entertainment Inc. Gloves that include haptic feedback for use with hmd systems
WO2019068095A1 (en) * 2017-09-29 2019-04-04 The Regents Of The University Of California HAPTIC EXOSQUELET DEVICE FOR A COMPLETE BODY
US20190279424A1 (en) * 2018-03-07 2019-09-12 California Institute Of Technology Collaborative augmented reality system

Also Published As

Publication number Publication date
MX2023000463A (es) 2023-08-22

Similar Documents

Publication Publication Date Title
Araujo et al. Snake charmer: Physically enabling virtual objects
Mihelj et al. Virtual reality technology and applications
El Saddik et al. Haptics technologies: Bringing touch to multimedia
Gannon et al. Tactum: a skin-centric approach to digital design and fabrication
Feick et al. Tangi: Tangible proxies for embodied object exploration and manipulation in virtual reality
Eid et al. A guided tour in haptic audio visual environments and applications
Li et al. Evaluation of haptic virtual reality user interfaces for medical marking on 3D models
Amini et al. Augmented reality mastectomy surgical planning prototype using the HoloLens template for healthcare technology letters
Spiers et al. The S-BAN: Insights into the perception of shape-changing haptic interfaces via virtual pedestrian navigation
Rasheed et al. A low-cost unity-based virtual training simulator for laparoscopic partial nephrectomy using HTC Vive
Lee et al. Rich pinch: Perception of object movement with tactile illusion
PĂVĂLOIU et al. VIRTUAL REALITY FOR EDUCATION AND TRAINING IN DENTISTRY.
Williams et al. The virtual haptic back project
Mine Exploiting proprioception in virtual-environment interaction
Lindeman Bimanual interaction, passive-haptic feedback, 3D widget representation, and simulated surface constraints for interaction in immersive virtual environments
Panchaphongsaphak et al. Three-dimensional touch interface for medical education
Sherstyuk et al. Mixed reality manikins for medical education
Thalmann et al. Virtual reality software and technology
CN111276022A (zh) 一种基于vr技术的胃镜模拟操作系统
WO2022018480A1 (es) Métodos de interacción aumentada háptica e inmersiva
Wang et al. Virtueledent: A compact xr tooth-cutting training system using a physical emr-based dental handpiece and teeth model
Do Design for Assistive Augmentation—Mind, Might and Magic
Yang et al. Passive haptics based MR system for geography teaching
McLaughlin et al. Introduction to haptics
Güler et al. Augmented reality in anatomy education and designing an augmented reality application for learning skeleton system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20946290

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20946290

Country of ref document: EP

Kind code of ref document: A1