WO2014125134A1 - Método para la representación de entornos virtuales localizados geográficamente y dispositivo móvil - Google Patents

Método para la representación de entornos virtuales localizados geográficamente y dispositivo móvil Download PDF

Info

Publication number
WO2014125134A1
WO2014125134A1 PCT/ES2013/070090 ES2013070090W WO2014125134A1 WO 2014125134 A1 WO2014125134 A1 WO 2014125134A1 ES 2013070090 W ES2013070090 W ES 2013070090W WO 2014125134 A1 WO2014125134 A1 WO 2014125134A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
representation
group
variable
vector3
Prior art date
Application number
PCT/ES2013/070090
Other languages
English (en)
French (fr)
Inventor
Mariano Alfonso CÉSPEDES NARBONA
Sergio GONZALEZ GRAU
Original Assignee
Manin Company Construcciones En Acero Inoxidable, S.L.U.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Manin Company Construcciones En Acero Inoxidable, S.L.U. filed Critical Manin Company Construcciones En Acero Inoxidable, S.L.U.
Priority to EP13874977.5A priority Critical patent/EP2958079A4/en
Priority to US14/765,611 priority patent/US20150371449A1/en
Priority to PCT/ES2013/070090 priority patent/WO2014125134A1/es
Priority to CN201380072768.3A priority patent/CN104981850A/zh
Publication of WO2014125134A1 publication Critical patent/WO2014125134A1/es

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Definitions

  • the object of the present invention is the representation of a high quality vector and textured graphic environment that includes as background of this representation the video capture, sequence of images and graphics in vector format, provided by the image capture means of the device mobile that implements the method. In addition, this is done by locating the cited vector graphic environments in a predetermined geographic location and subjecting their representation to the actual geographical location of the mobile device.
  • the present invention involves the combination of technical fields related to virtual reality (VR), augmented reality (RA) and geographical location through devices with GPS, AGPS, WIFI, ISSP, gyroscopes, accelerometers or any other technology equivalent medium.
  • VR virtual reality
  • RA augmented reality
  • devices with GPS, AGPS, WIFI, ISSP, gyroscopes, accelerometers or any other technology equivalent medium.
  • HMD Head Mounted Display
  • Augmented reality was introduced by researcher Tom Caudell in Boeing in 1992.
  • Caudell was hired to find an alternative to the dashboards of configuration of cables used by workers. He came up with the idea of special glasses and virtual boards on generic real boards, so it occurred to him that he was "increasing" the user's reality.
  • Augmented reality is in its early stages of development and is being successfully implemented in some areas, but it is expected that we will soon have large-scale mass market products.
  • the basic idea of Augmented Reality is to superimpose graphics, audio and others, to a real-time real-time environment. Although television networks have been doing this for decades, they do so with a static image that does not fit the movement of the cameras.
  • Augmented reality is far superior to what is being used on television, although initial editions of augmented reality are currently shown on televised sports events, to show important information on the screen, such as the names of racing drivers, repetitions of plays controversial or mainly, to display advertising. These systems display graphics only from one point of view.
  • the main point within the development of the RA is a motion tracking system or Tracking System. From the beginning, until now, the RA relies on markers or a vector of markers within the field of view of the cameras so that the computer has a reference point on which to superimpose the images. These markers are predefined by the user and can be exclusive pictograms for each image to be superimposed, simple shapes, such as picture frames or simply textures within the field of view.
  • Computer systems are much smarter now than previously reported, capable of recognizing simple forms, such as the floor, chairs, tables, simple geometric shapes, such as a cell phone on the table, or even the human body, being able to Tracking system capturing, for example, a clenched fist and adding a flower or virtual lightsaber to it.
  • Layar® (http://www.layar.com): focused on the representation of icons and small vector objects that indicate the location of profiles within social networks or predetermined locations such as establishments, museums, etc.
  • Layar uses the Google Maps® geolocation system and augmented reality technology provided by Vuforia®.
  • ARmedia® http://www.armedia.it: This augmented reality provider represents complex vector objects such as old buildings or constructions in predetermined locations, but its representation quality is very poor in comparison with that offered by our invention, for the geolocation of its elements it also uses Google Maps® technology.
  • augmented reality is represented with vector graphics from one or more physical markers and proposes solutions for saving device hardware resources.
  • the differences with our system are clear and defining by themselves.
  • Our system does not use physical markers for augmented reality representation, as well as our performance improvement proposal, dedicated to all devices within the defined framework, not for a single device.
  • PCT application WO03 / 102893 describes the geographic location of mobile devices can be established by methods based on alternative communication networks.
  • the difference with our system is clear, the type of location calculation proposed in this patent, is based on grid location calculations. Our system does not use location calculations for "spherical mercator" grids.
  • geographic location methods are used through radio frequency transmitters and receivers seeking an improvement in the accuracy of geolocation.
  • the type of location calculation proposed in this patent is based on grid location calculations. Our system does not use location calculations for "spherical mercator" grids.
  • the objective of the invention is in the representation of the vector graphic environment and include as background of this representation the capture of video, sequence of images or graphics in vector format provided by the capture device of the mobile device, subjecting its representation to the geographical location Real mobile device.
  • the achievement of this objective entails the achievement of these two other objectives: i) The geographical location of the mobile device without using the resources provided by third parties such as:
  • This system enables direct interaction with the vector graphics represented through the touch screen or the hardware communication interface (HW) provided by the mobile device. These interactions allow both virtual navigation of the vector graphic environment, as well as direct action on the elements that compose it.
  • HW hardware communication interface
  • the system through the set of processes described below, allows you to manage the quality of the vector graphics represented, always subjecting this quality to the capabilities and features provided by the mobile device, thus obtaining the highest possible quality without damaging the fluidity of the graphic or process representation of the system.
  • This set of processes includes, in turn, stages aimed at solving basic visualization problems in virtual environments and their synchronization with a real environment such as: a) The scaling of the vector graphics represented according to the real environment in which it is intended represent.
  • RA technologies provided by Vuforia® or ARmedia®, Google Maps® or OSM (Open Street Map) geographic location technologies work on all devices mobile within the frame of reference, but in isolation. It is precisely the combination of two or more systems that is the biggest problem facing the capacity of a mobile device, for the correct processing of data.
  • the downloading of data for representation via the Internet, as well as the representation of the data provided implies a necessary wait conditioned by the quality of the reception and representation on the mobile device itself.
  • GPS tracking technology has been unlinked through the following method, which comprises a first process where the position vectors in the local environment of the mobile device are found, both to the same device, as to the group of polygons that must be represent and generate a differential between them.
  • This differential calculation establishes three composite and two simple variables based on the compound reference constant such as length, altitude and height assigned to the group of polygons.
  • the system uses the data of the geographical location device, such as a compass, gyroscope, ISSP or any other.
  • the image capture device of the mobile device is activated and grants representation orders based on layers, linking them to this order.
  • the order of representation is given by the differential calculation established in the first process and determines the quality of the represented element, its memory buffer allocation, its representation speed in Hz and its vertical and horizontal synchronization, always giving priority to the layer closer to the device and zero priority to the sequences of images captured by the device's camera.
  • FIG 1 Shows a scheme of the portable electronic device that implements this invention.
  • the present invention is implemented in a portable electronic device 100 that can be any selected among computers, tablets and mobile phones, although a preferred architecture for a mobile device is shown in Figure 1.
  • any programmable communications device can be configured as a device for the present invention.
  • FIG. 1 illustrates a portable electronic device, in accordance with some embodiments of the invention.
  • the portable electronic device 100 of the invention includes a memory 102, a memory controller 104, one or more processing units (CPU) 106, a peripheral interface 108, an RF circuit system 1 12, a system 1 14 audio circuits, a speaker 1 16, a microphone 1 18, an input / output subsystem 120 (l / O), a touch screen 126, other input or control devices 128 and an external port 148. These components communicate over one or more communication buses or 1 10 signal lines.
  • the device 100 may be any portable electronic device, including, but not limited to, a laptop, a tablet, a mobile phone, a media player, a personal digital assistant (PDA), or the like, including a combination of two or More of these items. It should be appreciated that the device 100 is only an example of a portable electronic device 100 and that the device 100 may have more or less components than those shown or a different configuration of components.
  • the different components shown in Figure 1 can be implemented in hardware, software or in a combination of both, including one or more specific application integrated circuits and / or signal processing.
  • the screen 126 has been defined as touch, although the invention can also be implemented in devices with a standard screen.
  • Memory 102 may include high-speed random access memory and may also include non-volatile memory, such as one or more magnetic disk storage devices, flash memory devices or other non-volatile solid-state memory devices.
  • the memory 102 may further include a storage located remotely with respect to one or more processors 106, for example a storage connected to a network accessed through the system 1 12 RF circuits or external port 148 and a communications network (not shown) such as Internet, intranet (s), local area networks (LAN), extended local area networks (WLAN), storage area networks (SAN) and others, or any of its appropriate combinations.
  • Access to memory 102 by other components of device 100, such as CPU 106 and peripheral interface 108, can be controlled by memory controller 104.
  • the peripheral interface 108 connects the device's input and output peripherals to the CPU 106 and to the memory 102.
  • One or more processors 106 execute different software programs and / or instruction sets stored in the memory 102 to perform different functions of the device. 100 and for data processing.
  • peripheral interface 108, CPU 106 and memory controller 104 may be implemented on a single chip, such as a 1 1 1 chip. In some other embodiments, they can be implemented in several chips.
  • the 1 12 RF (radio frequency) circuit system receives and sends electromagnetic waves.
  • the RF circuit system 12 converts electrical signals into electromagnetic waves and vice versa and communicates with communications networks and other communication devices through electromagnetic waves.
  • the RF circuit system 12 may include a circuit system widely known to perform these functions, including but not limited to, an antenna system, an RF transceiver, one or more amplifiers, a tuner, one or more oscillators , a digital signal processor, a CODEC chipset, a subscriber identity module (SIM) card, a memory, etc.
  • SIM subscriber identity module
  • the RF circuit system 1 12 can communicate with networks, such as the Internet, also called World Wide Web (WWW), an Intranet and / or a wireless network, such as a cellular telephone network, a wireless local area network (LAN) ) and / or a metropolitan area network (MAN) and with other devices via wireless communication.
  • networks such as the Internet, also called World Wide Web (WWW), an Intranet and / or a wireless network, such as a cellular telephone network, a wireless local area network (LAN) ) and / or a metropolitan area network (MAN) and with other devices via wireless communication.
  • networks such as the Internet, also called World Wide Web (WWW), an Intranet and / or a wireless network, such as a cellular telephone network, a wireless local area network (LAN) ) and / or a metropolitan area network (MAN) and with other devices via wireless communication.
  • WLAN wireless local area network
  • MAN metropolitan area network
  • Wireless communication can use any of a plurality of communications standards, protocols and technologies, including, but not limited to, the global system for mobile communications (GSM), the enhanced GSM data environment (EDGE), multiple access by Broadband code division (W-CDMA), multiple code division access (CDMA), time division multiple access (TDMA), Bluetooth, wireless access (Wi-Fi) (for example, IEEE 802.1 1 a, IEEE 802.1 1 b, IEEE 802.1 1 g and / or IEEE 802.1 1 ⁇ ), Voice over IP (VolP) protocol, Wi-MAX, a protocol for email, instant messaging and / or short message service (SMS) or any other suitable communication protocol, including communication protocols not yet developed on the date of presentation of this document.
  • GSM global system for mobile communications
  • EDGE enhanced GSM data environment
  • W-CDMA Broadband code division
  • CDMA multiple code division access
  • TDMA time division multiple access
  • Wi-Fi wireless access
  • the audio circuit system 1 14, the speaker 1 16 and the microphone 1 18 provide an audio interface between a user and the device 100.
  • the audio circuit system 1 14 receives audio data from the peripheral interface 108, converts the audio data into an electrical signal and transmits the electrical signal to the speaker 1 16.
  • the speaker converts the electrical signal into audible sound waves for the human being.
  • the audio circuit system 1 14 also receives electrical signals converted by the microphone 16 16 from sound waves.
  • the audio circuit system 1 14 converts the electrical signal into audio data and transmits the audio data to the peripheral interface 108 for processing. Audio data can be retrieved and / or transmitted to memory 102 and / or to RF circuit system 12 through peripheral interface 108.
  • the audio circuit system 1 14 also includes a headphone connection (not shown).
  • the headphone connection provides an interface between the system 14 of audio circuits and detachable audio input / output peripherals, such as a head-only headphone or a headphone (both headsets for one or both ears) and input ( microphone).
  • the I / O subsystem 120 provides the interface between the input / output peripherals of the device 100, such as the touch screen 126 and other input / control devices 128, and the peripheral interface 108.
  • the I / O subsystem 120 includes a touch screen controller 122 and one or more input controllers 124 for other input or control devices.
  • the input controller (s) 124 receives / sends (n) electrical signals from / to other input or control devices 128.
  • the other input / control devices 128 may include physical buttons (e.g. push buttons, rocker buttons, etc.), dials, slide switches, and / or geographic location means 201, such as GPS or equivalent.
  • the touch screen 126 in this practical embodiment provides both an output interface and an input interface between the device and a user.
  • the touch screen controller 122 receives / sends electrical signals from / to the touch screen 126.
  • Touch screen 126 shows the visual output to the user.
  • Visual output can include text, graphics, video and any of its combinations. Part or all of the visual output may correspond to user interface objects, the additional details of which are described later.
  • the touch screen 126 also accepts user inputs based on the haptic or touch contact.
  • the touch screen 126 forms a contact-sensitive surface that accepts user inputs.
  • the touch screen 126 and the touch screen controller 122 (together with any of the associated modules and / or instruction sets of the memory 102) detects the contact (and any movement or loss of contact) on the touch screen 126 and converts the contact detected in interaction with the user interface objects, such as one or more programmable keys displayed on the touch screen.
  • a contact point between the touch screen 126 and the user corresponds to one or more fingers of the user.
  • the touch screen 126 may use LCD technology (liquid crystal display) or LPD (light emitting polymer screen) technology, although other display technologies may be used in other embodiments.
  • the touch screen 126 and the touch screen controller 122 can detect the contact and any movement or lack thereof using any of a plurality of contact sensitivity technologies, including, but not limited to, capacitive, resistive, infrared and of surface acoustic waves, as well as other arrangements of proximity sensors or other elements for determining one or more points of contact with the touch screen 126.
  • a plurality of contact sensitivity technologies including, but not limited to, capacitive, resistive, infrared and of surface acoustic waves, as well as other arrangements of proximity sensors or other elements for determining one or more points of contact with the touch screen 126.
  • the device 100 also includes a feeding system 130 for feeding the different components.
  • the power system 130 may include a power management system, one or more power supplies (eg batteries, alternating current (AC)), a rechargeable system, a power failure detection circuit, a converter or inverter. energy, an indicator of the energy status (for example, a light emitting diode (LED)) and any other component associated with the generation, management and distribution of energy in portable devices.
  • the software components include an operating system 132, a communication module 134 (or instruction set), a contact / motion module 138 (or instruction set), a graphic module 140 (or instruction set) , a module 144 (or instruction set) of the status of the user interface and one or more applications 146 (or instruction set).
  • the operating system 132 eg, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS, or an embedded operating system such as VxWorks
  • the communication module 134 facilitates communication with other devices through one or more external ports 148 and also includes different software components to manage the data received by the RF circuit system 12 and / or the external port 148.
  • the external port 148 (for example, a universal serial bus (USB), FIREWIRE, etc.) is adapted to connect directly to other devices or indirectly through a network (for example, Internet, wireless LANs, etc.).
  • the contact / motion module 138 detects contact with the touch screen 126, together with the touch screen controller 122.
  • the contact / motion module 138 includes different software components to perform different operations related to the detection of the contact with the touch screen 126, such as determining if the contact has occurred, determining if there is movement of the contact and tracking the movement through the touch screen, and determine if the contact has been interrupted (that is, if the contact has ceased).
  • the determination of the movement of the contact point may include determining the speed (magnitude), the speed (magnitude and direction) and / or the acceleration (including magnitude and / or direction) of the contact point.
  • the touch / motion module 126 and the touch screen controller 122 also detect the contact on the touch pad.
  • the graphic module 140 includes different known software components for displaying and displaying graphics on the touch screen 126.
  • graphics includes any object that can be displayed to a user including, but not limited to, text, web pages, icons (such as user interface objects that include programmable keys), digital images, videos, animations and the like
  • the graphic module 140 includes an optical intensity module 142.
  • the optical intensity module 142 controls the optical intensity of the graphic objects, such as user interface objects, shown on the touch screen 126.
  • the control of the optical intensity may include the increase or decrease of the optical intensity of a graphic object. In some embodiments, the increase or decrease may follow predetermined functions.
  • the user interface status module 144 controls the status of the user interface of the device 100.
  • the user interface status module 144 may include a lock module 150 and an unlock module 152.
  • the blocking module detects the satisfaction of any one or more conditions for transitioning the device 100 to a locked state of the user interface and for making the transition of the device 100 to the locked state.
  • the unlocking module detects the satisfaction of any one or more conditions for transitioning the device to an unlocked state of the user interface and for transitioning the device 100 to the unlocked state.
  • the application or applications 130 may (n) include any application installed on the device 100, including, but not limited to, a browser, an address book, a contact list, email, instant messaging, word processing, emulations of keyboard, graphic objects, JAVA applications, encryption, digital rights management, voice recognition, voice replication, ability to determine position (such as that provided by the global positioning system (GPS)), a music player (which plays recorded music stored in one or more files, such as MP3 or AAC files), etc.
  • the device 100 may include one or more optional optical sensors (not shown), such as CMOS or CCD 200 image sensors, for use in imaging applications.
  • the indicated hardware structure is one of the possible ones and it should be taken into account that the device 100 may include other image capture elements such as, camera, scanner, laser plotter or the combination of any of these types of devices , which can provide the mobile device with the representation of the real environment in video format, image sequence, vector format or any combination of the aforementioned formats.
  • the device 100 may include geographic location devices based on GPS positioning satellite networks, geographical location aid devices based on GPS satellite networks and IP location of internet networks -AGPS-, devices geographical location based on the triangulation of radio signals provided by WIFI antennas and Bluetooth® devices (ISSP), the combination of any of these devices mentioned or any type of device that allows to provide the mobile device with numerical data of its geographical location.
  • the device 100 can include any type of element capable of representing images in real time with a minimum of 24 FPS (Frames Per Second, images per second) such as, TFT, TFT-LED, TFT-OLED, TFT-Retina screens, the combination of any of the above, in addition to new generation Holo-TFT, transparent and Micro-Projector screens or any graphic representation device that can provide the mobile device 100 with a way of representing visual content to the user.
  • FPS Full Power Per Second, images per second
  • the device 100 includes a processor or set of processors that by themselves or in combination with graphic processors such as GPU (Graphics Processing Unit) or APU (Accelerated Processing Unit) can provide the mobile device 100 the ability to represent, in real execution time, vector graphics and form textured polygons with them, through vector representation libraries (sets of standardized graphic representation procedures for different platforms) such as, OpenGL, DirectX or any type of libraries intended To this task.
  • graphic processors such as GPU (Graphics Processing Unit) or APU (Accelerated Processing Unit) can provide the mobile device 100 the ability to represent, in real execution time, vector graphics and form textured polygons with them, through vector representation libraries (sets of standardized graphic representation procedures for different platforms) such as, OpenGL, DirectX or any type of libraries intended To this task.
  • the first process that comprises the method object of the invention consists in the geographical location of the mobile device, with the highest accuracy and fidelity allowed by GPS positioning satellite networks, without using the resources provided by third parties such as GPS navigation providers, providers of geographical maps and GPS paths, providers
  • This first procedure enables direct interaction with the represented vector graphics, through the touch screen 126 or the communication interface with the hardware provided by the mobile device 100. Interactions that allow both virtual navigation of the vector graphic environment, as well as direct action on elements that compose it, establishing in turn the basic variables for the operation of the rest of the stages.
  • the device 100 is configured to assign position vectors in the virtual environment of the device 100, setting the undefined composite variable of the mobile device Vector3 (a, b, c) and the defined composite variable Vector3 (LonX, LatY, AltZ), predetermined by the geographical coordinates of the polygonal group that must be represented, transforming it into Vector3 (LonPosX, LatPosY, AltPosZ), from the data delivered by the geographical location device 201 included in the mobile device 100.
  • LonN is a constant established by the field of view of the camera (FOV).
  • LatPosY ((LatY + (180xNS)) / 360) xLatN;
  • LatN is a constant established by the camera FOV
  • NS is a variable of North / South hemisphere.
  • AltN is a constant set by the camera FOV.
  • GPSx is a floating value set by the GPS of the mobile device.
  • GPSy is a floating value set by the GPS of the mobile device
  • NS is a variable of North / South hemisphere.
  • GPSz is a floating value set by the GPS of the mobile device.
  • - Pos (PosX, PosY, PosZ) Vector3 (LonPosX, LatPosY, AltPosZ) - Vector3 (a, b, c)
  • Position is the variable composed of mobile device displacement in the virtual environment.
  • ARP is the composite variable that defines the radius of the virtual environment representation area with reference to the mobile device.
  • Loe is the composite variable that defines the inverse calculation of the real global GPS positioning of the group.
  • Position Pos (PosX, PosY, PosZ).
  • Ar is the defined value of the distance to the group.
  • RP0 is the simple Boolean variable that provides the true or false value of representation
  • - RPC is the simple Boolean variable that provides the true or false value of layer assignment.
  • layer numbering variables are assigned, where:
  • This layer is assigned to the image capture device 200.
  • the second process of the invention consists in the representation of textured vector graphics in real execution time, with the highest possible quality provided by the mobile device 100.
  • This process includes the steps aimed at solving basic visualization problems of virtual environments and their synchronization with a real environment such as:
  • This second process is what allows, in different aspects of the representation of virtual environments, to help give visual coherence with the real environment in which they must be represented.
  • the image capture device 200 or vector data thereof is activated and the layer variable "C0" is assigned, thus establishing the sampling rate in Hertz, images per second and Image capture resolution (in pixels per inch) of the capture device.
  • the values described above are assigned to the capture device, which allows adjusting its efficiency, with reference to the representation of the largest possible number of polygons and textures that the mobile device 100 can obtain.
  • the images per second that the capture device must offer, its sampling in Hertz and the capture resolution are reduced or increased, for maximum optimization, through a value with established maximums and minimums.
  • This stage allows managing the quality of the vector graphics represented, subjecting this quality always to the capabilities and characteristics provided by the mobile device 100, thus obtaining the highest quality available without impairing the fluidity of the graphic representation or process of the system.
  • the amount of polygons and the size of the textures displayed on the scene depends on the distance of the polygonal group in relation to the mobile device 100, subtracting the amount of polygons and texture sizes to the rest of the lower layers, the closer the mobile device 100 of the geographically located group of polygons is.
  • Pos (PosX, PosY, PosZ) Vector3 (LonPosX, LatPosY, AltPosZ) - Vector3 (a, b, c) The variable Position; Y
  • the FOV of camera is calculated in real time of execution, to synchronize the visualization of the real environment, captured by the capture device of the mobile device, with the representation of the virtual environment.
  • the usage parameters are established, limiting them to a predetermined maximum and minimum through conditioners.
  • This system implies a clear differentiation, from the systems mentioned above, within the technologies applied to mobile devices, based on third-party technologies, technologies that separately already use all the available hardware resources of the mobile device, both for representation of augmented or virtual reality as for the geographical location of virtual elements. Without obtaining the quality of representation or the fidelity of geographical location that if our system obtains from the procedures listed.
  • the process of the invention allows us to obtain a higher quality of virtual environments Represented and located with the greatest fidelity that GPS positioning satellites offer us, for all the mobile devices available in the market within the frame of reference and it makes its operation independent of the need for internet connection for its use.

Abstract

El objeto de la presente invención es la representación de un entorno gráfico vectorial y texturizado de alta calidad que incluya como fondo de esta representación la captura de video, secuencia de imágenes y gráficos en formato vectorial, proporcionados por los medios de captura de imágenes del dispositivo móvil que implementa el método. Además, esto se realiza ubicando los entornos gráficos vectoriales citados en una localización geográfica predeterminada y supeditando su representación a la localización geográfica real de un dispositivo móvil (100).

Description

MÉTODO PARA LA REPRESENTACIÓN DE ENTORNOS VIRTUALES LOCALIZADOS GEOGRÁFICAMENTE Y DISPOSITIVO MÓVIL
El objeto de la presente invención es la representación de un entorno gráfico vectorial y texturizado de alta calidad que incluya como fondo de esta representación la captura de video, secuencia de imágenes y gráficos en formato vectorial, proporcionados por los medios de captura de imágenes del dispositivo móvil que implementa el método. Además, esto se realiza ubicando los entornos gráficos vectoriales citados en una localización geográfica predeterminada y supeditando su representación a la localización geográfica real del dispositivo móvil.
Por tanto, la presente invención supone la combinación de los campos técnicos relacionados con la realidad virtual (RV), realidad aumentada (RA) y localización geográfica a través de dispositivos con tecnología GPS, AGPS, WIFI, ISSP, giróscopos, acelerometros o cualquier otro medio equivalente.
Estado de la técnica
Debemos entender que Realidad Virtual y Realidad aumentada han ido prácticamente de la mano desde sus inicios. En 1950 Morton Heilig escribió sobre un "Cine de Experiencia", que pudiera acompañar a todos los sentidos de una manera efectiva integrando al espectador con la actividad en la pantalla. Construyó un prototipo llamado Sensorama en 1962, junto con cinco filmes cortos que permitían aumentar la experiencia del espectador a través de sus sentidos (vista, olfato, tacto, y oído).
En 1968, Ivan Sutherland, con la ayuda de Bob Sproull, construyó lo que sería ampliamente considerado el primer visor de montado en la cabeza o Head Mounted Display (HMD) para Realidad Virtual y Realidad aumentada. Era muy primitivo en términos de Interfaz de usuario y realismo, y el HMD usado por el usuario era tan grande y pesado que debía colgarse del techo, y los gráficos que hacían al ambiente virtual eran simples "modelos de alambres". A finales de los 80 se popularizo el término Realidad Virtual por Jaron Lanier, cuya compañía creó los primeros guantes y anteojos de Realidad Virtual.
El termino realidad aumentada fue introducido por el investigador Tom Caudell en Boeing, en 1992. Caudell fue contratado para encontrar una alternativa a los tableros de configuración de cables que utilizan los trabajadores. Salió con la idea de anteojos especiales y tableros virtuales sobre tableros reales genéricos, es así que se le ocurrió que estaba "aumentando" la realidad del usuario. La realidad aumentada está en sus primeras etapas de desarrollo y se está implementando con éxito en algunos ámbitos, pero se espera que muy pronto tengamos ya productos de mercado masivo a gran escala. La idea básica de la Realidad aumentada es la de superponer gráficos, audio y otros, a un ambiente real en tiempo real. Aunque hace décadas que las cadenas de televisión vienen haciendo esto, lo hacen con una imagen estática que no se ajusta al movimiento de las cámaras.
La realidad aumentada es muy superior a lo que se viene utilizando en televisión, si bien, ediciones iniciales de realidad aumentada se muestran actualmente en eventos deportivos televisados, para mostrar información importante en pantalla, como los nombres de los pilotos de carreras, repeticiones de jugadas polémicas o principalmente, para desplegar publicidad. Estos sistemas despliegan gráficos sólo desde un punto de vista.
El punto principal dentro del desarrollo de la RA es un sistema de seguimiento de movimiento o Tracking System. Desde el principio, hasta ahora, la RA se apoya en marcadores o un vector de marcadores dentro del campo de visión de las cámaras para que la computadora tenga un punto de referencia sobre el cual superponer las imágenes. Estos marcadores son predefinidos por el usuario y pueden ser pictogramas exclusivos para cada imagen a ser superpuestas, formas simples, como marcos de cuadros o simplemente texturas dentro del campo de visión.
Los sistemas de computación son mucho más inteligentes ahora que lo relatado anteriormente, capaces de reconocer formas simples, como el suelo, sillas, mesas, formas geométricas sencillas, como por ejemplo un teléfono celular sobre la mesa, o incluso el cuerpo humano, pudiendo el sistema de seguimiento captar, por ejemplo, un puño cerrado y añadir a éste una flor o un sable láser virtual.
La tecnología móvil ha revolucionado sustancialmente el uso y las necesidades requeridas por la RA. La capacidad de los dispositivos móviles de última generación supera con mucho lo expuesto anteriormente y ofrece la posibilidad de localizar geográficamente los marcadores, permitiendo así una nueva interpretación de la RA y la RV. El uso de la realidad aumentada ha experimentado una evolución espectacular desde la llegada de los dispositivos móviles inteligentes y el acceso a estos por la mayor parte de la población mundial, debido a la reducción de sus costes de fabricación y al apoyo de las operadoras de telefonía.
Actualmente no se ha explotado todo el potencial de la realidad aumentada en estos dispositivos, ya que ésta se limita a contados juegos desarrollados para ella, la superposición de información geolocalizada simple (pequeños iconos o etiquetas) y navegadores GPS de última generación (como Pioneer Cyber Navi ®).
Estos proveedores de realidad aumentada listos para usar como son por ejemplo Vuforia® (de la compañía Qualcomm®) o DART® en el ámbito GNU/GPL, y ANDAR® o ARmedia® como proveedores de pago. Todos sin excepción utilizan las librerías de uso público para realidad aumentada de OpenCv, ARToolKit ó Atomic.
Casi la totalidad de los navegadores basados en datos de localización GPS, que además, representen elementos virtuales en un entorno real geolocalizado utilizan las fórmulas Spherical Mercaator para establecer cuadriculas de tamaño fijo y posicionar sobre estas cuadriculas (representadas en formato de imagen o vectorial) el punto localizado. Estos sistemas implican la descarga en tiempo real de datos del proveedor de cuadriculas geográficas y el uso de sus algoritmos de localización, la descarga y representación de estos elementos producen una merma considerable del rendimiento, puesto que utilizan muchos recursos de memoria y proceso en tiempo real. Existen aplicaciones de aparición reciente que utilizan las tecnologías expuestas anteriormente para la representación de elementos virtuales en un entorno real, como son:
Layar® (http://www.layar.com): enfocada a la representación de iconos y pequeños objetos vectoriales que indican la ubicación de perfiles dentro de las redes sociales o localizaciones predeterminadas como establecimientos, museos, etc. Layar utiliza el sistema de geolocalización de Google Maps® y la tecnología de realidad aumentada proporcionada por Vuforia®.
ARmedia® (http://www.armedia.it): esta suministradora de realidad aumentada, representa objetos vectoriales complejos como edificios o construcciones antiguas en localizaciones predeterminadas, pero su calidad de representación es muy pobre en comparación con la ofrecida por nuestra invención, para la geolocalización de sus elementos utiliza también la tecnología de Google Maps®.
El consumo de recursos de hardware del dispositivo móvil es muy alto en la totalidad de las tecnologías y las aplicaciones expuestas, si combinamos el uso de el dispositivo de captura de imágenes, con la activación del dispositivo GPS incluido en el dispositivo móvil y la representación de escenas virtuales de una complejidad media, el rendimiento decae exponencialmente. Una de las finalidades practicas de esta invención es procurar un entorno técnico adaptable a las características y prestaciones de cualquier dispositivo móvil incluido en el marco de referencia para la visualización de RA/RV localizada geográficamente y de alta resolución, sin experimentar una merma en el rendimiento del dispositivo móvil. En el documento US2012293546 se describe un sistema de localización geográfica basado en múltiples señales externas y un sistema de representación de realidad aumentada basado en marcadores físicos que integran señales de radio y/ó acústicas. Las diferencias con nuestro sistema son claras y definitorias por sí mismas tanto en el tipo de cálculo de localización, como en el tipo de marcadores utilizados para la representación de realidad aumentada. Nuestro sistema no utiliza los cálculos de localización por cuadriculas tipo "spherical mercator", así como tampoco utiliza marcadores físicos para la representación de realidad aumentada.
En el documento US2012268493 se representa realidad aumentada con gráficos vectoriales a partir de uno o varios marcadores físicos y propone soluciones para el ahorro de recursos de hardware del dispositivo. Las diferencias con nuestro sistema son claras y definitorias por si mismas. Nuestro sistema no utiliza marcadores físicos para la representación de realidad aumentada, asi como nuestra propuesta de mejora de rendimiento, dedicada a todos los dispositivos dentro del marco definido, no para un único dispositivo.
En la solicitud PCT WO03/102893 se describe la localización geográfica de dispositivos móviles puede ser establecida por métodos basados en redes de comunicación alternativas. La diferencia con nuestro sistema es clara, el tipo de cálculo de localización propuesto en esta patente, está basado en cálculos de localización por cuadriculas. Nuestro sistema no utiliza los cálculos de localización por cuadriculas tipo "spherical mercator". En el documento WO 2008/085443 se recurre a métodos de localización geográfica a través de emisores y receptores de radiofrecuencia buscando una mejora en la precisión de la geolocalización. La diferencia con nuestro sistema es clara, el tipo de cálculo de localización propuesto en esta patente, está basado en cálculos de localización por cuadriculas. Nuestro sistema no utiliza los cálculos de localización por cuadriculas tipo "spherical mercator".
Finalmente, en US2012/0296564 se establece un sistema de guía y localización de contenidos publicitarios basados en realidad aumentada y la representación de la misma a través de marcadores físicos como sensores de radiofrecuencia ó ópticos. Las diferencias con nuestro sistema son claras y definitorias por si mismas tanto en el tipo de cálculo de localización, como en el tipo de marcadores utilizados para la representación de realidad aumentada. Nuestro sistema no utiliza los cálculos de localización por cuadriculas tipo "spherical mercator", así como tampoco utiliza marcadores físicos para la representación de realidad aumentada.
Por tanto, es un problema técnico a resolver por la presente invención el procurar un entorno técnico adaptable a las características y prestaciones de cualquier teléfono móvil para la visualización de RA/RV localizada geográficamente y de alta resolución sin pérdida de rendimiento del dispositivo móvil.
Descripción de la invención
El objetivo de la invención radica en la representación del entorno gráfico vectorial e incluir como fondo de esta representación la captura de video, secuencia de imágenes o gráficos en formato vectorial proporcionados por el dispositivo de captura del dispositivo móvil, supeditando su representación a la localización geográfica real del dispositivo móvil. La consecución de este objetivo lleva aparejada la consecución de estos otros dos objetivos: i) La localización geográfica del dispositivo móvil sin utilizar los recursos proporcionados por terceros como:
a. Proveedores de navegación GPS.
b. Proveedores de mapas geográficos y trazados GPS.
c. Proveedores de cuadrículas de navegación GPS.
Todo ello sin la conexión a redes de datos tipos de internet para la descarga o uso directo de los citados recursos. Este sistema posibilita la interacción de forma directa con los gráficos vectoriales representados a través de la pantalla táctil o el interfaz de comunicación con el hardware (HW) proporcionado por el dispositivo móvil. Estas interacciones permiten tanto la navegación virtual del entorno gráfico vectorial, como la actuación directa sobre los elementos que lo componen.
ii) La representación de gráficos vectoriales texturizados en tiempo de ejecución real con la mayor calidad que pueda proporcionar el dispositivo móvil.
El sistema, a través del conjunto de procesos que se describen a continuación, permite gestionar la calidad de los gráficos vectoriales representados, supeditando esta calidad siempre a las capacidades y características proporcionadas por el dispositivo móvil, obteniendo así la mayor calidad posible sin perjudicar la fluidez de la representación gráfica ni de proceso del sistema. Este conjunto de procesos incluye a su vez etapas destinados a la resolución de los problemas básicos de visualización en entornos virtuales y su sincronización con un entorno real como son: a) El escalado de los gráficos vectoriales representados atendiendo al entorno real en el que se pretende representar.
b) La disminución del movimiento antinatural de los gráficos vectoriales representados, en relación a la distancia real de sincronización con su ubicación geográfica en el entorno real. Como se ha indicado en el estado de la técnica la casi totalidad de los navegadores basados en localización GPS utilizan las fórmulas Spherícal Mercaator para establecer cuadrículas de tamaño fijo y posicionar sobre estas cuadrículas, representadas en formato de imagen o vectorial, el punto localizado. Estos sistemas implican la descarga en tiempo real de datos del proveedor de cuadrículas geográficas y el uso de sus algoritmos de localización. Esta descarga y representación de estos elementos producen una merma de rendimiento del dispositivo móvil.
Cada una de las tecnologías y procesos expuestos anteriormente como las tecnologías RA proporcionadas por Vuforia® o ARmedia®, las tecnologías de localización geográfica de Google Maps® u OSM (Open Street Map) funcionan en la totalidad de los dispositivos móviles dentro del marco de referencia, pero de forma aislada. Precisamente es la conjunción de dos o más sistemas el mayor problema al que se enfrenta la capacidad de un dispositivo móvil, para el procesado correcto de datos. La descarga a través de Internet de datos para la representación, así como la misma representación de los datos suministrados implica una espera necesaria condicionada por la calidad de la recepción y representación en propio dispositivo móvil.
Al añadirse el proceso de segundo plano del elemento GPS, la espera para realizar más procesos en pantalla se ralentiza hasta la disposición de los datos proporcionados por el mismo. Con los tres procesos de fondo, procesos básicos que incluyen etapas en un árbol de funcionamiento como representación de cuadriculas en dos dimensiones proporcionadas por el proveedor de mapas, descarga de internet de las mismas y espera de los datos GPS, convierten a los dos siguientes procesos necesarios, la captura de imagen en tiempo real y la representación de gráficos vectoriales en un auténtico reto para cualquier dispositivo móvil.
Las tecnologías descritas sacrifican la calidad de la representación de gráficos vectoriales. No obstante, en la presente invención, se ha otorgado mayor importancia a esta etapa, de tal forma que se puede obtener una mayor fidelidad de los datos de posicionamiento geográfico proporcionado por los elementos de localización geográfica.
En la presente invención se ha desvinculado la tecnología de localización GPS a través del siguiente método, que comprende un primer proceso donde se averiguan los vectores de posición en el entorno local del dispositivo móvil, tanto al mismo dispositivo, como al grupo de polígonos que debe representar y genera un diferencial entre ambos. Este cálculo diferencial establece tres variables compuestas y dos simples a partir de la constante compuesta de referencia como longitud, altitud y altura asignada al grupo de polígonos. Una vez que el dispositivo móvil entra en el área de aproximación, predefinida alrededor del grupo de representación, se asignan las variables de posición local, distancia al grupo objetivo, el cálculo inverso del posicionamiento global GPS, los parámetros de entorno y la numeración de capas. Al usar los datos en bruto que proporciona el dispositivo de localización geográfica sin convertir a sistemas de cuadrículas se obtiene una mayor fidelidad de posicionamiento. El uso de estos datos permite localizar geográficamente un objeto o un grupo de objetos virtuales en un punto exacto con referencia a la posición actual. Una vez en el área de acción convenida, el sistema emplea los datos del dispositivo de localización geográfica, tal como un compás, giróscopo, ISSP o cualquier otro.
En un segundo proceso, se activa el dispositivo de captura de imágenes del dispositivo móvil y otorga órdenes de representación basados en capas, vinculándolas a este orden. El orden de representación viene dado por el cálculo diferencial establecido en el primer proceso y determina la calidad del elemento representado, su asignación de búfer de memoria, su velocidad de representación en Hz y su sincronización tanto vertical como horizontal, otorgando siempre prioridad a la capa más cercana al dispositivo y prioridad nula a las secuencias de imágenes capturadas por la cámara del dispositivo.
Finalmente, y una vez establecida la variable booleana de representación como verdadera se registran las variables del entorno del primer proceso, y en relación a estas variables se ajustarán los efectos de post procesado del visualizador para adaptarlo al rendimiento del dispositivo móvil.
A lo largo de la descripción y las reivindicaciones la palabra "comprende" y sus variantes no pretenden excluir otras características técnicas, aditivos, componentes o pasos. Para los expertos en la materia, otros objetos, ventajas y características de la invención se desprenderán en parte de la descripción y en parte de la práctica de la invención. Los siguientes ejemplos y dibujos se proporcionan a modo de ilustración, y no se pretende que restrinjan la presente invención. Además, la presente invención cubre todas las posibles combinaciones de realizaciones particulares y preferidas aquí indicadas.
Breve descripción de las figuras
A continuación se pasa a describir de manera muy breve una serie de dibujos que ayudan a comprender mejor la invención y que se relacionan expresamente con una realización de dicha invención que se presenta como un ejemplo no limitativo de ésta. FIG 1 .- Muestra un esquema del dispositivo electrónico portátil que implementa la presente invención.
Exposición de un modo detallado de realización de la invención La presente invención se implementa en un dispositivo electrónico portátil 100 que puede ser cualquiera seleccionado entre ordenadores, tabletas y teléfonos móviles, aunque una arquitectura preferida para un dispositivo móvil se muestra en la figura 1 . En general, cualquier dispositivo de comunicaciones programable puede configurarse como un dispositivo para la presente invención.
La figura 1 ilustra un dispositivo electrónico portátil, de acuerdo con algunas realizaciones de la invención. El dispositivo 100 electrónico portátil de la invención incluye una memoria 102, un controlador 104 de memoria, una o más unidades 106 de procesamiento (CPU), una interfaz 108 de periféricos, un sistema 1 12 de circuitos de RF, un sistema 1 14 de circuitos de audio, un altavoz 1 16, un micrófono 1 18, un subsistema 120 de entrada/salida (l/O), una pantalla 126 táctil, otros dispositivos 128 de entrada o de control y un puerto 148 externo. Estos componentes se comunican sobre uno o más buses de comunicación o líneas 1 10 de señales. El dispositivo 100 puede ser cualquier dispositivo electrónico portátil, incluyendo, aunque no en sentido limitativo, un ordenador portátil, una tableta, un teléfono móvil, un reproductor multimedia, un asistente digital personal (PDA), o similar, incluyendo una combinación de dos o más de estos artículos. Debe apreciarse que el dispositivo 100 es sólo un ejemplo de un dispositivo 100 electrónico portátil y que el dispositivo 100 puede tener más o menos componentes que los mostrados o una configuración diferente de componentes. Los diferentes componentes mostrados en la figura 1 pueden implementarse en hardware, software o en una combinación de ambos, incluyendo uno o más circuitos integrados de aplicación específica y/o de procesamiento de señales. Del mismo modo, se ha definido la pantalla 126 como táctil, aunque la invención puede implementarse igualmente en dispositivos con una pantalla estándar. La memoria 102 puede incluir una memoria de acceso aleatorio de alta velocidad y también puede incluir una memoria no volátil, tal como uno o más dispositivos de almacenamiento en disco magnético, dispositivos de memoria flash u otros dispositivos de memoria de estado sólido no volátil. En algunas realizaciones, la memoria 102 puede incluir además un almacenamiento situado de forma remota con respecto al uno o más procesadores 106, por ejemplo un almacenamiento conectado a una red al que se accede a través del sistema 1 12 de circuitos de RF o del puerto 148 externo y una red de comunicaciones (no mostrada) tal como Internet, intranet(s), redes de área local (LAN), redes de área local extendidas (WLAN), redes de área de almacenamiento (SAN) y demás, o cualquiera de sus combinaciones adecuadas. El acceso a la memoria 102 por otros componentes del dispositivo 100, tales como la CPU 106 y la interfaz 108 de periféricos, puede controlarse mediante el controlador 104 de memoria.
La interfaz 108 de periféricos conecta los periféricos de entrada y salida del dispositivo a la CPU 106 y a la memoria 102. Uno o más procesadores 106 ejecutan diferentes programas de software y/o conjuntos de instrucciones almacenados en la memoria 102 para realizar diferentes funciones del dispositivo 100 y para el procesamiento de datos.
En algunas realizaciones, la interfaz 108 de periféricos, la CPU 106 y el controlador 104 de memoria pueden implementarse en un único chip, tal como un chip 1 1 1 . En algunas otras realizaciones, pueden implementarse en varios chips.
El sistema 1 12 de circuitos de RF (radiofrecuencia) recibe y envía ondas electromagnéticas. El sistema 1 12 de circuitos de RF convierte las señales eléctricas en ondas electromagnéticas y viceversa y se comunica con las redes de comunicaciones y otros dispositivos de comunicaciones a través de las ondas electromagnéticas. El sistema 1 12 de circuitos de RF puede incluir un sistema de circuitos ampliamente conocido para realizar estas funciones, incluyendo aunque no en sentido limitativo, un sistema de antena, un transceptor de RF, uno o más amplificadores, un sintonizador, uno o más osciladores, un procesador de señales digitales, un conjunto de chips CODEC, una tarjeta de módulo de identidad de abonado (SIM), una memoria, etc. El sistema 1 12 de circuitos de RF puede comunicarse con redes, tales como Internet, también denominada World Wide Web (WWW), una Intranet y/o una red inalámbrica, tal como una red telefónica celular, una red de área local inalámbrica (LAN) y/o una red de área metropolitana (MAN) y con otros dispositivos mediante comunicación inalámbrica. La comunicación inalámbrica puede utilizar cualquiera de una pluralidad de normas, protocolos y tecnologías de comunicaciones, incluyendo, aunque no en sentido limitativo, el sistema global para comunicaciones móviles (GSM), el entorno GSM de datos mejorado (EDGE), el acceso múltiple por división de código de banda ancha (W-CDMA), el acceso múltiple por división de código (CDMA), el acceso múltiple por división de tiempo (TDMA), Bluetooth, acceso inalámbrico (Wi-Fi) (por ejemplo, IEEE 802.1 1 a, IEEE 802.1 1 b, IEEE 802.1 1 g y/o IEEE 802.1 1 η), protocolo de voz sobre IP (VolP), Wi-MAX, un protocolo para correo electrónico, mensajería instantánea y/o servicio de mensajes cortos (SMS) o cualquier otro protocolo de comunicación adecuado, incluyendo protocolos de comunicación aún no desarrollados en la fecha de presentación de este documento.
El sistema 1 14 de circuitos de audio, el altavoz 1 16 y el micrófono 1 18 proporcionan una interfaz de audio entre un usuario y el dispositivo 100. El sistema 1 14 de circuitos de audio recibe datos de audio de la interfaz 108 de periféricos, convierte los datos de audio en una señal eléctrica y transmite la señal eléctrica al altavoz 1 16. El altavoz convierte la seña eléctrica en ondas de sonido audibles para el ser humano. El sistema 1 14 de circuitos de audio también recibe señales eléctricas convertidas por el micrófono 1 16 a partir de ondas de sonido. El sistema 1 14 de circuitos de audio convierte la señal eléctrica en datos de audio y transmite los datos de audio a la interfaz 108 de periféricos para su procesamiento. Los datos de audio pueden recuperarse y/o transmitirse a la memoria 102 y/o al sistema 1 12 de circuitos de RF mediante la interfaz 108 de periféricos. En algunas realizaciones, el sistema 1 14 de circuitos de audio incluye también una conexión de auriculares (no mostrada). La conexión de auriculares proporciona una interfaz entre el sistema 1 14 de circuitos de audio y periféricos de entrada/salida de audio desmontables, tales como auriculares de sólo salida o un auricular tanto de salida (auriculares para uno o ambos oídos) como de entrada (micrófono).
El subsistema 120 de l/O proporciona la interfaz entre los periféricos de entrada/salida del dispositivo 100, tal como la pantalla 126 táctil y otros dispositivos 128 de entrada/control, y la interfaz 108 de periféricos. El subsistema 120 de l/O incluye un controlador 122 de pantalla táctil y uno o más controladores 124 de entrada para otros dispositivos de entrada o de control. El o los controladores 124 de entrada recibe(n)/envía(n) señales eléctricas desde/hacia otros dispositivos 128 de entrada o de control. Los otros dispositivos 128 de entrada/control pueden incluir botones físicos (por ejemplo botones pulsadores, botones basculantes, etc.), diales, conmutadores deslizantes, y/o medios de localización geográfica 201 , como GPS o equivalentes.
La pantalla 126 táctil en esta realización práctica proporciona tanto una interfaz de salida como una interfaz de entrada entre el dispositivo y un usuario. El controlador 122 de la pantalla táctil recibe/envía señales eléctricas desde/hacia la pantalla 126 táctil. La pantalla 126 táctil muestra la salida visual al usuario. La salida visual puede incluir texto, gráficos, vídeo y cualquiera de sus combinaciones. Parte o toda la salida visual puede corresponderse con objetos de interfaz de usuario, cuyos detalles adicionales se describen posteriormente. La pantalla 126 táctil también acepta entradas de usuario basándose en el contacto háptico o táctil. La pantalla 126 táctil forma una superficie sensible al contacto que acepta las entradas del usuario. La pantalla 126 táctil y el controlador 122 de la pantalla táctil (junto con cualquiera de los módulos asociados y/o conjuntos de instrucciones de la memoria 102) detecta el contacto (y cualquier movimiento o pérdida de contacto) sobre la pantalla 126 táctil y convierte el contacto detectado en interacción con los objetos de interfaz de usuario, tales como una o más teclas programables que se muestran en la pantalla táctil. En una realización a modo de ejemplo, un punto de contacto entre la pantalla 126 táctil y el usuario se corresponde con uno o más dedos del usuario. La pantalla 126 táctil puede utilizar tecnología LCD (pantalla de cristal líquido) o tecnología LPD (pantalla de polímero emisor de luz), aunque pueden utilizarse otras tecnologías de pantalla en otras realizaciones. La pantalla 126 táctil y el controlador 122 de pantalla táctil pueden detectar el contacto y cualquier movimiento o falta del mismo utilizando cualquiera de una pluralidad de tecnologías de sensibilidad de contacto, incluyendo, aunque no en sentido limitativo, tecnologías capacitivas, resistivas, de infrarrojos y de ondas acústicas de superficie, así como otras disposiciones de sensores de proximidad u otros elementos para determinar uno o más puntos de contacto con la pantalla 126 táctil.
El dispositivo 100 también incluye un sistema 130 de alimentación para alimentar los diferentes componentes. El sistema 130 de alimentación puede incluir un sistema de gestión de energía, una o más fuentes de alimentación (por ejemplo baterías, corriente alterna (CA)), un sistema recargable, un circuito de detección de fallos de alimentación, un convertidor o inversor de energía, un indicador del estado de la energía (por ejemplo, un diodo emisor de luz (LED)) y cualquier otro componente asociado con la generación, gestión y distribución de la energía en dispositivos portátiles.
En algunas realizaciones, los componentes de software incluyen un sistema 132 operativo, un módulo 134 (o conjunto de instrucciones) de comunicación, un módulo 138 (o conjunto de instrucciones) de contacto/movimiento, un módulo 140 (o conjunto de instrucciones) gráfico, un módulo 144 (o conjunto de instrucciones) del estado de la interfaz de usuario y una o más aplicaciones 146 (o conjunto de instrucciones). El sistema 132 operativo (por ejemplo, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS, o un sistema operativo embebido tal como VxWorks), incluye diferentes componentes de software y/o controladores para controlar y gestionar las tareas generales del sistema (por ejemplo, la gestión de memoria, el control de los dispositivos de almacenamiento, la gestión de la energía, etc.) y facilita la comunicación entre los diferentes componentes del hardware y del software.
El módulo 134 de comunicación facilita la comunicación con otros dispositivos a través de uno o más puertos 148 externos e incluye también diferentes componentes de software para gestionar los datos recibidos por el sistema 1 12 de circuitos de RF y/o el puerto 148 externo. El puerto 148 externo (por ejemplo, un bus serie universal (USB), FIREWIRE, etc.) está adaptado para conectarse directamente a otros dispositivos o indirectamente a través de una red (por ejemplo, Internet, LAN inalámbricas, etc.).
El módulo 138 de contacto/movimiento detecta el contacto con la pantalla 126 táctil, junto con el controlador 122 de la pantalla táctil. El módulo 138 de contacto/movimiento incluye diferentes componentes de software para realizar diferentes operaciones relacionadas con la detección del contacto con la pantalla 126 táctil, tales como determinar si se ha producido el contacto, determinar si hay movimiento del contacto y realizar un seguimiento del movimiento a través de la pantalla táctil, y determinar si se ha interrumpido el contacto (es decir, si el contacto ha cesado). La determinación del movimiento del punto de contacto puede incluir determinar la velocidad (magnitud), la velocidad (magnitud y dirección) y/o la aceleración (incluyendo magnitud y/o dirección) del punto de contacto. En algunas realizaciones, el módulo 126 de contacto/movimiento y el controlador 122 de la pantalla táctil también detectan el contacto sobre la almohadilla táctil.
El módulo 140 gráfico incluye diferentes componentes de software conocidos para mostrar y visualizar gráficos en la pantalla 126 táctil. Obsérvese que el término "gráficos" incluye cualquier objeto que pueda mostrarse a un usuario incluyendo, aunque no en sentido limitativo, texto, páginas Web, iconos (tales como objetos de interfaz de usuario que incluyan teclas programables), imágenes digitales, vídeos, animaciones y similares.
En algunas realizaciones, el módulo 140 gráfico incluye un módulo 142 de intensidad óptica. El módulo 142 de intensidad óptica controla la intensidad óptica de los objetos gráficos, tales como los objetos de interfaz de usuario, mostrados en la pantalla 126 táctil. El control de la intensidad óptica puede incluir el aumento o la disminución de la intensidad óptica de un objeto gráfico. En algunas realizaciones, el aumento o la disminución pueden seguir funciones predeterminadas.
El módulo 144 de estado de interfaz de usuario controla el estado de la interfaz de usuario del dispositivo 100. El módulo 144 de estado de interfaz de usuario puede incluir un módulo 150 de bloqueo y un módulo 152 de desbloqueo. El módulo de bloqueo detecta la satisfacción de cualquiera de una o más condiciones para efectuar la transición del dispositivo 100 a un estado bloqueado de la interfaz de usuario y para efectuar la transición del dispositivo 100 al estado bloqueado. El módulo de desbloqueo detecta la satisfacción de cualquiera de una o más condiciones para efectuar la transición del dispositivo a un estado desbloqueado de la interfaz de usuario y para efectuar la transición del dispositivo 100 al estado desbloqueado.
La aplicación o aplicaciones 130 puede(n) incluir cualquier aplicación instalada en el dispositivo 100, incluyendo, aunque no en sentido limitativo, un navegador, una agenda de direcciones, una lista de contactos, correo electrónico, mensajería instantánea, procesamiento de textos, emulaciones de teclado, objetos gráficos, aplicaciones JAVA, encriptación, gestión de derechos digitales, reconocimiento de voz, replicación de voz, capacidad de determinación de la posición (tal como la proporcionada por el sistema de posicionamiento global (GPS)), un reproductor de música (que reproduce música grabada almacenada en uno o más archivos, tales como archivos MP3 o AAC), etc. En algunas realizaciones, el dispositivo 100 puede incluir uno o más sensores ópticos opcionales (no mostrados), tales como sensores de imágenes CMOS o CCD 200, para su uso en aplicaciones para la formación de imágenes.
No obstante, la estructura de hardware indicada es una de las posibles y se ha de tener en cuenta que el dispositivo 100 puede incluir otros elementos de captura de imágenes como, cámara, escáner, trazador láser o la combinación de cualquiera de estos tipos de dispositivos, que puedan proporcionar al dispositivo móvil la representación del entorno real en formato de video, secuencia de imágenes, formato vectorial o cualquier tipo de combinación de los formatos citados. Del mismo modo, el dispositivo 100 puede incluir dispositivos de localización geográfica basados en las redes de satélites de posicionamiento GPS, dispositivos de ayuda a la localización geográfica basados en las redes de satélites GPS y localización IP de redes de internet -AGPS-, dispositivos de localización geográfica basados en la triangulación de señales de radio proporcionadas por antenas WIFI y dispositivos Bluetooth® (ISSP), la combinación de cualquiera de estos dispositivos citados o cualquier tipo de dispositivo que permita proporcionar al dispositivo móvil datos numéricos de su localización geográfica.
El dispositivo 100 puede incluir cualquier tipo de elemento capaz de representar imágenes en tiempo real con un mínimo de 24 FPS (Frames Per Second, imágenes por segundo) como, pantallas TFT, TFT-LED, TFT-OLED, TFT-Retina, la combinación de cualquiera de las anteriores, además de pantallas de nueva generación Holo-TFT, transparentes y Micro- Proyectores o cualquier dispositivo de representación gráfica que pueda proporcionar al dispositivo móvil 100 una forma de representar contenidos visuales al usuario.
El dispositivo 100 incluye un procesador o conjunto de procesadores que por sí mismos o en combinación con procesadores gráficos como GPU (Graphics Processing Unit, unidad de proceso gráfico) o APU (Accelerated Processing Unit, unidad de procesamiento acelerado) puedan proporcionar al dispositivo móvil 100 la capacidad de representar, en tiempo de ejecución real, gráficos vectoriales y conformar polígonos texturizados con estos, a través de librerías de representación vectorial (conjuntos de procedimientos estandarizados de representación gráfica para distintas plataformas) como, OpenGL, DirectX ó cualquier tipo de librerías destinadas a este cometido. El primer proceso que comprende el método objeto de la invención consiste en la localización geográfica del dispositivo móvil, con la mayor precisión y fidelidad permitida por las redes de satélites de posicionamiento GPS, sin utilizar los recursos proporcionados por terceros como, proveedores de navegación GPS, proveedores de mapas geográficos y trazados GPS, proveedores de cuadriculas de navegación GPS y sin la necesidad de conexión a redes de internet para la descarga ó uso directo de los citados recursos.
Este primer procedimiento posibilita la interacción de forma directa con los gráficos vectoriales representados, a través de la pantalla táctil 126 o el interface de comunicación con el hardware proporcionado por el dispositivo móvil 100. Interacciones que permiten tanto la navegación virtual del entorno gráfico vectorial, como la actuación directa sobre los elementos que lo componen, estableciendo a su vez las variables básicas para el funcionamiento del resto de etapas.
Etapa de localización geográfica de entornos virtuales
El dispositivo 100 está configurado para asignar unos vectores de posición en el entorno virtual del dispositivo 100, estableciendo la variable compuesta indefinida del dispositivo móvil Vector3 (a, b, c) y la variable compuesta definida Vector3 (LonX, LatY, AltZ), predeterminada por las coordenadas geográficas del grupo poligonal que debe ser representado, transformándola en Vector3 (LonPosX, LatPosY, AltPosZ), a partir de los datos entregados por el dispositivo de localización geográfica 201 incluido en el dispositivo móvil 100.
Las variables quedan definidas como:
- LonPosX = ((LonX+180)/360)x LonN;
Donde LonN es una constante establecida por el campo de visión de la cámara (FOV).
- LatPosY = ((LatY +(180xNS))/360)xLatN ;
Donde LatN es una constante establecida por el FOV de cámara; y
NS es una variable de hemisferio Norte/Sur.
- AltPosZ = AltZ x AltN;
Donde AltN es una constante establecida por el FOV de cámara.
- a = ((GPSx+180)/360) x LonN;
Donde GPSx es un valor flotante establecido por el GPS del dispositivo móvil.
- b = (( GPSy+(180xNS))/360) x LatN;
Donde GPSy es un valor flotante establecido por el GPS del dispositivo móvil; y
NS es una variable de hemisferio Norte/Sur.
- c = GPSz x N;
Donde GPSz es un valor flotante establecido por el GPS del dispositivo móvil.
Etapa de interacción con los elementos vectoriales que componen una escena virtual
Tras la etapa anterior se establece un diferencial del grupo de polígonos vectoriales con el dispositivo móvil: - Pos (PosX, PosY, PosZ) = Vector3(LonPosX, LatPosY, AltPosZ) - Vector3(a,b,c)
Este cálculo diferencial establece tres variables compuestas y dos simples, donde:
Posición es la variable compuesta de desplazamiento del dispositivo móvil en el entorno virtual.
ARP es la variable compuesta que define el radio del área de representación del entorno virtual con referencia al dispositivo móvil.
Loe es la variable compuesta que define el cálculo inverso del posicionamiento global GPS real del grupo.
En esta etapa se proporciona un vector de posición del desplazamiento en tiempo de ejecución y se asigna a la transformación de movimiento del dispositivo móvil con referencia al grupo de polígonos:
Posición = Pos (PosX, PosY, PosZ).
Se establece el área definida de aproximación y de representación:
- ART = Vector3 (LonPosX, LatPosY, AltPosZ) - Vector3(a, b, c)
- ARF = Vector3 (a, b, c)
- ARP = (ART - ARF) x Ar;
- Donde Ar es el valor definido de la distancia al grupo.
Posteriormente se obtiene el cálculo de la transformación al entorno virtual del grupo de polígonos y se aplica la operación inversa, para asegurar que su localización geográfica real con referencia a la localización geográfica real del dispositivo móvil es correcta y se establece el control de seguridad de representación.
- Loe = ( ( ( ( ( a + ART.X ) / LonN ) x 360 ) - 180 ), ( ( ( ( b + ART.Y ) / LatN ) x 360 ) - (180 x NS ) ), ( ( c + ART.Z) / AltN) )
Donde RP0 es la variable simple booleana que proporciona el valor verdadero o falso de representación; y donde
- RPC es la variable simple booleana que proporciona el valor verdadero o falso de asignación de capas.
Etapa de asignación de numeración de capas
Una vez el dispositivo 100 entra en el área predefinida de aproximación, alrededor del grupo de representación, se asignan las variables de numeración de capas, donde:
- CO = Pos (PosX, PosY, PosZ);
Esta capa está asignada al dispositivo de captura de imágenes 200.
- C1 = Pos (PosX, PosY, PosZ) - ARP/4.
- C2 = Pos (PosX, PosY, PosZ) - ARP/2.
- C3 = Pos (PosX, PosY, PosZ) - ARP; -
Esta es la capa prioritaria de representación.
El segundo proceso de la invención consiste en la representación de gráficos vectoriales texturizados en tiempo de ejecución real, con la mayor calidad posible proporcionada por el dispositivo móvil 100.
Este proceso incluye las etapas destinadas a la resolución de problemas básicos de visualización de entornos virtuales y su sincronización con un entorno real como son:
El escalado de los gráficos vectoriales representados, atendiendo al entorno real en el que se pretenden representar.
La disminución del movimiento de los gráficos vectoriales representados, en relación a la distancia real de sincronización, con su ubicación geográfica en el entorno real.
Este segundo proceso es el que permite, en distintos aspectos de la representación de los entornos virtuales, ayudar a dar coherencia visual con el entorno real en el que deben ser representados.
Etapa de representación independiente de escenas con contenidos vectoriales.
Utilizando las sentencias nativas de ejecución de cada dispositivo móvil 100, se activa el dispositivo de captura de imágenes 200 o datos vectoriales del mismo y se asigna la variable de capa "C0", estableciendo así la velocidad de muestreo en Hertzios, imágenes por segundo y resolución de captura de imágenes (en pixeles por pulgada) del dispositivo de captura.
Posteriormente se asignan los valores descritos anteriormente al dispositivo de captura, lo que permite ajustar su eficiencia, con referencia a la representación de la mayor cantidad de polígonos y texturas posibles que permita obtener el dispositivo móvil 100. Dependiendo de la aproximación al objetivo, se reducen o aumentan las imágenes por segundo que debe ofrecer el dispositivo de captura, su muestreo en Hertzios y la resolución de captura, para una optimización máxima, a través de un valor con máximos y mínimos establecidos. Estos valores, son dependientes de la variable establecida por el valor diferencial de la capa más cercana al dispositivo móvil y la más lejana al mismo.
- Cam = C3 - CO.
A través del uso de superposición de capas, se asigna una cantidad de recursos de memoria RAM y una prioridad de representación independiente a cada una de ellas, sin la necesidad de representar en tiempo real todas en un conjunto.
Se procede a su sincronización mediante el diferencial calculado en el primer procedimiento, establecido por las variables C1 , C2, C3, donde C3 correspondería a la capa con mayor prioridad de representación.
Etapa de gestión de recursos de hardware del dispositivo móvil 100.
Esta etapa permite gestionar la calidad de los gráficos vectoriales representados, supeditando esta calidad siempre a las capacidades y características proporcionadas por el dispositivo móvil 100, obteniendo así la mayor calidad disponible sin perjudicar la fluidez de la representación gráfica ni de proceso del sistema.
Los valores de capa se someten a un sumatorio de las mismas y se extrae una variable multiplicada por la constante definida del hardware del dispositivo HW = Alto (3), Medio (2) , Bajo (1 ) donde:
- Calidad = ( C0 + C1 + C2 + C3 ) x HW Esta fórmula determinará la cantidad de polígonos y el tamaño de las texturas máximos que el dispositivo debe procesar en tiempo de ejecución real a partir de condicionantes. Así, por ejemplo, si Calidad >= 100... Entonces...PC3 = 100.000 polígonos, TC3 = 512 x 512 pixels.
La cantidad de polígonos y tamaño de las texturas mostrados en escena depende de la distancia del grupo poligonal en relación al dispositivo móvil 100, restando cantidad de polígonos y tamaño de texturas al resto de capas inferiores, cuanto más próximo se encuentre el dispositivo móvil 100 del grupo de polígonos localizados geográficamente.
Por tanto cuanto más próximo se encuentre el dispositivo móvil al grupo de polígonos localizados geográficamente, mayor cantidad de polígonos y tamaño de texturas podremos asignar a la capa C3 o capa de representación prioritaria.
Etapa de resolución de problemas básicos de visualización de entornos virtuales. A partir de:
El valor diferencial establecido en la etapa de interacción con los elementos vectoriales que componen una escena virtual, y la posición:
Pos (PosX, PosY, PosZ) = Vector3(LonPosX, LatPosY, AltPosZ) - Vector3(a,b,c) La variable Posición; y
- El valor obtenido por la variable ARP;
Se calcula el FOV de cámara en tiempo de ejecución real, para sincronizar la visualización del entorno real, capturado por el dispositivo de captura del dispositivo móvil, con la representación del entorno virtual.
- Rfov = ( Posición - ARP ) / Cfov;
- Donde Cfov es la constante de ajuste del FOV.
Posteriormente se establecen los parámetros de uso, limitándolos a un máximo y un mínimo predeterminados a través de condicionantes.
Si Rfov < = RfovMax entonces Rfov = RfovMax.
- Si Rfov > = RfovMin entonces Rfov = RfovMin.
Este sistema implica una clara diferenciación, de los sistemas citados anteriormente, dentro de las tecnologías aplicadas a los dispositivos móviles, basados en las tecnologías de terceros, tecnologías que por separado ya emplean todos los recursos de hardware disponibles del dispositivo móvil, tanto para la representación de realidad aumentada o virtual como para la localización geográfica de elementos virtuales. Sin obtener la calidad de representación ni la fidelidad de localización geográfica que si obtiene nuestro sistema a partir de los procedimientos enunciados. El proceso de la invención nos permite obtener una mayor calidad de los entornos virtuales representados y ubicados con la mayor fidelidad que nos ofrecen los satélites de posicionamiento GPS, para todos los dispositivos móviles del mercado disponibles dentro del marco de referencia e independiza su funcionamiento de la necesidad de conexión a internet para su uso.

Claims

0-1-06-2013
WO 2014/125134 PCT/ES2013/070090
REIVINDICACIONES
1 - Método para la representación de entornos virtuales localizados geográficamente de un dispositivo móvil (100) que comprende
un primer proceso que comprende las etapas de:
averiguar los vectores de posición en el entorno local del dispositivo móvil, tanto del dispositivo (100) como del grupo de polígonos que debe representar;
generar un diferencial entre los vectores de posición del dispositivo y del polígono, donde se establecen variables compuestas y simples a partir de la constante compuesta de referencia: longitud, altitud y altura, asignada a un grupo de polígonos;
asignar las variables de posición local, distancia al grupo objetivo, el cálculo inverso del posicionamiento global GPS, los parámetros de entorno y la numeración de capas, una vez que el dispositivo móvil (100) entra en el área de aproximación, predefinida alrededor del grupo de representación; y
un segundo proceso que comprende las etapas de:
activar el dispositivo de captura de imágenes (200) del dispositivo móvil (100);
otorgar órdenes de representación basados en capas, vinculándolas a este orden; donde el orden de representación viene dado por el cálculo diferencial establecido en el primer proceso y determina la calidad del elemento representado, su asignación de búfer de memoria, su velocidad de representación en Hz y su sincronización tanto vertical como horizontal, otorgando prioridad a la capa más cercana al dispositivo y prioridad nula a las secuencias de imágenes capturadas;
y donde una vez establecida la variable booleana de representación como verdadera se registran las variables del entorno del primer proceso, y en relación a estas variables se ajustan los efectos de post procesado del visualizador para adaptarlo al rendimiento del dispositivo móvil (100).
2.- El método de la reivindicación 1 donde se establece una variable compuesta indefinida del dispositivo móvil Vector3 (a, b, c) y la variable compuesta definida Vector3 (LonX, LatY, AltZ), predeterminada por las coordenadas geográficas del grupo poligonal que debe ser representado, transformándola en Vector3 (LonPosX, LatPosY, AItPosZ), a partir de los datos entregados por el dispositivo de localización geográfica (201 ) incluido en el dispositivo móvil (100).
22
HOJA DE REEMPLAZO (Regla 26) 0-1-06-2013
WO 2014/125134 PCT/ES2013/070090
3 - El método de cualquiera de las reivindicaciones 1 - 2 donde el diferencial del grupo de polígonos vectoriales con el dispositivo móvil se define como:
Pos (PosX, PosY, PosZ) = Vector3(LonPosX, LatPosY, AltPosZ) - Vector3(a,b,c);
que proporciona un vector de posición del desplazamiento en tiempo de ejecución y se asigna a la transformación de movimiento del dispositivo móvil con referencia al grupo de polígonos.
4 - El método de acuerdo con cualquiera de las reivindicaciones 1 - 3 donde el cálculo diferencial establece tres variables compuestas (Pos, ARP, Loe) y dos simples, donde
Posición es una variable compuesta de desplazamiento del dispositivo móvil en el entorno virtual:
Posición = Pos (PosX, PosY, PosZ);
ARP es una variable compuesta que define el radio del área de representación del entorno virtual con referencia al dispositivo móvil:
- ARP = (ART - ARF) x Ar;
donde:
■ ART = Vector3 (LonPosX, LatPosY, AltPosZ) - Vector3(a, b, c)
■ ARF = Vector3 (a, b, c); y
■ Ar es el valor definido de la distancia al grupo
Loe es una variable compuesta que define el cálculo inverso del posicionamiento global GPS real del grupo:
- Loe = ( ( ( ( ( a + ART.X ) / LonN ) x 360 ) - 180 ), ( ( ( ( b + ART. Y ) / LatN ) x 360 ) - (180 x NS ) ), ( ( c + ART.Z) / AltN) )
■ donde RP0 es la variable simple booleana que proporciona el valor verdadero o falso de representación; y
■ donde RPC es la variable simple booleana que proporciona el valor verdadero o falso de asignación de capas. 5 - El método de acuerdo con cualquiera de las reivindicaciones 1 - 4 donde una vez el dispositivo (100) entra en el área predefinida de aproximación, alrededor del grupo de representación, se asignan las variables de numeración de capas, donde:
- C0 = Pos (PosX, PosY, PosZ);
Esta capa está asignada al dispositivo de captura de imágenes 200; - C1 = Pos (PosX, PosY, PosZ) - ARP/4;
23
HOJA DE REEMPLAZO (Regla 26) 0-1-06-2013
WO 2014/125134 PCT/ES2013/070090
- C2 = Pos (PosX, PosY, PosZ) - ARP/2;
- C3 = Pos (PosX, PosY, PosZ) - ARP;
Esta es la capa prioritaria de representación.
6 - El método según cualquiera de las reivindicaciones 1 - 5 donde el segundo proceso comprende la etapa de activar el dispositivo de captura de imágenes 200 o datos vectoriales del mismo y asignar una variable de capa C0, estableciendo así la velocidad de muestreo en Hertzios, imágenes por segundo y resolución de captura de imágenes en pixeles por pulgada del dispositivo de captura, donde estos valores son dependientes de la variable establecida por el valor diferencial de la capa más cercana al dispositivo móvil C3 y la más lejana al mismo C0; y asignar los valores descritos anteriormente al dispositivo de captura.
7 - El método según cualquiera de las reivindicaciones 1 - 6 donde partir de:
el valor diferencial establecido
Pos (PosX, PosY, PosZ) = Vector3(LonPosX, LatPosY, AltPosZ) - Vector3(a,b,c) la variable Posición; y
el valor obtenido por la variable ARP;
se calcula el campo de visión de cámara en tiempo de ejecución real, para sincronizar la visualización del entorno real, capturado por el dispositivo de captura del dispositivo móvil, con la representación del entorno virtual, donde
Rfov = ( Posición - ARP ) / Cfov;
Siendo Cfov es la constante de ajuste del campo de visión;
y donde posteriormente se establecen los parámetros de uso, limitándolos a un máximo y un mínimo predeterminados a través de condicionantes.
Si Rfov < = RfovMax entonces Rfov = RfovMax.
Si Rfov > = RfovMin entonces Rfov = RfovMin.
8 - Dispositivo móvil (100) que comprende:
un medio de visualización de datos (126);
uno o más procesadores (106);
una memoria (102); y
uno o más programas (132 a 146) en el que el o los programas están almacenados en la memoria (102) y configurados para ejecutarse mediante el o los procesadores (106), incluyendo los programas (132 a 146) instrucciones para:
24
HOJA DE REEMPLAZO (Regla 26) 0-1-06-2013
WO 2014/125134 PCT/ES2013/070090
averiguar los vectores de posición en el entorno del dispositivo (100) así como los vectores de posición del grupo de polígonos que debe representar;
generar un diferencial entre los vectores de posición del dispositivo y del polígono, donde se establecen variables compuestas y simples a partir de la constante compuesta de referencia: longitud, altitud y altura, asignada a un grupo de polígonos;
asignar las variables de posición local, distancia al grupo objetivo, el cálculo inverso del posicionamiento global GPS, los parámetros de entorno y la numeración de capas, una vez que el dispositivo móvil (100) entra en el área de aproximación, predefinida alrededor del grupo de representación;
activar un dispositivo de captura de imágenes (200) del dispositivo móvil (100);
otorgar órdenes de representación basados en capas, vinculándolas a este orden; donde el orden de representación viene dado por el cálculo diferencial establecido en el primer proceso y determina la calidad del elemento representado, su asignación de búfer de memoria, su velocidad de representación en Hz y su sincronización tanto vertical como horizontal, otorgando prioridad a la capa más cercana al dispositivo y prioridad nula a las secuencias de imágenes capturadas;
y ajustar los efectos de post procesado del visualizador para adaptarlo al rendimiento del dispositivo móvil (100). 9 - Producto de programa informático con instrucciones configuradas para su ejecución por uno o más procesadores (106) que cuando son ejecutadas por el dispositivo (100) de la reivindicación 8 hacen que el dispositivo (100) lleve a cabo el método según cualquiera de las reivindicaciones 1 - 7.
25
HOJA DE REEMPLAZO (Regla 26)
PCT/ES2013/070090 2013-02-14 2013-02-14 Método para la representación de entornos virtuales localizados geográficamente y dispositivo móvil WO2014125134A1 (es)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13874977.5A EP2958079A4 (en) 2013-02-14 2013-02-14 METHOD FOR PRESENTING GEOGRAPHIC VIRTUAL ENVIRONMENTS AND MOBILE DEVICE THEREFOR
US14/765,611 US20150371449A1 (en) 2013-02-14 2013-02-14 Method for the representation of geographically located virtual environments and mobile device
PCT/ES2013/070090 WO2014125134A1 (es) 2013-02-14 2013-02-14 Método para la representación de entornos virtuales localizados geográficamente y dispositivo móvil
CN201380072768.3A CN104981850A (zh) 2013-02-14 2013-02-14 地理定位虚拟环境的表示方法及移动设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/ES2013/070090 WO2014125134A1 (es) 2013-02-14 2013-02-14 Método para la representación de entornos virtuales localizados geográficamente y dispositivo móvil

Publications (1)

Publication Number Publication Date
WO2014125134A1 true WO2014125134A1 (es) 2014-08-21

Family

ID=51353497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2013/070090 WO2014125134A1 (es) 2013-02-14 2013-02-14 Método para la representación de entornos virtuales localizados geográficamente y dispositivo móvil

Country Status (4)

Country Link
US (1) US20150371449A1 (es)
EP (1) EP2958079A4 (es)
CN (1) CN104981850A (es)
WO (1) WO2014125134A1 (es)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762936A (zh) * 2021-11-09 2021-12-07 湖北省国土测绘院 一种基于互联网的增减挂钩复垦现场核查管理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228930A1 (en) * 2016-02-04 2017-08-10 Julie Seif Method and apparatus for creating video based virtual reality
US10627479B2 (en) * 2017-05-17 2020-04-21 Zerokey Inc. Method for determining the position of an object and system employing same
US10712810B2 (en) * 2017-12-08 2020-07-14 Telefonaktiebolaget Lm Ericsson (Publ) System and method for interactive 360 video playback based on user location
US10902680B2 (en) 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003102893A1 (en) 2002-06-04 2003-12-11 Allen Telecom, Inc. System and method for cdma geolocation
WO2008085443A2 (en) 2006-12-27 2008-07-17 Trueposition, Inc. Portable, iterative geolocation of rf emitters
US20120268493A1 (en) 2011-04-22 2012-10-25 Nintendo Co., Ltd. Information processing system for augmented reality
US20120293546A1 (en) 2011-05-18 2012-11-22 Tomi Lahcanski Augmented-reality mobile communicator with orientation
US20120296564A1 (en) 2008-01-22 2012-11-22 Maran Ma Systems, apparatus and methods for delivery of location-oriented information

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923809A (zh) * 2010-02-12 2010-12-22 黄振强 交互式增强现实点播机
CN102375972A (zh) * 2010-08-23 2012-03-14 谢铮 一种分布式的基于可移动设备的增强现实平台
US9317133B2 (en) * 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
CN102646275B (zh) * 2012-02-22 2016-01-20 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
US9129429B2 (en) * 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003102893A1 (en) 2002-06-04 2003-12-11 Allen Telecom, Inc. System and method for cdma geolocation
WO2008085443A2 (en) 2006-12-27 2008-07-17 Trueposition, Inc. Portable, iterative geolocation of rf emitters
US20120296564A1 (en) 2008-01-22 2012-11-22 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
US20120268493A1 (en) 2011-04-22 2012-10-25 Nintendo Co., Ltd. Information processing system for augmented reality
US20120293546A1 (en) 2011-05-18 2012-11-22 Tomi Lahcanski Augmented-reality mobile communicator with orientation

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KARLEKAR ET AL.: "Positioning, Tracking and Mapping for Outdoor Augmentation'';", DPTO. ECE; IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY 2010, SCIENCE AND TECHNOLOGY PROCEEDINGS, 13 October 2010 (2010-10-13), SEÚL, COREA;, XP032291043, Retrieved from the Internet <URL:http:ieeexplore.ieee.org/xpls/abs. all.jsp?arnumber=563567> *
See also references of EP2958079A4
WAGNER ET AL.: "Real-Time Detection and Tracking for Augmented Reality on Mobile Phones'';", VISUALIZATION AND COMPUTER GRAPHICS, IEEE TRANSACTIONS ON, vol. 16, no. ISSUE:, May 2010 (2010-05-01), XP011344619, Retrieved from the Internet <URL:http://ieeexplore.ieee.org/xpls/abs all.jsp?amumber=5226627> *
ZENDJEBIL ET AL.: "Hybrid Localization System for Mobile Outdoor Augmented Reality Applications'';", IMAGE PROCESSING THEORY, TOOLS AND APPLICATIONS, 2008. IPTA 2008. FIRST WORKSHOPS ON;, 23 November 2008 (2008-11-23), XP055279013, Retrieved from the Internet <URL:http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4743733> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762936A (zh) * 2021-11-09 2021-12-07 湖北省国土测绘院 一种基于互联网的增减挂钩复垦现场核查管理方法
CN113762936B (zh) * 2021-11-09 2022-02-01 湖北省国土测绘院 一种基于互联网的增减挂钩复垦现场核查管理方法

Also Published As

Publication number Publication date
CN104981850A (zh) 2015-10-14
US20150371449A1 (en) 2015-12-24
EP2958079A4 (en) 2016-10-19
EP2958079A1 (en) 2015-12-23

Similar Documents

Publication Publication Date Title
JP7058842B2 (ja) マークポイント位置表示方法、電子機器及びコンピュータ読取可能な記憶媒体
KR102494540B1 (ko) 위치 정보에 기초한 수집가능한 항목들의 생성
CN111316333B (zh) 一种信息提示方法及电子设备
US20170323478A1 (en) Method and apparatus for evaluating environmental structures for in-situ content augmentation
EP2572336B1 (en) Mobile device, server arrangement and method for augmented reality applications
JP7305249B2 (ja) 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
JP7026819B2 (ja) カメラの位置決め方法および装置、端末並びにコンピュータプログラム
CN107861613B (zh) 显示与内容相关联的导航器的方法和实现其的电子装置
US8761590B2 (en) Mobile terminal capable of providing multiplayer game and operating method thereof
EP2974509B1 (en) Personal information communicator
US20140306996A1 (en) Method, device and storage medium for implementing augmented reality
JPWO2018179644A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JP2013517579A (ja) 拡張現実システム
KR20130138141A (ko) 주변 위치 정보의 증강 현실 배치
US10832489B2 (en) Presenting location based icons on a device display
WO2012113972A1 (en) Method and apparatus for providing route information in image media
US9628706B2 (en) Method for capturing and displaying preview image and electronic device thereof
WO2014125134A1 (es) Método para la representación de entornos virtuales localizados geográficamente y dispositivo móvil
CN113556481B (zh) 视频特效的生成方法、装置、电子设备及存储介质
JP2017108356A (ja) 画像管理システム、画像管理方法、プログラム
CA3031840A1 (en) A device for location based services
KR102207566B1 (ko) 증강현실을 이용한 위치기반 소셜 네트워크 서비스 제공 시스템
CN112000899A (zh) 景点信息的展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13874977

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14765611

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2013874977

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013874977

Country of ref document: EP