WO2016120510A1 - Sistema de adaptación de gafas de realidad virtual para visualización de realidad aumentada estereoscópica envolvente - Google Patents

Sistema de adaptación de gafas de realidad virtual para visualización de realidad aumentada estereoscópica envolvente Download PDF

Info

Publication number
WO2016120510A1
WO2016120510A1 PCT/ES2016/070041 ES2016070041W WO2016120510A1 WO 2016120510 A1 WO2016120510 A1 WO 2016120510A1 ES 2016070041 W ES2016070041 W ES 2016070041W WO 2016120510 A1 WO2016120510 A1 WO 2016120510A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual reality
glasses
environment
virtual
stereoscopic
Prior art date
Application number
PCT/ES2016/070041
Other languages
English (en)
French (fr)
Inventor
Pablo Abad Rubio
Luis Manuel Gomis Quinto
Original Assignee
Pablo Abad Rubio
Luis Manuel Gomis Quinto
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pablo Abad Rubio, Luis Manuel Gomis Quinto filed Critical Pablo Abad Rubio
Publication of WO2016120510A1 publication Critical patent/WO2016120510A1/es

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Definitions

  • the present invention belongs to the fields of virtual reality and augmented reality (also known as mixed reality) and more specifically, to the field of virtual reality and augmented reality display devices.
  • the object of the present invention is a new device that is coupled to virtual reality glasses, captures the images of the environment and through specific software is able to merge virtual models with the captured images and reproduce them on the screen of the glasses themselves. virtual reality, thus obtaining a stereoscopic first-person view of an augmented reality environment. Since the angle of vision that the system is capable of presenting is 90 ° or more per eye, it is called an envelope because it largely envelops or encompasses the user's field of vision without the same perceiving that the environment is seeing With a reduced field of vision.
  • the object of the present invention will therefore have several different fields of background, from which it is nourished to generate innovation, on the one hand virtual reality, on the other, augmented reality.
  • the device uses virtual reality glasses as a base, a product of which there are already different versions of several companies in the market: - Oculus Rift (US Patent D701,206 S).
  • Virtual reality glasses Head-mounted display, HMD) that provide three-dimensional stereoscopic vision, consisting of a screen that shows virtual stereoscopic images in parallel for each eye associated with a system that recognizes the movements of the head to show images in accordance with the point of view associated with the user. This device grants a field of vision of more than 90 ° for each eye.
  • HMD Virtual reality glasses
  • All these devices incorporate a screen that projects the images stereoscopically and is capable of generating the sensation of depth in the visualization of virtual elements.
  • FIG. 1 Another aspect of virtual reality glasses is in models that function as adapters visors of mobile graphic devices, consisting of devices dependent on the incorporation of a mobile device (usually a Smartphone) that will exercise the function of the system screen.
  • a mobile device usually a Smartphone
  • FIG. 1 Another aspect of virtual reality glasses is in models that function as adapters visors of mobile graphic devices, consisting of devices dependent on the incorporation of a mobile device (usually a Smartphone) that will exercise the function of the system screen.
  • a mobile device usually a Smartphone
  • Samsung Gear VR Adapter viewer of mobile graphic devices for stereoscopic virtual vision, understood as an accessory of a specific Smartphone, Samsung Galaxy Note 4, which allows it to be transformed into the screen of virtual reality glasses conferring properties very similar to those of the Oculus Rift device.
  • Google Cardboard Cardboard accessory that allows to connect a Smartphone and through a software application convert it into a virtual reality viewer. Any Smartphone that supports the application can be installed in this accessory to become a virtual reality tool.
  • the invention advocates the possibility of transforming these virtual reality systems into augmented reality tools, incorporating a totally new device and therefore supposes a substantial improvement in the state of the art.
  • Smartphones or Tablets with sufficient capacity to run software applications that allow the use of the default built-in camera to register images of the real world and through processing algorithms based on the identification of marks with a special design or of the design would be located Automatic identification of visually characteristic points of the environment show on the screen those images with virtual objects positioned in the real world that look similar to how they would look if they were really there, transforming them into augmented reality devices. All these devices acquire augmented reality functions at the time a certain software is executed while the rest of the time they have different functionalities.
  • augmented reality glasses designs that work using semi-transparent display technology, in which the glasses do not occlude the user's vision of the environment, but complement it by projecting on it through different virtual image technologies so similar to augmented reality for mobile devices.
  • these devices are: Gafas Google.
  • Augmented reality glasses type display device based on a technology that projects images through a prism on the retina, creating images in the eye of the wearer that combine with the images that it perceives from the real world. It has voice control and a touchpad for its control and also incorporate a large part of the functionalities of a
  • augmented reality glasses type display device that has a small high resolution screen that shows the wearer the information. Oriented to sport, only virtual content is visualized by one eye.
  • Vuzix M100 Semi-transparent augmented reality monocular type display device that features an HD screen that occupies 15 ° of the monocular field of view and is capable of transmitting information in real time, as well as recording HD videos. It does not include glasses or frames that grant it the rating of glasses.
  • Telepathy One Semi-transparent augmented reality monocular type display device with a small HD screen that shows remote images in real time, and incorporates a camera capable of broadcasting by live HD recording. It does not include glasses or frames that grant it the rating of glasses.
  • GOAL AR Semi-transparent augmented reality glasses type display device with stereoscopic vision that can reach a 35 ° field of view.
  • Microsoft Hololens Device in development of visualization type glasses of semi-transparent augmented reality that also consists of a transparent panel that does not close the user's vision and projects on the same virtual elements. All these devices have an important difference with the object of the invention, and they are based on the semi-transparent technology explained above, unlike the object of the invention that completely transforms the user's vision to that projected in virtual reality glasses.
  • the augmented reality technology based on semi-transparent vision glasses has the disadvantage that it is only capable of projecting images of reduced dimension and viewing angle, not being able to enter into the so-called concept of augmented augmented reality.
  • the present invention consists of a device designed to transform a virtual reality glasses (HMD) envelope into an augmented reality system: a viewfinder that allows the visualization of any virtual object integrated in the real space where the user is located.
  • the device captures the environment in real time, positions virtual objects arranged in an integrated manner in the environment and displays it in an augmented reality (HMD) glasses so that the user of the system has the sensation of visualizing their environment in a way natural and according to the movements of your head and eyes with virtual elements added.
  • HMD augmented reality
  • the invention consists in the union of several elements for the creation of an augmented reality system with a large field of vision (greater than 90 °) to achieve a natural and enveloping visualization effect.
  • the system consists of:
  • the device consists of a housing inside which are two video sensors with lenses equipped with a large angle of capture exposed to the outside through holes in the housing. The sensors are separated at a distance similar to that of the human eye to capture a stereoscopic image of the environment similar to that visualized by the human eye system.
  • the sensors are connected to a central processing unit (CPU) through high-speed connections that transmit the video stream captured by the sensors in real time.
  • CPU central processing unit
  • a processing device connected on the one hand to the video sensors and on the other to virtual reality glasses (HMD) capable of executing software that processes the video stream in real time by adding virtual elements to the video stream of the environment and sending This stream of processed video to a virtual reality device.
  • HMD virtual reality glasses
  • the software processes the video image captured by the sensors looking for:
  • markers specially designed for this purpose that consist of a specific geometric design and can be uniquely identified by a matrix barcode.
  • HMD Virtual reality glasses with a large field of vision that show the stereoscopic image (a different one for each eye) with the real and virtual images intermingled, allowing the user an enlarged visualization with depth perception of their surroundings.
  • Figure 1 Perspective of the set of virtual reality glasses and the device object of the invention.
  • Figure 2. Front view of the device object of the invention.
  • Figure 3. Section of the device object of the invention.
  • Figure 4. Plan view of the device object of the invention.
  • Figure 5. Exploded front axonometry of the exploded view of the components of the device object of the invention.
  • Figure 6. Exploded rear axonometry of the exploded view of the components of the device object of the invention.
  • FIG. 7 Front view of coupling system A.
  • Figure 8. Section of the coupling system A.
  • Figure 9. Front view of the coupling system B.
  • Figure 10. Section of the coupling system B.
  • Figure 1 1. Front view of the coupling system C.
  • Figure 12. Section of the coupling system C.
  • Figure 13 Scheme of operation and transmission of data between the base device (virtual reality glasses), the device object of the invention (virtual reality glasses adapter to augmented reality glasses) and CPU (central processing unit)
  • the device (2) consists of a plastic housing divided into two parts (3, 4) joined by several screws (11).
  • the front part of the housing (4) consists of two holes (10) to allow exposure to the exterior of the lenses (8) of two cameras located inside.
  • In the inner part of the rear part of the housing (3) there are several supports (6) with thread inserts that serve to support by means of screws (12) two electronic plates with image sensors (7) capable of acquiring and transmitting in Real time a video stream.
  • the sensors are arranged in parallel inside the housing at a distance similar to that of the average separation of the eyes in humans to obtain a stereo view of the environment.
  • the sensor data is sent to the processor through a connection (5) via high-speed USB or Gige (Ethernet) cables with the connectors (9) inside the housing.
  • the cables are attached to the processor (CPU) through a high-speed USB or Gige (Ethernet) connector.
  • a lens (8) of short focal length and therefore large field of vision is adapted for the correct formation of the images in the sensor (7) and the capture of the environment.
  • the holes of the outer part (10) of the housing allow the light to pass through the lenses.
  • the coupling of the device to the virtual reality glasses is intended to capture the image of the environment aligned at all times to the position of the user's eyes, which adapts the visualization of the environment to the position of the head and eyes of the Username.
  • Coupling system A A coupling system consisting of a plate (13) that is screwed (16) to thread inserts (35) at the rear of the housing (3) and has two screws (14) a the sides, similar to marquetry flanges, on the upper end of the plate (36). The lower end of the plate (37) rests on the bottom of the virtual reality glasses. In this way, by exerting pressure on the upper and lower walls of the virtual reality device (1) the housing with the cameras (2) is attached to it. The stops of the screws (14) that exert pressure on the virtual reality glasses are inserted in a flat bar (15) with closures on the sides that runs along the top of the virtual reality device so that the pressure on the glasses is Distribute over a larger area.
  • the device can also be coupled inversely with respect to the horizontal one, that is, with the screws (14) in the lower part of the virtual reality device (1).
  • Coupling system B A coupling system consisting of a plate (17) that is screwed (21) to thread inserts (35) at the rear of the housing (3) and has two C-shaped clamps (18) on the sides thereof with their respective ends (19, 20) arranged perpendicularly to this plate and joined by rods (25, 26) to hold the device by exerting pressure on the top and bottom of the virtual reality device.
  • the calipers are internally composed of a spring (23) attached on one side to the bottom of a hollow tube (22) and on the other to the bottom of a piston (24) ending in an arm (19) oriented perpendicular to the tube (22). The ends of this clip exert pressure on the virtual reality glasses so that the housing with the cameras (2) is attached to it.
  • the device can also be coupled inversely with respect to the horizontal.
  • Coupling system C A coupling system consisting of a plate (27) that is screwed (30) to thread inserts (35) at the rear of the housing (3) and with a specific shape designed for one type virtual reality glasses concrete (Oculus Rift DK2) consisting of plastic hooks (28) that fit perfectly to existing slots (29) in the device design.
  • a coupling system consisting of a plate (27) that is screwed (30) to thread inserts (35) at the rear of the housing (3) and with a specific shape designed for one type virtual reality glasses concrete (Oculus Rift DK2) consisting of plastic hooks (28) that fit perfectly to existing slots (29) in the device design.
  • Oculus Rift DK2 virtual reality glasses concrete
  • the two sensor connectors are connected (31) to a processing unit (CPU) (34) to which they transmit the input video stream.
  • the processing unit (CPU) contains the processing software capable of calculating the position of the cameras and generating the real / virtual composite image.
  • This processing unit (CPU) is in turn connected at least by a video output connection (32) (such as HDMI) to the glasses, and optionally by an additional data connection (33) (such as USB) to receive data such as gyroscopic or inertial sensor information that the processing software can use for the calculations it performs.
  • the present invention has applications in the sectors of design visualization, such as furniture, interior design, architectural design, industrial design, virtual configurators of cars, ships or other elements or planning visualization of industrial production lines, in the creation of interactive digital montages for marketing, events, culture or dissemination of heritage, and at leisure, without detriment to other fields of application based on augmented reality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Sistema de adaptación de gafas de realidad virtual para visualización de realidad aumentada estereoscópica consistente en un dispositivo (2) de captación del entorno en el cual se integran dos cámaras de video (7) posicionadas de manera paralela con una separación entre ellas similar a la del ojo humano, conectado a una unidad de proceso central (34) y acoplado a unas gafas de realidad virtual (1) también conectadas a la unidad de proceso central que contiene un software capaz de procesar el flujo de video estereoscópico de captación del entorno y generar un flujo de video con este entorno y elementos virtuales añadidos hacia las gafas, generando una experiencia de realidad aumentada sobre unas gafas de realidad virtual.

Description

SISTEMA DE ADAPTACIÓN DE GAFAS DE REALIDAD VIRTUAL PARA
VISUALIZACIÓN DE REALIDAD AUMENTADA ESTEREOSCÓPICA ENVOLVENTE SECTOR TÉCNICO
La presente invención pertenece a los campos de la realidad virtual y de la realidad aumentada (también conocida como realidad mixta) y más concretamente, al campo de los dispositivos de visualización de realidad virtual y realidad aumentada. El objeto de la presente invención es un nuevo dispositivo que se acopla a unas gafas de realidad virtual, capta las imágenes del entorno y mediante un software específico es capaz de fusionar modelos virtuales con las imágenes captadas y reproducirlas en la pantalla de las propias gafas de realidad virtual, obteniendo así una visión estereoscópica en primera persona de un entorno de realidad aumentada. Dado que el ángulo de visión que el sistema es capaz de presentar es de 90° o más por ojo, se denomina envolvente debido a que envuelve o abarca en gran medida el campo de visión del usuario sin que el mismo perciba que está viendo el entorno con un campo de visión reducido.
TÉCNICA ANTERIOR
El auge de la tecnología ha promovido la aparición de numerosos dispositivos de realidad virtual y aplicaciones de realidad aumentada que se adaptan a otros dispositivos para ejercer la función de herramientas de visualización de realidades alternativas en las que la captación de la información que recibirá el usuario se configura a voluntad del creador.
El objeto de la presente invención tendrá por tanto varios campos diferenciados de antecedentes, de los que se nutre para generar la innovación, de un lado la realidad virtual, del otro la realidad aumentada.
Lo que se expone a continuación es una síntesis del estado de la técnica conocido por el titular de los dos campos mencionados, de forma que sirva para marcar el punto de partida para la posterior defensa de la innovación inherente en el objeto de invención. En cuanto a la realidad virtual, el dispositivo utiliza como base unas gafas de realidad virtual, producto del que ya existen diferentes versiones de varias compañías en el mercado: - Oculus Rift (Patente US D701.206 S). Gafas de realidad virtual (Head-mounted display, HMD) envolvente que otorgan visión tridimensional estereoscópica, consistente en una pantalla que muestra imágenes estereoscópicas virtuales en paralelo para cada ojo asociadas a un sistema que reconoce los movimientos de la cabeza para mostrar imágenes en concordancia con el punto de vista asociado al usuario. Este dispositivo otorga un campo de visión de más de 90° por cada ojo.
- ANT VR. Gafas de realidad virtual (HMD) envolvente de funcionamiento muy similar a las Oculus Rift, con la inclusión de sistemas para la conexión inalámbrica y la incorporación de diferentes mandos para interactuar enfocado en su origen directamente al mundo del videojuego.
Project Morpheus. Gafas de realidad virtual (HMD) en desarrollo por Sony Computer Entertainment diseñado para su funcionamiento junto con el dispositivo de entretenimiento Sony Playstation 4.
Todos estos dispositivos incorporan de fábrica una pantalla que proyecta las imágenes de forma estereoscópica y es capaz de generar la sensación de profundidad en la visualización de los elementos virtuales.
Otra vertiente de gafas de realidad virtual se da en los modelos que funcionan como visores adaptadores de dispositivos gráficos móviles, consistentes en aparatos dependientes de la incorporación de un dispositivo móvil (generalmente un Smartphone) que ejercerá la función de pantalla del sistema. En la actualidad se tiene constancia entre otros de los siguientes: - Samsung Gear VR. Visor adaptador de dispositivos gráficos móviles para visión virtual estereoscópica, entendido como accesorio de un Smartphone concreto, Samsung Galaxy Note 4, que permite transformarlo en la pantalla de unas gafas de realidad virtual confiriendo propiedades muy similares a las del dispositivo Oculus Rift.
Google Cardboard. Accesorio de cartón que permite acoplar un Smartphone y mediante una aplicación software convertirlo en un visor de realidad virtual. Cualquier Smartphone que soporte la aplicación es susceptible de instalarse en este accesorio para convertirse en una herramienta de realidad virtual.
Otros dispositivos con un funcionamiento similar a Google Cardboard basados en el uso de diversos móviles para realidad virtual, tales como Lakento MVR,
Immersion VRelia, Durovis Dive, vrAse, 360specs.
Todos estos visores, necesitan de un Smartphone (con un software de realidad virtual instalado) que funcione como pantalla.
La invención, como se explicará en el apartado correspondiente, preconiza la posibilidad de transformación de estos sistemas de realidad virtual en herramientas de realidad aumentada, incorporando un dispositivo totalmente nuevo y por tanto supone una sustancial mejora en el estado de la técnica actual.
En el campo de la realidad aumentada, debemos separar entre dispositivos que por medio de herramientas de software adquieren capacidades para utilizarse como una herramienta de realidad aumentada sin haber sido esta la finalidad de su creación y aparatos diseñados y fabricados directamente como dispositivos de realidad aumentada.
En el primer grupo se ubicarían los Smartphones o Tablets con capacidad suficiente para ejecutar aplicaciones de software que permiten utilizar la cámara incorporada por defecto para registrar imágenes del mundo real y mediante algoritmos de procesado basados en la identificación de marcas con un diseño especial o de la identificación automática de puntos visualmente característicos del entorno mostrar en la pantalla esas imágenes con objetos virtuales posicionados en el mundo real que se ven de manera similar a como se verían si realmente estuvieran allí, transformándolos así en dispositivos de realidad aumentada. Todos estos dispositivos adquieren funciones de realidad aumentada en el momento que se ejecuta un determinado software mientras que el resto del tiempo tienen funcionalidades diferentes.
En el segundo grupo se encuentran diseños de gafas de realidad aumentada que funcionan mediante tecnología de visualización semitransparente, en la que las gafas no ocluyen la visión del entorno por parte del usuario, sino que la complementan proyectando sobre ella mediante distintas tecnologías imágenes virtuales de manera similar a la realidad aumentada para dispositivos móviles. Entre estos dispositivos se encuentran: Google Glass. Dispositivo de visualizacion tipo gafas de realidad aumentada basada en una tecnología que proyecta imágenes a través de un prisma sobre la retina, creando imágenes en el ojo del portador que se combinan con las imágenes que percibe del mundo real. Dispone de control por voz y un touchpad para su control y además, incorporan gran parte de las funcionalidades de un
Smartphone. Sólo proyecta imágenes para uno de los ojos, siendo su campo de visión de 14° monoculares.
Jet de Recon Instruments. Dispositivo de visualizacion tipo gafas de realidad aumentada semitransparente que dispone de una pequeña pantalla de alta resolución que muestra al portador la información. Orientadas al deporte, sólo se visualizan contenidos virtuales por un ojo.
Vuzix M100. Dispositivo de visualizacion tipo monóculo de realidad aumentada semitransparente que presenta una pantalla HD que ocupa 15° del campo de visión monocular y es capaz de transmitir información en tiempo real, además de grabar videos en HD. No incorpora cristales ni montura que le otorguen la calificación de gafa.
Telepathy One. Dispositivo de visualizacion tipo monóculo de realidad aumentada semitransparente con una pequeña pantalla HD que muestra en tiempo real imágenes remotas, e incorpora una cámara capaz de retransmitir por grabación en HD en directo. No incorpora cristales ni montura que le otorguen la calificación de gafa.
Lumus. Dispositivo de visualizacion tipo gafas de realidad aumentada semitransparente con visión estereoscópica que proyecta imágenes en los cristales.
META AR. Dispositivo de visualizacion tipo gafas de realidad aumentada semitransparente con visión estereoscópica que puede llegar a un campo de visión de 35°.
Microsoft Hololens. Dispositivo en desarrollo de visualizacion tipo gafas de realidad aumentada semitransparente que consta igualmente de un panel transparente que no cierra la visión del usuario y proyecta sobre el mismo elementos virtuales. Todos estos dispositivos presentan una importante diferencia con el objeto de invención, y es que se basan en la tecnología semitransparente explicada anteriormente, a diferencia del objeto de invención que transforma completamente la visión del usuario a la proyectada en las gafas de realidad virtual. La tecnología de realidad aumentada basada en gafas de visión semitransparente tiene el inconveniente de que sólo es capaz de proyectar imágenes de reducida dimensión y ángulo de visión, no pudiendo entrar en el denominado concepto de realidad aumentada envolvente. A su vez, debido a las latencias inherentes al proceso de localización de la cámara y generación de elementos virtuales, los elementos virtuales añadidos al entorno suelen tener un desfase en su posición que no ocurre en los dispositivos de realidad aumentada basados en cámaras. Esta vía de funcionamiento es totalmente diferente a la diseñada para el objeto de invención, como se explica en el apartado siguiente.
DIVULGACIÓN DE LA INVENCIÓN
La presente invención consiste en un dispositivo diseñado para transformar unas gafas de realidad virtual (HMD) envolvente en un sistema de realidad aumentada: un visor que permite la visualización de cualquier objeto virtual integrado en el espacio real donde se encuentre el usuario. El dispositivo captura el entorno en tiempo real, posiciona en su caso objetos virtuales dispuestos de manera integrada en el entorno y lo muestra en unas gafas de realidad aumentada (HMD) de manera que el usuario del sistema tiene la sensación de visualizar su entorno de manera natural y acorde a los movimientos de su cabeza y ojos con elementos virtuales añadidos. De este modo, se entiende por parte del titular que esta herramienta será de aplicación en áreas relacionadas con el diseño y la arquitectura, el entretenimiento, la formación, la educación, la cultura, el patrimonio, la publicidad y multitud de campos susceptibles de aprovechar la tecnología generada. La invención consiste en la unión de varios elementos para la creación de un sistema de realidad aumentada con un gran campo de visión (superior a 90°) para conseguir un efecto de visualización natural y envolvente. El sistema consiste en:
Un dispositivo dotado de dos cámaras para la captura en tiempo real del entorno conectado a un dispositivo de procesamiento (CPU), con un sistema de acople a unas gafas de realidad virtual. El dispositivo consta de una carcasa en cuyo interior se encuentran dos sensores de video con lentes dotadas de un gran ángulo de captura expuestas al exterior mediante agujeros en la carcasa. Los sensores están separados a una distancia semejante a la del ojo humano para capturar una imagen estereoscópica del entorno similar a la visualizada por el sistema ocular humano.
Los sensores están conectados a una unidad central de procesamiento (CPU) a través de sendas conexiones de alta velocidad que transmiten el flujo de video capturado por los sensores en tiempo real.
Un dispositivo de procesamiento conectado por un lado a los sensores de video y por otro a unas gafas de realidad virtual (HMD) capaz de ejecutar un software que procesa en tiempo real el flujo de video añadiendo elementos virtuales al flujo de video del entorno y enviando este flujo de video procesado a un dispositivo de realidad virtual.
Un software capaz de procesar el flujo de entrada en paralelo de dos cámaras de alta definición, reconocer marcas especialmente diseñadas para ser reconocidas o puntos especiales en la imagen para lograr un posicionamiento preciso de las cámaras en el entorno, añadir elementos virtuales en posiciones concretas de este entorno simulando que realmente existen y enviar el nuevo flujo de video procesado a las gafas de realidad virtual con la menor latencia posible. El software procesa la imagen de video capturada por los sensores buscando:
O bien marcadores diseñados especialmente para este objetivo (marker- based augmented reality) que constan de un diseño geométrico específico y pueden ser identificados unívocamente mediante un código de barras matricial.
O bien puntos visualmente característicos del entorno que han sido identificados previamente de manera automática mediante un análisis previo del entorno (markerless augmented reality).
Estos puntos o marcadores son utilizados como referencias por el software para identificar la posición precisa de las cámaras respecto a ellos. Esto permite la creación de elementos virtuales en tres dimensiones y su correcta superposición en la imagen de las cámaras obteniendo el efecto de tener una imagen tal y como se captaría si estos elementos existiesen en el mundo real. Al crearse una pareja de imágenes en cada momento, una para cada ojo, se dispone de una visualización estereoscópica del entorno y de los elementos virtuales que permite percibir también su profundidad mediante el efecto de paralaje óptico.
Unas gafas de realidad virtual (HMD) con un gran campo de visión que muestran la imagen estereoscópica (una distinta para cada ojo) con las imágenes reales y virtuales entremezcladas, permitiendo al usuario una visualización aumentada con percepción de profundidad de su entorno.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
Figura 1.- Perspectiva del conjunto de las gafas de realidad virtual y el dispositivo objeto de invención.
Figura 2.- Vista frontal del dispositivo objeto de invención.
Figura 3.- Sección del dispositivo objeto de invención. Figura 4.- Vista en planta del dispositivo objeto de invención.
Figura 5.- Axonometría explosionada frontal del despiece de los componentes del dispositivo objeto de invención. Figura 6.- Axonometría explosionada trasera del despiece de los componentes del dispositivo objeto de invención.
Figura 7.- Vista frontal del sistema de acople A.
Figura 8.- Sección del sistema de acople A. Figura 9.- Vista frontal del sistema de acople B. Figura 10.- Sección del sistema de acople B. Figura 1 1.- Vista frontal del sistema de acople C. Figura 12.- Sección del sistema de acople C.
Figura 13.- Esquema de funcionamiento y transmisión de datos entre el dispositivo base (gafas de realidad virtual), el dispositivo objeto de invención (adaptador de gafas de realidad virtual a gafas de realidad aumentada) y CPU (unidad de procesado central)
MEJOR MANERA DE REALIZAR LA INVENCIÓN Conforme a las figuras referidas, se ilustra a continuación el dispositivo que se acopla a las gafas de realidad virtual (HMD) (1) para la captura del entorno en tiempo real, así como el esquema general de la integración del sistema.
El dispositivo (2) consta de una carcasa de plástico dividida en dos partes (3, 4) unidas mediante varios tornillos (11). La parte frontal de la carcasa (4) consta de dos agujeros (10) para permitir la exposición al exterior de las lentes (8) de sendas cámaras situadas en el interior. En la parte interna de la pieza trasera de la carcasa (3) se disponen varios soportes (6) con insertos de rosca que sirven para soportar mediante tornillos (12) dos placas electrónicas con sensores de imagen (7) capaces de adquirir y transmitir en tiempo real un flujo de video. Los sensores se disponen paralelamente en el interior de la carcasa a una distancia semejante a la de la separación media de los ojos en los humanos para obtener una visión estéreo del entorno.
Los datos de los sensores son enviados al procesador a través de una conexión (5) por cables USB o Gige (Ethernet) de alta velocidad con los conectores (9) en el interior de la carcasa. Los cables están unidos al procesador (CPU) a través de un conector USB o Gige (Ethernet) de alta velocidad. Por encima de cada uno de los dos sensores se adapta una lente (8) de corta distancia focal y por tanto gran campo de visión para la formación correcta de las imágenes en el sensor (7) y la captación del entorno. Los agujeros de la pieza exterior (10) de la carcasa permiten el paso de la luz a través de las lentes. El acople del dispositivo a las gafas de realidad virtual tiene como propósito la captura de la imagen del entorno alineada en todo momento a la posición de los ojos del usuario, lo que adapta la visualización del entorno a la posición de la cabeza y los ojos del usuario. Existen tres diseños del sistema de acople utilizados dependiendo del dispositivo virtual usado para la visualización:
Sistema de acople A: Un sistema de acople que consiste en una placa (13) que se atornilla (16) a unos insertos de rosca (35) en la parte trasera de la carcasa (3) y dispone de dos tornillos (14) a los lados, similares a bridas de marquetería, sobre el extremo superior de la placa (36). El extremo inferior de la placa (37) se apoya sobre la parte inferior de las gafas de realidad virtual. De esta manera, al ejercer presión sobre las paredes superiores e inferiores del dispositivo de realidad virtual (1) la carcasa con las cámaras (2) queda sujeta a él. Los topes de los tornillos (14) que ejercen presión sobre las gafas de realidad virtual están insertados en una barra plana (15) con cierres a los lados que recorre la parte superior del dispositivo de realidad virtual de manera que la presión sobre las gafas se distribuye sobre un área más grande. El dispositivo puede acoplarse también de manera inversa respecto a la horizontal, es decir con los tornillos (14) en la parte inferior del dispositivo de realidad virtual (1).
Sistema de acople B: Un sistema de acople que consiste en una placa (17) que se atornilla (21) a unos insertos de rosca (35) en la parte trasera de la carcasa (3) y dispone de dos pinzas en forma de C (18) a los lados de la misma con sus respectivos extremos (19, 20) dispuestos perpendicularmente a esta placa y unidos por varillas (25, 26) para sujetar el dispositivo ejerciendo presión sobre la parte superior e inferior del dispositivo de realidad virtual. Las pinzas se componen internamente de un muelle (23) unido por un lado a la parte inferior de un tubo hueco (22) y por otro a la parte inferior de un pistón (24) que termina en un brazo (19) orientado perpendicularmente al tubo (22). Los extremos de esta pinza ejercen presión sobre las gafas de realidad virtual para que la carcasa con las cámaras (2) quede sujeta a él. El dispositivo puede acoplarse también de manera inversa respecto a la horizontal.
Sistema de acople C: Un sistema de acople que consiste en una placa (27) que se atornilla (30) a unos insertos de rosca (35) en la parte trasera de la carcasa (3) y con una forma específica diseñada para un tipo concreto de gafas de realidad virtual (Oculus Rift DK2) que consta de unos enganches de plástico (28) que se acoplan perfectamente a ranuras existentes (29) en el diseño del dispositivo.
Los dos conectores de los sensores, uno de cada cámara, se conectan (31) a una unidad de procesamiento (CPU) (34) a la que transmiten el flujo de video de entrada. La unidad de procesamiento (CPU) contiene el software de procesamiento capaz de calcular la posición de las cámaras y de generar la imagen compuesta real/virtual. Esta unidad de procesamiento (CPU) está conectada a su vez como mínimo mediante una conexión de salida de video (32) (como HDMI) a las gafas, y opcionalmente mediante una conexión de datos adicional (33) (como USB) para recibir datos tales como información de sensores giroscópicos o inerciales que el software de procesamiento puede utilizar para los cálculos que lleva a cabo.
APLICACIÓN INDUSTRIAL
La presente invención tiene aplicaciones en los sectores de la visualización de diseños, tales como mobiliario, diseño de interiores, diseño arquitectónico, diseño industrial, configuradores virtuales de coches, barcos u otros elementos o visualización de planificación de líneas de producción industriales, en la creación de montajes digitales interactivos para marketing, eventos, cultura o divulgación del patrimonio, y en el ocio, sin detrimento de otros campos de aplicación basados en la realidad aumentada.

Claims

REIVINDICACIONES
SISTEMA DE ADAPTACIÓN DE GAFAS DE REALIDAD VIRTUAL PARA VISUALIZACIÓN DE REALIDAD AUMENTADA ESTEREOSCÓPICA ENVOLVENTE
compuesto de un dispositivo de captación del entorno conectado a una unidad de proceso central y acoplado a unas gafas de realidad virtual también conectadas a la unidad de proceso central que contiene un software capaz de procesar el flujo de video estereoscópico de captación del entorno y generar un flujo de video hacia las gafas con elementos virtuales añadidos caracterizado por un dispositivo (2) que consta de una carcasa que se acopla a unas gafas de realidad virtual (1) en la cual se integran dos cámaras de video (7) posicionadas de manera paralela con una separación entre ellas similar a la del ojo humano que permite una percepción con un gran ángulo de visión del entorno en tiempo real y están conectadas mediante sendas conexiones (5) a una unidad de proceso central (CPU) a la que transmite un flujo de video estereoscópico que es procesado en esta unidad por un software que mediante la identificación de marcas especialmente diseñadas para su reconocimiento o de la identificación de puntos visualmente significativos en la imagen recibida determina la posición del dispositivo en el entorno y es capaz de integrar elementos virtuales en las imágenes tal y como aparecerían si la imagen fuera tomada con esos elementos en la realidad y que transmite este flujo de video estereoscópico aumentado a unas gafas de realidad virtual (HMD), para proporcionar una visualización natural del entorno con los elementos virtuales insertados acorde al movimiento de la cabeza y del ojo del usuario.
SISTEMA DE ADAPTACIÓN DE GAFAS DE REALIDAD VIRTUAL PARA VISUALIZACIÓN DE REALIDAD AUMENTADA ESTEREOSCÓPICA ENVOLVENTE
según la reivindicación 1 caracterizado porque el dispositivo de captación del entorno está acoplado a las gafas de realidad virtual mediante una placa (13) que se atornilla (16) a unos insertos de rosca (35) en la parte trasera de la carcasa (3) y dispone de dos tornillos sobre el extremo superior de la placa (36) para ejercer presión sobre las gafas de realidad virtual, y cuyo extremo inferior (37) se apoya sobre la parte inferior de las gafas de realidad virtual para de esta manera anclarse a las mismas.
SISTEMA DE ADAPTACIÓN DE GAFAS DE REALIDAD VIRTUAL PARA VISUALIZACIÓN DE REALIDAD AUMENTADA ESTEREOSCÓPICA ENVOLVENTE
según la reivindicación 1 caracterizado porque el dispositivo de captación del entorno está acoplado a las gafas de realidad virtual mediante una placa (17) que se atornilla (21) a unos insertos de rosca (35) en la parte trasera de la carcasa (3) y consta de dos pinzas en C a los lados (18) para sujetarse mediante la presión ejercida sobre la parte superior e inferior del dispositivo de realidad virtual.
SISTEMA DE ADAPTACIÓN DE GAFAS DE REALIDAD VIRTUAL PARA VISUALIZACIÓN DE REALIDAD AUMENTADA ESTEREOSCÓPICA ENVOLVENTE
según la reivindicación 1 caracterizado porque el dispositivo de captación del entorno está acoplado a unas gafas de realidad virtual concretas (Oculus Rift DK2) mediante una placa (27) que se atornilla (30) a unos insertos de rosca (35) en la parte trasera de la carcasa (3) con una forma específica que consta de unos enganches de plástico (28) que se acoplan perfectamente a 4 ranuras (29) existentes en el diseño del dispositivo de realidad virtual.
PCT/ES2016/070041 2015-01-28 2016-01-25 Sistema de adaptación de gafas de realidad virtual para visualización de realidad aumentada estereoscópica envolvente WO2016120510A1 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ESU201530093 2015-01-28
ES201530093U ES1136432Y (es) 2015-01-28 2015-01-28 Sistema de adaptacion de gafas de realidad virtual para visualizacion de realidad aumentada estereoscopica envolvente

Publications (1)

Publication Number Publication Date
WO2016120510A1 true WO2016120510A1 (es) 2016-08-04

Family

ID=52469488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2016/070041 WO2016120510A1 (es) 2015-01-28 2016-01-25 Sistema de adaptación de gafas de realidad virtual para visualización de realidad aumentada estereoscópica envolvente

Country Status (2)

Country Link
ES (1) ES1136432Y (es)
WO (1) WO2016120510A1 (es)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105929538A (zh) * 2016-04-26 2016-09-07 乐视控股（北京）有限公司 一种虚拟现实设备的显示方法及装置
US20160360189A1 (en) * 2015-06-03 2016-12-08 Stanley Shao-Ying Lee Three-dimensional (3d) viewing device and system thereof
CN109597596A (zh) * 2018-11-02 2019-04-09 北京盈迪曼德科技有限公司 相机透视方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105717642B (zh) * 2016-04-01 2018-02-16 浙江凡聚科技有限公司 便携式虚拟现实眼镜

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2376397A (en) * 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
US20080266386A1 (en) * 2007-04-25 2008-10-30 Canon Kabushiki Kaisha System
US20120327196A1 (en) * 2010-05-24 2012-12-27 Sony Computer Entertainment Inc. Image Processing Apparatus, Image Processing Method, and Image Communication System
US20140098186A1 (en) * 2011-05-27 2014-04-10 Ron Igra System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2376397A (en) * 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
US20080266386A1 (en) * 2007-04-25 2008-10-30 Canon Kabushiki Kaisha System
US20120327196A1 (en) * 2010-05-24 2012-12-27 Sony Computer Entertainment Inc. Image Processing Apparatus, Image Processing Method, and Image Communication System
US20140098186A1 (en) * 2011-05-27 2014-04-10 Ron Igra System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160360189A1 (en) * 2015-06-03 2016-12-08 Stanley Shao-Ying Lee Three-dimensional (3d) viewing device and system thereof
US10349045B2 (en) * 2015-06-03 2019-07-09 Stanley Shao-Ying Lee Three-dimensional (3D) viewing device and system thereof
CN105929538A (zh) * 2016-04-26 2016-09-07 乐视控股（北京）有限公司 一种虚拟现实设备的显示方法及装置
CN109597596A (zh) * 2018-11-02 2019-04-09 北京盈迪曼德科技有限公司 相机透视方法及装置
CN109597596B (zh) * 2018-11-02 2022-03-18 北京盈迪曼德科技有限公司 相机透视方法及装置

Also Published As

Publication number Publication date
ES1136432U (es) 2015-02-19
ES1136432Y (es) 2015-05-11

Similar Documents

Publication Publication Date Title
ES2395147T3 (es) Dispositivo de presentación visual para la visualización estereoscópica
KR102417177B1 (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
WO2016091030A1 (zh) 透过式增强现实近眼显示器
US11178380B2 (en) Converting a monocular camera into a binocular stereo camera
JP5483761B2 (ja) 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
WO2017131970A1 (en) Methods and systems for navigation within virtual reality space using head mounted display
WO2016120510A1 (es) Sistema de adaptación de gafas de realidad virtual para visualización de realidad aumentada estereoscópica envolvente
US8780178B2 (en) Device and method for displaying three-dimensional images using head tracking
Kot et al. Utilization of the Oculus Rift HMD in mobile robot teleoperation
EP4236310A3 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
TWM512138U (zh) 垂直投射式近眼顯示模組
JP2005312605A (ja) 注視点位置表示装置
US20210058611A1 (en) Multiviewing virtual reality user interface
CN104216126A (zh) 一种变焦3d显示技术
WO2020189450A1 (ja) 複数のマーカを備えたデバイス
US10796485B2 (en) Rendering objects in virtual views
CN106556928A (zh) 一种头戴式视频透视显示装置
US11128836B2 (en) Multi-camera display
US20140285484A1 (en) System of providing stereoscopic image to multiple users and method thereof
CN205160636U (zh) 成像装置
WO2016083642A1 (es) Método de reproducción de imágenes con apariencia tridimensional
JP6613099B2 (ja) 仮想現実空間を立体的に表示するためのプログラム、コンピュータ及びヘッドマウントディスプレイシステム
KR20200120282A (ko) 깊이 카메라와 입체영상 디스플레이 장치를 이용한 라이트 필드 디스플레이 시스템 및 방법
KR101067965B1 (ko) 입체 영상 시스템
JP2014045392A (ja) 立体映像受像機

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16742827

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16742827

Country of ref document: EP

Kind code of ref document: A1