WO2011101518A1 - Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, y procedimiento de operación de dicho dispositivo - Google Patents
Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, y procedimiento de operación de dicho dispositivo Download PDFInfo
- Publication number
- WO2011101518A1 WO2011101518A1 PCT/ES2011/070081 ES2011070081W WO2011101518A1 WO 2011101518 A1 WO2011101518 A1 WO 2011101518A1 ES 2011070081 W ES2011070081 W ES 2011070081W WO 2011101518 A1 WO2011101518 A1 WO 2011101518A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- images
- user
- detection
- operation procedure
- projected
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/132—Overhead projectors, i.e. capable of projecting hand-writing or drawing during action
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Definitions
- the present invention belongs to the field of artificial intelligence, and more specifically to multi-touch applications for the treatment of data and images by human touch.
- the main object of the present invention is a multi-touch device, or "multi-touch", which uses the projection of images and data on flat surfaces, so that the user can interact with said surface.
- Another object of the invention is also the operation procedure of said device.
- a second group referring to computer vision techniques or "computer vision”, in which through a camera Color or infrared is possible to recognize various objects projected on a surface; using the so-called “Augmented Reality” (AR) to, by tracking the fingers, inspect and modify the position and orientation of virtual objects, and thereby be able to show, examine and manipulate the information.
- AR Augmented Reality
- Such devices known today are only capable of recognizing basic objects, such as sheets of paper, marks or geometric figures, etc. In addition, they present a lack of description in how to solve possible errors generated by shadows or by undefined elements that interact.
- the aforementioned drawbacks are solved by providing a multi-touch device based on the projection of images and data on a surface, without limitation of extension, length, location of destination or physical characteristics thereof, of so that a user can interact tactically with said surface, favoring the use and manipulation of projected objects (virtual objects), as well as real objects located on the surface.
- another object of the invention is the operation procedure of said device, through which, by means of a computer processing of such data and images, a user is allowed to execute all kinds of applications (Internet access, video viewing , photos, music playback, etc.).
- the multi-touch device object of the invention stands out fundamentally for presenting a clear differentiation between “working means” and “functional means”, which allows the device to have great functionality and applicability, favoring greater portability, handling and transport of the same with respect to previously existing devices.
- the working medium comprises a surface, preferably flat and rigid, without limitation of dimensions, type or composition thereof, on which images or data with which a user interacts tactilely are projected.
- Said surface may be of any material, be it wood, plastic, metal, marble, etc.
- the functional means mainly comprise a projector adapted for the projection of data and images on the above-mentioned surface, and at least one camera that captures the user's interaction with said surface.
- said camera is also able to detect the presence of real physical objects located on the work surface.
- the multi-touch device object of the invention further comprises lighting means, adapted to provide sharpness and clarity on the work surface, so that the camera clearly recognizes if the user is interacting with said surface or not.
- lighting means adapted to provide sharpness and clarity on the work surface, so that the camera clearly recognizes if the user is interacting with said surface or not.
- - segmentation of the skin color in which at least one camera is able to identify the contour of the user's hand, locate the tip of their fingers and detect the existence or not of contact between user and work surface,
- UDP User Datagram Protocol
- CPU Central Processing Unit
- Figure 1. Shows a general view of the multi-touch device object of the invention where a user is seen interacting and visualizing images projected on a surface.
- Figure 2. Shows a perspective view of the interior of the multi-touch device object of the invention, where its different component elements are appreciated.
- Figure 3. Shows an exploded view of the multi-touch device by projection of images and data on surfaces, object of the invention.
- Figure 4.- Shows a flow chart of the operation procedure of the multi-touch device object of the invention.
- Figure 1 shows a user (20) interacting and displaying images (1 1) projected on a flat surface (10), using the multi-touch device object of the invention, which understands:
- a projector (1) shown in Figure 2, adapted to project images (1 1) and data on a flat surface (10) arranged below, on which a user (20) interacts tactilely, - two cameras ( 2) arranged under the projector (1) and separated from each other a certain distance, which are oriented at a certain angle, being adapted to capture the movements and gestures of the user (20) on the images (11) projected on the surface (10),
- a box (4) inside which the projector (1), the cameras (2) and the shutter (3) are located, providing support and protection, and - a frame (5), intended to be fixed to a wall or similar , which holds and maintains the box (4), and which presents vertical guides (6) for the displacement and height adjustment of said box (4), as well as horizontal guides (7) for the displacement of the chambers (2) ) allowing their distance or approach to each other.
- the multi-touch device object of the invention additionally comprises fans (8) and holes connected to the box (4), which are adapted for optimum cooling of the projector (1 ), thus preventing its heating.
- the device described herein additionally has lighting means (9), represented in Figures 1 and 3, adapted to avoid any type of shadow or variations of light that may arise during user interaction ( twenty) with the images (1 1) projected on the surface (10), thus eliminating possible errors produced in the collection of information by the cameras (2).
- This also entails a lower cost of software development, which is considerably simplified.
- the capture made by the cameras (2) must be independent of what was emitted by the projector (1), so that it is possible to make the set of images (1 1) projected independent of what was captured by the cameras (2) . It is necessary that the two cameras (2) be mutually synchronized in such a way that the image capture action (1 1) performed by both cameras (2) occurs at the same instant of time. This is where the shutter (3) and a synchronization circuit come into action. The objective of these two elements is to make the moment of capture of the cameras (2) coincide exactly with the point at which the shutter (3) completely occludes the focus of the projector (1).
- said shutter (3) supports different technical solutions, such as an optical shutter with LCD panels, a mechanical shutter, an electronic shutter that operates at the video signal level, or any other technical solution that allows the Image capture and projection process.
- FIG 4 a block diagram is shown in which the operation procedure of the multi-touch device described above is detailed, after the projection of images (1 1) by the projector (1) and the capture of information from the cameras (2).
- the phases of this procedure are carried out in parallel and aim to recognize, monitor and establish the interaction between objects located on the work surface (10) and the application final.
- These phases are: a) skin color segmentation (100), in which at least one camera (2) is able to identify the contour of the user's hand (20), locate the tip of their fingers and detect the existence or not of contact between user (20) and work surface (10),
- phase d) "folios" detection (300), in which the camera (2) detects all types of rectangular images (1 1) and textured and non-textured flat objects projected on the work surface (10).
- textured flat objects used in the paragraph of phase c) refers to those flat objects with a multitude of shapes, colors and curvatures, presenting complex paths and contours. Therefore, a flat object "not textured” is one whose layout is simple, presenting few curvatures and details, in just one or two colors.
- phase a) of skin color segmentation (100) is performed by the following sequence: e) an image segmentation (11) is established by skin color, f) contours are found and discretized for the consequent discarding of inconsistent contours with respect to area,
- the fingertips are located as the points that have a local maximum in the curvature and also meet certain parameters of the distance transformation.
- the particular case of the detection of folios (300), rectangular images (3) and flat objects "not textured" needs in a first step the detection of the contours of the objects that are placed on the working environment .
- the geometry and area of these contours are studied and it is determined which geometric shape best corresponds to the contours of the objects.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Basado en la proyección de imágenes (11) y datos sobre una superficie (10) cualquiera, sin limitación de dimensiones, ubicación de destino o características físicas de la misma, permite a un usuario (20) interactuar de manera táctil con una superficie (10) de trabajo, favoreciendo el uso y manipulación de los objetos proyectados (objetos virtuales), así como de objetos reales situados sobre la superficie (10), haciendo posible la ejecución de todo tipo de aplicaciones (acceso a Internet, visualización de vídeos, fotos, reproducción de música, etc.).
Description
DISPOSITIVO DE MÚLTIPLE TACTO POR PROYECCIÓN DE IMÁGENES Y DATOS SOBRE SUPERFICIES, Y PROCEDIMIENTO DE
OPERACIÓN DE DICHO DISPOSITIVO D E S C R I P C I Ó N
OBJETO DE LA INVENCIÓN La presente invención pertenece al campo de la inteligencia artificial, y más concretamente a aplicaciones de múltiple tacto (multi-touch) para el tratamiento de datos e imágenes por el tacto humano.
El objeto principal de la presente invención es un dispositivo de múltiple tacto, o "multi-touch", que emplea la proyección de imágenes y datos sobre superficies planas, de modo que el usuario puede interactuar con dicha superficie. Asimismo otro objeto de la invención lo constituye el procedimiento de operación de dicho dispositivo. ANTECEDENTES DE LA INVENCIÓN
Actualmente, las técnicas de interactuación y comunicación hombre-máquina están evolucionando básicamente en dos grupos:
- un primer grupo relativo a dispositivos electrónicos de pantalla táctil o "touchscreen", (p.ej. computadoras de mano como un PDA o
Asistente Digital Personal, las tabletas digitalizadoras multi-touch, teléfonos móviles), los cuales interactúan con lápices o con los dedos de la mano del usuario, y
- un segundo grupo, referente a las técnicas de visión por ordenadores o "computer visión", en el que a través de una cámara de
color o infrarroja es posible el reconocimiento de diversos objetos proyectados sobre una superficie; haciendo uso de la denominada "Realidad Aumentada" (AR) para, por medio del seguimiento de los dedos, inspeccionar y modificar la posición y orientación de los objetos virtuales, y con ello poder mostrar, examinar y manipular la información. En todos estos desarrollos, se permite al usuario interactuar con la superficie de forma espontánea y sin accesorios artificiales.
A nivel científico, destacan los trabajos de ANDREW D.WILSON, expuesto en UIST'05: "Proceedings of the 18th anual ACM symposium on user interíace software and technology", páginas.83-92. Editado por ACM. Nueva York (2005), donde a través de la utilización de una cámara infrarroja se consigue discernir si el usuario está tocando o no físicamente la superficie proyectada, lo que supone la base de la interactuación por proyección.
El problema técnico que aquí se plantea es que los dispositivos multi-touch existentes actualmente en el mercado están limitados a las dimensiones y características propias de los medios donde se incorporan, lo cual limita su funcionalidad y portabilidad. Por ejemplo, una mesa o "table-top" con sistema multi-touch presenta un tamaño condicionado al diseño y destino de la misma, como igual sucede con las pantallas táctiles de ordenadores. Además, el hecho de que la interactuación se produzca sobre una superficie física que sirve a la vez de medio de trabajo y de medio funcional, hace mucho mayor el riesgo de roturas o averías por desgaste.
Dichos dispositivos conocidos en la actualidad, únicamente son capaces de reconocer objetos básicos, tales como hojas de papel, marcas o figuras geométricas, etc. Además, presentan una falta de descripción en
la manera de resolver posibles errores generados por sombras o por indefinición de los elementos que interactúan.
DESCRIPCIÓN DE LA INVENCIÓN Mediante la presente invención se resuelven los inconvenientes anteriormente citados proporcionando un dispositivo de múltiple tacto basado en la proyección de imágenes y datos sobre una superficie, sin limitación de extensión, longitud, ubicación de destino o características físicas de la misma, de modo que un usuario puede interactuar de manera táctil con dicha superficie, favoreciendo el uso y manipulación de los objetos proyectados (objetos virtuales), así como de objetos reales situados sobre la superficie. Asimismo, otro objeto de la invención lo constituye el procedimiento de operación de dicho dispositivo, a través del cual, mediante un tratamiento de computación de tales datos e imágenes se posibilita a un usuario ejecutar todo tipo de aplicaciones (acceso a Internet, visualización de vídeos, fotos, reproducción de música, etc.).
El dispositivo de múltiple tacto objeto de invención, destaca fundamentalmente por presentar una clara diferenciación entre "medio de trabajo" y "medios funcionales", lo cual permite dotar al dispositivo de una gran funcionalidad y aplicabilidad, favoreciendo una mayor portabilidad, manejo y transporte del mismo con respecto a los dispositivos existentes anteriormente. El medio de trabajo comprende una superficie, preferentemente plana y rígida, sin limitación de dimensiones, tipo o composición de la misma, sobre la cual son proyectadas imágenes o datos con los cuales un usuario interactúa de manera táctil. Dicha superficie puede ser de cualquier material, ya sea madera, plástico, metal, mármol, etc. Por su parte, los medios funcionales comprenden principalmente un proyector
adaptado para la proyección de datos e imágenes sobre la superficie arriba citada, y al menos una cámara que capta la interacción del usuario con dicha superficie.
Además, dicha cámara es capaz de detectar también la presencia de objetos físicos reales situados sobre la superficie de trabajo. Preferentemente se dispone de dos cámaras, las cuales actúan de forma sincronizada en la captura de información procedente de la interactuación entre usuario y superficie de trabajo. Estas cámaras son las encargadas de recibir e interpretar correctamente los movimientos y gestos realizados por el usuario sobre las imágenes y datos proyectados en la superficie de trabajo.
De acuerdo con una realización preferente de la invención el dispositivo de múltiple tacto objeto de invención comprende adicionalmente unos medios de iluminación, adaptados para proporcionar nitidez y claridad sobre la superficie de trabajo, de manera que la cámara reconozca claramente si el usuario está interactuando con dicha superficie o no. De acuerdo con otro objeto de la invención, se describe a continuación el procedimiento de operación del dispositivo arriba descrito, comprendiendo dicho procedimiento las siguientes fases:
- segmentación del color de piel, en la cual al menos una cámara es capaz de identificar el contorno de la mano del usuario, localizar la punta de sus dedos y detectar la existencia o no de contacto entre usuario y superficie de trabajo,
- detección de marcas matriciales, mediante la cual la cámara realiza una calibración y enfoque adecuados para una correcta captación de la información procedente de la interactuación usuario-superficie,
- detección de "folios", en la cual la cámara detecta todo tipo de
imágenes rectangulares planas proyectadas en la superficie de trabajo, y
- envío de datos mediante protocolo UDP (User Datagram Protocol) a una CPU (Central Processing Unit) donde se aloja la aplicación de alto nivel que explota y procesa la información recibida.
Asimismo se ha previsto la disposición de una CPU externa conectada al dispositivo de múltiple tacto objeto de invención, ya sea por cable o de forma inalámbrica.
Es importante señalar que al encontrarse separados tanto el medio de trabajo (superficie sobre la que se interactúa), como los medios funcionales (proyección-captación de información) se minimiza el desgaste y/o posibles defectos o averías de la superficie de trabajo, evitando el uso de protectores de pantallas o elementos de seguridad varios, los cuales resultan muy costosos.
Finalmente, cabe mencionar que mediante el dispositivo de la presente invención se alcanzan unos niveles de precisión muy altos, reduciendo considerablemente los errores en la interactuación sobre la orden dada por el usuario, (por ejemplo, en un dispositivo táctil donde están solidarizados el medio de trabajo y el medio funcional, puede suceder que accionando en un punto determinado de la superficie se produzca una orden o evento incorrecto, ya sea por presión excesiva, estado de la pantalla indebida etc.
DESCRIPCIÓN DE LOS DIBUJOS
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de
la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
Figura 1.- Muestra una vista general del dispositivo de múltiple tacto objeto de invención donde se aprecia a un usuario interactuando y visualizando imágenes proyectadas sobre una superficie. Figura 2.- Muestra una vista en perspectiva del interior del dispositivo de múltiple tacto objeto de invención, donde se aprecian sus distintos elementos componentes.
Figura 3.- Muestra una vista explotada del dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, objeto de invención.
Figura 4.- Muestra un diagrama de flujo del procedimiento de operación del dispositivo de múltiple tacto objeto de invención.
REALIZACIÓN PREFERENTE DE LA INVENCIÓN
Se describe a continuación un ejemplo de realización preferente haciendo mención a las figuras arriba señaladas, sin que ello limite el ámbito de protección de la presente invención.
En la figura 1 se aprecia a un usuario (20) interactuando y visualizando imágenes (1 1 ) proyectadas sobre una superficie (10) plana, empleando el dispositivo de múltiple tacto objeto de invención, el cual
comprende:
- un proyector (1 ), mostrado en la figura 2, adaptado para proyectar imágenes (1 1 ) y datos sobre una superficie (10) plana dispuesta inferiormente, sobre la cual un usuario (20) interactúa de manera táctil, - dos cámaras (2) dispuestas bajo el proyector (1 ) y separadas entre sí una cierta distancia, las cuales se encuentran orientadas en un ángulo determinado, estando adaptadas para la captación de los movimientos y gestos del usuario (20) sobre las imágenes (11 ) proyectadas sobre la superficie (10),
- un obturador (3) situado a continuación del foco del proyector (1 ), que controla la claridad y nitidez con que se van a ver las imágenes (1 1 ) y datos proyectados sobre la superficie (10),
- una caja (4) en cuyo interior se encuentran el proyector (1 ), las cámaras (2) y el obturador (3), proporcionando soporte y protección, y - un bastidor (5), destinado a fijarse a una pared o similar, que sujeta y mantiene la caja (4), y que presenta unas guías verticales (6) para el desplazamiento y regulación en altura de dicha caja (4), así como unas guías horizontales (7) para el desplazamiento de las cámaras (2) permitiendo su alejamiento o acercamiento entre sí.
Tal y como se puede observar en las figuras 1 y 3, el dispositivo de múltiple tacto objeto de invención comprende adicionalmente unos ventiladores (8) y orificios vinculados a la caja (4), los cuales están adaptados para una óptima refrigeración del proyector (1 ), evitando así el calentamiento del mismo.
Además, se ha previsto que el dispositivo aquí descrito disponga adicionalmente de unos medios de iluminación (9), representados en las figuras 1 y 3, adaptados para evitar cualquier tipo de sombra o variaciones de luz que se puedan originar durante la interactuación del usuario (20)
con las imágenes (1 1 ) proyectadas en la superficie (10), eliminando así posibles errores producidos en la captación de información por parte de las cámaras (2). Esto conlleva además un menor coste de desarrollo de software, el cual se simplifica considerablemente.
Cabe señalar que la captura hecha por las cámaras (2) ha de ser independiente de lo emitido por el proyector (1 ), de forma que sea posible independizar el conjunto de imágenes (1 1 ) proyectadas con lo captado por las cámaras (2). Es necesario que las dos cámaras (2) estén sincronizadas mutuamente de tal forma que la acción de captura de imágenes (1 1 ) realizadas por ambas cámaras (2) se produzca en el mismo instante de tiempo. En este punto es donde entran en acción el obturador (3) y un circuito de sincronización. El objetivo de estos dos elementos es hacer que el momento de captura de las cámaras (2) coincida exactamente con el punto en que el obturador (3) ocluye completamente el foco del proyector (1 ).
Se ha previsto que dicho obturador (3) admita diferentes soluciones técnicas, como pueden ser, un obturador óptico con paneles LCD, un obturador mecánico, un obturador electrónico que opera a nivel de señal de video, o cualquier otra solución técnica que permita independizar el proceso de captura de imagen y el de proyección.
Por su parte, en la figura 4 se muestra un diagrama de bloques en el que se detalla el procedimiento de operación del dispositivo de múltiple tacto arriba descrito, tras la proyección de imágenes (1 1 ) por el proyector (1 ) y la captación de información por parte de las cámaras (2). Las fases de este procedimiento se realizan de forma paralela y tienen como objetivo reconocer, hacer un seguimiento y establecer la interactuación entre los objetos situados sobre la superficie (10) de trabajo y la aplicación
final. Dichas fases son: a) segmentación del color de piel (100), en la cual al menos una cámara (2) es capaz de identificar el contorno de la mano del usuario (20), localizar la punta de sus dedos y detectar la existencia o no de contacto entre usuario (20) y superficie (10) de trabajo,
b) detección de marcas matriciales (200), mediante la cual la cámara (2) realiza una calibración y enfoque adecuados para una correcta captación de la información procedente de la interactuación entre usuario (20) y superficie (10), y
c) detección de "folios" (300), en la cual la cámara (2) detecta todo tipo de imágenes (1 1 ) rectangulares y objetos planos texturizados y no texturizados proyectados sobre la superficie (10) de trabajo. Posteriormente se realiza una última fase d) de envío de datos mediante protocolo UDP a una CPU donde se aloja la aplicación de alto nivel que explota y procesa la información recibida. Cabe señalar que el término "objetos planos texturizados" empleado en el párrafo de la fase c) se refiere a aquellos objetos planos con multitud de formas, colores y curvaturas, presentando unos trazados y contornos complejos. Por consiguiente, un objeto plano "no texturizado" es aquel cuyo trazado es sencillo, presentando pocas curvaturas y detalles, en apenas uno o dos colores. De acuerdo con la presente realización preferente, la fase a) de segmentación del color de piel (100) se realiza mediante la siguiente secuencia: e) se establece una segmentación de la imagen (11 ) por color de piel,
f) se hallan y discretizan los contornos para el consiguiente descarte de contornos no coherentes respecto a área,
g) de los contornos que pasan la criba, se localizan los puntos de máxima y mínima curvatura y además, se averigua la transformada de la distancia y se parametriza esta transformada, y
h) a partir de la información obtenida, se localizan las puntas de los dedos como los puntos que tienen un máximo local en la curvatura y además cumplen ciertos parámetros de la transformada de la distancia. Por otra parte, el caso particular de la detección de folios (300), imágenes (3) rectangulares y objetos planos "no texturizados", necesita en un primer paso la detección de los contornos de los objetos que se sitúan sobre el medio de trabajo. En un segundo paso se estudia la geometría y el área de dichos contornos y se determina qué forma geométrica se corresponde mejor con los contornos de los objetos.
La detección de objetos planos "texturizados" necesita un estudio previo de los objetos que se van a detectar. Este estudio previo consiste en la búsqueda y localización precisa de un conjunto de puntos característicos invariantes a la escala y a la orientación. Una vez estos puntos característicos están hallados y convenientemente organizados, se procede a la búsqueda de estos puntos característicos en la imagen capturada. Cuantos más puntos característicos de una imagen sean detectados, más precisa será la detección de los objetos planos texturizados.
Claims
R E I V I N D I C A C I O N E S - Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies caracterizado porque comprende:
5 - un proyector (1 ), adaptado para proyectar imágenes y datos sobre una superficie (10) plana dispuesta inferiormente, sobre la cual un usuario interactúa de manera táctil,
- al menos una cámara (2), que capta los movimientos y gestos del usuario sobre las imágenes proyectadas sobre la superficie i o (10),
- un obturador (3) situado a continuación del foco del proyector (1 ), que controla la claridad y nitidez con que se van a ver las imágenes y datos proyectados sobre la superficie (10),
- una caja (4) en cuyo interior se encuentran el proyector (1 ), las 15 cámaras (2) y el obturador (3), adaptada para proporcionar soporte y protección, y
- un bastidor (5), destinado a fijarse a una pared o similar, que sujeta la caja (4).
20 2.- Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies de acuerdo con reivindicación 1 , caracterizado porque comprende adicionalmente unos ventiladores (8) y orificios vinculados a la caja (4), los cuales están adaptados para una óptima refrigeración del proyector (1 ).
25
3.- Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies de acuerdo con reivindicación 1 , caracterizado porque comprende unos medios de iluminación (9), adaptados para evitar cualquier sombra o variación de luz que se pueda originar durante la
30 interactuación del usuario con las imágenes proyectadas.
4. - Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies de acuerdo con reivindicación 1 , caracterizado porque el bastidor presenta unas guías verticales (6) para el desplazamiento y regulación en altura de la caja (4), así como unas guías horizontales (7) para el desplazamiento de las cámaras (2) permitiendo su alejamiento o acercamiento entre sí.
5. - Procedimiento de operación del dispositivo descrito en cualquiera de las reivindicaciones 1 -4, caracterizado porque comprende las siguientes fases: a) segmentación del color de piel (100), en la cual al menos una cámara (2) es capaz de identificar el contorno de la mano del usuario (20), localizar la punta de sus dedos y detectar la existencia o no de contacto entre usuario (20) y superficie (10) de trabajo,
b) detección de marcas matriciales (200), mediante la cual la cámara (2) realiza una calibración y enfoque adecuados para una correcta captación de la información procedente de la interactuación entre usuario (20) y superficie (10),
c) detección de "folios" (300), en la cual la cámara (2) detecta todo tipo de imágenes (1 1 ) rectangulares y objetos planos proyectados sobre la superficie (10) de trabajo, y
d) envío de datos mediante protocolo UDP (User Datagram Protocol) a una CPU (Central Processing Unit) donde se aloja la aplicación de alto nivel que explota y procesa la información recibida.
6. - Procedimiento de operación de acuerdo con la reivindicación 5, caracterizado porque las fases a), b) y c) se realizan de forma paralela.
7. - Procedimiento de operación de acuerdo con la reivindicación 5, caracterizado porque la captación por parte de la cámara (2) de los movimientos y gestos del usuario (20) sobre las imágenes (11 ) proyectadas en la superficie (10) de trabajo es independiente de lo emitido por el proyector (1 ), de forma que es posible independizar el conjunto de imágenes (1 1 ) proyectadas con lo captado por las cámaras (2).
8. - Procedimiento de operación de acuerdo con la reivindicación 5, caracterizado porque la fase a) de segmentación del color de piel (100) comprende a su vez las siguientes etapas:
e) segmentación de la imagen (11 ) por color de piel,
f) discretización de los contornos para el consiguiente descarte de contornos no coherentes respecto a área,
g) localización los puntos de máxima y mínima curvatura de los contornos que pasan la criba, obtención de la transformada de la distancia y parametrización de dicha transformada, y
h) localización de las puntas de los dedos como los puntos que tienen un máximo local en la curvatura y además cumplen ciertos parámetros de la transformada de la distancia.
9. - Procedimiento de operación de acuerdo con la reivindicación 5, caracterizado porque en la fase c) de detección de folios (300), la cámara (2) está adaptada para la detección de objetos planos "no texturizados".
10.- Procedimiento de operación de acuerdo con la reivindicación 9, caracterizado porque la detección de objetos planos "no texturizados" comprende a su vez las siguientes fases:
- detección de los contornos de los objetos que se sitúan sobre la superficie (10) de trabajo,
- estudio de la geometría y el área de dichos contornos, y - determinación de qué forma geométrica se corresponde mejor con los contornos de los objetos.
11 .- Procedimiento de operación de acuerdo con la reivindicación 5, caracterizado porque en la fase c) de detección de folios (300), la cámara (2) está adaptada para la detección de objetos planos "texturizados".
12.- Procedimiento de operación de acuerdo con la reivindicación 11 , caracterizado porque la detección de objetos planos "texturizados" comprende a su vez las siguientes fases:
- búsqueda y localización precisa de un conjunto de puntos característicos invariantes a la escala y a la orientación de los objetos, y
- búsqueda de estos puntos característicos en la imagen capturada por la cámara (2).
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ESP201000204 | 2010-02-16 | ||
| ES201000204A ES2386225B1 (es) | 2010-02-16 | 2010-02-16 | Dispositivo de multiple tacto por proyeccion de imagenes y datos sobre superficies |
| ES201031735A ES2393774B1 (es) | 2010-11-25 | 2010-11-25 | Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, mejorado. |
| ESP201031735 | 2010-11-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2011101518A1 true WO2011101518A1 (es) | 2011-08-25 |
Family
ID=44061785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/ES2011/070081 WO2011101518A1 (es) | 2010-02-16 | 2011-02-08 | Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, y procedimiento de operación de dicho dispositivo |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2011101518A1 (es) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020016488A1 (fr) * | 2018-07-18 | 2020-01-23 | Holomake | Système d'asservissement mécanique motorisé d'un plan holographique pour le guidage manuel de précision |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030190145A1 (en) * | 1998-04-01 | 2003-10-09 | Max Copperman | Obtaining and using data associating annotating activities with portions of recordings |
| KR20040065933A (ko) * | 2003-01-16 | 2004-07-23 | 황인호 | Ohp 필름 고정대. |
| JP2007207056A (ja) * | 2006-02-03 | 2007-08-16 | Seiko Epson Corp | 情報入力システム |
| US20070201863A1 (en) * | 2006-02-28 | 2007-08-30 | Microsoft Corporation | Compact interactive tabletop with projection-vision |
| US20070258016A1 (en) * | 2006-05-03 | 2007-11-08 | Wallspace Media, Llc | System and method for a digital projection advertising display |
| US20080181459A1 (en) * | 2007-01-25 | 2008-07-31 | Stmicroelectronics Sa | Method for automatically following hand movements in an image sequence |
| US20090085881A1 (en) * | 2007-09-28 | 2009-04-02 | Microsoft Corporation | Detecting finger orientation on a touch-sensitive device |
| US20090219253A1 (en) * | 2008-02-29 | 2009-09-03 | Microsoft Corporation | Interactive Surface Computer with Switchable Diffuser |
-
2011
- 2011-02-08 WO PCT/ES2011/070081 patent/WO2011101518A1/es active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030190145A1 (en) * | 1998-04-01 | 2003-10-09 | Max Copperman | Obtaining and using data associating annotating activities with portions of recordings |
| KR20040065933A (ko) * | 2003-01-16 | 2004-07-23 | 황인호 | Ohp 필름 고정대. |
| JP2007207056A (ja) * | 2006-02-03 | 2007-08-16 | Seiko Epson Corp | 情報入力システム |
| US20070201863A1 (en) * | 2006-02-28 | 2007-08-30 | Microsoft Corporation | Compact interactive tabletop with projection-vision |
| US20070258016A1 (en) * | 2006-05-03 | 2007-11-08 | Wallspace Media, Llc | System and method for a digital projection advertising display |
| US20080181459A1 (en) * | 2007-01-25 | 2008-07-31 | Stmicroelectronics Sa | Method for automatically following hand movements in an image sequence |
| US20090085881A1 (en) * | 2007-09-28 | 2009-04-02 | Microsoft Corporation | Detecting finger orientation on a touch-sensitive device |
| US20090219253A1 (en) * | 2008-02-29 | 2009-09-03 | Microsoft Corporation | Interactive Surface Computer with Switchable Diffuser |
Non-Patent Citations (3)
| Title |
|---|
| ANDREW D. WILSON: "UIST'05: "Proceedings of the 18th annual ACM symposium on user interface software and technology", 2005, pages: 83 - 92 |
| QIU-YU ZHANG, MO-YI ZHANG, JIAN-QIANG HU: "Hand gesture contour tracking based on skin color probability and state estimation model", JOURNAL OF MULTIMEDIA, vol. 4, no. 6, 2009, pages 349 - 355, XP002639779 * |
| RYUJI FUJIKI ET AL: "Real-Time 3D Hand Shape Estimation Based on Inverse Kinematics and Physical Constraints", 1 January 2005, IMAGE ANALYSIS AND PROCESSING - ICIAP 2005 LECTURE NOTES IN COMPUTER SCIENCE;;LNCS, SPRINGER, BERLIN, DE, PAGE(S) 850 - 858, ISBN: 978-3-540-28869-5, XP019018703 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020016488A1 (fr) * | 2018-07-18 | 2020-01-23 | Holomake | Système d'asservissement mécanique motorisé d'un plan holographique pour le guidage manuel de précision |
| FR3084173A1 (fr) * | 2018-07-18 | 2020-01-24 | Holomake | Systeme d'asservissement mecanique motorise d'un plan holographique pour le guidage manuel de precision |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8923562B2 (en) | Three-dimensional interactive device and operation method thereof | |
| US10310675B2 (en) | User interface apparatus and control method | |
| US20080013826A1 (en) | Gesture recognition interface system | |
| US9454260B2 (en) | System and method for enabling multi-display input | |
| CN102508578B (zh) | 投影定位装置及方法、交互系统和交互方法 | |
| JP2017146938A (ja) | 書籍検出装置、書籍検出方法及び書籍検出用コンピュータプログラム | |
| CN107407959B (zh) | 基于姿势的三维图像的操纵 | |
| KR101343748B1 (ko) | 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치 | |
| CN102520799A (zh) | 一种光学键盘 | |
| CN107077195A (zh) | 显示对象指示符 | |
| JP2016114963A (ja) | 入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステム | |
| ITMN20090001A1 (it) | Dispositivo ottico di interazione con sistemi ad interfaccia grafica con schermo a griglia di pixel | |
| CN106095178A (zh) | 输入设备识别方法和系统、输入指令识别方法和系统 | |
| US20170188081A1 (en) | Method and apparatus for interacting with display screen | |
| KR20150047620A (ko) | 시차 에러 보상을 갖는 터치스크린 디바이스 | |
| CN103425355B (zh) | 一种全向摄像头构造的便携光学触摸屏及其定位校准方法 | |
| WO2011101518A1 (es) | Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, y procedimiento de operación de dicho dispositivo | |
| US9323346B2 (en) | Accurate 3D finger tracking with a single camera | |
| KR20180077017A (ko) | 필기 입력 장치 | |
| KR102191061B1 (ko) | 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
| JP5947999B2 (ja) | タッチスクリーンに対する操作精度を向上する方法、電子機器およびコンピュータ・プログラム | |
| EP2979155B1 (en) | Sensor and tag to determine a relative position | |
| EP3088991A1 (en) | Wearable device and method for enabling user interaction | |
| ES2393774B1 (es) | Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, mejorado. | |
| ES2386225B1 (es) | Dispositivo de multiple tacto por proyeccion de imagenes y datos sobre superficies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11715255 Country of ref document: EP Kind code of ref document: A1 |
|
| DPE1 | Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101) | ||
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 11715255 Country of ref document: EP Kind code of ref document: A1 |