WO2011121144A1 - Sistema de interacción persona-máquina no mecánico mediante gestos manuales y vibración - Google Patents

Sistema de interacción persona-máquina no mecánico mediante gestos manuales y vibración Download PDF

Info

Publication number
WO2011121144A1
WO2011121144A1 PCT/ES2010/070188 ES2010070188W WO2011121144A1 WO 2011121144 A1 WO2011121144 A1 WO 2011121144A1 ES 2010070188 W ES2010070188 W ES 2010070188W WO 2011121144 A1 WO2011121144 A1 WO 2011121144A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
hand
person
interaction
pointer
Prior art date
Application number
PCT/ES2010/070188
Other languages
English (en)
French (fr)
Inventor
Aritz Villodas Arechavaleta
Original Assignee
Fundacion Robotiker
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fundacion Robotiker filed Critical Fundacion Robotiker
Priority to PCT/ES2010/070188 priority Critical patent/WO2011121144A1/es
Publication of WO2011121144A1 publication Critical patent/WO2011121144A1/es

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Definitions

  • the present invention relates to person-machine interaction systems, and more specifically, to gestural and vibration control systems.
  • Person-machine interaction systems generally require a mechanical component operated by the user, through which orders are sent to the machines, and thus cause the desired actions in the machine.
  • gestural recognition systems use medium-high range cameras, and require a complex environment calibration.
  • the recognition camera it is usually necessary for the recognition camera to be located frontally to the user.
  • gestural interfaces requires gloves and other accessories that the user must wear in order to interact.
  • the system of the invention comprises an area of interaction adapted so that the person positions a limb and can exert contact by blows, at least one camera adapted to capture the image of the interaction area and image processing means for set the position of a pointer on the screen based on the position of the limb.
  • the image processing means are adapted to establish in addition to the position, posture, movement or gesture of the limb and determine, depending on the latter, a type of pointer or action to be used.
  • At least one vibration sensor is incorporated, adapted to capture the blows that the person exerts on the area of interaction, and there are means of processing the vibration to establish an action of the application depending on the intensity of the vibration.
  • the system can incorporate two cameras and the image processing means are adapted to minimize errors by comparing the images captured by the cameras.
  • FIG. 1 shows the system of the invention.
  • FIG. 2 shows the system calibration process
  • FIG. 3 shows the system press zone
  • FIG. 4 shows a variant of the pulsation zone of the system.
  • FIG. 5 shows a variant of the pulsation zone of the system.
  • FIG. 6 shows a variant of the pulsation zone of the system.
  • FIG. 7 shows an image captured by the system camera of FIG. one .
  • FIG. 8 shows an image captured by the system camera of FIG. one .
  • FIG. 9 shows an image captured by the system camera of FIG. one . in a variation of the hand gesture.
  • FIG. 10 shows an image captured by the system camera of FIG. one . in a variation of the hand gesture.
  • FIG. 1 1 shows an image captured by the system camera of FIG. one . in a variation of the hand gesture.
  • FIG. 12 shows an image captured by the system camera of FIG. one . in a variation of the hand gesture.
  • FIG. 13 shows a variant of the system of the invention, in this case, with two cameras.
  • FIG. 14 shows an example graphic of the vibration / sound thresholds that can be used to perform various actions on the computer system.
  • the system consists of one or several pick-up sensors consisting of: one or several cameras and one or several vibration / sound sensors (accelerometer or microphone):
  • the camera will capture the image of a user's limb (for example, the hand) moving on a flat surface.
  • the vibration / sound sensor will pick up a vibration or sound pulse (air vibration).
  • the coordinates of the hand position or any other limb of the user are obtained and sent to the system to be controlled, in order of positioning a pointer.
  • the position of that pointer is configurable and can correspond to different areas of the hand or limb, depending on the position of the same. For example, with the palm of the hand extended, it could be placed on the ring finger, however, if the hand is shrunk with the posture of grabbing a pen, the pointer would be located between the index and thumb fingers, coinciding with the virtual position of a pen.
  • the system could be used by people with physical disabilities, showing a stump or a hand that lacks fingers.
  • the operating surface on which the image of the previously described hand or limb is captured may be associated with one or more sound / vibration sensors, which will be activated by tapping said surface.
  • the surface can be hit at any point, since the vibration will be transmitted through the rigid surface to the sensors.
  • Vibration / sound level thresholds Different types of actions can be configured (click, double click, button pressed, ...) with different levels of vibration intensity. For this they will be established Vibration / sound level thresholds. The system will perform an action one another depending on the threshold exceeded at all times.
  • the invention proposed here does not require devices with specific technical specifications, since the only requirements are one or more cameras (they can be conventional, web type, or high-end) and conventional vibration sensor / sensors (can be used even with any personal computer microphone). It also does not require an expensive calibration or positioning of the camera, since it can be located at any point, being only necessary that the interaction area where the hand is to be moved is visualized.
  • the present invention offers a number of advantages over current control systems, such as that it is more protected from external attacks, since the user does not have direct contact with the elements in charge of sending the control signals (camera and accelerometer) ). In this way the possible manipulation of the control system by the user is also avoided.
  • Another population group that can benefit from the present invention are the elderly or people with limited mobility.
  • an older person may find it difficult to handle small objects (eg a portable mini mouse) or certain control actions (eg TrackBall, touchpad, ....
  • the invention described here by needing to position only the hand or limb, is highly intuitive to handle for people who are not accustomed to technology.
  • people with disabilities they could also use the present development.For example, a person who lacks a part of the hand might find it difficult to grab a mechanical element, instead, simply by showing his limb in the work zone, the Person-machine interaction system presented here would work in the same way with all types of users.
  • the system object of the invention is represented, consisting of: the work surface (1), a camera (4), a vibration / sound sensor (5), and the computer system (6) about which you want to interact by the user (8).
  • the user (8) slides his hand or limb over the work surface (1) in the interaction area (2), thus controlling the position of the pointer (7) that will move synchronously with his hand.
  • an accelerometer or microphone (5) is located in the pulsation zone (3), in which the user (8) will act on the computer system (6) by tapping the work surface (1).
  • the calibration process is shown in Figure 2, which will consist of marking the four corners of a rectangular template located above the work area.
  • the calibration algorithms are not detailed here since they are not the subject of the present invention.
  • the pulsation zone (3) is shown, where the user (8) hits the table, activating the sensor (5) by vibration and causing a series of actions on the computer system (6). These actions may vary depending on the intensity level captured by the sensor. Thresholds will be established from which the different actions will be executed.
  • FIG. 4 A variant of the pulsation zone (3) is shown in Figure 4, where two sensors have been located at the end of the work surface (1). This variation will detect the position of the pulsation, by comparing the levels of captured by each sensor. The difference between these levels will allow to position the origin of the pulsation.
  • FIG. 5 A variation of the pulsation zone (3) is shown in Figure 5, where three sensors have been located on the work surface (1). This variation will detect the position of the pulse, by comparing the levels captured by each sensor. By applying triangulation algorithms, the position of the pulsation origin will be determined.
  • Figure 6 shows a variant of the pulsation zone (3), where four sensors have been located on the work surface (1). This variation will detect the position of the pulse, by comparing the levels captured by each sensor. Applying triangulation algorithms, the position of the origin of the pulsation will be determined, providing greater precision than the previous cases.
  • Figure 7 shows the system working, with the user (8) positioning his hand in the interaction zone (2) of the work surface (1).
  • the system automatically determines, by means of image processing algorithms, the position of the ring finger and establishes at that point the position of the pointer (7), continuously monitoring said point and transmitting said coordinates to the computer system for control.
  • FIG. 8 A variant of the hand gesture is shown in Figure 8.
  • the user has positioned the hand pretending to grab a pen.
  • the system automatically determines, by means of image processing algorithms, it establishes the position of the pointer (7) between the thumb and index finger, continuously monitoring said point and transmitting said coordinates to the computer system for control.
  • FIG. 9 A variation of the hand gesture is shown in Figure 9.
  • the user has positioned the hand pointing with the index finger.
  • the system automatically determines, by means of image processing algorithms, it establishes the position of the pointer (7) at the tip of the index finger, tracking continuous of said point and transmitting said coordinates to the computer system for its control.
  • FIG. 10 A variant of the hand gesture is shown in Figure 10.
  • the user has positioned his hand with his palm facing up.
  • the system automatically determines, by means of image processing algorithms, it establishes the position of the pointer (7) at the tip of the ring finger, continuously monitoring said point and transmitting said coordinates to the computer system for control.
  • FIG. 1 A variant of the hand gesture is shown in Figure 1 1.
  • the user has positioned the hand pointing with the thumb.
  • the system automatically determines, by means of image processing algorithms, it establishes the position of the pointer (7) at the tip of the thumb, continuously monitoring said point and transmitting said coordinates to the computer system for control.
  • a variant of the hand gesture is shown in Figure 12.
  • the user has positioned the hand pointing with the little finger.
  • the system automatically determines, by means of image processing algorithms, it establishes the position of the pointer (7) at the tip of the little finger, continuously monitoring said point and transmitting said coordinates to the computer system for control.
  • the system works in the same way with the left hand or any other limb.
  • the system can be configured to select different tools depending on the gesture of the hand or limb. These tools will depend on the computer application that you want to control, as well as the possible gestures that the user can make.
  • the system is suitable for any size of hand or limb, and can be used in the same way by a child or a person with hands or limbs Small, no need to recalibrate. Its calibration and operation is independent of the user.
  • FIG. 13 A variant of the system of Figure 1 is shown in Figure 13, but in this case, with two cameras, in order to support the system in the recognition in the area of interaction. This will avoid possible errors in the artificial vision algorithm due to shadows or other environmental factors.
  • FIG. 14 A representative graph of the vibration / sound thresholds that can be applied to the sensors (5) is shown in Figure 14. Depending on the level reached, one type of action or another will be exercised on the computer system (6).

Abstract

Sistema de interacción persona-máquina para el control mediante gestos y vibración de aplicaciones informáticas provistas de una pantalla y un puntero, que comprende un área de interacción (2) adaptada para que la persona posicione una extremidad y pueda ejercer contacto mediante golpes, al menos una cámara (4) adaptada para captar la imagen del área de interacción y medios de procesamiento de la imagen para establecer la posición del puntero en la pantalla en función de la posición de la extremidad. El sistema es particularmente útil para personas con alguna discapacidad física, niños, ancianos, etc.

Description

SISTEMA DE INTERACCIÓN PERSONA-MÁQUINA NO MECÁNICO MEDIANTE
GESTOS MANUALES Y VIBRACIÓN
D E S C R I P C I Ó N
CAMPO DE LA INVENCIÓN
La presente invención se relaciona con sistemas de interacción persona-máquina, y más concretamente, con sistemas de control gestuales y mediante vibración.
ANTECEDENTES DE LA INVENCIÓN
Los sistemas de interacción persona-máquina, generalmente, necesitan de un componente mecánico accionado por el usuario, mediante el cual se envían las órdenes a las máquina, y provocar así en la máquina las acciones deseadas.
A día de hoy, es conocida la utilización tanto de ratones de ordenador, así como de otras variantes similares (las conocidas en inglés como "trackballs", "touchpad", "joysticks", etc.) con el fin de controlar el puntero u otras funcionalidades de las aplicaciones informáticas. De esta manera, dichos medios de control establecen la posición del puntero en base a dos ejes de coordenadas (dos dimensiones), y activan una serie de comando mediante la pulsación de botones mecánicos asociados al sistema. Para ello, se requiere de una cierta experiencia y destreza por parte del usuario en el manejo de dichos mecanismos. La gran variedad de modelos diferentes hace que no todos presenten la misma comodidad de uso para los usuarios. Esto dependerá tanto de la forma ergonómica de uso del controlador, así como de la forma y tamaño de la mano o elemento de control por parte del usuario. Todo ello, conlleva una adaptación mecánica del usuario para cada uno de los mismos.
Además, esto hace que se presenten problemas en su uso por personas con características especiales para las cuales no han sido diseñados los controladores, por ejemplo, niños, para los cuales puede resultar sobredimensionado. Otro caso de uso particular pueden ser los ancianos, que con movilidad limitada, pueden tener problemas a la hora de realizar movimiento rápidos o complejos.
Otro subgrupo poblacional con dificultades para usar los sistema de interacción convencionales son las personas con alguna discapacidad física.
El mantenimiento de dichos sistemas mecánicos de interacción, dependerá del contacto entre la personas y el aparato de control, lo cual los hace vulnerables a ataques externos, ya que se deteriorarán más rápidamente por el uso, continuamente sometidos a los accionamientos mecánicos o de contacto con el usuario.
Además, esta serie de interfaces mecánicos son más sensibles a manipulaciones malintencionadas por parte del usuario con el fin de modificar en su funcionamiento original.
Por otra parte, los sistemas de reconocimiento gestual utilizan cámaras de gama media-alta, y requieren de una compleja calibración del entorno. Además, suele ser necesario que la cámara de reconocimiento esté ubicada frontalmente al usuario.
Otro tipo de interfaces gestuales requiere de guantes y otra serie de accesorios que deberá ponerse el usuario para poder interactuar.
OBJETO DE LA INVENCIÓN
El principal objetivo de la invención a continuación expuesta es el control aplicaciones informáticas mediante la eliminación total de aparatos mecánicos en la interacción persona-máquina, sustituyéndolo por movimientos gestuales sencillos e intuitivos para el usuario, mediante la utilización de alguna de sus extremidades. Para este propósito, el sistema de la invención comprende un área de interacción adaptada para que la persona posicione una extremidad y pueda ejercer contacto mediante golpes, al menos una cámara adaptada para captar la imagen del área de interacción y medios de procesamiento de la imagen para establecer la posición de un puntero en la pantalla en función de la posición de la extremidad. De preferencia, los medios de procesamiento de la imagen están adaptados para establecer además de la posición, la postura, movimiento o gesto de la extremidad y determinar en función de ésta un tipo de puntero o acción a utilizar. Opcionalmente, se incorpora al menos un sensor de vibración, adaptado para captar los golpes que la persona ejerza sobre el área de interacción, y hay medios de procesamiento de la vibración para establecer una acción de la aplicación en función de la intensidad de la vibración. Opcionalmente, hay dos o más sensores de vibración y los medios de procesamiento de la vibración están adaptados para determinar la posición del golpe a través de la comparación de la intensidad de la vibración captada por cada sensor. El sistema puede incorporar dos cámaras y los medios de procesamiento de la imagen están adaptados para minimizar errores a través de la comparación de las imágenes captadas por las cámaras.
Gracias a la invención se pueden realizar las mismas funcionalidades anteriormente descritas, pero sin que exista contacto entre el usuario y los sensores.
BREVE DESCRIPCIÓN DE LAS FIGURAS
La FIG. 1 muestra el sistema de la invención.
La FIG. 2 muestra el proceso de calibración del sistema.
La FIG. 3 muestra la zona de pulsación del sistema.
La FIG. 4 muestra una variante de la zona de pulsación del sistema.
La FIG. 5 muestra una variante de la zona de pulsación del sistema.
La FIG. 6 muestra una variante de la zona de pulsación del sistema.
La FIG. 7 muestra una imagen capturada por la cámara del sistema de la FIG. 1 .
La FIG. 8 muestra una imagen capturada por la cámara del sistema de la FIG. 1 . La FIG. 9 muestra una imagen capturada por la cámara del sistema de la FIG. 1 . en una variación del gesto de la mano.
La FIG. 10 muestra una imagen capturada por la cámara del sistema de la FIG. 1 . en una variación del gesto de la mano.
La FIG. 1 1 muestra una imagen capturada por la cámara del sistema de la FIG. 1 . en una variación del gesto de la mano.
La FIG. 12 muestra una imagen capturada por la cámara del sistema de la FIG. 1 . en una variación del gesto de la mano.
La FIG. 13 muestra una variante del sistema de la invención, en este caso, con dos cámaras.
La FIG. 14 muestra un gráfico ejemplo de los umbrales de vibración/sonido que pueden utilizarse para ejecutar diversas acciones sobre el sistema informático.
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN
El sistema consta de uno o varios sensores de captación compuesto por: una o varias cámaras y uno o varios sensores de vibraciones/sonido (acelerometro o micrófono):
La cámara captará la imagen de una extremidad del usuario (por ejemplo, la mano) moviéndose sobre una superficie plana.
- El sensor de vibraciones/sonido captará un impulso de vibración o sonido (vibración del aire).
Mediante algoritmos de procesamiento de imágenes, que no se detallan aquí puesto que no son objeto de la presente invención, se obtiene las coordenadas de posición de la mano o cualquier otra extremidad del usuario y se envían al sistema que se desea controlar, con el fin de posicionar un puntero. La posición de ese puntero es configurable y puede corresponder a diferentes zonas de la mano o extremidad, dependiendo de la posición de la misma. Por ejemplo, con la palma de la mano extendida, podría situarse en el dedo anular, en cambio, si se encoge la mano con la postura de agarrar un bolígrafo, el puntero se ubicaría entre los dedos índice y pulgar, coincidiendo con la posición virtual de un bolígrafo.
Esto permite, además, añadir funcionalidades adicionales al control de las aplicaciones, dependiendo del gesto de la mano o extremidad. Por ejemplo, en una aplicación gráfica, una posición como la que se muestra en la Figura 8 podría llevar consigo la selección automática de la herramienta "pincel", en cambio, si el usuario cambia el gesto al de la figura 10, podría cambiarse automáticamente la selección de la herramienta a "goma de borrar". Otro ejemplo serían movimientos o gestos que reproduzcan el botón "click" de los sistemas informáticos actuales (generalmente conocido como "activación de botón izquierdo"). Esta adaptación de las herramienta de trabajo será configurable por parte del usuario en función de los gestos de su mano o extremidad.
De la misma manera, el sistema podría ser utilizado por personas con discapacidades físicas, mostrando un muñón o una mano a la que le falten dedos.
Por otra parte, la superficie de operación sobre la que capta la imagen de la mano o extremidad previamente descrita, podrá llevar asociado uno o varios sensores de sonido/vibración, que se activarán golpeando ligeramente dicha superficie. La superficie puede ser golpeada en cualquier punto, ya que la vibración se transmitirá a través de la superficie rígida hasta los sensores.
Estos golpes, traducidos en un impulso vibratorio, equivaldrán al accionamiento de un botón, y por tanto sustituirá al habitual botón "click" de los sistemas informáticos actuales (generalmente conocido como "activación de botón izquierdo").
Se pueden configurar diferentes tipos de acciones (click, doble click, botón pulsado, ...) con diferentes niveles de intensidad de la vibración. Para ello se establecerán unos umbrales de nivel de vibración/sonido. El sistema realizará una acción un otra dependiendo del umbral sobrepasado en cada momento.
La invención aquí propuesta no requiere de dispositivos con especificaciones técnicas concretas, ya que los únicos requisitos son una o varias cámaras (pueden ser convencionales, tipo web, o de alta gama) y sensor o sensores de vibración/sonido convencionales (pudiéndose utilizar incluso con cualquier micrófono de ordenador personal) . Tampoco requiere una costosa calibración ni posicionamiento de la cámara, ya que puede ser ubicada en cualquier punto, siendo solo necesario que se visualice el área de interacción donde se va mover la mano.
Además, la presente invención ofrece una serie de ventajas respecto a los sistemas de control actuales, tales como que está más protegido de ataques externos, ya que el usuario no tiene contacto directo con los elementos encargados de enviar las señales de control (cámara y acelerometro). De esta forma también se evita la posible manipulación del sistema control por parte del usuario.
Esto lo hace especialmente útil para entornos hostiles, ya que puede ser controlado por operarios con suciedad en las manos, guantes u otros accesorios que les impedirían manejar un controlador tradicional.
Por otra parte, su utilización es intuitiva para el usuario, ya que tan solo necesita mover la mano, y no requiere de ningún tipo de destreza especial o entrenamiento previo. Esto lo hace especialmente adaptable a subgrupos poblaciones como niños, ancianos o personas con discapacidades.
En el caso de un niño, el manejo de un ratón u otro aparato mecánico diseñado para un adulto puede resultarte complejo o simplemente incómodo por su tamaño. El invento aquí detallado es apto para cualquier tipo y tamaño de mano, funcionando exactamente igual con la mano de un niño que con la de un adulto.
Otro grupo poblacional que puede verse beneficiado de la presente invención son los ancianos o personas con movilidad limitada. En este caso, a una persona mayor podría resultarle complejo manejar pequeño objetos (p.e. un miniratón de portátil) o ciertas acciones de control (p.e. TrackBall, touchpad, .... La invención que aquí se describe, al necesitar posicionar únicamente la mano o extremidad, es altamente intuitiva de manejar para personas que no están habituadas a la tecnología. Por último, las personas con discapacidades también podrían usar el presente desarrollo. Por ejemplo, una persona a la que le falta una parte de la mano podría resultarle difícil agarrar un elemento mecánico, en cambio, con el simple hecho de mostrar su extremidad en la zona de trabajo, el sistema de interacción persona- máquina aquí presentado funcionaría de igual manera con todo tipo de usuarios.
Haciendo referencia a la Figura 1 , se representa el sistema objeto de la invención, compuesto por: la superficie de trabajo (1 ), una cámara (4), un sensor de vibraciones/sonido (5), y el sistema informático (6) sobre el cual se desea interactuar por parte del usuario (8). Para ello, el usuario (8) desliza su mano o extremidad sobre la superficie de trabajo (1 ) en el área de interacción (2), controlando así la posición del puntero (7) que se moverá sincronizado con su mano. Por otra parte, se ubica un acelerómetro o micrófono (5) en la zona de pulsación (3), en la cual el usuario (8) actuará sobre el sistema informático (6) golpeando ligeramente la superficie de trabajo (1 ).
En la Figura 2 se muestra el proceso de calibración, que consistirá en marcar las cuatro esquinas de una plantilla rectangular situada sobre la zona de trabajo. Los algoritmos de calibración no se detallan aquí puesto que no son objeto de la presente invención.
En la Figura 3, se muestra la zona de pulsación (3), donde el usuario (8) golpea la mesa, activando por vibración el sensor (5) y provocando una serie de acciones sobre el sistema informático (6). Estas acciones pueden ser de diferentes dependiendo del nivel de intensidad captado por el sensor. Se establecerán unos umbrales a partir de los cuales se ejecutarán las diferentes acciones.
En la Figura 4 se muestra una variante de la zona de pulsación (3), donde se han ubicado dos sensores en el extremo de la superficie de trabajo (1 ). Esta variación permitirá detectar la posición de la pulsación, mediante comparación de los niveles de captados por cada sensor. La diferencia entre dichos niveles permitirá posicionar el origen de la pulsación.
En la Figura 5 se muestra una variante de la zona de pulsación (3), donde se han ubicado tres sensores en la superficie de trabajo (1 ). Esta variación permitirá detectar la posición de la pulsación, mediante comparación de los niveles de captados por cada sensor. Aplicando algoritmos de triangulación, se determinará la posición del origen de la pulsación. En la Figura 6 se muestra una variante de la zona de pulsación (3), donde se han ubicado cuatro sensores en la superficie de trabajo (1 ). Esta variación permitirá detectar la posición de la pulsación, mediante comparación de los niveles de captados por cada sensor. Aplicando algoritmos de triangulación, se determinará la posición del origen de la pulsación, aportando mayor precisión que los casos anteriores.
En la Figura 7 se muestra el sistema funcionando, con el usuario (8) posicionando su mano en la zona de interacción (2) de la superficie de trabajo (1 ). El sistema determina automáticamente, mediante algoritmos de procesamiento de imagen, la posición del dedo anular y establece en ese punto la posición del puntero (7), haciendo un seguimiento continuo de dicho punto y transmitiendo dichas coordenadas al sistema informático para su control.
En la Figura 8 se muestra una variante del gesto de la mano. En este caso, el usuario ha posicionado la mano simulando agarrar un bolígrafo. El sistema determina automáticamente, mediante algoritmos de procesamiento de imagen, establece la posición del puntero (7) entre el dedo pulgar e índice, haciendo un seguimiento continuo de dicho punto y transmitiendo dichas coordenadas al sistema informático para su control.
En la Figura 9 se muestra una variante del gesto de la mano. En este caso, el usuario ha posicionado la mano señalando con el dedo índice. El sistema determina automáticamente, mediante algoritmos de procesamiento de imagen, establece la posición del puntero (7) en la punta del dedo índice, haciendo un seguimiento continuo de dicho punto y transmitiendo dichas coordenadas al sistema informático para su control.
En la Figura 10 se muestra una variante del gesto de la mano. En este caso, el usuario ha posicionado la mano con su palma hacia arriba. El sistema determina automáticamente, mediante algoritmos de procesamiento de imagen, establece la posición del puntero (7) en la punta del dedo anular, haciendo un seguimiento continuo de dicho punto y transmitiendo dichas coordenadas al sistema informático para su control.
En la Figura 1 1 se muestra una variante del gesto de la mano. En este caso, el usuario ha posicionado la mano señalando con el dedo pulgar. El sistema determina automáticamente, mediante algoritmos de procesamiento de imagen, establece la posición del puntero (7) en la punta del dedo pulgar, haciendo un seguimiento continuo de dicho punto y transmitiendo dichas coordenadas al sistema informático para su control.
En la Figura 12 se muestra una variante del gesto de la mano. En este caso, el usuario ha posicionado la mano señalando con el dedo meñique. El sistema determina automáticamente, mediante algoritmos de procesamiento de imagen, establece la posición del puntero (7) en la punta del dedo meñique, haciendo un seguimiento continuo de dicho punto y transmitiendo dichas coordenadas al sistema informático para su control. Aunque todos los ejemplos se han mostrado con la mano derecha, el sistema funciona de igual manera con la mano izquierda o cualquier otra extremidad.
El sistema puede configurarse para seleccionar diferentes herramientas en función del gesto de la mano o extremidad. Estas herramientas dependerán de la aplicación informática que se desea controlar, así como de los posibles gestos que pueda hacer el usuario.
El sistema es apto para cualquier tamaño de mano o extremidad, pudiendo ser utilizado de igual manera por un niño o una persona con manos o extremidades pequeñas, sin necesidad de volver a calibrarlo. Su calibración y funcionamiento es independiente del usuario.
En la Figura 13 se muestra una variante del sistema de la Figura 1 , pero en este caso, con dos cámaras, con el fin de apoyar al sistema en el reconocimiento en el área de interacción. Esto evitará posibles errores en el algoritmo de visión artificial debido a sombras u otros factores de entorno.
En la Figura 14 se muestra un gráfico representativo de los umbrales de vibración/sonido que pueden aplicarse a los sensores (5). En función del nivel alcanzado se ejercerá un tipo de acción u otra sobre el sistema informático (6).

Claims

REIVINDICACIONES
1. - Sistema de interacción persona-máquina para el control mediante gestos y vibración de aplicaciones informáticas provistas de una pantalla y un puntero,
5 caracterizado porque comprende
- un área de interacción (2) adaptada para que la persona posicione una extremidad y pueda ejercer contacto mediante golpes;
- al menos una cámara (4) adaptada para captar la imagen del área de interacción;
- medios de procesamiento de la imagen para establecer la posición del puntero en o la pantalla en función de la posición de la extremidad.
2. - Sistema de interacción según la reivindicación 1 donde los medios de procesamiento de la imagen están adaptados para establecer además de la posición la postura, movimiento o gesto de la extremidad y determinar en función de 5 ésta un tipo de puntero o acción a utilizar.
3. - Sistema de interacción según las reivindicaciones 1 ó 2 caracterizado porque comprende al menos un sensor de vibración (5) adaptado para captar los golpes que la persona ejerza sobre el área de interacción (2) y medios de procesamiento0 de la vibración para establecer una acción de la aplicación en función de la intensidad de la vibración.
4. - Sistema de interacción según cualquiera de las reivindicaciones anteriores caracterizado porque comprende dos o más sensores de vibración.
5
5. - Sistema de interacción según la reivindicación 4 caracterizado porque los medios de procesamiento de la vibración están además adaptados para determinar la posición del golpe a través de la comparación de la intensidad de la vibración captada por cada sensor.
0
6. - Sistema de interacción según cualquiera de las reivindicaciones anteriores caracterizado porque comprende dos cámaras y los medios de procesamiento de la imagen están adaptados para minimizar errores a través de la comparación de las imágenes captadas por las cámaras.
5
PCT/ES2010/070188 2010-03-29 2010-03-29 Sistema de interacción persona-máquina no mecánico mediante gestos manuales y vibración WO2011121144A1 (es)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/ES2010/070188 WO2011121144A1 (es) 2010-03-29 2010-03-29 Sistema de interacción persona-máquina no mecánico mediante gestos manuales y vibración

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/ES2010/070188 WO2011121144A1 (es) 2010-03-29 2010-03-29 Sistema de interacción persona-máquina no mecánico mediante gestos manuales y vibración

Publications (1)

Publication Number Publication Date
WO2011121144A1 true WO2011121144A1 (es) 2011-10-06

Family

ID=42340583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2010/070188 WO2011121144A1 (es) 2010-03-29 2010-03-29 Sistema de interacción persona-máquina no mecánico mediante gestos manuales y vibración

Country Status (1)

Country Link
WO (1) WO2011121144A1 (es)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238737A (zh) * 2013-06-05 2014-12-24 佳能株式会社 能够辨识用户操作的信息处理装置及其控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767842A (en) * 1992-02-07 1998-06-16 International Business Machines Corporation Method and device for optical input of commands or data
WO2009059479A1 (en) * 2007-11-07 2009-05-14 Pohsien Chiu Input devices with virtual input interfaces

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767842A (en) * 1992-02-07 1998-06-16 International Business Machines Corporation Method and device for optical input of commands or data
WO2009059479A1 (en) * 2007-11-07 2009-05-14 Pohsien Chiu Input devices with virtual input interfaces

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238737A (zh) * 2013-06-05 2014-12-24 佳能株式会社 能够辨识用户操作的信息处理装置及其控制方法
CN104238737B (zh) * 2013-06-05 2017-04-26 佳能株式会社 能够辨识用户操作的信息处理装置及其控制方法

Similar Documents

Publication Publication Date Title
JP6476662B2 (ja) ロボット操作装置、ロボットシステム、及びロボット操作プログラム
US6828958B2 (en) Ergonomic side grip computer mouse
US6870526B2 (en) Glove mouse with virtual tracking ball
US20200310561A1 (en) Input device for use in 2d and 3d environments
US20090322680A1 (en) Radio frequency pointing device
WO2008064690A3 (en) 3-d computer input device and method
US20070279380A1 (en) Computer input device
EP2410399A3 (en) Techniques for interactive input to portable electronic devices
JP2015507803A (ja) 高められたジェスチャ・ベースの対話のためのシステム及び方法
CN1864199A (zh) 用于计算机和视频游戏的手动操纵数据装置
WO2006054163A3 (en) Portable haptic interface
WO2017009707A1 (en) Apparatus and method for hybrid type of input of buttons/keys and "finger writing" and low profile/variable geometry hand-based controller
KR101656391B1 (ko) 반지형 무선 콘트롤러 장치
CN105425989A (zh) 一种鼠标
TWI630515B (zh) 指標裝置托架總成及系統
WO2011121144A1 (es) Sistema de interacción persona-máquina no mecánico mediante gestos manuales y vibración
US20170312621A1 (en) Touch Control Type Object Grabbing Machine
JP2005339306A (ja) データ入力装置
JP5776919B1 (ja) フィンガー制御式ポインティングデバイス
TW201224867A (en) Wearable mouse
JP2017052031A (ja) ロボット操作装置、ロボット操作方法
CN213690541U (zh) 可穿戴键盘
RU2551796C1 (ru) Устройство для ввода данных
US20190251937A1 (en) Fingerless Digital Musical Effects Controller Glove
JP3133600U (ja) 加速度感知式ペン型ポインティング装置。

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10725810

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10725810

Country of ref document: EP

Kind code of ref document: A1