MX2009011936A - Sistema humana mediante interface de comunicacion gestual (hmi). - Google Patents

Abstract

El sistema humana media interface de comunicación gestual HMI es un sistema de interacción con cualquier sistema electrónico como puede ser un ordenador que combina el reconocimiento gestual en manos para el funcionamiento predeterminado en el ordenador, el control de los dos punteros empleando ambas manos como ratón (mouse) puntual, la capacidad de utilizar una superficie como representación táctil del escritorio con funciones multiplanos táctiles (multi touch) y reconocimiento de así como el software para lograr la comunicación gestual. El sistema humana media interface de comunicación gestual HMI en el sentido amplio tomando en cuenta sus respectivos procesadores y consideraciones físicas y ergonómicas pueden definirse como el conjunto de comandos y/o métodos o procedimientos que permiten la intercomunicación del programa con cualquier otro programa o entre partes (módulos) del propio programa o elemento interno o externo, de hecho los periféricos son controlados por interfaces, en programación de ordenadores se presenta el interface gráfico del usuario, que es un método para facilitar la interacción del usuario con el ordenador o la computadora a través de la utilización de imágenes y objetos pictóricos (iconos, ventanas, etc.), además de texto, y en electrónica telecomunicaciones y hardware, una interface (electrónica) es el puente (circuito físico), a través del que se reenvían o rciben señales desde un sistema o subsistema hacia otros, no existe un interface universal, sino que existen diferentes estándares (características comunes), con lo que la interconexión sólo es posible utilizando el mismo interface en origen y destino, en materia de hardware se encuentran términos que se refieren a las interfaces; puerto, puerto de datos, bus, bus de datos, slot, slot de expansión, también en materia de hardware, se considera interface al medio medir mediante el cual un disco duro se comunica con los demás componentes del ordenador, puede ser IDE, SCSI, USB, o Fireware. El sistema de la presente invención se utiliza en distintos en distintos contextos como: interface como instrumento, desdeesta perspectiva la interface es una "prótesis" o "extensión", de nuestro cuerpo; interfaxe como superficie; interface se considera como la interface que nos transmite instrucciones ("affordances"), que nos informan sobre su uso; interface como espacio, desde esta perspectiva la interface es el lugar de interacción, el espacio donde se desarrollan los intercambios.

Description

SISTEMA HUMANA MEDIANTE INTERFACE DE COMUNICACIÓN GESTUAL (HMI) CAMPO DE LA INVENCION Esta invención describe en general un sistema de interacción con la computadora que combina el reconocimiento gestual en las manos para funciones predeterminadas en el ordenador, el control de hasta dos punteros utilizando ambas manos como ratón puntual (mouse), la capacidad de utilizar una superficie como representación táctil del escritorio con funciones multi touch y el reconocimiento de voz, así como el software involucrado para lograrlo.

ANTECEDENTES DE LA INVENCION Actualmente en las se utiliza el teclado (keyboard) y el ratón (mouse) como los principales medios para comunicación entre el usuario y la computadora. Uno de los principales problemas que tienen estos dispositivos es que trabajan completamente independientes uno del otro.

La descripción del problema se realiza cuando el usuario trata de utilizar el teclado de la forma más eficiente posible, con la técnica de escritura conocida como mecanografía las teclas del abecedario (A-Z), la cual requiere que se utilicen las dos manos, acomodando las palmas de las manos en áreas definidas para utilizar el teclado; el problema es porque no se pueden mantener las manos en un solo lugar debido a que se deban mover alguna de las dos manos para poder utilizar el ratón, y luego moverlo y seleccionar lo que se desea, se coloca nuevamente en su lugar para poder utilizar el teclado.

El problema anterior se debe, a que constantemente hay que mover la mano del teclado hacia el ratón para poder utilizar los dos dispositivos y viceversa (mover la mano del ratón hacia el teclado) lo cual después de pasar varias horas utilizando estos dos dispositivos llega a ser muy cansado, El problema de la mecanografía no solo se encuentra al utilizar el ratón, sino también en la utilización del teclado en sí, debido a que la mecanografía abarca solo las teclas de la (A a la Z). la mecanografía no incluye las teclas de función que van desde la F1 hasta la F12, al igual que con las teclas de página, direccionales, alfanumérico, etc.

El problema anterior, también se refiere a las teclas de funciones adicionales como el control (CTRL) y el ALT, las cuales no están incluidas en la mecanografía, en las cuales, no es tan necesario mover la mano para alcanzar las teclas, pero aún así siempre es muy incomodo poder utilizarlas.

El tamaño estándar del teclado es ineficiente porque no todas las personas poseen las manos del mismo tamaño, lo cual hace que la técnica de la mecanografía sea ineficiente.

En el mercado actual existen cuatro tipos diferentes de ratón: 1) Ratón estándar 2) Track ball 3) Touch pad 4) Pointer y varios tipos de teclados y ninguno de los dispositivos mejora o evita estos problemas.

Por confusión con el término inglés "interfazear", "interfacear", suele utilizarse en muchos manuales de tarjeta madre (placa base o "mother board"), pero no debe tomarse esto como correcto ya que existe una palabra muy simple de referencia de este artículo.

Singular: ¡nterface en vez de interfaz (palabra inglesa) o interfase (entre fases).

Plural: interfaces, en vez de interfases (varias inter-fases).

En software, parte de un programa que permite el flujo de información entre el usuario y la aplicación, o entre la aplicación y otros programas o periféricos. Esa parte de un programa está constituida por un conjunto de comandos y métodos que permiten estas intercomunicaciones.

Interface también hace referencia al conjunto de métodos para lograr interactividad entre un usuario y una computadora. Una interface puede ser del tipo GUI, o líneas de comandos, etc. También puede ser a partir de un hardware, por ejemplo, el monitor, el teclado y el mouse, son interfaces entre el usuario y el ordenador.

En electrónica, en interface es el puerto por el cual se envían o reciben señales desde un sistema hacia otros. Por ejemplo, el interface USB, interface SCSI, ¡nterface IDE, interface puerto paralelo o serial, etc. es incorrecto el uso de "interface" como sinónimo de interface (o, en inglés, interfaz), interfase significa otras cosas en biología y físico-química.

En el lenguaje de programación Ctt, una interface de personas es la parte del interface informática que permite la circulación correcta y sencilla de información entre varias aplicaciones y entre el propio programa y el monousuario. Metafóricamente se entiende la interface como una conversación entre el usuario y la tarjeta madre (o entre el usuario y el diseñador de la misma): durante muy pocos años se vio a la interacción como una charla hombre-PC (para trabajar con una interface alfa era necesario conocer el "lenguaje" de las tarjetas conectadas en serie). Desde una perspectiva semiótica, los usuarios no dialogan con el sistema sino con su creador por medio de un complejo juego de estrategias (del diseñador y del usuario).

En sentido amplio, puede definirse interface como el conjunto de comandos y/o métodos que permiten la intercomunicación del programa con cualquier otro programa o entre partes (módulos) del propio programa o elemento interno o externo. De hecho, los periféricos son controlados por interfaces.

Para una mejor comprensión de esta acepción se tiene el siguiente ejemplo. Si extrapoláramos este concepto a la vida real, podríamos decir que el teclado de un teléfono sería una interface de usuario, mientras que la clavija seria la interfaz que permite al teléfono comunicarse con la tarjeta telefónica.

En programación de ordenadores también se habla de interface gráfica de usuario, que es un método para facilitar la interacción del usuario con el ordenador o la computadora a través de la utilización de un conjunto de imágenes y objetos pictóricos (iconos, ventanas...) además del texto.

En electrónica, telecomunicaciones y hardware, una interface (electrónica) es el puerto (circuito físico) a través del que se envían o reciben señales desde un sistema o subsistemas hacia otros. No existe un interface universal, sino que existen diferentes estándares (interface USB, interface SCSI, etc., que se establecen especificaciones técnicas concretas (características comunes), con lo que la interconexión sólo es posible utilizando el mismo interface en origen y destino. En materia de hardware encontramos términos que se refieren a las interfaces: puerto, puerto de datos, bus, bus de datos, slot, slot de expansión. También, en materia de hardware, se considera interface al medio mediante el cual el disco duro se comunica con los demás componentes del ordenador; puede ser IDE, SCSI, USB o fireware.

En química, una interface es la superficie entre dos fases distintas en una mezcla heterogénea.

En geología, una interface es una capa superficial o anómala que marca el punto de transición entre dos épocas o tipos geológicos.

Además la palabra interface también se utiliza metafóricamente en distintos contextos: 1. Interface como contexto: desde esta perspectiva la interface es una "prótesis" o "extensión" (McLuhan) de nuestro cuerpo. El mouse es un instrumento que extiende las funciones de nuestra mano y las lleva a la pantalla bajo forma de cursor. Así, por ejemplo, la pantalla de una computadora es una interface entre el usuario y el disco duro de la misma. 2. Interface como superficie: algunas consideran que la interface nos transmite instrucciones ("affordances") que nos informan sobre su uso. La superficie de un objeto (real o virtual) nos habla por medio de sus formas, texturas, colores, etc. 3. Interface como espacio: desde esta perspectiva la interface es el lugar de la interacción, el espacio donde se desarrollan los intercambios.

OBJETO DE LA INVENCIÓN Esta invención consiste en un sistema de interacción con la computadora que combina el reconocimiento gestual en manos para funciones predeterminadas en el ordenador el control de hasta dos punteros utilizando ambas manos como ratón (mouse) puntual, la capacidad de utilizar una superficie como representación táctil del escritorio con funciones multi touch ye el reconocimiento de voz, así como el software involucrado para lograr la interacción. El propósito de este sistema humano media interface de comunicación gestual de la presente invención con: a) El sistema de reconocimiento gestual, el cual se basa en un sistema integrado de reconocimiento de movimientos predeterminados en manos, para realizar diferentes funciones en el sistema como son: de navegación, atajos (keyboard shortcuts), teclado virtual, etc. b) El sistema de ratón (mouse) puntual, en el cual se utiliza el dedo índice como puntero a distancia con sus respectivos gestos en manos relacionadas así como dar click derecho o alt. c) El sistema de manipulación doble, el cual se consigue en base al software y elementos de electrónica únicos en guantes. Se basa en la capacidad de utilizar ambas manos como puntero sin necesidad de ninguna compatibilidad con programas, es decir, dos punteros en el escritorio, y las posibilidades que esto presenta. Esto se consigue dividiendo el mismo puntero en dos ubicaciones, dándole dos coordenadas distintas dependiendo de la ubicación puntual de cada dedo índice de la mano en tiempos muy cortos, consiguiendo así en una vista o manipulación general dos punteros aún cuando es el mismo. d) Sistema de multiplanos táctiles, el cual tiene la capacidad de actuar o desarrollarse en un área predeterminada previamente como puede ser la superficie de la pantalla del ordenador o cualquier otra superficie plana fija, como si se tratase de un sistema táctil que representa el escritorio coordenada a coordenada en el ordenador. e) Touch limo, el cual se consigue en base al software y elementos electrónica únicos en los guantes. Se basa en la capacidad de hacer hasta 10 trazos o clicks utilizando cada uno de los dedos sobre la superficie predeterminada previamente como táctil. Para esto se utiliza el mismo principio de micro tiempos en el mismo puntero (mandar a otra coordenada el puntero en tiempos muy cortos). f) Sistema de reconocimiento de voz, el cual se basa en el uso de sensores de reconocimiento de voz (micrófonos) y sus respectivos procesadores y software para poder ampliar la interacción y la experiencia de uso en el usuario, permitiendo así dar comandos simples de voz, shortcuts, deletreo de letras, para cualquier función no predeterminada o incluso dictado con software freeware (uso libre). Los sensores utilizados se basan en versiones fiables comerciales en el mínimo de tamaño disponible o con el suficiente capacidad para mantener la ergonomía del guante sin elevar demasiado los costos del sistema de reconocimiento de voz, cualquier sensor que supla la función especificada en el documento puede ser usado así como las variaciones o disposiciones de los mismos pata conseguir ergonomía y exactitud en la digitalización de los movimientos de manos. También se abre la posibilidad de diseñar estos sensores pensando específicamente las funciones aquí otorgadas para conseguir mayor exactitud o ergonomía.

BREVE DESCRIPCIÓN DE LAS FIGURAS.

La figura 1 , muestra la disposición posible de los sensores en la modalidad de digitalización electrónica directa, capaces de interpretar los movimientos de manos necesarios para diferentes funciones del sistema de la presente invención.

La figura 2, muestra un componente de autocalibración capaz de dar una medición distinta dependiendo del tamaño de la mano debido a la disposición de las falanges, en el sistema de la presente invención.

La figura 3, muestra una función del ratón (mouse) puntual de la modalidad de digitalización electrónica directa a través de los sensores capaz de ubicarse en el plano y definir su cambio de posición o de desplazamiento, en el sistema de la presente invención La figura 4, muestra un sistema HMI ya en funcionamiento en un plano definido con los circuitos electrónicos ya protegidos por el guante, en el sistema de la presente invención.

La figura 5, muestra el reconocimiento de un plano con otro diseño de sensores, y a través de otros principios, en este caso ópticos a través de la interpretación de las imágenes capturadas por las cámaras, en el sistema de la presente invención.

La figura 6, muestra el funcionamiento del sistema HMI utilizando cámaras receptoras en los guantes y su interacción con el software para su correcto funcionamiento, del sistema de la presente invención.

La figura 7, muestra el diseño de componentes en los guantes de otra modalidad para cumplir con las funciones del sistema de la presente invención a través de la utilización de cámaras externas en ubicaciones específicas cercanas o no a la pantalla con la que se interactúa.

La figura 8, muestra la ergonomía alcanzada con este diseño de componentes, así como la interacción de los piezoeléctricos se sobre entiende como la flexión de los dedos en contacto con la palma de la mano, en el sistema de la presente invención.

La figura 9, muestra la imagen interpretada por el sistema de la presente invención como funciones puntuales y el uso de los LETS para su fácil reconocimiento, La figura 10, muestra la interacción de los guantes con cámaras externas capaces de capturar la posición de los dedos desde diferentes ángulos, e ¡nteractuando con los sensores de presión y el software de interpretación, en el sistema de la presente invención.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN Funcionamiento de los elementos o componentes del HMI para la comunicación o reconocimiento gestual.

El sensor ultrasónico, con este sensor se definirán los cuatro puntos de referencia del plano donde se desea ubicar, para poder crear un mapa virtual sobre el que actuara el puntero. Se basa en la emisión de un sonido de frecuencia y amplitud conocida que al rebotar sobre un objeto, se mide el tiempo que se tardo en regresar la onda reflejada y con ello obtener una medida de la distancia entre el sensor y el objeto. Se utiliza para saber que tan cerca se encuentra el dispositivo de la pantalla para cambiar a modalidad tocar en vez de señalizar ademas de calibrar la relación de los ángulos y el desplazamiento dependiendo de la distancia, esta ubicado sobre la parte dorsal de la mano.

El acelerómetro. Este dispositivo junto con los circuitos eléctricos asociados se emplea para la medida de velocidad y desplazamiento, a través de este sensor se calcula los ángulos respecto a la horizontal de la mano, además de la determinación de formas de onda y frecuencia, su ubicación es en la parte dorsal de la mano.

La bobina de campo magnético. Al pasar corriente por un conductor este genera un campo magnético, la corriente se verá afectada a través de los campos magnéticos de los demás anillos así como en cualquiera de sus movimientos permitiendo interpretar cada uno de estos movimientos en falanges o la interacción con los otros dedos, permite calcular y digitalizar los movimientos en los dedos así como su flexión en las distintas falanges y su movimiento vertical u horizontal, su funcionamiento es a base de dos puentes de Wheasthone separados galvánicamente con un ángulo interno de 45 grados, una fuerza magnética rotativa de al menos 40 kA/m (kilo Amperes por metro) en la superficie paralela al chip (plano x-y) desarrollara dos señales sinusoidales independientes que da una medida acerca del ángulo que se hizo del movimiento con respecto al plano x-y.

El cable muscular. Su ubicación en el dispositivo seria en la parte superior de la mano encima de cada dedo, que al hacer flexión da una medida de la fuerza, con lo cual podemos saber que falange del dedo fue movida y así saber la posición de la mano en cuestión. Es un alambre que al circular una corriente eléctrica, tiene una flexión proporcional a la intensidad de corriente aplicada, cabe destacar que cuando se omite corriente el alambre permanece en el estado en que se flexiono hasta que pueda recuperar su longitud normal, pero esto lo hace mecánicamente.

El sensor de presión. Indica si existe o no existe contacto con el objeto que se definió previamente como por ejemplo, el plano de trabajo. Cuando se detecta presión y la distancia respecto al plano de trabajo es +/- 0.5 cm, se utiliza como indicador que se hizo un click en el plano.

El micrófono. Efectúa la transformación análoga a digital de la voz para su interacción con el ordenador.

En la figura 1 se muestra que para que se cree el reconocimiento gestual se emplean sensores ultrasónicos tubulares (1 ) para realizar la digitalización de los movimientos en los dedos o falanges, acelerómetros (2) para medir ángulos de velocidad, sensores de presión (3) y cables musculares (4) para simular hasta tacto así como para conseguir algunas mediciones necesarias para la digitalización de todos los movimientos de las manos, todo esto con sus respectivos procesadores y consideraciones físicas y ergonómicas basándose en el empleo de pequeños magnetos puntuales colocados en todas las posibles variaciones de las falanges que realizan una calibración física a las bobinas electromagnéticas, se varía nuevamente la corriente y voltaje interpretándolo en el sistema como un tamaño de mano, consiguiendo así una medición más confiable a pesar de las variaciones de los tamaños de las manos del usuario específico, mediante los sensores (1 ) ultrasónicos se definirán los cuatro puntos de referencia del plano donde se desee. Ubicar, para crear un mapa virtual sobre el que actúan el punto, basándose en la emisión de un sonido de frecuencia y amplitud conocida que al rebota sobre el objeto, se mida el tiempo que se tardo en regresar la onda reflejada y con ello obteniéndose una medida de distancia, entre el sensor y el objeto, se empleara para saber que tan cerca se encuentra el dispositivo de la pantalla para cambiar a modalidad tocar en vez de señalizar, además de calibrar la relación en los ángulos y desplazamiento dependiendo de la distancia, dicho sensor esta ubicado sobre la parte dorsal de la mano, también mediante un acelerómetro (2), este dispositivo que junto con los circuitos eléctricos asociados se emplea parta la medida de velocidad y desplazamiento, a través de dicho sensor se calculan los ángulos respecto a la horizontal de la mano, además de la determinación de formas de onda y frecuencia, la ubicación de los acelerómetros (2) es en la parte dorsal de la mano, también mediante cables musculares (4), los cuales se ubican en la parte superior de la mano encima de cada dedo, que al hacer flexión de una medida de fuerza, con lo cual se sabe que la falange del dedo fue movida y así saber la posición de la mano de que se trata, es un alambre (2) que al circular una corriente eléctrica tiene una flexión proporcional a la intensidad de corriente aplicada, cabe destacar que cuando se desconecta dicho alambre (2) la corriente, permanece es estado en que se flexiono hasta que pueda recuperar su longitud original o normal, pero esto lo hace mecánicamente. También mediante la bobina de campo magnético (3), al pasar corriente por un conductor este genera, la corriente se ve afectada a través de los campos magnéticos de los demás anillos (3) así como en cualquiera de sus movimientos permitiendo interpretar cada uno de éstos movimientos en falanges o la interacción con los otros dedos, permitiendo calcular y digitalizar los movimientos en los dedos así como su flexión en las distintas falanges y su movimiento vertical u horizontal, funcionando a base de dos puentes de Wheasthone separados galvánicamente con un ángulo interno de 45° (45 grados), una fuerza magnética rotativa de al menos 40 KA/m (kilo amperes por metro) en la superficie paralela al chip (plano X-Y), desarrollando dos señales sinusoidales independientes, que da una medida acerca del ángulo que hizo del movimiento con respecto al plano X-Y, también mediante sensores de presión (5) que determina si existe o no existe contacto con el objeto que se definió previamente como por ejemplo un plano determinado ubicado en X-Y, cuando detecta presión y la distancia respecto al plano determinado es +/- 0.5 cm, se utiliza como indicador que se hizo un click en dicho plano, su ubicación es en la parte de la yema de los dedos, también mediante un micrófono (6), que hace la transformación análoga a digital de la voz para su interacción con el ordenador y se ubica en la parte dorsal de la mano.

En la figura 2, se muestra que para que se cree el reconocimiento gestual un sustrato flexible con pequeños magnetos colocados sobre las posibles variaciones en la ubicación de las falanges causadas por la diversidad en los tamaños de la mano, su ubicación e interacción con los sensores en el HMI, se basa en la utilización de sensores de distancia sónicos infrarrojos (7), la triangulación del dispositivo y acelerómetro, así como la combinación de los sensores de reconocimiento gestual para dar la posición del sistema respecto a un plano definible, a través éstos será capaz de calcular con precisión la ubicación del puntero sobre el plano (representación o la pantalla misma).

En la figura 3, se muestra la función del mouse puntual en la modalidad de digitalizacion electrónica directa, a través de los sensores es capaz de ubicar en el plano y definir su cambio de posición o desplazamiento, se basa en la combinación de los sensores en el sistema, como lo son los acelerómetros (2), y los sistemas sónicos de triangulación y distancia (3), los sensores de presión (5), electromagnéticos, etc., para la digitalizacion de puntos en una superficie, es decir, el reconocimiento en cuanto a distancia que separan a puntos que delimitan un ángulo predefinido, logrando así definir los puntos que delimitan un área de trabajo utilizada como representación del escritorio, con el mismo principio ubica un nuevo punto dentro del área predeterminada y la relaciona con una coordenada en el escritorio consiguiendo así la interacción con dicha superficie como si se tratara de un sistema multitáctil.

En la figura 4, muestra otra modalidad para el reconocimiento gestual mediante la utilización del cable muscular para la digitalización de los movimientos en los dedos, sensores de contacto (8) en la junta y palma de la mano, para interpretar gestos de flexión del dedo en contacto con la palma o entre ellos y acelerómetros (2) para calcular ángulos distancias y velocidades, también la utilización de patrones en la imagen de la pantalla para ubicarse en el plano o calcular movimientos, con sus respectivos controladores y procesadores.

Donde su funcionamiento en un plano definido con los circuitos electrónicos protegidos por el guante, se lleva a cabo con: una cámara (9) cuya ubicación en el HMI es sobre la parte dorsal y realiza la captura de los movimientos de las manos mientras se tenga un punto de referencia fácilmente reconocible, la cámara digital (9) funciona a través de un sensor en la cámara (generalmente un CCD o un sensor CMOS), que responde a las señales de la luz, sustituyendo el trabajo de la película en fotografía tradicional, el sensor se compone de millones de "cubos" (pixeles) que se cargan en respuesta a la luz, generalmente estos cubos responden solamente a una gama limitada de longitudes de onda ligeras, debido a un filtro del color sobre cada uno; un acelerometro (2) el cual se emplea para capturar ángulos en todos los ejes y desplazamientos en las manos, su ubicación es en la parte dorsal, este dispositivo junto con los circuitos eléctricos asociad-os se usa para medida de velocidad y desplazamiento, además de la determinación de formas de onda y frecuencia; un sensor de presión o contacto de presión (5), el cual determina si existe o no existe contacto en la punta de los dedos para digitalizar algunos gestos, cuando se detecta presión a través del cierre del circuito, se interpretaran los sensores activados y sus señales para conseguir el reconocimiento gestual en la mano; el sensor de presión que determina o no contacto con la palma y los dedos, cuando detecta presión se interpretaran los sensores activados y sus señales para conseguir el reconocimiento gestual en la mano, esto puede ser un único sensor de presión o varios dispuestos en la palma de la mano para conseguir más información; un micrófono que hace la transformación análoga o digital de la voz para su interacción con el ordenador; y el cable muscular, se emplea para reconocer la flexión de los dedos en el reconocimiento gestual.

La figura 5 muestra la función del ratón (mouse) puntual que se basa en la utilización de pequeños sensores removibles ópticos así como leds colocados sobre la superficie o monitor y/o puntos específicos en la imagen de la pantalla reconocidos por las cámaras en los guantes para calcular distancias y desplazamientos en combinación con los sensores gestuales para reconocer su posición y movimiento respecto al plano o pantalla, donde su funcionamiento muestra el reconocimiento de un plano con otro diseño de sensores y a través de otros principios, en este caso ópticos a través de la interpretación de las imágenes capturadas por las cámaras, se lleva a cabo con: un acelerómetro (2) cuya ubicación es en la parte dorsal de la mano y buscará corregir y agregar información para el correcto posicionamiento del puntero, este dispositivo junto con los circuitos eléctricos asociados se usa para la medida de velocidad y desplazamiento además de la determinación de formas de onda y frecuencia; una cámara (9) su ubicación en el H MI es sobre la parte dorsal de la mano y en la muñeca, y realizan la captura del desplazamiento del dispositivo respecto a la pantalla y los sensores removibles así como la corrección de ángulos y ubicación del puntero general, la cámara digital funciona a través de un sensor en la cámara (generalmente un CCD o un sensor CMOS) que responde a las señales de luz, substituyendo el trabajo de la película en fotografía tradicional, el sensor se compone de millones de "cubos" (pixeles) que se cargan en respuesta a la luz, generalmente, estos cubos responden solamente a una gama limitada de longitudes de onda ligeras, debido a un filtro de color sobre cada uno; LEDs que emiten luz percibible por la cámara, para ser un punto de referencia en la ubicación del puntero al interactuar y comparara la información entre los sensores del lux; la pantalla o proyección; y el cable muscular, que se emplea para reconocer la flexión de los dedos y de esta forma aproximar el movimiento del dedo índice para dar mayor información del movimiento de éste.

La función de multiplanos táctiles se basa en la utilización de patrones visuales en la pantalla, colocados en la última ubicación del puntero sobre la pantalla que son reconocidos por las cámaras en los guantes para ubicarse en el plano a cortas distancias de la pantalla o imagen, así como la combinación de los sensores para reconocimiento gestual, utilizando los cables para dar una aproximación de ubicación de cada dedos y los sensores de presión para indicar el click sobre la pantalla.

En la figura 6, se muestra el funcionamiento del sistema HMI, utilizando cámaras receptoras en los guantes, y su interacción con el software para su funcionamiento correcto del HMI, que comprende: la representación del tacto simultaneo de los dedos en un área de trabajo definida; una pantalla a corta distancia; y el patrón visual colocado por el software para ubicar el sistema en el plano.

Para el diseño de componentes en la figura 7 se muestra otra modalidad del HMI para el diseño de los componentes en los guantes que muestran las funciones del sistema HMI a través de la utilización de cámaras externas en ubicaciones especificas o no a la pantalla con la que se interactúa, que se basa en un piezoeléctrico (14), que interacciona con las superficies como si fueran táctiles, indica la función de click, da información al software en tiempo real para el reconocimiento de gestos complejos, es un fenómeno representado por diferentes cristales que al ser sometidos a tensiones mecánicos adquieren una polimerización eléctrica en su masa, apareciendo una diferencia de potencial y cargas eléctricas en su superficie; los LEDs que identifican fácilmente los guantes y sus movimientos así como su distancia respecto a la cámara, es un dispositivo semiconductor (diodo) que emite luz incoherente de espectro reducido cuando se polariza de forma directa la unión PN del mismo, circulando por él una corriente eléctrica; el micrófono que transforma de análoga a digital la voz interaccionando con el ordenador; el transmisor RFC transmite la información del guante a la computadora de manera inalámbrica; y el microcontrolador programable que integra y controla los distintos componentes eléctricos en el guante.

Para la función de reconocimiento gestual se utiliza una cámara receptora frente a la pantalla y de guantes diseñados específicamente para facilitar el reconocimiento gestual por software, utilizando LEDs (de luz visible o infrarroja) a distancia y ubicaciones específicas así como también patrones visuales, mediante la utilización de piezoeléctrico que dan información en tiempo real al software y realizar gestos más complejos sin mayor requerimiento de procesamiento por el software de tal manera que la actividad de los piezoeléctricos se sobre entiende como la flexión de los dedos en contacto con la palma de la mano.

En la figura 8 se muestra la ergonomía alcanzada con el diseño de componentes de la figura 7, así como la interacción de los lentes, en una modalidad de la imagen que interpretaría el software, con los guantes con colores y patrones fácilmente capturables para la cámara y de reconocer por el software; un patrón para gestos y LED para fácil reconocimiento del dedo índice que se sobre entiende como la representación de todos los dedos; y un patrón para gestos y LEDs a distancia predefinida y colores fácilmente reconocibles.

La funcionalidad del ratón (mouse) puntual, se lleva a cabo mediante una cámara receptora frente a la pantalla y guantes diseñados, específicamente para facilitar el reconocimiento por el software de los patrones específicos para ángulos así como LEDs y/o patrones visuales y los diseñados para calcular la distancia como lo puede ser un dibujo o LEDs colocados a una distancia predefinida en el guante, de esta manera se hace una autocalibración realizada por el usuario a la hora de mover los punteros, utilizando los piezoeléctricos para facilitar las funciones de click así como también para la activación o desactivación y en general su funcionamiento con un menor uso de recursos por la computadora.

En la figura 9 se muestra la imagen interpretada por el sistema de funciones puntuales y el empleo de los LEDs para su fácil reconocimiento, con los guantes con colores y patrones fácilmente capturables por la cámara y de reconocer por el software; el patrón y LED fácilmente reconocible en el dedo índice para mover el puntero; y el patrón y LEDs fácilmente reconocibles para calcular la distancia.

También para el funcionamiento de multiplanos táctiles su funcionamiento se basa en la utilización de sensores de presión en los guantes y de dos cámaras colocadas en ángulos de visión tales que permitan digitalizar las coordenadas al activar los sensores en un área fácilmente reconocible por el software como lo puede ser una pantalla a una figura rectangular que sirva como representación del escritorio en el ordenador.

En la figura 10 se muestra la interacción de los guantes con cámaras externas capaces de capturar la posición de los dedos desde diferentes ángulos, e interactuando con los sensores de presión y el software de interpretación, donde en el sistema HMI óptico se activan los sensores de presión en un plano definido como superficie táctil con cámaras de captura y digitalización de coordenadas (17).

Claims (15)

REIVINDICACIÓN.

1. Sistema humada media ¡nterface (HMI) de comunicación gestual, que se basa en un sistema integrado del reconocimiento de movimientos predefinidos en las manos para realizar funciones como de navegación, atajos (keyboard, shortcuts), teclado virtual, etc., que comprende: a) un sistema de ratón (mouse) puntual; b) un sistema de manipulación doble; c) un sistema de multiplanos táctiles; d) un sistema touch limo; y e) un sistema de reconocimiento de voz, caracterizado porque el funcionamiento del ratón (mouse) puntual, es a base de sensores de distancia sónicos, infrarrojos, la triangulación del dispositivo y acelerómetros, así como la combinación de sensores de reconocimiento gestual para indicar la posición del sistema respecto a un plano definible, teniendo la capacidad de calcular con precisión la ubicación del puntero sobre el plano o pantalla; el funcionamiento de los multiplanos se basa en la capacidad de utilizar ambas manos como puntero sin necesidad de ninguna compatibilidad con programas, consiguiendo dividiendo el mismo puntero en las ubicaciones, dando las coordenadas distintas dependiendo de la ubicación puntual de cada dedo índice de la mano en tiempos muy cortos, consiguiéndose así en una vista o manipulación general dos punteros, aún cuando es el mismo; el funcionamiento de multiplanos táctiles, se basa en la combinación de sensores en el sistema, como los acelerómetros y los sistemas sónicos de triangulación y distancia los sensores de presión electromagnéticos, etc. , para la digitalización de puntos en la superficie, y el reconocimiento en cuanto a distancia que separan a puntos en un plano con un ángulo predefinido, definiendo los puntos que delimiten un área o plano de trabajo con una coordenada en el escritorio, de esta manera interaccionando con la superficie como si se tratara de un sistema multitáctil, el funcionamiento del touch limo, se basa en que el software y elementos de electrónica únicos en los guantes, tienen la capacidad de hacer hasta los trazos o clicks utilizando cada uno de los dedos sobre la superficie previamente definida como táctil, para esto se emplea el mismo principio de micro tiempos en el mismo puntero (mandar a otra coordenada el puntero en tiempos muy cortos); y el funcionamiento del sistema de reconocimiento de voz (micrófonos) y sus respectivos procesadores y software ampliando la interacción y la experiencia de uso en el usuario, dando comandos simples de voz, shortcuts, deletreo de letras para cualquier función no predefinida o incluso dictado con software freeware y donde además porque los sensores electromagnéticos realizan la digitalización de los movimientos en los dedos, los acelerómetros miden ángulos y velocidad, los sensores de presión y el cable muscular simulan el tacto así como para conseguir algunas mediciones necesarias para la digitalización de todos los movimientos de las manos, todo esto con sus respectivos procesadores y consideraciones físicas y ergonómicas.

2. Sistema humana ¡nterface (HMI) de comunicación gestual, de conformidad con la reivindicación 1 , caracterizado porque la disposición de los sensores en la digitalización electrónica directa interpretan los movimientos de las manos necesarios para diferentes funciones.

3. Sistema humana interface (HMI) de conformidad con la reivindicación 1 , caracterizado porque los sensores electromagnéticos son bobinas o conjuntos de anillos que calculan y digitalizan los movimientos de los dedos así como su flexión en las diferentes falanges y su movimiento vertical y horizontal.

4. Sistema humana interface (HMI) de conformidad con la reivindicación 1 , caracterizado porque los acelerometros se ubican en la parte dorsal de la mano.

5. Sistema humana interface (HMI) de conformidad con la reivindicación 1 , caracterizado porque los sensores ultrasónicos se ubican sobre la parte dorsal de la mano.

6. Sistema humana interface (HMI) de conformidad con la reivindicación 1 , caracterizado porque el cable muscular se ubica en la parte superior de la mano encima de cada dedo para la digitalización del movimiento de los dedos, sensores de contacto en la en la punta y palma de la mano, para interpretar gestos de flexión del dedo en contacto con la palma o entre ellos y acelerometros para calcular ángulos, distancias y velocidades, también la utilización como patrones en la imagen de la pantalla para ubicarse en el plano o calcular movimientos, con sus respectivos controladores y procesadores.

7. Sistema humana interface (HMI) de conformidad con la reivindicación 1 , caracterizado porque cuando en el sensor de presión detecta presión y la distancia con respecto al plano de trabajo es de ± 0.5 cm, utilizándose como indicador.

8. Sistema humana interface (HMI) de conformidad con la reivindicación 1 , caracterizado porque el micrófono hace la transformación análoga a digital de la voz para su interacción con el ordenador.

9. Sistema humana interface (HMI) de conformidad con la reivindicación 1 , caracterizado porque el reconocimiento gestual en manos en el ordenador, en el cual el control puede ser hasta de dos punteros utilizando ambas manos como ratón (mouse) puntual.

10. Sistema humana interface (HMI) de conformidad con la reivindicación 1 , caracterizado porque para conseguir algunas mediciones necesarias para la digitalización de todos los movimientos de las manos, se emplean sus respectivos procesadores y consideraciones físicas y ergonómicas.

1 1 . Sistema humana interface (HMI) de conformidad con la reivindicación 1 , caracterizado porque debido a la mano presenta un componente de autocalibración.

12. Sistema humana interface (HMI) de conformidad con la reivindicación 1 , caracterizado porque el reconocimiento de un plano con sensores (diferentes), a través de principios ópticos pueden ser a través de la interpretación de imágenes capturadas por cámaras.

13. Sistema humana interface (HMI) de conformidad con la reivindicación 1 , caracterizado porque se utilizan guantes con cámaras receptoras interactuando con software para su funcionamiento.

14. Sistema humana interface (HMI) de conformidad con la reivindicación 1 , caracterizado porque interpreta imágenes por el sistema de funciones puntuales para fácil reconocimiento.

15. Sistema humana ¡nterface (HMI) caracterizado porque hay interacción de los guantes con cámaras externas que capturan la posición de los dedos diferentes ángulos, interactúan con sensores de presión y el software de interpretación. RESUMEN El sistema humana media interface de comunicación gestual HMI es un sistema de interacción con cualquier sistema electrónico como puede ser un ordenador que combina el reconocimiento gestual en manos para el funcionamiento predeterminado en el ordenador, el control de los dos punteros empleando ambas manos como ratón (mouse) puntual, la capacidad de utilizar una superficie como representación táctil del escritorio con funciones multiplanos táctiles (multi touch) y reconocimiento de así como el software para lograr la comunicación gestual. El sistema humana media interface de comunicación gestual HMI en el sentido amplio tomando en cuenta sus respectivos procesadores y consideraciones físicas y ergonómicas pueden definirse como el conjunto de comandos y/o métodos o procedimientos que permiten la intercomunicación del programa con cualquier otro programa o entre partes (módulos) del propio programa o elemento interno o externo, de hecho los periféricos son controlados por interfaces, en programación de ordenadores se presenta el interface gráfico del usuario, que es un método para facilitar la interacción del usuario con el ordenador o la computadora a través de la utilización de imágenes y objetos pictóricos (iconos, ventanas, etc.), además de texto, y en electrónica telecomunicaciones y hardware, una interface (electrónica) es el puente (circuito físico), a través del que se reenvían o rciben señales desde un sistema o subsistema hacia otros, no existe un interface universal, sino que existen diferentes estándares (características comunes), con lo que la interconexión sólo es posible utilizando el mismo interface en origen y destino, en materia de hardware se encuentran términos que se refieren a las interfaces; puerto, puerto de datos, bus, bus de datos, slot, slot de expansión, también en materia de hardware, se considera interface al medio medir mediante el cual un disco duro se comunica con los demás componentes del ordenador, puede ser IDE, SCSI, USB, o Fireware. El sistema de la presente invención se utiliza en distintos en distintos contextos como: interface como instrumento, desdeesta perspectiva la interface es una "prótesis" o "extensión", de nuestro cuerpo; interfaxe como superficie; interface se considera como la interface que nos transmite instrucciones ("affordances"), que nos informan sobre su uso; interface como espacio, desde esta perspectiva la interface es el lugar de interacción, el espacio donde se desarrollan los intercambios.