MXPA03010271A - Sistema traductor del lenguaje de senas a voz. - Google Patents

Abstract

El sistema consta de un guante, un interfase, una pantalla de cristal liquido (LCD) y una bocina, que tiene la cualidad de ser portatil y de facil manejo. La operacion del guante es muy sencilla ya que basta colocarse el guante y realizar senas con la mano usando el lenguaje sordomudo y la interfase reconoce las palabras y reproduce el sonido correspondiente. La pantalla de LCD efectua una doble funcion: la primera esta disenada para personas que conocen el lenguaje de senas, ya que permite comprobar que estas corresponden a los sonidos emitidos; la segunda es para que quienes estan aprendiendo dicho lenguaje, ya que pueden verificar su aprendizaje.

Description

"SISTEMA TRADUCTOR DEL LENGUAJE DE SEÑAS A VOZ" ANTECEDENTES GUANTES DE DATOS Como sabemos hoy en día, uno de los accesorios más famosos para la realidad virtual es el guante de datos. El guante se utiliza para localizar la posición, la orientación de la mano y los dedos de las personas. Existen varios tipos de guantes comerciales, la principal diferencia que existe entre ello es la forma de sensar los movimientos de la mano así, como el tipo de sensores que se utilizan.

Existe una gran variedad de guantes virtuales con diferentes aplicaciones hoy en nuestros días. En la Figura 1 se muestra un sistema que captura los movimientos y los visualiza en la pantalla de una computadora. En la figura 2 se representa un sistema el cual consiste de dos guantes que permiten reproducir los movimientos del usuario para el modelado de piezas mecánicas. En la figura 3 se muestra una interfaz que permite captar los movimientos del guante, a través de un CPU se pueden almacenar y procesar.

Por ejemplo, dentro de la medicina del futuro, ya existen las cirugías virtuales las cuales se realizan con la ayuda de robots formando parte de los procesos de lo que hoy en día se conoce como telepresencia. A principios de los años 90's se comenzó con el diseño de guantes con las Imágenes virtuales, lo que permite al cirujano tener los guantes puestos y a través de ún robot reproducir exactamente sus movimientos en otro lugar del mundo. Este tipo de guantes tienen unas células especiales que van a imitar esos movimientos en el. robot, aunque también existen ya los cascos virtuales que pueden reproducir la visión del médico en el otro lugar, no necesariamente en el robot sino en otro médico que tenga también colocado un casco virtual. Y si en lugar de colocar las células receptoras en los guantes se colocan en un traje, las sensaciones que el médico en otro país practique, las va a sentir el colega que tiene puesto el traje.

SENSORES PARA EL DISEÑO DE GUANTES Los guantes de datos están constituidos de diferentes sensores, según la aplicación que se les dé. Se realizó una investigación de los sensores más usados para la elaboración dé guantes virtuales, entre los que encontramos los siguientes: · Sistema electromecánico. • Sistema con fibra óptica. • Sistema con sensores de curvatura. • Sistemas con galgas extensiométricas. • Entre otros.

SISTEMA ELECTROMECÁNICO Consta principalmente de un exoesqueleto montado sobre la mano sujetado a través de los dedos. Los enlaces son tales que las articulaciones del exoesqueleto varían como las articulaciones de los dedos. Los sensores que contienen este dispositivo en sus articulaciones mecánicas miden el cambio de posición angular, requiriendo un proceso de calibración al inicio de cada jornada (cada vez que se vaya a utilizar) ya que la posición puede cambiar de acuerdo a cada usuario. La Figura 4 muestra el guante con sistema Electromecánico.

SISTEMA CON FIBRA ÓPTICA Esta tecnología usa un conductor de fibra óptica sobre cada dedo como se muestra en la figura 5a, un emisor que manda la luz y un fototransistor que mide la intensidad de luz que llega al otro extremo. En los extremos de las articulaciones de los dedos, la pared de la fibra es tal que ninguna luz se absorbe cuando la fibra está recta (sin doblarse), en cambio, cuando la fibra se dobla las cantidades de luz disminuyen como se observa en la figura 5b. Normalmente las fibras ópticas se montan sobre un guante de licra, que ayuda a las fibras a moverse libremente conforme a los movimientos de los dedos, la desventaja de este sistema es que requiere de calibración al principio de cada jornada.

SISTEMA CON SENSORES DE CURVATURA Estos sensores constan de un substrato con una capa doble de tinta conductora que consiste de lotes de partículas de carbón; los sensores se colocan encima de cada dedo como se muestra en la figura 6a. Cuando el dedo dobla el substrato, la longitud de la superficie aumenta, esparciéndose las partículas de carbón provocando un aumento en la resistencia del sensor, ver figura 6b. Si el sensor se dobla en dirección opuesta entonces las partículas de carbón se juntan, reduciendo la resistencia del sensor. El cambio de resistencia es mucho mayor que en las galgas extensiométrlcas, pero la interfaz requerida es muy parecida a la del puente de Wheatstone.

SISTEMA CON GALGAS EXTENSIOMÉTRICAS Los sensores de presión o galgas extensiométricas están basados en la variación de la resistencia eléctrica cuando se deforman, ver figura 7. Estos sensores también se utilizan en combinación con otras piezas para detectar de forma indirecta esfuerzos pero en definitiva suelen usarse más como sensores de deformación. En la actualidad este tipo de sensores es muy empleado en los guantes de video juegos.

En la actualidad se emplean una gran variedad de guantes construidos con diversos sensores como los ya mencionados, sin embargo, las principales aplicaciones que a estos se les da es: en realidad virtual y en el área de bioelectrónica (particularmente en medicina). También existen algunos guantes desarrollados con la finalidad de servir de traductor para sordos como los que se mencionan a continuación: 1. En la Universidad de George Washington se desarrolla un guante electrónico que puede convertir el lenguaje de señas del inglés estadounidense a palabras habladas o escritas, el cual es denominado "AcceleGlove". El AcceGlove es una computadora que se puede conectar con un diminuto circuito electrónico. Los sensores del guante funcionan con un microcontrolador adherido al brazo de la persona. 2. En Colorado, Estados Unidos Ryan Peterson desarrolla un guante que puede interpretar los movimientos de la mano que constituyen el lenguaje de señas y luego traducirlos a texto en una pequeña pantalla, posteriormente ha refinado su invento. Reemplazando la computadora portátil por un pequeño módulo inalámbrico de receptor y pantalla.' Este sistema emplea un guante de golf al cual se le colocan 10 sensores en los dedos y la muñeca del guante, dichos sensores son bandas flexibles de plástico revestidos de carbón que hacen las veces de resistencias variables.

Como puede pensarse los guantes traductores descritos tienen un costo bastante elevado dado que ambos emplean una computadora, además de estar pensados para el lenguaje de señas del inglés estadounidense.

DESCRIPCIÓN El sistema que se ha desarrollado y al cual hemos denominado "Sistema traductor de lenguaje de señas a voz" es un sistema portátil constituido por un guante de tela elástica que cubre la mano en forma de guante hasta la muñeca y una banda del mismo material hasta el codo, en el cual se colocan sensores de flexión que en este caso son galgas extensiométricas, preferentemente uno en cada dedo, otro en la muñeca y otro más en el codo. Además emplea un sistema electrónico en el cual se almacena el programa encargado de reconocer las señas realizadas y mandarlas a los dos elementos de salida que presenta el sistema; un sistema desplegador de datos el cual en este caso va colocado a través de una banda en el brazo opuesto al que se tiene el guante, el cual nos permite visualizar el carácter que corresponde a cada seña para evitar errores. El otro elemento de salida es un sintetizador de voz que reproducirá los sonidos una vez que el usuario dé la señal de que los datos están bien.

En la siguiente descripción se presentan los detalles del diseño del guante traductor del lenguaje de señas a voz y se describe la operación de cada una de las partes que lo constituyen, así como las figuras correspondientes.

En la figura 8 se muestra el diagrama general del sistema, en el cual se pueden observar todos los componentes empleados: a) guante, b) tarjeta de acondicionamiento de las señales, c) la unidad central el cual opcionalmente puede ser el microcontrolador 68HC11 d) sistema desplegador de datos, preferentemente pantalla de cristal liquido también conocida como LCD, e) sintetizador de voz, f) circuito amplificador de audio g) bocina.

GUANTE PARA LAS SEÑAS Y ETAPA DE ACONDICIONAMIENTO El guante que preferentemente puede construirse de tela de licra para que no sea muy voluminoso y además se ajuste adecuadamente a la mano. Existe una capa de tela arriba del guante que es para introducir los sensores, en este caso las galgas extensiométricas. El guante esta constituido por sensores que se encuentran en este caso colocados uno en cada dedo, uno en la muñeca y el último en el codo siendo preferentemente siete sensores. Para el codo se uso una banda que se puede ajustar para brazos de diferente longitud, como se puede ver en la figura 9.

Los elementos en el guante se colocan según la mano, ya que en esencia estos se localizarían en las mismas zonas. Preferentemente se diseño el guante para la mano derecha, ya que con esa mano los sordomudos pueden decir la mayoría de las palabras y también es con esa mano con la que representan las señas del . alfabeto, y con esto podemos decir prácticamente cualquier palabra, solamente deletreándola.

Por medio de un control constituido de tres botones y un interruptor, el usuario puede manejar el sistema. El interruptor permite trabajar en dos modos de operación: modo carácter y modo palabra. El en modo carácter el usuario puede formar las señas del alfabeto y, en el modo palabra, puede formar señas que significan frases completas en el lenguaje de los sordomudos.

El primer botón del control permite indicarle al sistema que lea la seña que el usuario tiene formada con el guante; el segundo botón permite borrar la última seña formada para aquellos casos en los que el usuario haya formado incorrectamente una seña y, el último botón, indica al sistema que reproduzca en forma de voz la frase formada. En general con este control no necesitamos hacer todas las señas a una misma velocidad, esta opción se considera necesaria para aquellas personas que están aprendiendo el lenguaje de señas.

Para la etapa de acondicionamiento de las señales de los sensores se utilizo un amplificador de instrumentación básico, el amplificador diferenciador, debido a que es un diseño sencillo, no requiere una gran cantidad de dispositivos, su implementación es relativamente barata con respecto a otras y su respuesta es buena.

Para el circuito anterior se utilizaron diferentes valores de galgas extensiométricas, los valores utilizados varían de acuerdo a los sensores del mercado, empleando preferentemente de 10kQ a 60kQ, los valores empleados son los siguientes: R-, = 15kQ Rs = 10kQ V¡ = 2.5V DIGITALIZACIÓN DE SEÑALES Y RECONOCIMIENTO DE SEÑAS ADQUISICIÓN DE DATOS Para la adquisición de datos y problemas de control se comienza con la medición de cantidades físicas por medio de un sensor. La salida analógica del sensor es entonces una señal que necesita acondicionarse para ser aceptada por el microcontrolador. Con el microcontrolador, la señal analógica es convertida en su equivalente a digital a través del convertidor analógico a digital, también conocido como ADC que contiene el microcontrolador, por medio de programación el microcontrolador puede comparar el valor digital con algún valor predeterminado y realizar operaciones lógicas basadas en el resultado de la comparación o realizar cálculos matemáticos para obtener una salida adecuada al problema.

DIAGRAMA A BLOQUES DEL ALGORITMO PARA REALIZAR LA CONVERSIÓN ANALÓGICA - DIGITAL El ADC interno del microcontrolador 68HC11 se inicializa de forma que los 4 registros, en los que se almacena los valores digitales, tomen un solo canal para convertir, enseguida se genera un tiempo de espera de 64 para que el capacitor del ADC se cargue con el voltaje que presenta el sensor, después de la conversión se toma el valor digital y se almacena en un registro, se verifica si este proceso ya se realizo para las 7 señales analógicas, de no ser así se actualiza el registro para cambiar el canal de entrada analógico. Terminado el proceso se envían los 7 registros a la unidad de inferencia difusa para que se reconozca la seña.

UNIDAD DE INFERENCIA DIFUSA APLICADA AL SISTEMA TRADUCTOR DEL LENGUAJE DE SEÑAS A VOZ La unidad de inferencia difusa es la parte central del sistema traductor del lenguaje de señas a voz, ya que se encarga del reconocimiento de las señas del español y proporciona la salida hacia el sintetizador y el desplegador de datos. El desarrollo de una unidad de inferencia difusa en lenguaje ensamblador presenta un alto grado dé dificultad, por lo que es necesario utilizar un software capaz de desarrollar unidades de inferencia difusa. En este caso se emplea un programa llamado Fuzzy Inference Development Environment, también conocido como FIDE. Con FIDE se programan las reglas de Inferencia difusa que se han establecido para el reconocimiento de las señas, dicho programa se almacena en la memoria del microcontrolador, además presenta una interfaz amigable y el lenguaje que utiliza para programar la unidad es sencillo de comprender, asimismo, genera el código en lenguaje ensamblador para algunos convertidores digitales a analógicos.

DESARROLLO EN FIDE DE LA UNIDAD DE INFERENCIA DIFUSA PARA EL RECONOCIMIENTO DE SEÑAS El funcionamiento general del sistema de inferencia difusa del proyecto es el siguiente: las entradas del sistema son las 7 señales provenientes del guante. Estas señales son analógicas por lo que se reciben en el convertidor analógico a digital del microcontrolador para manejarlas como señales digitales. Una vez que se digitalizan las señales entonces éstas se manejan como variables de entrada para la unidad de inferencia difusa que se encarga de realizar el reconocimiento de la seña.

La variable de salida que se obtiene de la unidad de inferencia difusa es una letra o mensaje completo del lenguaje de señas que es enviado tanto, al desplegador de datos como al Sintetizador de Voz para la visualización y emisión en forma de voz, respectivamente, del mensaje formado por el usuario.

GENERACIÓN DE VOZ ARTIFICIAL Para generar la voz de forma artificial se utiliza un sintetizador, tales dispositivos son adecuados para el desarrollo de sistemas portátiles ya que se pueden conectar como dispositivos externos.

El manejo del sintetizador no es más que un problema de escribir frases en un archivo de texto e imprimirlo si está conectado al puerto paralelo de una computadora. Se dispone de comandos que controlan los atributos de la voz del sintetizador, como la rapidez y el tono, que pueden ser modificados incluso en el mismo momento en el que el sintetizador de voz está "hablando".

DESPLEGADOR DE DATOS Para visualizar los datos o información a la salida de un sistema o aplicación se puede utilizar algún sistema de desplegado como una pantalla de cristal líquido, ya que esta permite mostrar símbolos de forma clara en un espacio pequeño y su modo de operar es sencillo.

Las personas que tienen la discapacidad de hablar frecuentemente tienen otra discapacidad, no perciben sonidos, por lo que el Sistema Traductor del Lenguaje de Señas a Voz no les permitiría saber que es lo que realmente dicen, y en el caso de que la seña no fuese reconocida de acuerdo a lo establecido, se emitirían sonidos erróneos, es por eso que se implemento una pantalla de cristal líquido con la que se pueden visualizar las letras y/o palabras que se reconocen. Si por alguna razón la letra o palabra no concuerda con la seña formada se tiene la opción de borrar ésta y entonces se vuelve a formar la seña para reconocerla de nuevo. Esta mejora le permite al usuario tener más control sobre el sistema y éste a su vez tiene un mayor impacto sobre las personas que padecen de ambas discapacidades.

Las características esenciales del sistema desarrollado son: • Tiene capacidad para almacenar y visualizar caracteres. • La velocidad de reconocimiento de las señas puede ser variable. • Emplea una fuente de alimentación de corriente continua. • Puede reconocer letras del abecedario. · Puede reconocer palabras completas. • El sistema tiene un peso reducido.

En la figura 10, numeral se muestra el sistema traductor del lenguaje de señas a voz completo.

Claims (10)

REIVINDICACIONES Habiendo descrito de manera suficiente y clara mi invención, considero como una novedad y por lo tanto reclamo como de mi exclusiva propiedad, lo contenido en las siguientes cláusulas:

1. El sistema traductor del lenguaje de señas a voz constituido por las siguientes partes: a) Guante construido preferentemente de licra, en cuya parte superior se colocan los sensores, uno en cada dedo, uno en la muñeca y otro en el codo siendo preferentemente siete sensores. b) Sistema Electrónico constituido por una etapa de acondicionamiento y un etapa de procesamiento . c) Sistema de salida de señales formado por una salida de voz y una unidad de desplegado. Caracterizado por: V Almacenar y visualizar caracteres. Velocidad de reconocimiento de señas con un intervalo de 0.02 seg a 15 seg. Emplea un sistema de alimentación de corriente directa. Es portátil. Contiene un sistema de inferencia Difusa.

2. De acuerdo a la reivindicación 1 el guante puede poseer una banda para el codo que puede ajustarse a brazos de diferente longitud.

3. De acuerdo a la reivindicación 1 el sistema electrónico emplea preferentemente un microcontrolador 68HC11.

4. De acuerdo a la reivindicación 1 el sistema puede almacenar hasta 32 caracteres.

5. De acuerdo a la reivindicación 1 el sistema reconoce preferentemente letras y palabras.

6. De acuerdo a la reivindicación 1 el sistema emplea preferentemente una alimentación de ± 12 volts a base de baterías.

7. De acuerdo a la reivindicación 1 el sistema reconoce las señas a una velocidad óptima de 1 segundo.

8. De acuerdo a la reivindicación 1 el programa del sistema de inferencia difusa preferentemente se almacena en la memoria del microcontrolador.

9. De acuerdo a la reivindicación 1 el sistema de desplegado preferentemente es una pantalla de cristal liquido en la cual se visualizan preferentemente hasta 32 caracteres.

10. De acuerdo a la reivindicación 1 el sistema de salida de voz puede ser a través de un sintetizador de voz y una bocina .