MX2009000305A - Controlador virtual para presentaciones visuales. - Google Patents

Abstract

Se describen controladores virtuales para presentaciones visuales. En una implementación, una cámara captura una imagen de manos contra un fondo. La imagen se segmenta en áreas de mano y áreas de fondo. Varios gestos de mano y dedo aíslan partes del fondo en áreas independientes, que entonces se asignan con parámetros de control para manipular la presentación visual. Múltiples parámetros de control puede asociarse con atributos de áreas independientes múltiples formadas por dos manos, para el control avanzado que incluye funciones simultáneas de clic, seleccionar, ejecutar, movimiento horizontal, movimiento vertical, desplazar, arrastrar, movimiento giratorio, acercamiento, maximizar, minimizar, funciones de ejecutar archivo, y elecciones de ejecutar menú.

Description

CONTROLAPOR VIRTUAL PARA PRESENTACiONES VISUALES ANTECEDENTES Los movimientos de mano y señales de mano son formas naturales de expresiones humanas y comunicación. La aplicación de este conocimiento a interacción de humano-computadora llevó al desarrollo de técnicas de computadora basadas en visión que proporcionan gesticulación humana como entrada de computadora. La visión de computadora es una técnica que proporciona la implementación de sistemas de entrada de gesticulación humana con una meta de capturar movimientos no solucionados de manos o cuerpo de una persona. Muchas de las técnicas basadas en visión actualmente desarrolladas, sin embargo, involucran ejercicios difíciles que requieren gesticulación de mano no natural y equipo agregado. Estas técnicas pueden ser complicadas y voluminosas, lo que resulta en eficiencia disminuida debido a movimientos de mano repetidos lejos de ubicaciones de uso de computadora estándar. Los métodos de entrada de computadora actuales generalmente involucran tanto entrada de texto utilizando en teclado como manipulación de cursor a través de un ratón o pluma. El cambio repetitivo entre el teclado y el ratón disminuye la eficiencia para los usuarios con el tiempo. Las técnicas de visión de computadora han intentado mejorar la efectividad de tareas de entrada de humano-computadora utilizando movimientos de mano como entrada. Esta utilización será más efectiva en la detección ocurrida en ubicaciones de mano actuales durante el uso de computadora, tal como el teclado. Muchas de las técnicas de computadora basadas en visión actuales emplean el uso de un dedo señalado o extendido como el gesto de entrada. Las dificultades que detectan este gesto de mano en o cerca de la ubicación de teclado resultan debido a la similitud del gesto de señalamiento a la posición de mano natural durante la escritura. La mayoría de las técnicas de visión de computadora actuales utilizan detección de gesto y rastrean paradigmas para percibir gestos de mano y movimientos. Esta detección y paradigmas de rastreos son complejos, al utilizar técnicas de reconocimiento de patrón sofisticadas para recuperar la forma y posición de las manos. La detección y rastreo se limita por varios factores, que incluyen dificultad a lograr complejidad computacional razonable, problemas con detección real debido a las ambigüedades en movimientos y gestos de mano de humano, y una falta de soporte para técnicas que permiten interacción de más de un usuario.

BREVE DESCRIPCION DE LA INVENCION Esta breve descripción se proporciona para introducir características y conceptos simplificados de controladores virtuales de presentaciones visuales, que además se describe más adelante en la Descripción detallada. Esta breve descripción no pretende identificar características esenciales del tema reclamado, ni pretende utilizarse para determinar el alcance del tema reclamado. En una implementación de un controlador virtual para presentaciones visuales, una cámara u otro sensor detecta una imagen de una o más manos contra un fondo. La imagen se segmenta en áreas de mano y áreas de fondos y en varios intervalos las distintas áreas "orificios" de fondo independiente formadas en la imagen por el pulgar y un dedo que hace un anillo cerrado se cuentan (por ejemplo, un orificio puede crearse por cada mano). El pulgar y el dedo índice, cuando se utilizan en esta forma se denominan como una "interfase de pulgar y dedo índice" (TAFFI). Otros tipos de interfases de mano y dedos son posibles. Al menos un parámetro de control entonces se asigna a cada orificio reconocido, o área independiente del fondo en la imagen capturada, el parámetro de control típicamente que permite a la mano del usuario manipular algún aspecto de una imagen presentada en una pantalla o monitor. Por ejemplo, una fusión de elle de ratón puede asignarse como el parámetro de control cuando un pulgar y dedo índice de una mano se tocan entre si para crear un área de fondo visualmente independiente. Los parámetros de control pueden asignarse para que la imagen presentada cambie en relación a cada cambio en una forma y/o una posición del área independiente asociada con el parámetro de control, o en relación con el área independiente que se forma o no se forma (un alto estado cuando el pulgar y el dedo índice se tocan y un bajo estado cuando el pulgar y dedo índice se abren).

BREVE DESCRIPCION DIBUJOS Los mismos números se utilizan a través de los dibujos para hacer referencia a características y componentes similares: la Figura 1 es un diagrama de un sistema basado en computadora ilustrativo en donde un controlador virtual ilustrativo para una presentación visual puede implementarse. La Figura 2 es un diagrama de bloques de un sistema de controlador virtual ilustrativo. La Figura 3 es un diagrama de una segmentación de imagen utilizado en el segmentador ilustrativo del sistema de controlador virtual de la Figura 2. La Figura 4 es un diagrama de un control de interfases de pulgar y dedo índice ilustrativo. La Figura 5 es un diagrama de flujo de un método ilustrativo para controlar una presentación visual con gestos de mano y dedo.

DESCRIPCIÓN DETALLADA Vista General La descripción describe controladores virtuales para presentaciones visuales. En una implementación, un sistema ilustrativo proporciona navegación de una presentación, tal como la interfase de usuario visual típica de un monitor de computadora, al utilizar técnicas de computadora basadas en visión como se aplicó a gestos de mano y dedo. En una implementación , un usuario escribe en un teclado y entonces, por ejemplo, invoca una "interfase de pulgar y dedo índice" o "TAFFI" al pausar el teclado que escribe y simplemente tocar un pulgar y un dedo índice de una mano juntos (como si sostuviera una aguja). El sistema ilustrativo percibe este evento y asigna parámetros de control a atributos del área independiente del fondo formado por el gesto de dedo, con el fin de controlar una imagen de la presentación visual. "Virtual" o "controlador virtual" se refiere a la ausencia de un aparato es en contacto físico con la mano del usuario. De esa forma, en una implementación, el controlador virtual consiste de una cámara colocada sobre las manos y teclado y lógica asociada para derivar una o más interfases de la imagen visual de las manos del usuario. La segmentación separa los objetos de mano del fondo (por ejemplo, que incluyen teclado). Si el usuario toca el dedo índice con el pulgar (TAFFI, anteriormente) el sistema reconoce y tabula el área independiente de fondo creada por este gesto de mano. Es decir, el sistema reconoce que una pieza del fondo se aisló visualmente del resto del fondo principal por el pulgar y el dedo índice que se tocan para ser un "anillo" cerrado completo que encierra "orificio de dona" eléctricamente formado del área de fondo. La detección de una imagen visual por medio de otra cámara de computadora también es posible. Por ejemplo, un orden 2D de electrodos o antenas insertados en un teclado o una tabla pueden "formar la imagen" del gesto de mano que utiliza técnicas electroestáticas o de RF y procesase en una forma similar para capturar la imagen de una cámara . En una implementación, un área de fondo independiente se reclama para ser un objeto visual distinto cuando se desconecta visualmente o aisla de otras partes del fondo por las áreas de mano, o en una variación, por áreas de mano en la imagen y/o el borde de imagen. Cuando la imagen(s) de las manos y dedos delimitan la entidad para determinar bordes de un área de fondo independiente, entonces el área de elipse entre el pulgar y el dedo índice de una mano que se crea cuando el pulgar y el índice "se cierran" (tocándose entre sí) se cuenta como un área de fondo independiente nueva aproximadamente al momento en el que el pulgar y el dedo índice se tocan. La nueva área de fondo independiente puede considerarse un "componente conectado" dentro de la técnica de análisis de componente(s) conectado. Tales componentes conectados, o nuevas áreas "orificios" de fondo independiente se denominarán aquí como "áreas de fondo independiente" o sólo "áreas independientes". Se debe entender que esa terminología se refiere a un objeto visual que se reclama distinto, por ejemplo, dentro del área de análisis de com ponente(s) conectado. Cuando el pulgar y el dedo índice "se abren", el área de fondo independiente recientemente formada se evapora y una vez de nuevo se vuelve parte de un área de fondo independiente mayor. En términos de la técnica de análisis de componentes conectados, un componente conectado es un grupo de pixeles en una imagen binaria con atributos similares que se agrupan a cuenta de la similitud de atributo. Cada componente conectado frecuentemente corresponde a un objeto visual distinto como se observo por un observador humano. Cada parte de fondo que es visualmente independiente de otras partes del fondo por parte de la mano o áreas de dedo de la imagen pueden definirse como un área independiente o, en el lenguaje de análisis de componentes conectados, como un componente conectado recientemente formado distinto del componente conectado de fondo. Por supuesto, otras implementaciones pueden utilizar los movimientos de tocar de otros dedos de la mano para formar un "orificio" o "área independiente". De esta forma, "TAFFI" debe construirse separadamente para significar una configuración de dedo(s) y mano(s) que aisla visualmente parte del fondo del resto del fondo general. Por ejemplo, el pulgar y otro dedo de la mano de mano, o sólo dos dedos sin el pulgar, también puede formar una interfase de "TAFFI". Para dirigir la descripción, sin embargo, las implementaciones típicamente se describirán en términos de "pulgar y dedo Índice". Una vez que el módulo de detección distingue la nueva área de fondo independiente del área de fondo general, el sistema asocia él área independiente recientemente reconocida con uno más parámetros de control que permiten al usuario manipular una imagen presentada en la interfase de usuario visual. La imagen presentada en la interfase de usuario visual puede cambiar a través del parámetro de control mientras se rastrea la posición, forma, e incluso existencia del área de fondo independiente. En una implementación, un sistema ilustrativo proporciona detección de más de un área independiente, que permiten a un usuario el control de la imagen presentada en múltiples parámetros de control, en donde pueden participar una o ambas manos. La asociación de múltiples parámetros de control con múltiples áreas independientes permite el control de la imagen presentada con relación a cambios en forma, posición, y existencia de cada área independiente detectada. De esa forma, la manipulación de la imagen presentada puede incluir el control de clic, selección, ejecución, movimiento horizontal, movimiento vertical, desplazamiento, arrastre, movimiento horizontal, zoom, maximizar y minimizar, funciones de archivo, despliegue y uso de menú, etc. Además, los parámetros de control también pueden asignarse a relaciones entre múltiples áreas independientes reconocidas. Es decir, ya que dos áreas independientes se mueven en relación entre sí, por ejemplo, varios parámetros de control pueden unirse a la distancia entre ellos. Por ejemplo, mientras las áreas independientes de cada mano se mueven lejos de una de otra la imagen puede aumentarse o reducirse, o puede disminuir en dimensión o vector en donde la distancia entre las áreas independientes cambia. Mientras las características y conceptos de los sistemas y métodos descritos para controladores virtuales pueden implementarse en muchos ambientes diferentes, implementaciones de controladores virtuales se describen en el contexto de los siguientes sistemas y ambientes ilustrativos.

Ambiente ilustrativo la Figura 1 ¡lustra un sistema ilustrativo 100 en donde pueden implementarse técnicas de interfase de controlador virtual, tal como la interfase de dedo pulgar y dedo índice, TAFFI, introducir anteriormente. El sistema ilustrativo 100 incluye una "imagen de presentación" 102 en una interfase de usuario visual (monitor, pantalla o "presentación" 103), una cámara 104 acoplada con un dispositivo de cómputo 105, un ratón 106, un teclado 108, manos de usuario 110 mostradas en contexto (no parte del hardware de sistema, por supuesto), y un área visualmente independiente 112 formada por la mano de un usuario 110(1) que se utiliza como TAFFI. La cámara obtiene una imagen capturada 114 de las manos para utilizarse por una máquina de TAFFI ilustrativa 115. (La imagen capturada 114 se muestra solamente para propósitos descriptivos, el sistema ilustrativo 100 no necesita presentar lo que la cámara capturó). El sistema de cómputo 105 aloja la máquina de TAFFI 115 por un dispositivo de cómputo de escritorio, portátil, PDA, u otros 105 que puede incorporar exitosamente entrada de una cámara 104 para que la máquina de TAFFI 115 pueda detectar ciertos gestos de manos y utilizar estos como entrada de interfase de usuario. La cámara 104 captura una imagen de una mano 110 (1) que 1 o comprende una TAFFI mientras la otra mano 110(2) permanece en una posición de escritura "convencional" (no TAFFI). La imagen capturada 114 exhibe la detección de un área independiente 112 para la mano 110(1) que forma la TAFFI, pero ninguna detección del área independiente para la mano 110(2) que aún escribe o utiliza un ratón para entrada de ingreso adicional. La detección del área independiente 112 por la cámara 104 se presenta como un área obscurecida (112) en la imagen capturada 114. La imagen capturada 114 demuestra una fase en el proceso que se describirá adicionalmente más adelante, en donde el sistema ilustrativo 100 separa las mano 110 y el fondo en áreas continuas, segmentadas, tal como un área de fondo grande, las áreas de mano, y el área de fondo más pequeño que constituyen el área independiente 112 formada por TAFFI de la mano 110(1 ). El sistema 100 puede ser un sistema basado en visión ("visión de computadora") que proporciona control de la interfase de usuario visual a través de la entrada de gesto de mano detectada por la cámara 104 u otro sensor. En otras palabras, el sistema ilustrativo 100 puede controlar la salida de presentación de interfase de usuario visual de muchos tipos diferentes de programas o aplicaciones que pueden operar en un dispositivo de cómputo, que incluye presentaciones basadas en web. De esa forma, el sistema ilustrativo 100 puede reemplazar dispositivos de entrada de usuario convencionales, tal como un ratón 106 y si es deseable, el teclado 108, que incluye sus funciones o seleccionar, mover, y cambiar objetos presentados en la interfase de usuario visual 102, o incluso ingresar texto. El controlador virtual detecta gestos y movimientos de mano particulares como entrada de usuario En la modalidad ilustrada, la cámara 104 utilizada para detección se coloca en algún lugar sobre las manos y teclado, unido a la presentación 103. La cámara 104 colocada en esta posición posee un campo de visión que cubre al menos la mayoría del teclado 108 y se enfoca aproximadamente en el plano de las manos de usuario 110 en la posición de escritura normal. En una implementación, las luces tal como LEDs infrarrojas o visibles, pueden colocarse para iluminar las manos 110 y teclado 108 y también pueden colocarse para mitigar los efectos de cambiar iluminación ambiental. En algunos casos, la luz ambiental puede ser suficiente, para que no se necesiten luces extra para que la cámara obtenga una imagen. En variaciones, la cámara 104 y/o luces extra pueden colocarse entre varias teclas del teclado 108, para que la cámara 104 se oriente hacia arriba y sea capaz de detectar gestos y movimientos de mano de las manos sobre el teclado 108. Un ejemplo de una cámara 104 que puede utilizarse en el sistema ilustrativo ilustrado 100 es una cámara web de LOGITECH 104 que adquiere imágenes de escala de grises de resolución completa a una velocidad de 30 Hz (Freemont, California). El área 104 puede fijarse al teclado 108 ó presentación 103, o en donde también sea adecuado. En el ambiente ilustrativo 100, una mano de usuario 110(1) puede formar una TAFFI, que crea un área visual independiente del resto del área de fondo cuando se tocan el pulgar y el dedo índice. En una implementación, la TAFFI potencial y la presencia o ausencia de una o más áreas independientes 112 se detectan por una rutina de procesamiento de imagen de tiempo real que se ejecuta en el dispositivo de cómputo 105 para monitorear y determinar continuamente el estado de ambas manos 110, por ejemplo, ya sea que las manos 110 escriben o forman un gesto para entrada. Esta rutina de procesamiento primero puede determinarse si están en contacto el pulgar y el dedo índice de un usuario. Sí los dedos están en contacto lo que causa una independiente 112 de una formación de TAFFI para reconocerse, la posición del contacto puede rastrearse bidimensionalmente. Por ejemplo, la posición del contacto de pulgar y dedo índice puede registrarse en la computadora 105 como la posición de la flecha indicadora, o la posición de cursor. Este reconocimiento de la posición de formación de TAFFI y su área independiente asociada 112 de esa forma se utilizan para establecer posición de cursor y para controlar la imagen presentada, en una implementación. Los movimientos de mano rápidos que producen un área independiente 112, en donde se forma, no se forma, y entonces se forma de nuevo el área independiente 112 dentro de un intervalo de tiempo, puede simular o imitar "dar clic" de un ratón y permite a un usuario seleccionar un artículo que se presenta. La formación, deformación, y formación de nuevo rápida de un área independiente 112 además puede permitir que el usuario arrastre o desplace porciones seleccionadas de la imagen presentada, modo un objeto en direcciones horizontales, verticales, o diagonales, gire, aumente, etc. la imagen presentada 102. Adicionalmente, en una implementación , mover la TAFFI que se formó en una independiente 112 más cerca de o más lejos de la cámara 104 puede producir el aumento y disminución de la imagen presentada. El control de una imagen presentada a través de múltiples TAFFIs puede involucrar más de una mano 110. El sistema ilustrativo ilustrado 100 de la Figura 1 es una modalidad de control de TAFFI en donde la manipulación de imagen procede de una TAFFI de una mano 110(1) mientras la mano opuesta 110(2) escribe y realiza otras tareas de entrada en el teclado 108. En otra modalidad del control de TAFFI, ambas manos 110 pueden formar TAFFIs respectivas, que resultan en la detección de al menos dos áreas independientes 112 por la cámara 104. El control de TAFFI con dos manos puede proporcionar control de entrada para navegación sintonizada fina de interfase de usuario visual. El acercamiento de dos manos proporciona manipulación de imagen de múltiples direcciones además de acercamiento, alejamiento, y movimientos giratorios, en donde la manipulación es más sofisticada debido a la interacción de las áreas independiente 112 de múltiples TAFFIs con relación entre sí.

Sistema ilustrativo La Figura 2 ilustra varios componentes del sistema de controlador virtual ilustrativo 100. La configuración ¡lustrada del sistema de controlador virtual 100 sólo es una distribución ilustrativa. Muchas distribuciones de los componentes ilustrados, u otros componentes similares son posibles dentro del alcance del tema. El sistema de controlador virtual ilustrativo 100 tiene algunos componentes, tal como la máquina de TAFFI 115, que puede ejecutarse en hardware, software, o combinaciones de hardware, software, firmware, etc. El sistema ilustrativo 100 incluye hardware 202, tal como la cámara 104 u otro sensor de imagen, teclado 108, y presentación 103. La máquina de TAFFI 115 incluye otros componentes, tal como un segmentador de imagen 204, un rastreador de área independiente 206, una máquina de parámetro de control 208, que incluye un módulo de enlace 210. En una implementación, la cámara 104 detecta una imagen interpretada como una o más manos 110 contra un fondo. Los píxeles de la imagen capturada 114 incluyen valores de contraste de un atributo que se utilizará para distinguir las manos 110 en la imagen del área(s) de fondo en la imagen. Los atributos que se pueden elegir para contrastar manos desde el fondo pueden incluir brillo, escala de grises, intensidad de componente de color, valor plano de color, valor de píxel de vector, valor de índices de mapa de color, etc. En variaciones, la cámara 104 puede utilizar uno u otro de estos atributos para distinguir pixeles de mano de pixeles de fondo, por ejemplo, dependiendo de si se utiliza iluminación infrarroja en lugar de espectro visible típico. Algunas veces, obtener la imagen capturada 114 que utiliza resultados infrarrojos en las manos de la mayoría de la gente de diferentes tonos de piel que aparece con contraste similar al fondo sin importar las variaciones en color y tono de piel en el espectro visible debido a la diferencia en raza, bronceado, etc. De esa forma, la detección de manos contra un fondo en la imagen puede realizarse rápidamente en el infrarrojo sin considerar tonos de piel visibles. El segmentador 204 de ésa forma separa la imagen capturada 114 en una o más áreas de mano 110 y el área(s) de fondo, por ejemplo, por segmentación de imagen binaria de acuerdo con los atributos de contraste o brillo descritos anteriormente. La segmentación de imagen binaria distingue pixeles de área de fondo de pixeles de cualquier otro objeto o área (de frente) presenta en la imagen capturada 114. En una implementación, el segmentador 204 separa una imagen al primero determinar pixeles que corresponden al área de fondo. Los pixeles del área de fondo cada uno se asignan con un valor, tal como "unos" binarias (1s). Los pixeles restantes en la imagen capturada 114 cada uno se asigna con un valor diferente, tal como "ceros" (Os). La Figura 3 ilustra un ejemplo 300 de segmentación de imagen binaria realizada por el segmentador 204. La imagen capturada 110 incluye un objeto de fondo 302 y un objeto de mano 304 en el frente.

Una variedad de técnicas existen para producir imágenes segmentadas, la mayoría de las cuales con bien conocidas en la técnica. En una implementación, el segmentador 204 discierne los pixeles del área de fondo de los pixeles de cualquier otra área u objeto que está presente en la imagen capturada 114 o en el ejemplo 300. La distinción de pixeles en una imagen binaria se realiza al considerar cada pixeles que corresponde al fondo como "encendido", o como un valor particular, tal como "uno". Cada otro valor de píxel en una imagen entonces puede compararse con el valor de la imagen de fondo almacenada. Cualquier otro valor de píxel que es significativamente más brillante que el valor de píxel de fondo correspondiente se reclama parte de una nueva área u objeto de imagen, y se etiqueta "apagado", o dado un valor diferente, tal como "cero". El ejemplo 300 también puede ilustrar distinción del área de fondo 302 de otras áreas de una imagen, como una diferencia de color. El área de fondo 302 se muestra como un color más oscuro que es igual a un primer valor. El objeto de mano 304 mostrado como un color más claro es igual a un segundo valor, que lo distingue del área de fondo 302. Regresando a la Figura 2, el rastreador de área independiente 206 determinar, en intervalos de tiempo fijos, un número de áreas independientes 112 del fondo. Cada parte del fondo que es independiente visualmente de otras partes de fondo por al menos parte de las áreas de mano que no son de fondo (o el borde de imagen) se define como un área independiente 112. Para cada área independiente 112 percibida, el rastreador de área independiente 206 encuentra un área de "1" píxeles completamente rodeado por "0" píxeles (es decir, ya no continuamente conectados al resto de "1" píxeles que comprenden el fondo principal). En otras palabras, el rastreador de área independiente 206 encuentra el área de fondo aislado que se limita por un gesto de pulgar y dedo índice que se tocan de una TAFFI . La detección exacta de un área independiente 112 como un área separada del fondo que indica la intención del usuario de seleccionar un objeto en la pantalla 103, por ejemplo, puede asegurarse cuando el área independiente yace completamente o dentro del la imagen capturada 114 percibida por la cámara 104, es decir, cuando ninguna porción del área independiente 112 yace sobre el borde de la imagen capturada 114. Sin embargo, en un implementación, una variación del rastreador de área independiente 206 puede percibir un área independiente 112 incluso cuando parte del área independiente 112 está "fuera de pantalla", no incluida como parte de la imagen capturada 114. Esto puede realizarse al definir un área independiente 112 como un área de fondo cortada del fondo principal por parte de una mano 110 ó por parte del borde de la imagen capturada 114. Pero esto sólo es una variación de cómo delimitar un área de fondo independiente. Una vez que la existencia de una o más áreas independientes se establece, el módulo de enlace 210 asocia un parámetro de control para la manipulación de una presentación de imagen visual 102 en una interfase de usuario con cada área independiente contada. La manipulación puede incluir un número de mecanismos, que incluyen control de cursor dentro de una interfase de usuario visual. El control de cursor de una presentación de imagen visual 102 puede realizarse, pero sólo cuando el área independiente se detecta y asocia con el parámetro de control. Si la detección del área independiente cesa, la asociación de parámetro de control cesa, y el control de cursor y manipulación se deshabilitan . El control de cursor puede incluir un número de manipulaciones, que incluyen una acción de "clic" que indica entrada de un ratón. La acción de clic proporciona la selección de una porción deseada de la presentación de imagen visual 102, rastrear y arrastrar, y movimiento y control de dirección múltiple del cursor. El módulo de enlace 210 proporciona asociación de parámetro de control específico con un gesto de mano o dedo o con un cambio de gesto. Una vez que se asigna un parámetro de control o se asocia con un gesto de mano o dedo, entonces el motor de parámetro de control 208 además pueden matizar como el gesto de mano y el parámetro de control se relacionan entre sí. Por ejemplo, simplemente tocar el pulgar con el dedo índice puede utilizarse como "encendido-apagado", interfase o cambio binario, alto-bajo, u otros dos estados. Mientras un atributo de gesto de mano que puede cambiar continuamente puede asignar separa proporcionar control variable en una manipulación de imagen de presentación, tal como movimientos graduales de la imagen de presentación 102 en un continuo. Cuando el módulo de enlace 210 asigna un parámetro de control variable para controlar la imagen presentada 102, por ejemplo, con relacionan a cambios en forma o posición de un área independiente correspondiente, el aspecto de variación puede realizarse al calcular la posición media de todos los píxeles que pertenecen a cada área independiente y entonces rastrear los cambios en la posición de la forma creada cuando una mano forma una TAFFI. El movimiento de la mano altera la orientación de las formas de elipse de las áreas independientes y causa cambios correspondientes en el atributo de presentación asociados con el parámetro de control asignado.

Control de una Imagen Presentada La Figura 4 muestra un ejemplo de TAFFI 400 ilustrada con el contexto de una imagen capturada 114. La parte ilustrada de la imagen capturada 114 incluye un área de fondo 302, un área de objeto de mano 110, un área independiente 112, y un borde de imagen 408. Cada una de las áreas 302, 110, y 406 pueden describirse como áreas conectadas distintas, o componentes conectados. La máquina de TAFFI 115 distingue el área independiente 112 de los otros componentes conectados 302 y 110. Una máquina de TAFFI 115 de esa forma puede utilizar el cálculo de los componentes conectados de una imagen como la base para im plementación de un controlador virtual para presentaciones visuales. En mayor detalle, los componentes conectados son un subgrupo de pixeles o una región de una imagen en donde se "conecta" cada pixel" con otro pixel en el subgrupo. El término "conectado" denota un grupo de pixeles para los cuales es posible alcanzar cada pixel de cualquier otro pixel al atravesar pixeles que pertenecen al grupo. Las técnicas eficientes actualmente existen para calcular un grupo de componentes conectados en una imagen. Las técnicas de componente conectadas pueden ser avenidas eficientes para determinar propiedades de formas en una imagen debido a que permiten el examen de pequeños grupos de componentes que consisten de muchos pixeles dentro de los pixeles de la imagen completa. El proceso de calcular componentes conectados puede surgir para la detección de componentes conectados externos. Estas detecciones no necesarias pueden confundir la determinación de áreas independientes relevantes formadas por TAFFIs u otras otras interfases ilustrativas, y por lo tanto impedir la implementación de un controlador virtual en una implementación, detección externa de componentes conectados extra que puede superar descartar componentes conectados que tienen un número de pixeles menor que un umbral permisible predeterminado. En una implementación, la máquina de TAFFI 115 verifica que un área independiente reconocida 112 yazca completamente dentro de los bordes de la imagen, es decir, completamente dentro de los límites de un área de fondo 302. Algunas veces estas detección limitada de un a independiente 112 que es de tamaño suficiente y no incluye pinceles en el borde 408 de la imagen refuerza identificación confiable de áreas independientes deseadas 406. En esta implementación, se realiza la detección apropiada al evitar candidatos de componente conectados falsos, o aquellos que no yacen completamente dentro de la imagen y que contienen porciones en el borde 408 de la imagen. Incluso, en otra implementación, la máquina de TAFFI 115 detecta un área independiente 112 al detectar una porción del área independiente 112 dentro de la imagen capturada 114 y una porción que yace fuera de pantalla del borde 408 de la imagen. En esta implementación, el análisis de componente conectado procede mientras el área independiente 112 es contigua hasta el punto de encontrar y/o sobrepasar el borde 408 de la imagen. Esto puede ocurrir cuando la mano que forma la TAFFI y área independiente 112 sólo están parcialmente dentro del campo de vista de la cámara, y por lo tanto sólo parcialmente dentro de la imagen detectada. En una implementación, la máquina de TAFFI 115 utiliza el centro del área independiente 112 para establecer una posición de cursor y control de cursor dentro de la imagen presentada 102. La máquina de TAFFI 115 puede realizar análisis estadístico para cada área independiente reconocida 112, en donde el rastreador de área independiente 206 calcula el "centroide" o una posición de píxel medio de todos los píxeles que pertenecen a cada área independiente 112. Esta posición calculada es la suma de muchas posiciones de píxel, que resulta en la estabilidad y precisión para esta ¡mplementación. La posición de píxel medio puede calcularse en la misma etapa que los componentes conectados de cómputo, que resulta en una técnica eficiente que proporciona resultados rápidos en costo de procesamiento bajo. Con respecto a la apariencia y falta de apariencia de las áreas independientes 406 como un medio para controlar una presentación visual, en una implementación la posición de píxel medio de todos los píxeles que pertenecen a un área independiente 112 establece la posición del cursor y control sólo cuando el área independiente 112 se detecta recientemente durante un intervalo de un proceso de detección de repetición. El control de cursor con la detección de un área independiente 406 puede imitar un dispositivo de entrada de ratón 106. Análogo al ratón 106, el movimiento relativo para la manipulación de cursor puede calcularse de la posición actual y pasada del área independiente detectada 112 formada por una TAFFI 400. La unión de un pulgar y dedo índice es un movimiento natural que permite un comportamiento de agarre y sin esfuerzo, como con un dispositivo de entrada de ratón. El uso de un filtro de calman con Detección de TAFFI puede suavizar el movimiento del cursor en la presentación visual 103. La máquina de TAFFI ilustrativa 115 soporta seleccionar objetos de la imagen presentada 102 al formar, no formar, y volver a formar rápidamente un área independiente 112 con un intervalo de tiempo de umbral. Estas acciones pueden imitar "dar clic" de un botón de ratón para funciones de "seleccionar" o "ejecutar", y también puede soportar la transición de rastreo a arrastre de un objeto seleccionado. Por ejemplo, el arrastre puede implementarse al imitar un evento de "ratón hacia abajo" que inmediatamente sigue la última formación de un área independiente 112. El evento de "ratón hacia arriba" correspondiente se genera cuando el área independiente 112 se evapora al abrir el pulgar y dedo índice. Por ejemplo, al momento de formación de área independiente, un objeto, tal como una barra de desplazamiento en un documento en la presentación de interfase de usuario visual, puede seleccionarse, al seguir inmediatamente esta selección, la posición de la mano que forma el área independiente 112 puede moverse de la misma forma que un ratón 106 puede moverse al desplazar hacia abajo en un documento. La máquina de TAFFI 115 puede proporcionar más control de una presentación visual 102 que sólo imita una función basada en ratón convencional. El medio, y la covarianza de posiciones de píxel de un área independiente 112 (componente conectado) pueden relacionarse, con un modelo de elipse orientado de la forma del área independiente 112 al calcular los vectores característicos de la matriz de covarianza de posiciones de píxel. La raíz cuadrada de la magnitud de los valores característicos da su extensión espacial, de tamaño de ejes mayores y menores, mientras la orientación de la elipse se determina como el arco tangente de uno de los vectores característicos, hasta una ambigüedad de 180°. La ambigüedad resultante puede dirigirse al tomar la orientación calculada de la orientación girada +180° para minimizar la diferencia en la orientación del marco previo. La máquina de TAFFI 115 puede calcular cambios simultáneos en posición, orientación, y escala del modelo de elipse del área independiente 112 creada por una TAFFI 400. En varias implementaciones, también pueden utilizarse cambios en la escala para detectar movimiento de la mano hacia la cámara y lejos de la cámara. Esto asume que la mano de usuario que forma un área independiente 112 se mantiene generalmente dentro de una escala fija de distancias de la cámara 104 para que el tamaño y forma del área independiente 112 sólo varíe dentro de tolerancias, para que cambios visuales en la orientación de alguna forma se limiten al plano del área de fondo 302, o teclado. En una implementación, una consideración importante es que a través de la interacción el usuario debe mantener el tamaño del área independiente, el tamaño del orificio de elipse formado por la TAFFI 400, mientras el usuario mueve las manos hacia arriba y hacia abajo con relación a la cámara o teclado (es decir, en algunas implementaciones, se confunde cambio en la altura con cambio real en forma del área independiente). En otras implementaciones, la máquina de TAFFI 115 compensa cambios en tamaño del área independiente mientras una mano se mueve hacia arriba y hacia abajo, al utilizar lógica de visión de computadora. En una implementación ilustrativa, la máquina de TAFFI 115 utiliza el modelo de elipse del área independiente 112 para navegación de una mano de imagen aérea y satélite, tal como la proporcionada por el servicio web de LIVE VIRTUAL EARTH® de WINDOWS®, y otros servicios de mapa de Internet similares (Redmond, Wa). La navegación por movimiento a través de la vista completa del mapa virtual puede realizarse por una TAFFI 400 con un área independiente 112 que se mueve a través de un área de fondo 302, tal como una tabla o teclado. La rotación del mapa completo puede realizarse al girar la mano que forma el área independiente 112 dentro del plano 2-dimensional del teclado, mientras las funciones de acercamiento y alojamiento se logran al mover la mano más acerca o más lejos de la cámara 104. La máquina de TAFFI 115 puede ¡mplementar el uso de dos son más manos para control de cursor y navegación. Una estrategia de correspondencia de marco a marco permiten a cada área independiente 112 rastrearse continuamente como la primera, segunda, tercera, etc., áreas detectadas por cámara para entrada. La colocación de ambas manos contra un área de fondo 302 para detección por una cámara, y el movimiento subsecuente de las manos con relación al área de fondo 302, altera la orientación del modelo de elipse de las áreas independientes 406 y causa movimiento de la presentación de interfase de usuario visual asociada con la colocación y ubicación de los movimientos de mano a través de los parámetros de control asignados por el módulo de enlace 210. El rastreo simultáneo de múltiples parámetros de control que corresponde a múltiples gestos de mano dedo permite una variedad de interacciones bimanuales. Haciendo referencia de nuevo al ejemplo de mapa virtual de Internet, la entrada con dos manos para la navegación del mapa virtual permite cambios simultáneos en rotación, traslación, y escala de la vista de mapa en la presentación 103. Debido a que los estimados de ubicación para áreas independientes 406 se derivan de la posición de las manos, la técnica de dos manos puede proporcionar estimados más estables de movimiento que los de la técnica de una mano. La técnica de dos manos de esa forma proporciona: rotación en dirección de las manecillas del reloj y en contra de las manecillas del reloj; en donde ambas manos simultáneamente se mueven en la dirección de rotación; movimiento de la vista de presentación de interfases de usuario visual completa en direcciones verticales u horizontales, en donde ambas manos se mueven en la dirección deseada; y funciones de zoom, en donde el acercamiento de la presentación de interfase de usuario visual se realiza cuando ambas manos se acercan y posteriormente se alejan una de otra, y el alejamiento de la presentación de interfase de usuario visual se realiza al juntar las manos desde una posición de partida separada. Los cambios simultáneos en posición, orientación, y escala calculada del modelo de elipse de un área independiente 112 pueden utilizarse en implementaciones diferentes a los ambientes de dispositivo de cómputo estándares. Por ejemplo, la máquina de TAFFI 115 puede controlar sistemas de superficie de tabla interactiva que incluyen una cámara y un proyector en una tabla, pero no dispositivos de entrada tradicionales tal como un ratón, pantalla táctil, o teclado. Un usuario coloca las manos sobre la superficie de tabla, lo que forma áreas independientes 406 para proporcionar manipulación e interacción dentro de la superficie de tabla y el material presentado en la superficie. Una ¡mplementación similar puede incluir un sistema que proyecta una imagen de presentación en una pared, en donde un usuario puede interactuar y controlar la imagen de presentación a través de manos y dedos que actúan como TAFFIs 400. Por ejemplo, la máquina de TAFFI 115 puede permitir al usuario cambiar diapositivas durante una presentación de proyector.

Método ilustrativo La Figura 5 muestra un método ilustrativo 500 para controlar una presentación visual a través de un gesto de mano o dedo. En el diagrama de flujo, las operaciones se resumen en bloques individuales. Dependiendo de la ¡mplementación, el método ilustrativo 500 puede realizarse por hardware, software, o combinaciones de hardware, software, firmware, etc., por ejemplo, por componentes del sistema de controlador virtual ilustrativo 100 y/o la máquina de TAFFI ilustrativa 115. En el bloque 502, una imagen de una o más manos 110 contra un fondo a través de una cámara 104 se captura. El contraste, color, o brillo puede ser el atributo de píxel que permite distinguir entre las manos y el área de fondo circundante. Las manos se perciben más fácilmente contra un área de contraste. Un escenario para percibir manos es mientras se escribe en un teclado 108. Una cámara 104 captura una imagen de las manos 110 y el teclado 108 percibido como parte del área de fondo. La iluminación de LED infrarroja también puede utilizarse para este método, que ofrece iluminación controlada que hace que las manos parezcan más similares para la cámara 104 en tono de piel. En el bloque 504, la imagen se segmenta en objetos de mano y áreas de fondo por la segmentación binaria. Por ejemplo, los píxeles de área de fondo se identifican y distinguen de los píxeles y cualquier otro objeto o área en la imagen. Los píxeles de área de fondo entonces se etiquetan con un valor. Los píxeles de otros objetos o áreas en la imagen se identifican subsecuentemente y se comparan con el valor de los píxeles de la imagen de fondo almacenada. Cualquier valor de píxeles significativamente más brillante que el valor de píxel de fondo correspondientes se etiqueta como parte de una nueva área o imagen, y dado un valor diferente de los píxeles de área de fondo. La distinción y etiquetado de diferentes áreas de una imagen es la segmentación binaria de la imagen. En el bloque 506, un número de áreas independientes del fondo se cuenta en intervalos de detección repetitivos. Las áreas independientes 406 se definen como cada una parte del fondo 302 que es visualmente independiente de otras partes del fondo por al menos una parte de los objetos de manos 110. Por ejemplo, cuando una mano actúa como una interfase de pulgar y dedo índice, o TAFFI, el pulgar y el dedo índice de la mano crean un área cerrada, independiente del resto del área de fondo general. El área cerrada forma una nueva área independiente 112 a la cual puede unirse un parámetro de control para manipulación de una presentación visual. En una implementación , la prueba de método ya sea que las áreas independientes detectadas sean realmente independientes, es decir, en un caso, si un área independiente tiene píxeles en el borde de la imagen. En el método 508, un parámetro de control para manipular una imagen en una presentación se asocia con cada área independiente contada o atributo de la misma. Por ejemplo, un área independiente 112 creada por una mano utilizada como una TAFFI se percibe por la cámara 104 y se correlaciona con un parámetro de control que permite al usuario seleccionar un objeto en la presentación de interfase de usuario. Subsecuentemente, una segunda independiente percibida 112 se correlaciona con un parámetro de control de interfase de usuario, que permite al usuario mover el objeto previamente seleccionado a una ubicación diferente en la presentación de interfase usuario. Esta rápida sucesión de percibir una primera y una segunda área independiente 112 puede resultar de una rápida formación, no formación, y otra formación de las áreas independientes 406, lo que resulta en una función como "dar clic" de ratón asociada con un área independiente percibida 112. En el bloque 510, la imagen presentada cambia a través del parámetro de control con relación a cada cambio en el atributo del área independiente que se asigna al parámetro de control. Por ejemplo, la posición de un área independiente 112 puede moverse hacia la izquierda o derecha con relación a la cámara de percepción 104 en la imagen presentada 102 que siguen adecuadamente. La asociación del área independiente percibida 112 con un parámetro de control permite la manipulación de la imagen visual presentada 102 de acuerdo con el movimiento, posición, y relación de las manos que se utilizan como TAFFIs. El método anterior 500 y otros método relacionados pueden implementarse en el contexto general de instrucciones ejecutables por computadora. Generalmente, las instrucciones ejecutables por computadora pueden incluir rutinas, programas, objetos, componentes, estructuras de datos, procedimientos, módulos, funciones, y similares que realizan funciones particulares o implementan tipos de datos abstractos particulares. Los métodos también pueden practicarse en un ambiente de cómputo distribuido en donde las funciones se realizan por dispositivos de procesamiento remoto que se enlazan a través de una red de comunicaciones. En un ambiente de cómputo distribuido, las instrucciones ejecutables por computadora pueden localizarse tanto en medios de almacenamiento de computadora locales y remotos, que incluye dispositivos de almacenamiento de memoria.

Conclusión Aunque se describieron sistemas y métodos ilustrativos en lenguaje específico a características estructurales y/o actos metodológicos, se debe entender que el tema definido en las reivindicaciones anexas no necesariamente se limita a las características o actos específicos descritos. En lugar de esto, las características y actos específicos se describen como formas ilustrativas para implementar los métodos, dispositivos, sistemas reclamados, etc.

Claims (20)

REIVINDICACIONES

1. - Un método que comprende: detectar (502) una imagen de una o más manos contra un fondo a través de una cámara; segmentar (504) la imagen en áreas de mano y áreas de fondo; a intervalos, contar (506) un número de áreas independientes del fondo, en donde cada parte del fondo que es visualmente independiente de otras partes del fondo por al menos parte de una de las áreas de mano se define como un área independiente; asociar (508) un parámetro de control para manipular una imagen presentada en una interfase de usuario con cada área independiente contada; cambiar (510) la imagen presentada a través del parámetro de control con relación a cada cambio en forma y/o una posición del área independiente asociada con el parámetro de control.

2. - El método de acuerdo con la reivindicación 1, que además comprende desasociar un parámetro de control de un área independiente asociada cuando el área independiente se conecta de nuevo.

3. - El método de acuerdo con la reivindicación 1, en donde el parámetro de control comprende emular una acción de un botón de ratón cuando un área independiente: forma, no forma, y se vuelve a formar dentro de un intervalo de tiempo de umbral. 4.- El método de acuerdo con la reivindicación 1, en donde el parámetro de control comprende emulación y movimiento de un señalador de ratón. 5.- El método de acuerdo con la reivindicación 1, en donde el parámetro de control comprende movimiento de un cursor. 6.- El método de acuerdo con la reivindicación 1, en donde el parámetro de control comprende movimiento de la imagen de presentación con respecto a la ¡nterfase de usuario. 7. - El método de acuerdo con la reivindicación 6, en donde el movimiento comprende uno de: movimiento vertical, movimiento horizontal, o movimiento giratorio. 8. - El método de acuerdo con la reivindicación 1, en donde el parámetro de control comprende aumentar o reducir un tamaño de la imagen de presentación en la ¡nterfase de usuario. 9. - El método de acuerdo con la reivindicación 1, que además comprende asociar el parámetro de control a través de una relación entre dos áreas independientes, cada área independiente formada por una imagen de una mano respectiva. 10. - El método de acuerdo con la reivindicación 9, en donde el parámetro de control comprende estirar la imagen presentada con relación a una distancia cambiante entre las dos áreas independientes. 11. - El método de acuerdo con la reivindicación 9, en donde el parámetro de control asociado con la relación entre dos áreas independientes controla uno de: girar la imagen presentada con relación a la rotación de una línea entre las dos áreas independientes; girar la imagen presentada en una dirección en el sentido de las manecillas del reloj o en contra de las manecillas del reloj cuando ambas áreas independientes se mueven en una dirección de arco similar; mover la imagen presentada completa cuando ambas áreas independientes se mueven simultáneamente en la misma dirección; y acercar la imagen presentada cuando la distancia entre las áreas independientes cambia. 12.- El método de acuerdo con la reivindicación 1, en donde un área de pulgar y un área de dedo índice de una de las áreas de mano definen una interfase de pulgar y dedo índice (TAFFI), el área de pulgar y el área de dedo índice visualmente se tocan entre sí para desconectar visualmente una parte del fondo de otras partes del fondo para formar un área independiente. 13.- Un sistema, que comprende: un sensor de imagen (104) para detectar una imagen que incluye una o más manos contra un fondo; un separador de imagen (204) para segmentar la imagen en una o más áreas de mano y el fondo; un rastreador (206) para contar, a intervalos, un número de áreas independientes del fondo, en donde cada parte del fondo que es visualmente independiente de otras partes del fondo por al menos una parte de una de las áreas de mano se define como un área independiente; un módulo de enlace (210) para asociar un parámetro de control para manipular una imagen presentada en una interfase de usuario con cada área independiente contada; y en donde cada cambio en una forma, posición, o ambas, del área independiente asociada con el parámetro de control modifica la imagen presentada a través del parámetro de control. 14.- Un sistema de acuerdo con la reivindicación 13, en donde cuando el área independiente se conecta de nuevo, el módulo de enlace disocia el parámetro de control respectivo. 15.- Un sistema de acuerdo con la reivindicación 13, en donde el módulo de enlace asocia un parámetro de control que emula una acción de un botón de ratón cuando se forma, no se forma, y se reforma un área independiente dentro de un intervalo de tiempo de umbral. 16.- Un sistema de acuerdo con la reivindicación 13, en donde el módulo de enlace asocia un parámetro de control para emular un movimiento de un indicador visual seleccionado del grupo de indicadores visuales que consisten de una imagen de un señalador de ratón, una imagen de un cursor, y al menos parte de la imagen de presentación y en donde el movimiento comprende un movimiento seleccionado del grupo de movimientos que consisten de un movimiento vertical, un movimiento horizontal, un movimiento giratorio, un movimiento de acercamiento, y un movimiento de alejamiento. 17.- Un sistema de acuerdo con la reivindicación 13, en donde el módulo de enlace asocia el parámetro de control con una relación entre dos áreas independientes, cada área independiente formada por una imagen de una mano respectiva. 18. - Un sistema de acuerdo con la reivindicación 17, en donde el módulo de enlace, asocia un parámetro de control para estirar la imagen presentada con relación a una distancia cambiante entre las dos áreas independientes. 19. - un sistema de acuerdo con la reivindicación 17, en donde el módulo de enlace, asocia un parámetro de control para girar la imagen presentada con relación a la rotación de una linea entre las dos áreas independientes . 20. - Un sistema para cambiar una imagen presentada en una ¡nterfase de usuario a través de un parámetro de control asignado a un movimiento de una mano, el sistema comprende: medios (104) para detectar una imagen de una o más manos contra un fondo; medios (204) para segmentar la imagen en una o más áreas de mano y el fondo; medios (206) para contar, a intervalos fijos, un número de áreas independientes del fondo, en donde cada parte del fondo que es visualmente independiente de otras partes del fondo al menos pueden ser parte de un área de mano que se define como un área independiente; medios (210) para asociar un parámetro de control para manipular una imagen presentada en una interfase de usuario con cada área independiente contada y cambiar la imagen presentada a través del parámetro de control con relación a cada cambio en una forma y/o una posición del área independiente asociada con el parámetro de control.