MXPA03011203A - Sistema interactivo de exhibicion de video. - Google Patents

Abstract

Se da a conocer un dispositivo que permite la interaccion facil y sin problemas, entre una persona y un sistema de exhibicion de computadora, que usa la persona (u otro movimiento y posicion del objeto) como entrada a la computadora. En algunas configuraciones, la exhibicion puede ser proyectada alrededor del usuario, asi que las acciones de la persona sean exhibidas alrededor de la misma. La camara de video y el proyector operan en diferentes longitudes de onda, asi que ellos no interferiran entre si. Uso de tal dispositivo incluyen, pero no se limitan a, los efectos de iluminacion interactivos para personas, en clubes o eventos, las exhibiciones de publicidad interactivas, etc. Los caracteres de computadora generados y los objetos virtuales pueden ser hechos reaccionar a los movimientos de los pasajeros, generando iluminacion ambiental interactiva para los espacios sociales, tal como en restaurante, vestibulos y parques, sistemas de video-juegos y crear espacios de informacion interactivos instalaciones de arte. La iluminacion y brillantez con cierto patron y el proceso de gradiente se pueden usar para mejorar la capacidad de detectar un objeto contra un fondo de imagenes de video.

Description

SISTEMA INTERACTIVO DE EXHIBICIÓN DE VIDEO REFERENCIAS CRUZADAS A SOLICITUDES RELACIONADAS Esta solicitud reclama la prioridad de la Solicitud de Patente Provisional de EE.UU., también pendiente, No. 60/296,189, presentada el 5 de junio del 2001, intitulada SISTEMA. INTERACTIVO DE EXHIBICIÓN DE VIDEO, QUE USA ENTRADAS DE VIDEO, la cual se incorpora aquí como referencia, como si se señalara por completo en este documento y para todo propósito .

ANTECEDENTES DE LA INVENCIÓN La presente invención se refiere, en general, a sistemas de proceso de imágenes y, más particularmente, a un sistema para recibir y procesar una imagen de un usuario humano, y permitir la interacción con las exhibiciones de video . El proceso de imágenes se usa en muchas áreas de análisis, educación, comercio y entretenimiento. Un aspecto del proceso de imágenes incluye la interacción de un ser humano y una computadora para detectar formas y movimientos humanos, y permitir la interacción con imágenes. Aplicaciones de tales procedimientos pueden usar maneras eficientes o de entretenimiento de interactuar con imágenes, para definir configuraciones digitales u otros datos, objetos animados, crear formas expresivas, etc. La detección de la posición y el movimiento de un cuerpo humano se refiere como la "captura de movimiento" . Con las técnicas de captura de movimiento, las descripciones matemáticas de los movimientos ejecutados por un humano se hacen entrar a una computadora u otro sistema de proceso. Los movimientos del cuerpo natural se pueden usar como entadas a la computadora para estudiar el movimiento atlético, la captura de datos para la reproducción o simulación ulterior, mejoras en el análisis para fines médicos, etc. Aunque la captura de movimiento suministra beneficios y ventajas, las técnicas de captura de movimiento tienden a ser complejas. Algunas técnicas requieren que el actor humano use trajes especiales con puntos de alta visibilidad en varios sitios. Otros acercamientos usan la radiofrecuencia u otros tipos de emisiones, múltiples sensores y detectores, pantallas azules, post-proceso extenso, etc. Las técnicas que dependen de la captura de imagen de luz visible sencilla no son usualmente exactas, en forma suficiente, para proporcionar la captura de movimiento bien definida y precisa. Algunas aplicaciones de captura de movimientos permiten que un actor, o usuario, interactúe con imágenes que son creadas y exhibidas por un sistema de computadora. Por ejemplo, un actor puede permanecer frente de una proyección de pantalla grande de video de varios objetos. El actor puede moverse, modificar y manipular o generar de otra manera, los objetos usando los movimientos del cuerpo. Diferentes efectos, basados en los movimientos de un actor, pueden ser computados por el sistema de proceso y exhibidos en la pantalla de exhibición. Por ejemplo, el sistema de computadora puede guiar una trayectoria del actor frente de la pantalla de exhibición y hacer una aproximación, o interpretación artística, de la trayectoria sobre la pantalla de video. Las imágenes con las cuales el actor interactúa pueden ser, por ejemplo, sobre el piso, pared u otra superficie; suspendidas tridimensionalmente en el espacio, exhibidas en uno o más monitores, pantallas de proyección u otros dispositivos. Cualquier tipo de dispositivo de exhibición o tecnología puede ser usado para presentar imágenes con las cuales un usuario puede controlar o interactuar.

En algunas aplicaciones, tal como el punto de ventas, anuncios al menudeo, promociones, sitios de entretenimiento de galerías, etc., es conveniente capturar el movimiento de un usuario sin entrenar (por ej emplo una persona que pasa por ahí) en una manera no obstructiva. Idealmente, el usuario no necesitará preparación o entrenamiento especiales y el sistema no usará indebidamente equipo costoso. Igualmente, en el método y sistema usado para capturar el movimiento, el actor debe, preferiblemente, ser invisible o no detectable al usuario. Muchas aplicaciones en el mundo real deben trabajar en ambientes donde hay un fondo complejo y que cambia, y objetos del primer plano, intervalos de tiempo cortos para la captura, condiciones de iluminación que cambian y otros factores que pueden hacer difícil la captura del movimiento.

BREVE COMPENDIO DE LA INVENCIÓN La presente invención permite la interacción entre un usuario y un sistema de exhibición de computadora, que usa el movimiento del usuario (u otro objeto) y lo coloca como entrada a una computadora. Esta computadora genera una exhibición que responde a la posición y movimiento del usuario. La exhibición generada puede incluir objetos o configuraciones que pueden moverse, modificarse o ser controlados de otra manera por los movimientos del cuerpo del usuario . En una modalidad preferida de la invención, las imágenes exhibidas son afectadas por las acciones del usuario en un tiempo real . La exhibición puede ser proyectada alrededor del usuario, de modo que las acciones del usuario creen efectos que emanen del usuario y afecten las áreas de exhibición próximas al usuario. O el usuario puede afectar los objetos de video, tal como por puntapiés, impulsos, movimientos, deformaciones, tocado, etc., en los detalles en las imágenes de video. La interferencia entre la luz usada para exhibir imágenes interactivas y la luz usada para detectar el usuario se minimiza usando la luz de longitudes de onda sustancialmente diferentes . En una modalidad, un usuario se ilumina con luz infrarroja, que no es visible al ojo humano. Una cámara, la cual es sensible a la luz infrarroja, se usa para capturar una imagen del usuario para el análisis de posición y movimiento. La luz visible se proyecta por un proyector sobre una pantalla, vidrio u otra superficie, para exhibir imágenes interactivas, objetos, patrones u otras configuraciones y efectos. La superficie de exhibición puede ser alineada alrededor del usuario, así que su presencia física dentro de la exhibición, corresponde a su presencia -virtual, dando la experiencia del toque físicamente e interactuando con los objetos virtuales. Un aspecto de la invención puede usar la iluminación en patrones, en lugar de la "inundación de luz" uniforme, no visible, sencilla. Con la iluminación en patrones, un patrón, tal como un tablero de damas, un patrón de puntos aleatorios, etc., se proyecta. El patrón se usa por procesos que ejecutan sobre una computadora para interpretar una imagen de cámara y para detectar un objeto desde un fondo y/o otros detalles en una escena. ?1 patrón puede ser generado como un fondo (de modo que no choque en un objeto que se va a detectar) o el patrón puede ser proyectado sobre toda la escena visible de la cámara, asi que se ilumina el fondo, primer plano y objetos que se van a detectar y se captura el movimiento. Una manera de lograr la iluminación en patrones incluye usar un conjunto de diodos emisores de luz (LED) u otra fuente de luz no visible en un proyector de transparencias . Otro acercamiento puede usar un haz láser infrarrojo, que se desvía, es obturado, explorado, etc., para producir un patrón.

Otra manera de lograr la iluminación en patrones es usar una "inundación de luz" regular, pero marca el patrón, antes mencionado en el área visible de la cámara usando tinta, tintes o pinturas que es oscura o altamente reflexiva en la frecuencia de recepción de la cámara. Esta tinta, tinte o pintura pueden hacerse invisibles al ojo human, para así mejorar la estética de la exhibición. Otro aspecto de la invención usa un acercamiento de gradiente para determinar la interacción de objeto - imagen. Una "imagen de influencia" se crea, por la creación de un aura de gradiente, o transición de escala gris, alrededor de un objeto detectado. Conforme el objeto detectado se mueve, el aura del gradiente se calcula en el tiempo real . Conforme el aura de gradiente choca en la imagen de video o articulo, la brillantez y gradiente en la región del artículo que ha chocado se calcula, la fuerza y dirección de interacción (por ejemplo, empujando el artículo) es una función de la brillantez y gradiente, respectivamente, de la región tropezada . En una modalidad, la invención proporciona un sistema para detectar un objeto y generar una exhibición en respuesta, el sistema comprende una primera fuente, para producir energía electromagnética en un primer intervalo de longitud de onda, un detector para detectar una reflexión de la primera fuente de energía electromagnética desde un objeto, un procesador acoplado al detector, para usar la reflexión detectada para generar una señal de exhibición, una segunda fuente, para producir energía electromagnética en un segundo intervalo de longitud de onda, en que la segunda fuente genera un exhibición visible, en respuesta a la señal exhibida, en que el primero y segundo intervalos de longitud de onda son diferentes . En otra modalidad, la invención proporciona un método para detectar un objeto en una imagen capturada por una cámara, el método comprende usar una iluminación de patrón para iluminar el fondo diferentemente del objeto; y usar un sistema de proceso para definir el objeto aparte del fondo . En otra modalidad, la invención proporciona un método para computar una interacción de un objeto con un artículo de video, el método comprende usar un procesador para determinar un gradiente para el objeto, usar un procesador para determinar un límite para el artículo de video; e identificar una interacción usando el gradiente y el límite .

BREVE DESCRIPCIÓN DE LOS DIBUJOS La Figura 1 muestra una primera configuración de una modalidad preferida que usa un proyector y cámara coubicados ; la Figura 2 muestra una configuración de proyección superior; la Figura 3 muestra una configuración de proyección posterior; la Figura 4 muestra una configuración de proyección lateral; la Figura 5A ilustra un sujeto bajo la iluminación uniforme ; la Figura 5B ilustra un fondo bajo la iluminación de un patrón de puntos aleatorios; la Figura 5C ilustra un sujeto y fondo bajo iluminación de un patrón de puntos aleatorios; la Figura 5D muestra un resultado de detectar un sujeto desde un fondo, usando una iluminación de un patrón de puntos aleatorios; la Figura 6A muestra un usuario humano que interactúa con el objeto de video; y la Figura 6B ilustra una imagen de influencia.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN Varias configuraciones de la invención se describen abajo. En general, la presente invención usa una primera fuente de luz para iluminar un usuario u otro objeto. La primera fuente de luz emplea luz la cual no es visible a los humanos. Por ejemplo, se puede usar la luz infrarroja o ultravioleta. Una cámara, que es sensible a la luz en el intervalo de la longitud de onda de la primera fuente de luz, se usa para detectar un usuario, quién se ilumina por la primera fuente de luz. Una computadora (u otro sistema de proceso) se usa para procesar la imagen del objeto detectada y para generar imágenes para la exhibición. Una segunda fuente de luz (por ejemplo, un proyector, pantalla de video, etc.) se usa para exhibir las imágenes generadas de exhibición al usuario humano o espectadores . Las imágenes exhibidas son a longitudes de onda que minimizan la interferencia con la detección del objeto de la cámara. Típicamente, el espectro visible se usa para exhibir las imágenes . En una modalidad preferida, la exhibición rodea el usuario, de modo que la presencia virtual del usuario esté alineada con la presencia física de este usuario. Así, la escena virtual en la exhibición tiene una ubicación física alrededor del usuario, y el movimiento del usuario dentro de la exhibición causará un movimiento idéntico de la representación del usuario dentro de la escena virtual . Por ejemplo, el usuario puede tropezar en una ubicación física del objeto virtual y se sabe que esto causaría su representación visual para tocar el objeto virtual en el sistema de computadora. El uso del término "toque" o "tocado" en esta especificación, no significa el contacto físico con un objeto, tal . como una persona y un producto de imagen. Más bien, la noción de tocar significa que la posición y acción del objeto en el espacio físico se traslada en un efecto en una imagen generada, que incluye los efectos de los productos en movimiento en las imágenes generadas . Las imágenes o productos exhibidos pueden incluir objetos, patrones, configuraciones o cualquier patrón visual, efecto, etc. Aspectos de la invención pueden ser usados para aplicaciones, tal como la iluminación interactiva, efectos de las personas en clubes o eventos, las exhibiciones de anuncios interactivos, los caracteres y objetos virtuales que reaccionan a los movimientos de pasar por ellos, la iluminación del ambiente interactivo para espacios públicos, tal como restaurantes, galerías de compras, sitios de deportes, tiendas al menudeo, vestíbulos y parques, sistemas de juegos de video y exhibiciones interactivas de información, Otras aplicaciones son posibles y están dentro del ámbito de la invención. La Figura 1 muestra una modalidad de proyección frontal de la invención, que usa una cámara y proyector coubicados. En la Figura 1, , una persona 1 se ilumina por una lámpara infrarroja 2 (u otra luz no visible) . La imagen de la persona es fotografiada por una cámara infrarroja 3 (u otra luz no visible) . La señal es transmitida en tiempo real 4 a la computadora 5. Esta computadora ejecuta el algoritmo de detección del objeto y genera el efecto de video en tiempo real . El efecto es transmitido 6 en tiempo real a un proyector 7 de video. Esta proyector proyecta la imagen resultante sobre una pantalla 8 o alguna otra superficie. El efecto de video es luego exhibido 9 en la pantalla, en tempo real, y alineado con la persona. La Figura 2 muestra una configuración de proyección superior el sistema. El componente 10 incluye el sistema antes mencionado. Este componente 10 se muestra montado ahi verticalmente, pero la cámara, proyector y fuente de luz dentro de 10 pueden también ser montados horizontalmente y luego redirigidos hacia abajo con un espejo. Una persona que se mueve sobre el suelo 11 puede dejar la señal de video proyectada sobre el suelo alrededor ella 12. La sombra propia de la persona oscurece una cantidad mínima de la imagen, cuando el proyector se dirige hacia arriba. Las Figuras 3 y 4 muestran dos configuraciones alternativas más para la cámara y el proyector. En ambas figuras, la cámara 20 captura objetos, tal como una persona 22 en frente de una pantalla 23. El ángulo visto por la cámara se muestra en 21. En la Figura 3, un proyector 25 se coloca detrás de la pantalla. La luz repartida desde el proyector 24 puede ser vista sobre la pantalla desde ambos costados. En la Figura 4, el proyector 25 está en un ángulo oblicuo a la pantalla; su cono 24 de luz se muestra. Ambas de estas con iguraciones hacen más probable que no existan sombras, que obstruyan, la imagen proyectada. Como se describió en las configuraciones anteriores, una cámara de video se usa para capturar la escena en una ubicación particular para la entrada en la computadora. En la mayoría de las configuraciones del dispositivo, la cámara puede operar a una longitud de onda que no se usa por el exhibidor de video. En la mayoría de los casos, el exhibidor usará el espectro de luz visible. En este caso, la cámara debe fotografiar en una longitud de onda no visible, tal como la infrarroja, asi que la salida de exhibición de video no se detecta. La escena que se lleva a la cinta de video debe estar iluminada en la luz de la longitud de onda de la cámara. En el caso de la infrarroja, las fuentes que incluyen la luz del sol, una lámpara de calor o los LED infrarrojos, peden ser usados para iluminar la escena. Estas luces se pueden colocar en cualquier sitio; sin embargo, la vista de la cámara de sombras espurias de estas luces se puede minimizar colocando la fuente de luz en proximidad a la cámara. Una fuente de luz, tal como una o más luces, puede iluminar objetos con iluminación uniforme, en oposición a la iluminación discutida abajo. En una modalidad preferida, la señal de video se exporta en tiempo real a la computadora. Sin embargo, otras modalidades no necesitan lograr el tiempo real o el tiempo casi real y pueden procesar objetos o imágenes de video (es decir, imágenes de exhibición) en tiempos considerablemente antes de la exhibición de las imágenes . Este componente se diseña para ser modular, cualquier software (programa) de computadora que utilice LED entrada de video del componente previo y produzca los resultados en una exhibición de video, pueden ser usados aquí . Muchas veces este componente tendrá dos partes : la primera parte manej la detección de objetos móviles desde el fondo estático, mientras la segunda parte utiliza la información del objeto para generar una salida de video. Numerosos casos de cada parte serán descritos aquí; estos casos son simplemente tomados como ejemplos, y no intentan ser exhaustivos . En la primera parte, la imagen viva desde la cámara de video se procesa por tiempo real con el fin de separar los objetos móviles (por ejemplo las personas) del fono estático, independientemente de cuál sea este fondo. LED proceso puede hacerse como sigue : Primero, los marcos de entrada de la cámara de video son cubiertos a escalas grises para reducir la cantidad de datos y simplificar el proceso de detección, en seguida, ellos serán borrados levemente para reducir el ruido. Cualquier objeto que no se mueva por un período largo de tiempo, se presume será el fondo; por lo tanto, el sistema es capaz de adaptar finalmente para cambiar la iluminación o las condiciones del fondo. Una imagen modelo del fondo puede ser generada por numerosos métodos, cada uno de los cuales examina los marcos de entrada sobre un intervalo de tiempo. En un método, los últimos varios marcos de entrada (o un subconjunto de ellos) se examinan para generar un modelo del fondo, o a través del promedio, que genera la mediana, que detecta períodos de brillantez constante u otras heurísticas . La longitud de tiempo sobre el cual los marcos de entrada se examinan, determina el régimen al cual el modelo del fondo se adapta para cambiar en la imagen de entrada . En otro método, el modelo de fondo se genera en cualquier etapa de tiempo (o con menos frecuencia) computando un promedio pesado del marco actual y el modelo de fondo desde la etapa de tiempo previo. El peso del marco actual es relativamente pequeño en este cálculo; asi, los cambios en el fondo real se asimilan gradualmente en el modelo de fondo. Este peso puede ser sintonizado para cambiar el régimen al cual el modelo de fondo se adapta a cambios en la imagen de entrada . Un objeto de interés se presume difiere en brillantez del fondo. Con el fin de encontrar objetos en cada etapa de tiempo, la entrada de video actual se resta de la imagen de modelo del fondo. Si el valor absoluto de esta diferencia en una ubicación particular es mayor que un umbral particular, entonces esa ubicación se clasifica como un objeto; de otra manera, se clasifica como el fondo. La segunda parte puede ser cualquier programa que tome la clasificación de objeto / fondo de una imagen (posiblemente además de otros datos) como entrada y produce una imagen de video basada en esta entrada, posiblemente en tiempo real . Este programa puede tomar un número infinito de formas, y es así definido ampliamente como una aplicación de computadora. Por ejemplo, este componente puede ser tan sencillo como para producir una luz de zona en la configuración de los objetos detectados, o como complicados con un programa de pintura controlado a través de gestiones hechas por las personas que se detectan como objetos. Además, las aplicaciones pueden usar otras formas de entrada, tal como el sonido, temperatura, entrada de teclado etc., al igual que formas adicionales de salida, tal como audio, táctil, realidad virtual, aromática, etc. Una clase principal de aplicaciones incluye efectos especiales que usan la clasificación de objeto / fondo como entrada. Por ejemplo, estrellas, lineas u otras configuraciones pueden ser dibujadas en la imagen de video de salida en una porción aleatoria de las ubicaciones que se clasifican como "objetos" . Estas configuraciones pueden luego ser ajustadas para desvanecerse gradualmente con el tiempo, asi que personas que dejan ensayos transitorios de configuraciones detrás de ellos, conforme se mueven alrededor de los mismos. Los siguientes son ejemplos de otros efectos en la misma clase: - contornos y ondulaciones que rodean los objetos; una rejilla, la cual se deforma por la presencia de los objetos; - simuladores de llama y viento, y otros repliegues de la matriz aplicadas a los objetos; y - efectos especiales, que pulsan al batir de la música, que se detectan separadamente. Otra clase principal de aplicaciones permite que los objetos reales interactúen con objetos y caracteres virtuales. Por ejemplo, una imagen que muestra un grupo de patitos puede ser programada para seguir detrás de cualquier objeto real (por ejemplo una persona) que camine frente del exhibidor . Además, los juegos de computadora que pueden ser jugados por personas que se mueven frente de la cámara, desde otra clase de aplicaciones.

Sin embargo, esta lista no es exclusiva; este componente se diseña para ser programable y así puede operar cualquier aplicación. La salida del software del proceso desde el componente previo, se exhibe visualmente. Posibles exhibiciones incluyen, pero no se limitan a: proyectores de video, televisiones, exhibidores de plasma y presentaciones láser. La imagen exhibida puede estar alineada con el intervalo de entrada de la cámara de video, así que los efectos de video se alinean con las ubicaciones de las personas que los causan. Puesto que algunas configuraciones de la cámara de video pueden detectar objetos en luz no visible, se evita el problema de la interferencia de exhibición con la cámara. Existen numerosas posibles configuraciones para diferentes componentes. Por ejemplo, la cámara y un proyector de video pueden estar en la misma ubicación y apuntados en la misma dirección. La cámara y el proyector pueden luego apuntar a una pared, como se muestra en la Figura 1, apuntar al suelo, y dirigirse con un espejo, como se muestra en la Figura 2 o apuntar en cualquier otra superficie. Alternativamente, el proyector puede ser colocado detrás de la pantalla, como se muestra en la Figura 3, así que la exhibición es idéntica a aquélla de la Figura 1, pero la persona ya no está en el camino de la proyección, así que ellos no se funden como una sombra. La sombra puede también ser evitada, colocando el proyector en un ángulo oblicuo a la pantalla, como se muestra en la Figura 4. La exhibición de video puede también ser una TV de pantalla grande, exhibición de plasma o pared de video. Mientras las configuraciones, antes mencionadas, tienen todas la exhibición de video alineada con la entrada de video, no es necesario que la exhibición de video pueda ser colocada en cualquier part. La lista precedente no es exhaustiva, hay numerosas posibles configuraciones adicionales . El sistema general puede ser trabajado en red, que permite la información de visión y la información del estado del software del proceso será intercambiada entre los sistemas. Así, un objeto detectado en la señal de visión de un sistema puede afectar el software del proceso en otro sistema. Además, un artículo virtual en la exhibición de un sistema puede moverse a otros sistemas. Si la exhibición de múltiples sistemas están alineadas juntas, de manera que formen una exhibición grande sencilla, entonces los sistemas múltiples pueden ser hechos funcionar como si ellos fueran un sistema sencillo muy grande, con objetos de interacciones que se mueven inconsútilmente a través de los limites de exhibición. Un problema común con el sistema de visión es que, en casos donde hay iluminación ambiente no controlable (por ejemplo la luz del sol) de esta área de visión de la cámara desde un ángulo significantemente diferente de la cámara, los objetos se funden en sombras en el fondo. Estas sombras son suficientemente fuertes, que el sistema de visión puede confundirlas con objetos. Estas sombras pueden ser detectadas y removidas por estroboscopio de la fuente de luz de la cámara. Restando la imagen de entrada de la cámara, con la luz ambiente sola desde la imagen de entrada de la cámara, con tanto la luz ambiental como la luz de la cámara, el sistema suministra una imagen que captura la escena como si solamente la luz de la cámara se usara, eliminando así las sombras detectables de la luz ambiental . Exactitud adicional para detectar objetos con las imágenes capturadas por la cámara, pueden ser obtenidas usando la iluminación en patrones o marcas en patrones. Un inconveniente de usar un sistema de iluminación sencillo de inundación de luz para la visión de computadora, es que si los colores de objetos se ven por la cámara son muy similares, luego los objeto pueden ser difíciles de detectar.

Si la cámara opera en tipo monocromático es mucho más probable que el objeto y fondo se ven igual. Usando un objeto en patrones para cubrir el área visible de la cámara, puede mejorarse la detección del objeto. Si un patrón que contiene dos o más colores mezclados en proximidad estrecha se usa, es altamente improbable que otros objetos tengan una vista similar, puesto que al menos un color del patrón se mirará diferente del color de los objetos rodeantes. Si un objeto en patrones, tal como una pantalla, se usa como un fondo, antes del cual están los objetos que se van a detectar, entonces los objetos que pasan frente de la pantalla en patrones con detectados más fácilmente por el algoritmo de visión. Por ejemplo, en una aplicación de visión infrarroja, el objeto en patrones puede ser una estera de fondo que aparece blanca al ojo humano, pero contiene un patrón, de luz y oscuridad, de tipo tablero de ajedrez, que es invisible al ojo humano, pero visible a la cámara. Usando un patrón que no está en el espectro de luz visible, la estera en patrones no interferirá con la estética del sistema. El sistema de exhibición (por ejemplo, video de proyección) puede proyectar imágenes de salida sobre la estera, como se describió antes. Un proceso que se ejecuta en sistema de proceso, tal como un sistema de computadora, puede ser provisto con patrones de fondo, haciendo así la detección de un objeto frente de la estera más fácil, aunque el sistema puede aprender el fondo en patrones en la misma manera que el algoritmo de visión aprende cualquier otro fondo. Igualmente, la habilidad del sistema para adaptarse a cambio en la brillantez de la luz de fondo será afectada adversamente . Una iluminación con patrón puede también ser protegida de una fuente de luz sobre el área visible de la cámara. En tanto la cámara y la fuente de luz invisible están en ubicaciones desplazadas, diferentes, los efectos de paralaje causarán que la vista de la cámara del patrón proyectado sea distorsionada, conforme los objetos se mueven a través del área de visión de la cámara. Esta distorsión ayuda a hacer que los objetos tengan colores similares, que resaltan entre sí. Si la diferencia entre la dos imágenes vistas por la cámara se toman, el resultado mostrará la configuración de cualquier objeto que aparezca, desaparezca, o se mueva entre las dos imágenes. Si la imagen de un objeto frente del fono se resta de una imagen de un fondo solo, el resultado es una imagen que es cero, donde hay un fondo y no de cero donde hay otros objetos. Esta técnica puede ser usada en combinación con otros objetos de la invención, aquí discutida . Una fuente de luz en patrones puede ser lograda a través de varios recursos . Un método es usar un racimo de diodos emisores de luz infrarroja (LED) u otro tipo de fuente de luz no visible, en un proyector de transparencias. Un conjunto de lentes será usado para enfocar la fuente de luz a través de una transparencia que contiene un patrón deseado, fundiendo asi la imagen con patrón en el área de visión de la cámara. En otro método, un haz de láser infrarrojo puede ser iluminado en un generador de patrón de láser u otro dispositivo de dispersión, con el fin de producir un patrón de luz en el área de visión de la cámara, la luz puede ser desviada, obturada, explorada, etc., con el fin de lograr un patrón. Muchos otros acercamientos son posibles. Una fuente de luz en patrones es también útil para una visión de computadora de tres dimensiones (3D) . Las técnicas de visión de computadora 3D, tal como el algoritmo Marr-Poggio, toman como entrada dos imágenes de la misma escena, tomadas de ángulos levemente diferentes. Los patrones en las imágenes se hacen corresponder para determinar la cantidad de desplazamiento y así la distancia desde la cámara, en cada punto en la imagen. El desempeño de este algoritmo se degrada cuando comparte con objetos de color uniforme, debido a que el color uniforme hace difícil coincidir las secciones correspondientes en la pareja de imágenes. Así, la fuente de luz en patrones puede mejorar la estimación de distancia de algunos algoritmos de visión de computadora 3D. Las dos imágenes de entrada a estos algoritmos de visión 3D son generados usualmente usando una pareja de cámaras apuntadas a la escena. Sin embargo, es también posible usar sólo una cámara. La segunda imagen puede ser una versión totalmente sin distorsión del patrón proyectado, que se conocen adelante del tiempo. Esta imagen del patrón es esencialmente idéntica a lo que una segunda cámara vería si se colocada en la misma ubicación exacta como una fuente de salida con patrón. Así, la visión de la cámara sencilla y el patrón proyectado juntos pueden ser usados como una entrad al algoritmo de visión 3. Alternativamente, la segunda imagen puede ser una imagen de fondo sola, tomada desde la misma cámara . Mientras muchas diferentes clases de patrones se pueden usar, un patrón de puntos aleatoria de alta resolución tiene ciertas ventajas para la visión tanto 2D como 3D. debido a la forma aleatoria del patrón de puntos, cada sección dimensionada significantemente del patrón de puntos es altamente poco probable se mire en cualquier otra sección del patrón. Asi, el patrón exhibido, causado por la presencia de un objeto en el área de visión, es altamente poco probable se mire similar al patrón sin el objeto ahí. Esto minimiza la habilidad del algoritmo de visión para detectar los desplazamientos en el patrón y, por lo tanto, los objetos. Usando un patrón regular, tal como una rejilla, puede causar alguna dificultad, debido a que las diferentes secciones del patrón son idénticas, causando que el patrón desplazado a menudo se mire similar al patrón no desplazado. Las Figuras 5A-D muestran la utilidad de un patrón de puntos aleatorio en detectar un objeto. La Figura 5A muestra una imagen de una persona bajo iluminación normal. La persona tiene una brillantez similar a la del fondo, haciendo difícil la detección. En la Figura 5B, un patrón de puntos aleatorio se proyecta en el fondo desde una fuente de luz, cerca de la cámara. Cuando la persona se encuentra frente a este patrón, el patrón reflejado de la persona se desplaza, como se muestra en la Figura 5C. Tomando la diferencia entre las imágenes en las Figuras 5B y 5C, la imagen de la Figura 5D se obtiene, la cual define el área de imagen de la persona con una señal fuerte .

Otros acercamientos se pueden usar para mejorar la detección de objetos. Por ejemplo, una fuente de luz puede ser de tipo "estroboscopio" o activada y desactivada periódicamente, así que la detección de las sombras debidas a otras fuentes de luz (por ejemplo la luz ambiental) se hace más fácil . Una vez que un objeto se ha detectado y definido, la modalidad preferida usa un aura gradiente para determinar el grao y dirección de interacción del objeto con un articulo de imagen exhibido. La Figura 6A muestra un usuario humano que interactúa con un objeto de video. En la Figura 6A, el objeto 304 se ha detectado y se muestra en forma perfilada. Una representación del objeto dentro del proceso de computadora puede usar la definición de perfil ilustrada en la Figura 6A. La pantalla 302 de video exhibe varios artículos de imagen, tal como la imagen 306 de una bola. La Figura 6B ilustra una imagen de influencia para la región de 308 de la Figura 6A. En la Figura 6B, la imagen de perfil del pie 320 del usuario y la pierna inferior se usan para generar las áreas de perfil sucesivamente mayores . La región del área 320' de perfil original se asigna a un valor de brillantez de píxel grande, que corresponde al blanco. Cada área de perfil sucesiva 322, 324, 326, 328, 330, se asigna a un valor progresivamente menor, así que un punto alejado del área de perfil inicial (blanco), tendrá un valor de píxel menor. Nótese que cualquier número de áreas de perfil puede ser usado. Igualmente, el tamaño e incrementos de las áreas de perfil pueden variar, según sea deseado. Por ejemplo, es posible usar un gradiente continuo, más bien que áreas discretas. La recolección de todas las áreas de perfil se refiere como la "imagen de influencia." Esta imagen de influencia es comparada a diferentes artículos de imágenes. En la Figura 6B, el artículo 306 de bola choca en las áreas 326, 328 y 330 de gradiente. Como se conoce en el arte, las líneas de dirección se determinan en la dirección del gradiente del campo del valor de píxel , para las áreas chocadas. La Figura 6B muestra tres líneas de dirección de ejemplo dentro del artículo 306. Las líneas de dirección pueden ser combinadas, por ejemplo por promedio, o una línea sencilla seleccionada se puede usar. El proceso también detecta que el área de perfil más brillante chocada por el artículo, es el área 326 de perfil. Otros acercamientos son posibles. Por ejemplo, la brillantez y gradiente pueden ser promediados sobre cualquier punto en el área del articulo de imagen, o en un subcon unto de esos puntos. Igualmente, algunas modalidades pueden incluir la duración del contacto como un factor además de la brillantez y el gradiente . La interacción entre un objeto, tal como una persona, y un articulo en la pantalla se computa usando tanto la brillantez de las áreas de perfil chocada, como la dirección como se computa usando uno o más productos de dirección. La brillantez encontrada corresponde a la fuerza con la cual el usuario está tocando" el artículo. El gradiente corresponde a la dirección en (o desde, dependiendo del signo de cálculo) , en la cual el artículo está siendo tocado . Aunque la invención se ha discutido con referencia a modalidades específicas de la misma, esas modalidades son ilustrativas y no restrictivas de la invención. Por ejemplo, aunque las modalidades preferidas usan una cámara como un detector, diferentes tipos de dispositivos de detección se pueden emplear. La cámara puede ser digital o analógica. Una cámara estereofónica puede ser usadas, con el fin de proporcionar la información de la profundidad al igual que la posición. En casos donde el proceso y exhibición no se hacen en el tiempo real, la película y otros tipos de medios pueden ser usados y seguidos por una conversión digital, antes de la entrada de datos a un procesador. Los sensores o detectores de luz se pueden usar. Por ejemplo, un arreglo de fotodetectores puede ser usado en colocar la cámara. Otros detectores no considerados aqui se pueden usar con resultados adecuados . En general, cualquier tipo de dispositivo de exhibición se puede usar en la presente invención. Por ejemplo, aunque los dispositivos de video se lian descrito en varias modalidades y configuraciones, otros tipos de dispositivos de presentación visual pueden ser usados. Un arreglo de diodo emisor de luz (LED) , LED orgánico (OLED) , polímero que emite luz (LEP) , sistema electromagnético, de rayos catódicos, de plasma, mecánico u otro sistema de exhibición, pueden ser empleados . Se pueden emplear exhibidores de la realidad virtual, de tres dimensiones y otros tipos de exhibidores. Por ejemplo, un usuario puede usar gafas protectoras de imágenes o un sombrerete, de manera que ellos se sumerjan dentro del medio rodeante generado. En este acercamiento, el exhibidor generado puede alinearse con la percepción del usuario de su medio rodeante para crear una realidad aumentada o mejorada. Una modalidad puede permitir que un usuario interactúe con una imagen de un carácter. Este carácter puede ser generado por computadora, realizado por un actor humano, etc. El carácter puede reaccionar a las acciones del usuario y la posición el cuerpo. Las interacciones pueden incluir el habla, la co-manipulación de obj etos , etc .. Múltiples sistemas se pueden interconectar por medio, por ejemplo, de una red digital. Por ejemplo, Ethernet, Universal Serial Bus (USB) , IEE 1394 (Firewire) , etc., se pueden usar. Los enlaces de comunicación inalámbricos, tal como se definen por la 802.11b, etc., pueden ser empleados. Usando múltiples sistemas, los usuarios en diferentes ubicaciones geográficas pueden cooperar, competir o interactuar de otra manera entre sí a través de las imágenes generadas . Estas imágenes generadas por dos o más sistemas pueden ser "enlosadas" juntas, o combinadas de otra manera para producir exhibiciones conglomeradas. Otros tipos de iluminación, en oposición a la luz, se pueden usar. Por ejemplo, señales de radar, microondas u otras ondas electromagnéticas, pueden ser usadas ventajosamente en situaciones donde un objeto se detecta (por ejemplo, un objeto de metal) que es altamente reflexivo de dichas ondas. Es posible adaptar aspectos del sistema a otras formas de detección, tal como por usa ondas acústicas en el aire o el agua. Aunque los sistemas de computadora se han descrito para recibir y procesar las señales de imágenes de objetos y para generar señales de exhibición, cualquier otro tipo de sistema de proceso puede ser usado. Por ejemplo, un sistema de proceso que no use una computadora de propósitos generales, puede ser empleado. Los sistemas de proceso que usan diseños basados en sistemas de circuitos a la medida o casi a la medida, o chips, circuitos integrados específicos de aplicación (ASIC) , arreglos de compuerta programables en el campo (FPGAs) , multiprocesadores, asincrónicos o de cualquier tipo de diseño de arquitectura, o de metodología, pueden ser adecuaos para su empleo con la presente invención. Asi, el ámbito de la invención será determinado únicamente por las reivindicaciones anexas.

Claims (36)

1. REIVINDICACIONES 1. Un sistema para detectar un objeto y generar una exhibición en respuesta, este sistema comprende: una primer fuente, para producir energía electromagnética en un primer intervalo de longitud de onda; un detector, para detectar una reflexión de la primera fuente de energía electromagnética de un objeto; un procesador acoplado al detector, para usar la reflexión detectada para generar una señal de exhibición; una segunda fuente, para producir energía electromagnética en un segundo intervalo de longitud de onda, en que esta segunda fuente genera una exhibición visible, en respuesta a la señal exhibida, donde el primero y segundo intervalos de longitudes de onda son diferentes.
2. 2. El sistema de la reivindicación 1, en que la primera fuente produce luz, la cual no está en el espectro visible, y donde la segunda fuente produce luz que está dentro del espectro visible.
3. 3. El sistema de la reivindicación 2, en que la primera fuente produce luz infrarroja.
4. 4. El sistema de la reivindicación 1, en que la segunda fuente incluye un proyector de video.
5. 5. El sistema de la reivindicación 4, en que el proyector de video proyecta imágenes desde arriba del obj eto .
6. 6. El sistema de la reivindicación 4, en que el proyector de video proyecta imágenes desde una superficie adyacente al objeto.
7. 7. El sistema de la reivindicación 6, en que la superficie es parte de un sistema de proyección posterior.
8. 8. El sistema de la reivindicación 6, en que la superficie es parte de un sistema de proyección frontal.
9. 9. El sistema de la reivindicación 1, en que el objeto incluye un usuario humano.
10. 10. El sistema de la reivindicación 1, en que la primera fuente incluye un patrón de iluminación.
11. 11. El sistema de la reivindicación 10, en que el patrón incluye un patrón de puntos aleatorios .
12. 12. El sistema de la reivindicación 1, que además comprende : un conjunto de diodos emisores de luz infrarro a, para generar el patrón de iluminación.
13. 13. El sistema de la reivindicación 1, que además comprende : un proceso para determinar una imagen de influencia, en que esta imagen de influencia incluye una 5 región alrededor de una imagen de objeto, derivada desde el objeto .
14. 14. El sistema de la reivindicación 13 , en que la exhibición visible incluye un producto, dicho sistema además i comprende : 0 un proceso para determinar un gradiente de la imagen de influencia; y un proceso para usar el gradiente, para determinar la interacción entre el obj eto y el producto .
15. 15. El sistema de la reivindicación 1, en que la 5 exhibición visible incluye una contribución de un carácter.
16. 16. Un método para obtener una imagen de un usuario humano, en que este usuario humano está adyacente a una imagen exhibida, este método comprende: usar luz a una primera longitud de onda, para 0 iluminar el usuario humano; usar una cámara, responsiva a la luz en una primera longitud de onda, para detectar la imagen del usuario humano; y usar la luz en una segunda longitud de onda, diferente de la primera longitud de onda, para generar la imagen exhibida.
17. 17. El método de la reivindicación 16, en que se usan múltiples cámaras .
18. 18. El método de la reivindicación 17, en que al menos se usan dos cámaras para producir un efecto estereoscópico .
19. 19. El método de la reivindicación 16, en que una pantalla de plasma se usa para generar la imagen exhibida.
20. 20. El método de la reivindicación 16, en que la imagen exhibida incluye publicidad.
21. 21. El método de la reivindicación 16, en que la imagen exhibida es parte de un juego de video.
22. 22. El método de la reivindicación 16, que además comprende : tratar con estroboscopio la luz en una primera longitud de onda.
23. 23. El método de la reivindicación 16, que' además comprende : interconectar múltiples sistemas, de manera que la información acerca de la detección de imagen y exhibición puedan ser transferidas entre los sistemas
24. 24. El método de la reivindicación 23, que además comprende : usar la información transferida para crear una sola exhibición desde dos o más exhibiciones.
25. 25. Un método para detectar un objeto en una imagen capturada con una cámara, este método comprende: usar una iluminación en patrones, para iluminar un fondo y no el objeto; y usar un sistema de proceso, para definir el objeto aparte del fondo.
26. 26. El sistema de la reivindicación 25, en que la iluminación con patrón incluye un patrón de puntos aleatorios .
27. 27. El sistema de la reivindicación 25, en que la iluminación con patrón incluye un patrón de tablero de damas.
28. 28. El sistema de la reivindicación 25, en que la iluminación con patrón también ilumina el objeto.
29. 29. Un método para la detección de un objeto en una imagen capturada con una cámara, este método comprende: usar un fondo con patrón; y usar un sistema de proceso para definir el objeto aparte del fondo.
30. 30. Un método para computar una interacción de un objeto con un producto de video, este método comprende: usar un procesador para determinar un gradiente para el objeto; usar un procesador para determinar un límite para el producto de video; e identificar una interacción, usando el gradiente y el límite.
31. 31. El sistema de la reivindicación 30, que además comprende : usar un procesador para determinar la brillantez de un área derivada del ob eto; identificar una interacción usando la brillantes del área y el límite.
32. 32. El sistema de la reivindicación 30, en que la interacción es una persona que empuja el producto.
33. 33. El sistema de la reivindicación 30, en que la interacción es una persona que toca el producto.
34. 34. El sistema de la reivindicación 30, en que la interacción es una persona que deforma el producto.
35. 35. El sistema de la reivindicación 30, en que la interacción es una persona que manipula el producto.
36. 36. Un sistema para detectar un objeto y generar una salida en respuesta, dicho sistema comprende: una primera fuente, para producir la energía electromagnética en dico primer intervalo de longitud de onda; un detector, para detectar una reflexión de la primera fuente de energía electromagnética desde dicho ob eto ; un procesador, acoplado al detector, para emplear la reflexión detectada con el fin de generar una señal de exhibición; una segunda fuente, para producir energía electromagnética en un segundo intervalo de longitud de onda, donde esta segunda fuente genera una exhibición visible, en respuesta a la señal de exhibición, donde el primero y segundo intervalos de longitud de onda son diferentes; y una salida de la transmisión del sonido, para producir una frecuencia audible del sonido.