MX2012006611A - Sistemas y metodos para rastrear objetos bajo oclusion. - Google Patents

Abstract

Un método para rastrear objetos en una escena puede incluir recibir información visual de la escena con un sistema de rastreo de visión e información de telemetría de la escena con un sistema de rastreo de RTLS; el método también puede incluir determinar una ubicación e identidad de un primer objeto en la escena utilizando una combinación de la información visual y la información de telemetría; otro método para rastrear objetos en una escena puede incluir detectar una ubicación e identidad de un primer objeto y determinar la medición de telemetría entre el primer objeto y un segundo objeto utilizando un sistema de rastreo basado en un sistema de localización en tiempo real (RTLS); el método puede incluir además determinar una ubicación e identidad del segundo objeto basado en la ubicación detectada del primer objeto y la medición determinada; un sistema para rastrear objetos en una escena puede incluir receptores de información visual y de telemetría y un rastreador de objetos.

Description

SISTEMAS Y MÉTODOS PARA RASTREAR OBJETOS BAJO OCLUSIÓN CAMPO DE LA INVENCIÓN Modalidades de la presente invención se relacionan con la visión computarizada, procesamiento de imágenes y sistemas de localización en tiempo real (RTLS).

ANTECEDENTES DE LA INVENCIÓN Los métodos de visión computarizada para rastrear varios objetos dependen de la apariencia característica y modelos de movimiento conocidos de los objetos para localizarlos e identificarlos continuamente en la escena. Generalmente, la fidelidad de los datos de posición generados por métodos de visión es alta. Sin embargo, cuando los objetos rastreados se mueven en cúmulos, eso complica el proceso de rastreo. Numerosas técnicas afrontan el desafío de rastrear objetos bajo oclusión. Estos algoritmos que intentan resolver este problema suelen tener éxito, en el supuesto que los objetos posean apariencias distitivas y su movimiento sea coherente. Sin embargo, en la práctica, los objetos pueden tener apariencias similares y su movimiento bajo oclusión puede ser imprevisible. Estas situaciones se producen en un juego en equipo (fútbol americano, baloncesto, etc.) donde los jugadores tienden a agruparse en cúmulos.

Una alternativa a los sistemas de rastreo con visión es utilizar la tecnología de RTLS. Un RTLS es una tecnología de localización diseñada para detectar y rastrear a las personas y cosas. Incluye transpondedores (componentes de transmisor/respondedor) conectados a objetos dinámicos, lectores portátiles o estacionarios (transceptores - componentes de transmisor/receptor) y una aplicación de servidor. Una metodología de RTLS abarca diversas tecnologías, entre ellas infrarrojos, sonido, ultrasonido, Wi-Fi, identificación por radiofrecuencia (RFID), banda ultra ancha, GPS y celular. Cada tecnología es más adecuada para una determinada aplicación dependiendo de los parámetros tales como los requerimientos de energía, gama, aplicabilidad en interiores contra exteriores, exactitud espacial (granularidad), latencia y la velocidad de datos.

Esencial para el RTLS es la característica de transpondedor (eliqueta). Los objetos bajo rastreo pueden ser etiquetados con etiquetas pasivas, semi-pasivas, o activas. Un transpondedor pasivo no tiene una batería y, por lo tanto, no inicia una comunicación. Está facultado por la señal recibida y responde al reflejar esta señal usando una técnica denominada retrodispersión. La señal reflejada se modula con los datos almacenados en la memoria de la etiqueta. La escala de una etiqueta pasiva (de hasta 100 metros) está en función de la fuerza de la señal del lector y de la antena de la etiqueta. Físicamente, es pequeña y ligera, sin ninguna capacidad de procesamiento y, por lo tanto, a un costo bajo. Al igual que los transpondedores pasivos, los transpondedores semi-pasivos no iniciar la comunicación sino que usan una ténica de retrodispersión para responder a la señal recibida. Sin embargo, no tienen su propia batería (una duración de hasta 10 años) que se usa principalmente para energizar sensores ambientales, medir la temperatura o el movimiento, por ejemplo, o para incrementar el rango de operación. El rango operativo y el tamaño son comparables a los de un transpondedor pasivo. Por otro lado, los transpondedores activos están equipados con una batería (una duración de hasta 5 años) que se utiliza para energizar sus circuitos y generar señales de transmisión. Por lo tanto, transpondedores activos pueden iniciar la comunicación periódicamente o cuando se accionaron por un sensor adjunto. No obstante, las transmisiones frecuentes consumen más energía y acortan la vida útil de la batería. Dependiendo del tipo de batería, un transpondedor activo es físicamente más grande que un transpondedor pasivo, su rango puede llegar hasta varios cientos de metros y su capacidad de procesamiento es mejor, ya que puede contener un chip de computadora.

Aunque el RTLS es una tecnología prometedora y emergente, sufre de dificultades físicas, incluyendo desvanecimiento de rutas múltiples, atenuación de la señal, limitada velocidad de transmisión de datos, latencia y, más importante aún, la necesidad de tener múltiples lineas visuales (LOS). En algunas aplicaciones, un RTLS es necesario para identificar y localizar objetos con alto grado de exactitud y precisión. Por ejemplo, para rastrear a los jugadores en un juego de equipo, los datos sobre la posición de los jugadores durante una transmisión en vivo de un partido son decisivos para hacer apuntes en tiempo real en pantalla (telestration) y para calcular las estadísticas de desempeño de los jugadores. Dado que la mayor parte del tiempo los jugadores se desplazan rápidamente y en estrecha proximidad entre sí, el rastreo efectivo de su desempeño debe estar dentro de una precisión de menos de 30 cm.

Lo que se necesita son mejores métodos para la utilización de tecnología de visión y tecnología de RTLS para rastrear a los jugadores en un juego que se ocluyen o están en cúmulos.

BREVE DESCRIPCIÓN DE LOS DIBUJOS Modalidades de la presente invención se describen con referencia a los dibujos adjuntos. En los dibujos, los números de referencia similares pueden indicar elementos idénticos o funcionalmente similares. El dibujo en el que un elemento aparece por primera vez se indica con el dígito de la izquierda en el número de referencia correspondiente.

Las figuras 1A-1 B muestran diagramas de bloque de nivel superior de un sistema de rastreo sinérgico propuesto según una modalidad.

La figura 2 muestra un diagrama de método de posicionamiento trilateración en el caso bidimensional según una modalidad.

La figura 3 muestra un diagrama que demuestra cómo utilizar una línea visual (LOS) para resolver el error en la identificación de objetos según una modalidad.

La figura 4 ilustra el posicionamiento de objetos ocluidos en un cúmulo según una modalidad.

La figura 5 ilustra el posicionamiento de objetos ocluidos en un juego de fútbol americano según una modalidad.

La figura 6 ilustra la detección y el rastreo de poses mediante transpondedores pegados a las articulaciones de un objeto según una modalidad.

La figura 7 muestra un diagrama de bloque de un sistema de rastreo sinérgico de conformidad con una modalidad.

La figura 8 ilustra un lector de un sistema de localización en tiempo real (RTLS) de conformidad con una modalidad.

La figura 9 ilustra una etiqueta de RTLS de ejemplo de conformidad con una modalidad.

La figura 10 ilustra un diagrama de sincronización de RTLS de ejemplo de conformidad con una modalidad.

La figura Ilustra un ejemplo de un dispositivo informático que puede utilizarse en modalidades de esta invención.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN Se proporcionan métodos y sistemas para rastrear objetos durante un evento. Aunque la presente invención es descrita en la presente descripción haciendo referencia a las modalidades ilustrativas para las aplicaciones particulares, se debe comprender que la presente invención no está limitada a esto. Aquellos expertos en la materia con acceso a las enseñanzas provistas en la presente, reconocerán las modificaciones, aplicaciones y modalidades adicionales dentro del alcance de la misma y los campos adicionales en los cuales, la presente invención podría ser de utilidad significativa.

Las modalidades aquí descritas se refieren al uso de la tecnología de RTLS en combinación con tecnología de visión para rastrear e identificar varios objetos en tiempo real. Las modalidades también pueden referirse a un sistema en el que un RTLS y las tecnologías de visión se combinan para aumentar la fidelidad del sistema de rastreo global. Modalidades adicionales pueden describir un método para mantener el rastreo e identificación continuas de varios objetos, posiblemente con apariencias similares y con una oclusión persistente, usando una sola cámara y un lector.

Los sistemas de rastreo y métodos que se describen en modalidades de la presente invención se describen más adelante en el contexto de seguimiento de los jugadores, arbitros, gente de apoyo y los objetos relacionados (disco de hockey, bola) en un juego de equipos. Un experto en la técnica apreciará que el sistema y los métodos de esta invención podrían aplicarse a una amplia gama de eventos incluyendo, pero sin limitarse a, cualquier evento deportivo, así como a aplicaciones no deportivas que exigen rastreo y/o identificar uno o más objetos en una escena.

Un sistema de rastreo de visión y un sistema de rastreo de RTLS cuando se utilizan independientemente incluyen limitaciones tecnológicas que se interponen en el posicionamiento de un objeto con funcionamiento aceptable. Los aspectos de esta invención contemplan métodos donde los resultados de rastreo indeterminados proporcionados por cada tecnología de manera independiente están fusionados en una solución de rastreo completa.

El estado actual del RTLS de la técnica permite la identificación y localización de objetos dinámicos dentro del rango con una precisión de entre 0.3 y 3 metros. Sin embargo, en presencia de fenómenos tales como desvanecimiento de rutas múltiples, atenuación, oclusión, etc., los datos de posición no son deterministicos sino, más bien, llevan una región de incertidumbre espacial representada por una función de densidad de probabilidad (PDF). Dependiendo del número de líneas visuales (LOS) disponibles, este PDF puede abarcar un área pequeña de la localización del objeto o puede abarcar toda una región más amplia. Por sí solo, un sistema de rastreo de RTLS puede no ser capaz de ofrecer una solución completa.

Los sistemas de visión pueden incluir aquellos que se describen en la solicitud de patente de EUA No. 12/403,857 por Gefen, incorporada por referencia en la presente en su totalidad. Un desafío de los sistemas de visión incluye resolver la identidad de los objetos que se van a rastrear cuando sus apariencias son similares. Este problema puede ser especialmente grave cuando los objetos se separan de un cúmulo. Un aspecto de una modalidad de esta invención combina los datos precisos de visión de posición del objeto con datos de identificación del objeto de RTLS para reetiquetar objetos que se ocluyen o separan de un cúmulo.

Otro reto es rastrear y posicionar con precisión objetos dentro de un cúmulo, especialmente cuando los objetos se mueven al azar en estrecha proximidad. Según algunas modalidades, la posición de los objetos que se ocluyen relativos a la cámara y el lector se resuelve de la siguiente manera. Un sistema de rastreo de visión detecta objetos aislados (objetos que no están en estrecha proximidad entre si) en relativa alta fidelidad. Por lo tanto, cuando un objeto aislado puede "ver" un objeto ocluido (tiene una LOS para sí) la distancia entre ellos puede medirse. Con esta configuración, los transpondedores adjuntos a los objetos en la escena envían continuamente al lector y entre sí señales. Estas señales portan telemetría, que posteriormente se procesa para derivar las distancias entre el lector y los transpondedores, así como las distancias entre los transpondedores en sí. En esta modalidad, al menos una cámara y al menos un lector utilizan la LOS existente entre objetos aislados y objetos ocluidos en la escena para posicionar estos objetos ocluidos que de lo contrario serían invisibles.

En algunos casos, la localización de objetos etiquetados puede derivarse basado en técnicas de telemetría y en técnicas de estimación de posición. Las técnicas de alcance incluyen telemetría como la hora de llegada (TOA), para derivar las distancias entre los lectores y los transpondedores. La TOA es el tiempo que tarda la señal en desplazarse desde un lector a un transpondedor y/o de un transpondedor a un lector. Dada la velocidad de propagación de la señal, la distancia puede calcularse. Tenga en cuenta que para lograr estimaciones significativas de la distancia, el transpondedor y el lector deben estar perfectamente sincronizados. Otra telemetría conocida es el ángulo de llegada (AOA). AOA es el ángulo entre la dirección de propagación de la señal y un eje de referencia. AOA requiere una antena direccional (disposición) y su precisión depende en gran medida del alcance (para un alcance mayor, un pequeño error en la medición de ángulo resulta en un gran error en la estimación de posición). El indicador de potencia de la señal recibida (RSSI) es otra telemetría común. Mide la atenuación de la señal recibida para derivar la distancia. Sin embargo, la atenuación puede verse afectada por factores incluyendo el desvanecimiento de rutas múltiples, temperatura, humedad y objetos ocluyentes. Otras telemetrías conocidas en la técnica incluyen diferencia de hora de llegada (TDOA), tiempo de vuelo (TOF), y Tiempo de viaje redondo (RTT). La precisión de las distancias calculadas con base en estas telemetrías está limitada por el nivel de la tecnología (cronómetros y resolución de sincronización o precisión de la disposición de antenas) y las condiciones en la escena (humedad u obstáculos).

Las técnicas de estimación de posición pueden incluir trilateración y triangulación. En un caso tridimensional, una técnica de trilateración estima las coordenadas de un punto A en el espacio utilizando al menos 1) cuatro puntos dados en el espacio con coordenadas conocidas y 2) las distancias entre estos cuatro puntos al punto A. Tenga en cuenta que estas cuatro distancias dadas definen ámbitos centrados en los cuatro puntos dados y que su intersección define de forma exclusiva el punto A. De manera similar, una técnica de triangulación estima las coordenadas de un punto A en el espacio utilizando al menos 1) tres puntos dados en el espacio con coordenadas conocidas y 2) el ángulo entre una linea que conecta estos tres puntos y el punto A a una línea de referencia. Tenga en cuenta que estos tres ángulos dados definen conos centrados en los tres puntos dados, y que su intersección define de forma exclusiva el punto A. Por lo tanto, en el caso general, una técnica de posicionamiento de trilateración requiere por lo menos cuatro linea visuales (LOS) entre un transmisor y un receptor y un sistema de cronómetro y sincronización muy preciso. Por otro lado, una técnica de posicionamiento de triangulación requiere por lo menos tres LOS y una antena direccional con suficientes elementos de disposición para satisfacer la resolución angular necesaria. Si está disponible más de la LOS estrictamente necesaria, se puede aplicar un método de estimación de error de mínimos cuadrados para reducir al mínimo el error de estimación de posición.

Un sistema sinérgico de ejemplo 100 para rastreo de objetos, tal como rastrear varios objetos, se muestra en la figura 1A, de acuerdo con una modalidad. Una o más cámaras 110 se utilizan para cubrir una escena dinámica 120 de varios objetos que se mueven rápidamente entre si, a menudo en cúmulos. Tenga en cuenta que estos objetos pueden tener apariencias similares (sobre todo en un juego de equipo donde los objetos pertenecen al mismo equipo (ataque o defensa, o arbitros) exhiben apariencia similar (uniformes del equipo). En algunas modalidades, las cámaras pueden posicionarse estáticamente para cubrir la escena o pueden traducirse y dirigirse para cubrir el centro de la actividad. Además de las cámaras, uno o más lectores pueden colocarse en la escena 130. De igual manera a las cámaras, las ubicaciones de los lectores pueden ser estáticas o dinámicos para permitir una buena recepción de señales de transmisión de los transpondedores (objetos etiquetados. Las señales de video y telemetría de los lectores pueden alimentarse en el sistema de rastreo de objetos 140. De acuerdo con una modalidad, el sistema de rastreo de objetos 140 puede utilizar técnicas de visión para localizar continuamente los objetos en la escena, incluyendo los lectores portátiles a la vista. Además, según algunas modalidades, la tecnología de RTLS puede utilizarse para resolver el rastreo bajo oclusión, como se explica en detalle más adelante. Los datos posicíonales sin procesar generados por el sistema 140 pueden ser procesados localmente o se pueden enviar a un tercero para su ulterior procesamiento. Una aplicación de interfaz de usuario (GUI) 150 puede incluir funcionalidad de control del sistema, visualización de datos y el despliegue de estadísticas que pueden ser puestas a disposición de un operador.

La localización por visión y la localización por RTLS puede requerir lineas visuales (LOS) con el objeto, de acuerdo con algunas modalidades. Aunque en el caso del video es posible localizar y esbozar con exactitud un objeto mediante procesamiento aplicado a los píxeles procedentes del segmento de imagen del objeto, RTLS puede requerir más de un LOS para localizar un objeto etiquetado. En un caso tridimensional sin restricción, tres LOS son necesarias cuando se utiliza una técnica de posicionamiento de triangulación y cuatro LOS cuando se utiliza una técnica de posicionamiento de trilateración. En presencia de 1 ) menos LOS por la oclusión o falla de recepción de la señal, o 2) un error inherente en los datos de telemetría, la localización de un objeto etiquetado puede venir con una región de incertidumbre representada por una función de probabilidad espacial - función de densidad de probabilidad (PDF) - y formulada en coordenadas espaciales mundiales o espaciales de imagen. Este archivo PDF puede ser utilizado como información previa en un esquema probabilístico para el rastreo de objetos, tales como un método de rastreo con filtrado de partículas comunes.

La figura B ilustra una modalidad adicional 102 de un sistema de rastreo de objetos. En este caso, el sistema de rastreo de objetos 140 puede incluir un receptor de información visual 170 para recibir información visual, como señales de vídeo o datos de pixeles, recopilados por un sistema de visión 10. Tal sistema puede incluir una o más cámaras que rodean a la escena. El sistema de rastreo de objetos 140 también puede incluir un receptor de información de telemetría 160 para recibir la información de telemetría, como datos de TOA o AOA, de un lector de RTLS 130. El rastreador de objetos 180 puede ser configurado para utilizar la información visual y la información de telemetría para localizar e identificar un objeto en la escena. Cuando la información visual es incapaz de localizar e identificar el objeto en la escena, el rastreador de objeto 180 puede usar información de telemetría medida a partir de uno o más objetos en la escena para localizar e identificar el objeto. Cuando la información de telemetría sea incapaz de localizar e identificar el objeto en la escena, el rastreador de objetos 180 puede usar información visual del objeto para localizarlo e identificarlo. Por otra parte, la combinación de información de telemetría e información visual puede ser utilizada de forma exclusiva para determinar la ubicación e identidad de un objeto cuando ni la información de telemetría ni la información visual, cuando se usan con independencia, son suficientes para determinar la localización y la identidad únicas del objeto. Esto puede ser realizado para varios objetos en un evento o escena. El sistema 102 pueden localizar con exactitud e identificar varios objetos, incluyendo objetos que están ocluidos, recientemente ocluidos, o en proximidad a otros objetos en un cúmulo.

Sistemas de ejemplo 100 y 102 o cualquier parte de los sistemas 100 y 102 pueden ser parte de o pueden ser ejecutados por uno o más dispositivos de cómputo. Un dispositivo informático puede ser cualquier tipo de dispositivo informático que tenga uno o más procesadores. Por ejemplo, un dispositivo informático puede ser una estación de trabajo, dispositivo móvil (por ejemplo, un teléfono móvil, un asistente personal digital o computadora portátil), computadora de escritorio, servidor, conjunto de computadoras, conjunto de servidores, consola de juegos, decodificador, quiosco, sistemas incorporados o cualquier otro dispositivo que tenga al menos un procesador y memoria. Modalidades de la presente invención pueden ser software ejecutado por un procesador, firmware, hardware o cualquier combinación de los mismos en un dispositivo informático. Según otra modalidad adicional, el sistema de rastreo de objetos 140 puede implementarse en diversas localidades de la ruta de distribución de video.

La figura 2 demuestra tres escenarios para localización con RTLS en el caso bidimensional, de acuerdo con modalidades de la invención. En cada escenario, hay tres lectores (o transpondedores conectados a los jugadores), 210, 212 y 214, dentro de la escala de un transpondedor conectado a un jugador 216. En el primer caso 200, los tres lectores tienen una LOS al transpondedor. Por lo tanto, están disponibles tres mediciones de distancia entre el transpondedor y cada lector. Con basde en estas distancias, una técnica de trilateración dará lugar a una estimación de la ubicación del jugador 216. Esta estimación de ubicación está representado por una PDF centrada en la intersección de tres anillos espaciales 218. El alcance de dicha región de incertidumbre (o desviación estándar de la PDF) puede ser del orden de magnitud de unos pocos centímetros, dependiendo de la exactitud y la precisión de la tecnología del sistema de RTLS específico.

En el segundo caso 202, un jugador etiquetado 216 está ocluido por otro jugador. Como resultado, sólo dos lectores, 210 y 214, tienen una LOS al transpondedor, por lo que sólo dos mediciones de distancia están disponibles. Por tanto, uno puede esperar que el jugador esté en una de dos regiones de intersección 220 o 222. En el tercer caso 204, un jugador etiquetado 216 está ocluido por dos otros jugadores. Como resultado, sólo un lector, 210, tienen una LOS al transpondedor, por lo que sólo una medición de distancia está disponible. Basado en esta medición de la distancia, se puede esperar que el jugador esté en cualquier posición a lo largo de un anillo espacial centrado sobre la ubicación del lector. (El ancho del anillo corresponde al error inherente en la telemetría dada.) Este incertidumbre espacial con respecto al paradero de un jugador puede resolverse al fusionar la información de rastreo de RTLS y de visión según modalidades de esta invención.

Un método de conformidad con una modalidad de esta invención puede determinar la identidad de los objetos bajo oclusión. Por ejemplo, la figura 3 muestra cómo el error de identificación de objeto común puede resolverse al complementar un método de rastreo de visión con RTLS incluyendo un lector. Suponiendo que el jugador 314 y el jugador 316 pertenecen al mismo equipo, las técnicas de reconocimiento de patrones serán limitadas por la apariencia similar general de los dos jugadores. Suponiendo también que en el tiempo t0 ambos jugadores comiencen a moverse en una ruta donde ambos están correctamente rastreados y etiquetados por el sistema de rastreo, entonces conforme cruzan la ruta entre si sus imágenes proyectadas se fusionarán y después se dividirán en el tiempo ti. A menudo, después de la división, los métodos de visión pueden proporcionar las posiciones exactas de los jugadores, pero su identidad puede cambiarse incorrectamente debido a la apariencia similar de los dos jugadores. Por otro lado, un lector de RTLS 310 proporciona la posiciones probables de los dos jugadores a lo largo de los anillos 318 y 320 junto con sus identidades. Al fusionar los datos de visión (la localización exacta de los jugadores) con los datos de telemetría (identidades de los jugadores), el sistema de rastreo de objetos 140 puede resolver la ubicación e identidad de cada jugador después de la división.

Otro aspecto de esta invención permite localizar e identificar objetos cuando se ocluyen relativo a la cámara y el lector, como lo demuestra la figura 4. En esta modalidad de ejemplo, una cámara 410 y un lector 414 cubren la escena 412. Normalmente, la escena incluye jugadores que se mueven en relativa proximidad lejana unos de otros 420-430. Estos actores son separables y pueden ser localizados de forma precisa por un método de rastreo de visión. El reto consiste en localizar con exactitud a los jugadores que están posicionados en un cúmulo 418 y, por lo tanto, se ocluyen entre sí en relación con la cámara 410 y el lector 414. Tal como se ¡lustra en la figura 4, la cámara y el lector tienen LOS 416 a los jugadores 420-430 y, en consecuencia, la posición e identidad de estos jugadores se conocen. Por otra parte, el jugador 432 puede ser ocluido por otros jugadores en el cúmulo 418 y por lo tanto su imagen proyectada puede ser inseparable de la imagen proyectada del cúmulo entero y por lo tanto irreconocible. Sin embargo, hay una LOS entre este jugador 432 y los jugadores 420-426. Ya que las posiciones de estos jugadores se conocen (ya sea por métodos de visión o RTLS), la posición del jugador ocluido 432 puede restaurarse usando una técnica de trilateración, por ejemplo. Tenga en cuenta que en esta configuración cada transpondedor (la etiqueta adjunta a cada jugador) está configurado para transmitir al lector la telemetría (tales como la TOA) relacionada con 1 ) la distancia que existe entre este transpondedor y el lector y 2) la distancia entre este transpondedor y los otros transpondedores dentro de la LOS de la misma. En el caso de un transpondedor que no tenga una LOS al lector, puede transmitir sus datos al lector a través de otro transpondedor.

En tal sistema de comunicación de acceso múltiple, las señales de los transpondedores y de los lectores pueden chocar y pueden anularse mutuamente, lo que conduce a una utilización ineficaz del ancho de banda debido a la necesidad de repetir las transmisiones. Se pueden utilizar algoritmos anti-colisión conocidos, según modalidades, y están diseñados para coordinar estas comunicaciones simultáneas mediante protocolos de acceso múltiple por lo que el tiempo total para la identificación, así como el consumo de energía de los transpondedores se reducen al mínimo. Las técnicas de arbitraje de señal de comunicación son comúnmente utilizadas actualmente para satélites de noticias y y redes de telefonía móvil. Procedimientos como: acceso múltiple por división espacial (SDMA), acceso múltiple con dominio de frecuencia (FDMA), acceso múltiple con dominio de tiempo (TDMA) y acceso múltiple por división de código (CDMA) son conocidos en la técnica de tratar con la interferencia de transceptor a transceptor.

Modalidades de esta invención pueden aplicarse a la identificación y rastreo de un juego de fútbol americano, como se muestra en la figura 5. Un juego de fútbol americano es una escena particularmente difícil de analizar. Consiste en segmentos cortos (jugadas), comenzando por jugadores tanto ofensivos como defensivos posicionados en una determinada formación. Tras iniciar la jugada, el objetivo del equipo ofensivo consiste en hacer avanzar la pelota hacia el final de la zona, mientras que el objetivo del equipo defensivo tiene como objetivo oponerse a este avance. Durante esta corta duración de una jugada (varios segundos) los jugadores se mueven rápido, se mezclan entre sí y se bloquean físicamente entre sí. En este caso, se desea poder identificar y ubicar a los jugadores como se posicionan en una formación a lo largo de la linea de golpeo (o como se posicionan para la patada de inicio), y para mantener el rastreo durante la duración de la jugada.

De acuerdo con una modalidad, esto puede ser aplicado con un sistema que comprende una cámara 510 y un lector 514 (cada uno posicionado en cualquier punto clásico ventajoso), los transpondedores conectados a los jugadores de fútbol americano o a algunos de los jugadores de fútbol americano, y posiblemente transpondedores conectados a los árbitros o a cualquier persona de apoyo en las cercanías. Por ejemplo, al igual que en el escenario demostrado en la figura 4, el pasador (QB) puede estar ocluidos por los linieros 518, pero puede tener una LOS al corredor de poder (FB), el tailback (HB), el receptor abierto (WR), o a cualquier otro jugador, arbitro, o persona de apoyo en el rango. Por lo tanto, de conformidad con esta invención, la ubicación del pasador ocluido puede restaurarse usando su distancia al FB, HB, WR, y/o a otros jugadores con ubicaciones conocidas. Otro ejemplo es resolver las identificaciones y las posiciones de los linieros 518. Los linieros se colocan en estrecha proximidad a lo largo de la linea de golpeo 516 y, por lo tanto, es posible podrían no ser separables y/o identificables mediante métodos de visión solamente. Sin embargo, su formación a lo largo de la linea de golpeo (como lo dictan las reglas del juego) proporciona una limitación que junto con las PDF derivadas por un lector es suficiente para determinar la ubicación de estos jugadores. Por ejemplo, seis linieros resultan en seis PDF en forma de anillo, cada uno centrada en la posición del lector y con un radio igual a la distancia entre el lector y el jugador correspondiente. Las intersecciones entre estos anillos y la formación de los linieros resulta en la posición de cada uno de los jugadores. La formación de los linieros, a su vez, puede ser detectada por métodos de visión.

Estos métodos, que se aplican para la identificación y el rastreo de jugadores de fútbol americano en modalidades descritas aquí, presentan una oportunidad para análisis de nivel superior de parámetros como la formación del equipo, clasificación de la jugada, etc. Estos métodos también pueden permitir el monitoreo de los 1 1 jugadores activos de cada equipo y pueden permitir indicar quién de los 53 jugadores disponibles en cada equipo está jugando ahora en el campo. Esto puede realizarse ya sea al rastrear el total de 106 jugadores de fútbol americano continuamente, o al activar el rastreo de sólo aquellos jugadores que se encuentran en el terreno, mientras se desactiva el rastreo de los otros jugadores que actualmente están fuera del terreno. En algunos casos, es posible que exista una situación en la que no todos los jugadores estén etiquetados. En este caso, la identificación y rastreo de jugadores no etiquetados puede hacerse por métodos de visión y métodos en los que la formación y las reglas de un juego se utilizan para deducir la posición probable y la identidad de los jugadores no etiquetados.

El método en la modalidad descrita anteriormente es especialmente útil en el seguimiento de objetos pequeños como una pelota en un partido de baloncesto que a menudo es ocluida por algunos jugadores y es muy difícil de detectar y rastrearla solamente con la visión. También es aplicable a resolver la auto oclusión cuando se detecta y rastrea la posición de un objeto articulado como se demuestra en la figura 6.

La figura 6 muestra una modalidad de ejemplo donde el movimiento de un objeto articulado - un bateador de béisbol, por ejemplo - se calcula al rastrear las articulaciones del objeto. En este caso, la auto oclusión complica el rastreo con visión. También en este caso, la tecnología de RTLS puede utilizarse para complementar la deficiencia de la tecnología de visión. En la figura 6 los transpondedores 602-610 se conectan a las articulaciones de un bateador de béisbol para permitir la detección de posición y su rastreo. Mientras que las extremidades de un humano (parte superior de la cabeza 602 y tobillos 604-606, por ejemplo) están con LOS 622 a la cámara 620 y al lector 630 y, por lo tanto, es relativamente fácil detectar y rastrear (por ejemplo, conocido en los métodos de detección de cabeza de la técnica), otras ubicaciones (como las rodillas, codos, hombros 608-610) pueden ser 1 ) auto ocluidos en relación con la cámara y el lector o 2) difíciles de extraer con técnicas de visión. En este caso, por ejemplo, cada transpondedor, 602, 604 y 606 mide la telemetría relativas a todos los demás transpondedores que están con LOS 608-610 y transmite estos datos al lector junto con la telemetría relativa a su propia distancia al lector. En esta modalidad, una tecnología de RTLS que está mejor adaptada para corto alcance y con pequeña granularidad puede ser utilizada para la comunicación entre los transpondedores 602-610, mientras que otra tecnología de RTLS mejor adaptada para telemetría de largo alcance puede ser utilizada para la comunicación entre los transpondedores 604-606 y los lectores.

La figura 7 muestra un sistema para rastrear objetos dinámicos según una modalidad. En este sistema al menos una cámara 718 sirve para cubrir la escena; puede ser una cámara estacionaria o no estacionaria, tal como una cámara de transmisión. Los cuadros de video de la cámara se alimentan al sistema de rastreo de objetos 710 para el procesamiento, un cuadro a la vez. Además, un subsistema de RTLS 712 está integrado al sistema, incluyendo al menos un lector 714 y una combinación de transpondedores pasivos, semi-pasivos y/o activos 716. Los transpondedores pueden tener sensores ambientales que conectados a ellos para medir variables incluyendo la temperatura, movimiento y energía del impacto. Tanto la cámara de vídeo y el subsistema de RTLS se comunican con el sistema de rastreo de objetos 710, local o remotamente, a través de cable o inalámbrico, o mediante cualquier otro medio de comunicación. El sistema de rastreo de objetos 710 recibe los datos del subsistema de RTLS 712 y la cámara 7 8, asi como manejarlos y controlarlos.

Dependiendo de la cámara, la calibración 730 puede llevarse a cabo una vez en el sistema de restablecimiento de tiempo (cámara estática), o se puede hacer sobre la marcha durante el funcionamiento del sistema (cámara dinámica), según algunas modalidades. Métodos de calibración conocidos estiman el modelo de la cámara al, por ejemplo, correlacionar los puntos de referencia en el modelo del mundo real de la escena y sus correspondientes puntos en la imagen proyectada de la escena. Con el modelo de la cámara, uno puede mapear las coordenadas espaciales de la imagen a las coordenadas del mundo real y viceversa.

La detección de la imagen proyectada de cada objeto -denominado la medición del objeto - mediante procesamiento de las actuales y posiblemente anteriores cuadros de video, se efectúa a continuación 750. Métodos conocidos para substracción del fondo generan una máscara que esboza las regiones de fondo en el cuadro de vídeo actual. Estas masas (regiones de primer plano) segmentan la imagen proyectada de los jugadores (objetos en movimiento) o cúmulo de jugadores. Por lo tanto, una medición puede incluir información derivada de píxeles pertenecientes a un objeto o a la imagen proyectiva de los objetos. En el caso en que un objeto esté aislado (una región de primer plano contiene una imagen de un objeto únicamente), el modelado exacto y posicionamiento del objeto en el terreno pueden derivarse. En el otro extremo, es un desafío modelar y posicionar un objeto cuando está sumergido en un cúmulo de otros objetos. Por lo tanto, los datos posicionales de objetos aislados (junto con otros datos relacionados, tales como el periodo y la velocidad) enviadas al proceso 740 pueden ser utilizados en el proceso de identificación y localización de objetos etiquetados, como se demuestra en la figura 4. Esto se explicará más adelante a continuación.

El proceso 720 restaura y controla el subsistema de RTLS 712. Este proceso también recolecta la telemetría medida por el subsistema RTLS. Dependiendo de la tecnología de RTLS en uso, la telemetría puede ser hora de llegada (TOA), ángulo de llegada (AOA), ndicador de potencia de la señal recibida (RSSI), etc. Esta telemetría proporcionada por el subsistema de RTLS pueden generarse periódicamente o por demanda.

Luego, en el paso 740, las distancias entre el lector 714 y los transpondedores 716 y las distancias entre los transpondedores (con excepción de cuando no hay LOS) se calculan. Luego, la ubicación de cada jugador etiquetado identificado se deriva utilizando 1) todas las distancias disponibles entre este jugador etiquetado y otros jugadores etiquetados/lector y 2) las posiciones de los otros jugadores etiquetados/lector como se da en el paso 750. Como se mencionó anteriormente, las estimaciones de posición basada en RTLS pueden ser representadas por una función de probabilidad espacial - PDF. Cuantos más lector/transpondedores en lugares conocidos y distancias correspondientes al objeto dado se encuentren disponibles para el método de posicionamientomenor la entropía de la PDF correspondiente (lo que significa una menor región de incertidumbre).

La identificación y PDF correspondientes de los jugadores se utilizan ahora en el paso 760 para caracterizar las mediciones. Por ejemplo, una imagen (medición) de un cúmulo de jugadores pueden ahora segmentarse en subregiones donde cada subregión corresponde a un jugador en el cúmulo. Esto puede lograrse con un método de agrupamiento probabilístico usando las PDF dadas como información previa.

Luego, en el paso 770, estas mediciones caracterizadas se asociados con la lista actual de objetos rastreados 790. Por último, los datos de rastreo de cada objeto ratreado - posición, velocidad, identidad, etc. - se actualiza en el paso 780 utilizando métodos de rastreo conocidos, tales como los descritos en la solicitud de patente de los EUA No. 12/403,857 por Gefen.

La fusión de los datos de visión y de RTLS, como se describió arriba, puede lograrse mediante el procesamiento de cuadros de video recibidos de la cámara y telemetría recibida desde la RTLS, según las modalidades. Por lo general, la velocidad de transferencia de datos del RTLS no es la misma que la velocidad de cuadros de la cámara. Un RTLS que utiliza una señal portadora de alta frecuencia alcanza una alta velocidad de datos. Esto, a su vez, permite que el sistema dé cabida a un gran número de transpondedores y permita a cada transpondedor transmitir paquetes más grandes de datos; cuanto mayor sea la frecuencia, más rápida la comunicación entre los lectores y los transpondedores. Sin embargo, una señal portadora de alta frecuencia se atenúa más rápido y, por lo tanto, su alcance es más limitado.

En modalidades donde varios transpondedores y lectores están involucrados, dependiendo de la tecnología específica de RTLS, la telemetría generada de RTLS puede retrasar los datos de rastreo de visión correspondientes. Esta latencia potencial puede extenderse a varios cuadros de video y requiere de un mecanismo de sincronización, por ejemplo, asignar una marca de tiempo a los datos de visión y de RTLS que luego pueden utilizarse para la sincronización. Por lo tanto, donde la salida de transmisión de datos de RTLS es inferior a la velocidad de cuadros de la cámara, la telemetría puede estar al Sistema de Rastreo de Objetos 710 sólo cada N cuadros de video. Por lo tanto, en este caso, los datos de rastreo de visión interpolan los puntos de datos faltantes donde los datos de rastreo derivados de la telemetría no están disponibles. Alternativamente, el RTLS 712 puede enviar la telemetría al sistema de rastreo de objetos 710 sólo cuando así se lo ordena la unidad de control de RTLS 720. En este caso, la identificación de RTLS y los datos de ubicación se ordenarán, por ejemplo, sólo cuando sea necesario para resolver la oclusión.

Una modalidad ejemplar del subsistema de RTLS 712 se describe a continuación, aplicando tecnología de comunicación de banda ultra ancha (UWB). Una señal de comunicación sin portador UWB se define " como una señal con un ancho de banda de al menos 500MHz o con un ancho de banda de al menos 20% de la frecuencia central. En 2002, la Comisión Federal de Comunicaciones (FCC) aprobó la transmisión de una señal de comunicación UWB en un rango de 3.1 GHz a 10.6 GHz, y a una densidad espectral debajo de de -41.3 dBm/MHz. La señal UWB presenta excelente desempeño en un entorno altamente reflectivo (rutas múltiples) debido a un pulso de ciclo bajo. Además, la interferencia con otras señales de RF es mínima debido a anchos de banda no traslapantes y la diferencia en tipo de señal. En consecuencia, UWB se convirtió en una solución atractiva para aplicaciones donde datos de alta velocidad y alta resolución son necesarios. Los recientes desarrollos cuentan con RTLS basada en UWB con por debajo de -30cm de precisión de ubicación y una velocidad de actualización de varios milisegundos. Sin embargo, la LOS al objetivo aún es un requisito para lograr una localización en tiempo real.

La figura 8 muestra el componente de lector 800 del RTLS basado en UWB, según una modalidad. El lector puede consistir en una unidad transmisora/receptora de RF tradicional (portadora), una unidad receptora de UWB 840 y un controlador 880. La unidad de comunicación de RF puede recibir y transmitir señales moduladas por conducto de su antena 812. Un circulador 814 puede dirigir las señales entrantes de la antena al amplificador del receptor 818, al tiempo que evita que las señales pasen a través del amplificador del transmisor 816. Del mismo modo, las señales salientes desde el transmisor pueden dirigirse hacia la antena, mientras que se les impide pasar a través del amplificador del receptor. Desencadenados por el controlador 880, el transmisor 820 y el receptor 822 pueden llevar la comunicación entre el lector y las etiquetas. El principal propósito de esta comunicación puede ser la necesidad de controlar la operación de las etiquetas y, posiblemente, recibir los datos sensoriales de las etiquetas.

El receptor de UWB 840 puede recibir la señal de UWB desde donde se derivan los datos de rango a través de una antena 842. La señal de UWB puede ser primero filtrada 844 y a continuación, amplificada 846. La señal amplificada puede mezclarse entonces 850 con una señal de plantilla generada por el generador de plantilla 848. La señal de plantilla puede basarse en la forma de onda de impulso empleada en el sistema y diseñada para extraer el impulso desde la señal de UWB recibida a través de la correlación al mezclar 850 e integrar 852. La señal analógica del integrador puede a continuación pasarse a un circuito de muestra y retención 854 donde un nivel de señal dado es seleccionado y se convierte adicionalmente en datos digitales por el ADC 856. Estos datos digitales se convierten en símbolos digitales 858 que se procesan adicionalmente por el controlador del lector 880 donde las derivaciones de telemetría como TOA y AOA tienen lugar.

El controlador del lector 880 puede incluir un módulo informático 882, un módulo de memoria 884, un módulo de reloj 886 y una fuente de energía 888, según una modalidad. El controlador del lector administra la comunicación entre el lector y las etiquetas, y posiblemente otros lectores. Puede recoger datos sensoriales y de estado de las etiquetas (a través de su unidad de comunicación de RF) y los datos de alcance de las etiquetas (a través de su receptor de UWB). El controlador del lector 880 puede calcular las distancias y ángulos entre el lector y las etiquetas, así como las distancias entre las etiquetas, y pasan estas mediciones al controlador de RTLS 720 para su procesamiento posterior.

La figura 9 muestra el componente de etiqueta del RTLS basado en UWB 900, según una modalidad. La etiqueta puede consistir en una unidad transmisora/receptora de RF tradicional (portadora) 910, una unidad transmisora de UWB 930, un transceptor de retrodispersión de UWB 950 y una unidad de control 970. Del mismo modo que el del lector, el transmisor/receptor de RF de la etiqueta 910 puede incluir una antena 920, un circulador 922, amplificadores 916 y 918, un receptor 912 y un transmisor 914. Mediante esta unidad de comunicación de RF, el modo de operación de la etiqueta puede ser configurado por el lector y diversos datos sensoriales y de estado pueden ser enviados desde la etiqueta al lector. El transmisor de UWB 930 puede enviar las señales de UWB cuando es accionado por el controlador 970. Por lo tanto, el transmisor puede recibir una secuencia de interrogación del controlador y convertirla en una señal análoga utilizando el DAC 932 desde el cual los pulsos de UWB son generados por el generador de impulsos 934. La señal de UWB puede entonces ser amplificada 936 y filtrada 938 antes de ser transmitida a través de la antena 940.

En contraste con el transmisor de UWB 930, el transceptor de retrodispersión de UWB 950 puede responder simplemente a una señal de UWB recibida. El aislamiento entre las señales de UWB entrantes y retrodispersas puede ser proporcionado por el circulador 962. Una señal entrante de UWB puede ser reflejada de vuelta o absorbida por la antena 960 dependiendo de las propiedades de la antena. El modulador de antena 952 está diseñado para configurar la antena, por ejemplo, controlando la ¡mpedancia de la antena. Por lo tanto, la información puede ser codificada, por ejemplo, al reflejar, absorber y/o cambiar la polaridad de la señal entrante. Además, el modulador 952 puede controlar la respuesta de señal del amplificador 954. El transceptor 950 también puede incluir un filtro de salida 958 y un filtro de entrada 956.

El controlador de la etiqueta 970 es un modelo de procesamiento, incluyendo un módulo informático 972, un módulo de memoria 974, un reloj 976 y una fuente de energía 978. Los datos de identificación de la etiqueta y posiblemente los datos sensoriales de la etiqueta pueden ser analizados y almacenados en el controlador. El módulo de reloj controla el momento en que la transmisión de la señal de UWB 930 se lleva a cabo y la sincronización en que el modulador de antena cambia la impedancia de la antena y con ello codifica datos tales como la ID de la etiqueta en la señal de UWB retrodispersa.

Tal como se ilustra en la figura 4, un sistema de RTLS puede incluir al menos un lector y una pluralidad de etiquetas adjuntas a objetivos de interés. En cualquier momento algunas de las etiquetas pueden tener una LOS directa al lector y algunas simplemente una LOS indirecta al lector (lo que significa una LOS que pasa a través de otra etiqueta con una LOS directa al lector). Por tanto, el sistema, de acuerdo con una modalidad, localiza tanto etiquetas con LOS directa y etiquetas con LOS indirecta de la siguiente manera.

El lector 800 pueden asignar un lapso de tiempo a una etiqueta 900. A lo largo de este lapso de tiempo esta etiqueta especifica se configura para operar en un modo de operación maestro, mientras las demás etiquetas se ponen para operar en un modo esclavo, de acuerdo con una modalidad. Cuando una etiqueta está en un modo de operación maestro puede ser configurado para transmitir 930 una señal de UWB - una secuencia de pulsos muy breves. Esta señal, denotada por So(t), puede ser ecibida por el receptor de UWB de un lector 840 si existe una LOS directa. También puede ser recibida y retrodispersa por otro transceptor de retrodispersión de UWB de etiqueta esclava 950 que está con una LOS a la etiqueta maestra. Dicha señal retrodispersa desde una etiqueta esclava, denotada por S¡(t) (i denota un índice de etiqueta esclava), se envía de vuelta al transceptor de retrodispersión de UWB de etiqueta maestra 950 donde luego se retrodispersa al lector. Tenga en cuenta que, en primer lugar, la transmisión de señal de UWB por el transmisor de UWB de una etiqueta 930 puede ocurrir en este caso, sólo cuando la etiqueta esté configurada para operar en un modo de operación maestro; y, en segundo lugar, que todas las etiquetas (maestras y esclavas) retrodispersan una señal cuando la etiqueta maestra está configurada para sólo retrodispersar las señales S¡(t) y todas las demás etiquetas esclavas se configuran para sólo retrodispersar la señal S0(t).

La figura 10 demuestra la progresión de las señales de UWB transmitidas por la etiqueta maestra 1010 y recibidas por el lector 1020, según una modalidad. La etiqueta configurada en un modo de operación maestro puede enviar periódicamente pulsos UWB: 1012a, 1012b, etc., separados por un "tiempo de protección". El tiempo de protección puede evitar la interferencia entre señales retrodispersas resultantes de pulsos sucesivos. En el lector 800, primero, la señal So(t) es recibida: 1024a, 1024b, etc., con un tiempo de demora de T0. Luego una señal retrodispersa de una etiqueta esclava, Si(t), puede ser recibida: 1026a, 1026b, etc., con un tiempo de demora de T-i. Similarmente, una señal retrodispersa de una segunda etiqueta esclava, S2(t), puede ser recibida: 1028a, 1028b, etc., con un tiempo de demora de T2. Note que aunque T0 representa el tiempo que llevó a So(t) desplazarse de de la etiqueta maestra al lector, T¡ representa el tiempo que le llevó a S¡(t) desplazarse de la etiqueta esclava /, a través de la maestra, al lector.

Estos tiempos de progresión de señal (TOA) junto con el conocimiento de la velocidad de progresión de la señal pueden ser usados por el lector 800 para calcular la distancia entre el lector a la etiqueta maestra y las distancias entre la etiqueta maestra y las etiquetas esclavas, según una modalidad adicional. El lector 800 puede ser configurado para medir además del tiempo de progresión de señal también el ángulo de llegada de la señal de las etiquetas maestras (AOA) y otra telemetría, que podría ser de gran utilidad a la hora de calcular la ubicación de las etiquetas (RSSI, TDOA, TOF, RTT, etc.).

Los aspectos descritos anteriormente, para las modalidades ejemplares mostradas en las figuras 1A-10 o cualquier parte(s) o función(es) de éstas pueden llevarse a cabo utilizando módulos de software, hardware, firmware, medios de almacenamiento legibles por computadora tangibles o utilizables por computadora con instrucciones almacenadas ahí, o una combinación de los mismos y pueden ser aplicados en uno o más sistemas de cómputo u otros sistemas de procesamiento. La figura 1 1 ilustra un sistema de cómputo de ejemplo 1 100 en el cual modalidades de la presente invención, o porciones de la misma, puede implementarse como un código legible por computadora. Por ejemplo, el sistema de rastreo de los objetos 140, el receptor de información visual 160, el receptor de información de RTLS 170, el rastreador de objetos 180 y/o cualquier otro de los componentes de los sistemas de ejemplo mostrados en las figuras 1A-10 pueden ser implementados en hardware, firmware, o como código legible por computadora en un sistema de cómputo como el sistema de cómputo 1100. Después de leer esta descripción, se volverá evidente para un experto en la materia en la técnica relevante cómo implementar la invención utilizando otros sistemas de cómputo y/o arquitecturas de cómputo.

El sistema de cómputo 1 100 incluye uno o más procesadores, tales como el procesador 1 104. El procesador 1 104 puede ser un procesador de propósito especial o un procesador de propósito general. El procesador 1 104 es conectado a una infraestructura de comunicación 1106 (por ejemplo, una barra colectora de datos o red).

El sistema de cómputo 1 100 también incluye una memoria principal 1 108, preferentemente una memoria de acceso aleatorio (RAM), y también puede incluir una memoria secundaria 1 1 10. La memoria secundaria 1110 puede incluir, por ejemplo, un controlador de disco duro 1112 o un controlador de almacenamiento que se puede remover 1 14. El controlador de almacenamiento que se puede remover 1 114, puede comprender un controlador de disco flexible, un controlador de cinta magnética, un controlador de disco óptico, una memoria intermedia o los similares. El controlador de almacenamiento que se puede remover 11 14 lee desde y/o escribe a una unidad de almacenamiento que se puede remover 1 1 18 en una forma bien conocida. La unidad de almacenamiento que se puede remover 1 118 puede comprender un disco flexible, una cinta magnética, un disco óptico, etc., el cual es leído y escrito por un controlador de almacenamiento que se puede remover 1 114. Como lo apreciarán aquellos expertos en la materia, la unidad de almacenamiento que se puede remover 1 1 18 incluye un medio de almacenamiento utilizable por computadora que tiene almacenado en el mismo software y/o datos de cómputo.

En las ¡mplementaciones alternativas, la memoria secundaria 1110 puede incluir otros medios similares para permitir que los programas de cómputo u otras instrucciones sean cargados en el sistema de cómputo 1 00. Dichos medios pueden incluir, por ejemplo, una unidad de almacenamiento que se puede remover 1 122 y una interfase 1 120. Los ejemplos de dichos medios pueden incluir, un cartucho de programa y una interfase de cartucho (tal como aquella que se encuentra en los dispositivos de los video juegos), o un microprocesador de memoria que se puede remover (tal como un EPROM o PROM) y un receptáculo asociado, y otras unidades de almacenamiento que se pueden remover 1 122 e interfase 1120, las cuales permite que el software y los datos sean transferidos desde la unidad de almacenamiento que se puede remover 1122 al sistema de cómputo 1100.

El sistema de cómputo 1100 también puede incluir una fintease de comunicaciones 1 124. La interfase de comunicaciones 1 124, permite que el software y los datos sean transferidos entre el sistema de cómputo 1 00 y los dispositivos externos. La interfase de comunicaciones 1 124 puede incluir un módem, una interfase de red (como una tarjeta Ethernet), un puerto de comunicaciones, una ranura y tarjeta PCMCIA, una inalámbrica o los similares. El software y los datos transferidos a través de la interfase de comunicaciones 1 124 se encuentran en forma de señales que pueden ser electrónicas, electromagnéticas, ópticas u otras señales capaces de ser recibidas por la interfase de comunicaciones 1124. Estas señales se proporcionan a la interfase de comunicaciones 1124 vía una ruta de comunicaciones 1126. La ruta de comunicaciones 1 126 porta señales y puede ser implementada utilizando cable o alambra, fibras ópticas, una linea telefónica, o un enlace de teléfono celular, un enlace RF u otros canales de comunicaciones.

En este documento, los términos "medio de programa de cómputo" y "medio que se puede utilizar por computadora" son utilizados para hacer referencia generalmente a medios, tales como una unidad de almacenamiento que se puede remover 1 1 8, unidad de almacenamiento que se puede remover 1 122 y señales portadas sobre una ruta de comunicaciones 1126. El medio de programa de cómputo y el medio que se puede utilizar por computadora también puede referirse a memorias, tales como una memoria principal 1108 y una memoria secundaria 1110, la cual puede ser memoria de semiconductores (por ejemplo, DRAMs, etc.). Estos productos de programa de cómputo son medios para proporcionar software al sistema de cómputo 1100.

Los programas de cómputo (también denominados lógica de control de cómputo) son almacenados en una memoria principal 1108 y/o una memoria secundaria 110. Los programas de cómputo también pueden ser recibidos mediante la interíase de comunicaciones 124. Tales programas de cómputo, cuando se ejecutan, habilitan al sistema de cómputo 1 100 a implementar la presente invención como aquí se menciona. En particular, los programas de cómputo, cuando se ejecutan, habilitan al procesador 1 104 a implementar los procesos de la presente invención, tales como los pasos en los métodos descritos anteriormente. Por consiguiente, dichos programas de cómputo representan a los controladores del sistema de cómputo 1 100. En los casos en que es implementada la invención utilizando software, el software puede ser almacenado en un producto de programa de cómputo y es cargada en el sistema de cómputo 1 100 utilizando un controlador de almacenamiento que se puede remover 1 1 14, la interfase 1 120, el disco duro 1 112 o la interíase de comunicaciones 1 124.

Modalidades de la invención también pueden dirigirse a productos de cómputo que contengan software almacenado en cualquier utilizable por computadora. Este software, cuando se ejecuta en uno o más dispositivos de procesamiento de datos, hace que un dispositivo(s) de procesamiento de datos opere como se describe aquí. Modalidades de la invención emplean cualquier medio utilizable o legible por computadora, conocido ahora o en el futuro. Ejemplos de medios utilizables por computadora incluyen, pero no se limitan a, dispositivos de almacenamiento primario (por ejemplo, cualquier tipo de memoria de acceso aleatorio), dispositivos de almacenamiento secundarios (por ejemplo, discos duros, disquetes, CD-ROM, discos ZIP, cintas magnéticas, dispositivos de almacenamiento magnético, dispositivos de almacenamiento óptico, MEMS, dispositivo de almacenamiento nanotecnológico, etc. ), y medios de comunicación (p.ej., redes de comunicaciones con cable e inalámbricas, redes de área local, redes de área amplia, intranet, etc.

La presente invención ha sido descrita arriba con la ayuda de bloques de construcción funcionales para ilustrar la aplicación de determinadas funciones y relaciones. Los limites de los bloques de construcción funcional han sido arbitrariamente definidas contenida por la comodidad de la descripción. Los limites alternativos pueden ser definidos siempre que las funciones y relaciones especificadas de los mismos sean realizadas en forma adecuada.

La descripción anterior de las modalidades específicas revelará completamente la naturaleza general de la presente invención, y otros pueden, aplicando el conocimiento dentro de la experiencia en la materia, modificar y/o adaptar fácilmente las diversas aplicaciones, de manera que las modalidades específicas, sin la experimentación indebida, sin alejarse del concepto general de la presente invención. Por lo tanto, tales adaptaciones y modificaciones están previstas para estar dentro del significado y la escala de equivalentes de las modalidades descritas con base en la enseñanza y guía aquí presentadas. Se deberá comprender que la redacción o terminología de la presente tiene el propósito de descripción y no de limitación, de manera que la terminología o redacción de la presente especificación será interpretada por el experto en la materia a la luz de las enseñanzas y guía.

El espíritu y alcance de la presente invención no debe ser limitado por ninguna de las modalidades de ejemplo descritas anteriormente, sino que debe ser definido únicamente de acuerdo con las siguientes reivindicaciones y sus equivalentes.

Claims (33)

NOVEDAD DE LA INVENCIÓN REIVINDICACIONES

1.- Un método ¡mplementado por computadora para rastreo de objetos en una escena que comprende: recibir información visual de la escena con un sistema de rastreo de visión; recibir información de telemetría de la escena con un sistema de rastreo basado en un sistema de localización en tiempo real (RTLS); y determinar una ubicación e identidad de un primer objeto en la escena utilizando una combinación de la información visual y la información de telemetría.

2. - El método de conformidad con la reivindicación 1 , caracterizado además porque determinar comprende además utilizar la información de telemetría para localizar e identificar el primer objeto cuando la información visual es incapaz de localizar e identificar el primer objeto en la escena.

3. - El método de conformidad con la reivindicación 1 , caracterizado además porque determinar comprende además utilizar la información visual para localizar e identificar el primer objeto cuando la información de telemetría es incapaz de localizar e identificar el primer objeto en la escena.

A.- El método de conformidad con la reivindicación 1 , caracterizado además porque determinar comprende además utilizar la información visual e información de telemetría en combinación para localizar e identificar el primer objeto cuando se utiliza información visual solamente o cuando se utiliza información de telemetría solamente no es suficiente para localizar e identificar de forma única el primer objeto en la escena.

5.- El método de conformidad con la reivindicación 1 , caracterizado además porque también comprende: determinar cuando no hay linea de visión directa (LOS) disponible entre el primer objeto y una cámara del sistema de rastreo de visión; y determinar qué información de telemetría del sistema de de rastreo de RTLS usar para localizar e identificar el primer objeto.

6 - El método de conformidad con la reivindicación 1 , caracterizado además porque también comprende: determinar cuando no hay linea de visión directa (LOS) entre una etiqueta de RTLS situada en el primer objeto y un lector del sistema de rastreo de RTLS; y determinar qué información visual usar para localizar e identificar el primer objeto.

7.- El método de conformidad con la reivindicación 1 , caracterizado además porque también comprende utilizar el sistema de rastreo de RTLS para determinar una medición de telemetría entre el primer objeto y un segundo objeto.

8 - El método de conformidad con la reivindicación 7, caracterizado además porque también comprende: transmitir una primera señal de una primera etiqueta de RTLS situada en el primer objeto a una segunda etiqueta de RTLS situada en el segundo objeto y a un lector del sistema de rastreo de RTLS; y transmitir una segunda señal de la segunda etiqueta de RTLS situada en el segundo objeto a través de la primera etiqueta de RTLS al lector del segundo sistema de rastreo de RTLS.

9. - El método de conformidad con la reivindicación 7, caracterizado además porque también comprende localizar e identificar el primer y segundo objetos cuando el primer y segundo objetos se encuentran en diferentes partes de un objeto más grande.

10. - El método de conformidad con la reivindicación 1 , caracterizado además porque también comprende: segmentar una medición de imagen del primer objeto basado en la ubicación e identidad del primer objeto; caracterizar el primer objeto basado en la medición de imagen del primer objeto; y asociar los datos característicos del primer objeto con información de rastreo correspondiente al primer objeto.

1 1. - El método de conformidad con la reivindicación 1 , caracterizado además porque determinar incluye estimar una ubicación del primer objeto basado en la información de rastreo previa para el primer objeto.

12. - El método de conformidad con la reivindicación 1 , caracterizado además porque la información visual incluye la ubicación del primer objeto y la información de telemetría incluye la identidad del primer objeto.

13. - El método de conformidad con la reivindicación 1 , caracterizado además porque la información de telemetría incluye la ubicación del primer objeto y la información visual incluye la identidad del primer objeto.

14. - El método de conformidad con la reivindicación 1 , caracterizado además porque usar la información de telemetría incluye usar información de telemetría sólo cuando sea necesario para resolver la ubicación e identidad del primer objeto cuando una o más líneas visuales (LOS) sean obstaculizadas entre el primer objeto y una cámara del sistema de rastreo visual.

15. - El método de conformidad con la reivindicación 1 , caracterizado además porque usar la información visual incluye usar información visual sólo cuando sea necesario para resolver la ubicación e identidad del primer objeto cuando una o más líneas visuales (LOS) sean obstaculizadas entre una primera etiqueta de RTLS y un lector del sistema de rastreo de RTLS.

16. - El método de conformidad con la reivindicación 1 , caracterizado además porque también comprende: activar una primera etiqueta de RTLS situada en el primer objeto cuando el primer objeto se encuentra dentro de un área específica de la escena; y desactivar la primera etiqueta de RTLS situada en el primer objeto cuando el primer objeto está fuera de un área específica de la escena.

17. - Un método implementado por computadora para rastrear objetos en una escena que comprende detectar una ubicación e identidad de un primer objeto; determinar una primera medición de telemetría entre el primer objeto y un segundo objeto mediante un sistema de rastreo basado en un sistema de localización en tiempo real (RTLS); y determinar una ubicación e identidad del segundo objeto basado en la ubicación detectada del primer objeto y la primera medición determinada.

18. - Un sistema para rastrear objetos en una escena que comprende: un receptor de información visual configurado para recibir información visual de la escena con un sistema de rastreo de visión; un receptor de de información de telemetría configurado para recibir información de telemetría de la escena con un sistema de rastreo de RTLS; y un rastreador de objetos, implementado en un sistema basado en procesador, configurado para utilizar una combinación de la información visual y la información de telemetría para localizar e identificar un primer objeto en la escena.

19. - El sistema de conformidad con la reivindicación 18, caracterizado además porque el rastreador de objetos está configurado además para utilizar la información de telemetría para localizar e identificar el primer objeto cuando la información visual es incapaz de localizar e identificar el primer objeto en la escena.

20. - El sistema de conformidad con la reivindicación 18, caracterizado además porque el rastreador de objetos está configurado además para utilizar la información visual para localizar e identificar el primer objeto cuando la información de telemetría es incapaz de localizar e identificar el primer objeto en la escena.

21. - El sistema de conformidad con la reivindicación 18, caracterizado además porque el rastreador de objetos está configurado además para utilizar la información visual e información de telemetría en combinación para localizar e identificar el primer objeto cuando se utiliza información visual solamente o cuando se utiliza información de telemetría solamente no es suficiente para determinar de forma única la ubicación e identidad del primer objeto en la escena.

22 - El sistema de conformidad con la reivindicación 18, caracterizado además porque el rastreador de objetos está configurado además para: determinar cuando no hay linea de visión directa (LOS) disponible entre el primer objeto y una cámara del sistema de rastreo de visión; y determinar qué información de telemetría del sistema de de rastreo de RTLS usar para localizar e identificar el primer objeto.

23. - El sistema de conformidad con la reivindicación 18, caracterizado además porque el rastreador de objetos está configurado además para: determinar cuando no hay linea de visión directa (LOS) entre una etiqueta de RTLS situada en el primer objeto y un lector del sistema de rastreo de RTLS; y determinar qué información de visual usar para localizar e identificar el primer objeto.

24. - El sistema de conformidad con la reivindicación 18, caracterizado además porque el rastreador de objetos está configurado además para utilizar información de telemetría para determinar una medición entre el primer objeto y un segundo objeto.

25. - El sistema de conformidad con la reivindicación 18, caracterizado además porque el receptor de información de telemetría está configurado además para recibir una primera señal de una primera etiqueta de RTLS situada en el primer objeto y una segunda señal a partir de una segunda etiqueta de RTLS situada en un segundo objeto, en donde la segunda señal se transmite a través de la primera etiqueta de RTLS.

26-. El sistema de conformidad con la reivindicación 18, caracterizado además porque la información visual incluye una ubicación del primer objeto y la información de telemetría incluye la identidad del primer objeto.

27. - El sistema de conformidad con la reivindicación 18, caracterizado además porque la información de telemetría incluye una ubicación del primer objeto y la información visual incluye la identidad del primer objeto.

28. - El sistema de conformidad con la reivindicación 18, caracterizado además porque el rastreador de objetos está configurado además para usar la información de telemetría sólo cuando sea necesario para resolver la ubicación e identidad del primer objeto cuando una o más líneas visuales (LOS) sean obstaculizadas entre el primer objeto y una cámara del sistema de rastreo visual.

29. - El sistema de conformidad con la reivindicación 18, caracterizado además porque el rastreador de objetos está configurado además para usar la información visual sólo cuando sea necesario para resolver la ubicación e identidad del primer objeto cuando sean obstaculizadas una o más líneas visuales (LOS) entre una etiqueta de RTLS en el primer objeto y un lector del sistema de rastreo de telemetría.

30 - El sistema de conformidad con la reivindicación 18, caracterizado además porque el rastreador de objetos está configurado además para: segmentar una medición de imagen del primer objeto basado en la ubicación e identidad del primer objeto; caracterizar el primer objeto basado en la medición de imagen del primer objeto; y asociar los datos característicos del primer objeto con información de rastreo correspondiente al primer objeto.

31.- Un sistema para rastrear objetos en una escena que comprende un sistema de rastreo configurado para detectar la ubicación de un primer objeto; un sistema de rastreo basado en un sistema de localización en tiempo real (RTLS) configurado para: determinar una primera medición entre el primer objeto y un lector del sistema de rastreo de RTLS; y determinar una segunda medición entre el primer objeto y un segundo objeto; y un rastreador de objetos configurado para determinar la ubicación e identidad del segundo objeto basado en la ubicación detectada del primer objeto y la primera y segunda mediciones determinadas.

32 - El sistema de conformidad con la reivindicación 31 , caracterizado además porque el sistema de rastreo de RTLS comprende una primera etiqueta de RTLS situada en el primer objeto, configurado para transmitir una primera señal a una segunda etiqueta de RTLS situada en el segundo objeto y al lector del sistema de rastreo de RTLS que tiene información relacionada con el primer objeto.

33.- El sistema de conformidad con la reivindicación 31 , caracterizado además porque el sistema de rastreo de RTLS comprende una segunda etiqueta de RTLS situada en el segundo objeto, configurado para transmitir una segunda señal a través de una primera etiqueta de RTLS situada en el primer al lector del sistema de rastreo de RTLS que tiene información relacionada con el segundo objeto.