MXPA00012307A - Metodo y aparato para generar vistas virtuales de eventos deportivos. - Google Patents

Metodo y aparato para generar vistas virtuales de eventos deportivos.

Info

Publication number
MXPA00012307A
MXPA00012307A MXPA00012307A MXPA00012307A MXPA00012307A MX PA00012307 A MXPA00012307 A MX PA00012307A MX PA00012307 A MXPA00012307 A MX PA00012307A MX PA00012307 A MXPA00012307 A MX PA00012307A MX PA00012307 A MXPA00012307 A MX PA00012307A
Authority
MX
Mexico
Prior art keywords
data
virtual
video data
view
video
Prior art date
Application number
MXPA00012307A
Other languages
English (en)
Inventor
Robert V Wells
Original Assignee
Anivision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anivision Inc filed Critical Anivision Inc
Publication of MXPA00012307A publication Critical patent/MXPA00012307A/es

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Un sistema de vista virtual usa imagenes al natural a partir de camaras colocadas alrededor de una arena de deportes para generar vistas virtuales del evento deportivo a partir de cualquier punto de vista contemplado. El sistema consiste de un sistema de seguimiento optico, un servidor de ambiente virtual, y una o mas estaciones de vista virtual. El sistema de seguimiento optico recibe datos de video bidimensionales al natural a partir de un numero preseleccionado de camaras estrategicamente colocadas alrededor de una arena de deportes. Los datos bidimensionales al natural luego se seccionan en compuertas de datos y se procesan via una serie de procesadores de imagen con programa de computo en datos de estado de cuerpo asignados a cada jugador deportivo u otra entidad objetivo. Los datos de estado de cuerpo luego se pasan a un servidor de ambiente virtual que genera la informacion de la posicion de cuerpo y modelos visuales para la transferencia a un numero seleccionado de estaciones de vista virtual. Cada estacion de vista virtual incluye programa de computo de visualizacion para interpretar y ver como se desee una escena de deportes virtual. Las estaciones de vista tambien controlan el punto de visualizacion de la vista de una camara virtual y transfiere datos de videos a un centro de produccion de video de modo que los datos de video se pueden transmitir y combinar con otras salidas de video conforme se necesite. El sistema permite que un operador seleccione una vista virtual desea del centro de control opcional y transmita las imagenes de vista virtual a una audiencia remota. Se pueden integrar subsistemas opcionales tal como un centro de control de una computadora de archivo en el sistema para alterar la posicion, union, enfoque y aumento de las camaras, y para almacenar datos procesados para el evento deportivo y la reproduccion a peticion de los datos.

Description

MÉTODO Y APARATO PARA GENERAR VISTAS VIRTUALES DE EVENTOS DEPORTIVOS Esta solicitud reivindica el beneficio de prioridad de presentación de acuerdo con el Articulo 8 del PCT de la Solicitud de Patente de los Estados Unidos copendiente No. de Serie 09/094,524, presenta el 12 de junio de 1998, para un Método y Aparato para Generar Vistas Virtuales de Eventos Deportivos.
CAMPO TÉCNICO La presente invención se refiere en general a sistemas de exhibición de gráficos de computadora, tridimensionales y se refiere específicamente a sistemas y métodos que permiten que los espectadores y difusores de la TV convencional, TV digital e Internet vean un evento deportivo desde virtualmente cualquier punto de ventaja.
DESCRIPCIÓN DE LA INVENCIÓN Es bien sabido en la técnica el difundir un evento deportivo al colocar una pluralidad de cámaras de televisión en ubicaciones adecuadas, proporcionando las alimentaciones de . estas cámaras a los anunciantes > en una cabina de difusión, reproduciendo ciertas jugadas, del evento de modo que los anunciantes puedan hacer un comentario acerca de las jugadas y transmitiendo finalmente la teledifusión completa a la audiencia espectadora. Sin embargo, este planteamiento convencional de difusión sufre de varios defectos. Primero, la calidad de la difusión sufre si las cámaras no se colocan atinadamente con relación al campo de juego o si hay relativamente pocas cámaras para cubrir de manera adecuada al campo. Provocando de este modo que ciertas jugadas en ciertas partes del campo se pierdan o se cubran de manera inadecuada. Segundo, aunque algunas cámaras de televisión convencionales son algo móviles, la colocación de las cámaras alrededor del campo de juego está esencialmente fija y estática.. Sin embargo, el movimiento del balón de juego y los jugadores en el campo es dinámico e impredecible . De esta manera, durante un juego, las cámaras colocadas de forma estáti-ca, quedan mal frecuentemente al querer proporcionar una vista de un ángulo critico o las vistas de las cámaras se obstruyen por el jugador o los oficiales. Por ejemplo, las cámaras de campo estacionarias quedan mal rutinariamente al querer proporcionar vistas de cerca de los corredores de béisbol que se deslizan en las bases para evitar los tiradores, de volver corriendo torpemente antes o después de que sus rodillas toquen el suelo, o de receptores lejanos que intentan colocar ambos pies con gran rapidez después de capturar una pasada.
Tercero, las cámaras convencionales en general no se colocan dentro del campo de juego real durante los juegos. Las carreras de autos son una notable excepción; las cámaras en los carros han revolucionado las transmisiones de las carreras y han alentado el interés de los fanáticos en el deporte. Sin embargo, para otros eventos deportivos, tal como el fútbol, las cámaras en el campo montadas en los cascos u otro equipo deportivo aún no disfrutan de un uso ampliamente extendido. De esta manera, las cámaras de campo remotas deben grabar la acción desde puntos de ventaja relativamente distantes con vistas indirectas . Cuatro, los comentaristas coloridos en la cabina de difusión deben hacerlo con el video pre-grabado por las cámaras de campo, ya sea que el video sea útil o no. Los comentaristas no pueden volver a colocar las cámaras de forma dinámica para grabar la acción desde otro punto de vista. De esta manera, los comentaristas están restringidos a imágenes de video estáticas y no pueden alterar los puntos de vista desde los cuales se graba el video. También, con el uso incrementado del arbitraje de repetición instantánea por las ligas mayores de deportes profesionales, los puntos de ventaja de las repeticiones instantáneas están llegando a ser más y más críticos. Se han hecho algunos intentos de manera previa para proporcionar una adquisición y procesamiento en tiempo real de las posiciones físicas de los jugadores deportivos y el equipo deportivo objetivo, tal como las bolas de juego. Por ejemplo, Daver, Patente, de los Estados Unidos No. 5 , 5 1 3 , 8 5 4 , describe un sistema para la 'adquisición en tiempo real de personas en movimiento, y Larsen, Patente de los Estados Unidos No. 5 , 3 634 , 2 97 , describe un sistema de seguimiento de cámara automatizado para eventos deportivos. Sin embargo, ninguno de estos sistemas enseña un sistema individual para seguir a los jugadores · individuales del deporte y el equipo deportivo en tiempo real, usando los datos de seguimiento para generar imágenes simuladas basadas en valores procesados e integrando las figuras simuladas en un ambiente deportivo, virtual que se actualiza en tiempo real para representar el evento deportivo original. Por lo tanto, las deficiencias en la industria deportiva y las fallas en los sistemas anteriores para solucionar la necesidad de generar vistas virtuales de eventos deportivos motivó la presente invención.
Q SUMARIO DE LA INVENCIÓN El objeto de la presente invención es proporcionar un sistema y método para la recolección en tiempo real de actividades humanas, tal como un evento deportivo, para presentaciones infinitas de puntos de vista de análisis, a pesar de la colocación estática de la cámara. Otro objeto es proporcionar un sistema y método para proveer vistas de una jugada deportiva dada desde el' ángulo óptimo y punto de vista óptimo, a pesar de la colocación estática de la cámara o movimiento dinámico del equipo de juego, jugadores u oficiales. Aún otro objeto es proporcionar un sistema y método que permite que los anunciantes y espectadores vean la acción en el campo desde la perspectiva de una posición de cámara en el campo y que permita que los usuarios seleccionen virtualmente cualquier posición de cámara en el campo. Un objeto adicional es permitir que los comentaristas coloridos ajusten los puntos de vista del video para adecuar sus posturas especificas. En resumen, el sistema de vista' virtual usa imágenes al natural de cámaras colocadas alrededor de una arena deportiva para generar vistas virtuales del evento deportivo desde cualquier punto de vista contemplado. El sistema consiste de un sistema de seguimiento óptico, un servidor de ambiente virtual, una o más estaciones de vista virtual. El sistema de seguimiento óptico recibe . datos de video bidimensional al natural de un número pre-seleccionado de cámaras colocadas estratégicamente alrededor de una arena deportiva. Los datos bidimensionales al natural se dividen en secciones en compuertas de datos y se procesan vía una serie de procesadores de imagen de programa de cómputo en datos del estado del cuerpo para cada jugador de deportes u otra entidad objetivo. Los datos del estado del cuerpo luego se pasan a ' un servidor ambiental, virtual que genera la información de la posición del cuerpo y los modelos visuales para la transferencia o número seleccionado de estaciones de vista virtual. Cada estación de vista virtual incluye un programa de cómputo de visual i zación para interpretar y ver una escena deportiva, virtual. Las estaciones de vista también controlan el punto de visualización de la vista de una cámara virtual y los transfieren los datos de vídeo al centro de producción de vídeo de modo que los datos de vídeo se pueden transmitir y combinar con otra salida de vídeo conforme se necesiten. Las estaciones de vista transfieren paquetes de datos de Internet de los datos del estado para clientes. El sistema permite que un operador seleccione una vista virtual deseada de un centro de control opcional y transmita la vista virtual a una audiencia remota. El centro de control puede transmitir paquetes de datos para la Internet y medios similares incluyendo TV interactiva. Los subsistemas opcionales tal como un- centro de control y una computadora de archivos se pueden integrar en el sistema para alterar la colocación de la cámara, unión, enfoque y. aumento, y para almacenar datos procesados para el evento deportivo y reproducir los datos a petición. La vista virtual generada puede tener o no una contraparte real en el video al natural recibido de las cámaras de la arena, pero representará realmente la situación de juego real basada en datos calculados. Otras caracteristicas y objetos y ventajas de la presente invención llegarán a ser evidentes a partir de una lectura de la siguiente descripción asi como un estudio de los dibujos anexos.
BREVE DESCRIPCIÓN DE LOS DIBUJOS Un sistema de visualización virtual que incorpora las caracteristicas de la invención se representa en los dibujos anexos que forman una porción de la descripción y en donde: La Figura 1 es un diagrama completo del sistema que muestra los componentes principales del sistema; La Figura 2 es un diagrama de flujo -de datos y sistema, combinado de las tarjetas de interfaz de cámara, el módulo de secuenciación de E/S y lós tableros del procesador de arreglo dentro del sistema de seguimiento óptico, La Figura 3 es un diagrama de flujo de datos y sistema combinado dé la subsección de correlación de seguimiento dentro del sistema de seguimiento óptico; La Figura 4 es un diagrama de flujo de datos de las funciones de procesamiento de imágenes que se presentan dentro del procesador de imágenes del sistema de seguimiento óptico; La Figura 5 es un diagrama de flujo de datos sistema combinado del servidor ambiental virtual que tiene sübcomponehtes del tablero de texturización de modelo y las computadoras del servidor ambiental; La Figura 6 es un diagrama de flujo de datos y el sistema combinado de las estaciones de vista virtual; La Figura 7 es un diagrama de flujo de datos y de sistema combinado de la computadora de archivo; y La Figura 8 es un diagrama de flujos de datos y sistema, combinado del. centro de control que tiene sub-componentes de la computadora de interfaz VVS del centro de control VVS..
MEJOR MODO PARA LLEVAR A CABO LA INVENCIÓN Con referencia a los dibujos para un mejor entendimiento de la función y estructura de la invención, la presente invención, llamada el Sistema 10 de Deportes de Vista Virtual (Sistema VVS), comprende tres< subsistemas principales: el sistema de seguimiento óptico 11, el servidor ambiental virtual 12, y las estaciones de vista virtual 13. Un centro de control 14 y computadora de archivo 16 son subsistemas opcionales que mejoran la capacidad del sistema VVS, pero no son criticas para la operación del sistema. La arquitectura completa del sistema VVS 10 que muestra estos subsistemas principales se muestra en la Figura 1. Los dibujos adicionales de los componentes propuestos del equipo físico del sistema y un diagrama a lo largo del sistema se puede encontrar en la presente solicitud provisional, copendiente, incorporada de este modo por referencia, y que puede ser de utilidad al lector durante la discusión que sigue. Para propósitos de ilustración, la presente invención se describirá con referencia a la virtualizacion de un evento deportivo que tiene jugadores de deportes y una bola. Sin embargo, se entenderá por aquellos expertos en. la técnica, que el sistema VVS 10 se puede aplicar a cualquier tipo de situación en la cual objetos preseleccionados necesiten seguimiento y conversión en un ambiente virtual, tal como maniobras militares, monitoreo de ambientes peligrosos, y exploración espacial sin tripulación, etc. Con referencia a la Figura 2, el sistema 11 de seguimiento óptico recibe datos de vídeo al natural a partir de un conjunto de cámaras de TV convencionales 17 colocadas estratégicamente alrededor de una arena de deportes para generar datos posicionales tridimensionales (3-D) basándose en que cada cámara ve en dos dimensiones (2-D) . Se deben usar dos o más cámaras dependiendo de la aplicación y de la cantidad de exactitud requerida y además, se deben incorporar cámaras de alta resolución si se requiere una exactitud extrema. Los ¦ datos bidimensionales al natural se dividen en compuertas de datos por una subsección 19 de secuenciador E/S y se procesan via una serie de tableros 21 de procesador de arreglo en datos 67 del estado del cuerpo para cada jugador de deportes u otras entidades objetivo dentro de cada imagen de video recibida. Un tablero 23 de correlación de seguimiento también se incluye en el sistema 11 de seguimiento óptico' (ver Figura 3) . Como se muestra en la Figura 5, los datos luego se reciben por el servidor 12 de ambiente virtual que genera caracteres animados, realistas a partir de datos posicionales y cuadros de video. El servidor 12 incluye un tablero 27 de texturización de modelo y una serie de computadoras 32 de servidor ambiental para cubrir los datos de video real sobre los caracteres de deportes que produce una apariencia tipo real. El servidor 12 de ambiente virtual también puede archivar opcionalmente registros históricos en una computadora de archivo 16 (ver Figura 7), de modo que las estaciones 13 de vista virtual pueden regenerar una imagen almacenada a la petición de un operador. La computadora 32 de servidor de ambiente usa el conocimiento preprogramado del movimiento del cuerpo para corregir y mejorar los estados del cuerpo estimados por el sistema 23 de correlación de seguimiento (ver Figura 3) . Los estados de cuerpo, medidos se pueden alterar al reconocer ciertos gestos, tal como un jugador que corre, y suavizar el estado para presentar una simulación visual más realista. La suavización del cuerpo reduce adicionalmente las sacudidas de movimiento y compensan cualquier movimiento perdido. Otra técnica para proporcionar mejor estado del cuerpo es modelar la física del movimiento para un cuerpo y su interacción con otros cuerpos. Por ejemplo, la mayoría de los filtros de seguimiento tendrán dificultad en seguir una pelota de béisbol conforme la golpea un bate. Prediciendo esta interacción y midiendo las fuerzas de influencia para los cuerpos se puede usar para alterar las ecuaciones de estado del sistema dando por resultado una información de estado, del cuerpo, superior. Al menos una estación 13 de vista virtual se requiere para que el sistema VVS opere, sin embargo, es preferible un sistema escalable en el cual se utilicen múltiples estaciones de vista como se muestra en la Figura 6. Cada estación es esencialmente una cámara virtual operada por un operador de cámara. Cada estación de vista virtual puede interpretar una vista 3-D basándose en las animaciones de caracteres y datos posicionales proporcionados por el servidor 12 de ambiente virtual. El operador de la cámara podría usar una palanca manual en una consola de interfaz o seleccionar de puntos de vista pre-seleccionados generados por un operador en el centro de control 14 para mover su perspectiva de visualización y para "volar" a cualquier ubicación, permitiendo de este modo que los eventos deportivos se vean desde cualquier perspectiva virtual. El operador controla la . perspectiva visual a través de un programa de cómputo de formación de imágenes, normal que corre en cada estación de vista virtual 13. El centro de control 14 permite que un operador adapte la operación del sistema VVS 10 a petición si se 'desea la intervención manual. El centro de control 14 adiciona la capacidad de iniciar, diagnosticar y sintonizar en fino el sistema VVS 10. Además, del centro de control 14 un operador puede . dirigir en forma remota cada cámara unida al sistema VVS 10 para proporcionar cobertura óptima de los puntos de interés en el evento deportivo. Con referencia nuevamente a la Figura 2, el sistema 11 de seguimiento óptico se contempla que sea un dispositivo electrónico montado en soporte optimizado para convertir los datos de la cámara óptica en datos posicionales tridimensionales para objetos vistos por las cámaras 17. Estos datos •tridimensionales se llaman un "seguimiento de objeto", y se actualizan continuamente para corresponder con los movimientos de las figuras de deportes y la posición relativa dé la bola. El sistema de seguimiento óptico utiliza componentes electrónicos comerciales fuera de almacenamiento (COTS) que se pueden diseñar fácilmente para retenerse dentro de una jaula de tarjeta montable en soporte que aloja suministros duales de potencia de 300 Vatios CA, ventiladores de enfriamiento, un plano trasero de 20 ranuras y un número de tarjetas de enchufe. Se puede incluir una tarjeta de expansión de barra común para proporcionar conectividad de alta velocidad entre el sistema de seguimiento óptico 11 y otros componentes del sistema VVS tal como el servidor 12 de ambiente virtual. Una configuración montable en soporte también proporciona una ruta para expandir el sistema VVS para soportar configuraciones más grandes que tienen pluralidades de los componentes del sistema VVS de nivel superior. Una serie de tarjetas 18 de interfaz de cámara proporciona almacenamiento y memoria intermedia de los datos de cuadro de cámara hasta que el sistema 11 de seguimiento óptico está preparado para procesarlos. Las tarjetas 18 también proporcionan conectividad de regreso a las cámaras para la vista, enfoque y control de aumento, y actúan como un conducto de transmisión para el centro de control 14. Cada tarjeta de interfaz de cámara incluye una interfaz de' video digital' y una interfaz de control para una cámara individual. Se pueden configurar ocho tarjetas 18 de interfaz de cámara para soportar cámaras con resoluciones de hasta 1280 x 1024 pixeles con velocidades de cuadro de hasta 60 Hz . El sistema de seguimiento óptico se diseña inicialmente para soportar ¦ hasta 8 tarjetas . de interfaz de cámara. Como se muestra, sin embargo, este es un sistema escalable que se puede adaptar para adecuarse a varios tipos de eventos deportivos que pueden requerir muchas más fuentes de entrada de cámara . Una subsección 19 de secuenciador E/S recibe los datos de cuadro almacenados en memoria intermedia de las tarjetas 18 de interfaz de cámara, y divide los cuadros en compuertas, y distribuye estos datos a un procesador 21 de arreglo de imagen, apropiado. Una compuerta se define como una porción manejable de un cuadro hecha de un tamaño de acuerdo con las capacidades del equipo físico utilizado en el sistema y puede variar de acuerdo con los parámetros dinámicos del sistema. El sistema usará típicamente un secuenciador 19 de E/S individual para cada una de las ocho tarjetas 18 de interfaz de cámara y uno correspondiente de los ocho tableros 21 de procesadores de arreglo de imagen, como se muestra. Los tableros 21 de procesador de arreglo de imagen proporcionan procesamiento de imágenes en compuertas proporcionadas por el secuenciador de E/S 19. Cada tablero de procesador de arreglo de imágenes aloja un arreglo tipo arquitectura de corriente de datos, múltiple, de instrucción individual (SIMD) de procesadores 22 de imagen de alta velocidad. Estos procesadores de imágenes 22 identifican objetos en cada cuadro usando algoritmos de procesamiento de imágenes, normales, industriales. Los datos de posesión bidimensionales para cada objeto con relación al cuadro luego se pasan al tablero 23 de correlación de seguimiento. Como se muestra en la Figura 3, el tablero 23 de correlación de seguimiento procesa los datos de posición de objetos dé cada uno de los tableros 21 de procesador de arreglo de imágenes y correlaciona cada uno de los datos de posición de objeto con los datos de posición de objeto 3-D históricos, conocidos como los archivos 24' de seguimiento de objeto, que se almacenan en memoria. Un área de memoria compartida que tiene suficientes cantidades de memoria de acceso aleatorio,' normal para almacenar datos generales por las subsecciones individuales del VVS 10 es accesible a través de una interfaz DMA 26 común conectada a todas las subsecciones del sistema VVS a través de barras- comunes electrónicas del subsistema. Con referencia ahora a la Figura 5, el servidor 12 de ambiente virtual es similar al sistema de seguimiento óptico ya que los componentes del sistema son susceptibles a ser diseñados con productos electrónicos COTS y normalmente se retendrán en un dispositivo montable en soporte optimizado para crear, mantener y distribuir una representación de un evento deportivo en vivo. Una tarjeta de expansión de barra común COTS se puede incluir para proporcionar conectividad de alta velocidad entre el servidor 12 de ambiente virtual y el sistema base de seguimiento óptico a través de la interfaz DMA. La subsección 27 de texturización de modelo genera modelos visuales 3-D foto-realistas basados en la información proporcionada por el sistema 11 de seguimiento óptico. La subsección 27 de texturización de modelo tiene acceso a la información de las bases de datos compartidas que retienen las mediciones de posesión para cada una de las partes del cuerpo de una figura de deportes y de la cual se genera una representación de cuadro de alambres, 3-D del participante deportivo. La subsección 27 luego utiliza los datos de cuadro de vídeo para generar "texturas de modelo" 28 para cada parte del cuerpo y correlaciona estas texturas sobre el modelo de cuadro de alambres retenido por la subsección de seguimiento. 27, como se generó previamente, para crear un modelo visual 3-D altamente realista. Las computadoras 32 del servidor de ambiente usan la información del estado del cuerpo previamente calculada por el tablero 23 de correlación de seguimiento y la información de textura 28 generada por la subsección 27 de texturizáción de modelo para proporcionar la información de posición de cuerpo, coherente y modelos visuales a las estaciones 13 de vista virtual para la generación de escenas. Los datos de la posición del cuerpo y los modelos visuales del tiempo real se sincronizan con las estaciones 13 de vista virtual a través de la interfaz 26 de acceso directo a memoria (DMA) 26. El servidor de ambiente virtual también acepta peticiones de archivo de las estaciones 13 de vista virtual a través de la interfaz DMA. Como una mejora opcional, la computadora de archivo 16 (ver Figura 8), puede proporcionar grabación y reproducción en tiempo real de la información de posición del cuerpo y modelos visuales de una serie de arreglos redundantes baratos de unidades baratas (RAID) que proporcionan almacenamiento redundante, rápido y recuperación de datos de ambiente virtual, históricos a petición. La computadora de archivo también se puede configurar para soportar velocidades de reproducción controladas por el . usuario a través de la pre-programación apropiada de VVS. Con referencia ahora a la Figura 6, cada estación 13 de vista virtual son estaciones de trabajo SGI COTS de alta finalidad que alojan un programa de cómputo de visualización VVS. Las estaciones 13 de vista ' virtual permitirán que un operador controle el ángulo de visualización de una cámara virtual, y monitoree los datos en tiempo real o trabaje en un modo de repetición instantánea para generar escenas de alta calidad. Cada estación 13 de vista virtual incluye una función 126 de interpretación de escena que interpreta el ambiente virtual 3D al usar la información del estado de cuerpo para determinar la ubicación de los objetos dentro de la escena. En general, la función 126 de interpretación de escena usa las bases de datos poligonales 3D y las texturas foto-realistas para representar los objetos en escena. Una vez que se interpreta la escena, la función 126 de interpretación de- escena responde a cambios interactivos en el punto de vista dentro de la escena. Esta combinación de modelos foto-realistas . y datos del estado del cuerpo, representativos permite que la función de estructuración de escena genere una escena virtual altamente realista para la reproducción interactiva en tiempo real.. En la presente modalidad, el sistema VVS se contempla que soporte hasta cuatro estaciones de vista virtual.
Como se ve en la Figura 8, otra mejora opcional al sistema VVS 10 es un centro de control 14 que tiene una computadora 29 de interfaz del controlador VVS y un centro - 31 de control VVS. La interfaz de control 29 sirve como una interfaz entre el centro de control VVS 31 y el sistema 11 de seguimiento óptico/servidor 12 de ambiente virtual. La interfaz de controlador VVS es capaz de pasar datos de posición de objeto, en tiempo real al centro de control VVS a través de la interfaz 29 de acceso directo a memoria (DMA) . También sirve para transmitir órdenes de cámara tal como apuntamiento, aumento y enfoque, y también órdenes de sistema, tal como inicialización y configuración, a partir del centro de control VVS a través de la interfaz DMA 26. El centro 31 de control VVS es una estación de trabajo de Silicon Graphics (SGI) COTS que aloja el programa de cómputo de control VVS. La consola de control VVS (no mostrada) permite, a través del programa de cómputo de control, que un operador inicialice el sistema VVS, ' optimice desempeño, realice actualizaciones y sobrecontrole los controles automatizados de las cámaras. La consola de control VVS se comunica con el servidor de ambiente virtual y el sistema de seguimiento óptico a través de la interfaz 26 de acceso directo a memoria (DMA) . Una descripción adicional del flujo de datos de las funciones de procesamiento del sistema VVS 10 en operación servirá para ilustrar las capacidades del sistema. Una convención normal del elemento en cursivas Nombres de Función , en negritas Nombres de Datos, y subrayado Nombres de Bases de Datos, se usa para poner en claro las relaciones de las varias funciones de sistema y la transferencia de fecha entre las funciones. Se debe hacer referencia a las figuras previamente descritas que muestran los subsistemas principales y menores del sistema VVS conforme se direcciona cada operación de la subsección. Como se muestra en la modalidad preferida, el sistema de seguimiento óptico soporta hasta 8 tarjetas 18 de interfaz de cámara. Cada tarjeta tiene una interfaz de cámara 41, una memoria intermedia de cuadro 42, un controlador de cámara 43, una función 44 de seguimiento de cámara, y un archivo 46 compartido de estados de cuerpo. La interfaz de cámara 41 procesa los Cuadros de Video y Orientación de Cámara de las cámaras 17 y los almacena en la memoria intermedia de cuadro 42. La interfaz 41 también procesa las órdenes de enfoque, aumento y apuntamiento del controlador de cámara 43 y las transmite a una cámara seleccionada 17. El Controlador de Cámara 43 procesa las órdenes de cámara tal como Unión, Enfoque y Aumento a partir del control VVS 81 en la computadora 29 de interfaz VVS. Por ejemplo, una orden Unión del controlador VVS 81 provoca que el Controlador de cámara 43 dirija una cámara hacia un cuerpo de deporte particular, y el controlador 43 también transmite órdenes de Unión a la función 44 de Seguimiento de Ca'mara.' Las órdenes de Apuntamiento de Cámara a partir de la función 44 de Seguimiento de Cámara también se manejan por el Controlador 43. La función 44 de Seguimiento de Cámara procesa las órdenes de Unión a partir de la función 43 dé Controlador de cámara y tiene la capacidad de leer un instante virtual de lo.s Datos del Estado dé Cuerpo a partir del archivo 46 compartido de los Estados de Cuerpo y calcula los cambios de orientación de cámara requeridos a fin de centrar el cuerpo unido por el campo de visión de la cámara seleccionada. Las órdenes de Apuntamiento de Cámara luego se envían a la función 43 de Controlador de Cámara para el movimiento apropiado de la cámara. El archivo 46 de Estados de Cuerpo se actualiza en tiempo real por la función 68 de Propagación de - Cuerpo como se discutirá. La subsección 19 de secuencia E/S consiste de un Constructor de Compuerta 51 y un Secuenciador 52 de E/S. El Constructor de Compuertas 51 sondea las Memorias Intermedias de Cuadro 42 para los datos de Cuadro y Orientación de Cámara. El Constructor de Compuerta divide los Cuadros en compuertas de tamaño de arreglo, específica las Coordenadas de Compuerta X e Y para cada compuerta, marca el Tiempo de Avistamiento para cada compuerta, y alimenta la Compuerta, Coordenadas de Compuerta, y Tiempo de Avistamiento al secuenciador 52 de E/S. Además, el Constructor de Compuertas 51 envía Cuadros, Coordenadas de Cuadro y Tiempo de Avistamiento al tablero 27 de la subsección de texturiz'ación de modelo a velocidades que se pueden definir por el usuario. El secuenciador 52 de E/S secuencia las Compuertas, Coordenadas de Compuerta y Tiempo de Avistamiento a los tableros 21 del procesador de arreglo, disponibles. El Secuenciador de E/S 52 también proporciona, compensación de carga para las 8 ocho tableros de procesador de arreglo como se muestra .. Los tableros 21 de procesador de arreglo realizan principalmente funciones de procesamiento de imágenes. Esos tableros contienen un Procesador de imagen 22 que realiza la detección del borde en cada cuadro recibido para identificar los cuerpos y su Centroide de Cuerpo, que se define como la posición 3-D del punto central de un cuerpo. El Procesador 22 también realiza el apareamiento de patrón para asociar un cuerpo particular con un jugador e identifica la Posición de Objeto 2D (componente de cuerpo) , Tipo de Objeto, Orientación de Objeto y Tiempo de Avistamiento de Objeto para el almacenamiento en la base de datos 64 del Tubo de Golpe o Encuentro de Objeto. El Procesador de Imagen transfiere las variables de Centroide de Cuerpo, Identificación de Cuerpo y Tiempo de Avistamiento de Cuerpo al Tubo 64 de Golpe o Encuentro de Cuerpo como se muestra (ver también Figura 3) . Los procesadores de imágenes 22 mencionados con anterioridad utilizan técnicas de procesadores de imágenes con programa de cómputo, normales, tal como segmentación, extracción de características y clasificación para descomponer cada imagen de cuerpo en un cuadro. La Figura 4 representa un planteamiento para resolver los datos de cuerpo usando estas técnicas. Como se muestra, los datos de la imagen 91 natural se transfieren a los sub-módulos de programa para la eliminación de fondo 92 y correlación 93. El sub-programa 92 de eliminación de fondo usa algoritmos bien conocidos tal como dilatación binaria, erosión binaria, cierre binario, transformadas de imagen invertida, y técnicas de envuelta convexa para separar el fondo de los cuerpos verdaderos. La agrupación de imagen 94 se presenta como . parte de la porción de extracción de características del proceso de extracción y pasa los datos a otras sub-funciones . El programa 94 de sub-procesamiento de agrupamiento agrupa pixeles usando un filtro espacial para crear las ID de grupo para cada pixel segmentado. Esta información se pasa al sub-programa 96 de conversión en esquema y el sub-programa 93 de correlación de imagen, y otros sub-programas 97 de extracción de características. El sub-programa 96 de conversión en esquema identifica grupos o masas uniformes a través de las técnicas de aislamiento de pixeles y quita sistemáticamente los límites de la figura para formar u esqueleto de ancho unitario. La correlación de imagen 93 usa los ID de grupo previamente creados para asignar los picos de ¦ correlación resultantes en el proceso de conversión en esquema a grupos específicos. Otros tipos de características extraídas, tal como área, momentos, etc., también dependen de la salida de datos del proceso de agrupamiento, tal como la forma de la masa uniforme, y se procesan por el sub-programa 97 para redifinir adicionalmente los datos de estado de cuerpo para obtener mediciones apropiadas del cuerpo. Cada grupo extraído, resultante luego se clasifica 98 de acuerdo con plantillas de · imagen de característica, preseleccionadas y se pasan al Cuerpo 64 y Tubo 61 de Golpe o encuentro de Objeto. Se han escrito varios excelentes libros con respecto al tema de procesadores de imágenes que usan estas técnicas para identificar figuras deportivas y bolas en movimiento. Una excelente fuente de estas técnicas es Digital Image Processing, por enneth R., Castleman, incorporado en la presente como referencia. Otras referencias que manejan técnicas de transferencia de masa uniforme y cuerpo se listan en la tabla de referencia anexa a la descripción y también se incorporan de este modo como referencia. Se omite discusión adicional con respecto al procesadores de imágenes en cuadro puesto que va más allá -del alcance de la invención y puesto que se pueden usar técnicas normales de procesamiento de la industria en la presente invención para la operación apropiada . Como se ve en la Figura 3, el tablero 23 de correlación de seguimiento formula seguimientos de cuerpo y objeto- 3D basándose en los datos de estado de cuerpo y objeto 2D de los tableros 21 de procesador de arreglo. El tablero 23 de seguimiento contiene un Tubo 61 de Golpe o Encuentro de Objeto, una función 62 de Correlación de Seguimiento, un archivo 24 de Seguimiento de Objeto, un Tubo 64 de Golpe o Encuentro de Objeto, una función 66 de Correlación de Cuerpo, un archivo 67 de Estado de Cuerpo y una función 68 de Propagación de Cuerpo. El Tubo 61 de Golpe o Encuentro de Objeto almacena Golpes o Encuentros de Objeto tal como el Tipo de Objeto, Posición de Objeto, Orientación de Objeto y Tiempo de Avistamiento de Objeto. La función 62 de Correlación de Seguimiento correlaciona los golpes de objeto 2D con los Seguimientos de Objeto 3D almacenados en el archivo 24 de Seguimiento de Obj eto , actualiza la Posición de Objeto 3D y la Orientación de Objeto, y calcula la Velocidad de Objeto y Aceleración de Objeto. La función 62 de Correlación de Seguimiento también asocia y divide los Seguimientos de Objeto relacionados en el archivo 24 de Seguimiento de Objeto conforme' se encuentran los umbrales de correlación preseleccioandos. El archivo 24 de Seguimiento de Objeto también almacena Seguimientos de Objeto, tal como Tipo de Objeto, Posición de Objeto, Orientación de Objeto, Velocidad de Objeto, Aceleración de Objeto y Cuerpo de Origen. El Tubo 64 de Golpe o Encuentro de Objeto almacena Golpes de cuerpo tal como Centroide de Cuerpo, Identi icación de Cuerpo y Tiempo de Avistamiento de Cuerpo. De manera similar, la función 62 de correlación de seguimiento procesa la información del Centroide de Cuerpo e Identificación de Cuerpo del Tubo 64 de Golpe de Cuerpo y actualiza los datos de Identificación de Cuerpo y Centroide de Cuerpo almacenados en el archivo 67 de Estado de Cuerpo. El archivo. 67 Estado de Cuerpo almacena los Estados de Cuerpo incluyendo la Identificación de Cuerpo, Centroide de Cuerpo y datos de estado para cada parte articulada. Cada cuerpo incluye datos de partes articuladas tal como dos pies, dos rodillas, dos puntos del torso, un abdomen, dos puntos de hombros, dos codos, dos manos, y una cabeza. Para cada parte articulada, se almacenan el tipo de Parte .Articulada Posición de Parte Articulada, Orientación de Parte Articulada, Velocidad de Parte Articulada y Aceleración de Parte Articulada. El archivo 67 de Estado de Cuerpo se almacena en memoria compartida que se analiza previamente para el uso ¦ de otros varios tableros VVS y subsecciones incluyendo la sección 27 de texturización de modelo y las computadoras 12 del servidor de ambiente. La función 68 de Propagación de Cuerpo mantiene el archivo de Estado de Cuerpo al correlacionar los Seguimientos de Objeto 3-D con Partes Articuladas en el archivo 67 de Estado de Cuerpo, y actualiza la variable de Cuerpo de Origen en el archivo 24 de Seguimiento de Objeto y actualiza la Posición de Parte Articulada, la Orientación de Parte Articulada, la Velocidad de Parte Articulada y la Aceleración de Parte Articulada en el Archivo 67 de Estado de Cuerpo. La función de Propagación de Cuerpo aplica también algoritmos de movimiento, humano para suavizar . las articulaciones del cuerpo mantenidas en el archivo 67 de estado de cuerpo. También se -envían actualizaciones del Estado de Cuerpo al grabador 101' en tiempo para el archivo por la función 68 de Propagación de Cuerpo, asumiendo que está presente en el sistema una computadora 16 de archivo. La subsección 27 de texturización de modelo es responsable de la generación en tiempo real de las Texturas de modelo a partir de los Cuadros de vídeo. La subsección 27 utiliza el archivo 67 del Estado de Cuerpo y la Memoria Intermedia de Cuadro 42, e incluye otros elementos tal como la función 111 de Articulación de Cuerpo, una función 112 de Interpretación de Cuadro, una base de datos 113 de Modelos Visuales, y una función 114 de Generación de Textura. El archivo 42 de Memoria Intermedia de Cuadro almacena los Cuadros marcados en tiempo de la imagen y los datos de Orientación de. Cámara de la función 51 de Constructor de Compuerta. La función 111 de Articulación de Cuerpo usa los datos de Estado de Cuerpo para determinar qué Modelo Visual, que es una representación de textura y cuadro de alambres 3-D de un cuerpo, se asocia con el cuerpo. El archivo de Modelos Visuales almacena los Modelos Visuales incluyendo el Nombre de Modelo, Tipo de Modelo, Correlación de Tipo de Entidad, Dimensiones de Cuerpo, Geometría Poligonal, Texturas y Correlación de Textura. En secuencia, la función 11 usa los datos de Estado de Cuerpo para generar los datos de Estado de Entidad con partes articuladas y transfiere los datos a la función 112 de In erpretación de Cuadro. La función 112 de Interpretación de Cuadro luego procesa los datos de Estado de Entidad de la función 111 de Articulación de Cuerpo, los datos de Orientación de Cámara de la función 51 del Constructor de Compuerta , y los datos del Modelo Visual a partir del archivo 113 de Modelos Visuales para interpretar un Cuadro Fijo de la vista de la cámara 17. La función 112 de Interpretación de Cuadro luego envía el Cuadro Fijo a la función 114 de generación de textura para determinar qué polígonos están en vista y hacer corresponder el Cuadro dividido de la Memoria Intermedia de Cuadro con los polígonos en vista y determinar si la calidad de la imagen es suficiente para la generación de textura. Si la calidad de la imagen es suficiente, se generan la Textura y la Coorrelación de Poligono y se envían al archivo 102 de Texturas compartidas y el grabador 101 en Tiempo Real. La función de Generación de Texturan procesan un Cuadro Fijo a partir de la función de Interpretación de Cuadro y el Cuadro asociado de la Memoria Intermedia de Cuadro. La función de Generación de Textura luego toma el Cuadro Fijo y determina que el polígonos están en vista, y toma el Cuadro de la Memoria Intermedia de Cuadro y la divide para hacer corresponder los polígonos visibles. También sirve para determinar si la calidad de imagen es suficiente para la generación de textura. La computadora 16 de archivo tiene la capacidad de almacenar y recuperar los Estados de Cuerpo y Texturas a petición. La computadora 16 incluye una función 101 en Grabador en Tiempo Real, interfaces al archivo 67 de Estado de Cuerpo, un archivo 102 de Texturas y una función 103 de Lector de Archivo. La función 101 de Grabador en Tiempo Real procesa las actualizaciones de Estado de Cuerpo de- la función 68 de Propagación de Cuerpo en el tablero 23 ¦ de correlación de seguimiento y actualización y de Textura de la función 114 de generación de textura en el tablero 27 de texturización de modelo. La computadora de archivo 16 puede grabar las actualizaciones de Estado de Cuerpo en el archivo 67 de Estado de Cuerpo y actualizaciones en el archivo 102 de Textura en tiempo real. El' archivo 67 de Estado de Cuerpo almacena Estados de Cuerpo históricos y actualizaciones de Textura históricas. La función 103 de Lector de Archivo responde a órdenes de reproducción de las estaciones 13 de vista virtual, individuales. Las órdenes de reproducción incluyen Ajustar inicio, Ajustar Final, Ajustar Velocidad de Reproducción, < Ajustar Dirección de Reproducción, Reproducción, Pausa, Cuadro Escalonado, ir a Inicio e ir a Final. El Lector de Archivó 103 tiene la capacidad de hacer fluir las actualizaciones de Estado de Cuerpo y actualizaciones .de. Textura a la computadora 12 de servidor de ambiente para cada estación 13 de vista virtual, correspondiente. La computadora 32 de servidor de ambiente tiene una función principal de generar Estados de Entidad, que son casos individuales del archivo 121 en Estados de Entidad y Modelos Visuales 122 para su estación 13 de vista virtual, asociada. La computadora 32 de servidor utiliza el archivo 67 de Estado de Cuerpo, el archivo 102 de Texturas , la función 111 de Articulación de Cuerpo, una función 123 de Correlación de Textura, y la interfaz 26 DMA para generar apropiadamente los datos de escena virtual. El archivo 67 de Estado de Cuerpo y la base de datos 102 de Texturas se accesan de la memoria compartida, que pueden, ser ya sea una base de datos en tiempo real generada por la función 68 de Propagación de Cuerpo y la función 114 de Generación de Textura, respectivamente, luego una base de datos de reproducción generada por la función 103 de Lector de Archivo. La función 111 de Articulación de Cuerpo realiza las mismas funciones como la función 111 de Articulación - de Cuerpo en el tablero 27 de texturización de modelo y envía las actualizaciones de Estado de Entidad a través dé la interfaz 26 DMA al archivo 121 de Estado de Entidad almacenado en cada estación 13 de vista virtual. La función 123 de Correlación de Textura toma las Texturas y Correlación de Polígonos del archivo 102 de Textura y envía las actualizaciones de Texturas y Correlación de Textura a través de la interfaz DMA- 26 a la base de datos 122 de Modelos Visuales almacenada en cada estación 13 de vista virtual. La Interfaz DMA 26 sincroniza las actualizaciones de las bases de datos de la Articulación de Cuerpo 111 desde las funciones de Correlación de Textura 123 conforme .se almacenan las base de datos, Estado de Entidad y Modelo Visual en cada estación 13 de vista virtual, asociada. La Interfaz DMA 26 también procesa las órdenes de reproducción de la función 124 de Interfaz de usuario en cada estación 13 de vista virtual y transfiere estas órdenes al lector de archivo 103 de la computadora de archivo 16, si es que está presente. La computadora 29 de interfaz VVS genera Estados de Entidad para el centro de control VVS 31 y procesa las órdenes a partir de la función 86 de Interfaz de usuario en el centro de control VVS. La computadora de interfaz 29 contiene una archivo 67 de Estado de Cuerpo, una función 111 de Articulación de Cuerpo, una Interfaz DMA 26 y una función 81 -del controlador VVS. El archivo 67 de Estado de Cuerpo se accesa desde la memoria compartida y se genera en tiempo real por la función 68 de Propagación de Cuerpo. La, función 111 de Articulación de Cuerpo realiza las mismas acciones como la función 111 de Articulación de Cuerpo en las computadoras de servidor de ambiente. La Interfaz DMA 26 sincroniza las actualizaciones de base de datos a partir de la función 111 de Articulación de Cuerpo con la base de datos 121 de Estado de Entidad almacenada en el centro de control VVS 31. La Interfaz DMA 26 también procesa las órdenes de cámara de la función 86 de interfaz de usuario y en el centro 31 de Control VVS y transfiere estas órdenes a la función 81 del Controlador VVS. La. función 81 del Controlador VVS procesa las órdenes de cámara incluyendo las órdenes de Aumento, Enfoque y Unión y transfiere estas órdenes a la función 43 del Controlador de Cámara en las tarjetas 18 de interfaz de cámara. La estación 13 de vista virtual es responsable de la interpretación del video generado por la cámara virtual que utiliza los Estados de Entidad 121 y los Modelos Visuales 122 generados por su computadora 32 de servidor de ambiente, asociado. El sistema VVS 10 (en esta modalidad) soporta hasta cuatro estaciones 13 de vista virtual. Cada estación 13 de vista virtual contiene un archivo 121 de Estado de Entidad, y un archivo 122 de Modelos Visuales , una función 126 de Interpretación de Escena, una función 124 de Interfaz de Usuario, una Interfaz de Vídeo 127, una interfaz 26 de DMA. El archivo 121 de Estado de Entidad almacena los Estados de Entidad que incluyen Identificación de Entidad, Tipo de Entidad, Posición de Entidad, Velocidad de Entidad, Aceleración de Entidad y datos de estado de cada Parte Articulada. Cada cuerpo contendrá partes articuladas incluyendo dos pies, dos rodillas, dos puntos torsales, un abdomen, dos puntos de hombro, dos codos, dos manos y una cabeza. Para cada parte articulada, se marcarán el Tipo de Parte Articulada, la Posición de Parte Articulada, Orientación de Parte Articulada, Velocidad de Parte Articulada y Aceleración de Parte Articulada. El archivo 122 de modelos visuales almacenarán los Modelos Visuales Incluyendo Nombre de Modelo, Tipo de Modelo, Correlación de Tipo de Entidad, Dimensiones Corporales, Geometría Poligonal, Texturas y Correlación de Texturas. Estas bases de datos generan en tiempo real de las actualizaciones' de Estado de Cuerpo y las actualizaciones de Textura enviadas desde la computadora 32 de servidor de ambiente a través de la Interfaz DMA 26. La función 126 de Interpretación de Escena actualiza los datos 121 de Estado de Entidad para colocar objetos en una escena tridimensional y los datos 122 de Modelos Visuales pre-programados para determinar cómo los cuerpos aparecen en la escena 3D generada, que representa la vista del observador a partir de' una perspectiva visual seleccionada. La función 126 de Interpretación de Escena responde a órdenes de Navegación de Cámara Virtual a partir de la función 124 de Interfaz de Usuario para alterar la escena virtual generada como se desea. La Escena 3-D generada luego se envía a la Interfaz de Vídeo 127 para el reformato en un protocolo adecuado para la transmisión a un centro 128 de producción de y el centro de control VVS 31. Además, la función 124 de Interfaz de Usuario procesa las' órdenes de Navegación de Cámara Virtual y las Órdenes de Reproducción a partir del operador y las transfiere a la función 126 de Interpretación de Escena y también a La computadora de archivo 16 (si está presente) a través de la Interfaz DMA 26. La Interfaz DMA actúa como el puerto de comunicaciones entre la estación 15 de vista virtual y su computadora 32 de servidor de ambiente. La Interfaz DMA 26 también procesa las actualizaciones de base de datos de. las funciones 'de Articulación de Cuerpo 111 y Correlación de Texturas 123 y actualiza las bases de datos, Estado de Entidad 121 y Modelos Visuales 113, apropiadamente. Finalmente, la Interfaz DMA 26 también procesa las Órdenes de Reproducción de la Interfaz de Usuario 124 y las transfiere a la computadora de archivo 16 a través de la Interfaz DMA 26 en la computadora 32 de servidor de ambiente. El centro de control VVS 31 se puede incorporar en el sistema VVS 10 para monitorear y ajustar la operación del sistema 10 de deportes de vista virtual. El centro de control VVS 31 incluye un archivo 121 de Estado de Entidad, una función 87 de Visua lización de Vista en Planta, una función 86 de Interfaz de Usuario, una función 88 de Visualización de Vídeo, una Interfaz de Vídeo 89 y una Interfaz DMA 26. El archivo 121 de Estado de Entidad almacena los datos de Estado de Entidad como se realiza previamente. La función 87 de Visualización de Vista en Planta utiliza los datos de Estado de Entidad para colocar objetos en una visualización de arriba abajo, bidimension'al llamada una "Vista en Planta" y que representa una "vista al ojo de dios" de la arena de juego. La visualización en planta se puede manipular por una serie de órdenes de Selección de Entidad de la vista en planta recibidas de la función 86 de Interfaz de Usuario . La función de Interfaz de Vídeo también procesa las señales de Video de las estaciones 13 de vista virtual y las transfiere a la función 88 de Visualización de Vídeo. La función de Visualización de Vídeo también responde a las órdenes de Selección de Video de la función de Interfaz de Usuario puede exhibir una señal de Video particular de las estaciones de vista virtual en base a las selecciones del operador. La. función 86 de Interfaz de Usuario procesa la Identificación de Entidad a partir de la función de Visualización de Vista en Planta, genera las ordenes de Unión, y transfiere los datos a la computadora 29 de Interfaz VVS a través de la Interfaz DMA. Igualmente, también procesa las órdenes de Aumento y Enfoque del operador y envía esta órdenes a la computadora 26 de interfaz VVS a través dé la Interfaz DMA 26. Las ordenes de Selección de Video del operador también se pueden transferir a la función 127 de Interfaz de Video en una estación 13 de vista virtual de esta manera. La Interfaz DMA 26 actúa como el puerto de comunicaciones entre el centro de control VVS 31 y la computadora 29 de Interfaz VVS. La Interfaz DMA 26 procesa las actualizaciones de las bases de datos a partir de la función 111 de Articulación de Cuerpo y actualiza de manera apropiada la base de datos 121 de Estado de Entidad. Como se ve en la función de otras subsecciones, la Interfaz 26 también procesa las órdenes de cámara incluyendo las órdenes de Aumento, Enfoque y Unión a partir de la Interfaz de Usuario 86 y las transifiere a la computadora 29 de interfaz VVS a través de la Interfaz DMA 26. La Interfaz de Vídeo 127 procesa las señales de Video de hasta cuatro estaciones 13 de vista virtual y las transfiere a la función 88 de Visualización de Vídeo. En tanto que se ha mostrado la invención en una forma, será obvio- para aquellos expertos en la técnica que ésta no se limita pero es susceptible de varios cambios y modificaciones sin que se aparte del espíritu de la misma. Por ejemplo, en tanto que los varios sub-elementos en el sistema completo. 10 se han referido,. "tablero" o "subprogramas" o "subsecciones", cada una de estas marcas se. elige por conveniencia y aquellos expertos en la industria entenderán que estas funciones se pueden migrar hacia y desde los elementos de equipo físico, instrucciones físicas' y programa de cómputo dependiendo de las limitaciones del tamaño del sistema, requerimientos de condiciones ambientales y consideraciones' económicas . La re-marca de los componentes individuales no se aparte de forma clara del espíritu general de la invención como se presenta.
REFERENCIAS 1. Basex, Gregory A. Digital Image Processing; Principies s Applications. John Wiley & Sons. Incorporated, New York, NY, Septiembre. **** 2. Castleman, enneth R . Digital Image Processing. Prentice-Hall , Paramus, NJ, Agosto de 1995. 3. Castleman, Kenneth R . Digital Image Processing. Prentice-Hall, Paramus, NJ, Julio de 19.79 4. Davies, E. Machine Vision: Theory, Algorithms, Practicálities . Academic Press,- Orlando, FL . , Enero de 1990. " 5. Duda, Richard C. y Hart, Peter E . ' Pattern Classification & Scene Analysis. John Wiley & Sons, Incorporated, New York, NY, Enero de 1973. 6. Gonzales, Rafael C . ; Wintz, Paul; Gonzales, Ralph C . ; Woods, Richard E. Digital Image Processing. Addison Wesley Longman, Incorporated, Reading, MA, Enero de 1987. 7. Russ, John C. The Image Processing Handbook. CRC Press, Incorporated, Boca Ratón, FL . 19774. **** Fecha de publicación no conocida.

Claims (20)

NOVEDAD DE LA INVENCIÓN Habiendo descrito el presente invento, se considera como una novedad y, por lo tanto, se reclama como propiedad lo contenido en las siguientes REIVINDICACIONES :
1. Una aparato para generar vistas virtuales de eventos deportivos, caracterizado por: a. una subsección de seguimiento óptico para recibir y convertir datos de video en datos posicionales tridimensionales que tienen una interfaz de cámara, una subsección de secuencia de entrada/salida (E/S) , una subsección de procesador de imagen de arreglo que tiene al menos un procesador de imagen, y una subsección de correlación de seguimiento; b. un servidor de ambiente virtual para recibir los datos posicionales de la subsección de seguimiento óptico y generar datos de figuras deportivas, virtuales y datos de escenas virtuales, el servidor de ambiente que tiene una subsección de texturización de modelo y al menos una computadora de servidor de ambiente; y c. al menos una" estación de vista virtual para interpretar los datos de figuras deportivas virtuales y los datos de escenas virtuales a partir del servidor de ambiente virtual en -una imagen virtual . '
2. Un aparato según la reivindicación 1, caracterizado adicionalmente por una computadora de archivo para proporcionar grabación en tiempo real y reproducción de la información de la posición de cuerpo y modelos visuales, la computadora de archivo que incluye un medio para intercambiar datos con la subsección de seguimiento óptico del servidor de ambiente virtual.
3. Un aparato según la reivindicación 1, caracterizado adicionalmente por un centro de control para la operación de adaptación del aparato que tiene una computadora de interfaz de controlador y un centro de control VVS, el centro de control que incluye un medio para intercambiar datos con la estación de vista virtual de la subsección de seguimiento óptico.
4. Un aparato según la reivindicación 3, en donde el procesador de imagen se caracteriza adicionalmente por un medio para identificar una posición bidimensional de un jugador deportivo seleccionado en los datos de video.
5. Un aparato según la reivindicación 4, en donde la subsección de seguimiento óptico se caracteriza adicionalmente por un controlador de cámara para controlar la operación de cámaras que suministran los datos de video.
6. Un aparato según la reivindicación 5, en donde la subsección de la secuencia de E/S se caracteriza además por un constructor de compuerta para dividir los datos de video en arreglos de tamaño adecuado y un secuenciador de E/S. para secuenciar los arreglos dimensionados a la subsección del procesador de imagen de arreglo'.
7. Un aparato según la reivindicación 1, en donde el procesador de imagen se caracteriza además por un medio para segmentar los datos de video, un medio para extraer una serie de características pre-seleccionadas de los datos de vídeo, y el medio para clasificar los datos . de vídeo de acuerdo con un conjunto ' de plantillas de características, prese leccionadas .
8. Un aparato según la reivindicación 1, caracterizado adicion'al'mente por una interfaz DMA para almacenar y ' distribuir datos de memoria compartida a todo lo largo del aparato. '
9. Un aparato según la reivindicación 4, en donde el medio de" identificación se caracteriza por un medio para segmentar los datos de vídeo, un medio para instalar una serie de características preseleccionadas de los datos, un medio para clasificar los datos de acuerdo con un conjunto de plantillas de características preseleccionadas.
10.. Un aparato para generar vistas virtuales de eventos deportivos, caracterizado por:' a. un medio para recibir y convertir datos de video en datos posicionales , tridimensionales; b. un medio para recibir los datos posicionales de la subsección de seguimiento óptico y generar datos de figuras deportivas virtuales y datos de escenas virtuales; y c . un medio para interpretar los datos de figuras deportivas virtuales y los datos de escenas virtuales a partir del servidor de ambiente virtual en una imagen virtual.
11. Un aparato según la reivindicación 10, en donde el medio para recibir y convertir los datos de video se caracteriza por una interfaz de cámara, una subsección de secuencia de E/S, una subsección de procesador de imagen de arreglo que tiene al menos un procesador de imagen de una subsección de correlación de seguimiento.
12. Un aparato según la reivindicación 11, en donde el medio para recibir y generar se caracteriza por una subsección de texturización de modelo para generar modelos tridimensionales y texturas de una computadora de servidor ambiental para proporcionar información de posición de cuerpo de modelos visuales a la estación de vista virtual.
13. Un aparato según la reivindicación 10, caracterizado adicionalmente por un medio para proporcionar grabación en tiempo real y reproducción de los datos de figuras deportivas virtuales y datos de escenas virtuales .
14. Un aparato según la reivindicación 10, caracterizado además por un medio para adaptar la operación del aparato que incluye una computadora de interfaz de controlador de un centro de control VVS, el centro de control que incluye un medio para intercambiar datos con el medio de interpretación y el medio de recepción y conversión.
15. Un método para generar vistas virtuales de un evento deportivo, caracterizado por los pasos de: a. recibir datos de video de cámaras colocadas alrededor del evento deportivo; b. convertir los datos de video en datos posicionales, tridimensionales de cada participante deportivo que aparece en los datos de video; c. generar modelos tridimensionales de los datos posicionales para los participantes;" y d. combinar la información de posición de cuerpo, coherente con los modelos tridimensionales para interpretar una escena virtual.
16. Un método según la reivindicación 15, en donde el paso de conversión se caracteriza por los pasos de: a. dividir los datos de video en una pluralidad de compuertas; b. secuenciar las compuertas a una pluralidad de procesadores de arreglo para el procesamiento de imagen; y c. identificar objetos en los datos de video a través de la' segmentación, extracción de características y clasificación de modelos .
17. Un método según la reivindicación 16, en donde el paso de generación se caracteriza por los pasos de: a. crear una representación del cuadro de alambres, tridimensional de cada participante deportivo que aparece en los datos de video, el cuadro de alambres que incluye las partes del cuerpo para cada participante; y b. generar texturas de modelo para cada parte del cuerpo en la representación de cuadro de alambres y correlacionar las texturas en cada parte del cuerpo.
18. Un método según la reivindicación 17, caracterizado por los pasos adicionales de crear información de posición de cuerpo, coherente a partir de las texturas de modelo y los datos de posición antes del paso de interpretación.
19. Un método según la reivindicación 15, caracterizado por el paso de adicionar y controlar la posición, unión, enfoque y aumento de las cámaras para proporcionar datos de video a partir de una ubicación deseada en el evento deportivo.
20. Un método según la reivindicación 16, caracterizado por el paso adicional de grabar los datos de posición tridimensionales para la reproducción en un tiempo posterior. RESUMEN DE LA INVENCIÓN Un sistema de vista virtual usa imágenes al natural a partir de cámaras colocadas alrededor de una arena de deportes para generar vistas virtuales del evento deportivo a partir de cualquier 4 punto de vista contemplado. El sistema consiste de un sistema de seguimiento óptico, un servidor de ambiente virtual, y una o más estaciones de vista virtual. El sistema de seguimiento óptico recibe datos de video bidimensionales al natural a partir de un número preseleccionado de cámaras estratégicamente colocadas alrededor de una arena de deportes . Los datos bidimensionales al natural luego se seccionan en compuertas de datos y se procesan vía una serie de procesadores de imagen con programa de cómputo en datos de estado de cuerpo asignados a cada jugador deportivo u otra entidad objetivo. Los datos de ' estado de cuerpo luego se pasan a un servidor de ambiente virtual que genera la información de la posición de cuerpo y modelos visuales para la transferencia a un número seleccionado de estaciones de vista virtual. Cada estación de vista virtual incluye programa de cómputo de visualización para interpretar y ver como se desee una escena de deportes virtual. Las estaciones de vista también controlan el punto de visualización de la vista de una cámara virtual y transfiere datos de videos a un centro de producción de video de modo que los datos de video se pueden transmitir y combinar con otras salidas de vídeo conforme se necesite. El sistema permite que un Operador seleccione una vista virtual desea del centro de control opcional y transmita las imágenes de vista virtual a una audiencia remota. Se pueden integrar subsistemas opcionales tal como un centro de control de una computadora de archivo en el sistema para alterar la posición, unión, enfoque y aumento de las cámaras, y para almacenar datos procesados para el evento deportivo y la reproducción a petición de los datos.
MXPA00012307A 1998-06-12 1998-12-30 Metodo y aparato para generar vistas virtuales de eventos deportivos. MXPA00012307A (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/094,524 US6124862A (en) 1997-06-13 1998-06-12 Method and apparatus for generating virtual views of sporting events
PCT/US1998/027743 WO1999065223A2 (en) 1998-06-12 1998-12-30 Method and apparatus for generating virtual views of sporting events

Publications (1)

Publication Number Publication Date
MXPA00012307A true MXPA00012307A (es) 2005-07-15

Family

ID=22245696

Family Applications (1)

Application Number Title Priority Date Filing Date
MXPA00012307A MXPA00012307A (es) 1998-06-12 1998-12-30 Metodo y aparato para generar vistas virtuales de eventos deportivos.

Country Status (10)

Country Link
US (1) US6124862A (es)
EP (1) EP1095501A2 (es)
JP (1) JP2002518722A (es)
KR (1) KR20010074508A (es)
CN (1) CN1322437A (es)
AU (1) AU1948999A (es)
BR (1) BR9815902A (es)
CA (1) CA2343743A1 (es)
MX (1) MXPA00012307A (es)
WO (1) WO1999065223A2 (es)

Families Citing this family (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9719694D0 (en) 1997-09-16 1997-11-19 Canon Kk Image processing apparatus
EP0930585B1 (en) 1998-01-14 2004-03-31 Canon Kabushiki Kaisha Image processing apparatus
US7162532B2 (en) 1998-02-23 2007-01-09 Koehler Steven M System and method for listening to teams in a race event
JP3046578B2 (ja) * 1998-06-11 2000-05-29 株式会社ナムコ 画像生成装置及び情報記憶媒体
US6483511B1 (en) 1998-12-31 2002-11-19 Richard D. Snyder Event simulator, and methods of constructing and utilizing same
GB2349763B (en) * 1999-03-05 2003-07-16 Canon Kk Apparatus for generating a database and a database so generated
GB2349761B (en) * 1999-03-05 2003-06-11 Canon Kk Image processing appatratus
GB2349762B (en) * 1999-03-05 2003-06-11 Canon Kk Image processing apparatus
GB2349764B (en) * 1999-03-05 2003-07-09 Canon Kk Image processing apparatus
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
US6578203B1 (en) * 1999-03-08 2003-06-10 Tazwell L. Anderson, Jr. Audio/video signal distribution system for head mounted displays
US20020057364A1 (en) 1999-05-28 2002-05-16 Anderson Tazwell L. Electronic handheld audio/video receiver and listening/viewing device
US7210160B2 (en) 1999-05-28 2007-04-24 Immersion Entertainment, L.L.C. Audio/video programming and charging system and method
WO2001039130A1 (en) * 1999-11-24 2001-05-31 Dartfish Ltd. Coordination and combination of video sequences with spatial and temporal normalization
ES2165294B1 (es) * 1999-12-24 2003-05-16 Univ Catalunya Politecnica Sistema de visualizacion y transmision de imagenes electronicas a traves de la red informatica o sistemas de almacenamiento digital.
WO2001065854A1 (en) * 2000-03-01 2001-09-07 Innovue, Inc. Interactive navigation through real-time live video space created in a given remote geographic location
US7035453B2 (en) * 2000-03-24 2006-04-25 Reality Commerce Corporation Method and apparatus for parallel multi-view point video capturing and compression
EP1269753A2 (en) * 2000-03-24 2003-01-02 Reality Commerce Corporation Method and system for subject video streaming
WO2001082195A1 (en) * 2000-04-26 2001-11-01 Anivision, Inc. Systems and methods for integrating virtual advertisements into recreated events
US7812856B2 (en) 2000-10-26 2010-10-12 Front Row Technologies, Llc Providing multiple perspectives of a venue activity to electronic wireless hand held devices
US8583027B2 (en) 2000-10-26 2013-11-12 Front Row Technologies, Llc Methods and systems for authorizing computing devices for receipt of venue-based data based on the location of a user
US7149549B1 (en) * 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
US7782363B2 (en) 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
US7796162B2 (en) 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US7630721B2 (en) 2000-06-27 2009-12-08 Ortiz & Associates Consulting, Llc Systems, methods and apparatuses for brokering data between wireless devices and data rendering devices
KR20000064078A (ko) * 2000-08-17 2000-11-06 오창근 다중 영상을 이용한 3차원 실물 모델링 기술
WO2002030119A1 (en) * 2000-10-06 2002-04-11 Virtual Spectator International Limited Interactive display system
US20060129933A1 (en) * 2000-12-19 2006-06-15 Sparkpoint Software, Inc. System and method for multimedia authoring and playback
KR100480007B1 (ko) * 2000-12-29 2005-03-30 이항규 입체영상 제작 및 재생 시스템 및 방법
KR100393350B1 (ko) * 2001-04-23 2003-08-02 (주)가시오페아 가상경기 시스템 및 방법
US20020190991A1 (en) * 2001-05-16 2002-12-19 Daniel Efran 3-D instant replay system and method
CA2348353A1 (en) * 2001-05-22 2002-11-22 Marc Arseneau Local broadcast system
US20040239763A1 (en) * 2001-06-28 2004-12-02 Amir Notea Method and apparatus for control and processing video images
GB2382033A (en) * 2001-07-16 2003-05-21 Samantha Bhalla A sports analysis system intended for use in a betting game
US7173672B2 (en) * 2001-08-10 2007-02-06 Sony Corporation System and method for transitioning between real images and virtual images
GB2379571A (en) * 2001-09-11 2003-03-12 Eitan Feldbau Determining the Position of Players on a Sports Field
US7027073B2 (en) 2001-09-24 2006-04-11 International Business Machines Corporation Virtual cameras for digital imaging
US7283687B2 (en) 2001-09-24 2007-10-16 International Business Machines Corporation Imaging for virtual cameras
US20030062675A1 (en) * 2001-09-28 2003-04-03 Canon Kabushiki Kaisha Image experiencing system and information processing method
JP4021685B2 (ja) * 2002-03-04 2007-12-12 松下電器産業株式会社 画像合成変換装置
AU2002950805A0 (en) * 2002-08-15 2002-09-12 Momentum Technologies Group Improvements relating to video transmission systems
US7240075B1 (en) * 2002-09-24 2007-07-03 Exphand, Inc. Interactive generating query related to telestrator data designating at least a portion of the still image frame and data identifying a user is generated from the user designating a selected region on the display screen, transmitting the query to the remote information system
JP2004129049A (ja) * 2002-10-04 2004-04-22 Matsushita Electric Ind Co Ltd カメラ装置及びカメラシステム並びにこのカメラシステムの制御方法
US7725073B2 (en) 2002-10-07 2010-05-25 Immersion Entertainment, Llc System and method for providing event spectators with audio/video signals pertaining to remote events
CA2409788A1 (en) * 2002-10-25 2004-04-25 Ibm Canada Limited-Ibm Canada Limitee Architecture for dynamically monitoring computer application data
US20040114176A1 (en) 2002-12-17 2004-06-17 International Business Machines Corporation Editing and browsing images for virtual cameras
US20040189828A1 (en) * 2003-03-25 2004-09-30 Dewees Bradley A. Method and apparatus for enhancing a paintball video
GB2403364A (en) * 2003-06-24 2004-12-29 Christopher Paul Casson Virtual scene generating system
US7593687B2 (en) 2003-10-07 2009-09-22 Immersion Entertainment, Llc System and method for providing event spectators with audio/video signals pertaining to remote events
US20050131659A1 (en) * 2003-12-16 2005-06-16 Mei Hsaio L.S. Systems and methods for 3D modeling and asset management
US20050131658A1 (en) * 2003-12-16 2005-06-16 Mei Hsaio L.S. Systems and methods for 3D assembly venue modeling
US20050131657A1 (en) * 2003-12-16 2005-06-16 Sean Mei Hsaio L. Systems and methods for 3D modeling and creation of a digital asset library
US7590290B2 (en) 2004-07-21 2009-09-15 Canon Kabushiki Kaisha Fail safe image processing apparatus
KR100739686B1 (ko) * 2004-08-13 2007-07-13 경희대학교 산학협력단 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치
US7557775B2 (en) * 2004-09-30 2009-07-07 The Boeing Company Method and apparatus for evoking perceptions of affordances in virtual environments
EP1645944B1 (en) * 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP4244040B2 (ja) * 2005-03-10 2009-03-25 任天堂株式会社 入力処理プログラムおよび入力処理装置
ES2790885T3 (es) * 2005-03-29 2020-10-29 Sportvu Ltd Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos
US20060244831A1 (en) * 2005-04-28 2006-11-02 Kraft Clifford H System and method for supplying and receiving a custom image
JP2007005895A (ja) * 2005-06-21 2007-01-11 Olympus Imaging Corp 撮影システム
CN100355272C (zh) * 2005-06-24 2007-12-12 清华大学 一种交互式多视点视频系统中虚拟视点的合成方法
CA2552062C (en) 2005-07-22 2016-06-28 4121856 Canada Inc. System and methods for enhancing the experience of spectators attending a live sporting event
US8042140B2 (en) * 2005-07-22 2011-10-18 Kangaroo Media, Inc. Buffering content on a handheld electronic device
US7584038B2 (en) * 2005-07-29 2009-09-01 Caterpillar Inc. Method and apparatus for determining virtual visibility
US7907532B2 (en) 2005-11-23 2011-03-15 Jds Uniphase Corporation Pool-based network diagnostic systems and methods
CA2633197A1 (en) * 2005-12-14 2007-06-21 Playdata Systems, Inc. Method and system for creating event data and making same available to be served
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
WO2008058335A1 (en) * 2006-11-15 2008-05-22 Depth Analysis Pty Ltd Systems and methods for managing the production of a free-viewpoint video-based animation
JP5101101B2 (ja) * 2006-12-27 2012-12-19 富士フイルム株式会社 画像記録装置及び画像記録方法
EP2124444B1 (en) * 2006-12-28 2013-04-03 Sharp Kabushiki Kaisha Transmission device, view environment control device, and view environment control system
EP1944700A1 (en) * 2007-01-10 2008-07-16 Imagetech Co., Ltd. Method and system for real time interactive video
KR101439095B1 (ko) * 2007-05-03 2014-09-12 강민수 멀티채널 방송 시스템
GB2452508A (en) * 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
GB2452510A (en) * 2007-09-05 2009-03-11 Sony Corp System For Communicating A Three Dimensional Representation Of A Sporting Event
WO2009061283A2 (en) * 2007-11-09 2009-05-14 National University Of Singapore Human motion analysis system and method
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
US8451265B2 (en) * 2007-11-16 2013-05-28 Sportvision, Inc. Virtual viewpoint animation
US8073190B2 (en) * 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
US9782660B2 (en) 2007-11-30 2017-10-10 Nike, Inc. Athletic training system and method
CN100589125C (zh) * 2007-12-29 2010-02-10 中国科学院计算技术研究所 一种虚拟摄像机规划布局方法和系统
WO2009126694A2 (en) * 2008-04-09 2009-10-15 Bastian Geannie M System and method for facilitating performance venue seat selection
JP5731734B2 (ja) * 2008-06-12 2015-06-10 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US8047924B2 (en) * 2008-10-27 2011-11-01 Roland Tirelli Riding simulation system
US8246479B2 (en) 2008-10-27 2012-08-21 Roland Tirelli Mechanical device for simulating an animal ride
CN101753852A (zh) * 2008-12-15 2010-06-23 姚劲草 基于目标检测与跟踪的体育比赛动态微型地图
CN101465957B (zh) * 2008-12-30 2011-01-26 应旭峰 一种虚拟三维场景中实现遥控互动的系统
DE102009007639B4 (de) * 2009-02-05 2011-05-26 Kurt Wallerstorfer Vorrichtung zur Bildaufzeichnung eines Sportlers auf einer Rennstrecke
WO2011066408A1 (en) * 2009-11-24 2011-06-03 F3M3 Companies, Inc. System and method for reviewing a play
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US20120188333A1 (en) * 2009-05-27 2012-07-26 The Ohio State University Spherical view point controller and method for navigating a network of sensors
US20100311512A1 (en) * 2009-06-04 2010-12-09 Timothy James Lock Simulator with enhanced depth perception
CN101930284B (zh) 2009-06-23 2014-04-09 腾讯科技(深圳)有限公司 一种实现视频和虚拟网络场景交互的方法、装置和系统
US8254755B2 (en) * 2009-08-27 2012-08-28 Seiko Epson Corporation Method and apparatus for displaying 3D multi-viewpoint camera video over a network
DE202009014231U1 (de) * 2009-10-21 2010-01-07 Robotics Technology Leaders Gmbh System zur Visualisierung einer Kameralage in einem virtuellen Aufnahmestudio
CN102118568B (zh) * 2009-12-30 2015-02-18 新奥特(北京)视频技术有限公司 一种用于体育比赛的图形生成系统
CN102118567B (zh) * 2009-12-30 2015-06-17 新奥特(北京)视频技术有限公司 一种分离模式的虚拟体育系统
CN102118574B (zh) * 2009-12-30 2015-02-18 新奥特(北京)视频技术有限公司 一种体育赛事直播的方法
CN102201080A (zh) * 2010-03-24 2011-09-28 新奥特(北京)视频技术有限公司 一种支持多种体育项目的竞赛管理系统
US8694553B2 (en) 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
US9132352B1 (en) * 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US9384587B2 (en) * 2010-11-29 2016-07-05 Verizon Patent And Licensing Inc. Virtual event viewing
CN102096469B (zh) * 2011-01-21 2012-04-18 中科芯集成电路股份有限公司 一种多功能手势互动系统
EP2680931A4 (en) 2011-03-04 2015-12-02 Eski Inc DEVICES AND METHOD FOR PROVIDING A DISTRIBUTED TREATMENT IN A SURROUNDINGS
WO2013024364A2 (en) * 2011-08-17 2013-02-21 Iopener Media Gmbh Systems and methods for virtual viewing of physical events
US9298986B2 (en) 2011-12-09 2016-03-29 Gameonstream Inc. Systems and methods for video processing
US10937239B2 (en) * 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
US9947112B2 (en) 2012-12-18 2018-04-17 Koninklijke Philips N.V. Scanning device and method for positioning a scanning device
GB2512621A (en) * 2013-04-04 2014-10-08 Sony Corp A method and apparatus
US20150189191A1 (en) * 2013-12-27 2015-07-02 Telemetrio LLC Process and system for video production and tracking of objects
US9541610B2 (en) 2015-02-04 2017-01-10 Lockheed Martin Corporation Apparatus and method for recovery of three dimensional magnetic field from a magnetic detection system
US9910104B2 (en) 2015-01-23 2018-03-06 Lockheed Martin Corporation DNV magnetic field detector
US9910105B2 (en) 2014-03-20 2018-03-06 Lockheed Martin Corporation DNV magnetic field detector
US10168393B2 (en) 2014-09-25 2019-01-01 Lockheed Martin Corporation Micro-vacancy center device
US10088452B2 (en) 2016-01-12 2018-10-02 Lockheed Martin Corporation Method for detecting defects in conductive materials based on differences in magnetic field characteristics measured along the conductive materials
US9590601B2 (en) 2014-04-07 2017-03-07 Lockheed Martin Corporation Energy efficient controlled magnetic field generator circuit
US9853837B2 (en) 2014-04-07 2017-12-26 Lockheed Martin Corporation High bit-rate magnetic communication
US9638821B2 (en) 2014-03-20 2017-05-02 Lockheed Martin Corporation Mapping and monitoring of hydraulic fractures using vector magnetometers
US10241158B2 (en) 2015-02-04 2019-03-26 Lockheed Martin Corporation Apparatus and method for estimating absolute axes' orientations for a magnetic detection system
US10520558B2 (en) 2016-01-21 2019-12-31 Lockheed Martin Corporation Diamond nitrogen vacancy sensor with nitrogen-vacancy center diamond located between dual RF sources
US9614589B1 (en) 2015-12-01 2017-04-04 Lockheed Martin Corporation Communication via a magnio
US10006973B2 (en) 2016-01-21 2018-06-26 Lockheed Martin Corporation Magnetometer with a light emitting diode
US10120039B2 (en) 2015-11-20 2018-11-06 Lockheed Martin Corporation Apparatus and method for closed loop processing for a magnetic detection system
AU2015330646A1 (en) 2014-10-10 2017-06-01 Livebarn Inc. System and method for optical player tracking in sports venues
EP3790284A1 (en) * 2014-10-22 2021-03-10 Huawei Technologies Co., Ltd. Interactive video generation
WO2016118756A1 (en) 2015-01-23 2016-07-28 Lockheed Martin Corporation Apparatus and method for high sensitivity magnetometry measurement and signal processing in a magnetic detection system
CA2975103A1 (en) 2015-01-28 2016-08-04 Stephen M. SEKELSKY In-situ power charging
WO2016190909A2 (en) 2015-01-28 2016-12-01 Lockheed Martin Corporation Magnetic navigation methods and systems utilizing power grid and communication network
WO2017007513A1 (en) * 2015-07-08 2017-01-12 Lockheed Martin Corporation General purpose removal of geomagnetic noise
CN108141903A (zh) 2015-08-05 2018-06-08 爱奇 用于与接收单元通信的方法和装置
US9813857B2 (en) 2015-08-13 2017-11-07 Eski Inc. Methods and apparatus for creating an individualized record of an event
JP2018529958A (ja) * 2015-09-24 2018-10-11 ロケーター アイピー,エルピー ハイパーローカルの気象/環境データ
US10419788B2 (en) * 2015-09-30 2019-09-17 Nathan Dhilan Arimilli Creation of virtual cameras for viewing real-time events
US10116976B2 (en) 2015-10-15 2018-10-30 At&T Intellectual Property I, L.P. System and method for distributing media content associated with an event
EP3371614A1 (en) 2015-11-04 2018-09-12 Lockheed Martin Corporation Magnetic band-pass filter
WO2017087014A1 (en) 2015-11-20 2017-05-26 Lockheed Martin Corporation Apparatus and method for hypersensitivity detection of magnetic field
CN105407259B (zh) * 2015-11-26 2019-07-30 北京理工大学 虚拟摄像方法
US9782678B2 (en) 2015-12-06 2017-10-10 Sliver VR Technologies, Inc. Methods and systems for computer video game streaming, highlight, and replay
US9573062B1 (en) 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
JP6674247B2 (ja) * 2015-12-14 2020-04-01 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
WO2017127090A1 (en) 2016-01-21 2017-07-27 Lockheed Martin Corporation Higher magnetic sensitivity through fluorescence manipulation by phonon spectrum control
WO2017127081A1 (en) 2016-01-21 2017-07-27 Lockheed Martin Corporation Diamond nitrogen vacancy sensor with circuitry on diamond
WO2017127079A1 (en) 2016-01-21 2017-07-27 Lockheed Martin Corporation Ac vector magnetic anomaly detection with diamond nitrogen vacancies
WO2017127098A1 (en) 2016-01-21 2017-07-27 Lockheed Martin Corporation Diamond nitrogen vacancy sensed ferro-fluid hydrophone
GB2562193B (en) 2016-01-21 2021-12-22 Lockheed Corp Diamond nitrogen vacancy sensor with common RF and magnetic fields generator
WO2017127094A1 (en) 2016-01-21 2017-07-27 Lockheed Martin Corporation Magnetometer with light pipe
US9788152B1 (en) 2016-04-01 2017-10-10 Eski Inc. Proximity-based configuration of a device
JP6672075B2 (ja) * 2016-05-25 2020-03-25 キヤノン株式会社 制御装置、制御方法、及び、プログラム
JP6429829B2 (ja) * 2016-05-25 2018-11-28 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
US10228429B2 (en) 2017-03-24 2019-03-12 Lockheed Martin Corporation Apparatus and method for resonance magneto-optical defect center material pulsed mode referencing
US10359479B2 (en) 2017-02-20 2019-07-23 Lockheed Martin Corporation Efficient thermal drift compensation in DNV vector magnetometry
US10274550B2 (en) 2017-03-24 2019-04-30 Lockheed Martin Corporation High speed sequential cancellation for pulsed mode
US10338163B2 (en) 2016-07-11 2019-07-02 Lockheed Martin Corporation Multi-frequency excitation schemes for high sensitivity magnetometry measurement with drift error compensation
US10408890B2 (en) 2017-03-24 2019-09-10 Lockheed Martin Corporation Pulsed RF methods for optimization of CW measurements
US10317279B2 (en) 2016-05-31 2019-06-11 Lockheed Martin Corporation Optical filtration system for diamond material with nitrogen vacancy centers
US10345395B2 (en) 2016-12-12 2019-07-09 Lockheed Martin Corporation Vector magnetometry localization of subsurface liquids
US20170343621A1 (en) 2016-05-31 2017-11-30 Lockheed Martin Corporation Magneto-optical defect center magnetometer
US10527746B2 (en) 2016-05-31 2020-01-07 Lockheed Martin Corporation Array of UAVS with magnetometers
US10571530B2 (en) 2016-05-31 2020-02-25 Lockheed Martin Corporation Buoy array of magnetometers
US10281550B2 (en) 2016-11-14 2019-05-07 Lockheed Martin Corporation Spin relaxometry based molecular sequencing
US10677953B2 (en) 2016-05-31 2020-06-09 Lockheed Martin Corporation Magneto-optical detecting apparatus and methods
US10371765B2 (en) 2016-07-11 2019-08-06 Lockheed Martin Corporation Geolocation of magnetic sources using vector magnetometer sensors
US10330744B2 (en) 2017-03-24 2019-06-25 Lockheed Martin Corporation Magnetometer with a waveguide
US10145910B2 (en) 2017-03-24 2018-12-04 Lockheed Martin Corporation Photodetector circuit saturation mitigation for magneto-optical high intensity pulses
US10345396B2 (en) 2016-05-31 2019-07-09 Lockheed Martin Corporation Selected volume continuous illumination magnetometer
CN105872387A (zh) * 2016-06-06 2016-08-17 杭州同步科技有限公司 一种虚拟摄像机与真实摄像机切换的系统和方法
FR3052949B1 (fr) * 2016-06-17 2019-11-08 Alexandre Courtes Procede et systeme de prise de vues a l'aide d'un capteur virtuel
US10762446B2 (en) 2016-08-02 2020-09-01 Ebay Inc. Access control for a digital event
JP6917820B2 (ja) * 2016-08-05 2021-08-11 株式会社半導体エネルギー研究所 データ処理システム
JP6938123B2 (ja) * 2016-09-01 2021-09-22 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
WO2018045446A1 (en) 2016-09-07 2018-03-15 Eski Inc. Projection systems for distributed manifestation and related methods
JP6894687B2 (ja) * 2016-10-11 2021-06-30 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
US10389935B2 (en) 2016-12-13 2019-08-20 Canon Kabushiki Kaisha Method, system and apparatus for configuring a virtual camera
US9972122B1 (en) 2016-12-20 2018-05-15 Canon Kabushiki Kaisha Method and system for rendering an object in a virtual view
US10379174B2 (en) 2017-03-24 2019-08-13 Lockheed Martin Corporation Bias magnet array for magnetometer
US10338164B2 (en) 2017-03-24 2019-07-02 Lockheed Martin Corporation Vacancy center material with highly efficient RF excitation
US10371760B2 (en) 2017-03-24 2019-08-06 Lockheed Martin Corporation Standing-wave radio frequency exciter
US10459041B2 (en) 2017-03-24 2019-10-29 Lockheed Martin Corporation Magnetic detection system with highly integrated diamond nitrogen vacancy sensor
WO2018190327A1 (ja) * 2017-04-11 2018-10-18 株式会社バスキュール 仮想現実提供システム、3次元表示データ提供装置、仮想空間提供システム及びプログラム
EP3654294A4 (en) * 2017-07-14 2020-06-03 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD FOR IMAGE PROCESSING DEVICE, AND PROGRAM
CN112153472A (zh) * 2020-09-27 2020-12-29 广州博冠信息科技有限公司 一种画面特效的生成方法及装置、存储介质及电子设备
US11573795B1 (en) * 2021-08-02 2023-02-07 Nvidia Corporation Using a vector processor to configure a direct memory access system for feature tracking operations in a system on a chip
US11606221B1 (en) 2021-12-13 2023-03-14 International Business Machines Corporation Event experience representation using tensile spheres

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3217098A (en) * 1962-08-29 1965-11-09 Robert A Oswald Method of policing horse races
US4754342A (en) * 1986-04-11 1988-06-28 Cmx Corporation Video editing system having virtual memory
US5742760A (en) * 1992-05-12 1998-04-21 Compaq Computer Corporation Network packet switch using shared memory for repeating and bridging packets at media rate
US5363297A (en) * 1992-06-05 1994-11-08 Larson Noble G Automated camera-based tracking system for sports contests
US5513854A (en) * 1993-04-19 1996-05-07 Daver; Gil J. G. System used for real time acquistion of data pertaining to persons in motion
US5499146A (en) * 1994-05-24 1996-03-12 Texas Instruments Incorporated Method and apparatus for recording images for a virtual reality system
US5734805A (en) * 1994-06-17 1998-03-31 International Business Machines Corporation Apparatus and method for controlling navigation in 3-D space
US5598208A (en) * 1994-09-26 1997-01-28 Sony Corporation Video viewing and recording system
US5600368A (en) * 1994-11-09 1997-02-04 Microsoft Corporation Interactive television system and method for viewer control of multiple camera viewpoints in broadcast programming
US5564698A (en) * 1995-06-30 1996-10-15 Fox Sports Productions, Inc. Electromagnetic transmitting hockey puck

Also Published As

Publication number Publication date
EP1095501A2 (en) 2001-05-02
WO1999065223A2 (en) 1999-12-16
US6124862A (en) 2000-09-26
BR9815902A (pt) 2001-02-20
WO1999065223A3 (en) 2000-04-06
AU1948999A (en) 1999-12-30
KR20010074508A (ko) 2001-08-04
CA2343743A1 (en) 1999-12-16
JP2002518722A (ja) 2002-06-25
CN1322437A (zh) 2001-11-14

Similar Documents

Publication Publication Date Title
MXPA00012307A (es) Metodo y aparato para generar vistas virtuales de eventos deportivos.
US11880932B2 (en) Systems and associated methods for creating a viewing experience
US10789764B2 (en) Systems and associated methods for creating a viewing experience
US10582191B1 (en) Dynamic angle viewing system
US7796155B1 (en) Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
US20170193710A1 (en) System and method for generating a mixed reality environment
CN107315470B (zh) 图形处理方法、处理器和虚拟现实系统
US20230008567A1 (en) Real-time system for generating 4d spatio-temporal model of a real world environment
TWI786700B (zh) 利用第二螢幕裝置掃描3d物件以插入虛擬環境中
US20070198939A1 (en) System and method for the production of presentation content depicting a real world event
US20110102460A1 (en) Platform for widespread augmented reality and 3d mapping
WO1998046029A1 (en) Graphical video systems
CN108629830A (zh) 一种三维环境信息显示方法及设备
KR20090110357A (ko) 비디오 스트림 내에서 마커 없는 직조된 기하학적 평면 개체의 실시간 자동 추적을 사용하는 증대된 현실성 방법 및 장치
CN101115168A (zh) 产生虚拟图像和真实图像的合成图像
CN111862348A (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
EP0847201B1 (fr) Système de suivi de mobiles en temps réel sur un terrain de sports
Kim et al. Human motion reconstruction from sparse 3D motion sensors using kernel CCA‐based regression
WO2017145552A1 (ja) プログラム及びアイウエア
JP7387286B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230206529A1 (en) Generation method for a steerable realistic image contents and motion simulation system thereof
CN206433094U (zh) 博物馆展陈用远程vr影像数据演示系统
CN110928403A (zh) 相机模块及其相关系统
JP2009519539A (ja) イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム
WO2001082195A1 (en) Systems and methods for integrating virtual advertisements into recreated events

Legal Events

Date Code Title Description
GB Transfer or rights