MXPA00012307A - Metodo y aparato para generar vistas virtuales de eventos deportivos. - Google Patents
Metodo y aparato para generar vistas virtuales de eventos deportivos.Info
- Publication number
- MXPA00012307A MXPA00012307A MXPA00012307A MXPA00012307A MXPA00012307A MX PA00012307 A MXPA00012307 A MX PA00012307A MX PA00012307 A MXPA00012307 A MX PA00012307A MX PA00012307 A MXPA00012307 A MX PA00012307A MX PA00012307 A MXPA00012307 A MX PA00012307A
- Authority
- MX
- Mexico
- Prior art keywords
- data
- virtual
- video data
- view
- video
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Un sistema de vista virtual usa imagenes al natural a partir de camaras colocadas alrededor de una arena de deportes para generar vistas virtuales del evento deportivo a partir de cualquier punto de vista contemplado. El sistema consiste de un sistema de seguimiento optico, un servidor de ambiente virtual, y una o mas estaciones de vista virtual. El sistema de seguimiento optico recibe datos de video bidimensionales al natural a partir de un numero preseleccionado de camaras estrategicamente colocadas alrededor de una arena de deportes. Los datos bidimensionales al natural luego se seccionan en compuertas de datos y se procesan via una serie de procesadores de imagen con programa de computo en datos de estado de cuerpo asignados a cada jugador deportivo u otra entidad objetivo. Los datos de estado de cuerpo luego se pasan a un servidor de ambiente virtual que genera la informacion de la posicion de cuerpo y modelos visuales para la transferencia a un numero seleccionado de estaciones de vista virtual. Cada estacion de vista virtual incluye programa de computo de visualizacion para interpretar y ver como se desee una escena de deportes virtual. Las estaciones de vista tambien controlan el punto de visualizacion de la vista de una camara virtual y transfiere datos de videos a un centro de produccion de video de modo que los datos de video se pueden transmitir y combinar con otras salidas de video conforme se necesite. El sistema permite que un operador seleccione una vista virtual desea del centro de control opcional y transmita las imagenes de vista virtual a una audiencia remota. Se pueden integrar subsistemas opcionales tal como un centro de control de una computadora de archivo en el sistema para alterar la posicion, union, enfoque y aumento de las camaras, y para almacenar datos procesados para el evento deportivo y la reproduccion a peticion de los datos.
Description
MÉTODO Y APARATO PARA GENERAR VISTAS VIRTUALES DE EVENTOS DEPORTIVOS
Esta solicitud reivindica el beneficio de prioridad de presentación de acuerdo con el Articulo 8 del PCT de la Solicitud de Patente de los Estados Unidos copendiente No. de Serie 09/094,524, presenta el 12 de junio de 1998, para un Método y Aparato para Generar Vistas Virtuales de Eventos Deportivos.
CAMPO TÉCNICO La presente invención se refiere en general a sistemas de exhibición de gráficos de computadora, tridimensionales y se refiere específicamente a sistemas y métodos que permiten que los espectadores y difusores de la TV convencional, TV digital e Internet vean un evento deportivo desde virtualmente cualquier punto de ventaja.
DESCRIPCIÓN DE LA INVENCIÓN Es bien sabido en la técnica el difundir un evento deportivo al colocar una pluralidad de cámaras de televisión en ubicaciones adecuadas, proporcionando las alimentaciones de . estas cámaras a los anunciantes > en una cabina de difusión, reproduciendo ciertas jugadas, del evento de modo que los anunciantes puedan hacer un comentario acerca de las jugadas y transmitiendo finalmente la teledifusión completa a la audiencia espectadora. Sin embargo, este planteamiento convencional de difusión sufre de varios defectos. Primero, la calidad de la difusión sufre si las cámaras no se colocan atinadamente con relación al campo de juego o si hay relativamente pocas cámaras para cubrir de manera adecuada al campo. Provocando de este modo que ciertas jugadas en ciertas partes del campo se pierdan o se cubran de manera inadecuada. Segundo, aunque algunas cámaras de televisión convencionales son algo móviles, la colocación de las cámaras alrededor del campo de juego está esencialmente fija y estática.. Sin embargo, el movimiento del balón de juego y los jugadores en el campo es dinámico e impredecible . De esta manera, durante un juego, las cámaras colocadas de forma estáti-ca, quedan mal frecuentemente al querer proporcionar una vista de un ángulo critico o las vistas de las cámaras se obstruyen por el jugador o los oficiales. Por ejemplo, las cámaras de campo estacionarias quedan mal rutinariamente al querer proporcionar vistas de cerca de los corredores de béisbol que se deslizan en las bases para evitar los tiradores, de volver corriendo torpemente antes o después de que sus rodillas toquen el suelo, o de receptores lejanos que intentan colocar ambos pies con gran rapidez después de capturar una pasada.
Tercero, las cámaras convencionales en general no se colocan dentro del campo de juego real durante los juegos. Las carreras de autos son una notable excepción; las cámaras en los carros han revolucionado las transmisiones de las carreras y han alentado el interés de los fanáticos en el deporte. Sin embargo, para otros eventos deportivos, tal como el fútbol, las cámaras en el campo montadas en los cascos u otro equipo deportivo aún no disfrutan de un uso ampliamente extendido. De esta manera, las cámaras de campo remotas deben grabar la acción desde puntos de ventaja relativamente distantes con vistas indirectas . Cuatro, los comentaristas coloridos en la cabina de difusión deben hacerlo con el video pre-grabado por las cámaras de campo, ya sea que el video sea útil o no. Los comentaristas no pueden volver a colocar las cámaras de forma dinámica para grabar la acción desde otro punto de vista. De esta manera, los comentaristas están restringidos a imágenes de video estáticas y no pueden alterar los puntos de vista desde los cuales se graba el video. También, con el uso incrementado del arbitraje de repetición instantánea por las ligas mayores de deportes profesionales, los puntos de ventaja de las repeticiones instantáneas están llegando a ser más y más críticos. Se han hecho algunos intentos de manera previa para proporcionar una adquisición y procesamiento en tiempo real de las posiciones físicas de los jugadores deportivos y el equipo deportivo objetivo, tal como las bolas de juego. Por ejemplo, Daver, Patente, de los Estados Unidos No. 5 , 5 1 3 , 8 5 4 , describe un sistema para la 'adquisición en tiempo real de personas en movimiento, y Larsen, Patente de los Estados Unidos No. 5 , 3 634 , 2 97 , describe un sistema de seguimiento de cámara automatizado para eventos deportivos. Sin embargo, ninguno de estos sistemas enseña un sistema individual para seguir a los jugadores · individuales del deporte y el equipo deportivo en tiempo real, usando los datos de seguimiento para generar imágenes simuladas basadas en valores procesados e integrando las figuras simuladas en un ambiente deportivo, virtual que se actualiza en tiempo real para representar el evento deportivo original. Por lo tanto, las deficiencias en la industria deportiva y las fallas en los sistemas anteriores para solucionar la necesidad de generar vistas virtuales de eventos deportivos motivó la presente invención.
Q SUMARIO DE LA INVENCIÓN El objeto de la presente invención es proporcionar un sistema y método para la recolección en tiempo real de actividades humanas, tal como un evento deportivo, para presentaciones infinitas de puntos de vista de análisis, a pesar de la colocación estática de la cámara. Otro objeto es proporcionar un sistema y método para proveer vistas de una jugada deportiva dada desde el' ángulo óptimo y punto de vista óptimo, a pesar de la colocación estática de la cámara o movimiento dinámico del equipo de juego, jugadores u oficiales. Aún otro objeto es proporcionar un sistema y método que permite que los anunciantes y espectadores vean la acción en el campo desde la perspectiva de una posición de cámara en el campo y que permita que los usuarios seleccionen virtualmente cualquier posición de cámara en el campo. Un objeto adicional es permitir que los comentaristas coloridos ajusten los puntos de vista del video para adecuar sus posturas especificas. En resumen, el sistema de vista' virtual usa imágenes al natural de cámaras colocadas alrededor de una arena deportiva para generar vistas virtuales del evento deportivo desde cualquier punto de vista contemplado. El sistema consiste de un sistema de seguimiento óptico, un servidor de ambiente virtual, una o más estaciones de vista virtual. El sistema de seguimiento óptico recibe . datos de video bidimensional al natural de un número pre-seleccionado de cámaras colocadas estratégicamente alrededor de una arena deportiva. Los datos bidimensionales al natural se dividen en secciones en compuertas de datos y se procesan vía una serie de procesadores de imagen de programa de cómputo en datos del estado del cuerpo para cada jugador de deportes u otra entidad objetivo. Los datos del estado del cuerpo luego se pasan a ' un servidor ambiental, virtual que genera la información de la posición del cuerpo y los modelos visuales para la transferencia o número seleccionado de estaciones de vista virtual. Cada estación de vista virtual incluye un programa de cómputo de visual i zación para interpretar y ver una escena deportiva, virtual. Las estaciones de vista también controlan el punto de visualización de la vista de una cámara virtual y los transfieren los datos de vídeo al centro de producción de vídeo de modo que los datos de vídeo se pueden transmitir y combinar con otra salida de vídeo conforme se necesiten. Las estaciones de vista transfieren paquetes de datos de Internet de los datos del estado para clientes. El sistema permite que un operador seleccione una vista virtual deseada de un centro de control opcional y transmita la vista virtual a una audiencia remota. El centro de control puede transmitir paquetes de datos para la Internet y medios similares incluyendo TV interactiva. Los subsistemas opcionales tal como un- centro de control y una computadora de archivos se pueden integrar en el sistema para alterar la colocación de la cámara, unión, enfoque y. aumento, y para almacenar datos procesados para el evento deportivo y reproducir los datos a petición. La vista virtual generada puede tener o no una contraparte real en el video al natural recibido de las cámaras de la arena, pero representará realmente la situación de juego real basada en datos calculados. Otras caracteristicas y objetos y ventajas de la presente invención llegarán a ser evidentes a partir de una lectura de la siguiente descripción asi como un estudio de los dibujos anexos.
BREVE DESCRIPCIÓN DE LOS DIBUJOS Un sistema de visualización virtual que incorpora las caracteristicas de la invención se representa en los dibujos anexos que forman una porción de la descripción y en donde: La Figura 1 es un diagrama completo del sistema que muestra los componentes principales del sistema; La Figura 2 es un diagrama de flujo -de datos y sistema, combinado de las tarjetas de interfaz de cámara, el módulo de secuenciación de E/S y lós tableros del procesador de arreglo dentro del sistema de seguimiento óptico, La Figura 3 es un diagrama de flujo de datos y sistema combinado dé la subsección de correlación de seguimiento dentro del sistema de seguimiento óptico; La Figura 4 es un diagrama de flujo de datos de las funciones de procesamiento de imágenes que se presentan dentro del procesador de imágenes del sistema de seguimiento óptico; La Figura 5 es un diagrama de flujo de datos sistema combinado del servidor ambiental virtual que tiene sübcomponehtes del tablero de texturización de modelo y las computadoras del servidor ambiental; La Figura 6 es un diagrama de flujo de datos y el sistema combinado de las estaciones de vista virtual; La Figura 7 es un diagrama de flujo de datos y de sistema combinado de la computadora de archivo; y La Figura 8 es un diagrama de flujos de datos y sistema, combinado del. centro de control que tiene sub-componentes de la computadora de interfaz VVS del centro de control VVS..
MEJOR MODO PARA LLEVAR A CABO LA INVENCIÓN Con referencia a los dibujos para un mejor entendimiento de la función y estructura de la invención, la presente invención, llamada el Sistema 10 de Deportes de Vista Virtual (Sistema VVS), comprende tres< subsistemas principales: el sistema de seguimiento óptico 11, el servidor ambiental virtual 12, y las estaciones de vista virtual 13. Un centro de control 14 y computadora de archivo 16 son subsistemas opcionales que mejoran la capacidad del sistema VVS, pero no son criticas para la operación del sistema. La arquitectura completa del sistema VVS 10 que muestra estos subsistemas principales se muestra en la Figura 1. Los dibujos adicionales de los componentes propuestos del equipo físico del sistema y un diagrama a lo largo del sistema se puede encontrar en la presente solicitud provisional, copendiente, incorporada de este modo por referencia, y que puede ser de utilidad al lector durante la discusión que sigue. Para propósitos de ilustración, la presente invención se describirá con referencia a la virtualizacion de un evento deportivo que tiene jugadores de deportes y una bola. Sin embargo, se entenderá por aquellos expertos en. la técnica, que el sistema VVS 10 se puede aplicar a cualquier tipo de situación en la cual objetos preseleccionados necesiten seguimiento y conversión en un ambiente virtual, tal como maniobras militares, monitoreo de ambientes peligrosos, y exploración espacial sin tripulación, etc. Con referencia a la Figura 2, el sistema 11 de seguimiento óptico recibe datos de vídeo al natural a partir de un conjunto de cámaras de TV convencionales 17 colocadas estratégicamente alrededor de una arena de deportes para generar datos posicionales tridimensionales (3-D) basándose en que cada cámara ve en dos dimensiones (2-D) . Se deben usar dos o más cámaras dependiendo de la aplicación y de la cantidad de exactitud requerida y además, se deben incorporar cámaras de alta resolución si se requiere una exactitud extrema. Los ¦ datos bidimensionales al natural se dividen en compuertas de datos por una subsección 19 de secuenciador E/S y se procesan via una serie de tableros 21 de procesador de arreglo en datos 67 del estado del cuerpo para cada jugador de deportes u otras entidades objetivo dentro de cada imagen de video recibida. Un tablero 23 de correlación de seguimiento también se incluye en el sistema 11 de seguimiento óptico' (ver Figura 3) . Como se muestra en la Figura 5, los datos luego se reciben por el servidor 12 de ambiente virtual que genera caracteres animados, realistas a partir de datos posicionales y cuadros de video. El servidor 12 incluye un tablero 27 de texturización de modelo y una serie de computadoras 32 de servidor ambiental para cubrir los datos de video real sobre los caracteres de deportes que produce una apariencia tipo real. El servidor 12 de ambiente virtual también puede archivar opcionalmente registros históricos en una computadora de archivo 16 (ver Figura 7), de modo que las estaciones 13 de vista virtual pueden regenerar una imagen almacenada a la petición de un operador. La computadora 32 de servidor de ambiente usa el conocimiento preprogramado del movimiento del cuerpo para corregir y mejorar los estados del cuerpo estimados por el sistema 23 de correlación de seguimiento (ver Figura 3) . Los estados de cuerpo, medidos se pueden alterar al reconocer ciertos gestos, tal como un jugador que corre, y suavizar el estado para presentar una simulación visual más realista. La suavización del cuerpo reduce adicionalmente las sacudidas de movimiento y compensan cualquier movimiento perdido. Otra técnica para proporcionar mejor estado del cuerpo es modelar la física del movimiento para un cuerpo y su interacción con otros cuerpos. Por ejemplo, la mayoría de los filtros de seguimiento tendrán dificultad en seguir una pelota de béisbol conforme la golpea un bate. Prediciendo esta interacción y midiendo las fuerzas de influencia para los cuerpos se puede usar para alterar las ecuaciones de estado del sistema dando por resultado una información de estado, del cuerpo, superior. Al menos una estación 13 de vista virtual se requiere para que el sistema VVS opere, sin embargo, es preferible un sistema escalable en el cual se utilicen múltiples estaciones de vista como se muestra en la Figura 6. Cada estación es esencialmente una cámara virtual operada por un operador de cámara. Cada estación de vista virtual puede interpretar una vista 3-D basándose en las animaciones de caracteres y datos posicionales proporcionados por el servidor 12 de ambiente virtual. El operador de la cámara podría usar una palanca manual en una consola de interfaz o seleccionar de puntos de vista pre-seleccionados generados por un operador en el centro de control 14 para mover su perspectiva de visualización y para "volar" a cualquier ubicación, permitiendo de este modo que los eventos deportivos se vean desde cualquier perspectiva virtual. El operador controla la . perspectiva visual a través de un programa de cómputo de formación de imágenes, normal que corre en cada estación de vista virtual 13. El centro de control 14 permite que un operador adapte la operación del sistema VVS 10 a petición si se 'desea la intervención manual. El centro de control 14 adiciona la capacidad de iniciar, diagnosticar y sintonizar en fino el sistema VVS 10. Además, del centro de control 14 un operador puede . dirigir en forma remota cada cámara unida al sistema VVS 10 para proporcionar cobertura óptima de los puntos de interés en el evento deportivo. Con referencia nuevamente a la Figura 2, el sistema 11 de seguimiento óptico se contempla que sea un dispositivo electrónico montado en soporte optimizado para convertir los datos de la cámara óptica en datos posicionales tridimensionales para objetos vistos por las cámaras 17. Estos datos •tridimensionales se llaman un "seguimiento de objeto", y se actualizan continuamente para corresponder con los movimientos de las figuras de deportes y la posición relativa dé la bola. El sistema de seguimiento óptico utiliza componentes electrónicos comerciales fuera de almacenamiento (COTS) que se pueden diseñar fácilmente para retenerse dentro de una jaula de tarjeta montable en soporte que aloja suministros duales de potencia de 300 Vatios CA, ventiladores de enfriamiento, un plano trasero de 20 ranuras y un número de tarjetas de enchufe. Se puede incluir una tarjeta de expansión de barra común para proporcionar conectividad de alta velocidad entre el sistema de seguimiento óptico 11 y otros componentes del sistema VVS tal como el servidor 12 de ambiente virtual. Una configuración montable en soporte también proporciona una ruta para expandir el sistema VVS para soportar configuraciones más grandes que tienen pluralidades de los componentes del sistema VVS de nivel superior. Una serie de tarjetas 18 de interfaz de cámara proporciona almacenamiento y memoria intermedia de los datos de cuadro de cámara hasta que el sistema 11 de seguimiento óptico está preparado para procesarlos. Las tarjetas 18 también proporcionan conectividad de regreso a las cámaras para la vista, enfoque y control de aumento, y actúan como un conducto de transmisión para el centro de control 14. Cada tarjeta de interfaz de cámara incluye una interfaz de' video digital' y una interfaz de control para una cámara individual. Se pueden configurar ocho tarjetas 18 de interfaz de cámara para soportar cámaras con resoluciones de hasta 1280 x 1024 pixeles con velocidades de cuadro de hasta 60 Hz . El sistema de seguimiento óptico se diseña inicialmente para soportar ¦ hasta 8 tarjetas . de interfaz de cámara. Como se muestra, sin embargo, este es un sistema escalable que se puede adaptar para adecuarse a varios tipos de eventos deportivos que pueden requerir muchas más fuentes de entrada de cámara . Una subsección 19 de secuenciador E/S recibe los datos de cuadro almacenados en memoria intermedia de las tarjetas 18 de interfaz de cámara, y divide los cuadros en compuertas, y distribuye estos datos a un procesador 21 de arreglo de imagen, apropiado. Una compuerta se define como una porción manejable de un cuadro hecha de un tamaño de acuerdo con las capacidades del equipo físico utilizado en el sistema y puede variar de acuerdo con los parámetros dinámicos del sistema. El sistema usará típicamente un secuenciador 19 de E/S individual para cada una de las ocho tarjetas 18 de interfaz de cámara y uno correspondiente de los ocho tableros 21 de procesadores de arreglo de imagen, como se muestra. Los tableros 21 de procesador de arreglo de imagen proporcionan procesamiento de imágenes en compuertas proporcionadas por el secuenciador de E/S 19. Cada tablero de procesador de arreglo de imágenes aloja un arreglo tipo arquitectura de corriente de datos, múltiple, de instrucción individual (SIMD) de procesadores 22 de imagen de alta velocidad. Estos procesadores de imágenes 22 identifican objetos en cada cuadro usando algoritmos de procesamiento de imágenes, normales, industriales. Los datos de posesión bidimensionales para cada objeto con relación al cuadro luego se pasan al tablero 23 de correlación de seguimiento. Como se muestra en la Figura 3, el tablero 23 de correlación de seguimiento procesa los datos de posición de objetos dé cada uno de los tableros 21 de procesador de arreglo de imágenes y correlaciona cada uno de los datos de posición de objeto con los datos de posición de objeto 3-D históricos, conocidos como los archivos 24' de seguimiento de objeto, que se almacenan en memoria. Un área de memoria compartida que tiene suficientes cantidades de memoria de acceso aleatorio,' normal para almacenar datos generales por las subsecciones individuales del VVS 10 es accesible a través de una interfaz DMA 26 común conectada a todas las subsecciones del sistema VVS a través de barras- comunes electrónicas del subsistema. Con referencia ahora a la Figura 5, el servidor 12 de ambiente virtual es similar al sistema de seguimiento óptico ya que los componentes del sistema son susceptibles a ser diseñados con productos electrónicos COTS y normalmente se retendrán en un dispositivo montable en soporte optimizado para crear, mantener y distribuir una representación de un evento deportivo en vivo. Una tarjeta de expansión de barra común COTS se puede incluir para proporcionar conectividad de alta velocidad entre el servidor 12 de ambiente virtual y el sistema base de seguimiento óptico a través de la interfaz DMA. La subsección 27 de texturización de modelo genera modelos visuales 3-D foto-realistas basados en la información proporcionada por el sistema 11 de seguimiento óptico. La subsección 27 de texturización de modelo tiene acceso a la información de las bases de datos compartidas que retienen las mediciones de posesión para cada una de las partes del cuerpo de una figura de deportes y de la cual se genera una representación de cuadro de alambres, 3-D del participante deportivo. La subsección 27 luego utiliza los datos de cuadro de vídeo para generar "texturas de modelo" 28 para cada parte del cuerpo y correlaciona estas texturas sobre el modelo de cuadro de alambres retenido por la subsección de seguimiento.
27, como se generó previamente, para crear un modelo visual 3-D altamente realista. Las computadoras 32 del servidor de ambiente usan la información del estado del cuerpo previamente calculada por el tablero 23 de correlación de seguimiento y la información de textura 28 generada por la subsección 27 de texturizáción de modelo para proporcionar la información de posición de cuerpo, coherente y modelos visuales a las estaciones 13 de vista virtual para la generación de escenas. Los datos de la posición del cuerpo y los modelos visuales del tiempo real se sincronizan con las estaciones 13 de vista virtual a través de la interfaz 26 de acceso directo a memoria (DMA) 26. El servidor de ambiente virtual también acepta peticiones de archivo de las estaciones 13 de vista virtual a través de la interfaz DMA. Como una mejora opcional, la computadora de archivo 16 (ver Figura 8), puede proporcionar grabación y reproducción en tiempo real de la información de posición del cuerpo y modelos visuales de una serie de arreglos redundantes baratos de unidades baratas (RAID) que proporcionan almacenamiento redundante, rápido y recuperación de datos de ambiente virtual, históricos a petición. La computadora de archivo también se puede configurar para soportar velocidades de reproducción controladas por el . usuario a través de la pre-programación apropiada de VVS. Con referencia ahora a la Figura 6, cada estación 13 de vista virtual son estaciones de trabajo SGI COTS de alta finalidad que alojan un programa de cómputo de visualización VVS. Las estaciones 13 de vista ' virtual permitirán que un operador controle el ángulo de visualización de una cámara virtual, y monitoree los datos en tiempo real o trabaje en un modo de repetición instantánea para generar escenas de alta calidad. Cada estación 13 de vista virtual incluye una función 126 de interpretación de escena que interpreta el ambiente virtual 3D al usar la información del estado de cuerpo para determinar la ubicación de los objetos dentro de la escena. En general, la función 126 de interpretación de escena usa las bases de datos poligonales 3D y las texturas foto-realistas para representar los objetos en escena. Una vez que se interpreta la escena, la función 126 de interpretación de- escena responde a cambios interactivos en el punto de vista dentro de la escena. Esta combinación de modelos foto-realistas . y datos del estado del cuerpo, representativos permite que la función de estructuración de escena genere una escena virtual altamente realista para la reproducción interactiva en tiempo real.. En la presente modalidad, el sistema VVS se contempla que soporte hasta cuatro estaciones de vista virtual.
Como se ve en la Figura 8, otra mejora opcional al sistema VVS 10 es un centro de control 14 que tiene una computadora 29 de interfaz del controlador VVS y un centro - 31 de control VVS. La interfaz de control 29 sirve como una interfaz entre el centro de control VVS 31 y el sistema 11 de seguimiento óptico/servidor 12 de ambiente virtual. La interfaz de controlador VVS es capaz de pasar datos de posición de objeto, en tiempo real al centro de control VVS a través de la interfaz 29 de acceso directo a memoria (DMA) . También sirve para transmitir órdenes de cámara tal como apuntamiento, aumento y enfoque, y también órdenes de sistema, tal como inicialización y configuración, a partir del centro de control VVS a través de la interfaz DMA 26. El centro 31 de control VVS es una estación de trabajo de Silicon Graphics (SGI) COTS que aloja el programa de cómputo de control VVS. La consola de control VVS (no mostrada) permite, a través del programa de cómputo de control, que un operador inicialice el sistema VVS, ' optimice desempeño, realice actualizaciones y sobrecontrole los controles automatizados de las cámaras. La consola de control VVS se comunica con el servidor de ambiente virtual y el sistema de seguimiento óptico a través de la interfaz 26 de acceso directo a memoria (DMA) . Una descripción adicional del flujo de datos de las funciones de procesamiento del sistema VVS 10 en operación servirá para ilustrar las capacidades del sistema. Una convención normal del elemento en cursivas Nombres de Función , en negritas Nombres de Datos, y subrayado Nombres de Bases de Datos, se usa para poner en claro las relaciones de las varias funciones de sistema y la transferencia de fecha entre las funciones. Se debe hacer referencia a las figuras previamente descritas que muestran los subsistemas principales y menores del sistema VVS conforme se direcciona cada operación de la subsección. Como se muestra en la modalidad preferida, el sistema de seguimiento óptico soporta hasta 8 tarjetas 18 de interfaz de cámara. Cada tarjeta tiene una interfaz de cámara 41, una memoria intermedia de cuadro 42, un controlador de cámara 43, una función 44 de seguimiento de cámara, y un archivo 46 compartido de estados de cuerpo. La interfaz de cámara 41 procesa los Cuadros de Video y Orientación de Cámara de las cámaras 17 y los almacena en la memoria intermedia de cuadro 42. La interfaz 41 también procesa las órdenes de enfoque, aumento y apuntamiento del controlador de cámara 43 y las transmite a una cámara seleccionada 17. El Controlador de Cámara 43 procesa las órdenes de cámara tal como Unión, Enfoque y Aumento a partir del control VVS 81 en la computadora 29 de interfaz VVS. Por ejemplo, una orden Unión del controlador VVS 81 provoca que el Controlador de cámara 43 dirija una cámara hacia un cuerpo de deporte particular, y el controlador 43 también transmite órdenes de Unión a la función 44 de Seguimiento de Ca'mara.' Las órdenes de Apuntamiento de Cámara a partir de la función 44 de Seguimiento de Cámara también se manejan por el Controlador 43. La función 44 de Seguimiento de Cámara procesa las órdenes de Unión a partir de la función 43 dé Controlador de cámara y tiene la capacidad de leer un instante virtual de lo.s Datos del Estado dé Cuerpo a partir del archivo 46 compartido de los Estados de Cuerpo y calcula los cambios de orientación de cámara requeridos a fin de centrar el cuerpo unido por el campo de visión de la cámara seleccionada. Las órdenes de Apuntamiento de Cámara luego se envían a la función 43 de Controlador de Cámara para el movimiento apropiado de la cámara. El archivo 46 de Estados de Cuerpo se actualiza en tiempo real por la función 68 de Propagación de - Cuerpo como se discutirá. La subsección 19 de secuencia E/S consiste de un Constructor de Compuerta 51 y un Secuenciador 52 de E/S. El Constructor de Compuertas 51 sondea las Memorias Intermedias de Cuadro 42 para los datos de Cuadro y Orientación de Cámara. El Constructor de Compuerta divide los Cuadros en compuertas de tamaño de arreglo, específica las Coordenadas de Compuerta X e Y para cada compuerta, marca el Tiempo de Avistamiento para cada compuerta, y alimenta la Compuerta, Coordenadas de Compuerta, y Tiempo de Avistamiento al secuenciador 52 de E/S. Además, el Constructor de Compuertas 51 envía Cuadros, Coordenadas de Cuadro y Tiempo de Avistamiento al tablero 27 de la subsección de texturiz'ación de modelo a velocidades que se pueden definir por el usuario. El secuenciador 52 de E/S secuencia las Compuertas, Coordenadas de Compuerta y Tiempo de Avistamiento a los tableros 21 del procesador de arreglo, disponibles. El Secuenciador de E/S 52 también proporciona, compensación de carga para las 8 ocho tableros de procesador de arreglo como se muestra .. Los tableros 21 de procesador de arreglo realizan principalmente funciones de procesamiento de imágenes. Esos tableros contienen un Procesador de imagen 22 que realiza la detección del borde en cada cuadro recibido para identificar los cuerpos y su Centroide de Cuerpo, que se define como la posición 3-D del punto central de un cuerpo. El Procesador 22 también realiza el apareamiento de patrón para asociar un cuerpo particular con un jugador e identifica la Posición de Objeto 2D (componente de cuerpo) , Tipo de Objeto, Orientación de Objeto y Tiempo de Avistamiento de Objeto para el almacenamiento en la base de datos 64 del Tubo de Golpe o Encuentro de Objeto. El Procesador de Imagen transfiere las variables de Centroide de Cuerpo, Identificación de Cuerpo y Tiempo de Avistamiento de Cuerpo al Tubo 64 de Golpe o Encuentro de Cuerpo como se muestra (ver también Figura 3) . Los procesadores de imágenes 22 mencionados con anterioridad utilizan técnicas de procesadores de imágenes con programa de cómputo, normales, tal como segmentación, extracción de características y clasificación para descomponer cada imagen de cuerpo en un cuadro. La Figura 4 representa un planteamiento para resolver los datos de cuerpo usando estas técnicas. Como se muestra, los datos de la imagen 91 natural se transfieren a los sub-módulos de programa para la eliminación de fondo 92 y correlación 93. El sub-programa 92 de eliminación de fondo usa algoritmos bien conocidos tal como dilatación binaria, erosión binaria, cierre binario, transformadas de imagen invertida, y técnicas de envuelta convexa para separar el fondo de los cuerpos verdaderos. La agrupación de imagen 94 se presenta como . parte de la porción de extracción de características del proceso de extracción y pasa los datos a otras sub-funciones . El programa 94 de sub-procesamiento de agrupamiento agrupa pixeles usando un filtro espacial para crear las ID de grupo para cada pixel segmentado. Esta información se pasa al sub-programa 96 de conversión en esquema y el sub-programa 93 de correlación de imagen, y otros sub-programas 97 de extracción de características. El sub-programa 96 de conversión en esquema identifica grupos o masas uniformes a través de las técnicas de aislamiento de pixeles y quita sistemáticamente los límites de la figura para formar u esqueleto de ancho unitario. La correlación de imagen 93 usa los ID de grupo previamente creados para asignar los picos de ¦ correlación resultantes en el proceso de conversión en esquema a grupos específicos. Otros tipos de características extraídas, tal como área, momentos, etc., también dependen de la salida de datos del proceso de agrupamiento, tal como la forma de la masa uniforme, y se procesan por el sub-programa 97 para redifinir adicionalmente los datos de estado de cuerpo para obtener mediciones apropiadas del cuerpo. Cada grupo extraído, resultante luego se clasifica 98 de acuerdo con plantillas de · imagen de característica, preseleccionadas y se pasan al Cuerpo 64 y Tubo 61 de Golpe o encuentro de Objeto. Se han escrito varios excelentes libros con respecto al tema de procesadores de imágenes que usan estas técnicas para identificar figuras deportivas y bolas en movimiento. Una excelente fuente de estas técnicas es Digital Image Processing, por enneth R., Castleman, incorporado en la presente como referencia. Otras referencias que manejan técnicas de transferencia de masa uniforme y cuerpo se listan en la tabla de referencia anexa a la descripción y también se incorporan de este modo como referencia. Se omite discusión adicional con respecto al procesadores de imágenes en cuadro puesto que va más allá -del alcance de la invención y puesto que se pueden usar técnicas normales de procesamiento de la industria en la presente invención para la operación apropiada . Como se ve en la Figura 3, el tablero 23 de correlación de seguimiento formula seguimientos de cuerpo y objeto- 3D basándose en los datos de estado de cuerpo y objeto 2D de los tableros 21 de procesador de arreglo. El tablero 23 de seguimiento contiene un Tubo 61 de Golpe o Encuentro de Objeto, una función 62 de Correlación de Seguimiento, un archivo 24 de Seguimiento de Objeto, un Tubo 64 de Golpe o Encuentro de Objeto, una función 66 de Correlación de Cuerpo, un archivo 67 de Estado de Cuerpo y una función 68 de Propagación de Cuerpo. El Tubo 61 de Golpe o Encuentro de Objeto almacena Golpes o Encuentros de Objeto tal como el Tipo de Objeto, Posición de Objeto, Orientación de Objeto y Tiempo de Avistamiento de Objeto. La función 62 de Correlación de Seguimiento correlaciona los golpes de objeto 2D con los Seguimientos de Objeto 3D almacenados en el archivo 24 de Seguimiento de Obj eto , actualiza la Posición de Objeto 3D y la Orientación de Objeto, y calcula la Velocidad de Objeto y Aceleración de Objeto. La función 62 de Correlación de Seguimiento también asocia y divide los Seguimientos de Objeto relacionados en el archivo 24 de Seguimiento de Objeto conforme' se encuentran los umbrales de correlación preseleccioandos. El archivo 24 de Seguimiento de Objeto también almacena Seguimientos de Objeto, tal como Tipo de Objeto, Posición de Objeto, Orientación de Objeto, Velocidad de Objeto, Aceleración de Objeto y Cuerpo de Origen. El Tubo 64 de Golpe o Encuentro de Objeto almacena Golpes de cuerpo tal como Centroide de Cuerpo, Identi icación de Cuerpo y Tiempo de Avistamiento de Cuerpo. De manera similar, la función 62 de correlación de seguimiento procesa la información del Centroide de Cuerpo e Identificación de Cuerpo del Tubo 64 de Golpe de Cuerpo y actualiza los datos de Identificación de Cuerpo y Centroide de Cuerpo almacenados en el archivo 67 de Estado de Cuerpo. El archivo. 67 Estado de Cuerpo almacena los Estados de Cuerpo incluyendo la Identificación de Cuerpo, Centroide de Cuerpo y datos de estado para cada parte articulada. Cada cuerpo incluye datos de partes articuladas tal como dos pies, dos rodillas, dos puntos del torso, un abdomen, dos puntos de hombros, dos codos, dos manos, y una cabeza. Para cada parte articulada, se almacenan el tipo de Parte .Articulada Posición de Parte Articulada, Orientación de Parte Articulada, Velocidad de Parte Articulada y Aceleración de Parte Articulada. El archivo 67 de Estado de Cuerpo se almacena en memoria compartida que se analiza previamente para el uso ¦ de otros varios tableros VVS y subsecciones incluyendo la sección 27 de texturización de modelo y las computadoras 12 del servidor de ambiente. La función 68 de Propagación de Cuerpo mantiene el archivo de Estado de Cuerpo al correlacionar los Seguimientos de Objeto 3-D con Partes Articuladas en el archivo 67 de Estado de Cuerpo, y actualiza la variable de Cuerpo de Origen en el archivo 24 de Seguimiento de Objeto y actualiza la Posición de Parte Articulada, la Orientación de Parte Articulada, la Velocidad de Parte Articulada y la Aceleración de Parte Articulada en el Archivo 67 de Estado de Cuerpo. La función de Propagación de Cuerpo aplica también algoritmos de movimiento, humano para suavizar . las articulaciones del cuerpo mantenidas en el archivo 67 de estado de cuerpo. También se -envían actualizaciones del Estado de Cuerpo al grabador 101' en tiempo para el archivo por la función 68 de Propagación de Cuerpo, asumiendo que está presente en el sistema una computadora 16 de archivo. La subsección 27 de texturización de modelo es responsable de la generación en tiempo real de las Texturas de modelo a partir de los Cuadros de vídeo. La subsección 27 utiliza el archivo 67 del Estado de Cuerpo y la Memoria Intermedia de Cuadro 42, e incluye otros elementos tal como la función 111 de Articulación de Cuerpo, una función 112 de Interpretación de Cuadro, una base de datos 113 de Modelos Visuales, y una función 114 de Generación de Textura. El archivo 42 de Memoria Intermedia de Cuadro almacena los Cuadros marcados en tiempo de la imagen y los datos de Orientación de. Cámara de la función 51 de Constructor de Compuerta. La función 111 de Articulación de Cuerpo usa los datos de Estado de Cuerpo para determinar qué Modelo Visual, que es una representación de textura y cuadro de alambres 3-D de un cuerpo, se asocia con el cuerpo. El archivo de Modelos Visuales almacena los Modelos Visuales incluyendo el Nombre de Modelo, Tipo de Modelo, Correlación de Tipo de Entidad, Dimensiones de Cuerpo, Geometría Poligonal, Texturas y Correlación de Textura. En secuencia, la función 11 usa los datos de Estado de Cuerpo para generar los datos de Estado de Entidad con partes articuladas y transfiere los datos a la función 112 de In erpretación de Cuadro. La función 112 de Interpretación de Cuadro luego procesa los datos de Estado de Entidad de la función 111 de Articulación de Cuerpo, los datos de Orientación de Cámara de la función 51 del Constructor de Compuerta , y los datos del Modelo Visual a partir del archivo 113 de Modelos Visuales para interpretar un Cuadro Fijo de la vista de la cámara 17. La función 112 de Interpretación de Cuadro luego envía el Cuadro Fijo a la función 114 de generación de textura para determinar qué polígonos están en vista y hacer corresponder el Cuadro dividido de la Memoria Intermedia de Cuadro con los polígonos en vista y determinar si la calidad de la imagen es suficiente para la generación de textura. Si la calidad de la imagen es suficiente, se generan la Textura y la Coorrelación de Poligono y se envían al archivo 102 de Texturas compartidas y el grabador 101 en Tiempo Real. La función de Generación de Texturan procesan un Cuadro Fijo a partir de la función de Interpretación de Cuadro y el Cuadro asociado de la Memoria Intermedia de Cuadro. La función de Generación de Textura luego toma el Cuadro Fijo y determina que el polígonos están en vista, y toma el Cuadro de la Memoria Intermedia de Cuadro y la divide para hacer corresponder los polígonos visibles. También sirve para determinar si la calidad de imagen es suficiente para la generación de textura. La computadora 16 de archivo tiene la capacidad de almacenar y recuperar los Estados de Cuerpo y Texturas a petición. La computadora 16 incluye una función 101 en Grabador en Tiempo Real, interfaces al archivo 67 de Estado de Cuerpo, un archivo 102 de Texturas y una función 103 de Lector de Archivo. La función 101 de Grabador en Tiempo Real procesa las actualizaciones de Estado de Cuerpo de- la función 68 de Propagación de Cuerpo en el tablero 23 ¦ de correlación de seguimiento y actualización y de Textura de la función 114 de generación de textura en el tablero 27 de texturización de modelo. La computadora de archivo 16 puede grabar las actualizaciones de Estado de Cuerpo en el archivo 67 de Estado de Cuerpo y actualizaciones en el archivo 102 de Textura en tiempo real. El' archivo 67 de Estado de Cuerpo almacena Estados de Cuerpo históricos y actualizaciones de Textura históricas. La función 103 de Lector de Archivo responde a órdenes de reproducción de las estaciones 13 de vista virtual, individuales. Las órdenes de reproducción incluyen Ajustar inicio, Ajustar Final, Ajustar Velocidad de Reproducción, < Ajustar Dirección de Reproducción, Reproducción, Pausa, Cuadro Escalonado, ir a Inicio e ir a Final. El Lector de Archivó 103 tiene la capacidad de hacer fluir las actualizaciones de Estado de Cuerpo y actualizaciones .de. Textura a la computadora 12 de servidor de ambiente para cada estación 13 de vista virtual, correspondiente. La computadora 32 de servidor de ambiente tiene una función principal de generar Estados de Entidad, que son casos individuales del archivo 121 en Estados de Entidad y Modelos Visuales 122 para su estación 13 de vista virtual, asociada. La computadora 32 de servidor utiliza el archivo 67 de Estado de Cuerpo, el archivo 102 de Texturas , la función 111 de Articulación de Cuerpo, una función 123 de Correlación de Textura, y la interfaz 26 DMA para generar apropiadamente los datos de escena virtual. El archivo 67 de Estado de Cuerpo y la base de datos 102 de Texturas se accesan de la memoria compartida, que pueden, ser ya sea una base de datos en tiempo real generada por la función 68 de Propagación de Cuerpo y la función 114 de Generación de Textura, respectivamente, luego una base de datos de reproducción generada por la función 103 de Lector de Archivo. La función 111 de Articulación de Cuerpo realiza las mismas funciones como la función 111 de Articulación - de Cuerpo en el tablero 27 de texturización de modelo y envía las actualizaciones de Estado de Entidad a través dé la interfaz 26 DMA al archivo 121 de Estado de Entidad almacenado en cada estación 13 de vista virtual. La función 123 de Correlación de Textura toma las Texturas y Correlación de Polígonos del archivo 102 de Textura y envía las actualizaciones de Texturas y Correlación de Textura a través de la interfaz DMA- 26 a la base de datos 122 de Modelos Visuales almacenada en cada estación 13 de vista virtual. La Interfaz DMA 26 sincroniza las actualizaciones de las bases de datos de la Articulación de Cuerpo 111 desde las funciones de Correlación de Textura 123 conforme .se almacenan las base de datos, Estado de Entidad y Modelo Visual en cada estación 13 de vista virtual, asociada. La Interfaz DMA 26 también procesa las órdenes de reproducción de la función 124 de Interfaz de usuario en cada estación 13 de vista virtual y transfiere estas órdenes al lector de archivo 103 de la computadora de archivo 16, si es que está presente. La computadora 29 de interfaz VVS genera Estados de Entidad para el centro de control VVS 31 y procesa las órdenes a partir de la función 86 de Interfaz de usuario en el centro de control VVS. La computadora de interfaz 29 contiene una archivo 67 de Estado de Cuerpo, una función 111 de Articulación de Cuerpo, una Interfaz DMA 26 y una función 81 -del controlador VVS. El archivo 67 de Estado de Cuerpo se accesa desde la memoria compartida y se genera en tiempo real por la función 68 de Propagación de Cuerpo. La, función 111 de Articulación de Cuerpo realiza las mismas acciones como la función 111 de Articulación de Cuerpo en las computadoras de servidor de ambiente. La Interfaz DMA 26 sincroniza las actualizaciones de base de datos a partir de la función 111 de Articulación de Cuerpo con la base de datos 121 de Estado de Entidad almacenada en el centro de control VVS 31. La Interfaz DMA 26 también procesa las órdenes de cámara de la función 86 de interfaz de usuario y en el centro 31 de Control VVS y transfiere estas órdenes a la función 81 del Controlador VVS. La. función 81 del Controlador VVS procesa las órdenes de cámara incluyendo las órdenes de Aumento, Enfoque y Unión y transfiere estas órdenes a la función 43 del Controlador de Cámara en las tarjetas 18 de interfaz de cámara. La estación 13 de vista virtual es responsable de la interpretación del video generado por la cámara virtual que utiliza los Estados de Entidad 121 y los Modelos Visuales 122 generados por su computadora 32 de servidor de ambiente, asociado. El sistema VVS 10 (en esta modalidad) soporta hasta cuatro estaciones 13 de vista virtual. Cada estación 13 de vista virtual contiene un archivo 121 de Estado de Entidad, y un archivo 122 de Modelos Visuales , una función 126 de Interpretación de Escena, una función 124 de Interfaz de Usuario, una Interfaz de Vídeo 127, una interfaz 26 de DMA. El archivo 121 de Estado de Entidad almacena los Estados de Entidad que incluyen Identificación de Entidad, Tipo de Entidad, Posición de Entidad, Velocidad de Entidad, Aceleración de Entidad y datos de estado de cada Parte Articulada. Cada cuerpo contendrá partes articuladas incluyendo dos pies, dos rodillas, dos puntos torsales, un abdomen, dos puntos de hombro, dos codos, dos manos y una cabeza. Para cada parte articulada, se marcarán el Tipo de Parte Articulada, la Posición de Parte Articulada, Orientación de Parte Articulada, Velocidad de Parte Articulada y Aceleración de Parte Articulada. El archivo 122 de modelos visuales almacenarán los Modelos Visuales Incluyendo Nombre de Modelo, Tipo de Modelo, Correlación de Tipo de Entidad, Dimensiones Corporales, Geometría Poligonal, Texturas y Correlación de Texturas. Estas bases de datos generan en tiempo real de las actualizaciones' de Estado de Cuerpo y las actualizaciones de Textura enviadas desde la computadora 32 de servidor de ambiente a través de la Interfaz DMA 26. La función 126 de Interpretación de Escena actualiza los datos 121 de Estado de Entidad para colocar objetos en una escena tridimensional y los datos 122 de Modelos Visuales pre-programados para determinar cómo los cuerpos aparecen en la escena 3D generada, que representa la vista del observador a partir de' una perspectiva visual seleccionada. La función 126 de Interpretación de Escena responde a órdenes de Navegación de Cámara Virtual a partir de la función 124 de Interfaz de Usuario para alterar la escena virtual generada como se desea. La Escena 3-D generada luego se envía a la Interfaz de Vídeo 127 para el reformato en un protocolo adecuado para la transmisión a un centro 128 de producción de y el centro de control VVS 31. Además, la función 124 de Interfaz de Usuario procesa las' órdenes de Navegación de Cámara Virtual y las Órdenes de Reproducción a partir del operador y las transfiere a la función 126 de Interpretación de Escena y también a La computadora de archivo 16 (si está presente) a través de la Interfaz DMA 26. La Interfaz DMA actúa como el puerto de comunicaciones entre la estación 15 de vista virtual y su computadora 32 de servidor de ambiente. La Interfaz DMA 26 también procesa las actualizaciones de base de datos de. las funciones 'de Articulación de Cuerpo 111 y Correlación de Texturas 123 y actualiza las bases de datos, Estado de Entidad 121 y Modelos Visuales 113, apropiadamente. Finalmente, la Interfaz DMA 26 también procesa las Órdenes de Reproducción de la Interfaz de Usuario 124 y las transfiere a la computadora de archivo 16 a través de la Interfaz DMA 26 en la computadora 32 de servidor de ambiente. El centro de control VVS 31 se puede incorporar en el sistema VVS 10 para monitorear y ajustar la operación del sistema 10 de deportes de vista virtual. El centro de control VVS 31 incluye un archivo 121 de Estado de Entidad, una función 87 de Visua lización de Vista en Planta, una función 86 de Interfaz de Usuario, una función 88 de Visualización de Vídeo, una Interfaz de Vídeo 89 y una Interfaz DMA 26. El archivo 121 de Estado de Entidad almacena los datos de Estado de Entidad como se realiza previamente. La función 87 de
Visualización de Vista en Planta utiliza los datos de Estado de Entidad para colocar objetos en una visualización de arriba abajo, bidimension'al llamada una "Vista en Planta" y que representa una "vista al ojo de dios" de la arena de juego. La visualización en planta se puede manipular por una serie de órdenes de Selección de Entidad de la vista en planta recibidas de la función 86 de Interfaz de Usuario . La función de Interfaz de Vídeo también procesa las señales de Video de las estaciones 13 de vista virtual y las transfiere a la función 88 de Visualización de Vídeo. La función de Visualización de Vídeo también responde a las órdenes de Selección de Video de la función de Interfaz de Usuario puede exhibir una señal de Video particular de las estaciones de vista virtual en base a las selecciones del operador. La. función 86 de Interfaz de Usuario procesa la Identificación de Entidad a partir de la función de Visualización de Vista en Planta, genera las ordenes de Unión, y transfiere los datos a la computadora 29 de Interfaz VVS a través de la Interfaz DMA. Igualmente, también procesa las órdenes de Aumento y Enfoque del operador y envía esta órdenes a la computadora 26 de interfaz VVS a través dé la Interfaz DMA 26. Las ordenes de Selección de Video del operador también se pueden transferir a la función 127 de Interfaz de Video en una estación 13 de vista virtual de esta manera. La Interfaz DMA 26 actúa como el puerto de comunicaciones entre el centro de control VVS 31 y la computadora 29 de Interfaz VVS. La Interfaz DMA 26 procesa las actualizaciones de las bases de datos a partir de la función 111 de Articulación de Cuerpo y actualiza de manera apropiada la base de datos 121 de Estado de Entidad. Como se ve en la función de otras subsecciones, la Interfaz 26 también procesa las órdenes de cámara incluyendo las órdenes de Aumento, Enfoque y Unión a partir de la Interfaz de Usuario 86 y las transifiere a la computadora 29 de interfaz VVS a través de la Interfaz DMA 26. La Interfaz de Vídeo 127 procesa las señales de Video de hasta cuatro estaciones 13 de vista virtual y las transfiere a la función 88 de Visualización de Vídeo. En tanto que se ha mostrado la invención en una forma, será obvio- para aquellos expertos en la técnica que ésta no se limita pero es susceptible de varios cambios y modificaciones sin que se aparte del espíritu de la misma. Por ejemplo, en tanto que los varios sub-elementos en el sistema completo. 10 se han referido,. "tablero" o "subprogramas" o "subsecciones", cada una de estas marcas se. elige por conveniencia y aquellos expertos en la industria entenderán que estas funciones se pueden migrar hacia y desde los elementos de equipo físico, instrucciones físicas' y programa de cómputo dependiendo de las limitaciones del tamaño del sistema, requerimientos de condiciones ambientales y consideraciones' económicas . La re-marca de los componentes individuales no se aparte de forma clara del espíritu general de la invención como se presenta.
REFERENCIAS
1. Basex, Gregory A. Digital Image Processing; Principies s Applications. John Wiley & Sons. Incorporated, New York, NY, Septiembre. ****
2. Castleman, enneth R . Digital Image Processing. Prentice-Hall , Paramus, NJ, Agosto de 1995.
3. Castleman, Kenneth R . Digital Image Processing. Prentice-Hall, Paramus, NJ, Julio de 19.79
4. Davies, E. Machine Vision: Theory, Algorithms, Practicálities . Academic Press,- Orlando, FL . , Enero de 1990. "
5. Duda, Richard C. y Hart, Peter E . ' Pattern Classification & Scene Analysis. John Wiley & Sons,
Incorporated, New York, NY, Enero de 1973.
6. Gonzales, Rafael C . ; Wintz, Paul; Gonzales, Ralph C . ; Woods, Richard E. Digital Image Processing. Addison Wesley Longman, Incorporated, Reading, MA, Enero de 1987.
7. Russ, John C. The Image Processing Handbook. CRC Press, Incorporated, Boca Ratón, FL . 19774. **** Fecha de publicación no conocida.
Claims (20)
1. Una aparato para generar vistas virtuales de eventos deportivos, caracterizado por: a. una subsección de seguimiento óptico para recibir y convertir datos de video en datos posicionales tridimensionales que tienen una interfaz de cámara, una subsección de secuencia de entrada/salida (E/S) , una subsección de procesador de imagen de arreglo que tiene al menos un procesador de imagen, y una subsección de correlación de seguimiento; b. un servidor de ambiente virtual para recibir los datos posicionales de la subsección de seguimiento óptico y generar datos de figuras deportivas, virtuales y datos de escenas virtuales, el servidor de ambiente que tiene una subsección de texturización de modelo y al menos una computadora de servidor de ambiente; y c. al menos una" estación de vista virtual para interpretar los datos de figuras deportivas virtuales y los datos de escenas virtuales a partir del servidor de ambiente virtual en -una imagen virtual . '
2. Un aparato según la reivindicación 1, caracterizado adicionalmente por una computadora de archivo para proporcionar grabación en tiempo real y reproducción de la información de la posición de cuerpo y modelos visuales, la computadora de archivo que incluye un medio para intercambiar datos con la subsección de seguimiento óptico del servidor de ambiente virtual.
3. Un aparato según la reivindicación 1, caracterizado adicionalmente por un centro de control para la operación de adaptación del aparato que tiene una computadora de interfaz de controlador y un centro de control VVS, el centro de control que incluye un medio para intercambiar datos con la estación de vista virtual de la subsección de seguimiento óptico.
4. Un aparato según la reivindicación 3, en donde el procesador de imagen se caracteriza adicionalmente por un medio para identificar una posición bidimensional de un jugador deportivo seleccionado en los datos de video.
5. Un aparato según la reivindicación 4, en donde la subsección de seguimiento óptico se caracteriza adicionalmente por un controlador de cámara para controlar la operación de cámaras que suministran los datos de video.
6. Un aparato según la reivindicación 5, en donde la subsección de la secuencia de E/S se caracteriza además por un constructor de compuerta para dividir los datos de video en arreglos de tamaño adecuado y un secuenciador de E/S. para secuenciar los arreglos dimensionados a la subsección del procesador de imagen de arreglo'.
7. Un aparato según la reivindicación 1, en donde el procesador de imagen se caracteriza además por un medio para segmentar los datos de video, un medio para extraer una serie de características pre-seleccionadas de los datos de vídeo, y el medio para clasificar los datos . de vídeo de acuerdo con un conjunto ' de plantillas de características, prese leccionadas .
8. Un aparato según la reivindicación 1, caracterizado adicion'al'mente por una interfaz DMA para almacenar y ' distribuir datos de memoria compartida a todo lo largo del aparato. '
9. Un aparato según la reivindicación 4, en donde el medio de" identificación se caracteriza por un medio para segmentar los datos de vídeo, un medio para instalar una serie de características preseleccionadas de los datos, un medio para clasificar los datos de acuerdo con un conjunto de plantillas de características preseleccionadas.
10.. Un aparato para generar vistas virtuales de eventos deportivos, caracterizado por:' a. un medio para recibir y convertir datos de video en datos posicionales , tridimensionales; b. un medio para recibir los datos posicionales de la subsección de seguimiento óptico y generar datos de figuras deportivas virtuales y datos de escenas virtuales; y c . un medio para interpretar los datos de figuras deportivas virtuales y los datos de escenas virtuales a partir del servidor de ambiente virtual en una imagen virtual.
11. Un aparato según la reivindicación 10, en donde el medio para recibir y convertir los datos de video se caracteriza por una interfaz de cámara, una subsección de secuencia de E/S, una subsección de procesador de imagen de arreglo que tiene al menos un procesador de imagen de una subsección de correlación de seguimiento.
12. Un aparato según la reivindicación 11, en donde el medio para recibir y generar se caracteriza por una subsección de texturización de modelo para generar modelos tridimensionales y texturas de una computadora de servidor ambiental para proporcionar información de posición de cuerpo de modelos visuales a la estación de vista virtual.
13. Un aparato según la reivindicación 10, caracterizado adicionalmente por un medio para proporcionar grabación en tiempo real y reproducción de los datos de figuras deportivas virtuales y datos de escenas virtuales .
14. Un aparato según la reivindicación 10, caracterizado además por un medio para adaptar la operación del aparato que incluye una computadora de interfaz de controlador de un centro de control VVS, el centro de control que incluye un medio para intercambiar datos con el medio de interpretación y el medio de recepción y conversión.
15. Un método para generar vistas virtuales de un evento deportivo, caracterizado por los pasos de: a. recibir datos de video de cámaras colocadas alrededor del evento deportivo; b. convertir los datos de video en datos posicionales, tridimensionales de cada participante deportivo que aparece en los datos de video; c. generar modelos tridimensionales de los datos posicionales para los participantes;" y d. combinar la información de posición de cuerpo, coherente con los modelos tridimensionales para interpretar una escena virtual.
16. Un método según la reivindicación 15, en donde el paso de conversión se caracteriza por los pasos de: a. dividir los datos de video en una pluralidad de compuertas; b. secuenciar las compuertas a una pluralidad de procesadores de arreglo para el procesamiento de imagen; y c. identificar objetos en los datos de video a través de la' segmentación, extracción de características y clasificación de modelos .
17. Un método según la reivindicación 16, en donde el paso de generación se caracteriza por los pasos de: a. crear una representación del cuadro de alambres, tridimensional de cada participante deportivo que aparece en los datos de video, el cuadro de alambres que incluye las partes del cuerpo para cada participante; y b. generar texturas de modelo para cada parte del cuerpo en la representación de cuadro de alambres y correlacionar las texturas en cada parte del cuerpo.
18. Un método según la reivindicación 17, caracterizado por los pasos adicionales de crear información de posición de cuerpo, coherente a partir de las texturas de modelo y los datos de posición antes del paso de interpretación.
19. Un método según la reivindicación 15, caracterizado por el paso de adicionar y controlar la posición, unión, enfoque y aumento de las cámaras para proporcionar datos de video a partir de una ubicación deseada en el evento deportivo.
20. Un método según la reivindicación 16, caracterizado por el paso adicional de grabar los datos de posición tridimensionales para la reproducción en un tiempo posterior. RESUMEN DE LA INVENCIÓN Un sistema de vista virtual usa imágenes al natural a partir de cámaras colocadas alrededor de una arena de deportes para generar vistas virtuales del evento deportivo a partir de cualquier 4 punto de vista contemplado. El sistema consiste de un sistema de seguimiento óptico, un servidor de ambiente virtual, y una o más estaciones de vista virtual. El sistema de seguimiento óptico recibe datos de video bidimensionales al natural a partir de un número preseleccionado de cámaras estratégicamente colocadas alrededor de una arena de deportes . Los datos bidimensionales al natural luego se seccionan en compuertas de datos y se procesan vía una serie de procesadores de imagen con programa de cómputo en datos de estado de cuerpo asignados a cada jugador deportivo u otra entidad objetivo. Los datos de ' estado de cuerpo luego se pasan a un servidor de ambiente virtual que genera la información de la posición de cuerpo y modelos visuales para la transferencia a un número seleccionado de estaciones de vista virtual. Cada estación de vista virtual incluye programa de cómputo de visualización para interpretar y ver como se desee una escena de deportes virtual. Las estaciones de vista también controlan el punto de visualización de la vista de una cámara virtual y transfiere datos de videos a un centro de producción de video de modo que los datos de video se pueden transmitir y combinar con otras salidas de vídeo conforme se necesite. El sistema permite que un Operador seleccione una vista virtual desea del centro de control opcional y transmita las imágenes de vista virtual a una audiencia remota. Se pueden integrar subsistemas opcionales tal como un centro de control de una computadora de archivo en el sistema para alterar la posición, unión, enfoque y aumento de las cámaras, y para almacenar datos procesados para el evento deportivo y la reproducción a petición de los datos.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/094,524 US6124862A (en) | 1997-06-13 | 1998-06-12 | Method and apparatus for generating virtual views of sporting events |
PCT/US1998/027743 WO1999065223A2 (en) | 1998-06-12 | 1998-12-30 | Method and apparatus for generating virtual views of sporting events |
Publications (1)
Publication Number | Publication Date |
---|---|
MXPA00012307A true MXPA00012307A (es) | 2005-07-15 |
Family
ID=22245696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
MXPA00012307A MXPA00012307A (es) | 1998-06-12 | 1998-12-30 | Metodo y aparato para generar vistas virtuales de eventos deportivos. |
Country Status (10)
Country | Link |
---|---|
US (1) | US6124862A (es) |
EP (1) | EP1095501A2 (es) |
JP (1) | JP2002518722A (es) |
KR (1) | KR20010074508A (es) |
CN (1) | CN1322437A (es) |
AU (1) | AU1948999A (es) |
BR (1) | BR9815902A (es) |
CA (1) | CA2343743A1 (es) |
MX (1) | MXPA00012307A (es) |
WO (1) | WO1999065223A2 (es) |
Families Citing this family (184)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9719694D0 (en) | 1997-09-16 | 1997-11-19 | Canon Kk | Image processing apparatus |
EP0930585B1 (en) | 1998-01-14 | 2004-03-31 | Canon Kabushiki Kaisha | Image processing apparatus |
US7162532B2 (en) | 1998-02-23 | 2007-01-09 | Koehler Steven M | System and method for listening to teams in a race event |
JP3046578B2 (ja) * | 1998-06-11 | 2000-05-29 | 株式会社ナムコ | 画像生成装置及び情報記憶媒体 |
US6483511B1 (en) | 1998-12-31 | 2002-11-19 | Richard D. Snyder | Event simulator, and methods of constructing and utilizing same |
GB2349763B (en) * | 1999-03-05 | 2003-07-16 | Canon Kk | Apparatus for generating a database and a database so generated |
GB2349761B (en) * | 1999-03-05 | 2003-06-11 | Canon Kk | Image processing appatratus |
GB2349762B (en) * | 1999-03-05 | 2003-06-11 | Canon Kk | Image processing apparatus |
GB2349764B (en) * | 1999-03-05 | 2003-07-09 | Canon Kk | Image processing apparatus |
US7139767B1 (en) | 1999-03-05 | 2006-11-21 | Canon Kabushiki Kaisha | Image processing apparatus and database |
US6578203B1 (en) * | 1999-03-08 | 2003-06-10 | Tazwell L. Anderson, Jr. | Audio/video signal distribution system for head mounted displays |
US20020057364A1 (en) | 1999-05-28 | 2002-05-16 | Anderson Tazwell L. | Electronic handheld audio/video receiver and listening/viewing device |
US7210160B2 (en) | 1999-05-28 | 2007-04-24 | Immersion Entertainment, L.L.C. | Audio/video programming and charging system and method |
WO2001039130A1 (en) * | 1999-11-24 | 2001-05-31 | Dartfish Ltd. | Coordination and combination of video sequences with spatial and temporal normalization |
ES2165294B1 (es) * | 1999-12-24 | 2003-05-16 | Univ Catalunya Politecnica | Sistema de visualizacion y transmision de imagenes electronicas a traves de la red informatica o sistemas de almacenamiento digital. |
WO2001065854A1 (en) * | 2000-03-01 | 2001-09-07 | Innovue, Inc. | Interactive navigation through real-time live video space created in a given remote geographic location |
US7035453B2 (en) * | 2000-03-24 | 2006-04-25 | Reality Commerce Corporation | Method and apparatus for parallel multi-view point video capturing and compression |
EP1269753A2 (en) * | 2000-03-24 | 2003-01-02 | Reality Commerce Corporation | Method and system for subject video streaming |
WO2001082195A1 (en) * | 2000-04-26 | 2001-11-01 | Anivision, Inc. | Systems and methods for integrating virtual advertisements into recreated events |
US7812856B2 (en) | 2000-10-26 | 2010-10-12 | Front Row Technologies, Llc | Providing multiple perspectives of a venue activity to electronic wireless hand held devices |
US8583027B2 (en) | 2000-10-26 | 2013-11-12 | Front Row Technologies, Llc | Methods and systems for authorizing computing devices for receipt of venue-based data based on the location of a user |
US7149549B1 (en) * | 2000-10-26 | 2006-12-12 | Ortiz Luis M | Providing multiple perspectives for a venue activity through an electronic hand held device |
US7782363B2 (en) | 2000-06-27 | 2010-08-24 | Front Row Technologies, Llc | Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences |
US7796162B2 (en) | 2000-10-26 | 2010-09-14 | Front Row Technologies, Llc | Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers |
US7630721B2 (en) | 2000-06-27 | 2009-12-08 | Ortiz & Associates Consulting, Llc | Systems, methods and apparatuses for brokering data between wireless devices and data rendering devices |
KR20000064078A (ko) * | 2000-08-17 | 2000-11-06 | 오창근 | 다중 영상을 이용한 3차원 실물 모델링 기술 |
WO2002030119A1 (en) * | 2000-10-06 | 2002-04-11 | Virtual Spectator International Limited | Interactive display system |
US20060129933A1 (en) * | 2000-12-19 | 2006-06-15 | Sparkpoint Software, Inc. | System and method for multimedia authoring and playback |
KR100480007B1 (ko) * | 2000-12-29 | 2005-03-30 | 이항규 | 입체영상 제작 및 재생 시스템 및 방법 |
KR100393350B1 (ko) * | 2001-04-23 | 2003-08-02 | (주)가시오페아 | 가상경기 시스템 및 방법 |
US20020190991A1 (en) * | 2001-05-16 | 2002-12-19 | Daniel Efran | 3-D instant replay system and method |
CA2348353A1 (en) * | 2001-05-22 | 2002-11-22 | Marc Arseneau | Local broadcast system |
US20040239763A1 (en) * | 2001-06-28 | 2004-12-02 | Amir Notea | Method and apparatus for control and processing video images |
GB2382033A (en) * | 2001-07-16 | 2003-05-21 | Samantha Bhalla | A sports analysis system intended for use in a betting game |
US7173672B2 (en) * | 2001-08-10 | 2007-02-06 | Sony Corporation | System and method for transitioning between real images and virtual images |
GB2379571A (en) * | 2001-09-11 | 2003-03-12 | Eitan Feldbau | Determining the Position of Players on a Sports Field |
US7027073B2 (en) | 2001-09-24 | 2006-04-11 | International Business Machines Corporation | Virtual cameras for digital imaging |
US7283687B2 (en) | 2001-09-24 | 2007-10-16 | International Business Machines Corporation | Imaging for virtual cameras |
US20030062675A1 (en) * | 2001-09-28 | 2003-04-03 | Canon Kabushiki Kaisha | Image experiencing system and information processing method |
JP4021685B2 (ja) * | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
AU2002950805A0 (en) * | 2002-08-15 | 2002-09-12 | Momentum Technologies Group | Improvements relating to video transmission systems |
US7240075B1 (en) * | 2002-09-24 | 2007-07-03 | Exphand, Inc. | Interactive generating query related to telestrator data designating at least a portion of the still image frame and data identifying a user is generated from the user designating a selected region on the display screen, transmitting the query to the remote information system |
JP2004129049A (ja) * | 2002-10-04 | 2004-04-22 | Matsushita Electric Ind Co Ltd | カメラ装置及びカメラシステム並びにこのカメラシステムの制御方法 |
US7725073B2 (en) | 2002-10-07 | 2010-05-25 | Immersion Entertainment, Llc | System and method for providing event spectators with audio/video signals pertaining to remote events |
CA2409788A1 (en) * | 2002-10-25 | 2004-04-25 | Ibm Canada Limited-Ibm Canada Limitee | Architecture for dynamically monitoring computer application data |
US20040114176A1 (en) | 2002-12-17 | 2004-06-17 | International Business Machines Corporation | Editing and browsing images for virtual cameras |
US20040189828A1 (en) * | 2003-03-25 | 2004-09-30 | Dewees Bradley A. | Method and apparatus for enhancing a paintball video |
GB2403364A (en) * | 2003-06-24 | 2004-12-29 | Christopher Paul Casson | Virtual scene generating system |
US7593687B2 (en) | 2003-10-07 | 2009-09-22 | Immersion Entertainment, Llc | System and method for providing event spectators with audio/video signals pertaining to remote events |
US20050131659A1 (en) * | 2003-12-16 | 2005-06-16 | Mei Hsaio L.S. | Systems and methods for 3D modeling and asset management |
US20050131658A1 (en) * | 2003-12-16 | 2005-06-16 | Mei Hsaio L.S. | Systems and methods for 3D assembly venue modeling |
US20050131657A1 (en) * | 2003-12-16 | 2005-06-16 | Sean Mei Hsaio L. | Systems and methods for 3D modeling and creation of a digital asset library |
US7590290B2 (en) | 2004-07-21 | 2009-09-15 | Canon Kabushiki Kaisha | Fail safe image processing apparatus |
KR100739686B1 (ko) * | 2004-08-13 | 2007-07-13 | 경희대학교 산학협력단 | 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치 |
US7557775B2 (en) * | 2004-09-30 | 2009-07-07 | The Boeing Company | Method and apparatus for evoking perceptions of affordances in virtual environments |
EP1645944B1 (en) * | 2004-10-05 | 2012-08-15 | Sony France S.A. | A content-management interface |
JP4244040B2 (ja) * | 2005-03-10 | 2009-03-25 | 任天堂株式会社 | 入力処理プログラムおよび入力処理装置 |
ES2790885T3 (es) * | 2005-03-29 | 2020-10-29 | Sportvu Ltd | Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos |
US20060244831A1 (en) * | 2005-04-28 | 2006-11-02 | Kraft Clifford H | System and method for supplying and receiving a custom image |
JP2007005895A (ja) * | 2005-06-21 | 2007-01-11 | Olympus Imaging Corp | 撮影システム |
CN100355272C (zh) * | 2005-06-24 | 2007-12-12 | 清华大学 | 一种交互式多视点视频系统中虚拟视点的合成方法 |
CA2552062C (en) | 2005-07-22 | 2016-06-28 | 4121856 Canada Inc. | System and methods for enhancing the experience of spectators attending a live sporting event |
US8042140B2 (en) * | 2005-07-22 | 2011-10-18 | Kangaroo Media, Inc. | Buffering content on a handheld electronic device |
US7584038B2 (en) * | 2005-07-29 | 2009-09-01 | Caterpillar Inc. | Method and apparatus for determining virtual visibility |
US7907532B2 (en) | 2005-11-23 | 2011-03-15 | Jds Uniphase Corporation | Pool-based network diagnostic systems and methods |
CA2633197A1 (en) * | 2005-12-14 | 2007-06-21 | Playdata Systems, Inc. | Method and system for creating event data and making same available to be served |
EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
WO2008058335A1 (en) * | 2006-11-15 | 2008-05-22 | Depth Analysis Pty Ltd | Systems and methods for managing the production of a free-viewpoint video-based animation |
JP5101101B2 (ja) * | 2006-12-27 | 2012-12-19 | 富士フイルム株式会社 | 画像記録装置及び画像記録方法 |
EP2124444B1 (en) * | 2006-12-28 | 2013-04-03 | Sharp Kabushiki Kaisha | Transmission device, view environment control device, and view environment control system |
EP1944700A1 (en) * | 2007-01-10 | 2008-07-16 | Imagetech Co., Ltd. | Method and system for real time interactive video |
KR101439095B1 (ko) * | 2007-05-03 | 2014-09-12 | 강민수 | 멀티채널 방송 시스템 |
GB2452508A (en) * | 2007-09-05 | 2009-03-11 | Sony Corp | Generating a three-dimensional representation of a sports game |
GB2452510A (en) * | 2007-09-05 | 2009-03-11 | Sony Corp | System For Communicating A Three Dimensional Representation Of A Sporting Event |
WO2009061283A2 (en) * | 2007-11-09 | 2009-05-14 | National University Of Singapore | Human motion analysis system and method |
US8049750B2 (en) * | 2007-11-16 | 2011-11-01 | Sportvision, Inc. | Fading techniques for virtual viewpoint animations |
US8451265B2 (en) * | 2007-11-16 | 2013-05-28 | Sportvision, Inc. | Virtual viewpoint animation |
US8073190B2 (en) * | 2007-11-16 | 2011-12-06 | Sportvision, Inc. | 3D textured objects for virtual viewpoint animations |
US9782660B2 (en) | 2007-11-30 | 2017-10-10 | Nike, Inc. | Athletic training system and method |
CN100589125C (zh) * | 2007-12-29 | 2010-02-10 | 中国科学院计算技术研究所 | 一种虚拟摄像机规划布局方法和系统 |
WO2009126694A2 (en) * | 2008-04-09 | 2009-10-15 | Bastian Geannie M | System and method for facilitating performance venue seat selection |
JP5731734B2 (ja) * | 2008-06-12 | 2015-06-10 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
US8047924B2 (en) * | 2008-10-27 | 2011-11-01 | Roland Tirelli | Riding simulation system |
US8246479B2 (en) | 2008-10-27 | 2012-08-21 | Roland Tirelli | Mechanical device for simulating an animal ride |
CN101753852A (zh) * | 2008-12-15 | 2010-06-23 | 姚劲草 | 基于目标检测与跟踪的体育比赛动态微型地图 |
CN101465957B (zh) * | 2008-12-30 | 2011-01-26 | 应旭峰 | 一种虚拟三维场景中实现遥控互动的系统 |
DE102009007639B4 (de) * | 2009-02-05 | 2011-05-26 | Kurt Wallerstorfer | Vorrichtung zur Bildaufzeichnung eines Sportlers auf einer Rennstrecke |
WO2011066408A1 (en) * | 2009-11-24 | 2011-06-03 | F3M3 Companies, Inc. | System and method for reviewing a play |
US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
US8181123B2 (en) | 2009-05-01 | 2012-05-15 | Microsoft Corporation | Managing virtual port associations to users in a gesture-based computing environment |
US9015638B2 (en) * | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
US20120188333A1 (en) * | 2009-05-27 | 2012-07-26 | The Ohio State University | Spherical view point controller and method for navigating a network of sensors |
US20100311512A1 (en) * | 2009-06-04 | 2010-12-09 | Timothy James Lock | Simulator with enhanced depth perception |
CN101930284B (zh) | 2009-06-23 | 2014-04-09 | 腾讯科技(深圳)有限公司 | 一种实现视频和虚拟网络场景交互的方法、装置和系统 |
US8254755B2 (en) * | 2009-08-27 | 2012-08-28 | Seiko Epson Corporation | Method and apparatus for displaying 3D multi-viewpoint camera video over a network |
DE202009014231U1 (de) * | 2009-10-21 | 2010-01-07 | Robotics Technology Leaders Gmbh | System zur Visualisierung einer Kameralage in einem virtuellen Aufnahmestudio |
CN102118568B (zh) * | 2009-12-30 | 2015-02-18 | 新奥特(北京)视频技术有限公司 | 一种用于体育比赛的图形生成系统 |
CN102118567B (zh) * | 2009-12-30 | 2015-06-17 | 新奥特(北京)视频技术有限公司 | 一种分离模式的虚拟体育系统 |
CN102118574B (zh) * | 2009-12-30 | 2015-02-18 | 新奥特(北京)视频技术有限公司 | 一种体育赛事直播的方法 |
CN102201080A (zh) * | 2010-03-24 | 2011-09-28 | 新奥特(北京)视频技术有限公司 | 一种支持多种体育项目的竞赛管理系统 |
US8694553B2 (en) | 2010-06-07 | 2014-04-08 | Gary Stephen Shuster | Creation and use of virtual places |
US9132352B1 (en) * | 2010-06-24 | 2015-09-15 | Gregory S. Rabin | Interactive system and method for rendering an object |
US9384587B2 (en) * | 2010-11-29 | 2016-07-05 | Verizon Patent And Licensing Inc. | Virtual event viewing |
CN102096469B (zh) * | 2011-01-21 | 2012-04-18 | 中科芯集成电路股份有限公司 | 一种多功能手势互动系统 |
EP2680931A4 (en) | 2011-03-04 | 2015-12-02 | Eski Inc | DEVICES AND METHOD FOR PROVIDING A DISTRIBUTED TREATMENT IN A SURROUNDINGS |
WO2013024364A2 (en) * | 2011-08-17 | 2013-02-21 | Iopener Media Gmbh | Systems and methods for virtual viewing of physical events |
US9298986B2 (en) | 2011-12-09 | 2016-03-29 | Gameonstream Inc. | Systems and methods for video processing |
US10937239B2 (en) * | 2012-02-23 | 2021-03-02 | Charles D. Huston | System and method for creating an environment and for sharing an event |
US9947112B2 (en) | 2012-12-18 | 2018-04-17 | Koninklijke Philips N.V. | Scanning device and method for positioning a scanning device |
GB2512621A (en) * | 2013-04-04 | 2014-10-08 | Sony Corp | A method and apparatus |
US20150189191A1 (en) * | 2013-12-27 | 2015-07-02 | Telemetrio LLC | Process and system for video production and tracking of objects |
US9541610B2 (en) | 2015-02-04 | 2017-01-10 | Lockheed Martin Corporation | Apparatus and method for recovery of three dimensional magnetic field from a magnetic detection system |
US9910104B2 (en) | 2015-01-23 | 2018-03-06 | Lockheed Martin Corporation | DNV magnetic field detector |
US9910105B2 (en) | 2014-03-20 | 2018-03-06 | Lockheed Martin Corporation | DNV magnetic field detector |
US10168393B2 (en) | 2014-09-25 | 2019-01-01 | Lockheed Martin Corporation | Micro-vacancy center device |
US10088452B2 (en) | 2016-01-12 | 2018-10-02 | Lockheed Martin Corporation | Method for detecting defects in conductive materials based on differences in magnetic field characteristics measured along the conductive materials |
US9590601B2 (en) | 2014-04-07 | 2017-03-07 | Lockheed Martin Corporation | Energy efficient controlled magnetic field generator circuit |
US9853837B2 (en) | 2014-04-07 | 2017-12-26 | Lockheed Martin Corporation | High bit-rate magnetic communication |
US9638821B2 (en) | 2014-03-20 | 2017-05-02 | Lockheed Martin Corporation | Mapping and monitoring of hydraulic fractures using vector magnetometers |
US10241158B2 (en) | 2015-02-04 | 2019-03-26 | Lockheed Martin Corporation | Apparatus and method for estimating absolute axes' orientations for a magnetic detection system |
US10520558B2 (en) | 2016-01-21 | 2019-12-31 | Lockheed Martin Corporation | Diamond nitrogen vacancy sensor with nitrogen-vacancy center diamond located between dual RF sources |
US9614589B1 (en) | 2015-12-01 | 2017-04-04 | Lockheed Martin Corporation | Communication via a magnio |
US10006973B2 (en) | 2016-01-21 | 2018-06-26 | Lockheed Martin Corporation | Magnetometer with a light emitting diode |
US10120039B2 (en) | 2015-11-20 | 2018-11-06 | Lockheed Martin Corporation | Apparatus and method for closed loop processing for a magnetic detection system |
AU2015330646A1 (en) | 2014-10-10 | 2017-06-01 | Livebarn Inc. | System and method for optical player tracking in sports venues |
EP3790284A1 (en) * | 2014-10-22 | 2021-03-10 | Huawei Technologies Co., Ltd. | Interactive video generation |
WO2016118756A1 (en) | 2015-01-23 | 2016-07-28 | Lockheed Martin Corporation | Apparatus and method for high sensitivity magnetometry measurement and signal processing in a magnetic detection system |
CA2975103A1 (en) | 2015-01-28 | 2016-08-04 | Stephen M. SEKELSKY | In-situ power charging |
WO2016190909A2 (en) | 2015-01-28 | 2016-12-01 | Lockheed Martin Corporation | Magnetic navigation methods and systems utilizing power grid and communication network |
WO2017007513A1 (en) * | 2015-07-08 | 2017-01-12 | Lockheed Martin Corporation | General purpose removal of geomagnetic noise |
CN108141903A (zh) | 2015-08-05 | 2018-06-08 | 爱奇 | 用于与接收单元通信的方法和装置 |
US9813857B2 (en) | 2015-08-13 | 2017-11-07 | Eski Inc. | Methods and apparatus for creating an individualized record of an event |
JP2018529958A (ja) * | 2015-09-24 | 2018-10-11 | ロケーター アイピー,エルピー | ハイパーローカルの気象/環境データ |
US10419788B2 (en) * | 2015-09-30 | 2019-09-17 | Nathan Dhilan Arimilli | Creation of virtual cameras for viewing real-time events |
US10116976B2 (en) | 2015-10-15 | 2018-10-30 | At&T Intellectual Property I, L.P. | System and method for distributing media content associated with an event |
EP3371614A1 (en) | 2015-11-04 | 2018-09-12 | Lockheed Martin Corporation | Magnetic band-pass filter |
WO2017087014A1 (en) | 2015-11-20 | 2017-05-26 | Lockheed Martin Corporation | Apparatus and method for hypersensitivity detection of magnetic field |
CN105407259B (zh) * | 2015-11-26 | 2019-07-30 | 北京理工大学 | 虚拟摄像方法 |
US9782678B2 (en) | 2015-12-06 | 2017-10-10 | Sliver VR Technologies, Inc. | Methods and systems for computer video game streaming, highlight, and replay |
US9573062B1 (en) | 2015-12-06 | 2017-02-21 | Silver VR Technologies, Inc. | Methods and systems for virtual reality streaming and replay of computer video games |
JP6674247B2 (ja) * | 2015-12-14 | 2020-04-01 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびコンピュータプログラム |
WO2017127090A1 (en) | 2016-01-21 | 2017-07-27 | Lockheed Martin Corporation | Higher magnetic sensitivity through fluorescence manipulation by phonon spectrum control |
WO2017127081A1 (en) | 2016-01-21 | 2017-07-27 | Lockheed Martin Corporation | Diamond nitrogen vacancy sensor with circuitry on diamond |
WO2017127079A1 (en) | 2016-01-21 | 2017-07-27 | Lockheed Martin Corporation | Ac vector magnetic anomaly detection with diamond nitrogen vacancies |
WO2017127098A1 (en) | 2016-01-21 | 2017-07-27 | Lockheed Martin Corporation | Diamond nitrogen vacancy sensed ferro-fluid hydrophone |
GB2562193B (en) | 2016-01-21 | 2021-12-22 | Lockheed Corp | Diamond nitrogen vacancy sensor with common RF and magnetic fields generator |
WO2017127094A1 (en) | 2016-01-21 | 2017-07-27 | Lockheed Martin Corporation | Magnetometer with light pipe |
US9788152B1 (en) | 2016-04-01 | 2017-10-10 | Eski Inc. | Proximity-based configuration of a device |
JP6672075B2 (ja) * | 2016-05-25 | 2020-03-25 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
JP6429829B2 (ja) * | 2016-05-25 | 2018-11-28 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
US10228429B2 (en) | 2017-03-24 | 2019-03-12 | Lockheed Martin Corporation | Apparatus and method for resonance magneto-optical defect center material pulsed mode referencing |
US10359479B2 (en) | 2017-02-20 | 2019-07-23 | Lockheed Martin Corporation | Efficient thermal drift compensation in DNV vector magnetometry |
US10274550B2 (en) | 2017-03-24 | 2019-04-30 | Lockheed Martin Corporation | High speed sequential cancellation for pulsed mode |
US10338163B2 (en) | 2016-07-11 | 2019-07-02 | Lockheed Martin Corporation | Multi-frequency excitation schemes for high sensitivity magnetometry measurement with drift error compensation |
US10408890B2 (en) | 2017-03-24 | 2019-09-10 | Lockheed Martin Corporation | Pulsed RF methods for optimization of CW measurements |
US10317279B2 (en) | 2016-05-31 | 2019-06-11 | Lockheed Martin Corporation | Optical filtration system for diamond material with nitrogen vacancy centers |
US10345395B2 (en) | 2016-12-12 | 2019-07-09 | Lockheed Martin Corporation | Vector magnetometry localization of subsurface liquids |
US20170343621A1 (en) | 2016-05-31 | 2017-11-30 | Lockheed Martin Corporation | Magneto-optical defect center magnetometer |
US10527746B2 (en) | 2016-05-31 | 2020-01-07 | Lockheed Martin Corporation | Array of UAVS with magnetometers |
US10571530B2 (en) | 2016-05-31 | 2020-02-25 | Lockheed Martin Corporation | Buoy array of magnetometers |
US10281550B2 (en) | 2016-11-14 | 2019-05-07 | Lockheed Martin Corporation | Spin relaxometry based molecular sequencing |
US10677953B2 (en) | 2016-05-31 | 2020-06-09 | Lockheed Martin Corporation | Magneto-optical detecting apparatus and methods |
US10371765B2 (en) | 2016-07-11 | 2019-08-06 | Lockheed Martin Corporation | Geolocation of magnetic sources using vector magnetometer sensors |
US10330744B2 (en) | 2017-03-24 | 2019-06-25 | Lockheed Martin Corporation | Magnetometer with a waveguide |
US10145910B2 (en) | 2017-03-24 | 2018-12-04 | Lockheed Martin Corporation | Photodetector circuit saturation mitigation for magneto-optical high intensity pulses |
US10345396B2 (en) | 2016-05-31 | 2019-07-09 | Lockheed Martin Corporation | Selected volume continuous illumination magnetometer |
CN105872387A (zh) * | 2016-06-06 | 2016-08-17 | 杭州同步科技有限公司 | 一种虚拟摄像机与真实摄像机切换的系统和方法 |
FR3052949B1 (fr) * | 2016-06-17 | 2019-11-08 | Alexandre Courtes | Procede et systeme de prise de vues a l'aide d'un capteur virtuel |
US10762446B2 (en) | 2016-08-02 | 2020-09-01 | Ebay Inc. | Access control for a digital event |
JP6917820B2 (ja) * | 2016-08-05 | 2021-08-11 | 株式会社半導体エネルギー研究所 | データ処理システム |
JP6938123B2 (ja) * | 2016-09-01 | 2021-09-22 | キヤノン株式会社 | 表示制御装置、表示制御方法及びプログラム |
WO2018045446A1 (en) | 2016-09-07 | 2018-03-15 | Eski Inc. | Projection systems for distributed manifestation and related methods |
JP6894687B2 (ja) * | 2016-10-11 | 2021-06-30 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
US10389935B2 (en) | 2016-12-13 | 2019-08-20 | Canon Kabushiki Kaisha | Method, system and apparatus for configuring a virtual camera |
US9972122B1 (en) | 2016-12-20 | 2018-05-15 | Canon Kabushiki Kaisha | Method and system for rendering an object in a virtual view |
US10379174B2 (en) | 2017-03-24 | 2019-08-13 | Lockheed Martin Corporation | Bias magnet array for magnetometer |
US10338164B2 (en) | 2017-03-24 | 2019-07-02 | Lockheed Martin Corporation | Vacancy center material with highly efficient RF excitation |
US10371760B2 (en) | 2017-03-24 | 2019-08-06 | Lockheed Martin Corporation | Standing-wave radio frequency exciter |
US10459041B2 (en) | 2017-03-24 | 2019-10-29 | Lockheed Martin Corporation | Magnetic detection system with highly integrated diamond nitrogen vacancy sensor |
WO2018190327A1 (ja) * | 2017-04-11 | 2018-10-18 | 株式会社バスキュール | 仮想現実提供システム、3次元表示データ提供装置、仮想空間提供システム及びプログラム |
EP3654294A4 (en) * | 2017-07-14 | 2020-06-03 | Sony Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD FOR IMAGE PROCESSING DEVICE, AND PROGRAM |
CN112153472A (zh) * | 2020-09-27 | 2020-12-29 | 广州博冠信息科技有限公司 | 一种画面特效的生成方法及装置、存储介质及电子设备 |
US11573795B1 (en) * | 2021-08-02 | 2023-02-07 | Nvidia Corporation | Using a vector processor to configure a direct memory access system for feature tracking operations in a system on a chip |
US11606221B1 (en) | 2021-12-13 | 2023-03-14 | International Business Machines Corporation | Event experience representation using tensile spheres |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3217098A (en) * | 1962-08-29 | 1965-11-09 | Robert A Oswald | Method of policing horse races |
US4754342A (en) * | 1986-04-11 | 1988-06-28 | Cmx Corporation | Video editing system having virtual memory |
US5742760A (en) * | 1992-05-12 | 1998-04-21 | Compaq Computer Corporation | Network packet switch using shared memory for repeating and bridging packets at media rate |
US5363297A (en) * | 1992-06-05 | 1994-11-08 | Larson Noble G | Automated camera-based tracking system for sports contests |
US5513854A (en) * | 1993-04-19 | 1996-05-07 | Daver; Gil J. G. | System used for real time acquistion of data pertaining to persons in motion |
US5499146A (en) * | 1994-05-24 | 1996-03-12 | Texas Instruments Incorporated | Method and apparatus for recording images for a virtual reality system |
US5734805A (en) * | 1994-06-17 | 1998-03-31 | International Business Machines Corporation | Apparatus and method for controlling navigation in 3-D space |
US5598208A (en) * | 1994-09-26 | 1997-01-28 | Sony Corporation | Video viewing and recording system |
US5600368A (en) * | 1994-11-09 | 1997-02-04 | Microsoft Corporation | Interactive television system and method for viewer control of multiple camera viewpoints in broadcast programming |
US5564698A (en) * | 1995-06-30 | 1996-10-15 | Fox Sports Productions, Inc. | Electromagnetic transmitting hockey puck |
-
1998
- 1998-06-12 US US09/094,524 patent/US6124862A/en not_active Expired - Fee Related
- 1998-12-30 WO PCT/US1998/027743 patent/WO1999065223A2/en active IP Right Grant
- 1998-12-30 CN CN98814111A patent/CN1322437A/zh active Pending
- 1998-12-30 AU AU19489/99A patent/AU1948999A/en not_active Abandoned
- 1998-12-30 KR KR1020007014117A patent/KR20010074508A/ko active IP Right Grant
- 1998-12-30 EP EP98964326A patent/EP1095501A2/en not_active Withdrawn
- 1998-12-30 MX MXPA00012307A patent/MXPA00012307A/es unknown
- 1998-12-30 BR BR9815902-0A patent/BR9815902A/pt not_active Application Discontinuation
- 1998-12-30 JP JP2000554124A patent/JP2002518722A/ja active Pending
- 1998-12-30 CA CA002343743A patent/CA2343743A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP1095501A2 (en) | 2001-05-02 |
WO1999065223A2 (en) | 1999-12-16 |
US6124862A (en) | 2000-09-26 |
BR9815902A (pt) | 2001-02-20 |
WO1999065223A3 (en) | 2000-04-06 |
AU1948999A (en) | 1999-12-30 |
KR20010074508A (ko) | 2001-08-04 |
CA2343743A1 (en) | 1999-12-16 |
JP2002518722A (ja) | 2002-06-25 |
CN1322437A (zh) | 2001-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
MXPA00012307A (es) | Metodo y aparato para generar vistas virtuales de eventos deportivos. | |
US11880932B2 (en) | Systems and associated methods for creating a viewing experience | |
US10789764B2 (en) | Systems and associated methods for creating a viewing experience | |
US10582191B1 (en) | Dynamic angle viewing system | |
US7796155B1 (en) | Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events | |
US20170193710A1 (en) | System and method for generating a mixed reality environment | |
CN107315470B (zh) | 图形处理方法、处理器和虚拟现实系统 | |
US20230008567A1 (en) | Real-time system for generating 4d spatio-temporal model of a real world environment | |
TWI786700B (zh) | 利用第二螢幕裝置掃描3d物件以插入虛擬環境中 | |
US20070198939A1 (en) | System and method for the production of presentation content depicting a real world event | |
US20110102460A1 (en) | Platform for widespread augmented reality and 3d mapping | |
WO1998046029A1 (en) | Graphical video systems | |
CN108629830A (zh) | 一种三维环境信息显示方法及设备 | |
KR20090110357A (ko) | 비디오 스트림 내에서 마커 없는 직조된 기하학적 평면 개체의 실시간 자동 추적을 사용하는 증대된 현실성 방법 및 장치 | |
CN101115168A (zh) | 产生虚拟图像和真实图像的合成图像 | |
CN111862348A (zh) | 视频显示方法、视频生成方法、装置、设备及存储介质 | |
EP0847201B1 (fr) | Système de suivi de mobiles en temps réel sur un terrain de sports | |
Kim et al. | Human motion reconstruction from sparse 3D motion sensors using kernel CCA‐based regression | |
WO2017145552A1 (ja) | プログラム及びアイウエア | |
JP7387286B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20230206529A1 (en) | Generation method for a steerable realistic image contents and motion simulation system thereof | |
CN206433094U (zh) | 博物馆展陈用远程vr影像数据演示系统 | |
CN110928403A (zh) | 相机模块及其相关系统 | |
JP2009519539A (ja) | イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム | |
WO2001082195A1 (en) | Systems and methods for integrating virtual advertisements into recreated events |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GB | Transfer or rights |