MXPA97010191A - Sistema y metodo para insertar imagenes estaticasy dinamicas en una transmision devideo en vivo - Google Patents

Abstract

La presente invención se refiere a un método para colocar una imagen, que se puede insertar, en una escena de transmisión de video"en vivo", que contiene límites naturales, el método estácaracterizado porque comprende los pasos de:a. la creación de un modelo de límites o marcas característicos de un primer grupo de límites o marcas naturales en una escena dada, el modelo de límites comprende una relación geométrica, precisa de subpixeles, entre los límites;b. la superposición de un sistema de coordenadas sobre el modelo de límites, capaz de registrar cada posición de límite a un nivel de subpixeles de precisión, con lo cual se crea un arreglo de referencia de las posiciones de los límites;c. la definición de un sitio requerido de la imagen insertable, con respecto al arreglo de referencia;d. la exploración de la escena con una cámara de video para crear una imagen actual;e. la identificación de un segundo grupo de límites naturales en la imagen actual, correspondiente a un subgrupo del primer grupo original de los límites naturales, mediante el uso del modelo de límites;f. la comparación de la posición de subpixel de los límites correspondientes múltiples a partir del segundo grupo de límites naturales localizados en la imagen actual, con su localización en el arreglo de referencia, como se define por el modelo de límites y utilizando esa comparación para calcular el acercamiento rápido y la traslación de la escena actual con respecto al arreglo de referencia de límites;y la inserción de la imagen que se puede insertar, dentro de la escena actual del video en vivo difundido en un sitio en la imagen actual, correspondiente al sitio requerido definido, con precisión de subpixeles, en donde la imagen que se puede insertar parece natural en dicha difusión de video en vivo.

Description

SISTEMA Y MÉTODO PARA INSERTAR IMÁGENES ESTÁTICAS Y DINÁMICAS EN UNA TRANSMISIÓN DE VIDEO "EN VIVO" CAMPO DE LA INVENCIÓN la presente invención se refiere a un sistema y método que facilitan la inserción de imágenes estáticas y dinámicas, y otras señales, en imágenes de video de transmisiones "en vivo", en una base de tiempo real, de tal forma que parezcan ser parte de la transmisión original.

ANTECEDENTES DE LA INVENCIÓN La presente invención representa una mejora significativa sobre varias aproximaciones de la técnica anterior, al problema de insertar imágenes en una transmisión de video "en vivo". En particular, las técnicas anteriores sufren de la incapacidad para detectar y seguir, rápidamente, limites, e insertar una imagen dinámica o estática, en una transmisión de video "en vivo", en una manera realista. Además, muchas técnicas anteriores son computacionalmente intensas y requieren de sistemas de computadora, REF.: 26535 molestos y complicados, para lograr sus metas. Una aproximación inicial a la inserción en video, se describe en la Patente Norteamericana No. 4,539,585, titulada "PREVISOR" y expedida el 3 de Septiembre de 1985 a Spackova, et al. de conformidad con esa descripción, se colocan, sobre un individuo, limites artificiales, en la forma de triángulos. Al recubrir los limites artificiales con los puntos correspondientes de una imagen que se puede insertar, es posible sobreponer una variedad de diferentes insertos, en el campo visual. Por ejemplo, es posible usar los limites artificiales, en forma de triángulos, para colocar virtualmente una variedad de diferentes articulos de ropa sobre un modelo humano, presumiblemente un presunto cliente, de tal forma que él o ella pueda ver previamente la forma en que se verla usando ese articulo de ropa particular. Aunque el uso de limites artificiales puede ser aceptable en ciertos contextos, no funciona bien en donde la escena de fondo podria ser un gran estadio deportivo o similar, debido a que deberían ser grandes para ser vistos y por lo tanto, son problemáticos de instalar y pueden parecer extraños en el contexto de un evento deportivo . Otra aproximación al mismo problema es colocar sensores X e Y en una cámara. A medida que la cámara gira a través de una escena, los sensores X e Y siguen la posición y movimiento de la cámara. Estas técnica tiene un éxito limitado en locales relativamente pequeños, pero si el campo visual es un estadio deportivo o similar, el error inherente, 'vibración' en los sensores X e Y produce un error notable e inaceptable, en la colocación de la imagen insertada Esta "vibración' se obj eta particularmente durante el procesamiento de oclusión. La Patente Norteamericana No. 4,084,184 expedida a David . Crain el 4/11/78 presenta una temprana aproximación para usar datos obtenidos por sensores colocados en o cerca de una cámara para auxiliar en el seguimiento de imágenes dentro de una escena. En la patente de Crain, se usan medios sensores tales como compases giroscópicos , potenciómetros, instrumentos inerciales de navegación, e inclinómetros , para generar información concerniente a los ángulos de inclinación de la cámara, ángulos de abertura y similares. Entre otras partes, en los Resúmenes de Patentes de Japón, "Picture Synthetizer", Vol. 15, No. 8 (E-1042) del 8 de Marzo de 1991, y en la JP-A-02 306782 (Asutoro Design K.K.) del 20 de Diciembre de 1990, también se ha descrito, el uso de codificadores X e Y en el contexto de un sistema de inserción de video. También se cree que el uso de sensores X e Y se ha sido utilizado previamente en Europa para auxiliar en la colocación de insertos en transmisiones de video "en vivo" . Más recientemente se han hecho esfuerzos para sacar ventaja de técnicas de reconocimiento de patrones, para identificar limites que se presentan naturalmente, dentro de un área objetivo de inserto. Uno de los esfuerzos iniciales para sacar ventaja de técnicas mejoradas de reconocimiento de patrones, para identificar limites naturales sobre el borde o cerca de un área objetivo de inserto, se describe en la Patente Norteamericana No. 5,264,933, titulada "PRESENTACIONES DE TELEVISIÓN QUE TIENEN SEÑALES INSERTADAS, SELECCIONADAS" expedida el 23 de Noviembre de 1993 y expedida al Rosser et al. La Patente Norteamericana No. 5,264,933 se basó, en parte, en la Solicitud de Patente Británica con Número de Serie 9102995.5 presentada el 13 de Febrero de 1991, la cual estaba basada en una Solicitud de Patente Provisional, Británica, anterior, presentada el 14 de Febrero de 1990, la cual estaba además relacionada con la Solicitud de Patente Británica con No. de Serie 9019770.8 presentada el 10 de Septiembre de 1990 por Roy J. Rosser. La Patente Norteamericana No. 5,264,933 discute con detalle un método para colocar un logotipo u otras señales, por ejemplo, en una cancha de tenis durante una transmisión "en vivo". En la Patente Norteamericana No. 5,264,933, se preselecciona una zona objetivo para recibir imágenes que se pueden insertar, en la imagen de la transmisión. La zona objetivo está relacionada espacialmente con ciertos limites que representan características distinguibles de la escena de fondo que está siendo capturada por la cámara. El sistema siempre busca limites en la zona objetivo pero la patente también describe el hecho de que también se pueden emplear limites que se encuentren fuera de. la zona objetivo. Los limites identificados por el procesador durante la transmisión se comparan contra un conjunto de referencia de limites, identificado en una imagen de referencia. Cuando ha ocurrido una verificación suficiente, el operador inserta una imagen en la zona objetivo preseleccionada, de la imagen de la transmisión. Por ejemplo, en un juego de fútbol la zona objetivo podria ser el espacio entre los postes verticales de una portería. 0, en un juego de béisbol, la zona objetivo podria ser una porción de la pared que está detrás de la base meta. Una descripción relativamente exhaustiva de la técnica anterior, hasta aquélla fecha, se establece en la Patente Norteamericana No. 5,264,933 y en las referencias citadas en la misma. Algunas de las referencias de patente más relevantes, citadas en la patente precedente incluyen las Patentes Norteamericanas No. 3,731,188; 4,442,454; 4,447,886; 4,523,230; 4, 692, 806 y 4, 698, 843. Rosser, et al, Patente Norteamericana No. 5,264,933, describe, entre otras cosas, cómo los limites de una cancha de tenis pueden ser identificados y usados como limites, para el propósito de insertar un logotipo comercial en una transmisión "en vivo". Los limites son identificados mediante una "Pirámide de Burt". La técnica de la Pirámide de Burt se discute en un número de patentes, tales como las Patentes Norteamericanas No. 4,385,322; 4,674,125; 4,692,806; 4,703,514 y 5,063,603, asi como en publicaciones tales como "Algoritmos Rápidos para Estimar Propiedades de Imágenes Locales", por Peter J. Burt, Computer Vision, Graphics and Imaging Processing, 21 pp . 368-382, 1983, y "Extracción Basada en Pirámide, de Características de Imágenes Locales con Aplicación al Análisis de Movimiento y Textura" por Peter J. Burt, SPIE, Vol. 360, pp . 114-124. Ver también "Sistemas Piramidales para Visión por Computadora", V. Cantoni y S. Levialdi, NATO ASI Series F, Vol. 25, Spr inger-Verlag , 1986, "Procesamiento y Análisis de Imágenes con Resolución Múltiple", A. Rosenfeld, editor, Springer-Verlag 1984, y "Seguimiento de Objetos con una Cámara Móvil: Una Aplicación del Análisis Dinámico" por P.J. Burt, et al., "Procedimientos del Taller en Movimiento Visual", Irvine, California, Marzo 20-22, 1989. La técnica de la Pirámide de Burt descrita anteriormente y conocida en la técnica anterior involucra la reducción de una imagen en versiones diezmadas, de baja resolución, que permiten la rápida ubicación e identificación de características prominentes, a las cuales generalmente se hace referencia como limites. La Pirámide de Burt es una de varias técnicas previas, bien conocidas, que pueden ser empleadas para identificar características de limites, en una imagen, para el propósito de reemplazar una porción de la imagen con un inserto, en el contexto de una transmisión de video "en vivo". Luquet et al, Patente Norteamericana No. 5,353,392, describe un sistema que está limitado a modificar la misma zona, a la cual se hace referencia como zona objetivo, en imágenes sucesivas. Asi, limitando la operación de inserción a un área objetivo, Luquet, en la Patente Norteamericana No. 5,353,392, apenas mencionada, sufre de algunas de las mismas desventajas que Rosser, de la Patente Norteamericana No. 5,264,933 mencionada anteriormente, a decir que la imagen insertada está atada a una ubicación fija, o zona objetivo, dentro de la imagen global. La presente invención, como se discute en la "Descripción detallada de la Modalidad Preferida", posteriormente en esta descripción, es capaz de insertar una imagen, virtualmente en cualquier parte, dentro de la escena de transmisión global, independientemente de la identificación de una zona de inserción u objetivo, especifica. Asi, el concepto básico para muchas invenciones recientes de la técnica anterior, tal como se establece en las Patentes Norteamericanas No. 5,264,933 y 5,353,392 descrita anteriormente, es para reemplazar una región preseleccionada de la imagen en curso o un aviso o zona objetivo, existente, en la imagen en curso. La Patente Norteamericana No. 5,197,252, titulada "SISTEMA DE PROCESAMIENTO DE VIDEO' expedida el 21 de Abril de 1995 nombrando como inventores a Michael J. Traynar e Ian McNiel, y asignada a Quantel Limited, Newbury, Reino Unido, es similar a éstas aproximaciones de la técnica anterior, en que los bordes del área de inserción misma, se identifican específicamente con un estilo y por lo tanto están fijas en la escena. Otro sistema que está dirigido principalmente a la identificación de al menos algunos limites dentro de un área de inserción designada, se describe en la Solicitud PCT, PCT/US92/07498 titulada "ACUMULACIÓN DE VIDEO EMPLEANDO LA INSERCIÓN CLAVE DE PATRONES" que reclama una prioridad norteamericana con fecha 18 de Septiembre de 1991, y con fecha de presentación internacional de 10 de Septiembre de 1992 y que lista como inventores a Keith James Hanna y Peter Jeffrey Burt. La corrección del cambio rápido de plano, y el procesamiento de oclusión se discuten en la solicitud PCT, PCT/US94/ 11527 asignada a ORAD, Inc. De acuerdo con ese sistema se colocan sensores en la periferia de los lentes, para el cambio rápido de plano, de la cámara. Los sensores detectan mecánicamente la rotación de los lentes para cambio rápido de plano, y calculan un factor de cambio rápido de plano, correspondiente. El factor de cambio rápido de plano se alimenta luego a un sistema computarizado, para corregir el tamaño del iserto deseado. Los sistemas de este tipo sufren de desventajas mecánicas tales como de la vibración la cual puede introducir un factor de error que vuelve al tamaño de una imagen que se puede insertar, inaceptablemente variable. La presente invención supera esas desventajas mecánicas, determinando las posiciones cambiadas de los limites, dentro de la imagen en curso, y aplicando automáticamente un factor de cambio rápido de plano, correspondiente, a la imagen que se puede insertar. La presente invención se basa en posiciones de limites, dentro de la imagen en curso, y no en factores externos al movimiento o vibración. Asi, cualquier movimiento súbito y no deseado, de la cámara, o movimiento del lente, no afectará los cálculos para el ajuste del cambio rápido de plano. Otras patentes de posible relevancia para lo precedente podrian incluir las siguientes: 4,528,589; 4,792,972; 4,817,175; 5,099,319; 5,142,576; 5,233,423; 5,309,174; 5,436,672; y PCT/GB90/ 00925. Aunque la patente No. 5,264,933, mencionada anteriormente describe la inserción de imágenes de video en la ubicación del inserto, la técnica anterior mencionada anteriormente, se dirige en general a la inserción de una imagen estática, es decir, una imagen no móvil, en una transmisión de video. Por lo tanto, al ser capaz de identificar los limites de una inserción particular, u "objetivo", el área puede ser importante. La situación se hace mucho más difícil si se desea colocar una imagen estática en algún lugar diferente a la "zona objetivo" o para insertar una imagen dinámica, es decir, una que puede moverse, en una escena de video "en vivo". La imagen que se puede insertar puede ser dinámica, ya sea en el sentido de que la imagen se mueva a través de la escena o que la imagen misma cambie de cuadro a cuadro, o ambas. Imagínese, por ejemplo, las dificultades de sobreponer un conejo, tocando un tambor, que se mueve simultáneamente a través del campo visual, en una transmisión de video "en vivo". Hasta donde se entiende, ninguna de las técnicas anteriores, descritas anteriormente, puede resolver, en forma eficiente y satisfactoria, el problema de insertar imágenes estáticas y/o dinámicas, en una escena de video "en vivo", en una manera tan realista como la presente invención.

BREVE DESCRIPCIÓN DE LA INVENCIÓN Descrita en forma breve, la invención comprende un sistema y método para insertar imágenes estáticas y dinámicas, en una transmisión de video "en vivo", en una forma realista, en una base de tiempo real. Inicialmente, el operador del sistema selecciona ciertos limites, naturales, en una escena, que son adecuados para la detección y seguimiento, subsecuentes. Alternativamente, se pueden seleccionar limites mediante el sistema electrónico, aprobado luego por el operador o no. Es importante que los limites naturales sobrevivan el diezmado, es decir que permanezcan reconocibles, durante el paso de reconocimiento que puede ser el análisis por Pirámide de Burt. Los limites preferentemente comprenden características veticales, horizontales, diagonales o de esquinas, agudas, marcadas y claras, dentro de la escena visible, para la cámara de video, a medida que gira y realiza cambios rápidos de plano. Típicamente, se seleccionan al menos tres o más limites naturales. Se entiende que los limites están distribuidos a lo largo de toda la escena, tal como un campo de béisbol o un estadio de fútbol, y que el campo visual de la cámara, en cualquier instante, es normalmente significativamente más pequeño que toda la escena que puede ser captada con el giro de la cámara. Los limites comúnmente están ubicados fuera del punto o área de destino en donde se colocará el inserto, debido a que el área de inserto es típicamente demasiado pequeña para incluir numerosos limites identif icables , y la imagen que se puede insertar puede ser una imagen dinámica y por lo tanto, no tiene un destino meta, único y estacionario. El sistema modela los limites naturales, reconocibles, sobre una red bidimensional, deformable. Dentro de la escena se elige un limite que no es parte de los limites anteriores. El limite se asocia matemáticamente con los limites naturales y se usa subsecuentemente para ubicar el área de inserción. En el caso de inserciones estáticas, un punto sobre el inserto ubicado, por ejemplo, ya sea en la esquina inferior izquierda o en la esquina superior derecha, del inserto, tal como es el caso en donde el inserto pueda estar en la forma de un cuadrado o un rectángulo, se puede alinear con el punto de referencia. Alternativamente, el inserto puede estar alineado a cualquier distancia fija del punto de referencia. Si el inserto es dinámico, entonces el punto se usa como un origen para dirigir la imagen dinámica a través del campo visual. En ese caso, la ubicación de la imagen dinámica cambia de cuadro a cuadro, a medida que la distancia de la imagen dinámica cambia, en forma creciente y gradual, con respecto al punto de referencia. En el caso de una imagen, ya sea fija o dinámica, es muy posible que el punto de referencia esté ubicado fuera del campo visual de la cámara. En efecto, el punto de referencia puede ser cualquier punto que se encuentre sobre la red, incluyendo el origen. Antes del proceso de inserción de video "en vivo", el operador del sistema prepara la ilustración artística de la imagen que se va a insertar y la ajusta respecto a la perspectiva, es decir, la forma. Debido a que el sistema conoce la relación matemática entre los limites en la escena, puede determinar automáticamente el factor de cambio rápido de plano y el ajuste de la posición X, Y, que debe aplicarse a la imagen que se puede insertar, justo antes de la inserción. Después, cuando la cámara realiza cambios rápidos de plano, hacia adentro y hacia afuera, y cambia su campo visual, a medida que gira, la imagen que se puede insertar permanece adecuadamente en una escala, y proporcionada con respecto a las otras características, en el campo visual, de tal forma que parece natural ante el espectador que se encuentra en casa. Siempre y cuando el campo visual incluya al menos tres limites adecuados, el sistema puede establecer siempre dónde está respecto al punto de referencia. Por lo tanto, es posible girar hacia una escena y fuera de la misma, y lograr que la imagen que se puede insertar aparezca naturalmente en la escena, en vez de "aparecer inesperadamente" como ha sido el caso con algunos sistemas de la técnica anterior. De acuerdo a la modalidad preferida de la presente invención, después de que la imagen aparece en la escena, el operador puede realizar ajustes secundarios adicionales, tales como mover la imagen que se puede insertar, hacia arriba y hacia abajo, con un par de botones X e Y y/o ajustar su tamaño (es decir, realizar un cambio rápido de plano) para ajustar mejor el fondo contra el cual se encuentra ubicada. Esos ajustes pueden llevarse a cabo antes o durante el evento. El sistema puede colocar fácilmente una imagen que se puede insertar, en cualquier ubicación. Debido a que el sistema no requiere cantidades substanciales de potencia computacional, como lo requieren la mayoría de los otros sistemas, la imagen que se puede insertar aparece mucho más rápidamente y naturalmente, en una escena dada, y no "aparece súbitamente" como en el caso de los sistemas de la técnica anterior. Estas y otras características de la presente invención se comprenderán en forma más completa, haciendo referencia a los siguientes dibuj os .

BREVE DESCRIPCIÓN DE LOS DIBUJOS La Figura 1 ilustra una vista de un estadio de béisbol, durante una transmisión de video "en vivo", la cual muestra el campo visual corriente de una cámara, identificado dentro de la vista del estadio.

La Figura 2 ilustra una vista de un estadio de béisbol, antes de una transmisión, la cual muestra el campo visual corriente de una cámara, identificado dentro de la vista del estadio .

La Figura 3 ilustra una toma "en vivo" del campo visual de una cámara, que tiene sobrepuesta limites y una red X, Y.

La Figura 4 es un diagrama de bloques que muestra los componentes principales del sistema de inserción de video, de acuerdo a una modalidad preferida de la invención.

La Figura 5 es un diagrama esquemático, detallado, del sistema de inserción de video, de acuerdo a la modalidad preferida de la invención.

La Figura 6 es un diagrama de bloques del Cuadro de Seguimiento de Limites (LTB, por sus siglas en inglés) .

La Figura 7A es un modelo matemático de limites, de la Figura 2.

La Figura 7B ilustra una porción detallada de la Figura 7A.

Las Figuras 8A-D ilustran cuatro niveles de decimación del detalle que se muestra en la Figura 2, en donde la resolución se reduce a la mitad, en cada nivel.

Las Figuras 9A-D ilustran cuatro niveles de decimación de la imagen en curso, con el modelo que tiene limites sobrepuesto sobre la misma, y en donde la resolución se ha reducido a la mitad en cada nivel.

La Figura 1 OA ilustra una cancha de tenis, mostrando una posición potencial en la que un inserto puede ser colocado durante una transmisión . La Figura 10B es la ilustración artística inicial de un logotipo que se va a insertar en la imagen de la cancha de tenis que se muestra en la Figura 10A.

La Figura 10C ilustra una representación oblicua de la Figura 10A, ajustada para la perspectiva de la cancha de tenis durante la transmisión .

La Figura 10D ilustra una representación oblicua de la Figura 10C ajustada para un cambio rápido de plano, con aumento.

La Figura 10E ilustra una representación de la Figura 10C ajustada para un cambio rápido de plano con encogimiento o reducción .

La Figura 11 ilustra la imagen en curso con el inserto estacionario colocado en una ubicación sin oclusión.

La Figura 12 ilustra la imagen en curso con el inserto estacionario colocado en una ubicación con oclusión.

La Figura 13 ilustra la imagen en curso con el inserto estacionario colocado en una ubicación sin oclusión pero ajustado para un cambio rápido de plano con aumento.

La Figura 14 ilustra la imagen en curso con el inserto estacionario colocado en una ubicación compensada por la oclusión y ajustada para un cambio rápido de plano con aumento.

La Figura 15 ilustra una inserción dinámica de un logotipo que muestra al logotipo moviéndose de izquierda a derecha.

La Figura 16 es una representación esquemática de la implementación del conjunto de elementos físicos computacionales (hardware) del sistema y el método de la modalidad preferida de la invención.

DESCRIPCIÓN DETALLADA DE LA MODALIDAD PREFERIDA Durante el curso de esta descripción, los números similares se usarán para identificar elementos similares de acuerdo a las diferentes figuras que ilustran la invención. Como se describió previamente en la Solicitud Provisional pendiente No. 60/000,279 presentada el 16 de Junio de 1995, de la cual se reclama prioridad, una imagen que se puede insertar es capaz de ser insertada en cualquier ubicación dentro de la imagen en curso, sin requerir de la identificación de un aviso o "zona objetivo" existente. Por el contrario, se usa un modelo matemático de limites y el sistema de coordenadas relacionado, sobre el (la) mismo(a), para permitir al operador del sistema cambiar la ubicación de una inserción, virtualmente a cualquier parte dentro de la imagen en curso. La Figura 1 ilustra la vista 10 de un estadio, de una escena tipica durante un partido de béisbol. Una cámara estándar 12 de televisión se muestra con el campo visual corriente 14 iluminado o resaltado. El intervalo de giro de la cámara 12 puede incluir la mayor parte del estadio. El área restante 18 se encuentra fuera del campo visual corriente de la cámara y comprende el resto de la vista del estadio, que no se encuentra en el intervalo de giro. En la escena ilustrada se muestra al lanzador 20a haciendo un lanzamiento al receptor 20c. Un bateador 20b se encuentra de pie y colocado en posición para batear la pelota 24 mientras el arbitro 20d observa la acción. La presente invención colocará un aviso o un logotipo comercial sobre la pared que se encuentra detrás de la base meta, durante la transmisión del j uego . Para insertar una imagen en una transmisión "en vivo", la invención debe ser capaz de reconocer la imagen corriente de forma tal que pueda colocar en forma apropiada un inserto. La invención utiliza un esquema de mapeo de limites, en donde algunas características prominentes de la escena han sido predefinidas como limites. Los limites no están determinados como una función de la región de inserción y preferentemente no están dentro de la región de inserción. En particular, los limites no son únicos para una región de inserción particular. Preferentemente, como lo dictan las características de la imagen de referencia, los limites se dispersan como una constelación o tapizado, a través de la imagen de referencia. El mismo conjunto de limites es capaz de ubicar numerosos regiones de inserción diferentes, dentro de la imagen de referencia. Por lo tanto, el reconocimiento de la región de inserción, a la cual a veces se hace referencia, en la técnica anterior, como la "zona objetivo", no es necesario. Los tipos de limites generalmente comprenden características horizontales, verticales, diagonales y de esquina, de una escena. En la Figura 1, las juntas de las tablas de respaldo 26 comprenden características horizontales. Las características de esquina 32 están definidas en puntos en donde se intersectan las características verticales 28 y las características horizontales 30. Sin embargo, la región de giro, completa, inclusive fuera del campo visual corriente, contiene características .

A. CREACIÓN DE UNA IMAGEN DE REFERENCIA Antes de que una imagen que se puede insertar, pueda ser insertada en una transmisión "en vivo", la invención debe tener información concerniente a la ubicación y tipos de limites. Esto se logra creando una imagen de referencia del estadio, en la cual se colocan limites, de acuerdo a las características prominentes de una escena dada. En la Figura 2, se muestra una vista preliminar 40 del estadio vacio. La cámara 12 representa gráficamente el estadio vacio 40 desde la misma perspectiva que en la Figura 1. Las tablas de respaldo 26 se muestran con los limites verticales 42, limites horizontales 44 y limites de esquina 46. Asi la Figura 2 comprende una porción de una representación pictórica del arreglo de referencia 48. Aunque el arreglo de referencia 48 ha sido representado pictóricamente, en realidad no es nada más que una tabla de datos de las ubicaciones de los limites asi como de los tipos de los mismos, que abarcan toda la escena que va a ser cubierta por el giro de la cámara. Después de que se obtiene el arreglo de referencia 48, se analiza su representación pictórica. El análisis se expone anticipadamente en base al uso del algoritmo de la Pirámide de Burt, el cual puede diezmar la imagen de referencia tanto como en cuatro niveles (por ejemplo, niveles 0-3), en donde cada nivel tiene una resolución disminuida la mitad. Haciendo referencia ahora a las Figuras 8A-D, se muestran cuatro niveles de decimación, con grados variables de resolución. La imagen 144 a nivel 0 tiene la resolución más alta a 240 x 720 elementos de imagen. La imagen 146 a nivel 1 tiene la mitad de la resolución que la de nivel 0, es decir 120 x 360 elementos de imagen. La imagen 148 de nivel 2 tiene la mitad de resolución que la imagen 146 de nivel 1, 60 x 180 elementos de imagen. Finalmente, la imagen 150 de nivel 3, el nivel más bajo, identifica características relativamente gruesas de los limites 42, 44, 46 que sobreviven a una resolución de 30 x 90 elementos de imagen. Para cada nivel, solamente cambia la resolución. El tamaño y la escala de la imagen de referencia 48 no cambia para los diferentes niveles. La posición de los diferentes limites 42, 44, 46 se determina dentro de la representación pictórica del arreglo de referencia 48 a todos los niveles mediante una pluma óptica, un ubicador de bola rastreadora, u otros medios similares. Las características prominentes en la representación pictórica del arreglo de referencia, tales como los postes de la meta, en un estadio de fútbol, o una estructura física presente en la representación pictórica del arreglo de referencia 48, es decir, la pared que se encuentra detrás de la base meta, son utilizadas por el operador del sistema como los limites a cada nivel. Los limites se seleccionan a menudo de forma tal que sobrevivan a la decimación y permanezcan reconocibles al menos al nivel 3. Cada limite es asignado a una ubicación de coordenadas X, Y. Además, a cada limite se le asigna un tipo, por ejemplo, vertical, horizontal, diagonal, o de esquina. La ubicación para cada limite 42, 44, 46 se almacena luego en un sistema computarizado, y este conjunto de datos almacenados es el arreglo de referencia mismo. Haciendo referencia nuevamente a la Figura 2, una vez que a los limites 42, 44, 46 se han identificado y a cada uno se les ha asignado ubicaciones y tipos, el operador selecciona una ubicación de referencia 49 de una región de inserción, usando un lápiz óptico, un ubicador de bola rastreadora, u otro medio similar. En particular, el operador selecciona una ubicación de coordenadas X, Y, única, como la ubicación de referencia 49 de la región de inserción. Esta ubicación de referencia 49 podria responder al punto central, una ubicación de la parte superior derecha del inserto deseado, u cualquier otro punto adecuado de la imagen que se puede insertar. La ubicación de referencia 49 se almacena luego en el sistema computarizado y se usa para facilitar la inserción de una imagen insertable como una función de la relación matemática de la ubicación de referencia y de las ubicaciones de los limites. Por supuesto, la ubicación de referencia puede ser simplemente el origen del sistema de coordenadas X, Y y la imagen que se puede insertar se inserta luego en una posición X, Y elegida por el operador.

B. PREPARACIÓN DEL LOGOTIPO PARA INSERCIÓN La ubicación de referencia 49 de una inserción es aquella ubicación, en el arreglo de referencia 48, que define la posición al la cual estará relacionada la imagen que se puede insertar. La selección de los limites 42, 44, 46 y la ubicación de referencia 49 se hace antes del proceso de inserción a tiempo real. Además, la ubicación de referencia inicial puede ser cambiada por el operador del sistema, durante la transmisión.

Una vez que se identifica la ubicación de referencia, la imagen que se puede insertar se coloca en la representación pictórica del arreglo de referencia 48 en la ubicación de referencia 49 seleccionada. Luego se desvia de forma tal que el tamaño y forma del patrón, es decir la perspectiva, se ajuste en la ubicación de referencia 49 de tal forma que se ajuste estrechamente con el área de inserción deseada. La imagen que se puede insertar, ajustada, se almacena luego para el uso en el proceso de inserción a tiempo real. La preparación de un logotipo para la inserción en una transmisión, se ilustra en las Figuras de la 10A a la 10E. En la Figura 10A, una cancha de tenis 160 vacia se muestra como la imagen de referencia. Dentro de la cancha se muestra un área de inserción deseada 162. Aunque la cancha de tenis tiene una forma rectangular, cuando es vista a través de la cámara, desde un extremo lejano, la cancha aparece en el video teniendo una forma ligeramente trapezoidal. Por lo tanto, es crucial que el logotipo insertado, que se tenga, refleje la naturaleza trapezoidal de la imagen. La Figura 10B muestra la ilustración artística de un logotipo 164 en su forma original. La Figura 10C muestra una forma sesgada, del logotipo 166, después de que ha sido ajustado para que tenga una apariencia trapezoidal debido al punto de vista de la cámara. Las Figuras 10D y 10E muestran cada una el logotipo distorsionado, después de haber sido ajustado para un aumento o factor de cambio rápido de plano. Los logotipos 168, 170, mostrados en las Figuras 10D y 10E, respectivamente, están distorsionados solamente para un aumento o cambio rápido de plano. Esta distorsión para cambio rápido de plano ocurre durante la transmisión, justo antes de la inserción, lo cual se opone a el sesgo de la forma, la cual ocurre antes de la transmisión. En algunas situaciones, tal como en un juego de tenis, a veces es deseable ajustar posteriormente la perspectiva del inserto, para ajustaría a la de la escena. Esto se logra fácilmente midiendo el sesgo de la malla X, Y, y por consiguiente sesgando el inserto.

C. INSERCIÓN "EN VIVO" Una vez que el arreglo de referencia 48 ha sido definido, que un punto de referencia 49 para la región de inserción ha sido también definido, y que la ilustración artística ha sido manipulada (Figuras 10A-E), se puede iniciar el proceso de inserción en tiempo real. La Figura 3 es una vista 50 sobrepuesta o encimada del campo visual corriente 50 de la cámara 12 de la Figura 1. Una malla 52 ha sido sobrepuesta sobre las tablas de respaldo 26. Los limites 42, 44, 46 también han sido encimados sobre las tablas de respaldo 26. Todos los limites 42, 44, 46 que se encuentran en la escena corriente se buscan mientras el sistema se encuentra en el modo de búsqueda, de tal forma que la invención será capaz de localizar el punto de inserción apropiado, o la ubicación de referencia 49 para un aviso o logotipo comercial. El sistema usa solamente aquellos limites que encuentra en el campo visual. La Figura 4 muestra un diagrama general 60 del sistema. Cada campo de una señal de video 62 entra a un proceso 64 de filtración y decimación, que limpia la imagen de campo corriente, y luego diezma la imagen de campo en la misma manera discutida anteriormente. La decimación de la imagen de campo corriente se representa en las Figuras 9A-D en las que la imagen 152 a nivel 0 tiene la mayor resolución, seguida por la imagen 154 del nivel 1, la imagen 156 del nivel 2, y la imagen 158 del nivel 3 que tiene la resolución más gruesa. La imagen de campo, diezmada, se alimenta luego al tablero 66 de rastreo y búsqueda de limites, el cual tiene 3 funciones. La primera función es buscar la imagen de campo diezmada, para sus limites. La segunda función es verificar la posición de todos los limites encontrados, con respecto al arreglo de referencia. La tercera función es rastrear el movimiento de la cámara, incluyendo cualesquiera cambios en el aumento o cambio rápido de plano. El tablero 66 para el rastreo de limites reúne información y genera una señal de datos 68 que contiene datos de la iluminación, datos del aumento, datos de la ubicación horizontal, y datos de la ubicación vertical. Esta señal de datos 68 se alimenta luego a un procesador 72 de oclusión. El procesador de oclusión 72 decide si el área deseada del inserto, dentro de la imagen en curso, está siendo ocluida, es decir, bloqueada totalmente o en parte, por la acción de la escena en curso. El resultado del procesador de oclusión 72 es una señal 74 que contiene datos de oclusión que son alimentados en el procesador 76 de inserción. La imagen en curso 62 y la imagen que se puede insertar, se combinan con la señal de oclusión 74, produciendo la imagen de video, de salida 78. La Figura 5 es un diagrama de bloques, del sistema de inserción de video, que muestra el cronometraje del proceso completo. Aunque el sistema corriente requiere de ocho campos para lograr la inserción sin costuras, de un logotipo, en una transmisión de video "en vivo", un incremento en la velocidad del procesador permitirla las inserciones tan poco como en tres campos. Existen dos campos por cuadro y 30 cuadros por segundo en la imagen de video si se usa el sistema de TV NTSC. Asi, cada segundo, el sistema está funcionando a 60 campos. En el campo 1, la señal de video corriente se convierte de la forma análoga a la forma digital mediante el convertidor 82 y se alimenta a un divisor 84 que divide la señal en sus 86 componentes y, y en sus 88 componentes uv. Los componentes y y u, separados, de la imagen del campo, se alimentan en una serie de retardos de video 92 diseñados para mantener la transmisión sincronizada, mientras se lleva a cabo el procesamiento de la imagen. Simultáneamente el componente y 86, se alimenta al proceso 90 de filtración y decimación, el cual corrige y diezma la imagen del campo, como se describió anteriormente. Alternativamente, las imágenes u y v también se pueden filtrar y diezmar, y además procesar como se describe posteriormente . En el campo 2, las imágenes filtradas y diezmadas se alimentan al tablero 94 para el rastreo de limites (LTB, por sus siglas en inglés) el cual realiza las funciones de búsqueda, verificación y rastreo. Se genera una señal de información 95 que contiene datos de iluminación, aumento, traslado horizontal, y traslado vertical, de la imagen del campo corriente, con respecto a la imagen de referencia . En el campo 3, la señal de información 95 del LTB 94 se alimenta a una serie de retardos 96. La señal de datos LTB 95, del campo 2, se alimenta simultáneamente al dis torsionador 98. El dis torsionador 98 distorsiona una representación pictórica de una porción del arreglo de referencia, para que la imagen de campo, corriente, se ajuste al aumento y traslados horizontal y vertical, de la imagen de campo, corriente, con respecto al arreglo de referencia. La porción que se distorsiona depende de la forma y ubicación de la inserción que se pretende llevar a cabo. En el campo 4, los componentes y, u y v, filtrados, de la porción de referencia sesgada, se comparan con los componentes y, u, y v, filtrados, de la imagen de video, corriente, mediante un comparador 104. El resultado es una señal 105 que contiene valores que reflejan los cambios de los componentes y, u, y v, entre la imagen de campo, corriente, y la porción de referencia sesgada. Si se requiere, estos cambios pueden procesarse en forma adicional para promediarlos o agruparlos a través del tiempo, o para promediarlos o agruparlos en el espacio, para suavizar los cambios y permitir la confiabilidad del procesador de oclusión. Como ejemplo, en el campo 5, se realiza un cálculo 106 por raiz cuadrada, en una señal 106 de diferencia, en una base de elemento de imagen por elemento de imagen, dentro de la imagen de campo, corriente. El resultado se compara con un valor umbral para ubicar cualquier área que pueda estar ocluida en la imagen corriente. Si el umbral se encuentra dentro de una tolerancia definida, entonces se considera que no hay un objeto ocluido. Sin embargo, si el valor resultante excede el valor umbral, entonces se considera que un objeto ocluyente se encuentra presente dentro de la imagen de campo, corriente. En el campo 6, el resultado de la comparación con el umbral, se filtra para crear una máscara de oclusión 108. Esta máscara genera una clave de máscara de oclusión que decidirá si hay que transmitir el valor del inserto o el valor del campo, corriente, de un elemento de imagen dado. Simultáneamente en el campo 6, el dis torsionador 97 recibe la señal 95 de datos LTB, retardada, usándola para distorsionar el logotipo que se va a insertar, ajustando el aumento y los traslados horizontales y verticales, de la imagen de campo, corriente. En el caso en que la red haya sido distorsionada, puede ser necesario incluir distorsión en el sesgo del logotipo, para su inserción. En el campo 7, el logotipo sesgado 99, la clave de la máscara de oclusión, y los componentes de imagen de campo, corriente, retardados, y 86 y uv 88, son valores de entrada para un combinador 110. El combinador 110 pasará, ya sea la imagen de inserto 99 o los componentes de imagen de campo, corriente, y 86 y uv 88, a la transmisión, dependiendo de la clave de la máscara . En el campo 8, los componentes de la señal y 112 y uv 114, resultantes, se combinan nuevamente para generar una sola señal de video, digital. la señal digital se convierte luego, nuevamente, al formato análogo, a través del convertidor 118 antes de ser transmitida en vivo". Durante el procesado del video, la señal de audio, fue retardada por 8 campos para asegurar que las señales de la transmisión, de video y de audio, se encuentran sincronizadas unas con otras, cuando se transmiten.

D. BÚSQUEDA Haciendo referencia ahora a la Figura 6, en donde, cuando se está en modo de búsqueda 124, el proceso a menudo inicia con una imagen 158 de nivel 0-3, en donde se realiza una búsqueda para una característica gruesa, particular, por ejemplo, una transición de luz a obscuridad, o una característica horizontal o vertical. El modo preferido para llevar a cabo la búsqueda, es via el algoritmo de la Pirámide de Burt. El algoritmo de la Pirámide de Burt, el cual utiliza los niveles diezmados 152, 254, 156, 158 de la imagen corriente 14, permite la búsqueda rápida de los menores niveles de resolución para la rápida identificación de limites 42, 44, 46, dado que los niveles de resolución más bajos, tienen menos elementos de imagen que buscar, para identificar una característica particular comparada con la búsqueda de niveles de mayor resolución. Si se encuentra un limite o una característica de búsqueda, se realiza una búsqueda adicional para la misma característica o para otra, con el fin de verificar la ubicación de la característica gruesa, buscando una característica similar a un nivel mayor, en el área de la imagen identificada en la búsqueda en el nivel 3. Haciendo referencia nuevamente a la Figura 3, la búsqueda del nivel 3 se puede llevar a cabo usando una plantilla de 8 x 8 , para crear, por ejemplo, una superficie de correlación de 15 x 15. Cada plantilla de 8 x 8 es hace a la medida para una característica particular, tal como una linea vertical, una linea horizontal, una linea diagonal o una esquina. La función de búsqueda identifica limites 42, 44, 46 y regresa un estimado de la traslación en las direcciones X e Y (Tx/ Ty) y del cambio rápido de plano (k), que a la vez se usa para determinar la posición y orientación correctas de los limites 42, 44, 46 en la imagen corriente 14, comparados con la ubicación de los limites 42, 44, 46 en la imagen de referencia 48. Si el modo de búsqueda 124 es exitoso, entonces se introduce el modo de verificación 126. A menudo es deseable usar plantillas de búsqueda que sean mucho más grandes de 8 x 8, si las características son grandes o la búsqueda se lleva a cabo a un bajo nivel de decimación.

E . VERIFICAR La transición del modo de búsqueda 124 al modo de verificación 126 se realiza si el modo de búsqueda 124 produce un número preestablecido de "buenos" limites. Un "buen" limite tiene un valor de correlación que se encuentra dentro de un intervalo fijo del valor de correlación producido en la imagen de referencia, y satisface una continuidad y verificaciones de linea, predeterminados. La correlación de un limite 42 que es una linea vertical podria inspeccionarse para asegurarse que tres correlaciones consecutivas tienen, unas respecto a las otras, un valor que se encuentra dentro de un intervalo limitado, y la superficie podria verificarse hacia la izquierda y hacia la derecha de la linea ubicada, para detectar la ausencia de una linea en esa ubicación. La verificación se lleva a cabo a nivel 0 o a nivel 1 hasta en tres campos. Si no se presenta una verificación exitosa, entonces el sistema regresa al modo de búsqueda 124. Si se cumplen los criterios de verificación, entonces se realiza la inserción de una imagen que se puede insertar. Sin embargo, no se realiza inserción al menos que se cumplan ciertos criterios y el número de buenos limites debe exceder un valor preestablecido. Además, más de dos limites deben ser verticales para con ello asegurar un buen cálculo del cambio rápido de plano. Además, una porción de todos los limites debe ser limites de "calidad". Un limite de calidad se define como uno que tiene un error de distancia que se encuentra por encima de un valor predeterminado, determinado como una función de la distancia entre el limite corriente, es decir el limite en la imagen corriente, desde donde estarla el limite previo que predijo, mediante modelo, el limite corriente. Haciendo referencia a la Figura 7A, un modelo 140 de limite, es el modelo formado por los limites 42, 44, 46, en cada campo. El primer modelo de limite, está establecido por los limites 42, 44, 46 en la imagen de referencia 48 de la figura 2. El modelo 140 de limite, se forma determinando una relación geométrica entre los limites 42, 44, 46. Asi, durante el modelo de búsqueda 124, los limites 42, 44, 46, para la imagen 14 de campo, corriente, se comparan con el modelo 140 de limites, generado en la imagen de referencia 48 para determinar los cambios en la traslación y cambio rápido de plano, de la imagen de referencia 48, para la imagen de campo, corriente, 14. En un campo subsecuente, los limites 42, 44, 46 se ubican nuevamente y la ubicación de cada limite corriente se compara con su ubicación predicha, en base al modelo 140 de limites, del campo previo. Los limites 42, 44, 46 en la imagen de campo 14, corriente, se ajustan al modelo de limites, previo, 140, usando un ajuste por mínimos cuadrados. Esta comparación con el modelo de limites 140, previo, genera un peso que se va a asignar a la ubicación de cada limite corriente 42, 44, 46. El peso asignado a cada limite corriente 42, 44, 46, se usa en el cálculo de un nuevo modelo de limites 140, para los limites corrientes 42, 44, 46. Los criterios de verificación, finales, son de que no deben haber limites extraviados, o si un limite está extraviado debe ser ocluido. Además, si los resultados de la búsqueda son lo suficientemente exactos, el paso de verificación puede eliminarse .

F. RASTREO Cuando se satisfacen los criterios de verificación, el programa introduce un modo de rastreo 128. Seguido de la inserción y oclusión, en el modo de verificación 126, el sistema introduce el modo de rastreo 128, que indica cómo se está moviendo la cámara. El sistema obtiene información respecto al movimiento de la cámara 12 de la imagen de campo, corriente, 14, inspeccionando el movimiento de los limites 42, 44, 46. Las funciones de rastreo se realizan en la imagen 152 a nivel corriente 0 o en la imagen 154 a nivel corriente 1. Como se explicó anteriormente, a los limites 42, 44, 46 que se encuentran en cada campo, se hace referencia en forma colectiva como modelo de limites 140. En una imagen continua en donde la cámara 12 está dirigida a una escena particular, cada campo subsecuente es substancialmente similar al campo previo. Asi, en el modo de rastreo 128, una búsqueda, elemento de imagen por elemento de imagen, usando plantillas a la medida en la región extendida de la ubicación de cada limite 42, 44, 46, como fue predicho por el modelo de limites 140, previo, determina el cambio gradual, creciente, en la posición de la escena. Cuando se encuentra en el modo de rastreo 128, no se realiza ninguna función de búsqueda, aunque las imágenes diezmadas 152, 154, 156, 158 en los niveles 0-3, por ejemplo, continúan siendo generadas por cada campo. Mientras exista un limite seleccionable en el número de limites ' que deben encontrarse presentes para realizar el rastreo, deben existir más de dos limites en la dirección (vertical) del cambio rápido de plano, y al menos otro limite en otra dirección (por ejemplo, horizontal) . Sin embargo, si la medición del cambio rápido de plano se pierde por no más de tres cuadros, el sistema continuará funcionando si existe al menos un limite. La función de rastreo usa imágenes Gaussianas en vez que LaPlacianas, lo cual mejora la relación de señal a ruido, y conserva una valiosa de información de menor frecuencia. Si los criterios de rastreo no se cumplen, entonces el sistema regresa al modo de búsqueda 124.

G. OCLUSIÓN Justo antes de la inserción, el sistema realiza una operación de colusión sobre el patrón que se va a insertar en la región de inserción. La oclusión da razón de los obstáculos en la imagen de campo corriente, actual, que puede ocluir, hasta cierto grado, la región de inserción. Para llevar a cabo una inserción en tiempo real, que surja realis tamente en la imagen corriente 14, los obstáculos en la región de inserción deben ser identificados y la inserción debe ajustarse, y en algunos casos debe mantenerse, con tal de no insertar una imagen que se puede insertar, sobre un obstáculo. Primero se genera una representación pictórica filtrada, de una porción del arreglo de referencia. Para generar esta representación filtrada, la imagen de referencia se filtra para reducir los componentes de alta frecuencia. La representación de menor resolución, del arreglo de referencia, se actualiza regularmente respecto a su brillo, via sensores sensibles a la iluminación que se encuentran colocados en cercana proximidad a las ubicaciones de inserto dentro del estadio. Esto se hace para hacer coincidir el brillo de la representación pictórica con la imagen de campo, corriente 14. Los resultados se almacenan en el sistema computarizado. Cada imagen de campo, corriente, 14, se filtra también para reducir los componentes de alta frecuencia que producen una representación de menor resolución, de la imagen de campo, corriente, 14. La filtración del arreglo de referencia 48 es a menudo mayor que la filtración de la imagen corriente 14. Dado que los objetos que ocluyen la imagen insertada, son objetos físicos reales, en general estos serán mayores que un elemento de imagen y aparecen en más de un cuadro. Por lo tanto, la exactitud y el ruido del proceso de oclusión puede mejorarse adicionalmente agrupando los elementos de imagen ocluidos, en grupos, y rastreando su movimiento a través del tiempo y de campo a campo. Asi, se pueden realizar mejores juicios a cerca de si un elemento de imagen es parte o no de una masa ocluida. Como una función de la ubicación, del tamaño y de la iluminación de la imagen corriente 14, una porción de la representación de menor resolución, del arreglo de referencia 48 se ajusta para la traslación (ubicación) y cambio rápido de plano (tamaño), asi como para la iluminación, como se indicó previamente. La representación de menor resolución, modificada, del arreglo de referencia 48 se compara luego, en una base de elemento de imagen por elemento de imagen, con la representación de menor resolución de la imagen corriente 14 para identificar cualesquiera obstáculos en la imagen de referencia 48, los elementos de imagen que se encuentran en las imágenes de referencia y corrientes, que ahora tienen una relación 1:1. Como resultado de la comparación, se determina una función de transparencia o clave de máscara, la cual puede aplicarse luego entonces a la imagen que se puede insertar, para explicar apropiadamente cualesquiera obstáculos que puedan encontrarse presentes en la región de inserción, y asi pueden afectar la inserción de ciertos elementos de imagen, en la imagen corriente 14.

H. INSERCIÓN La operación de inserción se realiza como sigue. Como se explicó anteriormente, la región de inserción tiene una relación matemática con una ubicación de referencia 49, preseleccionada. La ubicación de referencia 49, a su vez, tiene una relación matemática con el modelo de limites 140 identificado en la imagen de referencia 48. Esto es, la ubicación de referencia 49 de la región de inserción tiene una posición relativa con respecto al modelo de limites 140. Como se indicó anteriormente, al determinar el cambio en la traslación y cambio rápido de plano, de los limites 42, 44, 46, en la imagen corriente 14 comparada con la imagen de referencia 48, se puede determinar el cambio correspondiente en la traslación y cambio rápido de plano de la región de inserción, como una función de la ubicación de referencia 49. Asi, la traslación X e Y de la ubicación de referencia 49 se calcula, la función de cambio rápido de plano se aplica a la imagen que se puede insertar, almacenada, y la imagen que se puede insertar se inserta en la región de inserción de la imagen corriente 14 en una base de elemento de imagen por elemento de imagen, usando la ubicación de referencia 49 de la región de inserción, como un punto de referencia para colocar la imagen que se puede insertar. La Figura 11 muestra una imagen de campo, corriente, 172, tal como es vista por un espectador televisivo. El inserto 174 aparece en la pared posterior que se encuentra detrás de la base meta. Este ejemplo muestra una inserción estática 174 que no está siendo ocluida por la acción corriente del juego. Además, el factor de aumento de este ejemplo es k = 1 es decir que no hay cambio rápido de plano respecto a la referencia . La Figura 12 muestra una imagen de campo, corriente, 176, tal como es vista por un espectador televisivo. El inserto 178 aparece parcialmente obstruido en la pared posterior, detrás de la base meta. Este ejemplo muestra una inserción estática 178 que está siendo ocluida por la acción corriente del juego. El sistema mantiene el logotipo en el fondo de la escena. Nuevamente, el factor de aumento de este ejemplo es k = 1, es decir, no hay cambio rápido de plano . La Figura 13 muestra una imagen de campo, corriente, 180, tal como es vista por un espectador televisivo. El inserto 182 aparece en la pared posterior, detrás de la base meta. Este ejemplo muestra una inserción estática 182 que no está siendo ocluida por la acción corriente del juego. Esta vez, sin embargo, el factor de aumento es k > 1, lo cual representa un aumento. La Figura 14 muestra una imagen de campo, corriente, 184, tal como es vista por el espectador televisivo. El inserto 186 aparece parcialmente obstruido en la pared posterior, detrás de la base meta. Este ejemplo muestra una inserción estática 186 que está siendo ocluida por la acción corriente del juego. El sistema mantiene el logotipo en el fondo de la escena. Nuevamente, el factor de aumento de este ejemplo es k > 1. La Figura 15 muestra una imagen de campo, corriente, 188, tal como es vista por un espectador televisivo. La imagen insertada 190 de un conejo caminando parece moverse horizontalmente a través de la pantalla, en cada campo subsecuente. Adicionalmente, el conejo mismo está cambiando de forma, debido a que sus brazos y piernas se están moviendo en cada nuevo campo. Este ejemplo ilustra la capacidad de introducir insertos dinámicos, de la presente invención. Una imagen que se puede insertar no está limitada a una región o a una forma. La ubicación y forma del inserto 190 puede ser alterada de campo a campo por un operador, en una base de tiempo real, o puede ser alterada automáticamente por una secuencia o video, preprogramado s . La Figura 16 es una representación esquemática de la implementación de elementos físicos de cómputo (hardware) del sistema, y del método de la modalidad preferida de la invención. El sistema descrito anteriormente tiene un número de ventajas significativas sobre los sistemas de la técnica anterior. Primero, la presente invención es capaz de colocar, sin presentar marcas de juntas, una imagen que se puede insertar, directamente en una transmisión de video "en vivo", sin tener que identificar algún aviso existente, particular, o "zona objetivo", en la escena corriente. Por lo tanto, la imagen que se puede insertar, parece natural y sin marcas en las juntas, dentro de la transmisión, y no aparece repentinamente, de forma notable, en el campo visual corriente.

Segundo, el sistema puede insertar fácilmente una imagen que se puede insertar, móvil, en la transmisión de video "en vivo".

Además, el sistema puede mover la imagen que se puede insertar, en dos formas diferentes dentro de la escena corriente. Primero, el inserto, como un todo, puede cambiar su posición dentro de la escena corriente. Segundo, la imagen que se puede insertar, misma, puede cambiar su propia forma de campo a campo. Asi, la presente invención puede soportar fácilmente la inserción de imágenes dinámicas en una transmisión de video "en vivo".' Tercero, el sistema ajusta automáticamente el factor de cambio rápido de plano, de la imagen que se puede insertar, sin alguna entrada sensitiva externa. Los ajustes del cambio rápido de plano se calculan en base a la relación espacial de los objetos en la escena corriente, y no en ajustes físicos detectados por parte de la cámara misma o por sensores no repetibles de la cámara. Por lo tanto, la presente invención no es susceptible a degradaciones en su funcionamiento, debido al movimiento no deseado de la cámara. Cuatro, el sistema se hace funcionar en una base de tiempo real, en la cual las imagen que se puede insertar y sus puntos de inserción no necesitan realizarse mediante un proceso "en conserva". El operador del sistema puede elegir virtualmente cualquier punto de inserción en una escena corriente, durante la transmisión real. Por ejemplo, si una sección particular de un estadio se encuentra relativamente vacia de aficionados, el operador podria insertar una imagen sobre los asientos vacios. Asi, el operador del sistema puede usar el espacio que no se conocía como disponible, antes de la transmisión "en vivo". Aunque la invención ha sido descrita con referencia a la modalidad preferida de la misma, las personas con experiencia ordinaria en la técnica apreciarán que se pueden realizar varias modificaciones a la estructura y función de partes individuales del sistema, sin apartarse del espíritu y alcance de la invención como un todo . Se hace constar que con relación a esta fecha, el mejor método conocido para llevar a la práctica la citada invención, es el que resulta claro de la presente descripción de la invención.

Habiéndose descrito la invención como antecede se reclama como propiedad lo contenido en las siguientes:

Claims (35)

REIVINDICACIONES

1. Un método para colocar una imagen, que se puede insertar, en una escena de transmisión de "en vivo", caracterizado porque comprende los pasos de: a. crear un modelo de limites o marcas, que sea característico de un primer conjunto de limites naturales, en una escena dada; b. sobreponer un sistema de coordenadas sobre el modelo de limites; c. rastrear la escena con una cámara de video para crear una imagen corriente; d. identificar un segundo conjunto de limites naturales en la imagen corriente; e. comparar el segundo conjunto de limites naturales ubicados en la imagen corriente, con el primer conjunto de limites del modelo de limites del paso (a) para identificar al menos dos limites que coincidan, determinando con ello que el modelo de limites y la imagen corriente se encuentran alineadas; y, f. insertar, la imagen que se puede insertar, en la escena corriente de la transmisión de video "en vivo", en una ubicación determinada por las coordenadas del sistema de coordenadas , en donde la imagen, que se puede insertar, parece natural en la transmisión de video "en vivo".

2. El método de conformidad con la reivindicación 1, caracterizado porque el paso (a) comprende en forma adicional los pasos de: g. rastrear la escena antes del paso (a) con una cámara de video, para crear la imagen preliminar de la escena, y, h. identificar el primer conjunto de los limites naturales en la escena preliminar; e, i. organizar matemáticamente el primer conjunto de limites naturales en el modelo de limites .

3. El método de conformidad con la reivindicación 2, caracterizado porque la cámara de video tiene un campo visual variable y el método comprende además los pasos adicionales de: j . buscar continuamente el campo visual de la cámara de video, para identificar limites en la escena corriente; y, k. rastrear limites identificados en el paso (j) anterior, para mantener los limites, en la escena corriente, alineados con los limites que se encuentran en el modelo de limites.

4. El método de conformidad con la reivindicación 3, caracterizado porque la identificación de los limites, del paso (d) se logra mediante el paso de: 1. diezmar o reducir, la escena preliminar, mediante pasos graduales, crecientes, hasta al menos tres niveles de decimación, para determinar qué características de los limites sobrevivirán a la búsqueda y rastreo, en una escena corriente.

5. El método de conformidad con la reivindicación 4, caracterizado porque la identificación de los, limites en el paso (h) anterior, se logra mediante el paso de: m. diezmar, o reducir, la escena corriente, mediante pasos crecientes, graduales, hasta al menos tres niveles de decimación, para determinar qué características de limites sobrevivirán a la búsqueda y rastreo de una escena corriente.

6. El método de conformidad con la reivindicación 5, caracterizado porque los pasos de decimación, o reducción (1) y (m) anteriores, se logran mediante análisis por Pirámide de Burt.

7. El método de conformidad con la reivindicación 6, caracterizado porque la imagen que se puede insertar, es una imagen estática.

8. El método de conformidad con la reivindicación 7, caracterizado porque además incluye el siguiente paso: n. trasladar la imagen estática que se puede insertar, a través de la escena corriente, mediante cambios graduales, crecientes, de sus coordenadas, con respecto al punto de referencia, de cuadro a cuadro .

9. El método de conformidad con la reivindicación 6, caracterizado porque la imagen, que se puede insertar, es una imagen dinámica.

10. El método de conformidad con la reivindicación 9, caracterizado porque la imagen dinámica cambia de forma, de cuadro a cuadro, cuando se inserta en la escena corriente.

11. El método de conformidad con la reivindicación 10, caracterizado porque además incluye el siguiente paso: o. trasladar, la imagen que se puede insertar, dinámica, a través de la escena corriente, mediante el cambio gradual y creciente de sus coordenadas con respecto al punto de referencia, de cuadro a cuadro.

12. El método de conformidad con la reivindicación 11, caracterizado porque además comprende el paso de: p. automáticamente ajustar la escala de cambio rápido de plano, de la imagen que se puede insertar, en respuesta a cambios de ubicación de los limites identificados, de la escena corriente, unos con respecto a otros.

13. El método de conformidad con la reivindicación 12, caracterizado porque el sistema de coordenadas también incluye un punto de referencia, y en donde el paso de inserción (f) comprende además el paso de insertar la imagen que se puede insertar, en la escena corriente, en una ubicación determinada, con respecto al punto de referencia.

14. El método de conformidad con la reivindicación 13, caracterizado porque además comprende el paso de: q. aumentar artificialmente la visibilidad de los limites naturales, de tal forma que puedan ser identificados más fácilmente a través de un análisis de pirámide de Burt.

15. El método de conformidad con la reivindicación 14, caracterizado porque el paso (a) incluye el paso de crear un modelo de limites bidimensional, que sea característico del primer conjunto de limites en la escena dada.

16. El método de conformidad con la reivindicación 15, caracterizado porque además comprende el paso de: r. ajustar la imagen, que se puede insertar, para hacer coincidir la distorsión en el modelo de limites, bidimensional.

17. El método de conformidad con la reivindicación 16, caracterizado porque el paso (a) incluye el paso de crear un modelo de limites, tridimensional, que sea característico del primer conjunto de limites en la escena dada.

18. el método de conformidad con la reivindicación 17, caracterizado porque además comprende el paso de: s. ajustar la imagen, que se puede insertar, para hacer coincidir la distorsión del modelo de limites, tridimensional.

19. El método de conformidad con la reivindicación 18, caracterizado porque además comprende el paso de: t. preparar las ilustraciones artísticas, para la imagen que se puede insertar, y ajustaría respecto a la perspectiva, y almacenar la misma antes de la inserción y ajuste para el cambio rápido de plano.

20. un sistema para colocar la imagen, que se puede insertar, en la escena corriente de una escena de transmisión de video "en vivo", mediante un operador del sistema, caracterizado porque comprende: medios de exploración para explorar la escena y crear una imagen corriente; medios de identificación para identificar un conjunto de limites naturales en la imagen corriente. medios de comparación, para comparar el conjunto de limites naturales, identificados mediante el medio de comparación, con un conjunto de limites de un modelo de limites, de la escena, para identificar al menos dos limites que coincidan, determinando por lo tanto que el modelo de limites y la imagen corriente se encuentran alineadas; un sistema de coordenadas sobrepuesto sobre el modelo de limites; y, medios de inserción para insertar la imagen, que se puede insertar, en la transmisión de video "en vivo", en una ubicación determinada únicamente por el operador del sistema, con respecto al sistema de coordenadas, en donde la imagen que se puede insertar, aparece naturalmente y se puede insertar substancialmente en cualquier ubicación, en la transmisión de video "en vivo".

21. El sistema de conformidad con la reivindicación 20, caracterizado porque el sistema de coordenadas es un sistema de coordenadas X, Y, y porque además comprende: un medio de puntos de referencia incorporados en el sistema de coordenadas de red X, Y, y el punto de inserción de la imagen que se puede insertar.

22. El sistema de conformidad con la reivindicación 21 caracterizado porque comprende: medios de rastreo para mantener identificados los limites en la escena corriente, alineados con los limites que se encuentran en el modelo de limites.

23. El sistema de conformidad con la reivindicación 22, caracterizado porque el medio de identificación incluye un medio de decimación, para diezmar o reducir la escena corriente mediante pasos graduales, hasta al menos tres niveles de decimación, para determinar qué características de limites sobrevivirán a la búsqueda y rastreo en una escena corriente.

24. El sistema de conformidad con la reivindicación 23, caracterizado porque el medio para decimación, comprende un medio de decimación por Pirámide de Burt.

25. El sistema de conformidad con la reivindicación 24, caracterizado porque la imagen que se puede insertar es una imagen estática .

26. El sistema de conformidad con la reivindicación 25, caracterizado porque la imagen que se puede insertar es una imagen dinámica.

27. El sistema de conformidad con la reivindicación 26, caracterizado porque la imagen dinámica cambia de forma, de cuadro a cuadro, después de que se inserta en la escena corriente.

28. El sistema de conformidad con la reivindicación 27, caracterizado porque además comprende : medios conductores de la imagen, para conducir la imagen, que se puede insertar, a través de la escena corriente, cambiando en forma gradual, sus coordenadas con respecto al sistema de coordenadas, de cuadro a cuadro.

29. El sistema de conformidad con la reivindicación 28, caracterizado porque además comprende : medios para el ajuste del cambio rápido de plano, para ajustar automáticamente la escala de la imagen que se puede insertar, en respuesta a los cambios de ubicación de limites identificados, en la escena corriente, unos con respecto a otros.

30. El sistema de conformidad con la reivindicación 29, caracterizado porque además comprende : medios para hacer coincidir la distorsión, para ajustar la imagen, que se puede insertar, y hacer coincidir la distorsión en la red X-Y.

31. El sistema de conformidad con la reivindicación 30, caracterizado porque además incluye : medios para mejorar o aumentar los limites, para aumentar artificialmente la visibilidad de los limites naturales de tal forma que puedan ser identificados fácilmente a través del medio de identificación.

32. El sistema de conformidad con la reivindicación 31, caracterizado porque el modelo de limites es un modelo de limites, bidimensional .

33. el sistema de conformidad con la reivindicación 32, caracterizado porque el modelo de limites es un modelo de limites, tridimensional .

34. El sistema de conformidad con la reivindicación 33, caracterizado porque el medio de exploración comprende una cámara de video.

35. El sistema de conformidad con la reivindicación 34, caracterizado porque el medio de exploración también explora una escena preliminar y porque el medio de identificación también identifica limites que se encuentran en la escena preliminar explorada por la cámara de video y porque, el modelo de limites es un modelo matemático formado por los limites que se encuentran en la escena preliminar identificada a través de los medios de identificación. RESUMEN DE LA INVENCIÓN La presente invención se refiere a un sistema de inserción de video "en vivo" que coloca eficientemente imágenes estáticas o estáticas (186) o dinámicas en una transmisión "en vivo". El sistema identifica inicialmente limites o marcas naturales dentro de la escena de video, que pueden ser identificados y rastreados automáticamente a medida que el campo visual de la cámara gira y realiza cambios rápidos de plano, a través de la escena. Las ubicaciones de los limites se modelan matemáticamente y se almacenan como una constelación de ubicaciones sobre una red matemática. Un punto de referencia arbitrario, preferentemente que no coincida necesariamente con un limite natural, seleccionado, se ubica en la red o fuera de la misma, y se usa como un origen para el propósito de insertar la imagen estática (186) o dinámica, dentro del campo visual de la cámara. Para imágenes estáticas, frecuentemente es deseable colocar un borde u orilla de la imagen que se va a insertar, sobre el punto de referencia. Para inserciones dinámicas, la distancia entre el punto de referencia y la imagen dinámica insertada se cambia automáticamente de cuadro a cuadro, para hacer que la imagen aparezca como que se está trasladando, cambiando, o ambas.