MX2011000692A - Sistemas y metodos para compresion de video altamente eficiente al usar retencion selectiva de detalle visual relevante. - Google Patents

Abstract

Se presentan sistemas y métodos para comprimir señales de video digital en una manera que evite la creación de artefactos de bloque y mejore la eficiencia de la compresión por la remoción selectiva de los datos que representan detalles visualmente irrelevantes o imperceptibles. El control del ancho de banda se mejora a través de la remoción priorizada de datos que superan los límites permisibles de ancho de banda. Esto proporciona un proceso por el cual un compresor acoplado y un sistema descompresor pueden efectuar la transmisión o almacenamiento de video a bajas velocidades binarias con alta calidad perceptual del video descomprimido. En una modalidad, los componentes de baja frecuencia se remueven de una corriente de video y se almacenan o transmiten ya sea en formato comprimido separado del almacenamiento o transmisión de componentes de alta frecuencia de la corriente de video. Ciertos detalles de corrientes de video de alta frecuencia pueden suprimirse para reducir además la velocidad binaria.

Description

SISTEMAS Y METODOS PARA COMPRESION DE VIDEO ALTAMENTE EFICIENTE AL USAR RETENCIÓN SELECTIVA DE DETALLE VISUAL RELEVANTE Campo de la Invención La descripción se refiere a señales de video digitales y más específicamente a sistemas y métodos para mejorar la calidad de señales de video digitales comprimidas al aprovechar características del sistema de visión humano (HVS , por sus siglas en inglés) que permiten ahorros en la velocidad de transferencia importantes para alcanzarse por una calidad perceptual dada del video descomprimido.

Antecedentes de la Invención Es bien conocido que las señales de video se representan por grandes cantidades de datos digitales, con relación a la cantidad de datos digitales requeridos para representar la información de texto o señales de audio. Las señales de video digitales ocupan en consecuencia anchos de banda relativamente grandes cuando se transmiten a velocidades altas de bitios y especialmente cuando estas velocidades de bitios corresponderían a las señales de video digital en tiempo real demandada por dispositivos de exhibición de video.

En particular, la transmisión y recepción simultánea de un gran número de distintas señales de video, sobre tales canales de comunicaciones como cable o fibra, a menudo se alcanza al multiplexar por frecuencia o multiplexar por tiempo estas señales de video de manera que comparten los anchos de banda disponibles en los diversos canales de comunicación.

Los datos de video digitalizados se aloj an típicamente con el audio y otros datos en archivos de medio formateados de acuerdo con estándares de formateo acordados internacionalmente (por ej emplo MPEG2, MPEG4, H264) . Tales archivos se distribuyen y multiplexan típicamente sobre la Internet y se almacenan separadamente en memorias digitales de computadoras, teléfonos celulares, grabadoras de video digitales y en discos compactos (CDs) y discos de video digitales (DVDs) . Muchos de estos dispositivos se fusionan físicamente e indistinguiblemente en dispositivos sencillos.

En el proceso de crear archivos de medios formateados, los datos del archivo se someten a varios niveles y tipos de compresión digital con objeto de reducir la cantidad de datos digitales requerida para su presentación, reduciendo por ello el requerimiento de almacenamiento de memoria así como el ancho de banda requerido para su transmisión simultánea fiel cuando se multiplexa con otros múltiples archivos de video.

La Internet proporciona un ej emplo especialmente complejo del suministro de datos de video en el cual los archivos de video se multiplexan en muchas maneras diferentes y sobre muchos canales diferentes (es decir, trayectorias) durante su transmisión descargada desde el servidor centralizado al usuario final. Sin embargo, en virtualmente todos los casos, es deseable que, para una fuente de video digital original dada y una calidad dada del video exhibido y recibido por el usuario final, el archivo de video resultante se comprima hasta el tamaño más pequeño posible.

Los archivos de video formateados representan una película digitalizada completa. Los archivos de película pueden descargarse ' a pedido' para exhibición y observación inmediata en tiempo real o para almacenar en dispositivos de grabación del usuario final, tal como grabadoras de video digitales, para observación más tarde en tiempo real .

La compresión del componente de video de estos archivos de video por lo tanto no sólo conserva el ancho de banda, para los propósitos de transmisión, sino también reduce la memoria general requerida para almacenar tales archivos de película.

En el extremo receptor de los canales de comunicación antes mencionados, se emplean típicamente dispositivos de almacenamiento y cómputo de usuario sencillo. Ejemplos actualmente distintos de tales dispositivos de usuario sencillo son la computadora personal y convertidor de señal de TV, cualquiera o ambos de los cuales típicamente se conectan en la salida al dispositivo de exhibición de video del usuario final (por ej emplo TV), y se conecta a la entrada, ya sea directamente o indirectamente, a una línea de cable de distribución de cobre alámbrica (es decir TV por Cable). Típicamente, este cable porta simultáneamente cientos de señales de video digital multiplexadas en tiempo real y a menudo se conecta a la entrada a un cable de fibra óptica que porta las señales de video terrestres desde un distribuidor local de programación de video. Los platos de satélite de usuario final también se usan para recibir señales de transmisión de video. Si el usuario final emplea señales de video que se suministran por medio de cable terrestre o satélite, convertidores de señal de TV digital de usuario final, o sus equivalentes, se usan típicamente para recibir señales de video digitales y para seleccionar la señal de video particular que se observa (es decir el llamado Canal de TV o Programa de TV). Estas señales de video digital transmitidas a menudo están en formatos digitales comprimidos y por lo tanto deberán descomprimirse en tiempo real después de la recepción por el usuario final.

La mayoría de los métodos de compresión de video reducen la cantidad de datos de video digital al conservar sólo una aproximación digital de la señal de video descomprimida. En consecuencia, existe una diferencia medible entre la señal de video original antes de comprimir y descomprimir la señal de video. Esta diferencia se define como la distorsión de video . Para un método dado de compresión de video, el nivel de distorsión de video casi siempre se vuelve más grande en la medida que la cantidad de datos en los datos de video comprimidos se reduce al elegir parámetros diferentes para aquellos métodos . Esto es, la distorsión de video tiene a incrementarse con los niveles incrementados de compresión.

Ya que el nivel de compresión de video se incrementa, l a distorsión de video eventualmente se vuelve visible al HVS y eventualmente esta distorsión se vuelve visibl emente obj etable al observador típico del video en tiempo real en el dispositivo de exhibición elegido. La distorsión de video se observa como los llamados artefactos de video . Un artefacto de video es un contenido de video observado que se interpreta por el HVS como que no pertenece a la escena de video no comprimida original .

Existen métodos para atenuar significativamente artefactos visiblemente obj etables de video comprimido, ya sea durante o después de la compresión. La mayoría de estos métodos apli ca sólo a métodos de compresión que emplean Transformada de Coseno Di screto (DCT, por sus siglas en inglés) bi-dimensional (2D) basado en bloque, o aproximaciones del mi smo . En lo si guiente, se referirá a esto s métodos como basados en DCT . En tal caso, por el momento el artefacto más visiblemente obj etable es l a apari ción de bloques de artefacto en la escena de video exhibida.

Existen métodos para atenuar los bloques de artefacto típicamente ya sea al buscar los bloques o al requerir un conocimiento a priori de donde se localizan en cada cuadro del video .

El problema de atenuar la aparición de artefactos visiblemente obj etables se difi culta especialmente por el caso que ocurre ampli amente donde los datos de video se han comprimido y descomprimido previamente, quizá más de una vez, o donde se ha re-alineado, re-formateado o re-mezclado en color previamente. Por ej emplo, los datos en video se han re-formateado desde el formato NTSC al PAL o convertir desde el formato RGB al YCrCb. En tales casos, un conocimiento a priori de las ubicaciones de los bloques de artefacto es casi ciertamente desconocido y por lo tanto los métodos que dependen de este conocimiento no trabajan.

Los métodos para atenuar la aparición de artefactos de video no deberán agregarse significativamente a la cantidad general de datos requerida para representar los datos en video comprimidos. Esta limitante es un desafío de diseño mayor. Por ej emplo, cada uno de los tres colores de cada pixel en cada cuadro del video exhibido se representa típicamente por 8 bits, por lo tanto aumentando hasta 24 bits por pixel coloreado . Por ej emplo, si se presiona hasta los límites de compresión donde son evidentes artefactos visiblemente obj etables, el estándar de compresión de video H264 (basado en DCT) es capaz de realizar la compresión de datos de video correspondientes a su extremo inferior hasta aproximadamente 1 /40 de un bit por pixel . Por lo tanto esto corresponde a una relación de compresión promedio de mejor de 40x24=960. Cualquier método para atenuar los artefactos de video, a esta relación de compresión, deberían agregar por lo tanto un número importante de bits con relación a 1 /40 de un bit por pixel . Se requieren métodos para atenuar la aparición de artefactos de bloque cuando la relación de compresión es tan alta que el número promedio de bits por pixel es típicamente menos dé 1 /40 de un bit.

Para métodos de compresión basados en DCT y otros basados en bloque, los artefactos visiblemente obj etables más serios están en la forma de bloques rectangulares que varían típicamente con tiempo, tamaño y orientación en maneras que dependen de las características espacio-temporales locales de la escena de video . En particular, la naturaleza de los bloques de artefacto depende de los movimientos locales de los obj etos en la escena de video y en la cantidad de detalle espacial que contienen aquellos obj etos. Ya que la relación de compresión se incrementa por un video particular, los codificadores de video basados en DCT basados en MPEG asignan progresivamente algunos bitios a las llamadas funciones base cuantificadas que representan las intensidades de los pixeles dentro de cada bloque. El número de bits que se asignan en cada bloque se determina con base en el conocimiento psico-visual extensivo a cerca del HVS . Por ej emplo, las formas y bordes de los objetos en video y las trayectorias temporales uniformizadas de sus movimientos son importantes psico-visualmente y por lo tanto los bits deberían asignarse para asegurar su fidelidad, como en todos los métodos basados en MPEG DCT.

Cuando el nivel de compresión se incrementa, y en su obj etivo de mantener la fidelidad arriba mencionada, el método de compresión (en el llamado codificador) asigna eventualmente una intensidad constante (o casi constante) a cada bloque y este bloque-artefacto que usualmente es el más obj etable visualmente. Se estima que si el bloque de artefacto difiere en intensidad uniforme relativa por más del 3 % de los de sus bloques vecinos inmediatos, entonces la región espacial que contiene estos bloques es visiblemente obj etable. En escenas de video que se han comprimido pesadamente usando métodos tipo DCT basados en bloque, las regiones grandes de muchos cuadros contienen tales artefactos de bloque.

Breve Descripción de la Invención Sistemas y métodos se presentan para comprimir señales de video digitales en una manera que minimiza y puede aún prevenir la creación de artefactos de bloque y mejorar la eficiencia de compresión usando la eliminación selectiva de datos que representa detalle irrelevante o imperceptible visualmente. El control de ancho de banda se mejora a través de eliminación priorizada de datos que excede los límites de ancho de banda permisibles. Esto proporciona un proceso por el cual un sistema compresor y descompresor acoplado puede efectuar la transmisión o almacenamiento de video en velocidades de transferencia baj as con alta calidad perceptual del video descomprimido.

En una modalidad, los conceptos discutidos en las solicitudes de patente co-pendientes identificadas arriba tituladas SISTEMAS Y MÉTODOS PARA MEJORAR LA CALIDAD DE LAS SEÑALES COMPRIMIDAS DE VIDEO AL UNIFORMIZAR ARTEFACTOS DE BLOQUE y SISTEMAS Y MÉTODOS PARA MEJORAR LA CALIDAD DE SEÑALES COMPRIMIDAS DE VIDEO AL UNIFORMIZAR EL CUADRO COMPLETO Y SUPERPONER EL DETALLE PRESERVADO pueden usarse en combinación con los conceptos discutidos en la presente para reducir el ancho de banda requerido para transmisión de la corriente de video 'Portadora'. El proceso de compresión/descompresión descrito en la presente toma ventaj a de las características del HVS que permiten ahorros en la velocidad de transferencia importantes para alcanzarse por una calidad perceptual dada del video descomprimido.

Una observación importante es que el HVS es relativamente rápido al percibir la estructura y movimiento general de los objetos, pero es más lento para 'enfocar' un detalle fino. Por ejemplo, un bateador de béisbol puede percibir el movimiento de un lanzador y la pelota suficientemente rápido para iniciar una reacción apropiada y golpear la pelota con fiabilidad razonable, pero tendrá poca o ninguna percepción de los detalles finos de los hilos o rasguños en la pelota cuando se mueve o gira en su vuelo. Por otro lado, si tal pelota se fijo y colocó a unos pocos metros lejos del bateador, él puede percibir y describir estos detalles con bastante precisión. La ventaj a se toma de esta característica del HVS al suprimir la apariencia de tal detalle imperceptible como los hilos en una pelota de giro rápido de manera que no consume ancho de banda en la representación de video comprimido.

Además de las características de velocidad de reacción descritas arriba, otras características HVS pueden influenciarse para incrementar la eficiencia de compresión. Para un ancho de banda dado, la calidad de video percibida puede optimizarse al priorizar la transmisión de los detalles 'más relevantes ' en una secuencia de video. Así, por ejemplo, los detalles de movimiento fijos o lentos generalmente tendrán mayor prioridad que los detalles de movimiento rápidos. De manera similar, para la mayoría de los tipos de video los detalles cerca del centro del video pueden ser más 'relevantes' para el espectador que los detalles que rodean la periferia de la imagen. El ancho de banda puede utilizarse en consecuencia para conducir los detalles centrales con mayor fidelidad que los detalles periféricos.

El HVS también tiende a ser altamente sensible a componentes de imagen específicos tales como características faciales humanas. Un sistema codificado suficientemente poderoso para incorporar capacidades de reconocimiento faciales puede priorizar tales regiones reconocidas de manera que se presentan con mayor fidelidad.

Una característica del HVS adicional direccionada por los conceptos discutidos en la presente son similares a los tratados por los métodos de Desbloqueo descritos en las solicitudes identificadas arriba, es decir, el hecho de que el HVS es altamente sensible para formar artefactos extensos geométricamente en regiones de otra manera lisas de una imagen. El método actual se formula específicamente para retener la apari enci a lisa de imágenes aún en escenarios de ancho de banda extraordinariamente bajos. Esto es en contraste a métodos con base en bloque DCT convencionales que tienden a producir artefactos de bloque altamente inaceptables en escenarios de ancho de banda baj os.

En contraste a métodos de tren de onda, este método alcanza anchos de banda inferiores, en parte, debido a su capacidad para suprimir selectivamente el detalle y de manera productiva el uso de estimación y compensación del movimiento para alcanzar compresión excelente para escenas de movimiento alto.

Lo anterior ha resumido bastante ampliamente las características y ventaj as técnicas de la presente invención con obj eto de que la descripción detallada de la invención que sigue pueda entenderse mejor. Se describirán características y ventaj as adicionales de la invención, de aquí en adelante que forman el obj etivo de las reivindicaciones de la invención. Se apreciará por aquellos expertos en la técnica que la concepción y modalidad específica descrita puede utilizarse fácilmente como una base para modificar o diseñar otras estructuras para llevar a cabo los mismos propósitos de la presente invención. También se darán cuenta aquellos expertos en la técnica que tales construcciones equivalentes no salgan del espíritu y alcance de la invención como se establece en las reivindicaciones adjuntas. Las características novedosas que se consideran que son características de la invención, tanto como su organización y método de operación, junto con objetivos y ventajas adicionales se entenderán mej or a partir de la siguiente descripción cuando se consideran en conexión con las figuras acompañantes. Se entiende expresamente, sin embargo, que cada una de las figuras se proporciona sólo para el propósito de ilustración y descripción y no se pretende como una definición de los límites de la presente invención.

Breve Descripción de las Figuras Para un entendimiento más completo de la presente invención, se hace ahora referencia a las siguientes descripciones tomadas en conjunto con los dibuj os acompañantes en los cuales: La FIGURA 1 muestra una modalidad de un método para codificar cuadros de video de acuerdo a los conceptos discutidos en la presente; La FIGURA 2 muestra una modalidad de un método para decodificar cuadros de video de acuerdo a los conceptos discutidos en la presente; y La FIGURA 3 muestra una modalidad de un sistema en el cual los conceptos de codificador y descodificador discutidos en la presente pueden emplearse de manera ventaj osa.

Descripción Detallada de la Invención La FIGURA 1 muestra una modalidad 10 de un método para codificar/comprimir cuadros de video de acuerdo a los conceptos discutidos en la presente. Este método puede usarse, a manera de ej emplo, en el sistema 30 mostrado en la FIGURA 3. Los métodos 10 y 20 pueden ser, por ej emplo, software que corre en los procesadores 32- 1 , 34- 1 , respectivamente. También, los métodos pueden estar en firmware o ASICs si se desea.

La FIGURA 1 ilustra una modalidad de un proceso de compresión que realiza las ventaj as descritas arriba, y que alcanza objetivos importantes de un sistema de almacenamiento o transmisión de video efectivo, incluyendo el uso de velocidades de transferencia muy bajas para una calidad perceptual dada mientras que mantiene una calidad de imagen satisfactoria en escenarios de ancho de banda bajos. El sistema tiene la capacidad de soportar control de paso sencillo preciso de velocidades de transferencia de corriente de video comprimidas mientras que tiene manej o robusto de escenas 'difíciles' tales como movimiento alto, movimiento variable, o video caótico con un mínimo de artefactos inaceptables o distractores. La salida del proceso de compresión/codificación es un par de corrientes de video 1 02 y 103, significa las corrientes 'portador C y 'detalle D', respectivamente. Estas corrientes se conducen al proceso decodificador/descompresor 20 en la FIGURA 2 que muestra una modalidad de un método para decodificar cuadros de video de acuerdo a los conceptos discutidos en la presente. Como se discutirá, el proceso 20 ilustra un proceso de descompresión, complementario al proceso de compresión de la FIGURA 1 , que decodifica y reconstruye el video mientras que simultáneamente minimiza la apariencia perceptible de distorsiones o artefactos relacionados con la naturaleza altamente comprimida del video codificado.

Pasando ahora a la FIGURA 1 , el proceso 1 1 extrae, comprime y codifica los componentes espaciales de baj a frecuencia de la corriente de video entrante para producir 'corriente portadora C 1 02. El ancho de banda espacial bajo de esta corriente portadora implica que tiene contenido de información limitado, y de esta manera es altamente comprimible. Los anchos de banda espaciales mantenidos deben ser suficientemente baj os para asegurar que la corriente portadora, cuando se descomprime, evita artefactos de bloque. Los anchos de banda espaciales mantenidos deben ser suficientemente altos para asegurar que la corriente portadora, cuando se descomprime, proporciona una representación de detalle baj o visualmente satisfactorio de la corriente de video original.

La extracción de componentes de baj a frecuencia y compresión/codificación posterior descrita arriba puede alcanzarse en cualquiera de un número de métodos bien conocidos. Un método ej emplar es realizar un sub-muestreo de dominio de frecuencia, que resulta en una corriente de detalle bajo para compresión/codificación eficiente. Un ej emplo de un proceso de sub-muestreo de dominio de frecuencia adecuado será realizar un DCT (transformación del coseno discreto) en bloques de 8x8 del video fuente, descarta todo pero el bloque 2x2 de la parte superior izquierda de los coeficientes resultantes, escalan los coeficientes de la derecha, del fondo, y del fondo-de la derecha de tal subconjunto 2x2 hacia abajo para reducir ligeramente la información de frecuencia alta, y luego realizar un DCT inverso en los bloques 2x2 resultantes para generar una imagen de muestra espacialmente hacia abajo con características de frecuencia susceptibles para compresión eficiente por un proceso codificado con base en DCT convencional .

El resto del proceso 1 0 está dedicado a crear la corriente de salida de 'detalle D' 1 03. De manera conceptual, la corriente de detalle puede ser considerado como el 'resto' del video de manera que la suma de las corrientes portadora C y de detalle D, si se codifican sin perdida, reproducen el video original. En la práctica, este es el método para producir y manipular la corriente de detalle que crea muchas las ventaj as de este método de compresión.

El proceso 12 decodifica la corriente portadora codificada del proceso 1 1 en la misma manera como se decodificará en el proceso 20 (Figura 2) . Esto produce una aproximación del video original. El proceso 13 sustrae la corriente de video original V de la corriente de video "aproximada" Cdec - Esto produce los datos de video en detalle vírgenes que, si pueden enviarse al decodificador sin pérdida, deben permitirse para la reconstrucción exacta del video original en el lado decodificado .

Un punto importante a señalar es que los datos de detalle vírgenes incorporan 'correcciones' para cualquiera de los artefactos que pueden introducirse en el proceso codificado portador, debido a que se derivó del portador en exactamente la misma manera como se hace en el decodificador. Esto constituye un bucle de retroalimentación en el codificador que puede sustancialmente incrementar la calidad del video regenerado por el decodificador.

Los datos de video de detalle vírgenes del proceso 13 están en la forma de valores señalados centrados alrededor de cero, típicamente usando representación de 8 bit señalada para cada canal de color de un componente, aunque otras representaciones son igualmente válidas. Los datos de detalle también son generalmente de magnitud pequeña, especialmente en regiones del video original que son espacialmente lisas y de esta maner.a bien aproximadas por la corriente portadora.

Los procesos 14, 1 5 y 16 pertenecen a la supresión de detalle selectiva aplicada a los datos de video de detalle para eliminar detalle imperceptible o de otra manera irrelevante para producir una corriente de detalle de 'sintonización'. Los procesos de supresión de detalle generan coeficientes de supresión correspondientes a áreas de la corriente de detalle a suprimirse o retenerse.

Un método de supresión de detalle ej emplar está representado por el proceso 1 6 en el cual el video fuente se analiza por medio de técnicas de movimiento-estimación convencionales para encontrar la ubicación y magnitud del movimiento del video original con objeto de determinar áreas donde la magnitud del movimiento inicia para enfocar los límites de velocidad de respuesta del HVS. En áreas donde poco o ningún movimiento se detecta, los coeficientes de supresión se establecen para conservar las áreas de corriente de detalle correspondiente (sin supresión). En áreas donde la velocidad de movimiento excede los límites de velocidad de respuesta de HVS, los coeficientes de supresión s establecen para eliminar las áreas de corriente de detalle correspondiente (supresión completa). Las magnitudes de movimiento entre estos límites resultan en supresión parcial de coeficientes de señalización de las áreas de corriente de detalle correspondientes, que varían desde sin supresión hasta supresión completa de acuerdo a la magnitud.

Se nota que el movimiento estimado requerido para el proceso de arriba puede derivarse en muchas formas. Por ej emplo, el movimiento estimado puede obtenerse del codificador portador, si el codificador es un codificador con base en bloque que usa estimación de movimiento de manera interna. Esto tiene el efecto práctico de reducir la cantidad de tiempo codificado gastado haciendo la estimación del movimiento, pero no se requiere restrictamente.

Otros métodos de manejo/supresión de detalles, tales como reconocimiento facial 1 5 , detalles de área periféricas sin enfatizar, o énfasis/sin énfasis de otras regiones de sensibilidad/insensibilidad HVS conocidas, o de interés/desinterés relativo también pueden usarse solos o en combinaciones, cada uno de los coeficientes de supresión suministrados para aplicarse a la corriente de detalle por el proceso 1 7.

El proceso 1 7 puede ser cualquiera de los procesos bien conocidos para aplicar coeficientes de supresión para conservar o eliminar áreas de detalle. Un tal proceso involucra multiplicación sencilla de valores de detalle por coeficientes de supresión representados como valores de escala que varían de manera espacial en el intervalo desde 0.0 hasta 1 .0. En áreas donde el detalle es para suprimirse completamente, el valor de coeficiente de supresión correspondiente es 0.0, mientras que las áreas donde el detalle es para conservarse completamente tienen un coeficiente de supresión correspondiente de 1 .0. La supresión parcial se alcanza por valores de coeficiente mayores que 0.0 y menores que 1 .0. La naturaleza de los datos de detalle (valores centrados en cero de magnitud generalmente baj a) es bien adecuada para permitir la supresión sencilla de este tipo. Un método de supresión alterna puede realizar cuantificación de los datos de corriente de detalle de manera que las áreas a conservarse completamente se cuantifican muy finamente (esto es luminancia completamente conservada y exactitud de crominancia), mientras que las áreas a suprimirse se cuantifican más toscamente de acuerdo al nivel de supresión. En este caso, los valores de detalle cuantificados más toscamente se establecen hasta cero .

En algunas situaciones (tal como codificación de video de paso sencillo para canales limitados de ancho de banda), es deseable limitar la velocidad de transferencia de la corriente de detalle codificada. En una modalidad, después de que la corriente de video de detalle se ha 'sintonizado ' por el proceso 14 pero antes de la codificación, el proceso 1 8 se estima para cada cuadro que está procesado que el tamaño de salida comprimido/codificado es probable para ser. Para la mayoría de los métodos codificados, esto puede estimarse con bastante exactitud (- 15 %). Dado este estimado, el sistema puede retroactivamente ajustar la cantidad de datos a codificarse de manera que la velocidad de transferencia obj etivo se alcanza mejor. La forma centrada a cero de los datos de detalle es de manera que los métodos de supresión de detalle pueden fácilmente aplicarse. Esto puede ser los mismos métodos de supresión de detalle descritos arriba para eliminar (o de otra manera volverse más compresibles) porciones de prioridad inferior de los detalles.

El proceso 1 8 puede determinar la prioridad de un área de detalle en varias formas. Un métrico sencillo tal como energía de promedio (esto es desviación estándar) de un área de detalle es un ej emplo. Las áreas eliminadas con desviación estándar baj a tendrán poco efecto perceptible en el video decodificado, pero el proceso puede rápidamente reducir la cantidad de datos a codificarse hasta que cae dentro del ancho de banda obj etivo . Los métricos de priorización más sofisticados, tales como análisis de punto central o región periférica de énfasis, también pueden usarse.

El proceso 19 abarca la codificación actual de la corriente de video de detalle. El método codificado debe idealmente ser bien adecuado para codificar datos de video de frecuencia espacial alta, y no necesita ser el mismo método codificado como se usa en el proceso 1 1 . Después de codificar cada cuadro, la velocidad de transferencia alcanzada puede compararse con la velocidad de transferencia obj etivo, mientras que retroalimenta cualquier error de velocidad de transferencia al proceso 1 8 para mejorar los estimados de compresión posteriores. Con esta retroalimentación y la capacidad de ajustar arbitrariamente la cantidad de datos de detalle a retenerse, el control fino sobre la velocidad de transferencia de salida puede alcanzarse sin necesariamente recurrir a pasos codificados múltiples. Una velocidad de transferencia obj etivo alcanzable es 1/1003 de un bit por pixel (bpp) .

Se nota que en el caso de codificadores con base en DCT, el proceso 190 se usa como un proceso posterior para complementar o eliminar el bucle de retroalimentación de arriba y directamente modificar macrobloques en la corriente de salida generada hasta que las restricciones de ancho de manda se cumplan. De nuevo aquí la naturaleza centrada a cero de la corriente de detalle hace posible ahorrar el ancho de banda al calibrar efectivamente los contenidos de macrobloques de prioridad baj a hasta que los objetivos de ancho de banda se cumplan. Tal calibración de contenido debe ser inválida en una corriente codificada con base en DCT convencional debido al alto contenido DC. Esta sintonización de detalle de ajuste posterior hace posible alcanzar límites de ancho de banda obj etivos con alta precisión sin requerir pasos codificados caros múltiples. Este procesamiento posterior es más difícil que el preprocesamiento del proceso 1 8 debido a que la corriente de bits codificada debe analizarse/descomponerse para expresar información de macrobloque, modificada para anular macrobloques de baj a prioridad, y luego recomponerse, pero alcanza mejor precisión por cuadro.

Una característica importante del proceso codificado de detalle es que a pesar de la velocidad de transferencia relativamente baj a (con relación a aquella normalmente requerida para representar cuadros en la resolución dada), es inmune a efectos de bloqueo aún si el codificador usado es con base en bloqueo (con base en DCT) . El bloqueo ocurre cuando los macrobloques adyacentes en una imagen decodificada tienen poco o ningún detalle dentro de ellos pero tienen niveles DC diferentes. Ya que en la corriente de detalle cada macrobloque codificado está centrado a cero, y no existe esencialmente información DC presente, no puede existir compensación DC para producir el bloqueo.

Como un asunto práctico, debe notarse que la mayoría de codificadores de video convencionales no pueden directamente manej ar datos de entrada firmados. En tales casos, un valor de compensación (típicamente 128 para datos de imagen con una profundidad de bit de 8) debe agregarse a los datos firmados para producir valores no firmados adecuados para compresión. Esto no afecta la ventaj a de 'inmunidad de bloque' descrita arriba, ya que cada macrobloque se vuelve centrado a 128 en vez de centrado a cero. No existe todavía esencialmente fuente de compensación de frecuencia DC/baj a para producir efectos de bloque.

Debe notarse que ya que la corriente de detalle se comprime muy fuertemente, es para esperarse que los artefactos de compresión se introducirán. Esto es efectivamente el caso, pero aquellos artefactos tienden a ser más sutiles en naturaleza que los artefactos de bloqueo altamente visibles típicos de video altamente comprimido usando técnicas con base en DCT. Para la corriente de detalle, el artefacto más prevalente ocurre cuando existe ancho de banda insuficiente para enviar nuevos datos de detalle para un macrobloque y en cambio el decodificador simplemente duplica los mismos contenidos de macrobloque como existentes en el cuadro previo. Estos contenidos de macrobloque copiados, aunque generalmente tienen poca energía de imagen, crean la impresión de un 'neblina' que permanece fijo aún cuando la imagen portadora subyacente, y otras partes del cambio de imagen de detalle. Un beneficio crítico de la presente invención es que este tipo de artefacto puede generalmente detectarse y repararse en el lado decodificado, resultando en una pérdida más sutil de detalle más que una forma de artefacto altamente visible. El proceso para detectar y tratar este tipo de artefacto se discute en la descripción de operación decodificada a continuación.

La FIGURA 2 muestra una modalidad 20 de un método para la decodificación de datos de video previamente comprimidos de acuerdo al método 1 0. El proceso 21 descomprime la corriente portadora C 1 02 (de la FIGURA 1 ) y el proceso 22 descomprime la corriente de detalle D 103 (de la FIGURA 1 ).

Una modalidad decodificadora puede solo agregar el portador decodificado y la corriente de detalle (y restan la (por ej emplo) compensación 128 que puede aplicarse para codificación), resultando en una corriente de video mostrable. Esto es un enfoque viable para velocidad de transferencia relativamente alta codificada que no muestra un artefacto 'nublado' importante (como se describe previamente) . Sin embargo, para aquellas situaciones donde la compresión superior ha provocado un efecto 'nublado' perceptible, un proceso de limpieza adicional, tal como el proceso 23 , puede aplicarse.

El proceso 23 examina tanto los cuadros de detalle decodificado Ddec como portadores decodificados Cdec para encontrar macrobloques de detalle copiados que resultan en el efecto nublado. Existen muchas modalidades posibles de tal proceso, pero la idea central es usar la información de la corriente portadora de alta fidelidad confiable para determinar si la información de corriente de detalle de fidelidad superior es incorrecta o no confiable. Una modalidad preferida del proceso 23 consiste de una serie de pruebas como se describe a continuación. Estas pruebas se aplican a bloques de pixeles en los cuadros de video de detalle y los pixeles correspondientes de los cuadros de video portadores. Si las pruebas determinan que el bloque está 'nublado', sus contenidos se anulan (esto es no existe detalle, y sólo el portador se retiene en la ubicación correspondiente) . Se nota que los bloques a los cuales estas pruebas se aplican deben elegirse de acuerdo al método de codificación/descodificación con base en DC T usado para la corriente de detalle. Si el método marca sólo macrobloques completos que se copian, entonces los bloques probados aquí deben corresponder directamente a aquellos macrobloques. Si el método se permite para dividir macrobloques en sub-bloques que pueden marcarse individualmente para el proceso de copia, los bloques probados aquí deben corresponder a los sub-bloques.

Es posible para los resultados de una prueba de bloque también ser no concluyentes. Para tratar con esta situación, los resultados de la 'prueba de nublado' se retienen de cuadro a cuadro. Si un bloque se evaluó para estar 'nublado' en el cuadro previo y la prueba en el cuadro actual es no concluyente, retenemos la evaluación previa y asumimos que el bloque está nublado en este cuadro también. De manera similar, si el bloque no estuvo nublado en el cuadro previo, la misma evaluación se retiene si la prueba para el cuadro actual es no concluyente. Para el primer cuadro en una secuencia de video, se asume que todos los detalles son validos (y el 'estado, nublado' para cada bloque por omisión para 'sin nublado').

Las pruebas requieren acceso a tanto los cuadros de video de detalle como portadores actuales y a los cuadros de detalle y portadores inmediatamente previos (para detección de cambio). Las pruebas son como sigue (ejecutadas para cada bloque) : 1 ) Si los contenidos de bloque de detalle no se copiaron del cuadro previo, el bloque no está nublado (prueba final). Se nota que la determinación de si los contenidos se copiaron puede ser explícita o implícita: puede ser posible obtener las 'banderas de copia' directamente del decodificador, o alternativamente los contenidos de bloque de detalle pueden compararse entre cuadros con la suposición que un resultado exacto implica que el bloque de detalle se copió. 2) Si la desviación estándar de los contenidos de bloque de detalle es demasiado alta (esto es, fuertemente texturizado), el bloque es más probable para nublarse (prueba final) . La mayoría de los bloques 'nublados' son completamente planos (esto es, desviación estándar de cero) : energía alta en el bloque tiende a implicar que no es un artefacto . Además, la verdadera 'neblina' es menos obvia en áreas donde la imagen tiene un lote de textura natural aunque si se pierde algo de neblina debido a esta regla es probablemente para oscurecerse. El umbral 'alto' se especifica como un parámetro de control decodificador. Un valor de umbral 'alto' típico que se ha encontrado para trabaj ar en la práctica es aproximadamente 1 % del intervalo de brillo disponible total . 3) Si el valor medio de los contenidos de bloque de detalle está 'demasiado lej os' de cero, tiene demasiada energía para considerarse para nublarse (prueba final). El umbral 'demasiado lejos' se especifica como un parámetro de control decodificador. Un valor medio típico que se ha encontrado para trabaj ar en la práctica es aproximadamente 4% del intervalo de brillo disponible total . 4a) Si el pixel portador correspondiente al bloque actual ha cambiado 'significativamente' desde el último cuadro, entonces el bloque más probablemente está 'nublado' y de anularse (prueba final). El umbral 'significativamente' se especifica como un parámetro de control decodificador. Un valor de umbral 'significativamente' típico que se ha encontrado para trabaj ar en la práctica es aproximadamente 0.5% del intervalo de brillo disponible total . 4b) Si la estimación de movimiento en el portador indica que la imagen en la vecindad del bloque actual es mueve, entonces el bloque más probablemente está 'nublado' y debe restaurarse a cero (prueba final). Se nota que esta prueba puede prohibirse para hardware decodificado económico, y por lo tanto puede considerarse opcional. 5) La prueba fue ambigua: ni el portador ni el detalle ha cambiado, y la energía es bastante lenta. Se reutiliza el resultado de la evaluación del cuadro previo.

El proceso 24 suma la corriente portadora Cdec y la corriente de detalle 'no nublada' (esto es limpia) para producir el video reconstruido final V 201 .

La FIGURA 3 muestra una modalidad 30 del uso de los conceptos discutidos en la presente. En el sistema de video 30 (y audio) se proporciona como una entrada 3 1 . Esto puede venir de almacenamiento local, no se muestra, o recibirse de las corrientes de datos de video de otra localización. Este video puede llegar en muchas formas, tal como a través de una corriente de emisión en vivo, o archivo de video y puede pre-comprimirse antes de recibirse por el codificador 32. El codificador 32, usando los procesos discutidos en la presentes procesa los cuadros de video baj o control del procesador 32- 1 . La salida del codificador 32 puede ser para un dispositivo de almacenamiento de archivo (no se muestra) o suministrarse como una corriente de video, quizá por medio de red 33 , para un decodificador, tal como decodificador 34. En una modalidad, el proceso 1 0 debe realizarse por el decodificador 32 y el proceso 20 debe realizarse por el decodificador 34. La transmisión del decodificador al codificador puede realizarse en cualquier manera bien conocida usando transmisión cableada o inalámbrica mientras que conserva el ancho de banda en el medio de transmisión.

Si más de una corriente de video se suministra al decodificador 34 entonces los varios canales de la corriente digital pueden seleccionarse por el sintonizador 34-2 para decodificación de acuerdo a los procesos discutidos en la presente. Se nota que los varios canales de video pueden enviarse de una localización sencilla, tal como desde el codificador 32, o de diferentes locaciones, no se muestran. Las corrientes de video decodificadas de salida pueden almacenarse en el almacenamiento 35 o exhibirse por una o más pantallas 36 o, si se desea, distribuirse (no se muestra) a otras locaciones. También se nota que la corriente portadora y la corriente de detalle necesaria no se transmiten al mismo tiempo o en el mismo medio de transmisión, con la condición de que antes de la recombinación las dos corrientes se coordinan apropiadamente.

Aunque la presente invención y sus ventaj as se han descrito en detalle, debe entenderse que varios cambios, sustituciones y alteraciones pueden hacerse en la presente sin alej arse del espíritu y alcance de la invención como se define por las reivindicaciones anexas. Por lo tanto, el alcance de la solicitud actual no se pretende para limitarse a las modalidades particulares del proceso, máquina, fabricación, composición de materia, medios, métodos y etapas descritas en la especificación. Como alguien de experiencia ordinaria en la técnica apreciará fácilmente de la descripción de la presente invención, procesos, máquinas, fabricación, composiciones de materia, medios, métodos, o etapas, actualmente existentes o que después se desarrollaran que realizan sustancialmente la misma función o alcanzan sustancialmente el mismo resultado como las modalidades correspondiente descritas en la presente pueden utilizarse de acuerdo a la presente invención. En consecuencia, las reivindicaciones anexas se pretenden para incluir dentro de su alcance tales procesos, máquinas, fabricación, composiciones de materia, medios, métodos, o etapas.

Claims (26)

REIVINDICACIONES

1 . Un método para suministrar una corriente de video digital, el método caracterizado porque comprende: sustraer componentes de baja frecuencia identificados de la corriente de video digital para producir una corriente de video sólo AC y una corriente de datos de baja frecuencia; codificar la corriente de video sólo AC; codificar la corriente de video de baj a frecuencia en una velocidad de transferencia suficiente para evitar artefactos de bloque; y suministrar ambas de las corrientes de video codificadas a una locación remota de la locación codificada.

2. El método de conformidad con la reivindicación 1 caracterizado porque comprende: decodificar las corrientes de video sólo AC y de baja frecuencia codificadas en la localización remota para recrear la señal de video digital.

3. El método de conformidad con la reivindicación 2 caracterizado porque comprende: algorítmicamente eliminar artefactos indeseables de la señal de video recreada.

4. El método de conformidad con la reivindicación 3 caracterizado porque los artefactos indeseables se crean, al menos en parte, por macrobloques copiados a través de cuadros de la corriente de video, y en donde los macrobloques copiados se determinan al : examinar tanto las corrientes de video sólo AC como de baj a frecuencia decodificados, y usar la información de la corriente de video de baj a frecuencia para determinar cuando la información contenida en la corriente sólo AC baj a es inestable.

5. El método de conformidad con la reivindicación 3 caracterizado porque la velocidad de transferencia puede ser tan baj a como 1 / 100a' de un bit por pixel (bpp).

6. El método de conformidad con la reivindicación 2 caracterizado porque comprende: remover ciertos detalles de la corriente de video sólo AC previo a la codificación de la corriente de video sólo AC, los detalles removidos son tales como para tener un impacto bajo en un sistema de visión humano (HVS) .

7. El método de conformidad con la reivindicación 6 caracterizado porque los detalles removidos se seleccionan usando criterios de la lista de: estimación de movimiento, detección facial, detección de área periférica.

8. El método de conformidad con la reivindicación 6 caracterizado porque comprende: priorizar el detalle removido con base en una velocidad de transferencia de transmisión particular.

9. El método de conformidad con la reivindicación 6 caracterizado porque la velocidad de transferencia particular está en el intervalo de 1/ 1 00a bpp.

10. El método de conformidad con la reivindicación 6 caracterizado porque comprende: anticipar un tamaño de salida comprimido para una corriente de video en un punto en el tiempo; y usar el tamaño de salida anticipado para controlar una cantidad de detalle removido de la corriente de video.

1 1 . El método de conformidad con la reivindicación 1 caracterizado porque la sustracción comprende: decodificar la corriente de video de baj a frecuencia codificada y sustraer la corriente de vídeo de baja frecuencia decodificada de la corriente de video de entrada digital .

12. El método de conformidad con la reivindicación 2 caracterizado porque comprende además : sumini strar la corriente de video recreada a una pantalla de manera que un HVS que observa la pantalla se interrumpe de manera mínima por datos removidos de la corriente de video de entrada por la codificación de la corriente de video sólo AC .

1 3. Un sistema para compresión de corriente de video, caracterizado porque el sistema comprende: un procesador para separar una corriente de video disponible en la primera y segunda corrientes de video, la primera corriente de video que contiene exclusivamente datos de baj a frecuencia obtenidos de la corriente de video disponible y la segunda corriente de video que contiene todos los datos restantes obtenidos de la corriente de video disponible; el procesador opera además para suprimir ciertos detalles de la segunda corriente de video para producir una tercera corriente de video con contenido de información reducido ; y un transmisor para enviar tanto la primera como la tercera corrientes de video a una locación remota en formato comprimido.

14. El sistema de conformidad con la reivindicación 13 caracterizado porque comprende: decodificadores para independientemente descomprimir tanto la primera como tercera corrientes de video codificadas; y un contabilizador para combinar la primera y tercera corrientes de datos de video descomprimidas.

1 5. El sistema de conformidad con la reivindicación 14 caracterizado porque comprende: una pantalla para exhibir las corrientes de video descomprimidas combinadas para un observador de manera que el observador recibirá una experiencia visual similar como aquella proporcionada por la corriente de video original a pesar de que la corriente de video combinada son datos perdidos que representan ciertos detalles.

1 6. El sistema de conformidad con la reivindicación 1 5 caracterizado porque los ciertos detalles perdidos pertenecen al menos a uno de los siguientes: detalles de movimiento rápido, detalles periféricos, detalles no faciales.

1 7. El sistema de conformidad con la reivindicación 14 caracterizado porque comprende: un dispositivo de almacenamiento para almacenar la primera y tercera corrientes de video .

1 8. Un método para comprimir una corriente de video digital de entrada, el método caracterizado porque comprende: filtrar espacialmente componentes de baja frecuencia de la corriente de video de entrada para crear una corriente portadora codificada; decodificar la corriente portadora; producir una corriente de video de detalle virgen al sustraer la corriente portadora decodificada de la corriente de video; producir una corriente de video de detalle de sintonización al aplicar supresión a ciertos detalles en la corriente de video de detalle virgen; y codificar la corriente de video de detalle de sintonización.

19. El método de conformidad con la reivindicación 1 8 caracterizado porque comprende: almacenar tanto la corriente de video de detalle de sintonización codificada como la corriente portadora codificada.

20. El método de conformidad con la reivindicación 1 8 caracterizado porque comprende: truncar la corriente de video de detalle de sintonización para conformar a una velocidad de transferencia deseada.

21 . El método de conformidad con la reivindicación 1 8 caracterizado porque la supresión comprende: generar coeficientes relativos a ciertos aspectos de una corriente de video, los aspectos que pertenecen a al menos un atributo de una corriente de video seleccionados de la lista de: detalles faciales, estimación de movimiento, detalles periféricos.

22. El método de conformidad con la reivindicación 1 8 caracterizado porque comprende: transmite tanto la corriente de video de detalle de sintonización codificada como la corriente portadora codificada a un decodificador.

23. El método de conformidad con la reivindicación 22 caracterizado porque el decodificador realiza el método de: decodificar cada una de las corrientes de video transmitidas; y combinar las corrientes de video decodificadas en una corriente de salida.

24. El método de conformidad con la reivindicación 23 caracterizado porque comprende: presentar la corriente de salida a una pantalla de manera que un observador de la corriente de video de salida exhibida recibirá una experiencia visual similar como aquella proporcionada por la corriente de video de entrada aunque la corriente de video de salida combinada sea datos perdidos que representan los detalles suprimidos.

25. El método de conformidad con la reivindicación 24 caracterizado porque comprende: limpiar la corriente de video de detalle de sintonización decodificada antes de la combinación.

26. El método de conformidad con la reivindicación 25 caracterizádo porque la limpieza remueve efectos nublados de la corriente de video de salida.