MX2011000691A - Sistemas y metodos para mejorar la calidad de señales comprimidas de video al uniformizar artefactos de bloque. - Google Patents

Abstract

La presente invención se dirige a sistemas y métodos en los cuales, para una cantidad dada de datos requeridos para representar una señal de video comprimida, se mejora la calidad del video en tiempo real desplegado sin comprimir, como se percibe por un observador humano típico. Los sistemas y métodos en la presente alcanzan esta mejora al atenuar la aparición de bloques sin tener necesariamente un conocimiento previo de sus ubicaciones. Los métodos aquí descritos atenúan la aparición de estos bloques tal que la calidad del video resultante en tiempo real se mejora, cuando se percibe por HVS.

Description

SISTEMAS Y MÉTODOS PARA MEJORAR LA CALIDAD DE SEÑALES COMPRIMIDAS DE VIDEO AL UNIFORMIZAR ARTEFACTOS DE BLOQUE Campo de la Invención La descripción se refiere a señales de video digitales y más específicamente a sistemas y métodos para mejorar la calidad de señales de video digitales comprimidas al separar las señales de video en regiones de Desbloqueo y Detalle y al uniformizar la región de Desbloqueo.

Antecedentes de la Invención Es bien conocido que las señales de video se representan por grandes cantidades de datos digitales, con relación a la cantidad de datos digitales requeridos para representar la información de texto o señales de audio. Las señales de video digitales ocupan en consecuencia anchos de banda relativamente grandes cuando se transmiten a velocidades altas de bitios y especialmente cuando estas velocidades de bitios corresponderían a las señales de video digital en tiempo real demandada por dispositivos de exhibición de video.

En particular, la transmisión y recepción simultánea de un gran número de distintas señales de video, sobre tales canales de comunicaciones como cable o fibra, a menudo se alcanza al multiplexar por frecuencia o multiplexar por tiempo estas señales de video de manera que comparten los anchos de banda disponibles en los diversos canales de comunicación.

Los datos de video digitalizados se aloj an típicamente con el audio y otros datos en archivos de medio formateados de acuerdo con estándares de formateo acordados internacionalmente (por ej emplo MPEG2 , MPEG4, H264). Tales archivos se distribuyen y multiplexan típicamente sobre la Internet y se almacenan separadamente en memorias digitales de computadoras, teléfonos celulares, grabadoras de video digitales y en discos compactos (CDs) y discos de video digitales (DVDs) . Muchos de estos dispositivos se fusionan físicamente e indistinguiblemente en dispositivos sencillos.

En el proceso de crear archivos de medios formateados, los datos del archivo se someten a varios niveles y tipos de compresión digital con objeto de reducir la cantidad de datos digitales requerida para su presentación, reduciendo por ello el requerimiento de almacenamiento de memoria así como el ancho de banda requerido para su transmisión simultánea fiel cuando se multiplexa con otros múltiples archivos de video.

La Internet proporciona un ej emplo especialmente complejo del suministro de datos de video en el cual los archivos de video se multiplexan en muchas maneras diferentes y sobre muchos canales diferentes (es decir, trayectorias) durante su transmisión descargada desde el servidor centralizado al usuario final. Sin embargo, en virtualmente todos los casos, es deseable que, para una fuente de video digital original dada y una calidad dada del video exhibido y recibido por el usuario final, el archivo de video resultante se comprima hasta el tamaño más pequeño posible.

Los archivos de video formateados representan una película digitalizada completa. Los archivos de película pueden descargarse ' a pedido' para exhibición y observación inmediata en tiempo real o para almacenar en dispositivos de grabación del usuario final, tal como grabadoras de video digitales, para observación más tarde en tiempo real .

La compresión del componente de video de estos archivos de video por lo tanto no sólo conserva el ancho de banda, para los propósitos de transmisión, sino también reduce la memoria general requerida para almacenar tales archivos de película.

En el extremo receptor de los canales de comunicación antes mencionados, se emplean típicamente dispositivos de almacenamiento y cómputo de usuario sencillo. Ejemplos actualmente distintos de tales dispositivos de usuario sencillo son la computadora personal y convertidor de señal de TV, cualquiera o ambos de los cuales típicamente se conectan en la salida al dispositivo de exhibición de video del usuario final (por ej emplo TV), y se conecta a la entrada, ya sea directamente o indirectamente, a una línea de cable de distribución de cobre alámbrica (es decir TV por Cable). Típicamente, este cable porta simultáneamente cientos de señales de video digital multiplexadas en tiempo real y a menudo se conecta a la entrada a un cable de fibra óptica que porta las señales de video terrestres desde un distribuidor local de programación de video. Los platos de satélite de usuario final también se usan para recibir señales de transmisión de video. Si el usuario final emplea señales de video que se suministran por medio de cable terrestre o satélite, convertidores de señal de TV digital de usuario final, o sus equivalentes, se usan típicamente para recibir señales de video digitales y para seleccionar la señal de video particular que se observa (es decir el llamado Canal de TV o Programa de TV) . Estas señales de video digital transmitidas a menudo están en formatos digitales comprimidos y por lo tanto deberán descomprimirse en tiempo real después de la recepción por el usuario final.

La mayoría de los métodos de compresión de video reducen la cantidad de datos de video digital al conservar sólo una aproximación digital de la señal de video descomprimida. En consecuencia, existe una diferencia medible entre la señal de video original antes de comprimir y descomprimir la señal de video. Esta diferencia se define como la distorsión de video . Para un método dado de compresión de video, el nivel de distorsión de video casi siempre se vuelve más grande en la medida que la cantidad de datos en los datos de video comprimidos se reduce al elegir parámetros diferentes para aquellos métodos. Esto es, la distorsión de video tiene a incrementarse con los niveles incrementados de compresión.

Ya que el nivel de compresión de video se incrementa, la distorsión de video eventualmente se vuelve visible al sistema de visión humano (HVS, por sus siglas en inglés) y eventualmente esta distorsión se vuelve visiblemente obj etable al observador típico del video en tiempo real en el dispositivo de exhibición elegido. La distorsión de video se observa como los llamados artefactos. Un artefacto es un contenido de video observado que se interpreta por el HVS como que no pertenece a la escena de video no comprimida original.

Existen métodos para atenuar significativamente artefactos visiblemente obj etables de video comprimido, ya sea durante o después de la compresión. La mayoría de estos métodos aplica sólo a métodos de compresión que emplean Transformada de Coseno Discreto (DCT, por sus siglas en inglés) bi-dimensional (2D) basado en bloque, o aproximaciones del mismo. En lo siguiente, se referirá a estos métodos como basados en DCT. En tal caso, por el momento el artefacto más visiblemente obj etable es la aparición de bloques de artefacto en la escena de video exhibida.

Existen métodos para atenuar los bloques de artefacto típicamente ya sea al buscar los bloques o al requerir un conocimiento a priori de donde se localizan en cada cuadro del video.

El problema de atenuar la aparición de artefactos visiblemente obj etables se dificulta especialmente por el caso que sucede ampliamente donde los datos de video se han comprimido y descomprimido previamente, quizá más de una vez, o donde se ha re-alineado, re-formateado o re-mezclado en color previamente. Por ej emplo, los datos en video se han re-formateado desde el formato NTSC al PAL o convertir desde el formato RGB al YCrCb. En tales casos, un conocimiento priori de las ubicaciones de los bloques de artefacto es casi ciertamente desconocido y por lo tanto los métodos que dependen de este conocimiento no trabaj an.

Los métodos para atenuar la aparición de artefactos de video no deberán agregarse significativamente a la cantidad general de datos requerida para representar los datos en video comprimidos. Esta limitante es un desafío de diseño mayor. Por ej emplo, cada uno de los tres colores de cada pixel en cada cuadro del video exhibido se representa típicamente por 8 bits, por lo tanto aumentando hasta 24 bits por pixel coloreado. Por ej emplo, si se presiona hasta los límites de compresión donde son evidentes artefactos visiblemente obj etables, el estándar de compresión de video H264 (basado en DCT) es capaz de realizar la compresión de datos de video correspondientes a su extremo inferior hasta aproximadamente 1 /40 de un bit por pixel. Por lo tanto esto corresponde a una relación de compresión promedio de mejor de 40x24=960. Cualquier método para atenuar los artefactos de video, a esta relación de compresión, deberían agregar por lo tanto un número importante de bits con relación a 1 /40 de un bit por pixel . Se requieren métodos para atenuar la aparición de artefactos de bloque cuando la relación de compresión es tan alta que el número promedio de bits por pixel es típicamente menos de 1 /40 de un bit.

Para métodos de compresión basados en DCT y otros basados en bloque, los artefactos visiblemente obj etables más serios están en la forma de bloques rectangulares que varían típicamente con tiempo, tamaño y orientación en maneras que dependen de las características espacio-temporales locales de la escena de video . En particular, la naturaleza de los bloques de artefacto depende de los movimientos locales de los obj etos en la escena de video y en la cantidad de detalle espacial que contienen aquellos obj etos. Ya que la relación de compresión se incrementa por un video particular, los codificadores de video basados en DCT basados en MPEG asignan progresivamente algunos bitios a las llamadas funciones base cuantificadas que representan las intensidades de los pixeles dentro de cada bloque. El número de bits que se asignan en cada bloque se determina con base en el conocimiento psico-visual extensivo a cerca del HVS . Por ej emplo, las formas y bordes de los obj etos en video y las trayectorias temporales uniformizadas de sus movimientos son importantes psico-visualmente y por lo tanto los bits deberían asignarse para asegurar su fidelidad, como en todos los métodos basados en MPEG DCT.

Cuando el nivel de compresión se incrementa, y en su obj etivo de mantener la fidelidad arriba mencionada, el método de compresión (en el llamado codificador) asigna eventualmente una intensidad constante (o casi constante) a cada bloque y este bloque-artefacto que usualmente es el más obj etable visualmente. Se estima que si el bloque de artefacto difiere en intensidad uniforme relativa por más del 3 % de los de sus bloques vecinos inmediatos, entonces la región espacial que contiene estos bloques es visiblemente objetable. En escenas de video que se han comprimido pesadamente usando métodos tipo DCT basados en bloque, las regiones grandes de muchos cuadros contienen tales artefactos de bloque.

Breve Descripción de la Invención La presente invención se dirige a sistemas y métodos en los cuales, para una cantidad dada de datos requerida para representar una señal de video comprimida, la calidad del video en tiempo real exhibido no comprimido, como se percibe por un observador humano típico, se mejora. Los sistemas y métodos en la presente alcanzan esta mejora al atenuar la apariencia de bloques sin necesariamente tener conocimiento a priori de sus localizaciones. En algunas modalidades, los métodos descritos en la presente atenúan la apariencia de estos bloques de manera que la calidad del video en tiempo real resultante, como se percibe por el VHS, se mejora.

En términos de la diferencia de intensidad entre las versiones comprimidas y no comprimidas de un video, las regiones de bloqueo no pueden ser los colaboradores más grandes para una métrica matemática de distorsión de video general. Existe típicamente distorsión matemática importante en las regiones detalladas de un video pero la ventaj a se toma del hecho de que el HVS no percibe tal distorsión tan fácilmente como percibe la distorsión debido a artefactos de bloqueo. ' En las modalidades discutidas en la presente, la primera etapa del método separa las representaciones digitales de cada cuadro en dos partes referidas como la región Desbloqueada y la región de Detalle. La segunda etapa del método opera en la región Desbloqueada para atenuar los artefactos de bloqueo que resultan en una región Desbloqueada uniformizada. La tercera etapa del método recombina la región Desbloqueada uniformizada y la Región de Detalle.

En una modalidad, la identificación de la región Desbloqueada comienza al seleccionar regiones candidato y luego comparar cada región candidato contra su región de vecindad que la rodea usando un conjunto de criterios, tales como : a. Criterios de planicidad de intensidad (F), b. Criterios de discontinuidad (D) y c. Criterios de Vista adelante/vista atrás (L).

Lo anterior ha resumido bastante ampliamente las características y ventaj as técnicas de la presente invención con obj eto de que la descripción detallada de la invención que sigue pueda entenderse mejor. Se describirán características y ventaj as adicionales de la invención, de aquí en adelante que forman el obj etivo de las reivindicaciones de la invención. Se apreciará por aquellos expertos en la técnica que la concepción y modalidad específica descrita puede utilizarse fácilmente como una base para modificar o diseñar otras estructuras para llevar a cabo los mismos propósitos de la presente invención. También se darán cuenta aquellos expertos en la técnica que tales construcciones equivalentes no salgan del espíritu y alcance de la invención como se establece en las reivindicaciones adjuntas. Las características novedosas que se consideran que son características de la invención, tanto como su organización y método de operación, junto con obj etivos y ventaj as adicionales se entenderán mejor a partir de la siguiente descripción cuando se consideran en conexión con las figuras acompañantes. Se entiende expresamente, sin embargo, que cada una de las figuras se proporciona sólo para el propósito de ilustración y descripción y no se pretende como una definición de los límites de la presente invención.

Breve Descripción de las Figuras Para un entendimiento más completo de la presente invención, se hace ahora referencia a las siguientes descripciones tomadas en conjunto con los dibujos acompañantes en los cuales: La FIGURA 1 muestra un cuadro de imagen en bloque típico; La FIGURA 2 muestra la región Desbloqueada (mostrada en negro) y región de Detalle (mostrada en blanco) correspondiente a la FIGURA 1 ; La FIGURA 3 muestra un ej emplo de la selección de pixeles aislados en un cuadro; La FIGURA 4 ilustra un acercamiento de Pixeles Candidatos C¡ que son pixeles x separados y que pertenecen a la Región de Detalle DET debido a que no satisfacen los Criterios de Desbloque; La FIGURA 5 ilustra una modalidad de un método para asignar un bloque a la región de Desbloque al usar una máscara cruzada de nueve pixeles; La FIGURA 6 muestra un ej emplo de una máscara cruzada de nueve pixeles usada en una ubicación particular dentro de un cuadro de imagen; La FIGURA 7 muestra una modalidad de un método para alcanzar una calidad de imagen de video mejorada; y La FIGURA 8 muestra las modalidades del uso de los conceptos discutidos en la presente.

Descripción Detallada de la Invención Un aspecto de la modalidad descrita es atenuar la aparición de artefactos de bloque en señales de video en tiempo real al identificar una región en cada cuadro de la señal de video para desbloquear usando criterios de planicidad y criterios de discontinuidad. Los criterios de gradiente adicional pueden combinarse para mejorar además la robustez. Usando estos conceptos, el tamaño del archivo de video (o el número de bits requerido en la transmisión de las señales de video) puede reducirse ya que los efectos visuales de artefactos asociados con el tamaño de archivo reducido pueden reducirse.

Una modalidad de un método para realizar estos conceptos consiste de tres partes con respecto a cuadros de imagen de la señal de video : 1 . Un proceso para identificar una región de Desbloque (DEB) que distingue la región de Desbloque desde una llamada Región de Detalle (DET); 2. Una operación aplicada a la región de Desbloque DEB para los propósitos de atenuar, por uniformización espacial, la aparición de artefactos de bloque en la región de Desbloque; y 3. Un proceso para combinar la región de Desbloque ahora uniformizada obtenida en la parte 2 con la Región de Detalle.

En el método de esta modalidad la operación de uniformizado espacial no opera fuera de la región de Desbloque: equivalentemente, no opera en la Región de Detalle. Como se discutirá en la presente, se emplean métodos para determinar que la operación de uniformizado espacial ha alcanzado los límites de la Región de Desbloque DEB de manera que el uniformizado no se presenta fuera de la Región de Desbloque.

Las señales de video que se han sometido previamente a tipos de video basados en bloque (por ej emplo compresión basada en DCT) y descompresión, y posiblemente para redimensionamiento y/o reformateado y/o re-mezclado de color, contienen típicamente residuos visiblemente obj etables de artefactos de bloque que se presenta primero durante operaciones de compresión previas. Por lo tanto, la remoción de artefactos que inducen el bloque no se alcanza completamente al atenuar la aparición de sólo aquellos bloques que se crearon en la última o actual operación de compresión.

En muchos casos, la información a priori acerca de las ubicaciones de estos bloques creados previamente no está disponible y los bloques en ubicaciones desconocidas a menudo contribuyen a artefactos obj etables. Las modalidades de este método identifican la región a des-bloquearse por medio de criterios que no requieren un conocimiento a priori de las ubicaciones de los bloques.

En una modalidad, se emplea el método de criterio de planicidad de intensidad y el criterio de discontinuidad-intensidad y/o criterios de gradiente-intensidad se usan para identificar la región de Desbloque de cada cuadro de video que se des-bloquea sin encontrar o identificar específicamente las ubicaciones de bloques individuales. La región de Desbloque consiste típicamente, en cada cuadro, de muchas sub-regiones no conectadas de varios tamaños y formas. Este método sólo depende de la información dentro del cuadro de imagen para identificar la región de Desbloque en tal cuadro de imagen. La región restante del cuadro de imagen, después de su identificación, se define como la región de Detalle.

Las escenas de video consisten de objetos de video. Estos objetos se distinguen y reconocen típicamente (por el HVS y las respuestas neurales asociadas) en términos de las ubicaciones y movimientos de sus bordes de intensidad y la textura de sus interiores. Por ej emplo, la FIGURA 1 muestra un cuadro de imagen 1 0 típico que contiene artefactos de bloque visiblemente obj etables que aparecen similarmente en el videoclip cuando se exhibe en tiempo real. Típicamente dentro de fracciones de un segundo, el HVS percibe y reconoce los obj etos originales en el correspondiente videoclip. Por ej emplo, el objeto cara 1 01 y sus sub-obj etos, tal como los ojos 14 y nariz 1 5, se identifican rápidamente por el HVS junto con el sombrero, que de nuevo contiene sub-objetos, tal como listones 1 3 y borde 12. El HVS reconoce el interior abierto grande de la cara como textura de piel que tiene muy poco detalle y se caracteriza por su color y sombreado suave.

Aunque no es visible claramente en el cuadro de imagen de la FIGURA 1 , pero es visible claramente en la correspondiente señal de video en tiempo real electrónicamente exhibida, los artefactos de bloque tienen varios tamaños y sus ubicaciones no se restringen a las ubicaciones de los bloques que se crearon durante la última operación de compresión. La atenuación sólo de los bloques que se crearon durante la última operación de compresión a menudo es insuficiente.

Este método toma ventaj a de la propiedad psico-visual que el HVS es especialmente consiente de, y sensible a, aquellos artefactos de bloque (y sus intensidades descontinuadas de borde asociadas) que se ubican en áreas abiertas relativamente grandes de la imagen donde hay una intensidad casi constante o intensidad de imagen que varía suavemente en la imagen original. Por ej emplo, en la FIGURA 1 , el HVS es relativamente inconsciente de cualquiera de los artefactos de bloque que se localizan entre las rayas del sombrero pero está especialmente consiente de, y sensible a, los artefactos de bloque que aparecen en la región suavemente sombreada abierta grande de la piel en la cara y también a los artefactos de bloque en el área abierta grande del lado izquierdo (debajo de) el borde del sombrero.

Como otro ej emplo de la sensibilidad del HVS a los artefactos de bloque, si el HVS percibe una imagen de video de una superficie sombreada plana coloreada uniformemente, tal como una pared iluminada, entonces la intensidad descontinuada del borde de bloque de más de alrededor de 3 % son obj etables visiblemente mientras que la intensidad descontinuada del borde de bloque similar es una imagen de video de un objeto altamente texturizado, tal como un campo altamente texturizado de hojas de pasto, son típicamente invisibles al HSV. Es más importante atenuar bloques en regiones de intensidad suave abiertas grandes que en regiones de detalle espacial alto. Este método explota esta característica del HVS .

Sin embargo, si la pared de arriba se oculta de la vista excepto en regiones aisladas pequeñas, el HVS de nuevo es relativamente inconsciente de los artefactos de bloque. Esto es, el HVS es menos sensible a estos bloques debido a que, aunque se localiza en regiones de intensidad suave, estas regiones no son suficientemente grandes. Este método explota esta característica del HVS .

Como un resultado de aplicar este método a un cuadro de imagen, la imagen es separada en al menos dos regiones: la Región de Desbloque y la Región de Detalle restante. El método puede aplicarse en una j erarquía de manera que la región de Detalle identificada primera es entonces por sí misma separada en una segunda región de Desbloque y una segunda Región de Detalle, y así recurrentemente.

La FIGURA 2 muestra el resultado 20 de identificar la región de Desbloque (mostrada en negro) y la región de Detalle (mostrada en blanco). Los ojos 14, nariz 1 5 y boca pertenecen a la región de Detalle (blanco) del obj eto cara, como lo hace la mayoría de la región del lado derecho del sombrero que tiene la textura detallada de rayas. Sin embargo, mucho del lado izquierdo del sombrero es una región de intensidad aproximadamente constante y por lo tanto pertenece a la región de Desbloque mientras que el reborde del borde 1 2 es una región de forma discontinua y corresponde a una parte de línea delgada de la región de Detalle.

Como se describe en lo siguiente, se emplean criterios para asegurar que la región de Desbloque es la región en la cual el HVS es más consciente de y sensible a los artefactos de bloque y es por lo tanto la región que se des-bloquea. La región de Detalle es entonces la región en la cual el HVS no es particularmente sensible a los artefactos de bloque. En este método, el Desbloqueo de la región de Desbloque puede alcanzarse por uniformizado de intensidad espacial. El proceso de uniformizado de intensidad espacial puede alcanzarse por filtrado de paso bajo o por otros medios. El uniformizado de intensidad atenúa significativamente las llamadas frecuencias espaciales altas de la región a uniformizarse y por ello atenúa significativamente lo discontinuo del borde de intensidad que está asociado con los bordes de los artefactos de bloque.

Una modalidad de este método emplea filtros de paso bajo espacialmente invariantes para uniformizar espacialmente la región de Desbloque identificada. Tales filtros pueden ser filtros de Respuesta a Impulso Infinita (IIR) o filtros de Respuesta a Impulso Finita (FIR) o una combinación de tales filtros. Estos filtros típicamente son filtros de paso bajo y se emplean para atenuar las llamadas frecuencias espaciales altas de la región de Desbloque, por ello afinando las intensidades y atenuando la aparición de artefactos de bloque.

Las definiciones anteriores de la región de Desbloque DEB y la región de Detalle DET no descartan un procesamiento de señal adicional de cualquiera o ambas regiones. En particular, usando este método, la región DET debería someterse a separación adicional en nuevas regiones DET l y DEB I donde DEB I es la segunda región para desbloquear (DEB I e DET), usando posiblemente un método de Desbloqueo diferente o filtro diferente que el que se usa para desbloquear DEB . La DEB I y DET l claramente son sub-regiones de DET.

La identificación de la región de Desbloque (DEB) requiere a menudo un algoritmo de identificación que tiene la capacidad de correr video en tiempo real. Para tales aplicaciones, los altos niveles de complej idad computacional (por ej emplo, algoritmos de identificación que emplean números grandes de operaciones que acumulan múltiplos (MAC) por segundo) tienden a ser menos deseables que los algoritmos de identificación que emplean relativamente pocas MACs/s y declaraciones lógicas sencillas que operan en enteros. Las modalidades de este método usan relativamente pocas MACs/s. Similarmente, las modalidades de este método aseguran que el intercambio de grandes cantidades de datos en y fuera de una memoria de off-chip se minimiza. En una modalidad de este método el algoritmo de identificación para determinar la región DEB (y por ello la región DET) explota el hecho de que los bloques más visiblemente obj etables en los videoclips muy comprimidos tienen intensidades casi constantes a través de sus interiores.

En una modalidad de este método, la identificación de la región de Desbloque DEB comienza al elegir Regiones Candidato C¡ en el cuadro . En una modalidad, estas regiones C¡ son tan pequeños como un pixel en tamaño espacial. Otras modalidades pueden usar regiones candidato C¡ que son más grandes que un pixel en tamaño. Cada región Candidato C¡ se prueba contra su región vecina circundante por medio de un conjunto de criterios que, si se cumplen, causan que C¡ se clasifique como que pertenecen a la región de Desbloque DEB del cuadro de imagen. Si C¡ no pertenece a la región de Desbloque, este conjunto pertenece a la región de Detalle DET. Nota, esto no implica que la colección de todo C¡ es igual a DEB , sólo que forman un sub-conjunto de DEB .

En una modalidad de este método, el conjunto de criterios usados para determinar si C¡ pertenece a la región de Desbloque DEB puede categorizarse como sigue: a. Criterios de planicidad de intensidad (F), b. Criterios de discontinuidad (D) y c. Criterios de Vista adelante/vista atrás (L) .

Si los criterios anteriores (o cualquier combinación útil de los mismos) se cumplen, las Regiones Candidato Ci se asignan a la Región de Desbloque (esto es, C¡ e DEB). Si no, entonces la Región Candidato C¡ se asigna a la Región de Detalle DET(C¡ e DET) . En una implementación particular, tal como cuando el Desbloque de un clip de video en particular, todos los tres tipos de criterios (F, D y L) no pueden ser necesarios. Además, estos criterios se pueden adaptar en la base de las propiedades locales del cuadro de imagen. Tales propiedades locales podrían se estadísticas o que podrían ser propiedades relacionadas con el codíficador/decodificador, tal como los parámetros de cuantificación o parámetros de movimiento usados como parte de los procesos de compresión y descompresión.

En una modalidad de este método, las Regiones Candidato C¡ se eligen, por razones de eficacia computacional, tal que se distribuyen escasamente en el cuadro de imagen. Esto tiene el efecto de reducir significativamente el número de Regiones Candidato C¡ en cada cuadro, reduciendo así la complejidad algorítmica e incrementar el rendimiento (esto es, velocidad) del algoritmo.

La FIGURA 3 muestra, para una región pequeña del cuadro, los pixeles distribuidos escasamente seleccionados que se pueden emplear para probar el cuadro de imagen de la FIGURA 1 contra los criterios. En la FIGURA 3 , los pixeles 3 1 - 1 hasta 3 1 -6 son 7 pixeles aparte de sus vecinos en ambas las direcciones horizontal y vertical. Estos pixeles ocupan aproximadamente 1 /64 del número de pixeles en la imagen original, lo que implica que cualquier algoritmo basado en píxel que se usa para identificar la región de Desbloque solamente funciona en 1 /64 del número de pixeles en cada cuadro, reduciendo así la complej idad e incrementando el rendimiento relativo a métodos que prueban criterios en cada píxel.

En este ej emplo ilustrativo, que aplica los criterios de Desbloque a la FIGURA 1 a la región Candidato distribuida escasamente en la FIGURA 3 resulta en el C¡ e DEB distribuido escasamente correspondiente como se ilustra en la FIGURA 4.

En una modalidad de este método, la región de Desbloque completa DEB se 'crece' de las Regiones Candidato distribuidas escasamente antes mencionadas C¡ e DEB en regiones circundantes.

La identificación de la Región de Desbloque en la FIGURA 2, por ej emplo, se 'crece' del C¡ distribuido escasamente en la FIGURA 4 al establecer N a 7 píxeles, de tal modo 'crece' la distribución escasa de píxeles de región Candidato C¡ a la región de Desbloque mucho más grande en la FIGURA 2 que tiene la propiedad que está conectada más contiguamente.

El proceso de crecimiento anterior espacialmente conecta el C¡ e DEB distribuido escasamente para formar la región de Desbloque DEB completa.

En una modalidad de este método, el proceso de crecimiento anterior se realiza en la base de una distancia métrica adecuada que es las distancias horizontal o vertical de un píxel del píxel C¡ de la región Candidato más cercana. Por ejemplo, con píxeles de región Candidato C¡ elegidos en 7 píxeles aparte en las direcciones vertical y horizontal, la región de Desbloque resultante es como se muestra en la FIGURA 2.

Como una mejora, el proceso de crecimiento se aplica a la región de Detalle DET con obj eto de ampliar la región de Detalle DET en la región de Desbloque DEB previamente determinada. Esto se puede usar para prevenir la máscara cruzada de filtros de uniformización de paso bajo espacialmente invariante de sobresaliente en la región de Detalle original y de tal modo evitar la posible creación de efectos 'halo' indeseables. De este modo, la región Detallada puede contener en sus límites ampliados bloqueos no atenuados, o porciones de los mismos. Esto no es un problema práctico debido a la insensibilidad relativa del HVS a tales artefactos de bloque que son próximos a Regiones Detalladas.

Las métricas de distancia alternativas se pueden emplear. Por ej emplo, una métrica que corresponde a todas las regiones del cuadro de imagen dentro de círculos de un radio determinado centrado en las Regiones Candidato C¡ se pueden emplear.

La Región de Desbloque, que se obtiene por lo anterior u otros procesos de crecimiento tiene la propiedad que abarca (esto es, cubre espacialmente) la parte del cuadro de imagen que es para desbloquearse.

Formalizar el proceso de crecimiento anterior, la región de Desbloque completa DEB (o la región de Detalle completa DET) se puede determinar al rodear cada Región Candidato C¡ (que cumple los criterios C¡ e DEB o C¡ e DET) por una región de Crecimiento Que Rodea G¡ después de lo cual la región de Desbloque completa DEB (o la Región de Detalle completa DET) es la unión de todo el C¡ y todo G i .

Equivalentemente, la región de Desbloque completa se puede escribir lógicamente como DEB = (J((C, SÉ DET) u <¾) e DEB) u G, ) donde u es la unión de las regiones y donde nuevamente DET es simplemente las partes restantes del cuadro de imagen. Alternativamente, la Región de Detalle completa DET se puede determinar de las Regiones candidato de calificación (usando C¡ g DEB) de acuerdo a DET e DET) u G¡) Si las Regiones Circundantes de Crecimiento G¡ (32- 1 hasta 32-N en la FIGURA 3) son lo suficientemente grandes, que se pueden configurar para superponer o tocar sus vecinos en tal forma como para crear una región de Desbloque DEB que es contiguo sobre áreas ampliadas del cuadro de imagen.

Una modalidad de este método se ilustra en la FIGURA 5 y emplea una máscara cruzada de 9 píxeles para identificar píxeles de región Candidato C¡ para asignarse a la Región de Desbloque o a la región de Detalle DET. En esta modalidad, las Regiones Candidato C¡ son de tamaño l x l pixeles (esto es, un pixel sencillo). El centro de la máscara cruzada (pixel 5 1 ) está en el pixel x(r, c) donde (r, c) apunta a la fila y columna de ubicación del pixel donde su intensidad x se da típicamente por x e [0, 1 , 2, 3, ... 255] . Notar que en esta modalidad la máscara cruzada consiste de dos líneas amplias de pixel sencillo perpendiculares una de la otra formando una + (cruz) . ¡ Ocho criterios independientes de planicidad se etiquetan en la FIGURA 5 como ax, bx, ex, dx, ay, by, cy y dy y se aplican en las 8 ubicaciones de pixel correspondiente. En lo siguiente, los criterios de discontinuidad (esto es, gradiente de intensidad) se aplican dentro de la máscara cruzada 52 y opcionalmente fuera de la máscara cruzada 52.

La FIGURA 6 muestra un ej emplo de la máscara cruzada de nueve pixeles 52 usada en una ubicación particular dentro del cuadro de imagen 60. La máscara cruzada 52 se ilustra para una ubicación particular y, en general, se prueba contra el criterio en una multiplicidad de localizaciones en el cuadro de imagen. Para una ubicación particular, tal como ubicación 61 de cuadro de imagen 60, el centro de la máscara cruzada 52 y los ocho criterios de planicidad-de-intensidad ax, bx, ex, dx, ay, by, cy y dy se aplican contra los criterios.

Los algoritmos de identificación específicos usados para estos ocho criterios de planicidad pueden estar entre aquellos conocidos para alguien de experiencia ordinaria en la técnica. Los ocho criterios de planicidad se satisfacen al escribir las anotaciones lógicas ax € F, bx e F, dy e F. Si se cumplen, la región correspondiente es 'suficientemente-plana' de acuerdo a que cualquier criterio de planicidad-de-intensidad se ha empleado.

La siguiente condición lógica ej emplar puede usarse para determinar si el criterio de planicidad general para cada Pixel Candidato x(r,c) se satisface: Si (ax e F y bx e F) o (ex e F y dx e F) ( 1 ) y (ay€ F y by€ F) o (ey€ F y dy€ F) (2) entonces C¡ e Plano.

Equivalentemente, los resultados de declaración Booleana de arriba en la veracidad de la declaración C¡ e Plano baj o al menos una de las siguientes tres condiciones : a) La máscara cruzada 52 se apoya en una región de 9-pixeles que es completamente de intensidad suficientemente-plana, por lo tanto incluye regiones suficientemente-planas donde 52 se apoya completamente en el interior de un bloque O b) La máscara cruzada 52 se apoya en una discontinuidad en una de las cuatro localizaciones (r + l,c) O (r + 2,c) O (r - l ,c) O (r - 2,c) aunque satisface los criterios de planicidad en las tres localizaciones restantes O c) La máscara cruzada 52 se apoya en una discontinuidad en una de las cuatro localizaciones (r,c + 1 ) O (r,c + 2) O (r,c - 1) O (r,c - 2) aunque satisface los criterios de planicidad en las tres localizaciones restantes.

En el proceso descrito arriba, como se requiere para identificar los pixeles Candidatos, la máscara cruzada 52 espacialmente cubre los límites discontinuos de bloques, o partes de bloques, con respecto de sus localizaciones, mientras que mantiene la veracidad de la declaración C¡ e Plano .

Una explicación más detallada de la lógica de arriba es como sigue. La condi ción a) es verdad cuando todas las declaraciones de paréntesis en ( 1 ) y (2) son verdaderas. Se supone que existe una discontinuidad en una de las localizaciones dadas en b). Luego la declaración (2) es verdadera debida a que una de las declaraciones en paréntesis es verdadera. Se supone que existe una discontinuidad en una de las localizaciones dadas en c) . Luego la declaración ( 1 ) es verdadera debido a que una de las declaraciones en paréntesis es verdadera.

Usando la lógica B ooleana de arriba, el criterio de pl anicidad se cumple cuando la máscara cruzada 52 elude las discontinuidades que delinean lo s límites de un bloque, o parte de un bloque, con respecto de su localización.

El empleo de un algoritmo específico para determinar los Criterios de planicidad F (que se aplican a los Pixeles Candidatos C¡) no es crucial al método . Sin emb argo, para alcanzar la capacidad de alto desempeño, un algoritmo ej emplar emplea un criterio de plani cidad matemático sencillo para ax, bx, ex, dx, ay, by, cy y dy esto es, en otra palabras, 'l a magnitud de la di ferencia de primer adelanto de las intensidades entre los pixeles horizontalmente adyacentes y los verticalmente adyacentes' . La diferenci a de primer adelanto en la dirección verti cal , por ej emplo, de una secuencia en 2D x(r, c) es simplemente x(r + 1 , c) - x(r, c).

Los criterios de planicidad discutidos arriba son algunas veces insuficientes para identificar adecuadamente la región DEB en cada región de cada cuadro para cada señal de video . Se asume ahora que l a condición de plani cidad de arriba C \ e Plana se cumple por el pixel Candidato en C¡ . Luego, en este método, un Criterio D de Magnitud-Discontinuidad puede emplearse para mejorar la discriminación entre una discontinuidad que es parte de un artefacto de límite de un bloque y una discontinuidad de no artefacto que pertenece al detalle deseado que existe en la imagen original, antes y después de su compresión.

El método de criterio de Magnitud-Discontinuidad establece un umbral sencillo D debajo del cual la discontinuidad se asume para ser un artefacto de bloqueo . Se escribe el pixel x(r, c) (61 ) en C¡ en términos de su intensidad x, el Criterio de Discontinuidad de Magnitud es de la forma dx < D donde dx es la magnitud de la discontinuidad de intensidad en el centro (r, c) de la máscara cruzada 52.

El valor requerido de D puede deducirse del tamaño de la etapa de cuantificación del intra-cuadro del algoritmo de compresión, que a su vez puede ya sea obtenerse del decodificador y codificador o estimarse del tamaño de archivo comprimido conocido . De esta manera, las transiciones en la imagen original que son iguales a o mayores que D no son erróneas para los límites de artefactos de bloqueo y por ello se desbloquean incorrectamente. Se combina esta condición con la condición de planicidad que da la condición más severa.

Los valores para D en el intervalo desde 1 0% hasta 20% del intervalo de intensidad de x(r, c) se han encontrado para proporcionar atenuación satisfactoria de artefactos de bloque sobre un intervalo amplio de diferentes tipos de escenas de video.

Cj e Plano y dx < D Casi existirán ciertamente discontinuidades no de artefacto (que por lo tanto no deben desbloquearse) debido a que estuvieron en el cuadro de imagen no comprimido original. Tales discontinuidades no de artefacto pueden satisfacer dx < D y también pueden residir donde la región que las rodea provoca C¡ € Plano, de acuerdo al criterio de arriba, que por ello lleva a tales discontinuidades que cumplen el criterio de arriba y por ello se clasifican incorrectamente para desbloquearse y por lo tanto se hace uniformen incorrectamente. Sin embargo, tales discontinuidades de no artefacto corresponden a detalles de imagen que se localizan altamente. Los experimentos han verificado que tal desbloqueo falso es típicamente no inaceptable para el HVS . Sin embargo, para reducir significativamente la probabilidad de tales casos raros de desbloqueo falso, la siguiente modalidad Vista adelante (LA) y Vista atrás (LB) del método puede emplearse.

Se ha encontrado experimentalmente que, en particular los cuadros de imagen de video, pueden existir en un conjunto de condiciones numéricas especiales bajo las cuales el detalle original requerido en el cuadro de video original cumple ambas de las condiciones de discontinuidad local y planicidad local de arriba y deben por lo tanto identificarse falsamente (esto es, sometido a desbloqueo falso y afinación falsa). Equivalentemente, una proporción pequeña del C¡ puede asignarse incorrectamente a DEB en lugar de a DET. Como un ej emplo de esto, una transición verticalmente orientada de intensidad en el borde de un obj eto (en el cuadro de imagen original no comprimido) puede cumplir tanto las condiciones de planicidad y las condiciones de discontinuidad para desbloquearse. Esto puede algunas veces llevar a artefactos inaceptables visiblemente en la señal de video en tiempo real correspondiente exhibida.

Los siguientes criterios LA y LB son opcionales y direccionan las condiciones numéricas especiales de arriba. Lo hacen al medir el cambio en intensidad de la imagen de la máscara cruzada 52 para localizaciones adecuadamente localizadas fuera de la máscara cruzada 52.

Si el criterio de arriba C¡ e Plano y dx < D se cumplen y también exceden un criterio de umbral 'vista adelante LA' o un criterio de umbral 'vista atrás LB ' L, entonces el pixel candidato C¡ no se asigna a la Región de Desbloque. En términos de las magnitudes de derivados, una modalidad del criterio LA y LB es : si (dxA =L) O (dxB >L) O (dxC >L) O (dxD >L) entonces C¡ <¡É DEB En lo anterior, los términos tales como (dxA L) simplemente significan que la magnitud del criterio de cambio o magnitud-gradiente LA dx como se mide de la localización (r, c) fuera de la localización de pixel A en este caso es mayor que o igual al número de umbral L. Los otros tres términos tienen significados similares pero con respecto a pixeles en localizaciones B, C y D.

El efecto de los criterios LA y LB de arriba es para asegurar que el desbloqueo no puede ocurrir dentro de una cierta distancia de un cambio de intensidad-magnitud de L o mayor.

Estas restricciones LA y LB tienen el efecto deseado de reducir la probabilidad de desbloqueo falso . Las restricciones LA y LB también son suficientes para prevenir desbloqueo indeseable en regiones que están en los vecindarios cercanos de donde la magnitud del gradiente de intensidad es alto, a pesar de los criterios de discontinuidad y planicidad.

Una modalidad del criterio combinado, obtenido al combinar los tres conjuntos anteriores de criterios, para asignar un pixel en C¡ a la región de Desbloque DEB, se puede expresar como un criterio de ejemplo como sigue: si C¡ e Plano Y x < D Y ((dxA < L Y dxB < L Y dxC < L Y dxD < L)) entonces C¡ e DEB Como una modalidad de este método, la verdad de lo anterior se puede determinar en hardware usando operaciones lógicas rápidas en enteros cortos. La evaluación del criterio anterior sobre muchos videos de diferentes tipos ha comprobado su solidez en identificar adecuadamente las regiones de Desbloque DEB (y de este modo las Regiones de Detalle complementarias DET).

Muchos videos previamente elaborados tienen discontinuidades de borde de bloque 'extendidas hacia fuera'. Si bien es visiblemente desagradable, las discontinuidades de borde de bloque extendidas hacia fuera se extienden más de un píxel en las direcciones verticales y/u horizontales. Esto puede causar clasificación incorrecta de discontinuidades de borde de bloque a la región de Desbloque, como se describe por ej emplo en lo siguiente.

Por ejemplo, considerar una discontinuidad amplia de 1 píxel horizontal de magnitud 40 que separa las regiones de intensidad plana que satisface C¡ e Plano, se producen desde x(r, c ) = 1 00 hasta x(r, c + 1 ) = 1 40 con el límite de discontinuidad de criterio D-30. La discontinuidad es de magnitud 40 y esto excede D, que implica que el píxel x(r,c) no pertenece a la región de Desbloque DEB . Considerar cómo esta misma discontinuidad de magnitud 40 se clasifica si es una discontinuidad extendida hacia fuera desde x(r, c) = 100 hasta x(r, c + 1 ) = 120 hasta x(r, c+2) = 140. En este caso, las discontinuidades en (r,c) y x(r,c+l) son cada una de magnitud 20 y ya que no pueden exceder el valor de D, esto hace que se produzca Desbloque falso: es decir, tanto x(r,c) como x(r,c+l) serían indebidamente asignados a la región de Desbloque DEB .

Las discontinuidades de borde extendidas hacia fuera similares pueden existir en la dirección vertical.

Más comúnmente, tales discontinuidades extendidas hacia fuera se extienden 2 píxeles aunque la extensión de 3 píxeles también se encuentra en algunas señales de video fuertemente comprimidas.

Una modalidad de este método para clasificar correctamente discontinuidades de borde extendidas hacia fuera es emplear una versión dilatada de la máscara cruzada de 9 píxeles anterior 52 que se puede usar para identificar y de este modo desbloquear límites de discontinuidad extendida hacia fuera. Por ejemplo, todas las Regiones Candidato identificadas en la máscara cruzada de 9 píxeles 52 de la FIGURA 5 son de 1 píxel de tamaño pero no hay ninguna razón por la que la máscara cruzada completa no se podría dilatar de forma espacial (esto es, estirar), empleando la misma lógica. Así, ax, bx, ...etc. se espacian 2 píxeles aparte, y rodean una región central de 2x2 píxeles. La Condición de Desbloque de Nivel de Píxel Combinado anterior sigue en vigor y se diseña de tal manera que C¡ e Plano baj o al menos una de las siguientes tres condiciones: d) Máscara cruzada 52 (M) se encuentra sobre una región de 20 píxeles que es completamente de intensidad suficientemente plana, que incluye por lo tanto regiones suficientemente planas donde M se encuentra completamente en el interior de un bloqueo O e) Máscara cruzada 52 se encuentra sobre una discontinuidad amplia de 2 píxeles en una de las cuatro ubicaciones de 1 x 2 píxel (r + 2 : r + 3 , c) O (r + 4 : r + 5, c) O (r - 2 : r - 1 , c) 0 (r - 4 : r - 3, c) siempre que se cumplan los criterios de planicidad en las tres ubicaciones restantes O f) Máscara cruzada 52 se encuentra sobre una discontinuidad amplia de 2 píxeles en una de las cuatro ubicaciones de 2x 1 píxel (r, c + 2 : c + 3 ) O (r, c + 4 : c + 5) O (r, c - 2 : c - 1 ) O (r, c - 4 : c -3) siempre que se cumplan los criterios de planicidad en las tres ubicaciones restantes.

De esta manera, como sea necesario, la máscara cruzada M es capaz de cubrir los límites amplios de 1 píxel así como los límites amplios de 2 píxeles extendidos hacia fuera de bloqueos, independientemente de su ubicación, mientras que se mantiene la verdad de la declaración C¡ e Plano . El número mínimo de cálculos requeridos para la máscara cruzada de 20 píxeles es el mismo como para la versión de 9 píxeles.

Hay muchas variaciones en los detalles por lo que los criterios de planicidad y discontinuidad anteriores se pueden determinar. Por ej emplo, los criterios para 'planicidad' podrían implicar tales mediciones estadísticas como varianza, desviación media y estándar así como la eliminación de valores atípicos, típicamente en costo de cálculo adicional y rendimiento más lento . Del mismo modo, las discontinuidades de calificación podrían implicar cambios fraccionarios de intensidad, en lugar de cambios absolutos, y máscaras cruzadas M se pueden dilatar para permitir las discontinuidades a extenderse sobre diversos píxeles en ambas direcciones.

Una variación parti cul ar del criterio anterior se refiere a cambios fraccionarios de intensidad en lugar de cambios absolutos. Esto es importante ya que es bien conocido que el HVS responde en una forma aproximadamente lineal a cambios fraccionarios de intensidad . Hay un número de modificaciones del método anterior para la adaptación a cambios fracciónales y de este modo mej ora la percepción de desbloquear, especialmente en regiones oscuras del cuadro de imagen. Ellos incluyen : i. En lugar de someter la intensidad de imagen x(r,c) directamente a los criterios de plani cidad y discontinuidad como el Píxel C¡ Candidato, el logaritmo de intensidad C¡ = logb (x(r,c)) se usa en todas partes, donde la base b podrí a ser de 1 0 o el exponente natural e = 2 . 7 1 8 . . . .

O ii . En lugar de emplear magnitudes de diferencias de intensidad directamente, las diferencias fracciónales se usan directamente como todo o parte de lo s criterios para planicidad, discontinuidades, mirar hacia adel ante y mirar haci a atrás. Por ej emplo, lo s criterios de planici dad se pueden modificar del umbral de intensidad absoluta e en |x(r + l,c) - x(r, c) | < e a un umbral que contiene un término de intensidad relativa, tal como un umbral relativo eR de la forma donde, en el ej emplo en el Apéndice, hemos usado e = 3 y IMAX = 25 5 que es la intensidad máxima que se puede asumir por x(r,c) .

Las Regiones Candidato C¡ deben muestrear el espacio en 2D del cuadro de imagen suficientemente denso que los límites de la mayoría de los artefactos de bloqueo no se pierden debido a bajo índice de muestreo . Teniendo en cuenta que los algoritmos de compresión basados en bloqueo aseguran que la mayoría de los límites de la mayoría de los bloqueos se separan por al menos 4 píxeles en ambas direcciones, es posible con este método para sub-muestreo del espacio de imagen en intervalos de 4 píxeles en cada dirección sin perder casi todas las discontinuidades de límite de bloqueo . Hasta 8 píxeles en cada dirección también se ha encontrado para trabaj ar bien en la práctica. Esto significativamente reduce el excedente computacional. Por ejemplo el sub-muestreo por 4 en cada dirección lleva a un conjunto desconectado de puntos que pertenecen a la Región de Desbloque. Una modalidad de este método emplea tal sub-muestreo.

Se supone que los Píxeles Candidatos son píxeles L separadamente en ambas direcciones. Entonces la región de Desbloque se puede definir, de los Píxeles Candidatos escasamente distribuidos, como esa región obtenida al rodear todos los Píxeles Candidatos por bloqueo de cuadros LxL. Esto es fácil de implementar con un algoritmo eficiente.

Una vez que las regiones de Desbloques se identifican, hay una amplia variedad de estrategias de Desbloquear que se pueden aplicar a la región de Desbloque con obj eto de atenuar la percepción visiblemente obj etable de autoarranque. Un método es aplicar una operación de uniformización a la región de Desbloque, por ejemplo al usar Filtros HR de Paso B ajo Espacialmente Invariantes o Filtros FIR de Paso Bajo Espacialmente Invariantes o Filtros de Paso Bajo basados en FFT.

Una modalidad de este método abaj o prueba los cuadros de imagen original antes de la operación de uniformización, seguido por sobre-muestreo a la resolución original después de la uniformización. Esta modalidad alcanza uniformización general más rápida ya que la operación de uniformización se lleva a cabo sobre un número más pequeño de píxeles.

Con la excepción de ciertos filtros tal como el filtro en 2D de Promedio de Movimiento Recursivo (esto es, la Caj a), los filtros FIR 2D tienen complej idad computacional que incrementa con el nivel de uniformización que se requieren para llevar a cabo. Tales filtros de uniformización FIR requieren un número de MACs/s que es aproximadamente proporcional al nivel de uniformización.

Los videos altamente comprimidos (por ej emplo que tienen un parámetro de cuantificacíón q>40) típicamente requieren filtros FIR de orden superior a 1 1 para alcanzar suficientes efectos de uniformización, que corresponden a al menos 1 1 adiciones y hasta 10 multiplicaciones por pixel . Un nivel similar de uniformización se puede alcanzar con filtros HR mucho más de orden inferior, típicamente de orden 2. Una modalidad de este método emplea filtros IIR para uniformización de la Región de Desbloque.

Otro método para uniformización es similar a ese descrito anteriormente excepto que los filtros de uniformización son espacialmente variados (esto es, espacialmente adaptados) de tal manera que la máscara cruzada de los filtros se altera, como una función de ubicación espacial, para que no traslapen la Región de Detalle. En este método, el orden (y por lo tanto el tamaño de máscara cruzada) del filtro se reduce de forma adaptativa como se acerca el límite de la Región de Detalle.

El tamaño de máscara cruzada se puede también adaptar en la base de estadísticas locales para alcanzar un nivel requerido de uniformización, aunque a costo computacional incrementado. Este método emplea niveles espacialmente variantes de uniformización de tal manera que la respuesta de los filtros no se puede sobre-escribir (y de este modo distorsionar) la Región de Detalle o penetra a través de Regiones de Detalle pequeñas para producir un efecto indeseable 'halo ' alrededor de los bordes de la Región de Detalle.

Una mejora adicional de este método aplica un proceso ' creciente' a la Región de Detalle DET en a) anterior para todos los Cuadros clave de tal manera que DET se expande alrededor de sus límites. El método usado para el crecimiento, amplia los límites, tal como tal como el que se describe en la presente se puede usar, u otros métodos conocidos para un experto en la técnica. La región de Detalle Ampliada resultante EXPDET se usa en esta mejora adicional como la Región de Detalle para los cuadros de imagen adyacentes donde sobre-escribe las imágenes del Lienzo CAN de estos cuadros. Esto aumenta el rendimiento y reduce la complejidad computacional ya que solamente es necesario identificar la Región de Detalle DET (y su expansión EXPDET) en los Cuadros Clave. La ventaj a de usar EXPDET en lugar de DET es que EXPDET más efectivamente cubre obj etos en movimiento que tienen velocidades altas que se pueden cubrir por DET. Esto permite que los Cuadros clave ser más espaciados, para una señal de video dada, y de este modo mejorar el rendimiento y reduce la complejidad.

En este método, la región Detallada DET se puede ampliar en sus límites para cubrir espacialmente y de este modo hacer invisible cualquier efecto 'halo ' que se produce por la operación de uniformización usada para desbloquear la región de Desbloque.

En una modalidad de este método, un Filtro de Promedio de Movimiento Recursivo en 2D espacialmente variante (esto es, un Filtro de Caj a en 2D así llamado) se emplea, que tiene las funciones de transferencia de transformar Z 2D que facilita la filtración FIR 2D recursiva rápida de orden 2D (Li , L2). La ecuación de diferencia de entrada-salida FIR recursiva 2D correspondiente es y(r,c) = y r - \,c) + y(r,c - 1) - y(r - \,c - 1) + ... y— [x(r,c) + x(r - L ,c) + x(r,c - 1¾) + x{r - L ,c - L2)] donde y es la salida y x es la entrada. Esta modalidad tiene la ventaja que la complejidad aritmética es baja y es independiente del nivel de uniformización.

En un ejemplo específico del método, los parámetros de orden (L i , L2) son variados espacialmente (esto es, espacialmente del filtro de Promedio de Movimiento FIR 2D anterior se adapta para evitar traslape de la respuesta de los filtros de uniformización con la Región de Detalle DET.

La FIGURA 7 muestra una modalidad de un método, tal como método 70, para lograr calidad de imagen de vídeo mejorada usando los conceptos discutidos en la presente. Un sistema para la práctica de este método puede ser, por ej emplo, por software, firmware, o una ej ecución ASIC en el sistema 800 que se muestra en la FIGURA 8 , tal vez bajo el control del procesador 82- 1 y/o 84- 1 . El proceso 701 determina una región de Desbloque. Cuando todas las regiones de Desbloque se encuentran, según lo determinado por el proceso 702, el proceso 703 puede entonces identificar todas las regiones de Desbloque y por la implicación de todas las regiones de Detalle.

El proceso 704 puede luego comenzar la uniformización de tal manera que el proceso 705 determina cuando el límite de la región de Desbloque N se ha alcanzado y el proceso 706 determina cuando la uniformización de la región N se ha completado. El proceso 708 incluye las regiones al agregar 1 al valor N y los procesos 704 hasta 707 continúan hasta que el proceso 707 determina que todas las regiones de Desbloque se han uniformizado . Entonces el proceso 709 combina las regiones de Desbloque uniformizadas con las regiones de Detalle respectivas para llegar en un cuadro de imagen mejorado . Notar que no es necesario esperar hasta que todas de las regiones de Desbloque se hace uniformen antes de comenzar el proceso de combinación ya que estas operaciones se pueden realizar en paralelo si se desea.

La FIGURA 8 muestra una modalidad 80 del uso de los conceptos discutidos en la presente. El sistema 80 de video (y audio) se proporciona como una entrada 8 1 . Este puede venir de almacenamiento local, no mostrado, o recibir de unas corrientes de datos de video desde otro lugar. Este video puede llegar en muchas formas, tal como a través de una corriente de emisión en vivo, o archivo de video y se puede pre-comprimir antes de que se reciba por el codificador 82. El codi fi cador 82, usando los procesos discutidos en la presente procesa los cuadros de video bajo el control del procesador 82- 1 . La salida del codificador 82 podría ser a un dispositivo de almacenamiento de archivo (no mostrado) o liberar como una corriente de video, tal vez por medio de red 83 , a un decodificador, tal como decodificador 83.

Si más de una corriente de video se libera a un decodificador 84 entonces los diversos canales de la corriente digital se puede seleccionar por el sintonizador 84-2 para decodificar de acuerdo con los procesos discutidos en la presente. El procesador 84- 1 controla la decodificación y la corriente de video de salida decodificada se puede almacenar en almacenamiento 85 o visualizar por una o más pantallas 86 o, si se desea, distribuir (no se muestra) a otras ubicaciones. Notar que los diversos canales de video se pueden enviar de una ubicación sencilla, tal como del decodificador 82, o de diferentes ubicaciones, no se muestran. La transmisión del decodificador al codificador se puede realizar de cualquier forma bien conocida usando transmisión por cable o inalámbrica conservando al mismo tiempo el lancho de banda en el medio de transmisión.

Aunque la presente invención y sus ventaj as se han descrito en detalle, se debe entender que diversos cambios, sustituciones y alteraciones se pueden hacer en la presente sin apartarse del espíritu y alcance de la invención como se define por las reivindicaciones anexas. Po otra parte, el alcance de la presente solicitud no pretende que se limite por las modalidades particulares del proceso, maquinaria, fabricación, composición de materia, medios, métodos y etapas descritas en la especificación. Como un experto en la técnica apreciará fácilmente de la descripción de la presente invención, procesos, maquinaria, fabricación, composición de materia, medios, métodos, o etapas, actualmente existentes o más tarde a desarrollar que realizan sustancialmente la misma función o alcanzan sustancialmente el mismo resultado como las modalidades correspondientes descritas en la presente se pueden utilizar de acuerdo con la presente invención. En consecuencia, las reivindicaciones anexas se pretende que incluyan dentro de su alcance tales procesos, maquinaria, fabricación, composiciones de materia, medios, métodos, o etapas.

Claims (50)

REIVINDICACIONES

1 . Un método para remover artefactos de un cuadro de imagen, los artefactos que son visualmente perjudiciales para el HVS, el método caracterizado porque comprende: separar una representación digital de cada cuadro de imagen en una región de Desbloque que es para desbloquearse y una región de Detalle que es para permanecer esencialmente no desbloqueada.

2. El método de conformidad con la reivindicación 1 , caracterizado porque comprende: uniformizar la región de Desbloque de cada cuadro de imagen; y combinar la región de Desbloque uniformizada con la región de Detalle no bloqueada para formar un nuevo cuadro de imagen que tiene menos interrupción visual al HVS que un cuadro de imagen pre-separado .

3. El método de conformidad con la reivindicación 2 , caracterizado porque la separación comprende al menos uno de los siguientes criterios para determinar la Región de Desbloque: intensidad-planicidad; discontinuidad; vista adelante; vista atrás.

4. El método de conformidad con la reivindicación 3 , caracterizado porque los parámetros de los criterios se eligen de tal manera que la atenuación sucede para cuadros de imagen comprimidos en los cuales las ubicaciones de bloqueos de artefacto son a priori desconocidas.

5. El método de conformidad con la reivindicación 4, caracterizado porque los bloqueos de artefacto se presentan en los cuadros de video comprimidos debido a uno o más de los siguientes : varias veces previamente comprimidos; cuadros de imagen re-formateados, cuadros de imagen mezclados de colores; cuadros de imagen re-clasificados por tamaño.

6. El método de conformidad con la reivindicación 3 , caracterizado porque los criterios de intensidad-planicidad emplean mediciones estadísticas que comprenden una variación local y un medio local de intensidades.

7. El método de conformidad con la reivindicación 3 , caracterizado porque los criterios de cambio de intensidad se basan en cambios fraccionarios de intensidad.

8. El método de conformidad con la reivindicación 2, caracterizado porque la uniformización comprende: uniformización espacial para atenuar la Región de Desbloqueo.

9. El método de conformidad con la reivindicación 2 , caracterizado porque la uniformización comprende atenuación de bloques así como otros artefactos en la Región de Desbloqueo .

10. El método de conformidad con la reivindicación 1 , caracterizado porque la separación sucede dentro de un codificador basado en DCT.

1 1 . El método de conformidad con la reivindicación 2, caracterizado porque la uniformización comprende al menos uno de: filtros FIR, filtros IIR.

12. El método de conformidad con la reivindicación 1 1 , caracterizado porque los filtros pueden ser ya sea espacialmente variantes o espacialmente invariantes.

13. El método de conformidad con la reivindicación 1 1 , caracterizado porque la uniformización comprende: al menos un filtro de Caj a 2D FIR de Promedio de Movimiento.

14. El método de conformidad con la reivindicación 2, caracterizado porque la uniformización comprende: medios para asegurar que la uniformización no sucede fuera de los límites de la Región de Desbloque.

1 5. El método de conformidad con la reivindicación 1 , caracterizado porque la separación recursivamente separa el cuadro de imagen en Regiones Desbloqueadas y Regiones de Detalle.

16. El método de conformidad con la reivindicación 1 , caracterizado porque la separación comprende: seleccionar regiones candidato; y determinar en un candidato seleccionado por bases de región candidato seleccionada si una región candidato seleccionada pertenece a la región de Desbloque de acuerdo con ciertos criterios.

1 7. El método de conformidad con la reivindicación 1 6, caracterizado porque las regiones candidato se ubican escasamente en cada cuadro de imagen.

1 8. El método de conformidad con la reivindicación 1 7, caracterizado porque la región de Detalle separada se amplia para permitir espacialmente filtración invariante de la región de Desbloqueo sin provocar un efecto halo alrededor de la región de Detalle.

19. El método de conformidad con la reivindicación 1 8 , caracterizado porque la expansión comprende: hacer crecer cada pixel candidato a un rectángulo circundante de pixeles.

20. El método de conformidad con la reivindicación 1 , caracterizado porque la región de Detalle separada se amplia para permitir espacialmente filtración invariante de la región de Desbloqueo sin provocar un efecto halo alrededor de la Región de Detalle.

21 . El método de conformidad con la reivindicación 2, caracterizado porque la uniformización comprende: el uso de una máscara cruzada de N pixeles.

22. El método de conformidad con la reivindicación 2 1 , caracterizado porque N es igual a 9.

23. El método de conformidad con la reivindicación 2, caracterizado porque la uniformización comprende: usar máscaras cruzadas dilatadas para señales de video desbloqueadas que tienen discontinuidades de borde dispersadas.

24. Un sistema para presentar video, el sistema caracterizado porque comprende: una entrada para obtener un primer cuadro de video que tiene un cierto número de bits por píxel ; el cierto número es tal que cuando el cuadro de video se presenta a una pantalla la pantalla proporciona artefactos perceptibles a un sistema visual humano (HVS) ; y circuitos para producir un segundo cuadro de video del primer cuadro de video, el segundo cuadro de video proporciona artefactos menos perceptibles al HVS cuando el segundo cuadro de video se presenta a la pantalla.

25. El sistema de conformidad con la reivindicación 24, caracterizado porque el cierto número se extiende hasta un mínimo de 0. 1 bits/pixel.

26. El sistema de conformidad con la reivindicación 24, caracterizado porque el cierto número es un número de bits/pixel proporcionado por compresión del primer cuadro de video usando un codificador H.264.

27. El sistema de conformidad con la reivindicación 25 , caracterizado porque el cierto número es al menos la mitad del número de bits alcanzados por un codificador H.264.

28. El sistema de conformidad con la reivindicación 24, caracterizado porque el circuito producido comprende: medios para separar el cuadro de video en una región de Detalle y una región de Desbloqueo; y medios para uniformizar la región de Desbloqueo antes de combinar las regiones para formar el segundo cuadro de video.

29. El sistema de conformidad con la reivindicación 28, caracterizado porque comprende: un sintonizador para permitir que un usuario seleccione una de una pluralidad de corrientes de video digitales, cada corriente de video comprende una pluralidad de cuadros de video digitales.

30. El sistema de conformidad con la reivindicación 28, caracterizado porque la uniformización comprende: un filtro FIR espacialmente invariante que tiene un cierto tamaño de máscara cruzada; y un procesador para prevenir el filtro espacialmente invariante de uniformización de las regiones de Detalle.

31 . El sistema de conformidad con la reivindicación 30, caracterizado porque el procesador opera para expandir las regiones de Detalle a una distancia aproximadamente igual a la mitad del tamaño de máscara cruzada.

32. El sistema de conformidad con la reivindicación 28 caracterizado porque la uniformización significa comprender: un filtro FIR espacialmente invariante.

33. El sistema de conformidad con la reivindicación 28, caracterizado porque los medios de separación comprenden: procesamiento usando al menos uno de los siguientes criterios para determinar la región de Desbloque: intensidad-planicidad; discontinuidad : vista adelante; vista atrás.

34. El sistema de conformidad con la reivindicación 33 , caracterizado porque los parámetros de los criterios se eligen de manera que la atenuación del artefacto sucede para cuadros de imagen comprimidos en cuyas ubicaciones de bloqueos de artefacto son a priori desconocidas.

35. El sistema de conformidad con la reivindicación 34, caracterizado porque los bloqueos de artefacto se presentan en los cuadros de video comprimidos debido a uno o más de los siguientes: varias veces previamente comprimidos; cuadros de imagen re-formateados, cuadros de imagen mezclados de colores; cuadros de imagen re-clasificados por tamaño.

36. El sistema de conformidad con la reivindicación 33 , caracterizado porque los criterios de intensidad-planicidad emplean mediciones estadísticas que comprenden una variación local y un medio local de intensidades.

37. El método de conformidad con la reivindicación 33 , caracterizado porque los criterios de cambio de intensidad se basan en cambios fraccionarios de intensidad.

38. El método de conformidad con la reivindicación 28 , caracterizado porque los medios uniformización comprenden: un procesador operativo para uniformización espacial para atenuar la Región de Desbloqueo.

39. El sistema de conformidad con la reivindicación 28, caracterizado porque los medios de uniformización comprenden: un procesador para bloques de atenuación así como otros artefactos en la Región de Desbloqueo .

40. El sistema de conformidad con la reivindicación 28 , caracterizado porque los medios para separación es una porción de un codificador basado en DCT.

41 . El sistema de conformidad con la reivindicación 28, caracterizado porque los medios de uniformización comprenden al menos uno de: filtros FIR, filtros IIR.

42. El sistema de conformidad con la reivindicación 41 , caracterizado porque los filtros pueden ser ya sea espacialmente variantes o espacialmente invariantes.

43. El sistema de conformidad con la reivindicación 28, caracterizado porque los medios de uniformización comprenden: al menos un filtro de Caj a 2D FIR de Promedio de Movimiento.

44. El sistema de conformidad con la reivindicación 28 , caracterizado porque los medios de separación recursivamente separan el cuadro de imagen en Regiones Desbloqueadas y Regiones de Detalle.

45. El sistema de conformidad con la reivindicación 28 , caracterizado porque los medios de separación comprenden: medios para seleccionar regiones candidato; y medios para determinar en un candidato seleccionado por bases de región candidato seleccionada si una región candidato seleccionada pertenece a la región de de Desbloqueo de acuerdo con ciertos criterios.

46. El sistema de conformidad con la reivindicación 45 , caracterizado porque las regiones candidato se ubican escasamente en cada cuadro de imagen.

47. Un método para presentar video, el método caracterizado porque comprende: obtener un primer cuadro de video que tiene un cierto número de bits por pixel; el cierto número es tal que cuando el cuadro de video se presenta a una pantalla la pantalla proporciona artefactos perceptibles a un sistema visual humano (HVS); y producir un segundo cuadro de video del primer cuadro de video, el segundo cuadro de video proporciona artefactos menos perceptibles al HVS cuando el segundo cuadro de video se presenta a la pantalla.

48. El método de conformidad con la reivindicación 47, caracterizado porque el cierto número se extiende hasta un mínimo de 0. 1 bits/pixel.

49. El método de conformidad con la reivindicación 47, caracterizado porque la producción comprende: separar regiones de Detalle y Desbloqueo dentro de cada cuadro; y uniformizar la región de Desbloqueo; y combinar la región de Desbloqueo uniformizada con la región de Detalle separada.

50. El método de conformidad con la reivindicación 49, caracterizado porque la uniformización comprende: usar un filtro FIR espacialmente invariante que tiene un cierto tamaño de máscara cruzada; y expandir la región de Detalle a una distancia al menos igual a la mitad del tamaño de máscara cruzada a fin de evitar un efecto halo en un límite ente las regiones de Desbloqueo y Detalle. 5 1 . El método de conformidad con la reivindicación 50, caracterizado porque comprende: recibir en un dispositivo una pluralidad de corrientes de video digitales, cada corriente que tiene una pluralidad de los cuadro de video digitales; y en donde la obtención comprende: seleccionar una de las corrientes de video digitales recibidas en el dispositivo.