MXPA06000323A - Codificador de video con reduccion de ruido de baja complejidad. - Google Patents

Abstract

La reduccion de ruido se logra durante la codificacion de calculo de movimiento para la reduccion de ruido. El calculo de movimiento se lleva a cabo N veces (en donde N es un entero) en cada macrobloque para producir N grupos de datos de calculo de movimiento, cada grupo incluye un indice de imagen de referencia y un vector de movimiento. Tipicamente, aunque no necesariamente, cada grupo de datos de calculo de movimiento hace uso de una imagen de referencia diferente. Para cada macrobloque, los N grupos de datos de calculo de movimiento se utilizan para crear un macrobloque reducido de ruido, que entonces se codifica.

Description

CODIFICADOR DE VIDEO CON REDUCCIÓN DE RUIDO DE BAJA COMPLEJIDAD REFERENCIA CRUZADA CON SOLICITUDES RELACIONADAS Esta solicitud reclama prioridad de conformidad con 35 U.S.C.. 199(e) para la Solicitud de Patente Provisional No. de Serie 60/485,891, presentada el 9 de julio de 2003, cuyas enseñanzas se incorporan aquí como referencia.

CAMPO DE LA INVENCIÓN La invención se relaciona con codificadores de video para codificar (comprimir) una corriente de video.

ANTECEDENTES DE LA INVENCIÓN Muchas aplicaciones requieren la compresión (es decir, codificación) de una corriente de video para reducir los requerimientos de ancho de banda. En la actualidad, existen dispositivos de codificación para llevar a cabo la compresión de video de conformidad con varias técnicas de compresión conocidas en la técnica, como MPEG, H.263 y H.264. Las secuencias de video ruidosas han demostrado ser muy difíciles de comprimir con el uso de las técnicas normales de compresión de video, las cuales limpian las secuencias de video a una velocidad de bits determinada. La reducción de ruido puede ocurrir como una función de pre-procesamlento aplicada antes de la compresión de video. Bajo tales circunstancias, la etapa de reducción de ruido reduce el ruido en una secuencia de imágenes de entrada aplicadas a un codificador que comprime las imágenes reducidas de ruido. Las técnicas de reducción de ruido anteriores incluían la filtración espacial y/o temporal. La filtración temporal involucra la aplicación de una función de filtración, como un promedio para los píxeles desde diferentes imágenes de entrada para crear píxeles filtrados. La filtración temporal de las secuencias de video con frecuencia cae en una de dos categorías (1), movimiento compensado y (2) movimiento no compensado. Para las secuencias de video que contienen movimiento, por lo general, los métodos de filtración temporal compensados de movimiento llevan a cabo los métodos de filtración temporal no compensada de movimiento. Por lo general, los métodos de reducción de ruido con filtración temporal compensada de movimiento requieren más medidas de computación que otros métodos de reducción de ruido. De este modo, existe la necesidad de una técnica para llevar a cabo la reducción de ruido compensada de movimiento durante la decodificación de video con menor complejidad computacional.

BREVE DESCRIPCIÓN DE LA INVENCIÓN En síntesis, de conformidad con un primer aspecto de los presentes principios, se proporciona un método para codificar una señal de video con ruido reducido. El método empieza al calcular el movimiento para cada macrobloque en la señal de video N veces (en donde N es un entero) para producir N grupos de datos de cálculo de movimiento, cada grupo incluye un índice de imagen de referencia y un vector de movimiento. Típicamente, aunque no necesariamente, cada grupo de datos de cálculo de movimiento hacen uso de una imagen de referencia diferente. Cada uno de los N grupos de datos de cálculo de movimiento se utiliza para generar una predicción, y las N predicciones se utilizan en la operación de filtración para producir un macrobloque reducido de ruido. El macrobloque reducido de ruido se codifica, con el uso del vector de movimiento y el índice de imagen de referencia del mejor de los grupos de datos de cálculo de movimiento para ese macrobloque. De conformidad con un segundo aspecto de los presentes principios, un codificador de video incluye una etapa de cálculo de movimiento, la cual lleva a cabo tanto el cálculo de movimiento como la reducción de ruido. El codificador lleva a cabo la reducción de ruido para cada macrobloque con el uso de N grupos de datos de cálculo de movimiento, cada uno típicamente, aunque no necesariamente, generado de una imagen de referencia por separado. El macrobloque reducido de ruido se codifica, con el uso del vector de movimiento y el índice de referencia del mejor de los grupos de datos de cálculo de movimiento para ese macrobloque.

BREVE DESCRIPCIÓN DE LOS DIBUJOS La Figura 1 ilustra un diagrama en bloque de un decodificador de video ejemplif ¡cativo de conformidad con la técnica previa.

La Figura 2 ilustra un codificador de video con un reductor de ruido incluido de conformidad con un primer aspecto de los presentes principios. La Figura 3 ¡lustra un diagrama de flujo que ilustra el proceso para la codificación de video, el cual incluye el método de reducción de ruido de conformidad con los presentes principios. La Figura 4 ilustra un diagrama de flujo que ilustra el proceso para la reducción de ruido que ocurre durante el proceso de codificación de video de la Figura 3; y La Figura 5 ilustra un codificador de video con un reductor de ruido y un filtro espacial incluidos de conformidad con un segundo aspecto de los presentes principios.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN La Figura 1 ilustra un codificador 10 de video de la técnica previa, el cual cuenta con la capacidad para practicar la técnica de compresión H.264, así como técnicas de compresión similares. El codificador 10 H.264 de la Figura 1 incluye un bloque 12 sumador suministrado en su entrada no invertida con una corriente de video de entrada. Un bloque 14 de cálculo de movimiento recibe la corriente de video entrante junto con la imagen de referencia previamente codificada almacenada en un almacenamiento 16 de imagen de referencia. Para cada macrobloque en una imagen de entrada actual que aparece en la corriente de video entrante, el bloque 14 de cálculo de movimiento compara el macrobloque actual con una o más imágenes de referencia del almacenamiento 16 de imagen de referencia. El sistema de compresión de video H.264 (también llamado como JVT o MPEG AVC) utiliza divisiones de macrobloque jerárquicas estructuradas como árbol. Los macrobloques de 16 x 16 píxeles inter-codificados pueden experimentar la división en divisiones del macrobloque de tamaños de 16x8, 8x16 ó 8x8. Las divisiones del macrobloque de 8x8 píxeles, conocidos como sub-macrobloques, pueden experimentar otra división en divisiones de sub-macrobloque de tamaños 8x4, 4x8, y 4x4. El bloque 14 de cálculo de movimiento selecciona la forma para dividir el macrobloque en divisiones y las divisiones del sub-macrobloque con base en las características del macrobloque particular con el fin de maximizar la eficiencia de compresión y la calidad subjetiva. Para cada macrobloque, el bloque 14 de cálculo de movimiento proporcionará un modo de macrobloque, el cual indica la segmentación del macrobloque en barios tamaños de divisiones. Además, el bloque 14 de cálculo de movimiento proporciona un índice de imagen de referencia y un vector de movimiento para cada macrobloque. La norma de compresión de video H.264 permite el uso de múltiples imágenes de referencia para la inter-predicción, con un índice de imagen de referencia codificado para indicar el uso de una particular de las imágenes de referencia. En las imágenes P (o rebanadas P), solamente se utiliza una única predicción direccional, y las imágenes de referencia permisibles se manejan en una primera lista, referida como lista 0. En las imágenes B (o rebanadas B), se manejan dos listas de imágenes de referencia, la lista 0 y la lista 1. En las imágenes B (o rebanadas B), se permite la predicción direccional con el uso de cualquiera de la lista 0 o la lista 1. La bi-predicción con el uso de la lista 0 y la lista 1, también es permitida. Cuando se utiliza la bi-predicción, los predictores de la lista 0 y de la lista 1 se promedian juntos para formar un predictor final. El bloque 14 de cálculo de movimiento tiene bastante libertad para decidir el mejor modo del macrobloque, los índices de imágenes de referencia y'los vectores de movimiento para un macrobloque, con el objetivo de crear un buen predictor para la imagen actual para asegurar una codificación eficiente. Una vez que el bloque 14 de cálculo de movimiento toma estas decisiones durante el proceso de cálculo de movimiento, un bloque 17 de compresión de movimiento recibirá el índice de imagen de referencia, el modo del macrobloque y el vector de movimiento desde el bloque de cálculo de movimiento. A partir de tal información, el bloque 17 de compresión de movimiento forma un predictor para su resta de la imagen de entrada por el bloque 12 sumador con el fin de crear una imagen de diferencia. La imagen de diferencia experimenta una transformación por medio de un bloque 18 de transformación. Un cuantif icador 20 cuantifica la imagen de diferencia transformada antes de su entrada en un codificador 22 de entropía, el cual produce una imagen de video codificada en su entrada. Un cuantif icador 24 invertido y un bloque 26 de transformación invertida llevan a cabo la cuantificación invertida y la transformación invertida, respectivamente, en la imagen de diferencia para producir una imagen de referencia para su almacenamiento en el almacenamiento 16 de imágenes de referencia para usarse en la codificación de imágenes posteriores. La Figura 2 ilustra una primera modalidad 100 preferida de un codificador de video con reducción de ruido de conformidad con los presentes principios. El codificador 100 comparte muchos elementos en común con el codificador 10 de la Figura 1, y los números de referencia similares identifican los elementos similares en ambos dibujos A! igual que el codificador 10 de la técnica previa de la Figura 1, el codificador 100 de la Figura 2 incluye un bloque 14' de cálculo de movimiento, el cual recibe tanto la corriente de video de entrada como las imágenes codificadas previamente desde el almacenamiento 16 de imagen de referencia. Sin embargo, el bloque 14' de cálculo de movimiento de la Figura 2 difiere del bloque 14 de cálculo de movimiento de la Figura 1 en el siguiente aspecto. Como se describe antes, el bloque 14 de cálculo de movimiento de la Figura 1 produce un único mejor modo del macrobloque para el macrobloque, un índice de imagen de referencia para la división del macrobloque y el vector de movimiento para la división del macrobloque o la división del sub-macrobloque. Por el contrario, el bloque 14' de cálculo de movimiento de los presentes principios ofrece en su entrada, N grupos de datos de cálculo de movimiento, los cuales incluyen un modo del macrobloque, un índice de imagen de referencia ( eflmagenlndice), y un vector de movimiento (MV), para las divisiones y las divisiones del sub-macrobloque del macrobloque. De conformidad con los presentes principios, la función de cálculo de movimiento llevada a cabo por el codificador de video de la Figura 2 facilita la reducción de ruido. Un reductor 102 de ruido dentro del codificador 100 recibe cada uno de los N grupos de datos de cálculo de movimiento desde el bloque 14' de cálculo de movimiento. Como se describirá más tarde con respecto a la Figura 4, el reductor 102 de ruido compara el píxel actual con un valor pronosticado recibido desde el bloque 14 de cálculo de movimiento. Cuando la diferencia entre ellos está por debajo de un umbral predeterminado, el predictor se vuelve parte de un grupo filtrado aplicado empleado por el reductor 102 de ruido para la filtración de píxel. El resultado de tal filtración de píxel produce una imagen filtrada almacenada en un almacenamiento 104 de imagen filtrada. Tales imágenes filtradas se vuelven la entrada para el proceso de codificación, es decir, la entrada para el amplificador 12 sumador. La Figura 3 ilustra en diagrama de flujo los pasos del proceso descrito por el codificador 100 de la Figura 2 para codificar con ruido reducido cada imagen en la corriente de video entrante. El proceso empieza durante el paso 200 al iniciar varias variables, incluyendo la variable de ciclo mb. Después, ocurre el paso 202, y empieza el proceso del ciclo. El paso 204 viene después, durante el cual ocurre el cálculo de movimiento para cada macrobloque, con cada uno de los N grupos de decisión de cálculo de movimiento a ser computado y almacenado. El reductor 102 de ruido de la Figura 2 entonces lleva a cabo la reducción de ruido en el macrobloque, con el uso de los N grupos de decisión de cálculo de movimiento almacenados durante el paso 206. La codificación de video del macrobloque ocurre durante el paso 208. Primero, el bloque 17 de compensación de movimiento de la Figura 2 crea un predictor para el macrobloque con el uso del mejor de los N grupos de decisión de cálculo de movimiento almacenados, que por lo general, es el primer grupo el que se considera el mejor de los grupos. Esta predicción se resta de la imagen filtrada. La imagen de diferencia entonces experimenta la transformación, la cuantif icación y la codificación por entropía en la manera descrita con respecto a la Figura 1. La imagen de diferencia también experimenta una cuantif icación invertida ed y una transformación invertida antes de su almacenamiento en el almacenamiento 17 de imagen de referencia de la Figura 2. En una modalidad de la presente invención, cada uno de los N grupos de datos de cálculo de movimiento hace uso de un diferente índice de imagen de referencia. Después del paso 208, ocurre el paso 210, punto en el cual, finaliza el proceso del ciclo empezado durante el paso 202, una vez que la variable del ciclo mb iguala al número de macrobloques. Dicho de otra forma, los pasos 202 al 208 experimentarán la repetición hasta completar la codificación de todos los macrobloques en la imagen. Después, el proceso de codificación termina durante el paso 212. Como se describe antes, los N grupos de decisión de cálculo de movimiento sirven como la entrada para el reductor 102 de ruido de la Figura 2. La Figura 4 ilustra en diagrama de flujo los pasos del proceso de reducción de ruido llevados a cabo por el reductor 102 de ruido. El proceso de referencia de ruido empieza con el paso 300, después de lo cual empieza una operación de ciclo con cada píxel en ei ciclo de conformidad con el índice p de ciclo. Durante el paso 302, se lee el valor de cada píxel p en un bloque actual de imagen pic(p). Durante el paso 304, empieza una segunda operación de ciclo, con cada grupo de decisión de cálculo de imagen actual en ciclo de conformidad con una variable i de ciclo. Durante el paso 306, el bloque 17 de compensación de movimiento de la Figura 2 crea una predicción, pred(¡) para el píxel p al llevar a cabo la compensación de movimiento con el uso del 0 grupo de decisión de movimiento. Durante el paso 308, se hace una medición de diferencia entre el píxel actual pic(p) con el predictor, pred (i). La medición de diferencia puede incluir los valores de luminiscencia y/o crominancia en el cálculo. Como ejemplo, la medición de diferencia puede ser el valor absoluto de diferencia. Cuando la medición de diferencia se encuentra por debajo de un umbral, entonces durante el paso 310, el predictor se agrega a un grupo de filtración, fset., utilizado en la operación de filtración de referencia de ruido llevada a cabo por el reductor 102 de ruido de la Figura 2. Después del paso 310 (o el paso 308, cuando la medición de diferencia se encuentra sobre el umbral), se presenta el paso 312, y finaliza la operación del ciclo i. Dicho de otra forma, los pasos 304 al 310 experimentan la repetición hasta la generación de un predictor para cada grupo de decisión de cálculo de movimiento y una comparación posterior de ese predictor contra el valor de umbral. Después del paso 312, ocurre el paso 314 y el filtro obtenido del grupo de filtro fset., creado durante el paso 310 se aplica al píxel p para crear un valor de píxel filtrado. La operación de filtración ocurre en forma separada en las muestras de luminiscencia y en muestras asociadas de ambos componentes de crominancia. Se puede utilizar cualquiera de las diferentes funciones del filtro en la operación de filtración de referencia de ruido, como computar un promedio, un promedio ponderado o una media. La operación de filtración también puede incluir vecinos espaciales en la computación. Los vecinos espaciales también se pueden comparar con el umbral para considerar si se deben incluir los vecinos espaciales en la operación de filtración. El almacenamiento 104 de imagen filtrada de la Figura 2 almacena el resultado de la operación de filtración de píxel, como fílt_pic(p). La imagen filtrada, filt_pic entonces se vuelve la entrada para el resto del proceso de codificación de video cuando se reducen de ruido imágenes posteriores. De manera alternativa, las imágenes originales de entrada de los almacenamientos de imagen de referencia se pueden utilizar como las entradas para el proceso de reducción de ruido. Para los macrobloques que residen dentro de las intra- imágenes (i) o (rebanadas I), solamente ocurre la filtración espacial. De manera alternativa, los procesos de cálculo de movimiento y de reducción de ruido descritos antes pueden ocurrir, pero con el codificador de video que lleva a cabo solamente la intra-codificación, y por lo tanto no hace uso del grupo de decisión de cálculo de movimiento seleccionado en el grupo de decisión de cálculo de movimiento. Para el codificador 100, resulta una pequeña complejidad adicional para llevar a cabo el cálculo de movimiento en una imagen I, ya que el bloque 14' de cálculo de movimiento existente ya existe y de otra forma quedará sin usar bajo tales condiciones. La Figura 5 ilustra una modalidad alternativa ilustrativa de un codificador 100' de conformidad con los presentes principios. El codificador 100' de la Figura 5 comparte muchas de las características con el codificador 100 de la Figura 2 y los números de referencia similares identifican elementos similares. Sin embargo, a diferencia del codificador 100 de la Figura 2, el codificador 100' de la Figura 5 incluye un filtro 106 espacial para filtrar las imágenes de entrada antes de ser recibidas en el bloque 14' de cálculo de movimiento. Para las imágenes I, el cálculo de movimiento no ocurre, y el conmutador 108 acopla la salida del filtro 106 espacial con el bloque 12 sumador. Para las imágenes P y B, el cálculo de movimiento se lleva a cabo con el uso de las imágenes de entrada filtradas espacialmente como una entrada. Bajo tales circunstancias, el conmutador 108 acopla la entrada no invertida del amplificador sumador para recibir la salida del reductor 102 de ruido.

Lo anterior describe un codificador con reducción de ruido de baja complejidad apropiado para cualquier técnica de compresión de video con compensación de movimiento con base en bloques. Sin embargo, el codificador de la presente invención ofrece mejores resultados para una técnica de compresión como H.264 que utiliza múltiples imágenes de referencia, ya que tanto el codificador como el reductor de ruido pueden re-utilizar la función de cálculo de movimiento, lo que permite el uso de múltiples imágenes utilizadas en el proceso de filtración de reducción de ruido. La complejidad incrementada para llevar a cabo la reducción de ruido como parte de un codificador de video es poca comparada con un sistema de reducción de ruido de video independiente. Para secuencias de video ruidosas, el codificador de los presentes principios puede mejorar en forma importante la calidad del video comprimido a una velocidad particular de bits comparada con un codificador de video normal .

Claims (10)

REIVINDICACIONES

1. Un método para codificar una señal de video con ruido reducido, caracterizado porque comprende los pasos de: calcular el movimiento para cada macrobíoque en una señal de video entrante N veces (en donde N es un entero mayor que 1), para producir N grupos de grupos de decisión de cálculo de movimiento, cada grupo incluye un índice de imagen de referencia y un vector de movimiento; crear, para cada macrobíoque, un macrobíoque reducido de ruido con el uso de N grupos de datos de cálculo de movimiento; y codificar cada macrobíoque reducido de ruido con el uso del mejor de los grupos de datos de cálculo de movimiento.

2. El método de conformidad con la reivindicación 1, caracterizado porque el paso de calcular el movimiento también incluye el paso de calcular el movimiento N veces con el uso de cada una de las N diferentes imágenes de referencia.

3. El método de conformidad con la reivindicación 1, caracterizado porque el paso de crear el macrobíoque reducido de ruido también comprende los pasos de: seleccionar por lo menos una pluralidad de N grupos de grupos de decisión de cálculo de movimiento; y filtrar temporalmente cada píxel en el macrobíoque con el uso de los grupos de decisión de cálculo de movimiento.

4. El método de conformidad con la reivindicación 3, caracterizado porque el paso de seleccionar también comprende los pasos de: generar un predictor para cada grupo de decisión de cálculo de movimiento; calcular una diferencia entre el predictor y el píxel actual; determinar si la diferencia es menor que un umbral; y cuando es así; seleccionar el grupo de decisión de cálculo de movimiento cuya diferencia sea menor que el umbral.

5. El método de conformidad con la reivindicación 1, caracterizado porque además comprende el paso de filtrar espacialmente el video de entrada antes de calcular el movimiento.

6. Un método para codificar una señal de video con ruido reducido, caracterizado porque comprende los pasos de: calcular el movimiento para cada macrobloque en una señal de video entrante N veces (en donde N es un entero mayor que 1), con el uso de cada una de las N imágenes de referencia separadas para producir N grupos de grupos de decisión de cálculo de movimiento, cada grupo incluye un índice de imagen de referencia y un vector de movimiento; crear, .para cada macrobloque, un macrobloque reducido de ruido con el uso de N grupos de datos de cálculo de movimiento; y codificar cada macrobloque reducido de ruido con el uso del mejor de los datos de cálculo de movimiento.

7. Un codificador de video caracterizado porque comprende: una etapa de cálculo de movimiento para calcular el movimiento en cada macrobloque de la señal de video entrante N veces (en donde N es un entero mayor que 1) para producir N grupos de grupos de decisión de cálculo de movimiento, cada grupo incluye un índice de imagen de referencia y un vector de movimiento; un reductor de ruido para crear un macrobloque reducido de ruido con el uso de N grupos de datos de cálculo de movimiento; un medio codificador para codificar el macrobloque reducido de ruido.

8. El codificador de conformidad con la reivindicación 7, caracterizado porque además incluye un almacenamiento de imágenes de referencia para almacenar las imágenes codificadas y en donde la etapa de cálculo de movimiento calcula el movimiento N veces con el uso de cada una de las N diferentes imágenes de referencia almacenadas.

9. El codificador de conformidad con la reivindicación 7, caracterizado porque además comprende: un almacenamiento de imagen de referencia para almacenar las imágenes codificadas; un medio para aplicar las imágenes previamente codificadas almacenadas como una corriente de video de entrada para calcular el móvil para cada macrobloque para producir N grupos de grupos de decisión de cálculo de movimiento; y un medio para aplicar los grupos de decisión de cálculo de movimiento para filtrar imágenes para la reducción de ruido.

10. El codificador de conformidad con la reivindicación 7, caracterizado porque además comprende un filtro espacial para filtrar espacialmente el video de entrada antes de llevar a cabo el cálculo de movimiento.