MXPA05009234A

MXPA05009234A - Codificacion y decodificacion escalables de datos de video digital entrelazados.

Info

Publication number: MXPA05009234A
Application number: MXPA05009234A
Authority: MX
Inventors: Christine Guillemot
Original assignee: Thomson Licensing
Priority date: 2003-03-03
Filing date: 2004-02-20
Publication date: 2006-05-19
Also published as: CN1778116A; BRPI0407963A; US20070147492A1; US8155192B2; MY145020A; TWI329457B; WO2004080079A1; DE602004032322D1; KR20050107488A; TW200420134A; EP1455534A1; CN1778116B; EP1606950A1; JP4587321B2; KR100974397B1; EP1606950B1; JP2006521727A; ATE506812T1

Abstract

Codificador y decodificador para video entrelazado, totalmente escalables. Un metodo para codificar una secuencia entrelazada de datos de video digital, descompone la secuencia (I) de video entrelazado en el primero (F1) y el segundo (F2) campos, realiza el filtrado (SF1) digital para obtener las senales de menor frecuencia (L) y de mayor frecuencia (H) componentes de los primeros campos (F1), y usa el filtrado espaciotemporal (STF) y la estimacion de movimiento (ME1) para generar las senales (P, MV1) de la capa de base que son adecuadas para la reconstruccion en un receptor de una secuencia (V1, V2) de video en modo progresivo. Ventajosamente, tanto el filtro espaciotemporal (STF) en el codificador, como el proceso inverso (STS) en el receptor, pueden realizar el escalado en la dimension espacial y en la temporal. Los segundos campos (F2) se usan para generar las senales (FF2, MV2) de mejoramiento, que permiten a un receptor reproducir una secuencia de video entrelazado de resolucion espacial y/o temporal completa, o escalada.

Description

CODIFICACIÓN Y DECODIFICACION ESCALABLES DE DATOS DE VIDEO DIGITAL ENTRELAZADOS Campo de la invención. Esta invención se refiere a un método para la compresión de video. Más particularmente, se refiere a un método para lograr la escalabilidad cuando se codifica y se decodifica una secuencia entrelazada de _ datos de video digital .

Entorno . Actualmente, la mayoría de los algoritmos de codificación de video usan la codificación predictiva de movimiento compensado para la reducción de.l ancho de banda de la transmisión. En esos esquemas híbridos, la redundancia temporal se reduce usando compensación de movimiento, y la redundancia espacial se reduce a través de codificación de transformación residual de compensación del movimiento. Mientras que la mayoría del material de video de definición estándar (SD, siglas en inglés) , incluyendo el material de video MPEG disponible para propósitos de prueba, es entrelazado, la reciente investigación de la codificación de video escalable se ha concentrado solamente en la evaluación del video progresivo. Los esfuerzos en este sentido son estimulados, p. ej . , para el MPEG-4, como se menciona en "Description of Exploration experiments in Scalable Video Coding" ("descripción de los experimentes de exploración en codificación de video escalable"), ISO/IEC JEC1/SC29/WG11, MPEG2002/N5414, A aji, Diciembre de 2002. Los algoritmos conocidos, p. ej . , los descritos en la Publicación WO9003082 para HDTV, no son suficientes para la transmisión del video entrelazado, espacial y temporalmente escalable, debido a que se demanda un amplio rango de escalabilidad. Los nuevos tipos de proyección, p. ej . , las pantallas móviles en miniatura, funcionan con secuencias de video progresivas de baja resolución espacial y temporal, en tanto que otros, p. ej . , los receptores HDTV, requieren secuencias entrelazadas con alta resolución espacial y resolución temporal estándar.

Descripción de la invención. El propósito de la invención es una mejora de la sub banda o codificación de la pequeña ondulación del video entrelazado. Dado que en el video entrelazado las dimensiones espacial y temporal está.n estrechamente acopladas, el método inventivo usa la exploración adicional en el contexto de la relación señal-ruido (SNR) espaciotemporal .

El problema a resolver por la invención es el proporcionar un método para la escalabilidad completa espacial y temporal en la codificación y la decodificación del video entrelazado. Este método se describe para la codificación en la reivindicación 1, y para la decodificación en la reivindicación 6. En la reivindicación 10 se describe un aparato que utiliza el método para codificar. En la reivindicación 11 se describe un aparato que utiliza el método para decodificar. Puede cubrir la señal recibida hacia secuencias de video a diferentes niveles de resolución temporal, ya sea progresiva o entrelazada, y a varios niveles de resolución espacial.

De acuerdo con la invención, los datos de video digital entrelazados se procesan de tal forma que soportan la escalabilidad espacial, temporal y de calidad, calidad con respecto a la SNR, a saber, a través de operaciones adecuadas de partición y de filtrado espaciotemporal, conduciendo a la generación de secuencias escalables de subresolución espacial y/o temporal.

Esto se logra dividiendo o descomponiendo en dos capas el material de video fuente entrelazado, a saber, una capa base (BL, siglas de 'Base Layer' ) y una capa de mejoramiento (EL, siglas de 'Enhancement Layer' ) . La BL contiene una descripción completamente escalable de la fuente de video de entrada en modo progresivo, donde la escalabilidad se refiere a la resolución espacial, la resolución temporal y la calidad. La EL, cuando se combina con la BL, permite una reconstrucción escalable de bajo costo del material de video entrelazado original, incluyendo la consecución de la resolución espacial original, la resolución temporal y la calidad SNR.

Esta descomposición puede lograrse asociando cada campo distinto de la secuencia de video entrelazado con la misma capa, p. ej . , una capa procesa los campos pares y la otra capa procesa los campos nones. Ventajosamente, es posible ahorrar potencia de cómputo usando vectores de estimación de movimiento (ME, siglas de , otion Estimation' ) de la BL para partes del procesamiento de la EL. La secuencia de video entrelazado se descompone en cinco componentes, que pertenecen a las dos capas BL y EL. Un receptor de acuerdo con la invención puede combinar los componentes hacia secuencias de video de varios niveles de calidad, con respecto a la resolución espaciotemporal y a la SNR.

Las representaciones ventajosas de la invención se describen en las reivindicaciones dependientes, la descripción que sigue y las figuras.

Breve descripción de los dibujos. Las representaciones de ejemplo de la invención se describen con referencia a los dibujos adjuntos, que muestran: la Figura 1, la estructura de un codificador de video para codificación escalable de acuerdo con la invención; y la Figura 2, la estructura de un decodificador de video escalable de acuerdo con la invención.

Descripción detallada de la invención. La Figura 1 muestra la estructura de un codificador de video de acuerdo con la invención. La señal (I) de entrada es una secuencia de video entrelazado con una resolución temporal de 2OÍ Hz, p. ej . , 2a campos por segundo o a cuadros por segundo, y una resolución espacial de 2Mx2N, p. ej . , teniendo un cuadro 2N filas con 2M pixeles cada una, o teniendo un campo N filas con 2M píxeles cada una. Un bloque (SP) de partición distribuye la secuencia de tal forma que los campos son pasados de una manera alternada hacia una primera o una segunda ramas. La primera rama genera la información BL y la información EL, pero aquí nos referiremos a ella como la rama BL. La otra rama genera sólo la información EL, y la llamaremos la rama EL. Cada rama recibe una secuencia de video con una resolución temporal de cuadros por segundo y una resolución espacial de 2MxN pixeles. P. ej . , la secuencia (Fl) de la BL contiene campos pares y la secuencia EL contiene campos nones. Generalmente, el bloque (SP) de partición ejecuta cualquier transformación de partición, produciendo dos descripciones a partir de una única descripción fuente. También puede utilizar diversos filtros para el procesamiento más sofisticado, p. ej . , filtrado bajo/alto.

La rama BL realiza el filtrado (SFl) espacial en la secuencia (Fl) a lo largo del eje x, p. ej . , dentro de las lineas, y genera, a partir de las porciones de menor frecuencia de (Fl), una secuencia (L) de video con una resolución espacial de MxN pixeles, y a partir de las porciones de mayor frecuencia de (Fl) , una señal (H) de mejoramiento de la resolución espacial. En un ejemplo simple, el filtrado puede realizarse a través de un filtro (LPfüa) de paso bajo y un filtro (HPfiia) de paso alto, realizando ambos el submuestreo horizontal, p. ej . , el factor 2. También pueden parecer útiles otros factores. La secuencia (L) de baja resolución es la entrada hacia un filtro (STF) espaciotemporal y hacia un bloque (MEl) de Estimación de Movimiento (ME) . El filtro (STF) espaciotemporal realiza la transformación temporal compensada del movimiento, también llamada transformación 3D de pequeña ondulación o transformación 2D+t de pequeña ondulación- Puede implementarse, p. ej . , como un filtro Haar de transformación de longitud 2, o un filtro Daubechies de longitud 9 y 7, o de longitud 5 y 3. El bloque (ME1) de la (ME) genera los vectores (MV1) de movimiento, que sirven para tres propósitos: primero, se usan para optimizar el proceso de filtrado espaciotemporal; segundo, son transmitidos hacia el. receptor para ser usados, p. ej . , para el proceso de filtrado inverso; y tercero, se usarán en la rama EL del codificador.

La señal (P) de salida del filtro (STF) espaciotemporal es transmitida, y puede ser combinada por un receptor con los vectores (MV1) de . movimiento para reproducir, p. ej . , un pixel MxN, secuencia de video de o¡ Hz de modo progresivo. Venta osamente, cuando se usa la implementación arriba mencionada, también es posible diseñar el filtro espaciotemporal de modo que esta secuencia progresiva sea escalable con respecto a la resolución temporal y a la resolución espacial en ambas direcciones, x y y. El filtro puede contener varios niveles de filtrado, dependiendo del rango o del formato del marco meta, de modo que, p. ej . , pueda lograrse una resolución espacial de M'xN' y/o una resolución temporal de ?a Hz, estando M' y N' en el rango de [?,?] [0,N] y T eQ0i, siendo Qoi los números racionales en el rango de [0,1]. Este filtrado puede entregar diferentes frecuencias espaciotemporales cuyos ajustes, p. e . , la organización dentro de la corriente de datos, hacen a la capa de base completamente escalable. La salida (P) de este bloque (STF) es una secuencia progresiva con una resolución de 'xN', que es una subresolución del formato original de 2Mx2N, y representa el nivel de resolución espacial y temporal más bajo que genera el sistema de la invención.

La señal (H) de mejora de la resolución espacial, que contiene los campos de alta frecuencia a lo largo del eje x, pertenece a la capa EL de mejoramiento, y puede ser usada por receptores avanzados para reconstruir los marcos con mayor resolución espacial en x.

La rama EL realiza el Filtrado Temporal de Movimiento Compensado (MCTF, siglas en inglés) en la secuencia (F2) . Usa los vectores (MV) de. movimiento para minimizar la cantidad de datos que van a transmitirse cuando un objeto mueve su posición en una imagen con relación a otra imagen. Pueden usarse dos conjuntos diferentes de (MV's) : ya sea los (MV's generados a partir de la secuencia entrelazada original, o los (MV's) generados al comparar campos de la misma -paridad, ya sean nones o pares. Ventajosamente, para este último caso pueden usarse los vectores (MV1) generados en el bloque (ME1) de la rama BL, ya que es muy posible que el movimiento entre, p. ej . , dos campos pares sucesivos, sea muy similar al movimiento entre los dos campos nones correspondientes, o viceversa. También es posible que el movimiento cambie dentro de una secuencia de cuatro campos, de modo que pueda ser ventajoso el usar mejor los vectores (MV2) de movimiento, generados a partir de la secuencia (I) entrelazada en un segundo bloque (ME2) de estimación de movimiento. Por lo tanto, un bloque de decisión está integrado en la rama EL, para decidir ¿uál conjunto de (MV's) se va a usar para el (MCTF) . Puede ser ventajoso el transmitir la información de la decisión.

El filtrado temporal de movimiento compensado (MCTF) hace posible generar los campos (FF2) de (F2) filtrado, p. ej . , los campos (F2) con menor costo que los campos (F2) originales. Estoa campos (FF2) filtrados tienen la misma resolución espacial y temporal que los campos (F2) de entrada. La reducción del costo se logra usando los vectores de movimiento descritos, ya que se reduce la cantidad de datos transmitidos. La estimación del movimiento y la compensación del movimiento pueden realizarse a través de los campos, independientemente de la paridad, para capturar la correlación intra e ínter campos. Pueden usarse diversos modos de predicción (hacia atrás, hacia adelante o bidireccional ) asi como un algoritmo de campos de referencia múltiple. Para reducir el costo de codificación (MV) y la complejidad de la estimación, puede usarse a priori o a posteriori la información de la capa de base, dependiendo de los requerimientos meta.

Para la transmisión, será ventajoso multiplexar las corrientes resultantes en una corriente de bits. El método de codificación descrito descompone la secuencia de video original entrelazado en dos capas, BL y EL, que permiten que la corriente de bits resultante soporte una variedad de niveles de resolución espacial y temporal, del lado del codificador así como del lado del decodificado . La EL descrita también puede ser vista más como una pluralidad de capas, dado que contiene varios niveles de resolución.

Como un ejemplo concreto, la secuencia (I) de video de entrada es video de resolución estándar (SD) , con a = 30 ó siendo 2a Hz de 60 Hz, (Fl) representa, p. ej . , los campos pares y (F2), p. ej . , los campos nones, LPfila realiza la submuestra 2:1, (L) es una secuencia de Formato de Imagen Común (CIF) a 30 Hz, y (STF) es un filtro espaciotemporal de nivel 1, de modo que (P) es una secuencia CIF a 15 Hz.

Del lado del decodificador, tiene que considerarse varios escenarios, dependiendo de las aplicaciones meta: decodificación sin pérdida o de pérdida en los modos progresivo o entrelazado. La Figura 2 muestra un decodificador avanzado de ejemplo que puede generar diversos niveles de calidad, elegibles para las necesidades técnicas o del usuario . El modo de decodificador puede ser seleccionado a través de un selector de calidad QS. Este puede ser controlado, p. e . , a través del transmisor o del proveedor de contenido, o de las capacidades técnicas del receptor, o de las preferencias del usuario. Los ejemplos para los modos diferentes son sin pérdida o de pérdida, rangos de campos diferentes, resolución, espacial diferente, etc. El proceso de decodificación depende de la calidad de decodificado seleccionada.

El modo más simple, desde el punto de vista del decodificador , es el modo progresivo sin pérdida. En este caso sólo necesitan ser completamente decodificadas las señales BL de la capa de base, que comprenden una secuencia (P) progresiva y los vectores (MVl) de movimiento. El decodificado se realiza usando una síntesis espaciotemporal, STS. De esta manera, la secuencia VI de video reconstruida tiene todas las resoluciones espaciotemporales, p. ej . , resolución espacial de MxN píxeles y resolución temporal de a Hz.

Otro modo es el modo perdedor progresivo. Esto significa que la resolución espaciotemporal de la secuencia (V2) del video reconstruido es una subresolución de la resolución lograda en el modo (VI) progresivo sin pérdida. El uso de la síntesis STS espaciotemporal para la decodificación, hace posible reconstruir cualquier secuencia progresiva de ?'??', ?'a Hz, con M' y ' en el rango de [0,M] y [0,N] y ?' en el rango de [0,1]. De nuevo, sólo necesita decodificarse la capa de base.

Cuando todo el material de video entrelazado original deba ser reconstruido, p. e . , sin pérdida de información, se requiere el modo de entrelazado sin pérdida. Esto significa que ambas, la capa base BL y la capa de mejoramiento EL, deben ser completamente decodificadas . Como se describió para el codificador, las señales EL comprenden los datos (H) adicionales relativos a las frecuencias más altas en la dirección x de los campos (Fl) , los vectores (MV2) de movimiento generados desde la secuencia entrelazada de entrada, y la información (FF2) relativa a los campos (F2) . Para la decodificación apropiada, todas las operaciones del codificador tienen que ser realizadas a la inversa. El filtrado inverso comúnmente es llamado síntesis. Cuando el filtrado inverso respectivo, que en este caso es síntesis espacial (SS, siglas en inglés) , se aplica a los datos (H) adicionales y a la señal (VI) reconstruida de la BL, se produce una secuencia (V3) de video, que corresponde a la secuencia (Fl) original en el lado del codificador, de resolución 2 xN y OÍ Hz. Además, la secuencia (F2) original del lado del codificador, con la misma resolución, puede ser sintetizada a partir de las otras señales (FF2) y (MV2) de la EL, usando un filtro temporal de movimiento compensado inverso, IMCTF. Los campos (Fl) son entonces unidos con los campos (F2) a través de una operación ISP de partición inversa, para reconstruir completa la secuencia (V4) de video entrelazado, con todas las resoluciones espaciotemporales de 2 x2N y 2o¡ Hz, o de a cuadros entrelazados por segundo.

Como otra posibilidad, puede usarse el modo entrelazado con pérdida. Esto significa que la resolución espaciotemporal reconstruida es una subresolución de la -Irresolución total. Como se describió arriba para el modo con pérdida, la decodificación - hace posible reconstruir cualquier secuencia M' xN' , ? Hz entrelazada. Este caso con pérdida significa que la 'capa base, o la capa de mejoramiento, o ambas, no están completamente decodificadas . Esto puede realizarse a través de la síntesis espaciotemporal, STS, de modo que el (V2) pueda ser usado en lugar del (VI) para el procesamiento posterior. También puede realizarse a través de la síntesis espacial, SS, o del filtrado temporal de movimiento compensado inverso, IMCTF.

En otra representación de la invención, es posible simplificar el filtro STF espaciotemporal en el codificador, de modo se transmita directamente la frecuencia (Fl) . En este caso, también es posible cancelar la síntesis STS espaciotemporal en el receptor.

Ventajosamente, el método de la invención proporciona una posibilidad de general video escalable, incluyendo video entrelazado, con la misma corriente de bits que puede usarse para una TV con modo de entrelazado de alta resolución y para un dispositivo móvil con modo progresivo de baja resolución. Dado que la corriente de bits está totalmente integrada, es posible extraer todas las subresoluciones espaciales o temporales deseadas, en el lado del transmisor asi como en el lado del receptor.

El método de la invención puede ser usado para todas las aplicaciones de video, preferiblemente para todos los sistemas acordes con MPEG.

Claims

REIVI DICACIONES

1. ün método para codificar una secuencia entrelazada de datos de video digital, donde se generan una capa base para la reconstrucción básica de los datos de video y una o más capas de mejoramiento para mejorar la reconstrucción de la capa base, caracterizado por los pasos de: - dividir la secuencia entrelazada en dos subsecuencias; - filtrar espacialmente la primera subsecuencia donde se generan una corriente de menor frecuencia y una corriente de mayor frecuencia; - filtrar de forma espaciotemporal la corriente de menor frecuencia, donde se genera una primera señal de la capa base para la reconstrucción de una secuencia de video en modo progresivo de primera resolución; - realizar una primera estimación de movimiento en la corriente de menor frecuencia, donde los vectores de movimiento resultantes, junto con la primera señal de la capa base, forman una segunda señal de la capa base para la reconstrucción de una secuencia de .video en modo progresivo, de segunda resolución; - filtrado temporal de movimiento compensado de la segunda subsecuencia, para obtener las señales de la capa de mej oramiento .

2. Método de acuerdo con la reivindicación 1, donde el filtrado espaciotemporal modifica la resolución del video en la dimensión temporal, o en lá espacial, o en ambas.

3. Método de acuerdo con la reivindicación 1 ó 2, caracterizado además en el paso de realizar una segunda estimación de movimiento en la secuencia de video entrelazado, donde se generan los segundos vectores de movimiento.

4. Método de acuerdo con cualquiera de las reivindicaciones 1-3, donde el filtrado digital de movimiento compensado también usa la señal de video entrelazado y/o los resultados de la primera estimación de · movimiento .

5. Método de acuerdo con cualquiera de las reivindicaciones 1-4, donde se transmiten al menos algunas de las siguientes subsecuencias : la primera señal de la capa base, los vectores de movimiento generados a partir de la primera subsecuencia, la corriente de mayor frecuencia generada a partir de la primera subsecuencia, los vectores de movimiento generados a partir de la secuencia entrelazada, las señales de la capa de mejoramiento obtenidas a partir del filtrado temporal de movimiento compensado.

6. ün método para decodificar una pluralidad de subcorrientes de una corriente de bits que representa una secuencia de datos de video entrelazados, donde las subcorrientes solas están asociadas ya sea con una capa base o con una capa de mejoramiento, comprendiendo el método los pasos de: - extraer de la corriente de bits aquellas subcorrientes que están asociadas con la capa base; y - realizar la síntesis espaciotemporal en esas subcorrientes, donde se genera una secuencia de video en modo progresivo; - seleccionar o determinar una calidad de decodificado que sea una calidad de decodificado o bien básica, o una mejorada, donde se evalúan las señales de control de un transmisor o un proveedor de contenido, las capacidades técnicas del lado del receptor y/o las .preferencias del usuario; - a la selección de una calidad mejorada de decodificado, realizar la síntesis espacial en la secuencia de video en modo progresivo y en una subcorriente asociada con la capa de mejoramiento, donde la síntesis espacial genera una secuencia de video en modo progresivo, mejorada.

7. Método de acuerdo con la reivindicación 6, que comprende además los pasos de: realizar un filtrado temporal inverso de movimiento compensado en la secuencia de video en modo progresivo mejorada y en una o más de las subcorrientes que están asociadas con la capa de mejoramiento; - realizar la partición inversa en la salida del filtrado temporal de movimiento compensado y en la secuencia de video en modo progresivo mejorada, donde se genera una secuencia de video entrelazado de resolución total espaciotemporal mejorada.

8. Método de acuerdo con la reivindicación 6 6 7, donde la síntesis espaciotemporal en las subcorrientes asociadas con la capa base produce una representación escalada de una secuencia de video en modo progresivo, refiriéndose el escalado a la dimensión espacial, a la temporal, o a ambas.

9. Un aparato para codificar una secuencia entrelazada de datos de video digital, donde se generan una capa base y una o más capas de mejoramiento, caracterizado en que comprende : - un bloque de partición para descomponer la secuencia entrelazada en dos subsecuencias; - un filtro espacial para descomponer la primera subsecuencia en una corriente de menor frecuencia y una corriente de mayor frecuencia; - un filtro espaciotemporal para procesar la corriente de menor frecuencia, donde se genera una primera señal de la capa base para la reconstrucción de una secuencia de video en modo progresivo, de una primera resolución; un primer bloque de estimación de movimiento para procesar la corriente de menor frecuencia, donde los vectores de movimiento resultantes, junto con la primera señal de la capa base, forman una segunda señal de la capa base para la reconstrucción de una secuencia de video en modo progresivo, de una segunda resolución; y - un filtro temporal de movimiento compensado para procesar la segunda subsecuencia, para obtener las señales de la capa de me oramiento.

10. Un aparato para decodificar una pluralidad de subcorrientes de una corriente de bits que representa una secuencia de datos de video entrelazados, donde las subcorrientes solas están asociadas ya sea con una capa base o con una capa de mejoramiento, caracterizado en que comprende : - bloque de síntesis espaciotemporal para generar, a partir de las subcorrientes asociadas con la capa base, una secuencia de video en modo progresivo de una primera resolución; un bloque selector de calidad para seleccionar o determinar una calidad de decodificado, ya sea una calidad de decodificado básica o una mejorada, donde se evalúan las señales de control de un transmisor o un proveedor de contenido, las capacidades técnicas en el lado del receptor, y/o las preferencias del usuario; - un bloque de síntesis espacial para procesar, a la selección de una calidad de decodificado mejorada en el bloque selector de calidad, la secuencia de video en modo progresivo y una subcorriente asociada con la capa de mej oramiento, generando el bloque de síntesis espacial una secuencia de video en modo progresivo, mejorada.

11. Aparato de acuerdo con la reivindicación 10, que comprende además : - un bloque de filtrado temporal de movimiento compensado inverso para procesar la secuencia de video en modo progresivo mejorada y una o más de las subcorrientes que están asociadas con la capa de mejoramiento; - un bloque de partición inversa para procesar la salida del bloque de filtrado temporal de movimiento compensado inverso y la secuencia de video . en modo progresivo mejorada, donde se genera una secuencia de video entrelazado de resolución espaciotemporal mejorada o total. RE SUMEN Codificador y decodificador para video entrelazado, totalmente escalables. Un método para codificar una secuencia entrelazada de datos de video digital, descompone la secuencia (I) de video entrelazado en el primero (Fl) y el segundo (F2) campos, realiza el filtrado (SF1) digital para obtener las señales de menor frecuencia (L) y de mayor frecuencia (H) componentes de los primeros campos (Fl) , y usa el filtrado espaciotemporal (STF) y la estimación de movimiento (ME1) para generar las señales (P, MV1) de la capa base que son adecuadas para la reconstrucción en un receptor de una secuencia (VI,V2) de video en modo progresivo. Ventajosamente, tanto el filtro espaciotemporal (STF) en el codificador, como el proceso inverso (STS) en el receptor, pueden realizar el escalado en la dimensión espacial y en la temporal. Los segundos campos (F2) se usan para generar las señales (FF2, MV2) de mejoramiento, que permiten a un receptor reproducir una secuencia de video entrelazado de resolución espacial y/o temporal completa, o escalada.