MX2015003865A - Procesamiento de imagenes con referencia inter-capa por escalabilidad con codificacion estandar. - Google Patents

Abstract

Los datos de vídeo se codifican en un flujo de bits en capas de codificación estándar. Dada una capa base (BL) y una o más señales de capas aumentadas (EL), la señal BL es codificada dentro de un flujo codificado BL utilizando un codificador BL que es compatible con una primera codificación estándar. En respuesta a la señal BL y la señal, una unidad de procesamiento por referencia (RPU) determina parámetros de procesamiento RPU. En respuesta a los parámetros de procesamiento RPU y la señal BL, la RPU genera una señal de referencia inter-capas. Utilizando un codificador EL, que es compatible con un segundo estándar de codificación, la señal es codificada en un flujo codificado EL, donde la codificación de la señal está basada al menos en parte en la señal de referencia inter-capas. Los receptores con una RPU y decodificadores de video compatibles con ambas, la primera y la segunda codificación estándar pueden decodificar los dos: los flujos codificados BL y los EL.

Description

PROCESAMIENTO DE IMÁGENES CON REFERENCIA INTER-CAPA POR ESCALABILIDAD CON CODIFICACIÓN ESTÁNDAR REFERENCIA CRUZADA A SOLICITUDES RELACIONADAS Esta solicitud reclama prioridad a la Solicitud de Patente Provisional de los Estados Unidos No. 61/706,480 presentada el 27 de septiembre de 2012, la cual se incorpora en este documento por referencia en su totalidad.

TECNOLOGÍA La presente invención se refiere generalmente a imágenes. Más particularmente, una modalidad de la presente invención se refiere al procesamiento de imágenes con referencia inter-capas por escalabilidad con codificación estándar.

ANTECEDENTES La compresión de audio y vídeo es un componente clave en el desarrollo, almacenamiento, distribución, y consumo de contenidos multimedia. La elección de un método de compresión implica contrapartidas entre eficiencia de codificación, complejidad en la codificación y retrasos. Mientras la proporción de potencia de procesamiento sobre los costos de computación incrementa, esta permite el desarrollo de téenicas de compresión más complejas que permitan la compresión más eficiente. Como ejemplo, en compresión de vídeo, el Grupo Experto en Imágenes en Movimiento (Motion Imágenes Expert Group, MPEG, por sus siglas en inglés) de la Organización Internacional de Normas (International Standards Organization, ISO, por sus siglas en inglés) ha continuado mejorando el estándar de vídeo MPEG-1 original mediante la liberación de los estándares de codificación MPEG-2, MPEG-4 (parte 2), y H.264/AVC (o MPEG-4, parte 10).

A pesar de la eficiencia de compresión y el éxito del H.264, ahora está en desarrollo una nueva generación de teenología de compresión de vídeo, conocida como Codificación de Vídeo de Alta Eficiencia (High Efficiency Video Codificación, HEVC, por sus siglas en inglés). HEVC, cuyo proyecto está disponible en "High efficiency video codificación (HEVC) text specification draft 8, " ITU-T/ISO/IEC Joint Collaborative Team on Video Codificación (JCT-VC, por sus siglas en inglés) documento JCTVC-J1003, de Julio de 2012, por B. Bross, W.-J. Han, G. J. Sullivan, J.-R. Ohm, y T. Wiegand, el cual está incorporado aquí en su totalidad por referencia; se espera que proporcione una mejor capacidad de comprensión sobre el estándar existente H.264 (también conocido como Advanced Video Codificación (AVC, por sus siglas en inglés), publicado como, "Advanced Video Codificación for generic audio-visual Services," ITU T Rec. H.264 y ISO/IEC 14496-10, el cual está incorporado aquí por referencia en su totalidad. Como se aprecia por los inventores en este documento, se espera que en los próximos años H.264 siga siendo la codificación de vídeo estándar dominante, utilizada en todo el mundo para la distribución de vídeo digital. Se aprecia además que los estándares más recientes, como HEVC, deben permitir la compatibilidad con los estándares existentes.

Como se utiliza en este documento, el término "codificación estándar" denota algoritmos de compresión (codificación) y descompresión (decodificar) que pueden estar basados tanto en estándares, en fuente abierta, o propietarios, tales como los estándares MPEG, Windows Media Video (WMV), flash video, VP8, y similares.

Los enfoques descritos en esta sección son los enfoques que podrían ponerse en práctica, pero no necesariamente son enfoques que han sido previamente concebidos o puestos en práctica. Por lo tanto, a menos que se indique lo contrario, no se debe asumir que cualquiera de los enfoques descritos en esta sección califica como téenica previa por el simple hecho de su inclusión en esta sección. De manera similar, los asuntos identificados en relación con uno o más de los enfoques no deben asumirse como reconocidos en cualquier estado de la técnica previa, sobre la base de esta sección, a menos que se indique lo contrario.

BREVE DESCRIPCIÓN DE LOS DIBUJOS Una modalidad de la presente invención se ilustra a manera de ejemplo, y no en forma de limitación, en las figuras de los dibujos adjuntos y en los que números de referencia se refieren a elementos similares y en los cuales: La Figura 1 describe un ejemplo de implementación de un sistema de codificación que soporta escalabilidad con codificación estándar de acuerdo con una modalidad de esta invención; La Figura 2A y la Figura 2B describen ejemplos de implementaciones de sistemas de codificación que se apoyan en escalabilidad con códec AVC/H.264 y HEVC de acuerdo con una modalidad de esta invención La Figura 3 describe un ejemplo de codificación en capas con una ventana de recorte de acuerdo con una modalidad de esta invención; La Figura 4 describe un ejemplo de procesamiento ínter-capas para imágenes entrelazadas de acuerdo con una modalidad de esta invención; La Figura 5A y la Figura 5B describen ejemplos de procesamiento inter-capas que se apoyan en escalabilidad con codificación estándar de acuerdo con una modalidad de esta invención; La Figura 6 describe un ejemplo de procesamiento RPU para el modelo de codificación de señal por escalabilidad de acuerdo con una modalidad de esta invención; La Figura 7 describe un ejemplo de proceso de codificación de acuerdo con una modalidad de esta invención; La Figura 8 describe un ejemplo de proceso de decodificación de acuerdo con una modalidad de esta invención; y La Figura 9 describe un ejemplo de proceso de decodificación RPU de acuerdo con una modalidad de esta invención.

DESCRIPCIÓN DE MODALIDADES EJEMPLARES En este documento se describe el procesamiento de imágenes por referencia inter-capass por escalabilidad con codificación estándar. Dada una señal de capa base, la cual está codificada por medio de un codificador (BL) de capa base que es compatible con una primera codificación estándar (por ejemplo, H.264), un proceso de Unidad de Procesamiento por Referencia (Reference Processing Unit, RPU, por sus siglas en inglés) genera imágenes de referencia y parámetros RPU de acuerdo con las características de señales de entrada en la capa base y una o más capas aumentadas. Estos cuadros de referencia inter-capas pueden utilizarlas el codificador (EL) de capa de mejora, que es compatible con un segundo estándar de codificación (por ejemplo, HEVC), para comprimir (codificar) una o más señales de capa de mejora, y combinarlas con la capa base para formar un flujo de bits escalables. En un receptor, después de decodificar un flujo BL con un decodificador BL que es compatible con la primera codificación estándar, un decodificador RPU puede aplicar parámetros RPU recibidos para generar cuadros de referencia inter-capas del flujo BL decodificado. Estos cuadros de referencia pueden ser utilizados por un decodificador EL que es compatible con la segunda codificación estándar para decodificar el flujo codificado EL.

En la siguiente descripción, para los propósitos de explicación, se divulgan numerosos detalles específicos con el fin de proporcionar un entendimiento completo de la presente invención. Será aparente, sin embargo, que la presente invención pueda ser practicada sin estos detalles específicos. En otros ejemplos, no se describen en detalle exhaustivo estructuras y dispositivos bien conocidos, con el fin de evitar oscurecer innecesariamente la presente invención.

PERSPECTIVA GENERAL Las modalidades ejemplares descritas en este documento se refieren a procesamiento de imágenes con referencia inter-capass por escalabilidad con codificación estándar. En una modalidad, se codifican datos de vídeo en un flujo de bits por capas de codificación estándar. Dada una capa base (BL) y señales de capas aumentadas (EL), la señal BL es codificada en un flujo BL utilizando un codificador BL que es compatible con una primera codificación estándar. En respuesta a la señal BL y la señal EL, una unidad de procesamiento por referencia (RPU) determina parámetros de procesamiento RPU. En respuesta a los parámetros de procesamiento RPU y la señal BL, la RPU genera una señal de referencia ínter-capas. Utilizando un codificador EL que es compatible con un segundo estándar de codificación, la señal EL es codificada en un flujo codificado EL, donde la codificación de la señal EL está basada al menos en parte en la señal de referencia inter-capas.

En otra modalidad, un receptor desmultiplexa un flujo de bits escalables recibidos para generar: un flujo codificado BL, un flujo codificado EL, y un flujo de datos RPU. Un decodificador BL que es compatible con una primera codificación estándar decodifica el flujo codificado BL para generar una señal decodificada BL. Un receptor con una RPU también puede decodificar un flujo de datos RPU para determinar parámetros de procesos RPU. En respuesta a los parámetros de procesamiento RPU y la señal BL, la RPU puede generar una señal de referencia inter-capas. Un decodificador EL que es compatible con un segundo estándar de codificación puede decodificar el flujo codificado EL para generar una señal decodificada EL, donde la decodificación del flujo codificado EL está basada al menos en parte en la señal de referencia inter-capas.

ESCALABILIDAD ESTÁNDAR POR CODIFICACIÓN BASADA EN CAPAS Los estándares de compresión tales como MPEG-2, MPEG-4 (parte 2), H.264, flash, y similares, están siendo utilizados a lo ancho del mundo para enviar contenidos digitales a través de una variedad de medios, tales como, discos DVD o discos Blu-ray, o por radiodifusión al aire, cable, o banda ancha. Como se están desarrollando nuevos estándares de codificación de videos, tales como HEVC, la adopción de los nuevos estándares podría incrementarse si apoyaran cierta compatibilidad hacia las normas existentes del pasado.

La Figura 1 describe una modalidad de un ejemplo de implementación de un sistema que soporta escalabilidad con codificación estándar. El codificador comprende una capa base (BL) un codificador (110) y un codificador de capa de mejora (EL) (120). En una modalidad, el codificador BL 110 es un codificador antiguo, tales como un MPEG-2 o un codificador H.264, y el codificador EL 120 es un nuevo codificador estándar, tal como un codificador HEVC. Sin embargo, este sistema es aplicable a cualquier combinación de cualquiera de los codificadores conocidos o futuros, si están basados en estándares o en propiedad. El sistema también puede extenderse para soportar más de dos normas o algoritmos de codificación.

De acuerdo con la Figura 1, una señal de entrada puede comprender dos o más señales, por ejemplo, una señal de capa base (BL) 102 y una o más señales de capas aumentadas (EL), por ejemplo la señal EL 104. La señal BL 102 está comprimida (o codificada) con el codificador BL 110 para generar un flujo codificado BL 112. La señal 104 está comprimida por el codificador EL 120 para generar flujo codificado EL 122. Los dos flujos son multiplexados (por ejemplo, por medio de MUX 125) para generar un flujo de bits escalables codificados 127. En un receptor, un desmultiplexor (DEMUX 130) puede separar los dos flujos de bits codificados. Un decodificador antiguo (por ejemplo, el decodificador BL 140) puede decodificar solo la capa base 132 para generar una señal de salida BL 142. Sin embargo, un decodificador que soporta el nuevo método de codificación (el codificador EL 120), también puede decodificar la información adicional proporcionada por el flujo codificado EL 134 para generar la señal de salida EL 144. El decodificador BL 140 (por ejemplo, un MPEG-2 o el decodificador H.264) coincide con el codificador BL 110. El decodificador EL 150 (por ejemplo, un decodificador HEVC) coincide con el codificador EL 120.

Tal sistema escalable puede mejorar la eficiencia de la codificación en comparación con un sistema de emisión simultánea mediante la exploración correcta de la predicción inter-capas, es decir, mediante la codificación de la señal de capa de mejora (por ejemplo, 104) tomando en consideración la información disponible de las capas bajas (por ejemplo, 102). Ya que el codificador BL y el codificador EL cumplen con los diferentes estándares de codificación, en una modalidad, la escalabilidad por codificación estándar puede lograrse a través de una unidad de procesamiento separada, la codificación por Unidad de Procesamiento por Referencia (RPU) 115.

La RPU 115 puede considerarse una extensión del diseño RPU descrito en la Solicitud de Patente de los Estados Unidos PCT/US2010/040545, "Encoding and decodíng architecture for format compatible 3D video delivery," por A. Tourapis, et al . , registrada el 30 de Junio de 2010, y publicada como WO 2011/005624, la cual es incorporada aquí por referencia para todos los propósitos. Las siguientes descripciones de la RPU aplican, a menos que de otra manera se especifique lo contrario, tanto para la RPU de un codificador, como a la RPU de un decodificador. Los téenicos con habilidades ordinarias en campos relacionados con la codificación de vídeos entenderán las diferencias, y serán capaces de distinguir entre un codificador específico, un decodificador específico y las descripciones genéricas de una RPU, así como las funciones y procesos de lectura de la presente invención. Dentro del contexto de un sistema de codificación de video, como se describe en la Figura 1, la RPU (115) genera cuadros de referencia inter-capas basados en imágenes decodificadas del codificador BL 110, de acuerdo con un conjunto de reglas de selección de diferentes filtros y procesos RPU.

La RPU 115 permite que el procesamiento sea adaptativo a nivel región, donde cada región de la imagen/secuencia es procesada de acuerdo con las características de cada región. La RPU 115 puede utilizar filtros horizontales, verticales, o de dos dimensiones (2D), borde adaptativo o frecuencia basada en filtros dependientes de región, y/o filtros de réplica de pixeles u otros métodos o medios para entrelazar, des-entrelazar, filtrar, por muestreo-real, y otros procesamientos de imagen.

Un codificador puede seleccionar procesos RPU y emite señales de procesamiento regionales, los cuales se proporcionan como datos de entrada a un decodificador RPU (por ejemplo, 135). La señalización (por ejemplo, 117) puede especificar el método de procesamiento sobre una base por región. Por ejemplo, los parámetros que se refieren a la región atributos tales como número, tamaño, forma y otras características, pueden especificarse en datos RPU relacionados con datos de encabezados. Algunos de los filtros pueden comprender coeficientes de filtros fijos, en cuyo caso los coeficientes de filtro no necesitan ser señalados explícitamente por la RPU. Otros modos de procesamiento pueden comprender modos explícitos en los que los parámetros de procesamiento, tales como los valores del coeficiente, se señalan explícitamente. Los procesos RPU también pueden ser especificados por cada componente de color.

La señalización de datos de la RPU 117 o bien puede incluirse en el flujo de bits codificados (por ejemplo, 127), o transmitirse separadamente al decodificador. Los datos RPU pueden señalizarse junto con la capa en la que se realiza el procesamiento de la RPU. Adicional o alternativamente, los datos de la RPU de todas las capas pueden señalizarse al interior de un paquete de datos RPU, que está incrustado en el flujo de bits, ya sea antes o después de la incrustación de los datos codificados EL. El suministro de datos RPU puede ser opcional para una capa dada. En el evento de que los datos RPU no estén disponibles, se puede utilizar un esquema por defecto para realizar la conversión de esa capa. De modo parecido, también es opcional el suministro de un flujo de bits codificados por capa de mejora.

Una modalidad permite múltiples posibles métodos para seleccionar los pasos del procesamiento en una RPU. Un número de criterios puede utilizarse por separado -o en conjunto- para determinar el procesamiento RPU. Los criterios de selección RPU pueden incluir: la calidad del flujo de bits de la capa base decodificada, la calidad de los flujos de bits de capa de mejora decodificada, la rapidez de bits necesaria para la codificación de cada capa que incluye los datos RPU, y/o la complejidad de decodificación y el procesamiento de los datos RPU.

La RPU 115 puede servir como una etapa de pre procesamiento que procesa información del codificador BL 110, antes de utilizar esta información como un predictor potencial de la capa de mejora en un codificador EL 120. La información relacionada con el procesamiento RPU puede comunicarse (por ejemplo, como metadatos) con un decodificador, tal como el descrito en la Figura 1, utilizando un flujo de capa RPU 136. El procesamiento RPU puede comprender una variedad de operaciones de procesamiento de imágenes, tales como: transformaciones de espacios de color, cuantificación no lineal, muestreo ampliado lu a y croma, y filtrado. En una implementación típica, las señales de datos EL 122, BL 112, y RPU 117 son multiplexadas en un único flujo de bits codificados (127).

El decodificador RPU 135 coincide con el codificador RPU 115, y, con la orientación de la entrada de datos RPU 136, puede ayudar en la decodificación de la capa EL 134 mediante la realización de operaciones correspondientes a las operaciones realizadas por el codificador RPU 115.

La modalidad descrita en la Figura 1 fácilmente puede extenderse para apoyar más de dos capas. Además, puede extenderse para apoyar rasgos de escalabilidad adicional, que incluyen: escalabilidad temporal, espacial, SNR, croma, bit-profundo, y multi-visión.

Escalabilidad con codificación estándar H.264 y HEVC En un ejemplo de modalidad, la Figura 2A y la Figura 2B describen un ejemplo de modalidad por escalabilidad con codificación estándar basada en capas, como puede aplicarse a los estándares HEVC y H.264. Sin detrimento de generalizaciones, las Figuras 2A y 2B describen solo dos capas; sin embargo, los métodos fácilmente pueden extenderse a sistemas que apoyan múltiples capas aumentadas.

Como se describe en la Figura 2A, el codificador H.264 110 -como el codificador HEVC 120- comprenden predicción intra, predicción ínter, transformación y cuantificación directas (FT, por sus siglas en inglés), transformación y cuantificación inversas (IFT, por sus siglas en inglés), codificación de entropía (EC, por sus siglas en inglés), filtros de desbloqueo (DF, por sus siglas en inglés), y búfer de imágenes decodificadas (DBP, por sus siglas en inglés). Además, un codificador HEVC también incluye un bloque de compensación adaptativa de muestra (Sample Adaptive Offset (SAO, por sus siglas en inglés)). En una modalidad, como se explicará más adelante, una RPU 115 puede acceder a los datos BL antes del filtro desbloqueo (DF) o bien antes de la DPB. De manera similar, en un nivel codificador multi estándar (ver la Figura 2B), el decodificador RPU 135 también puede acceder a los datos BL antes del filtro de desbloqueo (DF) o bien antes de la DPB.

En la codificación de vídeo escalable, el término "solución multi-bucle" denota un decodificador en capas en el que las imágenes en una capa de mejora son decodificadas basadas en imágenes de referencia extraídas tanto por la misma capa como de otras sub-capas. Las imágenes de las capas base/referencia son reconstruidas y guardadas un el Búfer de Imágenes Decodificadas (Decoded Picture Buffer, DPB, por sus siglas en inglés). Estas imágenes de capa base, llamadas imágenes de referencia Inter-capa, pueden servir como imágenes de referencia adicional, en la decodificación de la capa de mejora. La capa de mejora luego tiene las opciones de utilizar bien sea imágenes con referencia temporal, o imágenes con referencia Inter-capa. En general, la predicción Inter-capa ayuda a mejorar la eficiencia de codificación EL en un sistema escalable. Como el AVC y el HEVC son dos diferentes estándares de codificación y utilizan diferentes procesos de codificación, se puede requerir procesamiento adicional Inter-capas para garantizar que las imágenes codificadas AVC sean consideradas imágenes de referencia válida HEVC. En una modalidad, tal procesamiento puede llevarse a cabo mediante la RPU 115, como será explicado enseguida para varios casos de interés. Para la codificación por escalabilidad estándar, el uso de la RPU 115 tiene como propósito resolver las diferencias o conflictos que se incrementan por el uso de dos estándares diferentes, ambos en un nivel de sintaxis alto y el nivel de herramientas de codificación alto.

Conteo por Orden de Imágenes (POC) HEVC y AVC tienen varias diferencias en el alto nivel de sintaxis. Además, la misma sintaxis puede tener un diferente significado en cada estándar. La RPU puede trabajar como una sintaxis "traductora" de alto nivel entre la capa base y la capa de mejora. Uno de tales ejemplos es la sintaxis relacionada con el conteo por orden de imagen (Picture Order Count, POC, por sus siglas en inglés). En la predicción Inter-capa es importante sincronizar las imágenes con referencia Inter-capa de una capa base con las imágenes que están siendo codificadas en la capa de mejora. Esta sincronización es aún más importante cuando la capa base y las capas aumentadas utilizan diferentes estructuras de codificación de imagen. Para los dos estándares AVC y HEVC, el término conteo por orden de imagen (POC) es utilizado para indicar el orden para mostrar en pantalla las imágenes codificadas. Sin embargo, en el AVC, hay 3 métodos para señalizar la información POC (indicados por la variable pic_order_ent_type) , mientras que en el HEVC, sólo está permitido un método, el cual es el mismo cuando pic_order_cnt_type == 0 en el caso del AVC. En una modalidad, cuando pic_order_cnt_type no es igual a 0 en un flujo de bits AVC, entonces la RPU (135) necesitará trasladarse al valor POC que conforma la sintaxis HEVC. En una modalidad, un codificador RPU (115) puede señalar datos adicionales relacionados con POC utilizando una nueva variable pic_order_ent_lsb, como se muestra en la Tabla 1. En otra modalidad, un codificador RPU simplemente puede forzar al codificador de la capa base AVC que solo utilice pic_order_cnt_type == 0.

Tabla 1 Sintaxis POC En la Tabla 1, pic_order_cnt_lsb especifica un módulo del conteo por orden de imágenes MaxPicOrderCntLsb para la imagen actual con referencia Inter-capa. La longitud del elemento de sintaxis pic_order_cnt_lsb es log2_max_pic_order_cnt_lsb_ menos 4 + 4 bits. El valor de la pic_order_cnt_lsb debería estar en el rango de 0 para MaxPicOrderCntLsb - 1, inclusive. Cuando pic_order_cnt_lsb no está presente, se infiere que pic_order_cnt_lsb sea igual a 0.

Ventana de recorte En la codificación AVC, la resolución de la imagen debe ser un múltiplo de 16. En la HEVC, la resolución puede ser un múltiplo de 8. Cuando se procesa la imagen con referencia Inter-capa en la RPU, se debe utilizar una ventana de recorte para deshacerse de pixeles acolchados en AVC. Si la capa base y la capa de mejora tienen diferentes resoluciones espaciales, (por ejemplo, una capa base es 1920 x 1080 y la capa de mejora es 4K), o si las proporciones del aspecto de las imágenes (Picture Aspect Ratios, PAR, por sus siglas en inglés) son diferentes (por decir, PAR 16:9 para la capa de mejora, Y PAR 4:3 para la capa base), en consecuencia la imagen tiene que ser recortada y puede reconsiderarse el tamaño. Un ejemplo de ventana de recorte relacionado con sintaxis RPU se muestra en la Tabla 2.

Tabla 2: Sintaxis de corte de imágenes En la Tabla 2, pic_cropping_flag igual a 1 indica que los parámetros de compensación de recorte de imagen siguen a continuación. Si pic_cropping_flag = 0, entonces los parámetros de compensación de recorte de imagen no están presentes y no se requiere recorte. pic_crop_left_offset, pic_crop_right_offset, pic_crop_top_offset, y pic_crop_bottom_offset especifican el número de muestras en las imágenes de la secuencia de vídeos codificados que están entrando al proceso de decodificación RPU, en términos de una región rectangular especificada en la imagen que coordina por entrada RPU.

Nótese que ya que el proceso RPU se lleva a cabo para cada referencia Inter-capa, los parámetros de las ventanas de recorte pueden cambiar en bases cuadro-por-cuadro. La región adaptativas de interés basada en la reconfiguración de vídeo es entonces soportada utilizando un enfoque de paneo (acercamiento) escaneo.

La Figura 3 describe un ejemplo de codificación en capas, donde una capa base HD (por ejemplo, 1920x1080) es codificada utilizando H.264 y proporciona una imagen que puede ser decodificada por todos los decodificadores antiguos HD. Una capa de mejoramiento de baja resolución (por ejemplo, 640x480) puede utilizarse para mejorar el apoyo opcional para una característica en "zoom". La capa EL tiene más baja resolución que la BL, pero puede ser codificada en HEVC para reducir todas las proporciones de bits. La codificación Inter-capa, como se describe aquí, puede además mejorar la eficiencia de codificación de esta capa EL.

Filtro de desbloqueo en bucle Ambas, tanto AVC como HEVC emplean un filtro de desbloqueo (Deblocking Filter, DF, por sus siglas en inglés) en los procesos de codificación y decodificación. El filtro de desbloqueo tiene la intención de reducir los artefactos de bloqueo debido a la codificación basada en bloque. Pero sus diseños en cada estándar son bastante diferentes. En el AVC, el filtro de desbloqueo se aplica en una muestra de base de cuadrícula 4x4, pero en el HEVC, el filtro de desbloqueo sólo se aplica a los bordes que están alineados en una muestra de cuadrícula 8x8. En el HEVC, la fortaleza del filtro de desbloqueo es controlada por los valores de varios elementos de sintaxis similares al AVC, pero AVC soporta cinco fortalezas mientras que HEVC soporta sólo tres fortalezas. En el HEVC, hay menos casos de filtración comparados con el AVC. Por ejemplo, para lu a, se selecciona uno de tres casos: sin filtración, filtración fuerte, y filtración débil. Para croma, hay sólo dos casos: sin filtración y filtración normal. Para alinear las operaciones del filtro de desbloqueo entre la imagen de referencia de capa base y la imagen de referencia temporal de la capa de mejora, se pueden aplicar algunos enfoques.

En una modalidad, la imagen de referencia sin desbloqueo AVC puede ser accedida directamente por la RPU, con ningún post procesamiento adicional. En otra modalidad, la RPU puede aplicar el filtro de desbloqueo HEVC a la imagen de referencia Inter-capa. La decisión del filtro en HEVC está basada en el valor de varios elementos de sintaxis, tales como: coeficientes de transformación, índice de referencia, y vectores de movimiento. Puede ser realmente complicado si la RPU necesita analizar toda la información para tomar la decisión de un filtro. El lugar de eso, uno puede explícitamente señalar el índice del filtro: en un nivel de bloque 8x8, CU (por sus siglas en inglés Coding Unity), a nivel LCU/CTU (La Unidad más Grande de Codificación o nivel de Unidad Árbol Codificada), a nivel múltiple de LCU, a nivel de porción o a nivel de imagen. Uno puede señalar índices de filtros luma y croma separadamente o ellos pueden compartir la misma sintaxis. La Tabla 3 muestra un ejemplo de cómo la decisión del filtro de desbloqueo podría indicarse como parte de un flujo de datos RPU.

Tabla 3: Sintaxis de Filtro de desbloqueo En la Tabla 3, filter_idx especifica el índice de filtro para componentes luma y croma. Para luma, filter_idx igual a 0 especifica no filtración. filter_idx igual a 1 especifica filtración débil, y filter_idx igual a 2 especifica filtración fuerte. Para croma, filter_idx igual a 0 o 1 especifica no filtración, y filter_idx igual a 2 especifica filtración normal.

Compensación Adaptativa de Muestra (SAO) SAO es un proceso que, a través de una tabla de búsqueda, modifica las muestras después del filtro de desbloqueo (DF). Como se describe en la Figura 2A y la Figura 2B, esto sólo es parte del estándar HEVC. El objetivo de SAO es mejorar la reconstrucción de amplitudes de la señal original utilizando una tabla de búsqueda que se describe por unos pocos parámetros adicionales que pueden ser determinados a través de un análisis de histograma en el lado del codificador. En una modalidad, la RPU puede procesar la imagen con referencia Inter-capa por desbloqueo/no-desbloqueo de la capa base AVC utilizando el proceso exacto SAO como se describió en el HEVC. La señalización puede estar basada en: región, adaptada a nivel CTU (LCU), a nivel múltiple de LCUs, a nivel de porción, o a nivel de imagen. La Tabla 4 muestra un ejemplo de sintaxis de parámetros de comunicación SAO. En la Tabla 4, la notación de sintaxis es la misma como la descrita en las especificaciones HEVC.

Tabla 4: Sintaxis de Compensación Adaptativa de Muestra Filtro de Bucle Adaptativo (ALF) Durante el desarrollo de HEVC, también se evaluó un filtro de bucle adaptativo (Adaptive Bucle Filter, ALF, por sus siglas en inglés) como un bloque de procesamiento después de SAO; sin embargo, ALF no es parte de la primera versión de HEVC. Dado que el procesamiento ALF puede mejorar la codificación Inter-capa, si se implementa por un futuro codificador, es otro paso en el procesamiento que podría implementarse también por medio de la RPU. La adaptación de ALF puede ser basada en región, adaptada a nivel CTU (LCU), a niveles múltiples de LCU, a nivel porción, o a nivel de imagen. Un ejemplo de parámetros ALF se describe en alf_picture_info() en, "High efficiency video codificación (HEVC) text specification draft 7," por B. Bross, W.-J. Han, G. J. Sullivan, J.-R. Ohm, y T. Wiegand, ITU-T/ISO/IEC Joint Collaborative Team on Video Codificación (JCT-VC) documento JCTVC-11003, de mayo de 2012, el cual está incorporado en este documento en su totalidad por referencia.

Escaneo Entrelazado y Progresivo El AVC soporta herramientas de codificación para ambos contenidos: progresivo y entrelazado. Para secuencias entrelazadas, se permiten las dos: codificación de cuadro y codificación de campo. En HEVC, ningunas herramientas explícitas de codificación están presentes para soportar el uso de escaneo entrelazado. HEVC proporciona sólo sintaxis de metadatos (Sintaxis de mensajes SEI por Indicación del Campo y VUI) para permitir que un codificador indique cómo fue codificado el contenido entrelazado. Se consideran los siguientes escenarios.

Escenario 1: Ambas: la capa base y la capa de mejora están entrelazadas Para este escenario, se pueden considerar varios métodos. En una primera modalidad, el codificador puede estar obligado a cambiar la codificación de la capa base en un modo de marco o en un modo de campo, sólo en una base por secuencias. La capa de mejora seguirá la decisión de codificación de la capa base. Es decir, si la capa base AVC utiliza codificación de campo en una secuencia, la capa de mejora HEVC utiliza la codificación de campo también en la correspondiente secuencia. De manera similar, si la capa base AVC utiliza la codificación de cuadro en una secuencia, la capa de mejora HEVC utiliza la codificación de cuadro también en la correspondiente secuencia. Se debe notar que para codificación de campo, la resolución vertical señalada en la sintaxis AVC es el cuadro alto; sin embargo, en la HEVC, la resolución vertical señalada en la sintaxis es el campo alto se debe tener especial cuidado en entrar en comunicación esta información en el flujo de bits, especialmente si se utiliza ventanas de recorte.

En otra modalidad, el codificador AVC puede utilizar codificación de cuadro adaptativo a nivel imagen, o codificación de campo, mientras que el codificador HEVC realiza codificación por cuadro adaptativo a nivel secuencia o codificación de campo. En ambos casos, la RPU puede procesar imágenes de referencia Inter-capa en una de las siguientes maneras: a) La RPU puede procesar la imagen de referencia Inter-capa como campos, sin tener en cuenta la decisión de codificación por cuadro o la decisión de codificación de campo en la capa base AVC, o b) la RPU puede adaptar el procesamiento de las imágenes de referencia Inter-capa basada en la decisión de codificación cuadro/campo en la capa base AVC. Es decir, si la capa base AVC está codificada por cuadro, la RPU procesará la imagen de referencia Inter- capa como un cuadro, o de otra manera, procesará la imagen de referencia Inter-capa como campos.

La Figura 4 describe un ejemplo de Escenario 1. La notación Di o Dp denota velocidad de cuadro si el formato es entrelazado o progresivo. Así, Di denota cuadros entrelazados D por segundo (o campos 2 D por segundo) y Dp denota cuadros progresivos D por segundo. En este ejemplo, la capa base comprende una definición estándar (Estándar Definition, SD, por sus siglas en inglés) 720x480, secuencia codificada 30i utilizando AVC. La capa de mejora es una secuencia 60i de alta definición (HD) 1920x1080, codificada utilizando HEVC codificado. Este ejemplo incorpora escalabilidad codee, escalabilidad temporal, y escalabilidad espacial. La escalabilidad temporal es manejada por el decodificador de capa de mejora HEVC utilizando una estructura jerárquica con predicción temporal únicamente (este modo es soportado por HEVC en una capa única). La escalabilidad espacial es manejada por la RPU, que ajusta y sincroniza bordes de referencia Ínter-capas campo/cuadro con sus correspondientes bordes campo/cuadro en la capa de mejora.

Escenario 2: la capa base esta entrelazada y la capa de mejora es progresiva En este escenario, la capa base AVC es una secuencia entrelazada y la capa de mejora HEVC es una secuencia progresiva. La Figura 5A describe un ejemplo de modalidad donde una señal de entrada 4K 120p (502) está codificada como tres capas: un flujo BL 108030i (532), un flujo (EL0) de primera capa de mejora (537), codificado como 1080 60p, y un flujo de segunda capa de mejora (ELI) (517), codificado como 4K 120p. Las señales BL y EL0 son codificadas utilizando un codificador H.264/AVC mientras que la señal ELI puede ser codificada utilizando HEVC. En el codificador, iniciando con una señal 120p de alta resolución, y alto cuadro 4K, (502), el codificador aplica submuestreo temporal y espacial (510) para generar una señal progresiva 108060p (512). Utilizando una téenica para des-entrelazado progresivo complementario (520), el codificador también puede generar dos señales entrelazadas complementarias 108030i, BL 522-1 y EL0 522-2. Como se utiliza en este documento, el término "técnica complementaria progresiva a des-entrelazada" denota un esquema que genera dos señales entrelazadas de misma entrada progresiva, donde ambas señales entrelazadas tienen la misma resolución, pero una señal entrelazada incluye los campos de la señal progresiva que no son parte de la segunda señal entrelazada. Por ejemplo, si la señal de entrada en tiempo Ti, i=0, 1,...., n, se divide en campos superior e inferior (Top-T±, Bottom-Ti), entonces la primera señal entrelazada puede construirse utilizando (Top-T0, Bottom-Ti), (Top-T2, Bottom-T3), etc., mientras que la segunda señal entrelazada puede construirse utilizando los campos remanentes, es decir: (Top-Ti, Bottom-T0), (Top-T3, Bottom-T2), etc.

En este ejemplo, la señal BL 522-1 es una señal entrelazada compatible con versiones anteriores que puede ser decodificada por decodificadores antiguos, mientras que la señal ELO 522-2 representa las muestras complementarias de la señal progresiva original. Para la composición de la imagen final de la velocidad de cuadro total, cada imagen de campo reconstruida de la señal BL debe combinarse con una imagen de campo al interior de la misma unidad de acceso, pero con paridad de campo opuesta. El codificador 530 puede ser un codificador AVC que comprende dos codificadores AVC: (530-1 y 530-2) y procesador RPU 530-3. El codificador 530 puede utilizar procesamiento de inter-capas para comprimir la señal ELO utilizando cuadros de referencia de ambas señales: la BL y la ELO. La RPU 530-3 puede utilizarse para preparar los cuadros de referencia BL utilizados por el codificador 530-2. También puede utilizarse para crear una señal progresiva 537, para ser utilizada en la codificación de la señal ELI 502 por el codificador ELI 515.

En una modalidad, se utiliza un proceso de muestreo real en la RPU (535) para convertir la salida 108060p (537) de la RPU 530-3 en una señal 4K 60p para ser utilizada por el codificador HEVC 515 durante la predicción Inter-capa. La señal ELI 502 puede codificarse utilizando escalabilidad temporal y espacial para generar un flujo comprimido 4K 120p 517. Los decodificadores pueden aplicar un proceso similar a cualquier señal: decodificar una señal 1080 30i, una señal 1080 60p, o una señal 4K 120p.

La Figura 5B describe otro ejemplo de implementación de un sistema entrelazado/progresivo de acuerdo a una modalidad. Este es un sistema de dos capas, donde una señal de capa base 108030i (522) está codificada utilizando un codificador AVC (540) para generar un flujo codificado BL 542, y una señal de capa de mejora 4K 12Op (502) está codificada utilizando un codificador HEVC (515) para generar un flujo codificado EL 552. Estos dos flujos pueden ser multiplexados para formar un flujo de bits escalables codificados 572.

Como se describe en la Figura 5B, la RPU 560 puede comprender dos procesos: un proceso des-entrelazado, el cual convierte la señal BL 522 en una señal 108060p, y un proceso de muestreo real para convertir la señal de regreso 108060p en una señal 4K 60p, de manera que la salida de la RPU puede utilizarse como un una señal de referencia ante la predicción Inter-capa en el codificador 515.

Escenario 3: la capa base es progresiva y la capa de mejora es entrelazada En este escenario, en una modalidad, la RPU puede convertir la imagen de referencia Inter-capa progresiva en una imagen entrelazada. Estas imágenes entrelazadas pueden ser procesadas por la RPU como: a) siempre campos, sin tener en cuenta de si el codificador HEVC utiliza un cuadro basado en secuencias, o utiliza codificación de campo; o como b) campos o cuadros, dependiendo del modo utilizado por el codificador HEVC. La tabla 5 describe un ejemplo de sintaxis que puede ser utilizada para guiar el decodificador RPU en un proceso codificador.

Tabla 5: Sintaxis de Procesamiento Entrelazado En la Tabla 5, base_field_seg_flag igual a 1 indica que la secuencia de vídeo codificada en la capa base transmite imágenes que representan campos. base_field_seq_flag igual a 0 indica que la secuencia de vídeo codificada en la capa base transmite imágenes que representan cuadros. enh_field_seq_flag igual a 1 indica que la secuencia de vídeo codificada en la capa de mejora transmite imágenes que representan campos. enh_field_seq_flag igual a 0 indica que la secuencia de vídeo codificada en la capa de mejora transmite imágenes que representan cuadros.

La tabla 6 muestra cómo una RPU puede procesar las imágenes de referencia basada en la base_field_seq_flag o enh_field_seq_flag flags.

Tabla 6: Procesamiento RPU por secuencias de escaneo progresivas/entrelazadas Escalabilidad por modelo de codificación de señal La codificación Gamma es sin duda el modelo de codificación de señales más utilizado, debido a su eficiencia para representar imágenes de rango dinámico estándar (Standard Dynamic Range, SDR, por sus siglas en inglés). En recientes investigaciones por alto rango dinámico de formación de imágenes (High-Dynamic Range, HDR, por sus siglas en inglés), se encontró que para varios tipos de imágenes, otros modelos de codificación de señal, tales como el cuantificador perceptual (Perceptual Quantizer, PQ, por sus siglas en inglés) descrito en: 1) "Parameter valúes for UHDTV" , una presentación para SG6 WP 6C, WP6C/USA002, por Craig Todd, o 2) la Solicitud de Patente Provisional de los Estados Unidos con Número de Serie 61/674,503, registrada el 23 de Julio de 2012, y titulada "Perceptual lu inance nonlinearity-based image data exchange across different display capabilities, " por Jon S. Miller et al . , ambas incorporadas en este documento por referencia en su totalidad, podrían representar los datos de manera más eficiente. Por lo tanto, es posible que un sistema escalable pueda tener una capa de contenido SDR, que es gamma-codificado, y otra capa de alto contenido de rango dinámico, la cual está codificada utilizando otro modelo de codificación de señales.

La Figura 6 describe una modalidad donde la RPU 610 (por ejemplo, RPU 115 en La Figura 1) se puede establecer para ajustar el cuantificador de señal de la capa base. Dada una señal BL 102 (por ejemplo, la señal de vídeo SDR, de 8-bits, gamma codificada en 4:2:0 Rec.709), y una señal EL 104 (por ejemplo, la señal de vídeo HDR de 12-bits, PQ codificada en 4:4:4 en espacio color P3), con procesamiento en la RPU 610 puede comprender: decodificación gamma, otros mapeos inversos (por ejemplo, conversiones color espacio, conversiones de bits profundos, muestreo croma, y similares), y cuantificación perceptual (PQ, por sus siglas en inglés) SDR a HDR. El método de decodificación y codificación de señal (por ejemplo, gamma y PQ), y los parámetros relacionados, pueden ser parte de los metadatos que se transmiten junto con el flujo de bits codificados, o pueden ser parte de una futura sintaxis HEVC. Tal procesamiento RPU puede estar combinado con otros procesamientos RPU relacionados con otros tipos de escalabilidad, tales como bits profundos, formato croma, y escalabilidad color espacio. Como se describe en la Figura 1, también se pueden realizar procesamientos similares RPU por medio de un decodificador RPU durante la decodificación del flujo de bits escalables 127.

La extensión de escalabilidad puede incluir varias otras categorías, tales como: escalabilidad espacial o escalabilidad SNR, escalabilidad de bits profundos, y escalabilidad por resolución croma. Por lo tanto, una RPU se puede configurar para procesar imágenes de referencia intercapas bajo una variedad de escenarios de codificación. Para una mejor compatibilidad codificador-decodificador, los codificadores pueden incorporar sintaxis de flujo de bits relacionados RPU especiales para guiar el correspondiente decodificador RPU. La sintaxis puede ser actualizada en una variedad de niveles de codificación, que incluyen: nivel de macro, nivel imagen, nivel GOP, nivel escena, o a nivel secuencia. También pueden incluirse una variedad de datos auxiliares, tales como la unidad de encabezados NAL, el set de parámetros de secuencia (Sequence Parameter Set, SPS, por sus siglas en inglés) y extensiones, SubSPS, set de parámetros de imagen (Picture Parameter Set PPS, por sus siglas en inglés), porción de encabezado, mensaje SEI, o una nueva unidad de encabezado NAL. Dado que puede haber una gran cantidad de herramientas de procesamiento relacionadas RPU, para una máxima flexibilidad y facilidad de implementación, en una modalidad, nosotros proponemos reservar un nuevo tipo de unidad NAL para la RPU para que sea un flujo de bits separado. Bajo tal implementación, se añade a los módulos codificador y decodificador un módulo RPU separado para interactuar con la capa base y una o más capas aumentadas. La Tabla 7 muestra un ejemplo de sintaxis de datos RPU que incluye rpu_header_data() (mostrados en la Tabla 8) y rpu_payload_data() (mostrados en la Tabla 9), en una nueva unidad NAL. En este ejemplo, se habilitan múltiples particiones para permitir desbloqueo basado en región y decisiones SAO.

Tabla 7: Sintaxis de datos RPU Tabla 8: Sintaxis de datos de encabezados RPU Tabla 9: Sintaxis de datos de carga RPU En la Tabla 8, rpu_type especifica la predicción tipo propósito para la señal RPU. Se puede utilizar para * especificar diferentes clases de escalabilidad. Por ejemplo, rpu_type igual a 0 puede especificar escalabilidad espacial, y rpu_type igual a 1 puede especificar escalabilidad de bits profundo. Diferentes modos de escalabilidad, hubo también puede utilizar una variable de enmascaramiento, tales como rpu_mask. Por ejemplo, rpu_mask=0x01 (binario 00000001) puede denotar que sólo está habilitada la escalabilidad espacial. rpu_mask=0x02 (binario 00000010) puede denotar que sólo está habilitada la escalabilidad de tipo profundo. rpu_mask = 0x03 (binario 00000011) puede denotar que tanto la escalabilidad espacial como la escalabilidad de bit profundo están habilitadas. deblocking_present_flag igual a 1 indica que en los datos RPU está presente sintaxis relacionada con filtros de desbloqueo. sao_present_flag igual a 1 indica que en los datos RPU está presente sintaxis relacionada con SAO. alf_present_flag igual a 1 indica que en los datos RPU está presente sintaxis relacionada con filtros ALF. num_x_particiones_menosl señala el número de particiones que son utilizadas para subdividir la imagen procesada en la dimensión horizontal en la RPU. num_y_particiones_menosl señala el número de particiones que son utilizadas para subdividir la imagen procesada en la dimensión vertical en la RPU.

En otra modalidad, en lugar de utilizar POC para sincronizar las imágenes en capa base y en capa de mejora, la sintaxis de la RPU se señaliza a nivel de imagen, por lo que múltiples imágenes pueden reutilizar la misma sintaxis RPU, lo que se traducen en una menor sobrecarga de bits y posiblemente reducir el procesamiento de sobrecarga en algunas implementaciones. Teniendo en cuenta esta implementación, la rpu_id será agregada en la sintaxis RPU. En slice_header (), siempre se referirá a rpu_id para sincronizar la sintaxis RPU con el corte actual, donde la variable rpu_id identifica los rpu_data (), es decir, que se refieren a la porción de encabezado.

La Figura 7 describe un ejemplo de proceso de codificación de acuerdo con una modalidad. Dada una serie de imágenes (o cuadros), el codificador codifica una capa base con un codificador BL utilizando un primer estándar de compresión (por ejemplo, AVC) (715). Enseguida (720, 725), como se describe en las Figuras 2A y 2B, el proceso RPU 115, puede acceder a las imágenes de capa base, ya sea antes o después del filtro de desbloqueo (DF). La decisión puede tomarse basados en optimización RD (índice de distorsión) o el procesamiento que lleva a cabo la RPU. Por ejemplo, si la RPU realiza muestreo real, el cual también puede ser utilizado en el desbloqueo de límites del bloque, entonces la RPU puede solo utilizar la capa base decodificada antes del filtro de desbloqueo, y el proceso de muestreo real puede retener más detalles. La RPU 115 puede determinar los parámetros de procesamiento RPU basada en los parámetros de codificación BL y EL. Si se necesita, el proceso RPU también puede acceder datos de la entrada EL. Entonces, en el paso 730, la RPU procesa las imágenes de referencia ínter-capas de acuerdo a los parámetros determinados del proceso RPU. Las imágenes inter-capas generadas (735) ahora pueden ser utilizadas por el codificador EL utilizando un segundo estándar de compresión (por ejemplo, un codificador HEVC) para comprimir la señal de capa de mejora.

La Figura 8 describe un ejemplo de proceso de decodificación de acuerdo con una modalidad. Primero (810), el decodificador analiza la sintaxis de alto nivel del flujo de bits de entrada para extraer parámetros de secuencia y la información relacionada RPU. Enseguida (820), decodifica la capa base con un decodificador BL de acuerdo con el primer estándar de compresión (por ejemplo, un decodificador AVC). Después de decodificar los parámetros relacionados con el proceso RPU (825), el proceso RPU genera imágenes de referencia inter-capas de acuerdo con estos parámetros (pasos 830 y 835). Finalmente, el decodificador decodifica la capa de mejora utilizando un decodificador EL que cumple con el segundo estándar de compresión (por ejemplo, un decodificador HEVC) (840).

Dado el ejemplo de parámetros RPU definidos en las tablas 1-9, la Figura 9 describe un ejemplo de proceso de decodificación RPU de acuerdo con una modalidad. Primero (910), el decodificador extrae de la sintaxis del flujo de bits los datos que alto nivel relacionados con RPU, tales como tipo de RPU (por ejemplo, rpu_type en la Tabla 8), POCO, y pic_cropping(). El término "tipo RPU" se refiere a un sub proceso relacionado con RPU que necesita ser considerado, tales como: escalabilidad con codificación estándar, escalabilidad espacial, escalabilidad de bit profundo, y como éstas, como se discutió al principio. Dado un cuadro BL, el corte, y las operaciones relacionadas ALF pueden procesarse primero (por ejemplo, 915, 925). Enseguida, después de extraer los modos requeridos entrelazados o des-entrelazados (930), para cada partición, la RPU realiza desbloqueo y operaciones relacionadas con SAO (por ejemplo, 935, 940). Si se necesitan llevar a cabo procesamientos adicionales RPU (945), entonces la RPU decodifica los parámetros apropiados (950) y luego entonces realiza operaciones de acuerdo a estos parámetros. Al final de este proceso, está disponible una secuencia de cuadros inter-capas para que el decodificador EL decodifique el flujo EL.

EJEMPLO DE IMPLEMENTACIÓN DE UN SISTEMA COMPUTARIZDO las modalidades de la presente invención pueden implementarse con un sistema computarizado, sistemas configurados en circuitos y componentes electrónicos, un circuito integrado (IC, por sus siglas en inglés) dispositivos tales como un micro controlador, , un campo programable de matriz de puertas (Field Programmable Gate Array, FPGA, por sus siglas en inglés), u otro dispositivo lógico configurable o programable (Programmable Logic Device, PLD, por sus siglas en inglés), un procesador de señal digital (Digital Signal Processor, DSP, por sus siglas en inglés) o de tiempo discreto, un IC de aplicación específica (Application Specific IC, ASIC, por sus siglas en inglés), y/o aparatos que incluyen uno o un más de tales sistemas, dispositivos o componentes. El computador y/o el circuito integrado pueden realizar, controlar o ejecutar instrucciones relacionadas con procesamiento RPU, tales como aquellas descritas en este documento. El computador y/o el suscrito integrado pueden computar cualquiera de una variedad de parámetros o valores que se relacionan con procesamiento RPU como se describe en este documento. Las modalidades relacionadas con RPU pueden ser implementadas en un disco duro, disco suave, firmware y varias combinaciones de estos.

Ciertas implementaciones de la invención comprenden procesador es de computación que ejecutan instrucciones de software las cuales causan que el procesador lleve a cabo un método de la invención. Por ejemplo, uno o más procesadores en pantalla, un codificador, una caja codificadora, un trans-codificador o similares, pueden implementar métodos de procesamiento RPU como los descritos anteriormente mediante la ejecución de instrucciones de software en una memoria del programa accesible a los procesadores. La inversión también puede ser proporcionada en forma de un producto programa. El producto programa puede comprender cualquier medio que lleva un conjunto de señales legibles en computador que comprenden instrucciones las cuales, cuando se ejecutan por un procesador de datos, causan que el procesador de datos ejecute un método de la invención. Los productos programa de acuerdo a la intención pueden estar en cualquiera de la amplia variedad de formas. El producto-programa puede comprender, por ejemplo, medios físicos tales como medios de almacenamiento de datos magnéticos que incluyen disquetes, discos duros, medios de almacenamiento óptico, que incluyen CD-ROMs, DVDs, medios de almacenamiento de datos electrónicos incluyendo ROM, RAM de destello, o similares. Las señales legibles por ordenador sobre el producto-programa pueden estar comprimidas o encriptadas.

Donde un componente (por ejemplo un módulo de software, procesador, conjunto, dispositivo, circuito, etc.) hace referencia a lo anterior, a menos que se indique lo contrario, la referencia al componente (incluyendo una referencia a unos "medios"), debe interpretarse que incluye como equivalentes de tales a cualquier componente que lleva a cabo la función del componente descrito (por ejemplo, es decir, que es funcionalmente equivalente), incluyendo componentes que no son estructuralmente equivalentes a la estructura descrita, los cuales desempeñan la función en las modalidades ilustradas de la invención.

EQUIVALENTES, EXTENSIONES, ALTERNATIVAS Y MISCELÁNEAS Entonces, se describen las modalidades ejemplares que se relacionan con procesamiento RPU y escalabilidad códec basada en estándares. En la especificación precedente, las modalidades de la presente invención se han descrito con referencia a numerosos detalles específicos que pueden variar de implementación en implementación. Entonces, el único y exclusivo indicador de lo que es la invención, y su intento por medio de los solicitantes para ser la invención, es el conjunto como se describió en las reivindicaciones que se publican en esta solicitud, en la forma específica en la cual se presentan las reivindicaciones, que incluyen cualquier corrección subsecuente. Cualquiera de las definiciones que expresamente se declaran en este documento por los términos contenidos en tales reivindicaciones conducirá el significado de tales términos como se utilizan en las reivindicaciones. Por lo tanto, ninguna limitación, elemento, propiedad, característica, ventaja o atributo que no sea expresamente declarado en una reivindicación limitará el alcance de tales reivindicaciones en ninguna forma. Las especificaciones y los dibujos son, en consecuencia, utilizados de una manera ilustrativa más que en un sentido restrictivo.

Claims (18)

REIVINDICACIONES

1. Un método para decodificar una transmisión de video mediante un decodificador, el método caracterizado porque comprende: acceder a una imagen de capa base; recibir un indicador de recorte de imagen en la transmisión de video que indica que los parámetros de compensación de recorte están presentes; y en respuesta a recibir el indicador de recorte de imagen que indica que los parámetros de compensación de recorte están presentes: acceder a los parámetros de compensación de recorte; recortar una o más regiones de la imagen de capa base de acuerdo a los parámetros de recorte de compensación accedido para generar una imagen de referencia recortada; y generar una imagen de referencia para una capa de mejoramiento de acuerdo a la imagen de referencia recortada.

2. El método de conformidad con la reivindicación 1, caracterizado porque la imagen de capa base está en una primera resolución espacial, y donde generar la imagen de referencia comprende escalar la imagen de referencia recortada desde la primera resolución espacial a una segunda resolución espacial de modo que la imagen de referencia para el mejoramiento de la capa está en la segunda resolución espacial.

3. El método de conformidad con la reivindicación 1, caracterizado porque los parámetros de recorte de compensación son actualizados en una base de cuadro a cuadro en la transmisión de video.

4. El método de conformidad con la reivindicación 1, caracterizado porque además comprende detectar que el indicador de recorte de imagen se ajusta a un valor predeterminado.

5. El método de conformidad con la reivindicación 4, caracterizado porque el valor predeterminado es 1.

6. El método de conformidad con la reivindicación 1, caracterizado porque los parámetros de recorte de compensación comprenden una compensación izquierda, una compensación derecha, una compensación superior, y una compensación inferior.

7. Un decodificador para decodificar una transmisión de video, caracterizado porque comprende: uno o más procesadores configurados para: acceder a una imagen de capa base; recibir un indicador de recorte de imagen en la transmisión de video que indica que los parámetros de recorte de compensación están presentes; y en respuesta a recibir el indicador de recorte de imagen que indican que los parámetros de recorte de compensación están presentes: acceder a los parámetros de recorte de compensación; recortar una o más regiones de la imagen de capa base de acuerdo a los parámetros de recorte de compensación accedidos para generar una imagen de referencia recortada y; generar una imagen de referencia para una capa de mejoramiento de acuerdo a la imagen de referencia recortada.

8. El decodificador de conformidad con la reivindicación 7, caracterizado porque la imagen de capa base está en una resolución espacial, y caracterizado porque generar la imagen de referencia comprende la imagen de referencia recortada de la primera resolución espacial a una segunda resolución espacial de modo que la imagen de referencia para la capa de mejoramiento está en la segunda resolución espacial.

9. El decodificador de conformidad con la reivindicación, caracterizado porque los parámetros de recorte de compensación son actualizados en una base de cuadro por cuadro en la transmisión de video.

10. El decodificador de conformidad con la reivindicación 7, caracterizado porque además comprende detectar que el indicador de recorte de imagen se ajusta a un valor predeterminado.

11. El decodificador de conformidad con la reivindicación 10, caracterizado porque el valor predeterminado es 1.

12. El decodificador de conformidad con la reivindicación 7, caracterizado porque los parámetros de recorte comprenden una compensación izquierda, una compensación derecha, una compensación superior. y una compensación inferior.

13. Un medio legible por computadora acoplado a uno o más procesadores que tienen instrucciones almacenadas ahí, las cuales cuando se ejecutan por uno o más procesadores causan al uno o más procesadores a realizar las operaciones que comprenden: acceder una imagen de capa base; recibir un indicador de recorte de imagen en una transmisión de video que indica que parámetros de recorte de compensación están presentes; y en respuesta a recibir el indicador de recorte de imagen que indican que los parámetros de recorte de compensación están presentes: acceder a los parámetros de recorte de compensación; recortar una o más regiones de la imagen de capa base de conformidad con los parámetros de recorte de compensación accedidos para generar una imagen de referencia recortada; y generar una imagen de referencia para una capa de mejoramiento de acuerdo a la imagen de referencia recortada.

14. El medio legible por computadora de conformidad con la reivindicación 13, caracterizado porque la imagen de capa base está en una primera resolución espacial, y donde generar la imagen de referencia comprende escalar la imagen de referencia recortada desde la primera resolución espacial a una segunda resolución espacial de modo que la imagen de referencia para la capa de mejoramiento está en la segunda resolución espacial.

15. El medio legible por computadora de conformidad con la reivindicación 13, caracterizado porque los parámetros de recorte de compensación son actualizados en una base de cuadro a cuadro en la transmisión de video.

16. El medio legible por computadora de conformidad con la reivindicación 13, caracterizado porque además comprende detectar que el indicador de recorte de imagen se ajusta a un valor predeterminado.

17. El medio legible por computadora de conformidad con la reivindicación 16, caracterizado porque el valor predeterminado es 1.

18. El medio legible por computadora de conformidad con la reivindicación 13, caracterizado porque los parámetros de recorte de compensación comprenden una compensación izquierda, una compensación derecha, una compensación superior, y una compensación inferior.