MX2015000265A - Arquitectura de codec para codificacion de video de multiples capas. - Google Patents

Arquitectura de codec para codificacion de video de multiples capas.

Info

Publication number
MX2015000265A
MX2015000265A MX2015000265A MX2015000265A MX2015000265A MX 2015000265 A MX2015000265 A MX 2015000265A MX 2015000265 A MX2015000265 A MX 2015000265A MX 2015000265 A MX2015000265 A MX 2015000265A MX 2015000265 A MX2015000265 A MX 2015000265A
Authority
MX
Mexico
Prior art keywords
image
scalability
layer
ilp
information
Prior art date
Application number
MX2015000265A
Other languages
English (en)
Other versions
MX344952B (es
Inventor
George W Mcclellan
Yan Ye
Yong He
Jie Dong
Xiaoyu Xiu
Yuwen He
Can Bal
Eun Ryu
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of MX2015000265A publication Critical patent/MX2015000265A/es
Publication of MX344952B publication Critical patent/MX344952B/es

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)

Abstract

La presente invención se refiere a sistemas, métodos y procedimientos para implementar un sistema de codificación de video (VCS - Video Coding System). El VCS puede conf igurarse para recibir una señal de video, la cual puede incluir una o más capas (por ejemplo, una capa base (BL - Base Layer) y/o una o más capas de mejora (EL, Enhancement Layer)). El VCS puede conf igurarse para procesar una imagen de BL a fin de obtener una imagen de referencia de inter-capa (ILR - Inter-Layer Reference), por ejemplo, utilizando un proceso de predicción de inter-capa a nivel de la imagen. El VCS puede configurarse para seleccionar una de entre la imagen de ILR procesada o una imagen de referencia de capa de mejora (EL), o ambas. La(s) imagen(es) de referencia seleccionada(s) pueden(n) comprender una de entre la imagen de referencia de EL o la imagen de ILR. El VCS puede configurarse para predecir una imagen de EL actual utilizando una o más de entre la imagen de ILR o la imagen de referencia de EL seleccionadas. El VCS puede configurarse para almacenar la imagen de ILR procesada en una memoria temporal de imagen decodificada de EL (DPB - Decoded Picture Buffer).

Description

ARQUITECTURA DE COPEC PARA CODIFICACIÓN DE VIDEO DE MÚLTIPLES CAPAS CAMPO DE LA INVENCIÓN La teenología multimedia y las comunicaciones móviles han experimentado un desarrollo masivo y éxito comercial en estos años recientes. La tecnología de comunicaciones inalámbricas ha incrementado de manera significativa el ancho de banda inalámbrico y mejorado la calidad del servicio para los usuarios móviles. Por ejemplo, la norma Evolución a Largo Plazo (LTE - Long Term Evolution) del Proyecto de Asociación de Tercera Generación (3GPP - 3rd Generation Partnership Project) ha mejorado la calidad del servicio en comparación con la 2a generación (2G) y/o la 3a generación (3G).
ANTECEDENTES DE LA INVENCIÓN Con la disponibilidad de grandes anchos de banda en las redes inalámbricas, el contenido de video y multimedia que se encuentra disponible en la web por cable puede llevar a los usuarios a desear un acceso bajo demanda equivalente a ese contenido desde una amplia gama de dispositivos móviles con diferente tamaño, calidad, y/o capacidades de conectividad.
Para hacer disponibles los diferentes tipos de contenido de video en las redes, pueden utilizarse uno o más mecanismos de compresión y codificación de video. Los sistemas de codificación de video pueden utilizarse para comprimir señales de video digital, por ejemplo, para reducir la necesidad de almacenamiento y/o ancho de banda de transmisión de tales señales. Pueden utilizarse diferentes tipos de teenologías de compresión de video con base en una o más normas de codificación de video. Las normas pueden incluir, por ejemplo, H.261, MPEG-1, MPEG-2, H.263, MPEG-4 parte 2 y H.264/MPEG-4 parte 10 AVC, Codificación de Video de Alta Eficiencia (HEVC - High Efficiency Video Coding), etc. Puede utilizarse la extensión de las normas de codificación de video, por ejemplo, H.264 (codificación de video escalable (SVC -scalable video coding)), y/o HEVC escalable. Los mecanismos de codificación escalable proporcionados pueden tener desventajas y pueden ser inadecuados.
BREVE DESCRIPCIÓN DE LA INVENCIÓN Se proporcionan sistemas, métodos y procedimientos para implementar un sistema de codificación de video (VCS - video coding system). El VCS incluye, por ejemplo, un codificador de capa base (BL - base layer), un codificador de capa de mejora (EL - enhancement layer), una unidad de administración y procesamiento de predicciones de inter-capa (ILP - inter-layer), etc. puede configurarse para recibir una señal de video. La señal de video puede comprender una o más capas (por ejemplo, una capa base (BL) y/o una o más capas de mejora (ELs)). El VCS puede procesar una imagen de BL a fin de obtener una imagen de referencia de inter-capa (ILR - inter-layer reference), por ejemplo, utilizando un proceso de predicción de inter-capa a nivel de imagen. La imagen de ILR procesada puede ser una imagen de ILR no intercalada.
El procesamiento de la imagen de BL a fin de obtener una imagen de ILR puede incluir el formateado de la imagen de BL en un formato que puede ser adecuado para la predicción de una imagen de EL actual. El formato puede ser dependiente de un tipo de escalabilidad entre un códec de BL y un códec de EL. El tipo de escalabilidad entre códec de BL y códec de EL puede incluir una o más de escalabilidad espacial, escalabilidad de formato de cromaticidad, escalabilidad de calidad, escalabilidad espacial, escalabilidad de vista, o escalabilidad de profundidad de bits. El formateo puede incluir uno o más de sobremuestreo, eliminación de ruido, restauración, o redireccionamiento, compensación de disparidad, o mapeo de tonos inversos.
El VCS puede seleccionar una de entre la imagen de ILR procesada o una imagen de referencia de capa de mejora (EL), o ambas. La(s) imagen(es) de referencia seleccionada(s) pueden(n) comprender una de entre la imagen de referencia de EL o la imagen de ILR. Una pluralidad de las imágenes de referencia seleccionadas puede corresponder a una instancia de tiempo común.
La VCS puede predecir una imagen de EL actual utilizando una o más de entre la imagen de ILR o la imagen de referencia de EL seleccionadas. El VCS puede almacenar la imagen de ILR procesada en una memoria temporal de imágenes decodif icadas de EL (DPB - decoded picture buffer) . El VCS puede extraer información de la BL de la BL. La información de la BL puede incluir una o más de entre información de modo de BL o información de movimiento de la BL. El VCS puede procesar la imagen de BL con base en la información que comprende la información de la BL extraída. El VCS puede convertir la información de la BL proveniente de un primer formato en un segundo formato y puede utilizar la información de la BL convertida en la codificación de la EL. El primer formato puede estar relacionado a un códec de BL y el segundo formato puede estar relacionado a un códec de EL, y el primer formato puede ser diferente del segundo formato.
La VCS puede empaquetar la información de ILP y enviar la información de ILP, por ejemplo, mediante unidades de capa de abstracción de red (NAL - network abstraction layer). La información de ILP puede incluir, por ejemplo, sobremuestrear información de filtro, uno o más coeficientes para sobremuestreo, uno o más coeficientes para eliminación de ruido, uno o más parámetros de compensación de disparidad, uno o más parámetros de mapeo de tonos inversos, etc.
BREVE DESCRIPCIÓN DE LAS FIGURAS Puede obtenerse una comprensión más detallada a partir de la siguiente descripción, proporcionada a manera de ejemplo, con relación a las figuras adjuntas.
La Figura 1 es un diagrama que ilustra un ejemplo de un sistema de codificación de video escalable.
La Figura 2 es un diagrama que ilustra un ejemplo de una estructura de predicción que utiliza codificación de video de múltiples vistas (MVC - multi-view video coding) para codificar un video estereoscópico, por ejemplo, con una vista izquierda y una vista derecha.
La Figura 3 es un diagrama que ilustra un ejemplo de una arquitectura de un codificador de video escalable de 2 capas.
La Figura 4 es un diagrama que ilustra un ejemplo de una arquitectura de un decodificador de video escalable de 2 capas.
La Figura 5 es un diagrama que ilustra un ejemplo de un codificador de video de capa sencilla a base de bloques.
La Figura 6 es un diagrama que ilustra un ejemplo de un decodificador de video de capa sencilla a base de bloques.
La Figura 7 es un diagrama que ilustra un ejemplo de un sistema de codificación escalable de dos capas con soporte de predicción de inter-capa a nivel de imagen (ILP).
La Figura 8 es un diagrama que ilustra un ejemplo de un sistema de decodificación escalable de dos capas con soporte de ILP a nivel de imagen.
La Figura 9 es un diagrama que ilustra un ejemplo de un sistema de dos capas con predicción temporal y la predicción de inter-capa habilitada para la codificación de la capa de mejora.
La Figura 10 es un diagrama que ilustra un ejemplo de una unidad de procesamiento y administración de ILP.
La Figura 11 ilustra un ejemplo de estructura de predicción que utiliza una predicción de vectores de movimiento de intercapa.
La Figura 12 es un diagrama que ilustra un ejemplo de un sistema de codificación escalable que puede utilizar una unidad de procesamiento y administración de ILP mejorada.
La Figura 13A es un diagrama de sistema de un sistema de comunicaciones a manera de ejemplo en el cual pueden implementarse una o más modalidades descritas.
La Figura 13B es un diagrama de sistema de una unidad de transmisión/recepción inalámbrica a manera de ejemplo (WTRU - wireless transmit/receive unit) que puede utilizarse en el sistema de comunicaciones ilustrado en la Figura 13A.
La Figura 13C es un diagrama de sistema de una red de acceso de radio a manera de ejemplo y una red central a manera de ejemplo que puede utilizarse en el sistema de comunicaciones ilustrado en la Figura 13A.
La Figura 13D es un diagrama de sistema de otra red de acceso de radio a manera de ejemplo y otra red central a manera de ejemplo que puede utilizarse en el sistema de comunicaciones ilustrado en la Figura 13A.
La Figura 13E es un diagrama de sistema de otra red de acceso de radio a manera de ejemplo y otra red central a manera de ejemplo que puede utilizarse en el sistema de comunicaciones ilustrado en la Figura 13A.
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN A continuación se proporciona una descripción detallada de las modalidades ilustrativas con referencia a las diversas figuras. Aunque esta descripción proporciona un ejemplo detallado de posibles implementaciones, debe tenerse en cuenta que los detalles pretenden ser ejemplares y de ninguna manera limitan el alcance de la aplicación. Además, las figuras pueden ilustrar diagramas de flujo, que pretenden ser ejemplares. Pueden utilizarse otras modalidades. El orden de los mensajes puede variar cuando sea apropiado. Los mensajes pueden omitirse si no se requieren, y, pueden añadirse flujos adicionales.
La codificación de video escalable puede mejorar la calidad de la experiencia para aplicaciones de video que se ejecutan en dispositivos con diferentes capacidades a través de redes heterogéneas. La codificación de video escalable puede codificar la señal una vez en una representación más alta (por ejemplo, resolución temporal, resolución espacial, calidad, etc.), pero permite la decodificación a partir de subconjuntos de los flujos de video dependientes de la tasa especifica y la representación requerida por determinadas aplicaciones ejecutadas en un dispositivo cliente. La codificación de video escalable puede ahorrar ancho de banda y/o almacenamiento en comparación con las soluciones no escalables. Las normas internacionales de video, por ejemplo, MPEG-2 Video, H.263, MPEG4 Visual, H.264, etc., pueden tener herramientas y/o perfiles que sean compatibles con modos de escalabilidad.
La Figura 1 es un diagrama que ilustra un ejemplo de un sistema híbrido de codificación de video escalable a base de bloques. La resolución de la señal espacial/temporal que puede representarse por la capa 1 (por ejemplo, la capa base) puede generarse al submuestrear la señal de video de entrada. Un ajuste adecuado del cuantificador (por ejemplo, Ql) puede producir un determinado nivel de calidad de la información de base. La reconstrucción de la capa base Yl, que puede ser una aproximación de uno o más (por ejemplo, todos) de los niveles de resolución de capas superiores, puede utilizarse en la codificación/decodificación de las capas subsecuentes, por ejemplo, para codificar más eficientemente las capas superiores subsecuentes. La unidad de sobremuestreo 1010 y/o 1012 puede realizar el sobremuestreo de la señal de reconstrucción de capa base a la resolución de la capa 2. El submuestreo y el sobremuestreo pueden realizarse a través de cada una de las capas (por ejemplo, 1, 2,... N). Las proporciones de submuestreo y sobremuestreo pueden ser diferentes dependiendo de la dimensión de la escalabilidad entre dos capas determinadas.
Como se ilustra en la Figura, 1, para cualquier capa superior determinada n (2£n£N), puede generarse una señal diferencial al restar una señal de capa inferior sobremuestreada (por ejemplo, la señal de la capa n-1) de la señal de la capa actual n. La señal de diferencia obtenida puede codificarse. Si las señales de video representadas por dos capas (por ejemplo, ni y n2) tienen la misma resolución espacial, las operaciones correspondientes de submuestreo y sobremuestreo pueden omitirse. Puede decodificarse cualquier capa n determinada (l<n<N) o una pluralidad de capas sin utilizar ninguna información decodificada de capas superiores. Basándose en la codificación de la señal residual (por ejemplo, la señal de diferencia entre dos capas) para las capas, excepto la capa base, por ejemplo, dado que puede utilizarse por el sistema de la Figura 1, puede provocar degradaciones visuales. Las degradaciones visuales pueden deberse a un deseo de cuantificar y normalizar la señal residual a fin de restringir su rango dinámico, y/o una cuantificación adicional realizada durante la codificación del residuo. Uno o más codificadores de capas superiores pueden adoptar el cálculo de movimiento y/o la predicción compensada de movimiento como un modo de codificación. El cálculo de movimiento y/o la compensación de movimiento en una señal residual pueden ser diferentes del cálculo de movimiento convencional y, por ejemplo, pueden ser más propensos a degradaciones visuales. Puede utilizarse una cuantificación residual más sofisticada, asi como también la cuantificación conjunta entre el deseo de cuantificar y normalizar la señal residual a fin de restringir su rango dinámico y la cuantificación adicional realizada durante la codificación del residuo y puede incrementar la complejidad del sistema, por ejemplo, para reducir al mínimo tales degradaciones visuales. El sistema de la Figura 1 puede no tomar en cuenta otros modos de predicción de inter-capa, los cuales pueden limitar el nivel de eficiencia de compresión que puede lograr.
La codificación de video escalable (SVC) es una extensión de H.264 que puede permitir la transmisión y decodificación de flujos de bits parciales, por ejemplo, para proporcionar servicios de video con resoluciones temporales o espaciales más bajas o una menor fidelidad, manteniendo simultáneamente una calidad de reconstrucción (por ejemplo, una mayor calidad de reconstrucción) dada la velocidad de los flujos de bits parciales. La SVC puede incluir decodificación de circuito individual, lo cual puede ocasionar que un decodificador de SVC configure un circuito de compensación de movimiento en la capa que se está decodificando, y puede no configurar el (los) circuito(s) de compensación de movimiento en otra(s) capa(s) inferior(es). Por ejemplo, si el flujo de bits incluye 2 capas, la capa 1 (por ejemplo, una capa base) y la capa 2 (por ejemplo, una capa de mejora). Un decodificador puede reconstruir el video de la capa 2 ajustando una memoria temporal de imágenes decodificadas y una predicción por compensación de movimiento (por ejemplo, para la capa 2 y no para la capa 1; la capa 2 puede depender de la capa 1). La SVC puede no requerir una imagen (es) de referencia proveniente de capas inferiores para ser totalmente reconstruida, lo cual puede reducir la complejidad de cálculo y la memoria utilizada en el decodificador. La decodificación de circuito individual puede lograrse por predicción de inter-capa de textura restringida. Para un bloque (por ejemplo, un bloque actual) en una determinada capa, la predicción de textura espacial a partir de una capa inferior puede utilizarse si el bloque de capa baja correspondiente está codificado en modo intra (por ejemplo, la intrapredicción restringida). Cuando el bloque de capa inferior se codifica en el modo intra, puede reconstruirse sin operaciones de compensación de movimiento y una memoria temporal de imágenes decodificadas. La SVC puede utilizar téenicas adicionales de predicción de inter capa, por ejemplo, predicción de vector de movimiento, predicción residual, predicción de modo, etc. La característica de decodificación de circuito individual de SVC puede reducir la complejidad de cálculo y/o la memoria utilizada en el decodificador. La decodificación de circuito individual puede incrementar la complejidad de implementación, por ejemplo, basándose significativamente en las implementaciones de predicción de ínter-capa a nivel de bloque para lograr un rendimiento satisfactorio. El diseño de codificador y la complejidad de cálculo pueden incrementarse de manera tal que pueda conseguirse el rendimiento deseado, por ejemplo, para compensar la penalización de rendimiento efectuada al imponer la restricción de decodificación de circuito individual. La codificación escalable de contenido entrelazado puede no ser compatible con la SVC con suficiente rendimiento, lo cual puede afectar su adopción por la industria de la televisión abierta.
La codificación de video de múltiples vistas (MVC) es una extensión a manera de ejemplo de la norma H.264 que puede proporcionar escalabilidad de vista. La escalabilidad de vista puede referirse a que el flujo de bits de la capa base puede decodificarse para reconstruir un video 2D convencional, y las capas de mejora adicionales pueden decodificarse para reconstruir otras representaciones de vista de la misma señal de video. Cuando se combinan entre sí una o más vistas (por ejemplo, todas las vistas) y se muestran en una visualización 3D adecuada, el usuario puede disfrutar de video 3D con una percepción de profundidad adecuada. La Figura 2 es un diagrama que ilustra una estructura de predicción a manera de ejemplo que utiliza una MVC para codificar un video estereoscópico con una vista izquierda ( por ejemplo, una capa 1) y una vista derecha (por ejemplo, una capa 2). Como se ilustra por ejemplo en la Figura 2, el video de vista izquierda puede codificarse con la estructura de predicción de IBBP. El video de vista derecha puede codificarse con la estructura de predicción PBBB. Por ejemplo, en la vista derecha, la primera imagen intercalada con la primera imagen I 2002 en la vista de izquierda puede codificarse como una imagen P de 2004. Cada una de las demás imágenes en la vista derecha puede codificarse como imágenes B, por ejemplo, proviniendo la primera predicción de las referencias temporales en la vista derecha y proviniendo la segunda predicción de la referencia de ínter-capa en la vista izquierda. La MVC puede no ser compatible con la decodificación de circuito individual. Por ejemplo, como se muestra en la Figura 2, la decodificación del video de vista derecha (por ejemplo, una capa 2) puede requerir que estén disponibles las imágenes completas en la vista izquierda (por ejemplo, una capa 1), lo que puede ser compatible con los circuitos de compensación de movimiento en ambas vista/capas.
La MVC puede incluir (por ejemplo, únicamente incluir) cambios de sintaxis de alto nivel, y puede no incluir cambios a nivel de bloque a H.264/AVC. Por ejemplo, dado que las lógicas subyacentes de codificador/decodificador de MVC pueden seguir siendo iguales y duplicarse, las imágenes de referencia {por ejemplo, únicamente imágenes de referencia) a nivel de segmento/imagen pueden configurarse correctamente para habilitar la MVC. La MVC puede no ser compatible con la codificación de más de dos vistas mediante la extensión del ejemplo de la Figura 2 a fin de realizar la predicción de inter-capa a través de múltiples vistas.
Puede utilizarse la codificación compatible con trama (MFC - MPEG frame compatible) del Grupo de Expertos de Imágenes en Movimiento (MPEG - Moving Picture Experts Group) como téenica de codificación. El contenido 3D puede ser video 3D estereoscópico que puede incluir una o más vistas, por ejemplo, una vista izquierda y una vista derecha. La entrega de contenido 3D estereoscópico puede lograrse al empaquetar/multiplexar las dos vistas en una trama, comprimir y transmitir el video comprimido con un códec (por ejemplo, H.264/AVC). En la parte del receptor, después de la decodificación, las tramas pueden desempaquetarse y mostrarse como dos vistas. Las vistas pueden multiplexarse en el dominio temporal y/o en el dominio espacial. Cuando las vistas se multiplexan en el dominio espacial, las dos vistas pueden submuestrearse espacialmente por un factor (por ejemplo, un factor de dos) y empaquetarse por diversas configuraciones, por ejemplo, con objeto de mantener el mismo tamaño de la imagen. Por ejemplo, una imagen puede configurarse con la vista izquierda submuestreada en la mitad izquierda de la imagen, y la vista derecha submuestreada en la mitad derecha de la imagen. Otras configuraciones pueden incluir de arriba abajo, linea por linea, en pauta cuadriculada, etc. La configuración especifica utilizada para lograr video 3D compatible con la trama puede transmitirse por mensajes SEI de configuración de compresión de trama. El submuestreo espacial puede ocasionar duplicación en las vistas y reducir la calidad visual y la experiencia del usuario de video 3D. Se puede enfocar en el suministro de una extensión escalable para el video de la EL de la capa base compatible con la trama (por ejemplo, dos vistas comprimidas en la misma trama), y/o proporcionar una o más capas de mejora para recuperar las vistas de máxima resolución para una mejor experiencia 3D. Aunque puede orientarse hacia la oferta de entrega de video 3D, la teenología subyacente que puede permitir MFC de máxima resolución puede estar relacionada con las tecnologías de escalabilidad espacial.
Puede proporcionarse una mejora escalable de la HEVC. La escalabilidad de las normas pueden hacer referencia al tipo de escalabilidad cuando la capa base se codifica con una norma, por ejemplo H.264/AVC o MPEG2, mientras que una o más capas de mejora pueden codificarse utilizando otra norma, por ejemplo, la norma HEVC. La escalabilidad de las normas puede proporcionar compatibilidad con versiones anteriores para contenido antiguo codificado mediante el uso de normas anteriores, y puede mejorar la calidad del contenido antiguo con una o más capas de mejora.
Puede proporcionarse codificación de video 3D (3DV). La 3DV puede proporcionar una o más diferentes escalabilidades de vista que pueden seleccionarse como objetivo para aplicaciones auto estereoscópicos. Las aplicaciones y visualizaciones auto estereoscópicas pueden permitirle a la gente disfrutar de la 3D sin las fastidiosas gafas. Con objeto de lograr una buena experiencia de 3D sin necesidad de las gafas, pueden utilizarse más de dos vistas. La codificación de más de dos vistas (por ejemplo, 9 vistas o 10 vistas) puede no ser cara. La 3DV puede utilizar un planteamiento híbrido de codificación de unas cuantas vistas (por ejemplo, 2 o 3 vistas) con una disparidad conjunta relativamente grande, y/o con uno o más mapas de profundidad que pueden proporcionar información de profundidad de las vistas. Esto puede denominarse Múltiples Vistas más Profundidad (MVD -Multi-View plus Depth). En la parte de la pantalla, pueden decodificarse las vistas codificadas y mapas de profundidad. Las vistas restantes pueden generarse utilizando las vistas decodificadas y sus mapas de profundidad utilizando teenologías de síntesis de vista. La 3DV puede utilizar diversas implementaciones para codificar las vistas y los mapas de profundidad, por ejemplo, codificándolas utilizando una combinación de diferentes normas, tales como, pero sin limitarse a H.264/AVC, MVC, HEVC, etc. La 3DV puede codificar la capa base con una norma ( por ej emplo, H.264/AVC) y el código de una o más capas de mejora con otra norma (por ej emplo, HEVC).
La Tabla 1 proporciona un ejemplo de diferentes tipos de escalabilidades junto con las normas correspondientes que las soportan. La escalabilidad de profundidad de bits y la escalabilidad de formato de cromaticidad pueden estar vinculadas a formatos de video (por ejemplo, mayores que la del video de 8 bits, y formatos de muestreo de cromaticidad mayores que YUV4:2:0) utilizados principalmente por las aplicaciones profesionales de video. Puede proporcionarse la escalabilidad de la relación del ancho a la altura de la imagen.
Tabla 1 La codificación de video escalable puede proporcionar un primer nivel de calidad de video asociado a un primer conjunto de parámetros de video utilizando el flujo de bits de la capa base. La codificación de video escalable puede proporcionar uno o más niveles de mayor calidad asociado(s) a uno o más conjuntos de parámetros mejorados utilizando uno o más flujos de bits de capa de mejora. El conjunto de parámetros de video puede incluir una o más de resolución espacial, frecuencia de imagen, calidad de video reconstruido (por ejemplo, en forma de SNR, PSNR, VQM, calidad visual, etc.), capacidad de 3D (por ejemplo, con dos o más vistas ), profundidad de bits de luminancia y cromaticidad, formato de cromaticidad, y norma de codificación de la capa sencilla subyacente. Como se ilustra en la Tabla 1, los diferentes casos de uso pueden requerir diferentes tipos de escalabilidad. Como se describe en la presente, una arquitectura de codificación escalable puede ofrecer una estructura común que puede configurarse para ser compatible con una o más escalabilidades (por ejemplo, las escalabilidades se enumeran en la Tabla 1). Una arquitectura de codificación escalable puede ser flexible para ser compatible con diferentes escalabilidades con esfuerzos mínimos de configuración. Una arquitectura de codificación escalable puede incluir al menos un modo operativo preferido que pueden no requerir cambios para bloquear las operaciones de nivel, de manera tal que la lógica de codificación (por ejemplo, las lógicas de codificación y/o decodificación) puede reutilizarse al máximo en el sistema de codificación escalable. Por ejemplo, puede proporcionarse una arquitectura de codificación escalable con base en la unidad de procesamiento y administración de inter-capa a nivel de imagen, en la que la predicción de inter-capa puede realizarse a nivel de imagen.
La Figura 3 es un diagrama de arquitectura a manera de ejemplo de un codificador de video escalable de dos capas. Por ejemplo, la entrada de video de la capa de mejora y la entrada de video de la capa base pueden corresponder una a otra por el proceso de submuestreo que pueden lograr escalabilidad espacial. Como se ilustra en la Figura 3, un video de la capa de mejora puede submuestrearse utilizando un submuestreador 3002. El codificador de la capa base 3006 (por ejemplo, un codificador HEVC en este ejemplo) puede codificar el bloque de entrada de video de la capa base por bloque y generar un flujo de bits de la capa base. La Figura 5 es un diagrama que ilustra un codificador de video de capa sencilla a base de bloques a manera de ejemplo que puede utilizarse como codificador de capa base en la Figura 3. Como se ilustra en la Figura 5, un codificador de capa sencilla puede emplear téenicas tales como la predicción espacial 5020 (por ejemplo, denominada intrapredicción) y/o predicción temporal 5022 (por ejemplo, denominada interpredicción y/o predicción por compensación de movimiento) para lograr una compresión eficiente, y/o predecir la señal de video de entrada. El codificador puede tener una lógica de decisiones modo 5002 que puede elegir la forma más adecuada de predicción. La lógica de decisión decodificador puede basarse en una combinación de criterios de tasa y distorsión. El codificador puede transformar y cuantificar el residuo de la predicción (por ejemplo, la señal de diferencia entre la señal de entrada y la señal de predicción) utilizando la unidad de transformación 5004 y la unidad de cuantificación 5006, respectivamente. El residuo cuantificado, además de la información del modo (por ejemplo, la intra o interpredicción) y la información de predicción (por ejemplo, los vectores de movimiento, los indices de imágenes de referencia, los modos de intrapredicción, etc.) pueden comprimirse adicionalmente en codificador de entropia 5008 y empaquetarse en el flujo de bits de video de salida. El codificador también puede generar la señal de video reconstruido mediante al aplicar la cuantificación inversa (por ejemplo, utilizando la unidad de cuantificación inversa 5010) y la transformada inversa (por ejemplo, utilizando la unidad de transformadas inversas 5012) al residuo cuantificado a fin de obtener el residuo reconstruido. El codificador puede añadir la señal de video reconstruido de nuevo a la señal de predicción 5014. La señal de video reconstruido puede pasar por el proceso de filtro de circuito 5016 (por ejemplo, utilizando el filtro de desbloqueo, compensaciones de adaptación de muestra y/o filtros adaptables de circuito), y puede almacenarse en la tienda de imágenes de referencia 5018 a utilizarse para predecir futuras señales de video.
El término tienda de imágenes de referencia puede utilizarse indistintamente en la presente con el término memoria temporal de imágenes decodificadas o DPB. La Figura 6 es un diagrama de bloques de un decodificador de la capa sencilla a base de bloques a manera de ejemplo que puede recibir un flujo de bits de video producido por codificador de la Figura 5 y puede reconstruir la señal de video a ser visualizada. En el decodificador de video, el flujo de bits puede ser analizado por el decodificador de entropía 6002. Los coeficientes residuales pueden cuantificarse inversamente (por ejemplo, utilizando la unidad de decuantificación 6004) y la transformada inversa (por ejemplo, utilizando la unidad de transformadas inversas 6006) para obtener el residuo reconstruido. El modo de codificación y la información de predicción pueden utilizarse para obtener la señal de predicción. Esto puede lograrse utilizando la predicción espacial 6010 y/o la predicción temporal 6008. La señal de predicción y el residuo reconstruido pueden añadirse conjuntamente para obtener el video reconstruido. Además, el video reconstruido puede pasar por la filtración de circuito (por ejemplo, utilizando el filtro de circuito 6014). Después, el video reconstruido puede almacenarse en la tienda de imágenes de referencia 6012 que se mostrará y/o utilizará para decodifícar futuras señales de video.
Como se ilustra en codificador escalable a manera de ejemplo de la Figura 3, en la capa de mejora, el codificador de la capa de mejora (EL) 3004 puede tomar la señal de video de entrada de EL de mayor resolución espacial (y/o los valores más altos de otros parámetros de video). El codificador de EL 3004 puede producir un flujo de bits de EL de manera prácticamente similar al codificador de video de la capa base 3006, por ejemplo, utilizando predicciones espaciales y/o temporales para lograr la compresión. Una forma adicional de la predicción, denominada en la presente predicción de ínter-capa (ILP) (por ejemplo, como se indica por las flechas sombreadas en la Figura 3), puede estar disponible en el codificador de mejora a fin de mejorar su rendimiento de codificación. A diferencia de las predicciones espaciales y temporales que derivan la señal de predicción a base de señales de video codificadas en la capa de mejora actual, la predicción de inter-capa puede derivar la señal de predicción a base de señales de video codificadas derivadas de la capa base (y/u otras capas inferiores cuando hay más de dos capas en el sistema escalable). Al menos dos formas de predicción de inter-capa, la ILP a nivel de imagen y la ILP a nivel de bloque, pueden existir en el sistema escalable. La ILP a nivel de imagen y la ILP a nivel de bloque se describen en la presente. Un multiplexor de flujo de bits (por ejemplo, el MUX 3014 en la Figura 3) puede combinar los flujos de bits de la capa base y la capa de mejora para producir un flujo de bits escalable.
La Figura 4 es un diagrama de bloques de la arquitectura a manera de ejemplo de un decodificador de video escalable de 2 capas. La arquitectura de decodificador de video escalable de 2 capas de la Figura 4 puede corresponder al codificador escalable en la Figura 3. Por ejemplo, el demultiplexor (por ejemplo, el DEMUX 4002) puede separar el flujo de bits escalable en los flujos de bits de la capa base y de la capa de mejora. El decodificador de la capa base 4006 puede decodificar el flujo de bits de la capa base y puede reconstruir el video de la capa base. El decodificador de la capa de mejora 4004 puede decodificar el flujo de bits de la capa de mejora. El decodificador de la capa de mejora puede hacerlo utilizando información proveniente de la capa y/o información de una o más capas dependientes (por ejemplo, la capa base). Por ejemplo, tal información proveniente de una o más capas dependientes puede pasar por el procesamiento de inter capa, lo cual puede lograrse cuando se utilizan la ILP a nivel de imagen y/o la ILP a nivel de bloque. Aunque no se muestra en las Figuras 3 y 4, la información adicional de ILP puede multiplexarse junto con los flujos de bits de la capa base y de mejora en el MUX 3014. La información de ILP puede multiplexarse por el DEMUX 4002.
La Figura 7 es un sistema de codificación escalable de dos capas a manera de ejemplo con soporte de ILP a nivel de imagen. El codificador de BL 7006 (por ejemplo, un codificador HEVC) en la Figura 7 puede codificar la entrada de video de la BL utilizando una combinación de predicción espacial y/o temporal, tal como, pero sin limitarse como se ha descrito con referencia a la Figura 5. El codificador de BL puede establecer una DPB de capa base 7010 para almacenar las imágenes reconstruidas a fin de realizar la predicción de la señal de video de entrada, por ejemplo, a través de la predicción por compensación de movimiento temporal. En la capa de mejora, codificador de EL 7004 puede operar de una manera prácticamente similar al codificador de BL 7006. La DPB de la capa de mejora 7008 que puede proporcionar imágenes de referencia para la predicción del video de la EL de entrada por codificador de EL puede incluir imágenes de referencia provenientes de la capa de mejora actual y/o imágenes de referencia derivados de la DPB de una o más capas dependientes (por ejemplo, un DPB de la BL 7010, como se ilustra en la Figura 7). Las imágenes de referencia derivados de la DPB de la BL pueden procesarse por la unidad de procesamiento y administración de predicción de inter-capa 7012 antes utilizarlas para predecir el video de la EL. La unidad de procesamiento y administración de predicción de inter-capa 7012 puede procesar imágenes de la DPB de la BL 7010 antes de utilizarlas para predecir el video de la EL. La unidad de procesamiento y administración de ILP 7012 puede procesar una o más imágenes de referencia almacenadas en la DPB de la BL 7010 en un formato que es adecuado para la predicción del video de la capa de mejora. La unidad de procesamiento y administración de ILP 7012 puede administrar las imágenes de referencia procesadas y decidir adaptablemente cuáles imágenes procesadas pueden utilizarse como predicción para el video de la EL por codificador de EL 7004.
La unidad de procesamiento y administración de ILP puede procesar las imágenes de referencia almacenadas en la DPB de la BL en un formato que puede ser adecuado para la predicción del video de la capa de mejora. La naturaleza del procesamiento puede basarse en el tipo de escalabilidad entre la BL y la EL. Por ejemplo, si el video de la BL y el video de la EL tienen diferentes resoluciones espaciales, el procesamiento puede implicar sobremuestreo a fin de alinear las resoluciones espaciales de la BL y la EL. El procesamiento puede transmitir los parámetros utilizados en el proceso de sobremuestreo. Por ejemplo, la unidad de procesamiento y administración de ILP 7012 puede establecer un conjunto predeterminado de filtros de sobremuestreo. La unidad de procesamiento y administración de ILP 7012 puede elegir uno o más de los filtros predeterminados de sobremuestreo para sobremuestrear las imágenes en la DPB de la BL y puede enviar uno o más índices de filtro correspondientes en el flujo de bits. Por ejemplo, el decodificador puede llevar a cabo el mismo proceso de sobremuestreo. La unidad de procesamiento y administración de ILP puede derivar (por ejemplo, derivar adaptablemente) dichos uno o más filtros de sobremuestreo que son ventajosas para utilizar (por ejemplo, en el sentido de que las referencias de sobremuestreo pueden utilizarse para predecir el video de la EL más eficazmente y producir características de distorsión de tasa más favorables). Cuando se utilizan filtros de sobremuestreo adaptables, los coeficientes de filtro y los tamaños de filtro pueden incluirse en el flujo de bits.
En otro ejemplo de SNR o la escalabilidad de calidad, el video de la BL y el video de la EL pueden tener la misma resolución. El video de la BL puede codificarse con una cuantificación más gruesa (por ejemplo, una tasa de bits más baja con menor calidad), mientras que el video de la EL puede codificarse con una cuantificación más fina (por ejemplo, una tasa de bits más alta con mayor calidad). La unidad de procesamiento y administración de ILP 7012 puede llevar a cabo el tipo de operaciones de eliminación de ruido y/o restauración de imágenes de las operaciones en las imágenes de referencia en la DPB de la BL 7010. Tales operaciones de eliminación de ruido o restauración pueden incluir, pero no se limitan a filtros adaptables (por ejemplo, con base en téenicas de mínimos cuadrados o LS (Least Squared)), las compensaciones adaptables de muestras (SAO - sample adaptative offset) (por ejemplo, como puede tener compatibilidad por HEVC), y/o otros tipos de filtros de eliminación de ruido dirigidos, por ejemplo, a la reducción del ruido de cuantificación. Los parámetros correspondientes que pueden utilizarse en las operaciones de eliminación de ruido o restauración pueden indicarse al decodificador. Tales técnicas de eliminación de ruido o restauración pueden combinarse con un proceso de sobremuestreo para mejorar la eficacia de predicción para el caso de escalabilidad espacial. Como se ilustra en la Figura 7, el flujo de bits de EL codificado, el flujo de bits de BL codificado, y la información de ILP pueden multiplexarse (por ejemplo, el MUX 7014) en el flujo de bits de HEVC escalable.
En otro ejemplo de escalabilidad espacial o de escalabilidad de relación del ancho a la altura de la imagen, puede realizarse el redireccionamiento del video de la BL. El redireccionamiento puede utilizarse para establecer la correspondencia espacial entre las dos capas. Por ejemplo, el redireccionamiento puede corresponder a una región espacial asociada con una imagen (pero no necesariamente la totalidad de la imagen) del video de la BL a una región asociada con la imagen (pero no necesariamente la totalidad de la imagen) del video de la EL . Por ej emplo, cuando el video de la EL es de mayor resolución para visualizarse en una TV de pantalla grande, y el video de la BL tiene una menor resolución para visualizarse en un dispositivo móvil con una resolución de pantalla limitada, el video de la BL puede representar una parte del video de la EL (por ej emplo, una región de interes de la imagen de EL) . El redireccionamiento puede utilizarse para la escalabilidad de relación del ancho a la altura de la imagen, por ej emplo, cuando la BL puede ser 4 : 3 y la EL puede ser 16 : 9, y únicamente una porción del video la BL puede corresponder a una porción del video de la EL .
Como ejemplo de escalabilidad de vista, el video de la BL y el video de la EL pueden representar dos vistas de un video 3D estereoscópico. El video de la BL puede representar una vista y el video de la EL puede representar la otra vista complementaria. La unidad de procesamiento y administración de ILP puede aplicar la compensación de disparidad a las imágenes de referencia en la DPB de la BL, de manera tal que se convierten en señal de predicción efectiva para el video de la EL. Para que un decodificador realice el mismo proceso de compensación de disparidad, los parámetros utilizados durante la compensación de disparidad (por ejemplo, los parámetros de transformación afín si se utiliza transformación afin, y/o los parámetros de distorsión si se utiliza la distorsión) pueden indicarse en el flujo de bits.
La Tabla 2 ilustra una lista a manera de ejemplo de funciones que la unidad de procesamiento y administración de ILP puede realizar y los tipos de escalabilidad correspondientes para los cuales puede utilizarse la función especifica.
Tabla 2 La unidad de procesamiento y administración de ILP puede administrar las imágenes de referencia procesadas y puede decidir (por ejemplo, decidir adaptablemente) cuáles de las imágenes de referencia puede utilizarse como predicción por el codificador de EL. La unidad de procesamiento y administración de ILP puede determinar cuántas y cuáles de las imágenes de ILP procesadas pueden utilizarse para la predicción de la imagen de capa de mejora actual. La Figura 9 es un diagrama que ilustra un ejemplo de un sistema de dos capas con predicción temporal y la predicción de ínter-capa habilitada para la codificación de la capa de mejora. Para la predicción temporal, la estructura de predicción en la Figura 9 puede denominarse predicción B jerárquica. Para una imagen de EL, sus imágenes de referencia pueden ser una combinación de imágenes de referencia en el dominio temporal, su imagen intercalada en la BL, y/o las imágenes de referencia temporales de la imagen de BL intercalada. Por ejemplo, la imagen de EL2 9006 puede predecirse a partir de las referencias temporales (por ejemplo, ELO 9004 y/o EL49008) y/o referencias de inter-capa (BL2 9010, BL0 9002, BL4 9012). La colección de referencias de inter-capa (BL2, BL0, BL4) puede procesarse por la unidad de procesamiento y administración de ILP antes de ser utilizadas para predecir la imagen de EL29006. Como se describe en la presente, el procesamiento de ILP puede procesar las imágenes de referencia de BL en un formato que puede ser adecuado para la EL (por ejemplo, la resolución espacial adecuada, profundidad de bits, etc.), y/o mejorar la calidad de predicción de las referencias de ILP, por ejemplo, aplicando la eliminación de ruido y/o restauración de las imágenes de la capa base.
Las imágenes de referencia de ILP procesadas pueden proporcionar señales de predicción eficaces. Elegir más referencias en la capa de mejora puede ocasionar problemas. Por ejemplo, a nivel de bloque, puede incrementarse la sobrecarga de señalización para indicar cuál (es) imagen(es) de referencia puede(n) seleccionarse para obtener señal(es) de predicción. La complejidad de codificación también puede incrementarse como cálculo de movimiento sobre un conjunto ampliado de imágenes de referencia que puede realizarse.
La selección y administración de imágenes de referencia pueden proporcionar una codificación escalable eficiente sin incrementar la complejidad.
La Figura 10 es un diagrama de una unidad de procesamiento y administración de ILP a manera de ejemplo. En la instancia de tiempo "t", la imagen intercalada de capa base BLt 1054 con sus imágenes de referencia de la BLt-1, BLT-2 y BLT+1 derivados de la DPB de la BL 1056, puede procesarse para convertirse en ILPt, ILPt-1, ILPt-2, ILPt+1. Estas referencias de ILP con las referencias temporales ELt-1, ELt-2, y ELt+1, pueden ser revisadas por la unidad de administración de ILP 1064. Puede seleccionarse un subconjunto. En el ejemplo de la Figura 10, las imágenes de referencia seleccionadas pueden incluir imágenes de referencia de inter-capa no intercaladas (por ejemplo, ILPt+11070). Como ejemplo adicional, las imágenes de referencia seleccionadas pueden incluir más de una imagen de referencia que puedan corresponder a la misma instancia de tiempo (por ejemplo, ILPt-1 1070 y Elt+1 1068).
Por ejemplo, la unidad de administración de ILP 1064 puede realizar un cálculo de movimiento (por ejemplo, cálculo de movimiento de pixel entero) entre una imagen de EL actual, ELt, y una o más de las referencias en el conjunto combinado de referencias temporales y de inter capa (ELt-1, ELt-2, ELt+1, ILPt, ILPt-1, ILPt-2, ILPt+1). La unidad de administración de ILP 1014 puede acumular la distorsión de cálculo de movimiento (por ejemplo, suma de error cuadrático, error medio cuadrático, y/o suma de distorsión de transformada absoluta) entre la imagen actual y una o más de las imágenes de referencia revisada. La unidad de administración de ILP 1064 puede seleccionar un subconjunto de imágenes de referencia que produce una distorsión de cálculo de movimiento menor que un umbral predeterminado. La unidad de procesamiento y administración de ILP 1064 puede seleccionar un subconjunto de imágenes de referencia en orden creciente de distorsión hasta que se haya seleccionado un número predeterminado de referencias. La codificación de pasos múltiples puede utilizarse para realizar las operaciones de administración de ILP. Por ejemplo, puede utilizarse un primer pase de codificación a fin de obtener las estadísticas de codificación de video adecuadas para seleccionar el subconjunto de imágenes de referencia, y pueden utilizarse uno o más pasos subsecuentes de codificación para codificar la imagen de EL actual, hasta que el rendimiento de codificación (por ejemplo, en términos de sus características de distorsión de tasa) pueda considerarse satisfactorio. Como se ilustra en la Figura 10, la unidad de administración de ILP 1064 podrá tomar el video de la capa de mejora como una de sus entradas cuando determine cuáles imágenes de referencia utilizar.
La realización de la ILP a nivel de imagen puede permitir que las lógicas subyacentes de codificación y decodificación de bajo nivel permanezcan prácticamente iguales que las utilizadas en un sistema no escalable de capa sencilla. Por ejemplo, como se ilustra en la Figura 7, el codificador de la capa de mejora (por ejemplo, un codificador HEVC) pueden operar prácticamente de la misma manera que el codificador de la capa base (por ejemplo, u codificador HEVC) con la posible excepción de reconfiguración mínima a nivel de imagen o segmento (por ejemplo, incluir las imágenes de referencia de inter-capa). La unidad de procesamiento y administración de ILP puede permitir la codificación escalable. La unidad de procesamiento y administración de ILP puede operar como bloques adicionales en el sistema. Tales características pueden ser muy deseables para muchas aplicaciones dado que el diseño de codificador y decodificador de capa sencilla puede reutilizarse al máximo, reduciendo asi significativamente la complejidad de la ímplementacíón.
El codificador de EL 7004 en la Figura 7 puede indicar diversos parámetros utilizados durante el procesamiento de ILP y la administración de ILP para que el decodificador de EL 8004 en la Figura 8 pueda construir y usar las mismas referencias de inter-capa. Tal información, denominada en la presente información de ILP, puede enviarse como parte del flujo de bits escaladle. Como se ilustra en la Figura 7, la unidad de procesamiento y administración de ILP 7012 puede empaquetar la información de ILP por separado de los paquetes que contienen datos de video codificados del video de la BL y EL. La información de ILP puede enviarse por separado de los paquetes de video para implementar la unidad de procesamiento y administración de ILP de manera independiente y para reducir la complejidad de la ímplementacíón. Por ejemplo, en HEVC y H.264, las unidades de capa de abstracción de red (NAL) pueden utilizarse como unidades de transmisión de paquetes. Para sistemas escalables que utilizan HEVC y H.264 como los codees de capa sencilla subyacente, la unidad de procesamiento y administración de ILP puede enviar la información de ILP en unidades NAL separadas. En la Figura 7, por ejemplo, el MUX 7014 puede multiplexar unidades NAL que llevan información de ILP con el flujo de bits de EL y el flujo de bits de BL. Por ejemplo, como se muestra en la Figura 8, la unidad DEMUX 8002 puede recibir un flujo de bits escalable que contiene unidades NAL correspondientes a segmentos/imágenes codificadas de la BL, segmentos/imágenes codificadas de la EL, e información de ILP. La unidad DEMUX puede demultiplexar el flujo de bits y enviar las unidades NAL correspondientes a segmentos/imágenes codificadas de la BL al decodificador de BL, las unidades NAL correspondientes a los segmentos/imágenes codificadas de EL al decodificador de EL, y las unidades NAL correspondientes a la información de ILP a la unidad de procesamiento y administración de ILP.
Los sistemas de codificación de video escalable pueden utilizar el conjunto de parámetros de adaptación (APS - adaptation parameter set) en HEVC para transmitir la información de ILP requerida por la unidad de procesamiento y administración de ILP. Los paquetes de APS pueden ser unidades NAL separadas, por ejemplo, con un nal_unit_type especifico. Las unidades NAL del APS pueden incluir parámetros de codificación utilizados en la codificación de capa sencilla, por ejemplo, parámetros de filtración de circuito adaptable (ALF - adaptive loop filtering) y/o parámetros de filtro de desbloqueo. A cada unidad de la NAL del APS se le puede asignar un aps id, el cual puede ser utilizado por un segmento codificado para identificar a partir de cuál APS obtener estos parámetros de codificación. La sintaxis del APS en la HEVC puede contener una bandera de un bit aps_extension_flag. Por ejemplo, cuando aps_extension_flag se establece en 1, pueden seguir los datos de APS adicionales. El sistema escalable descrito en la presente puede llevar a la información de ILP como parte de la extensión de APS. La información de ILP puede incluir los parámetros de procesamiento de ILP (por ejemplo, los filtros de sobremuestreo, si está habilitada la escalabilidad espacial, los parámetros de compensación de disparidad si está habilitada escalabilidad de vista, los parámetros de mapeo de tonos inversos si está habilitada la escalabilidad de profundidad de bits, etc.). La información de ILP puede incluir los parámetros de administración de ILP. Los parámetros de administración de ILP pueden especificar un subconjunto de referencias temporales y/o referencias de ínter-capa para predecir la imagen de EL actual, pueden combinarse con otra señalización de imágenes de referencia. El parámetro de administración de ILP puede no ser parte de la extensión del APS, y puede ser señalado como parte de la cabecera del segmento.
El procesamiento de inter-capa puede recuperar la textura reconstruida a partir de la DPB de la capa base y aplicar téenicas avanzadas de filtración, y puede basarse en determinada información de modo y movimiento derivada del flujo de bits de la capa base durante el procesamiento de ínter-capa, por ejemplo, con objeto de mejorar la eficiencia de la codificación en la capa de mejora. La ILP puede utilizar información de la capa base más allá de los datos de textura reconstruida derivados de la DPB de la BL. Puede proporcionarse un filtro direccional dependiente del modo de intra (IMDDF - Intra Mode Dependent Directional Filter) . Por ejemplo, los modos de intrapredicción de los bloques de la capa base codificados de intra pueden utilizarse para elegir filtros direccionales apropiados a ser aplicados en las imágenes reconstruidas de la capa base antes de utilizarlas para la predicción de inter-capa durante la codificación de la capa de mejora. Puede proporcionarse mapeo de campo de movimiento (MFM - Motion Field Mapping). La información de movimiento del bloque ( por ejemplo, la cual puede incluir índices de imágenes de referencia y vectores de movimiento) derivada del flujo de bits de la capa base puede mapearse a fin de formar campos de movimiento "virtual" para las imágenes de ILR. Los campos de movimiento virtual mapeados pueden utilizarse para predecir el movimiento de la capa de mejora, por ejemplo, mediante la predicción de vector de movimiento temporal (TMVP - temporal motion vector prediction) compatible con la HEVC.
La información de modo y movimiento proveniente de los flujos de bits de la capa base puede o puede no estar disponible dependiendo de la aplicación especifica del decodificador de BL. Por ejemplo, si el sistema de decodificación escalable en la Figura 8 utiliza una implementación ASIC de la HEVC como su decodificador de BL, el decodificador de BL puede no proporcionar la información de modo y movimiento a la unidad de procesamiento y administración de ILP mediante interfaces de programación de aplicaciones (APIs - application programming interface) abiertas. El procesamiento de ILPs avanzadas puede desactivarse cuando no esté disponible la información adicional de modo y movimiento (por ejemplo, como se ilustra en la Figura 8 por una linea de trazos y puntos) de la capa base.
La escalabilidad de norma puede permitirles al códec de BL y al códec de EL, por ejemplo los codees de la Figura 7 y la Figura 8, ser codees diferentes. Por ejemplo, el códec de BL puede utilizar la norma H.264/AVC y el códec de EL puede utilizar la norma HEVC. Cuando los codees de la BL y la EL son diferentes, determinada información que puede ser útil para el códec de EL puede no existir automáticamente en el códec de BL. Por ejemplo, la norma HEVC puede utilizar conjuntos de imágenes de referencia (RPS - Reference Picture Sets) para lograr la administración de la DPB. En la norma H.264/AVC puede proporcionarse una funcionalidad similar al RPS por una combinación de la administración de la DPB de ventanas móviles y opciones de comando de administración de memoria (MMCO - Memory Management Command Options). Si el códec de EL realiza la predicción de RPS de ínter-capa, por ejemplo, de acuerdo con una o más de las implementaciones descritas en la presente, y si el códec de BL no produce la información de RPS debido a que puede basarse en la H.264/AVC, la predicción de RPS de inter-capa no puede aplicarse de manera directa. En algunos casos, puede no haber disponibles uno o más tipos de información útiles para el códec de EL, por ejemplo, si el códec de BL utiliza una norma diferente al códec de EL.
Por ejemplo, una información del flujo de bits de video de la capa base (BL) puede no estar disponible debido a las restricciones de implementación y/o puede no tener un formato adecuado para ser utilizado por una eficiente codificación de video de la EL. Las implementaciones descritas en la presente pueden incluir una unidad de procesamiento y administración de ILP mejorada. La unidad de ILP mejorada puede realizar funciones adicionales a fin de mejorar la eficiencia de la codificación y/o proporcionarle la máxima flexibilidad de diseño al sistema de codificación escalable de EL.
Puede proporcionarse una unidad de ILP mejorada. La unidad de ILP mejorada puede utilizarse para superar las restricciones ( por ejemplo, restricciones de implementación) sin reducir la eficiencia de codificación escalable. La unidad de ILP mejorada puede procesar las imágenes de referencia almacenadas en la DPB de la BL en un formato que puede ser adecuado para la predicción del video de la capa de mejora. La unidad de ILP mejorada puede administrar las imágenes de referencia procesadas y/o decidir (por ejemplo, decidir adaptablemente) cuál de las imágenes procesadas van a ser utilizadas como predicción para el video de la EL por el codificador de EL. La unidad de ILP mejorada puede extraer la información del modo y movimiento de los flujos de bits de la capa base que pueden utilizarse para la predicción de inter-capa. Por ejemplo, la unidad de ILP mejorada puede utilizar la información de modo y movimiento extraída para procesar las imágenes de referencia almacenadas en la DPB de la BL en un formato que puede ser adecuado para la predicción del video de la capa de mejora. La unidad de ILP mejorada puede traducir la información proveniente del flujo de bits de la capa base, por ejemplo, en un formato adecuado para ser utilizado en la codificación de la capa de mejora. Por ejemplo, la unidad de ILP mejorada puede traducir la administración de la DPB de ventanas móviles y MMCO utilizada en un códec H.264/AVC BL códec en RPS para ser utilizada por un códec HEVC en la EL.
La Figura 12 es un diagrama que ilustra un ejemplo de un sistema de decodificación escaladle que puede utilizar una unidad de ILP mejorada 1202. Como se ilustra en la Figura 12, la unidad de ILP mejorada 1202 puede realizar una o más funciones, incluyendo, por ejemplo, procesar, administrar, extraer o traducir la información. La unidad de ILP mejorada 1202 puede utilizar una imagen reconstruida de BL y aplicar téenicas de procesamiento de inter-capa de acuerdo con la información de ILP proporcionada por el demultiplexor del flujo de bits (DEMUX) para producir una imagen procesa y reconstruida de BL. Si el decodificador de BL 1212 no puede proporcionar la información utilizada para el procesamiento de la intercapa (por ejemplo, el decodificador de BL 1212 proporciona imágenes de la BL reconstruida pero no la información de modo y movimiento del flujo de bits de BL), la unidad de ILP mejorada 1202 puede derivar la información (por ejemplo, mediante la función de extracción de la unidad de ILP mejorada, por ejemplo, como se describe en la presente). Puede(n) insertarse una o más imágenes procesadas y reconstruidas de BL en la DPB de EL 1214 para la codificación de la capa de mejora.
La unidad de ILP mejorada 1202 puede utilizar la información de ILP proporcionada por una DE UX 1216 y puede determinar cuál de las una o más imágenes procesadas y reconstruidas de BL puede insertarse en la DPB de EL 1214. La unidad de ILP mejorada puede determinar el orden de las imágenes procesadas y reconstruidas de BL. La información de la BL puede no estar en el formato adecuado para la unidad de ILP mejorada (por ejemplo, para la función de administración de la unidad de ILP mejorada administrar). Por ejemplo, la información de la BL puede no estar en el formato adecuado si el flujo de bits de BL se codifica utilizando un norma diferente a la utilizada por el códec de EL. Si la información de la BL no se encuentra en el formato adecuado para la unidad de ILP mejorada 1202, la unidad de ILP mejorada 1202 puede volver a formatearse y/o traducir la información de la BL en el formato adecuado (por ejemplo, mediante la función de traducción de la unidad de ILP mejorada 1202, por ejemplo, como se describe en la presente). Como se ilustra por el ejemplo en la Figura 5, la unidad de ILP mejorada 1202 puede utilizar la información traducida de la BL a fin de realizar una administración adecuada de la memoria temporal de imágenes de referencia.
La unidad de ILP mejorada 1202 puede extraer información de la BL. Por ejemplo, si la información de video de la BL pudiese utilizarse por la unidad de ILP mejorada (por ejemplo, para la función de proceso de la unidad de ILP mejorada) pero no se encuentra disponible desde el decodificador de BL, entonces la unidad de ILP mejorada puede analizar el flujo de bits de BL y extraer la información (por ejemplo, tal como, pero sin limitarse a la información de modo y movimiento de la BL). La información analizada y extraída puede utilizarse por la unidad de ILP mejorada (por ejemplo, por la función de proceso de la unidad de ILP mejorada). Por ejemplo, la información de modo de la BL puede incluir, pero no se limitan a, si los bloques de la capa base son ínter o intracodificados, los modos direccionales de intrapredicción para los bloques de la capa base intracodificados, etc. La información de movimiento de la BL puede incluir, pero no se limita a, las particiones de bloque de la capa base, la información de dirección de predicción de bloque de la capa base ( por ejemplo, unipredicción o bipredicción), los vectores de movimiento de bloque de la capa base, los índices de imágenes de referencia de bloque de la capa base, etc.
La unidad de ILP mejorada puede traducir la información de la BL. Por ejemplo, si la información de video de la BL no se encuentra en el formato adecuado para ser utilizado por la codificación de la capa de mejora, entonces la unidad de ILP mejorada puede volver a formatear y traducir la información de video de la BL en un formato adecuado para su uso para la codificación de la capa de mejora. Por ejemplo, la unidad de ILP mejorada puede volver a formatear y traducir la información de la BL cuando el sistema escalable (por ejemplo, aquellos ejemplificados en la Figura 7 y la Figura 8) utiliza diferentes codees de la BL y de la EL. Cuando se utilizan codees híbridos en el sistema escalable, la unidad de ILP mejorada puede traducir y preparar la información proveniente del códec de BL en un formato adecuado para ser utilizado por el códec de EL. Por ejemplo, la información de administración de la DPB con base en los comandos de la ventana móvil y el MMCO de un códec de la capa base H.264/AVC puede traducirse en RPS para la codificación de la EL cuando el códec de la capa de mejora utiliza HEVC. La unidad de ILP mejorada puede volver a formatear y traducir información de la BL proveniente de cualquier códec de BL en información utilizable por cualquier códec de la capa de mejora. Como se ilustra en la Figura 12, las salidas de la unidad de ILP mejorada pueden incluir, por ejemplo, las imágenes procesada de la BL que pueden insertarse en una memoria temporal de imágenes decodificadas de EL (DPB - Decoded Imagen Buffer) 1214 para una eficiente predicción de ínter-capa. La unidad de ILP mejorada puede entregar información de modo y movimiento de la BL, información traducida de RPS, etc.
La unidad de ILP mejorada 1202 puede proporcionar información que puede utilizarse para lograr una eficiente de codificación de video escalable, por ejemplo, cuando la información adicional que no se encuentra fácilmente disponible proveniente del códec de la capa base. La unidad de ILP mejorada 1202 puede diseñarse para maximizar el uso de implementaciones de códec de capa sencilla. La unidad de ILP mejorada 1202 puede proporcionar una interfaz transparente y eficiente entre un códec de BL y un códec de EL, por ejemplo al absorber las funciones que no puede ejecutar la implementación del códec de capa sencilla. Por ejemplo, la unidad de ILP mejorada 1202 puede permitir una codificación escalable eficiente sin afectar las funciones de menor nivel de los codees de la capa base y de la capa de mejora (por ejemplo, la intrapredicción, la interpredicción, la transformación, la cuantificación, la transformación inversa, la cuantificación inversa, la filtración de circuito, la reconstrucción de bloques, etc. ) . La unidad de ILP mejorada 1202 puede utilizarse en un sistema escalable que tiene una alta eficiencia de codificación y que puede ser compatible con la arquitectura híbrida de códec (por ejemplo, el codificador y/o el decodificador de la capa base y el codificador y/o el decodificador de la capa de mejora pueden utilizar diferentes codees). La unidad de ILP mejorada puede reducir el costo de implementación y mantener la eficiencia de codificación escalable.
Haciendo referencia a la Figura 3 y la Figura 4, la ILP a nivel de bloque puede utilizarse para mejorar adicionalmente el rendimiento de codificación escalable. Aunque la ILP a nivel de bloque puede requerir que el codificador y el decodificador de la capa de mejora tengan diferentes lógicas subyacentes de aquellas del codificador y el decodificador de la capa base (por ejemplo, en forma de modos de codificación adicionales, contextos adicionales para la codificación aritmética, etc.), la ILP a nivel de bloque puede permitirle al codificador elegir a partir de un conjunto ampliado de modos de operación basados en criterios de distorsión de tasa. Pueden manifestarse opciones adicionales en forma de rendimiento de codificación escalable superior. Por ejemplo, las normas de codificación de video pueden ser sistemas de codificación de video a base de bloques híbridos con los diagramas de bloques mostrados en la Figura 5 y la Figura 6.
En el caso de la HEVC, los bloques de video pueden denominarse unidad de predicción (PU - prediction unit) cuando son utilizados para predicción, bloque de árbol codificado (CTB - coded tree block) cuando son utilizados como unidades de codificación, y unidad de transformación (TU - transform unit) cuando son utilizados para transformadas y transformadas inversas. La HEVC puede utilizar partición a base de árbol cuadrático (QT quadtree) . Dado que las señales de video de la capa base y de la capa de mejora pueden estar correlacionadas, los correspondientes modos y tamaños de codificación de bloque (incluyendo, pero sin limitarse a, la PU, la TU y el CTB) pueden correlacionarse. Tal correlación puede ser utilizada por el codificador y el decodificador de la capa de mejora a fin de mejorar la codificación de la división del QT, los modos y/o los tamaños de la PU, la TU y el CTB en la capa de mejora. Esto puede reducir la sobrecarga de señalización. Cuando la escalabilidad espacial está habilitada entre las dos capas, el ajuste de tamaño del bloque puede aplicarse primero. Por ejemplo, si el video de la EL y el video de la BL tienen una proporción espacial de 2:1 (por ejemplo, el video de la EL es dos veces más grande en cada dimensión), entonces los tamaños de la PU, la TU y el CTB de la capa base pueden multiplicarse por un factor de dos en cada dimensión antes de ser utilizados para predecir los tamaños del bloque de la capa de mejora. Los modos y/o los tamaños del bloque de la capa base pueden utilizarse como contextos adicionales del codificador aritmético binario para codificar los modos y/o los tamaños del bloque de la capa de mejora. Los sistemas de codificación de video pueden asignar la información derivada de video (por ejemplo, modos y/o tamaños) de los bloques (por ejemplo, un PU, un TU, o una CTB) a una imagen de referencia de inter-capa a nivel de imagen. El dispositivo de codificación de video puede utilizar esta información derivada de los bloques para predecir un bloque en una capa, por ejemplo, la capa EL.
Cuando la predicción por compensación de movimiento se encuentra habilitada para una imagen y/o un segmento de la capa base y la capa de mejora en la misma instancia de tiempo t, los vectores de movimiento derivados de la capa base pueden utilizarse para predecir los vectores de movimiento en la capa de mejora. Por ejemplo, cuando se encuentra habilitada la escalabilidad espacial, los vectores de movimiento derivados de la capa base pueden escalarse adecuadamente. Por ejemplo, como se ilustra por ejemplo en la Figura 11, en la instancia de tiempo t en la BL 1102, el bloque sombreado horizontalmente 1104 puede predecirse a partir de la referencia de la BL en la instancia de tiempo (t—1) con el vector de movimiento MVa 1106. El bloque graduado y sombreado horizontalmente en la EL, si se predice a partir de la referencia de la EL en la instancia de tiempo (t-1) 1108, puede tener un vector de movimiento cuyos valores están cerca de R*MVa, donde R puede ser la relación de graduación espacial. Para el bloque sombreado verticalmente 1110 en la EL, el bloque sombreado verticalmente de la capa base correspondiente 1112 puede predecirse a partir de la instancia de tiempo (t-2) 1114 con el vector de movimiento MVb. El bloque graduado y sombreado verticalmente en la EL, si se predice a partir de la referencia de la EL en la instancia de tiempo (t-2) 1116, puede tener un vector de movimiento cuyos valores son prácticamente cercanos a R*MVb. Cuando la escalabilidad de vista se encuentra habilitada, los vectores de movimiento provenientes de la capa base que representa una primera vista pueden distorsionarse y/o transformarse de manera afín para compensar la disparidad de vista de manera tal que pueden estar correlacionadas al máximo con vectores de movimiento en la capa de mejora que representa una segunda vista. A fin de aprovechar tales correlaciones fuertes entre los vectores de movimiento de inter-capa, los vectores de movimiento graduados de la capa base (o vectores de movimiento distorsionados/transformados en caso de escalabilidad de vista) pueden utilizarse como predictores de vector de movimiento para reducir los bits de codificación de vector de movimiento de la capa de mejora.
La predicción de inter-capa a nivel de bloque puede implicar la predicción de la señal residual en la capa de mejora a partir del residuo de la capa base. Por ejemplo, la predicción del residuo puede realizarse cuando el residuo del bloque de una capa base (por ejemplo, después de haberse sobremuestreado a las dimensiones apropiadas si es necesario) puede restarse del residuo de la capa de mejora a fin de reducir adicionalmente la energía residual de la capa de mejora y el número de bits requeridos para codificarla. Pueden utilizarse téenicas de predicción de inter-capa a nivel de bloque para codificar la textura de la EL (por ejemplo, valores de píxeles) de manera similar a las utilizadas en la SVC. En el sistema escalable descrito con anterioridad, la predicción de la textura puede proporcionarse en forma de ILP a nivel de imagen.
Una arquitectura escalable (por ejemplo, una arquitectura escalable flexible) para codificación de video de múltiples capas puede reconfigurarse para ser compatible con cualquiera de los diferentes tipos de escalabilidades listadas en la Tabla 1. Por ejemplo, un modo de operación puede enfocarse en la ILP a nivel de imagen. Por ejemplo, una unidad de procesamiento y administración de ILP puede procesar imágenes de referencia de la capa base de manera tal que los conjuntos de imágenes de referencia de la capa base pueden tener el formato adecuado y pueden proporcionar una señal de predicción precisa y eficaz para la codificación de video de la capa de mejora. Por ejemplo, una unidad de procesamiento y administración de ILP puede seleccionar un subconjunto a partir de la combinación de referencias temporales y referencias procesadas de inter capa a fin de lograr algún equilibrio favorable de tasa, distorsión y/o complejidad de cálculo. Por ejemplo, una unidad de procesamiento y administración de ILP puede empaquetar la información de ILP en unidades NAL por separado de manera tal que las operaciones de predicción de inter-capa puedan realizarse con una mínima interferencia con las operaciones del codificador y decodificador de la capa base y de mejora. La inclusión de la ILP a nivel de imagen puede reducir la complejidad de la implementación al permitirle al sistema escalable reutilizar al máximo las lógicas de codificador y decodificador de capa sencilla en las capas base y de mejora.
La Figura 13A es un diagrama de un sistema de comunicaciones a manera de ejemplo 100 en el cual pueden implementarse uno o más modalidades descritas. El sistema de comunicaciones 100 puede ser un sistema de acceso múltiple que proporciona contenido, tal como voz, datos, video, mensajería, difusión, etc., a múltiples usuarios inalámbricos. El sistema de comunicaciones 100 puede permitirles a múltiples usuarios inalámbricos acceder a tal contenido mediante la distribución de los recursos del sistema, incluyendo el ancho de banda inalámbrico. Por ejemplo, los sistemas de comunicaciones 100 pueden emplear uno o más métodos de acceso de canal, tales como el Acceso Múltiple por División de Código (CDMA - code división múltiple access), Acceso Múltiple por División de Tiempo (TDMA - time división múltiple access), Acceso Múltiple por División de Frecuencia (FDMA - frequency división múltiple access), FDMA Ortogonal (OFDMA - orthogonal FDMA), FDMA de portadora única (SC-FDMA - single-carrier FDMA), y lo similar .
Como se muestra en la Figura 13A, el sistema de comunicaciones 100 puede incluir unidades inalámbricas de transmisión/recepción (WTRUs - wireless transmit/receive units) 102a, 102b, 102c, y/o 102d (que general o colectivamente pueden denominarse WTRU 102), una red de acceso de radio (RAN - radio access network) 103/104/105, una red central 106/107/109, una red telefónica pública conmutada (PSTN - public switched telephone network) 108, la Internet 110, y otras redes 112, aunque se observará que las modalidades descritas consideran cualquier número de WTRUs, estaciones base, redes, y/o elementos de red. Cada una de las WTRUs 102a, 102b, 102c, 102d puede ser cualquier tipo de dispositivo configurado para operar y/o comunicarse en un ambiente inalámbrico. A manera de ejemplo, las WTRUs 102a, 102b, 102c, 102d pueden configurarse para transmitir y/o recibir señales inalámbricas y pueden incluir la unidad inalámbrica de transmisión/recepción (WTRU), una estación móvil, una unidad suscriptora fija o móvil, un localizador de personas, un teléfono celular, un asistente digital personal (PDA - personal digital assistant), un teléfono inteligente, una computadora portátil, una miniportátil, una computadora personal, un sensor inalámbrico, electrónica de consumo, y lo similar.
Los sistemas de comunicaciones 100 pueden incluir también una estación base 114a y una estación base 114b. Cada una de las estaciones base 114a, 114b puede ser cualquier tipo de dispositivo configurado para establecer una interfaz de manera inalámbrica con al menos una de las WTRUs 102a, 102b, 102c, 102d para facilitar el acceso a una o más redes de comunicaciones, tales como la red central 106/107/109, la Internet 110, y/o las redes 112. A manera de ejemplo, la estaciones base 114a, 114b pueden ser una estación base transceptora (BTS - base transceiver station), un Nodo B, un Nodo-e B, un Nodo B local, un Nodo-e B local, un controlador de sitio, un punto de acceso (AP - access point), un ruteador inalámbrico, y lo similar. Aunque las estaciones base 114a, 114b se representan cada una como un elemento individual, se observará que las estaciones base 114a, 114b puede incluir cualquier número de estaciones base interconectadas y/o elementos de red.
La estación base 114a puede ser parte de la RAN 103/104/105, el cual también puede incluir otras estaciones base y/o elementos de red (no se muestran), tales como un controlador de estación base (BSC - base station controller), un controlador de red de radio (RNC - radio network controller), nodos de retransmisión, etc. La estación base 114a y/o la estación base 114b pueden configurarse para transmitir y/o recibir señales inalámbricas en una región geográfica particular, la cual puede denominarse celda (no se muestra). Además, la celda puede dividirse en sectores de celda. Por ejemplo, la celda asociada a la estación base 114a puede dividirse en tres sectores. Por ende, en una modalidad, la estación base 114a puede incluir tres transceptores, es decir, uno para cada sector de la celda. En una modalidad, la estación base 114a puede emplear la teenología de múltiple entrada múltiple salida (MIMO - multiple-input multiple-output) y, por lo tanto, puede utilizar múltiples transceptores para cada sector de la celda.
Las estaciones base 114a, 114b pueden comunicarse con una o más de las WTRUs 102a, 102b, 102c, 102d mediante una interfaz aérea 115/116/117, que puede ser cualquier enlace adecuado de comunicación inalámbrica (por ejemplo, la radiofrecuencia (RF), microondas, infrarrojos (IR), ultravioleta (UV), luz visible, etc.). La interfaz aérea 115/116/117 puede establecerse utilizando cualquier tecnología de acceso de radio (RAT - radio access technology) adecuada.
Más específicamente, como se indicó con anterioridad, el sistema de comunicaciones 100 puede ser un sistema de acceso múltiple y puede emplear uno o más esquemas de acceso de canal, tales como CDMA, TDMA, FDMA, OFDMA, SC-FDMA, y lo similar. Por ejemplo, la estación base 114a en la RAN 103/104/105 y las WTRUs 102a, 102b, 102c pueden implementar una teenología de radio tal como el Acceso de Radio Terrestre (UTRA - UMTS Terrestrial Radio) del Sistema Universal de Telecomunicaciones Móviles (UMTS -Universal Mobile Telecommunications System), el cual puede establecer la interfaz aérea 115/116/117 utilizando CDMA de banda ancha (WCDMA - Wideband CDMA). El WCDMA puede incluir protocolos de comunicaciones tales como Acceso De Paquetes de Alta Velocidad (HSPA - High-Speed Packet Access) y/o HSPA evolucionado (HSPA+). El HSPA puede incluir Acceso de Paquetes de Enlace Descendente de Alta Velocidad (HSDPA -High-Speed Downlink Packet Access) y/o Acceso de Paquetes de Enlace Ascendente de Alta Velocidad (HSUPA - High-Speed Uplink Packet Access).
En una modalidad, la estación base 114a y las WTRUs 102a, 102b, 102c pueden implementar una tecnología de radio tal como acceso de radio terrestre de UMTS evolucionado (E-UTRA - Evolved UMTS Terrestrial Radio Access), que puede establecer la interfaz aérea 115/116/117 utilizando evolución a largo plazo (LTE - Long Term Evolution) y/o LTE-avanzada (LTE-Advanced).
En una modalidad, la estación base 114a y las WTRUs 102a, 102b, 102c pueden implementar teenologías de radio, tales como la IEEE 802.16 (es decir, Interoperabilidad mundial para acceso por microondas (WiMAX)), CDMA2000, CDMA2000 IX, CDMA2000 EV-DO, Norma Provisional 2000 (IS-2000), Norma Provisional 95 (IS-95), Norma Provisional 856 (IS-856), Sistema Global para Comunicaciones Móviles (GSM - Global System for Mobile Communications), tasas de datos mejoradas para la evolución de GSM (EDGE - Enhanced Data rates for GSM Evolution), EDGE GSM (GERAN), y lo similar.
La estación base 114b en la Figura 13A puede ser un ruteador inalámbrico, nodo local B, Nodo-e B local, o punto de acceso, por ejemplo, y puede utilizar cualquier RAT adecuada para facilitar la conectividad inalámbrica en un área localizada, tal como un negocio, una casa, un vehículo, un campus universitario, y lo similar. En una modalidad, la estación base 114b y las WTRUs 102c, 102d pueden implementar una tecnología de radio tal como la norma IEEE 802.11 a fin de establecer una red de área local inalámbrica (WLAN). En una modalidad, la estación base 114b y las WTRUs 102c, 102d pueden implementar una tecnología de radio tal como la norma IEEE 802.15 a fin de establecer una red de área personal inalámbrica (WPAN). En aún otra modalidad, la estación base 114b y las WTRUs 102c, 102d puede utilizar una RAT a base de celular (por ejemplo, WCDMA, CDMA2000, GSM, LTE, LTE-A, etc.) a fin de establecer una picocelda o femtocelda. Como se muestra en la Figura 13A, la estación base 114b puede tener una conexión directa a Internet 110. Por lo tanto, la estación base 114b puede no ser necesaria para acceder a Internet 110 mediante la red central 106/107/109.
La RAN 103/104/105 puede estar en comunicación con la red central 106/107/109, que puede ser cualquier tipo de red configurada para proporcionar servicios de voz, datos, aplicaciones, y/o protocolo de voz sobre Internet (VoIP - voice over internet protocol) a una o más de las WTRUs 102a, 102b, 102c, 102d. Por ejemplo, la red central 106/107/109 puede proporcionar control de llamadas, servicios de facturación, servicios a base de localización móvil, llamadas prepagadas, conectividad a Internet, distribución de video, etc., y/o ejecución de funciones de seguridad de alto nivel, tales como autenticación de usuarios. Aunque no se muestra en la Figura 13A, se observará que la RAN 103/104/105 y/o la red central 106/107/109 pueden estar en comunicación directa o indirecta con otras RANs que emplean la misma RAT que la RAN 103/104/105 o una RAT diferente. Por ejemplo, además de conectarse a la RAN 103/104/105, la cual puede estar utilizando una teenología de radio E-UTRA, la red central 106/107/109 también puede estar en comunicación con una RAN (no se muestra) empleando una tecnología de radio GSM.
La red principal 106/107/109 también puede servir como puerta de enlace para las WTRUs 102a, 102b, 102c, 102d a fin de acceder a la PSTN 108, la Internet 110, y/u otras redes 112. La PSTN 108 puede incluir redes de telefonía conmutadas por circuitos que proporcionan servicio telefónico tradicional (POTS - plain oíd telephone Service). El Internet 110 puede incluir un sistema mundial de redes y dispositivos de computadoras interconectadas que utilizan protocolos de comunicaciones comunes, tales como el protocolo de control de transmisión (TCP - transmission control protocol), el protocolo de datagramas de usuario (UDP - user datagram protocol) y el protocolo de Internet (IP - internet protocol) en el conjunto de protocolos de internet TCP/IP. Las redes 112 puede incluir redes de comunicaciones cableadas o inalámbricas propiedad de y/u operadas por otros proveedores de servicios. Por ejemplo, las redes 112 pueden incluir una red central conectada a una o más RAN, la cual puede emplear la misma RAT que la RAN 103/104/105 o una RAT diferente.
Algunas o todas las WTRUs 102a, 102b, 102c, 102d en el sistema de comunicaciones 100 puede incluir capacidades de múltiples modos, es decir, las WTRUs 102a, 102b, 102c, 102d pueden incluir múltiples transceptores para comunicarse con diferentes redes inalámbricas mediante diferentes enlaces inalámbricos. Por ejemplo, la WTRU 102c mostrada en la Figura 13 puede configurarse para comunicarse con la estación base 114a, la cual puede emplear una teenología de radio a base de celdas, y con la estación base 114b, la cual puede emplear una tecnología de radio IEEE 802.
La Figura 13B es un diagrama de sistema de una WTRU 102 a manera de ejemplo. Como se muestra en la Figura 13B, la WTRU 102 puede incluir un procesador 118, un transceptor 120, un elemento de transmisión/recepción 122, una bocina/micrófono 124, un teclado 126, una pantalla/superficie táctil 128, una memoria no extraíble 130, una memoria extraíble 132, una fuente de alimentación 134, un conjunto de chips del sistema de posicionamiento global (GPS - Global Positioning System) 136, y otros periféricos 138. Se observará que la WTRU 102 puede incluir cualquier subcombinación de los elementos anteriores siempre y cuando sea consistente con una modalidad. Además, las modalidades consideran que las estaciones base 114a y 114b, y/o los nodos que las estaciones base 114a y 114b pueden representar, tales como, pero sin limitarse a la estación transceptora (BTS), un Nodo-B, un controlador de sitio, un punto de acceso (AP), un nodo B local, un nodo B local evolucionado (eNodeB), un nodo B evolucionado local (HeNB), una puerta de red de nodo B evolucionado local, y los nodos intermediarios, entre otros, puede incluir algunos o cada uno de los elementos representados gráficamente en la Figura 13B y descritos en la presente.
El procesador 118 puede ser un procesador de uso general, un procesador de usos específicos, un procesador convencional, un procesador de señales digitales (DSP -digital signal processor), una pluralidad de microprocesadores, uno o más microprocesadores en asociación con un núcleo de DSP, un controlador, un microcontrolador, circuitos integrados de aplicación especifica (ASICs - Application Specific Integrated Circuits), circuitos de Arreglos de Compuertas de Campo Programable (FPGA - Field Programmable Cate Array), cualquier otro tipo de circuito integrado (IC - integrated Circuit), una máquina de estados, y lo similar. El procesador 118 puede llevar a cabo la codificación de la señal, el procesamiento de datos, el control de potencia, el procesamiento de entrada/salida, y/o cualquier otra funcionalidad que le permita a la TRU 102 operar en un ambiente inalámbrico. El procesador 118 puede acoplarse al transceptor 120, el cual puede acoplarse al elemento de transmisión/recepción 122. Aunque la Figura 13B representa gráficamente el procesador 118 y el transceptor 120 como componentes separados, se observará que el procesador 118 y el transceptor 120 pueden integrarse con untamente en un paquete electrónico o chip.
El elemento de transmisión/recepción 122 puede configurarse para transmitir señales a, o recibir señales provenientes de, una estación base (por ejemplo, la estación base 114a) mediante la interfaz aérea 115/116/117. Por ejemplo, en una modalidad, el elemento de transmisión/recepción 122 puede ser una antena configurada para transmitir y/o recibir señales de RF. En una modalidad, el elemento de transmisión/recepción 122 puede ser un emisor/detector configurado para transmitir y/o recibir señales de IR, UV, o de luz visible, por ejemplo. En aún una modalidad, el elemento de transmisión/recepción 122 puede configurarse para transmitir y recibir tanto señales de RF como de luz. Se observará que el elemento de transmisión/recepción 122 puede configurarse para transmitir y/o recibir cualquier combinación de señales inalámbricas.
Además, aunque el elemento de transmisión/recepción 122 se representa en la Figura 13B como un elemento individual, la WTRU 102 puede incluir cualquier número de elementos de transmisión/recepción 122. Más específicamente, la WTRU 102 puede emplear teenología de MIMO. Por lo tanto, en una modalidad, la WTRU 102 puede incluir dos o más elementos de transmisión/recepción 122 (por ejemplo, múltiples antenas) para transmitir y recibir señales inalámbricas mediante la interfaz aérea 115/116/117.
El transceptor 120 puede configurarse para modular las señales que se van a transmitir por el elemento de transmisión/recepción 122 y para demodular las señales que son recibidas por el elemento de transmisión/recepción 122. Como se indicó con anterioridad, la WTRU 102 puede tener capacidades de múltiples modos. Por lo tanto, el transceptor 120 puede incluir múltiples transceptores para permitirle a la WTRU 102 comunicarse mediante múltiples RATs, tales como el UTRA y la norma IEEE 802.11, por ejemplo .
El procesador 118 de la WTRU 102 puede acoplarse a, y puede recibir datos de entrada de usuario desde, la bocina/micrófono 124, el teclado 126, y/o la pantalla/superficie táctil 128 (por ejemplo, una unidad de visualización de pantalla de cristal liquido (LCD - liquid crystal display) o una unidad de visualización de diodo orgánico emisor de luz (OLED - organic light-emitting diode)). El procesador 118 también puede entregar como salida datos de usuario a la bocina/micrófono 124, el teclado 126, y/o la pantalla/superf icie táctil 128. Además, el procesador 118 puede acceder a la información proveniente de, y almacenar datos en, cualquier tipo de memoria adecuada, tal como la memoria no extraible 130 y/o la memoria extraible 132. La memoria no extraible 130 puede incluir memoria de acceso aleatorio (RAM - random-access memory), memoria de sólo lectura (ROM - read-only memory) , un disco duro, o cualquier otro tipo de dispositivo de almacenamiento de memoria. La memoria extraible 132 puede incluir una tarjeta de módulo de identidad del suscriptor (SIM - suscriber identity module), una memoria portátil, una tarjeta de memoria digital segura (SD - Secure Digital), y lo similar. En una modalidad, el procesador 118 puede acceder a información proveniente de, y almacenar datos en, una memoria que no se encuentre ubicada físicamente en la WTRU 102, como en un servidor o una computadora casera (no se muestra).
El procesador 118 puede recibir energía de la fuente de alimentación 134, y puede configurarse para distribuir y/o controlar la energía de los demás componentes en la WTRU 102. La fuente de alimentación 134 puede ser cualquier dispositivo adecuado para la energización de la WTRU 102. Por ejemplo, la fuente de alimentación 134 puede incluir uno o más baterías de celda secas (por ejemplo, de níquel-cadmio (NiCd), níquel-cinc (NiZn), hidruro metálico de níquel (NiMH), de ion de litio (Li-ion), etc.), celdas solares, celdas de combustible, y lo similar.
El procesador 118 también puede acoplarse al conjunto de chips GPS 136, el cual puede configurarse para proporcionar información sobre la ubicación (por ejemplo, longitud y latitud) con respecto a la ubicación actual de la WTRU 102. Además de, o en lugar de, la información del conjunto de chips GPS 136, la WTRU 102 puede recibir información sobre la ubicación mediante la interfaz aérea 115/116/117 proveniente de una estación base (por ejemplo, las estaciones base 114a, 114b) y/o determinar su ubicación con base en la temporización de las señales recibidas provenientes dos o más estaciones base cercanas. Se observará que la WTRU 102 puede adquirir información sobre la ubicación mediante cualquier método adecuado de determinación de la ubicación manteniendo la compatibilidad con una modalidad.
El procesador 118 puede acoplarse también a otros periféricos 138, los cuales pueden incluir uno o más módulos de software y/o hardware que proporcionan características, funcionalidad y/o conectividad cableada o inalámbrica adicionales. Por ejemplo, los periféricos 138 pueden incluir un acelerómetro, una brújula electrónica, un transceptor satelital, una cámara digital (para fotografías o video), un puerto de bus serie universal (USB - universal serial bus), un dispositivo de vibración, un transceptor de televisión, auriculares manos libres, un módulo de Bluetooth®, una unidad de frecuencia modulada (FM) de radio, un reproductor de música digital, un reproductor multimedia, un módulo reproductor de videojuegos, un navegador de Internet, y lo similar.
La Figura 13C es un diagrama de sistema de la RAN 103 y la red central 106 de acuerdo con una modalidad. Como se señaló con anterioridad, la RAN 103 puede emplear una teenología de radio UTRA para comunicarse con las WTRUs 102a, 102b, 102c mediante la interfaz aérea 115. La RAN 103 también puede estar en comunicación con la red central 106. Como se muestra en la Figura 13C, la RAN 103 puede incluir nodos B 140a, 140b, 140c, los cuales pueden incluir cada uno o más transceptores para comunicarse con las WTRUs 102a, 102b, 102c mediante la interfaz aérea 115. Los nodos B 140a, 140b, 140c pueden cada uno asociarse a una celda particular (no se muestra) dentro de la RAN 103. La RAN 103 también puede incluir las RNCs 142a, 142b. Se observará que la RAN 103 puede incluir cualquier número de nodos B y RNCs conservando la compatibilidad con una modalidad.
Como se muestra en la Figura 13C, los Nodos B 140a, 140b pueden estar en comunicación con el RNC 142a. Además, el Nodo-B 140c puede estar en comunicación con el RNC 142b. Los Nodos B 140a, 140b, 140c pueden comunicarse con los respectivos RNC 142a, 142b mediante una interfaz Iub. Los RNCs 142a, 142b pueden estar en comunicación entre si mediante una interfaz Iub. Cada uno de los RNC 142a, 142b puede configurarse para controlar los respectivos Nodos B 140a, 140b, 140c a los que se conecta. Además, cada uno de los RNC 142a, 142b puede configurarse para realizar o apoyar otra funcionalidad, tal como el control de energía de circuito exterior, control de carga, control de admisión, programación de paquetes, control de transferencia, diversidad de macros, funciones de seguridad, encriptación de datos, y lo similar.
La red central 106 mostrada en la Figura 13C puede incluir una puerta de enlace de medios (MGW - media gateway) 144, un centro de conmutación móvil (MSC - mobile switching center) 146, un nodo de soporte de GPRS (SGSN -serving GPRS support node) en servicio 148, y/o un nodo de soporte de GPRS de acceso de red (GGSN - gateway GPRS support node) 150. Aunque cada uno de los elementos anteriores se representa gráficamente como parte de la red central 106, se observará que cualquiera de estos elementos puede ser propiedad de y/o ser explotados por una entidad diferente a la red central.
El RNC 142a en la RAN 103 puede conectarse a la MSG 146 en la red central 106 mediante una interfaz IuCS. El MSC 146 puede conectarse a la MGW 144. El MSC 146 y la MGW 144 puede proporcionar las WTRUs 102a, 102b, 102c con el acceso a redes conmutado por circuitos, tales como la PSTN 108, a fin de facilitar las comunicaciones entre las WTRUs 102a, 102b, 102c y los dispositivos tradicionales de comunicación de linea alámbrica.
El RNC 142a en la RAN 103 también puede conectarse a la SGSN 148 en la red central 106 mediante una interfaz IuPS. La SGSN 148 puede conectarse a la GGSN 150. La SGSN 148 y la GGSN 150 pueden proporcionar las WTRUs 102a, 102b, 102c con acceso a las redes de conmutación de paquetes, tales como la Internet 110, a fin de facilitar las comunicaciones entre las WTRUs 102a, 102b, 102c y dispositivos habilitados para IP.
Como se señaló con anterioridad, la red central 106 también puede conectarse a las redes 112, que puede incluir otras redes cableadas o inalámbricas que son propiedad de y/u operadas por otros proveedores de servicios.
La Figura 13D es un diagrama de sistema de la RAN 104 y la red central 107 de acuerdo con una modalidad. Como se señaló con anterioridad, la RAN 104 puede emplear una teenología de radio E-UTRA para comunicarse con las WTRUs 102a, 102b, 102c mediante la interfaz aérea 116. La RAN 104 también puede estar en comunicación con la red central 107.
La RAN 104 puede incluir los Nodos-e B 160a, 160b, 160c, aunque se observará que la RAN 104 puede incluir cualquier número de Nodos-e B sin manteniendo la compatibilidad con una modalidad. Los Nodos-e B 160a, 160b, 160c pueden incluir cada uno o más transceptores para comunicarse con las WTRUs 102a, 102b, 102c mediante la interfaz aérea 116. En una modalidad, los Nodos-e B 160a, 160b, 160c pueden implementar la teenología de MIMO. Por ende, el Nodo-e 160a, por ejemplo, puede utilizar múltiples antenas para transmitir señales inalámbricas a, y recibir señales inalámbricas provenientes de, la WTRU 102a.
Cada uno de los Nodos-e B-160a, 160b, 160c pueden asociarse con una celda particular (no se muestra) y pueden configurarse para manejar las decisiones de administración de recursos de radio, decisiones de transferencia, programación de los usuarios en el enlace ascendente y/o enlace descendente, y lo similar. Como se muestra en la Figura 8D, los Nodos-e B 160a, 160b, 160c pueden comunicarse entre si mediante una interfaz X2.
La red central 107 mostrada en la Figura 8D puede incluir una puerta de enlace de administración de movilidad (MME - mobility management gateway) 162, una puerta de enlace en servicio 164, y una puerta de enlace de red de datos de paquetes (PDN - packet data network) 166. Aunque cada uno de los elementos anteriores se representa gráficamente como parte de la red central 107, se observará que cualquiera de estos elementos puede ser propiedad de y/o ser explotados por alguna entidad diferente al operador de la red central.
La MME 162 puede conectarse a cada uno de los Nodos-e B 160a, 160b, 160c en la RAN 104 mediante una interfaz SI y puede servir como nodo de control. Por ejemplo, el MME 162 puede ser responsable de autenticar los usuarios de las WTRUs 102a, 102b, 102c, activación/desactivación de la portadora, seleccionar una puerta de enlace en servicio particular durante un anexo inicial de las WTRUs 102a, 102b, 102c, y lo similar. La MME 162 también puede proporcionar una función de plano de control para conmutar entre la RAN 104 y otras RANs (no se muestran) que emplean otras teenologías de radio, tales como GSM o WCDMA.
La puerta de enlace en servicio 164 puede conectarse a cada uno de los Nodos-e B-160a, 160b, 160c en la RAN 104 mediante la interfaz SI. La puerta de enlace en servicio 164 generalmente puede enrutar y enviar paquetes de datos de usuario a/desde la las WTRUs 102a, 102b, 102c. La puerta de enlace en servicio 164 también puede realizar otras funciones, tales como fijar los planos del usuario durante las transferencias de inter-Nodo-e B, activar la localización cuando los datos del enlace descendente se encuentren disponibles para las WTRUs 102a, 102b, 102c, administrar y almacenar los contextos de las WTRUs 102a, 102b, 102c, y lo similar.
La puerta de enlace en servicio 164 también puede conectarse a la puerta de enlace PDN 166, la cual puede proporcionar las WTRUs 102a, 102b, 102c con acceso a las redes de conmutación de paquetes, tales como la Internet 110, a fin de facilitar las comunicaciones entre las WTRUs 102a> 102b, 102c y los dispositivos habilitados para IP.
La red central 107 puede facilitar las comunicaciones con otras redes. Por ejemplo, la red central 107 puede proporcionar las WTRUs 102a, 102b, 102c con acceso a las redes conmutadas por circuitos, tales como la PSTN 108, a fin de facilitar las comunicaciones entre las WTRUs 102a, 102b, 102c y los dispositivos tradicionales de comunicaciones de líneas alámbricas. Por ejemplo, la red central 107 puede incluir, o puede comunicarse con, una puerta de enlace de IP (por ejemplo, un servidor del subsistema multimedia de IP (IMS - IP multimedia subsystem)) que sirve como una interfaz entre la red central 107 y la PSTN 108. Además, la red central 107 puede proporcionar a las WTRUs 102a, 102b, 102c, acceso a las redes 112, las cuales pueden incluir otras redes cableadas o inalámbricas que son propiedad de y/u operadas por otros proveedores de servicios.
La Figura 13E es un diagrama de sistema de la RAN 105 y la red central 109 de acuerdo con una modalidad. La RAN 105 puede ser una red de servicio de acceso (ASN -access Service network) gue emplea la teenología de radio IEEE 802.16 para comunicarse con las WTRUs 102a, 102b, 102c mediante la interfaz aérea 117. Como se describirá más adelante, los enlaces de comunicación entre las diferentes entidades funcionales de las WTRUs 102a, 102b, 102c, la RAN 105, y la red central 109 pueden definirse como puntos de referencia.
Como se muestra en la Figura 13E, la RAN 105 puede incluir estaciones base 180a, 180b, 180c, y una puerta de enlace de ASN 182, aunque se observará que la RAN 105 puede incluir cualquier número de estaciones base y puertas de enlace de ASN manteniendo simultáneamente la compatibilidad con una modalidad. Cada una de las estaciones base 180a, 180b, 180c puede estar asociada a una celda particular (no se muestra) en la RAN 105 y cada una puede incluir uno o más transceptores para comunicarse con las WTRUs 102a, 102b, 102e mediante la interfaz aérea 117. En una modalidad, las estaciones base 180a, 180b, 180c pueden implementar la tecnología de MIMO. Por ende, la estación base 180a, por ejemplo, puede utilizar múltiples antenas para transmitir señales inalámbricas a, y recibir señales inalámbricas provenientes de, la WTRU 102a. Las estaciones base 180a, 180b, 180c también pueden proporcionar funciones de administración de movilidad, tales como activación de transferencia, establecimiento de túnel, administración de recursos de radio, clasificación de tráfico, aplicación de políticas de calidad de servicio (QoS - Quality of Service), y lo similar. La puerta de enlace de ASN 182 puede servir como un punto de acumulación de tráfico y puede ser responsable de llamadas de localización de personas, almacenamiento en memoria temporal de perfiles de suscriptor, enrutamiento a la red central 109, y lo similar.
La interfaz aérea 117 entre las WTRUs 102a, 102b, 102c y la RAN 105 pueden definirse como un punto de referencia R1 que implementa la especificación de la norma IEEE 802.16. Además, cada una de las WTRUs 102a, 102b, 102c puede establecer una interfaz lógica (no se muestra) con la red central 109. La interfaz lógica entre las WTRUs 102a, 102b, 102e y la red central 109 puede definirse como un punto de referencia R2, el cual puede utilizarse para la autenticación, autorización, administración de la configuración de anfitrión IP, y/o administración de la movilidad.
El enlace de comunicación entre cada una de las estaciones base 180a, 180b, 180c puede definirse como un punto de referencia R8 que incluye protocolos para facilitar las transferencias de WTRU y la transferencia de datos entre las estaciones base. El enlace de comunicación entre las estaciones base 180a, 180b, 180c y la puerta de enlace de ASN 182 puede definirse como un punto de referencia R6. El punto de referencia R6 puede incluir protocolos para facilitar la administración de la movilidad con base en los eventos de movilidad asociados a cada una de las WTRUs 102a, 102b, 102c.
Como se muestra en la Figura 13E, la RAN 105 se puede conectarse a la red central 109. El enlace de comunicación entre la RAN 105 y la red central 109 puede definirse como un punto de referencia R3 que incluye protocolos para facilitar la transferencia de datos y las capacidades de administración de la movilidad, por ejemplo. La red central 109 puede incluir un agente local de IP móvil (MIP-HA) 184, un servidor de autenticación, autorización, y estadística (AAA - authentication, authorization, accounting) 186, y una puerta de enlace 188. Aunque cada uno de los elementos anteriores se representa gráficamente como parte de la red central 109, se observará que cualquiera de estos elementos puede ser propiedad de y/o ser operado por una entidad diferente al operador de la red central.
El MIP-HA puede ser responsable de la administración de direcciones IP, y puede permitirles a las WTRUs 102a, 102b, 102c para desplazarse entre diferentes ASNs y/o diferentes redes centrales. El MIP-HA 184 puede proporcionarles a las WTRUs 102a, 102b, 102c, acceso a las redes de conmutación de paquetes, tales como la Internet 110, a fin de facilitar las comunicaciones entre las WTRUs 102a, 102b, 102c y dispositivos habilitados para IP. El servidor de AAA 186 puede ser responsable de la autenticación de usuario y para apoyar los servicios del usuario. La puerta de enlace 188 puede facilitar la interacción con otras redes. Por ejemplo, la puerta de enlace 188 puede proporcionarles a las WTRUs 102a, 102b, 102c acceso a las redes conmutadas por circuitos, como la PSTN 108, a fin de facilitar las comunicaciones entre las WTRUs 102a, 102b, 102c y los dispositivos tradicionales de comunicaciones de lineas alámbricas. Además, la puerta de enlace 188 puede proporcionarles a la WTRU 102a, 102b, 102c acceso a las redes de 112, las cuales pueden incluir otras redes cableadas o inalámbricas que son propiedad de y/u que son operadas por otros proveedores de servicios, Aunque no se muestra en la Figura 13E, se observará que la RAN 105 puede conectarse a otras ASNs y la red central 109 puede conectarse a otras redes centrales. El enlace de comunicación entre la RAN 105 y las demás ASNs puede definirse como un punto de referencia R4, el cual puede incluir protocolos para coordinar la movilidad de las WTRUs 102a, 102b, 102c entre la RAN 105 y las demás ASNs.
El enlace de comunicación entre la red central 109 y las otras redes de núcleo puede definirse como una referencia R5, que puede incluir protocolos para facilitar la interacción entre redes centrales locales y redes centrales visitadas.
Aquellos expertos en la materia observarán que cada característica o elemento puede utilizarse individualmente o en cualquier combinación con las otras características y elementos. Además, los métodos descritos en la presente pueden implementarse en un programa de computadora, software, firmware o incorporado en un medio legible por computadora para su ejecución por una computadora o procesador. Algunos ejemplos de medios legibles por computadora incluyen señales electrónicas de transmisión (transmitidas mediantes conexiones cableadas o inalámbricas) y medios de almacenamiento legibles por computadora. Algunos ejemplos de medios de almacenamiento legibles por computadora incluyen, pero no se limitan a, una memoria de sólo lectura (ROM), una memoria de acceso aleatorio (RAM), un registro, una memoria temporal, dispositivos de memoria de semiconductores, medios magnéticos tales como discos duros internos y discos extraíbles, medios magneto-ópticos y medios ópticos tales como discos CD-ROM y discos versátiles digitales (DVD - digital versatile disks). Puede utilizarse un procesador en asociación con software para implementar un transceptor de radio frecuencia para uso en una WTRU, WTRU, terminal, estación base, RNC, o cualquier computadora anfitriona.
Aunque se ha descrito la utilización de un sistema escalable de 2 capas, aquellos expertos en la materia pueden extender la arquitectura descrita en la presente a los sistemas de codificación de video escaladles de múltiples capas. Además, aunque la HEVC se utilizaba frecuentemente como códec de capa sencilla a manera de ejemplo, el sistema puede tener poca dependencia en el propio códec de video de capa sencilla subyacente, y puede combinarse con cualquier otro códec de capa sencilla. Aquellos expertos en la materia observarán que cada característica o elemento puede utilizarse solo o en cualquier combinación con las demás características y elementos.
Los métodos descritos en la presente pueden imple entarse en un programa de computadora, software, firmware o incorporado en un medio legible por computadora para su ejecución por una computadora o procesador. Algunos ejemplos de medios legibles por computadora incluyen señales electrónicas (transmitidas mediante conexiones cableadas o inalámbricas) y medios de almacenamiento legibles por computadora. Algunos ejemplos de medios de almacenamiento legibles por computadora incluyen, pero no se limitan a, una memoria de sólo lectura (ROM), una memoria de acceso aleatorio (RAM), un registro, memoria memoria temporal, dispositivos de memoria de semiconductores, medios magnéticos tales como discos duros internos y discos extraibles, medios magneto-ópticos, y medios ópticos tales como discos CD-ROM y discos versátiles digitales (DVD). Puede utilizarse un procesador en asociación con software para implementar un transceptor de radio frecuencia para su uso en una WTRU, WTRU, terminal, estación base, RNC, o cualquier computadora anfitriona.

Claims (26)

REIVINDICACIONES
1. Un método de codificación de video caracterizado porque comprende: recibir una señal de video que comprende una o más capas; procesar una imagen de la capa base (BL) a fin de obtener una imagen de referencia de inter-capa (ILR) que utiliza un proceso de predicción de inter-capa a nivel de imagen; y a condición de que la imagen de ILR procesada se utilice como imagen de referencia, predecir al menos una porción de una imagen de la capa de mejora actual (EL) utilizando la imagen de ILR procesada como la imagen de referencia.
2. El método de conformidad con la reivindicación 1, caracterizado porque comprende además predecir al menos una porción de la imagen de EL actual utilizando una imagen de referencia de EL.
3. El método de conformidad con la reivindicación 1, caracterizado porque comprende además almacenar la imagen de ILR procesada en una memoria temporal de imágenes decodificadas (DPB) de la EL.
4. El método conformidad con la reivindicación 1, caracterizado porque comprende además: convertir una información de la BL de un primer formato en un segundo formato, en donde el primer formato está relacionado con un códec de BL y el segundo formato está relacionado con un códec de EL, y en donde el primer formato es diferente del segundo formato; y utilizar la información de la BL convertida en la codificación de la EL.
5. El método de conformidad con la reivindicación 1, caracterizado porque en el que la imagen de ILR procesada es una imagen de ILR no intercalada.
6. El método de conformidad con la reivindicación 1, caracterizado porque el procesamiento de la imagen de BL a fin de obtener una imagen de ILR caracterizado porque comprende formatear la imagen de BL en un formato que sea adecuado para la predicción de la imagen de EL actual con base en un tipo de escalabilidad entre la BL y la EL.
7. El método de conformidad con la reivindicación 6, caracterizado porque en el tipo de escalabilidad entre la BL y la EL comprende una o más de entre escalabilidad espacial o escalabilidad de formato de cromaticidad, y el formateo de la imagen de BL comprende sobremuestrear al menos una porción de la imagen de BL.
8. El método de conformidad con la reivindicación 6, caracterizado porque en el tipo de escalabilidad entre la BL y la EL comprende una más de entre escalabilidad de calidad, escalabilidad espacial, escalabilidad de vista, escalabilidad de norma, o escalabilidad de la relación del ancho a la altura de la imagen, y el formateo de la imagen de BL comprende uno o más de entre eliminación de ruido, restauración, o redireccionamiento de la imagen de BL.
9. El método de conformidad la reivindicación 6, caracterizado porque en el tipo de escalabilidad entre la BL y la EL comprende escalabilidad de vista, y en el que el formateo de la imagen de BL comprende aplicarle compensación de disparidad a la imagen de BL.
10. El método de conformidad con la reivindicación 6, caracterizado porque en el tipo de escalabilidad entre la BL y la EL comprende escalabilidad de profundidad de bits, en el que el formateo de la imagen de BL comprende mapear los tonos inversos de la imagen de BL.
11. El método de conformidad con la reivindicación 1, caracterizado porque comprende además recibir información de predicción de ínter-capa (ILP) transmitida por paquetes.
12. El método de conformdiad con la reivindicación 11, en el que la información de ILP caracterizado porque comprende uno o más de información de filtro de sobremuestreo, uno o más coeficientes de sobremuestreo, uno o más coeficientes de eliminación de ruido, uno o más parámetros de compensación de disparidad, o uno o más parámetros de mapeo de tonos inversos.
13. El método de conformidad con la reivindicación 11, caracterizado porque en el que la información de procesamiento de ILP transmitida por paquetes es recibida mediante una unidad de la capa de abstracción de red (NAL).
14. Un dispositivo de codificación de video (VCD - video coding device) caracterizado porque comprende: un procesador configurado para: recibir una señal de video que comprende una o más capas; procesar una imagen de la capa base (BL) a fin de obtener una imagen de referencia de inter-capa (ILR) utilizando el proceso de predicción de inter-capa a nivel de imagen; y a condición de que la imagen de ILR procesada se utilice como imagen de referencia, predecir al menos una porción de una imagen de la capa de mejora actual (EL) utilizando la imagen de ILR procesada como la imagen de referencia.
15. El VCD de conformidad con la reivindicación 14, caracterizado porque en el que el procesador se configura además para predecir al menos una porción de la imagen de EL actual utilizando una imagen de referencia de EL.
16. El VCD de conformidad con la reivindicación 14, caracterizado porque en el procesador se configura además para almacenar la imagen de ILR procesada en una memoria temporal de imágenes decodificadas de EL (DPB).
17. El VCD de conformidad con la reivindicación 14, caracterizado porque en el procesador se configura para: convertir una información de la BL de un primer formato en un segundo formato, en donde el primer formato está relacionado con un códec de BL y el segundo formato está relacionado con un códec de EL, y en donde el primer formato es diferente del segundo formato; y utilizar la información de la BL convertida en la codificación de la EL.
18. El VCD de conformidad con la reivindicación 14, caracterizado porque en el que la imagen de ILR procesada es una imagen de ILR no intercalada.
19. El VCD según la reivindicación 14, caracterizado porque en el procesamiento de la imagen de BL a fin de obtener una imagen de ILR comprende formatear la imagen de BL en un formato que sea adecuado para la predicción de la imagen de EL actual con base en un tipo de escalabilidad entre la BL y la EL.
20. El VCD de conformidad con la reivindicación 19, caracterizado porque en el tipo de escalabilidad entre la BL y la EL comprende una o más de entre escalabilidad espacial o escalabilidad de formato de cromaticidad, y el formateo de la imagen de BL comprende sobremuestrear al menos una porción de la imagen de BL.
21. El VCD de conformidad con la reivindicación 19, caracterizado porque en el tipo de escalabilidad entre la BL y la EL comprende una más de entre escalabilidad de calidad, escalabilidad espacial, escalabilidad de vista, escalabilidad de norma, o escalabilidad de la relación del ancho a la altura de la imagen, y el formateo de la imagen de BL comprende uno o más de entre eliminación de ruido, restauración, o redireccionamiento de la imagen de BL.
22. El VCD de conformidad con la reivindicación 19, en el que el tipo de escalabilidad entre la BL y la EL caracterizado porque comprende escalabilidad de vista, y en el que el formateo de la imagen de BL comprende aplicarle compensación de disparidad a la imagen de BL.
23. El VCD de conformidad con la reivindicación 19, en el que el tipo de escalabilidad entre la BL y la EL caracterizado porque comprende escalabilidad de profundidad de bits, en el que el formateo de la imagen de BL comprende mapear los tonos inversos de la imagen de BL.
24. El VCD de conformidad con la reivindicación 14, caracterizado porque además el procesador se configura para recibir información de predicción de inter-capa (ILP) transmitida por paquetes.
25. El VCD de conformidad con la reivindicación 24, caracterizado porque en el que la información de ILP comprende uno o más de información de filtro de sobremuestreo, uno o más coeficientes de sobremuestreo, uno o más coeficientes de eliminación de ruido, uno o más parámetros de compensación de disparidad, o uno o más parámetros de mapeo de tonos inversos.
26. El VCD de conformidad con la reivindicación 24, caracterizado porque en el que la información de procesamiento de ILP transmitida por paquetes es recibida mediante una unidad de la capa de abstracción de red (NAL).
MX2015000265A 2012-07-09 2013-07-09 Arquitectura de codec para codificacion de video de multiples capas. MX344952B (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261669356P 2012-07-09 2012-07-09
US201261734264P 2012-12-06 2012-12-06
PCT/US2013/049662 WO2014011595A1 (en) 2012-07-09 2013-07-09 Codec architecture for multiple layer video coding

Publications (2)

Publication Number Publication Date
MX2015000265A true MX2015000265A (es) 2015-08-14
MX344952B MX344952B (es) 2017-01-12

Family

ID=48833069

Family Applications (2)

Application Number Title Priority Date Filing Date
MX2017000249A MX361767B (es) 2012-07-09 2013-07-09 Arquitectura de códec para codificación de video de múltiples capas.
MX2015000265A MX344952B (es) 2012-07-09 2013-07-09 Arquitectura de codec para codificacion de video de multiples capas.

Family Applications Before (1)

Application Number Title Priority Date Filing Date
MX2017000249A MX361767B (es) 2012-07-09 2013-07-09 Arquitectura de códec para codificación de video de múltiples capas.

Country Status (17)

Country Link
US (4) US9998764B2 (es)
EP (2) EP3407608A1 (es)
JP (5) JP2015523815A (es)
KR (4) KR20150029745A (es)
CN (2) CN110035286B (es)
AU (2) AU2013288832B2 (es)
BR (1) BR112015000480B1 (es)
CA (1) CA2878807C (es)
HK (1) HK1204515A1 (es)
IL (1) IL236629A0 (es)
IN (1) IN2015DN00191A (es)
MX (2) MX361767B (es)
MY (1) MY172999A (es)
RU (1) RU2616549C2 (es)
SG (2) SG10201700161UA (es)
TW (2) TWI649999B (es)
WO (1) WO2014011595A1 (es)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013261845A1 (en) * 2012-05-14 2014-12-11 Guido MEARDI Encoding and reconstruction of residual data based on support information
CN110035286B (zh) 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding
EP2911397A1 (en) * 2012-09-28 2015-08-26 Intel Corporation Inter-layer pixel sample prediction
US9936215B2 (en) 2012-10-04 2018-04-03 Vid Scale, Inc. Reference picture set mapping for standard scalable video coding
US20140192881A1 (en) * 2013-01-07 2014-07-10 Sony Corporation Video processing system with temporal prediction mechanism and method of operation thereof
US10321130B2 (en) 2013-01-07 2019-06-11 Vid Scale, Inc. Enhanced deblocking filters for video coding
KR102273025B1 (ko) * 2013-03-06 2021-07-05 삼성전자주식회사 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 부호화 방법 및 그 장치, 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 복호화 방법 및 그 장치
US9324161B2 (en) * 2013-03-13 2016-04-26 Disney Enterprises, Inc. Content-aware image compression method
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
EP3410715A1 (en) 2013-04-05 2018-12-05 Vid Scale, Inc. Inter-layer reference picture enhancement for multiple layer video coding
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
BR112015026244B1 (pt) * 2013-04-15 2023-04-25 V-Nova International Ltd Codificação e decodificação de sinal compatível com versões anteriores híbrido
US10284840B2 (en) * 2013-06-28 2019-05-07 Electronics And Telecommunications Research Institute Apparatus and method for reproducing 3D image
US10212437B2 (en) * 2013-07-18 2019-02-19 Qualcomm Incorporated Device and method for scalable coding of video information
KR101595397B1 (ko) * 2013-07-26 2016-02-29 경희대학교 산학협력단 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
US9818422B2 (en) * 2013-08-30 2017-11-14 The Regents Of The University Of California Method and apparatus for layered compression of multimedia signals for storage and transmission over heterogeneous networks
WO2015031891A2 (en) * 2013-08-30 2015-03-05 ARRIS Enterprises, Inc Multipass encoder with heterogeneous codecs
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
EP3061253A4 (en) 2013-10-25 2016-08-31 Microsoft Technology Licensing Llc PAIRING OF BLOCKS BY HASHING VIDEO AND IMAGE CODING
EP3090549A1 (en) 2014-01-02 2016-11-09 VID SCALE, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
KR102185245B1 (ko) * 2014-03-04 2020-12-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반 블록 매칭을 위한 해시 테이블 구성 및 이용가능성 검사
US9712837B2 (en) * 2014-03-17 2017-07-18 Qualcomm Incorporated Level definitions for multi-layer video codecs
US9591316B2 (en) * 2014-03-27 2017-03-07 Intel IP Corporation Scalable video encoding rate adaptation based on perceived quality
US10681372B2 (en) * 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
JP6462119B2 (ja) 2014-09-30 2019-01-30 マイクロソフト テクノロジー ライセンシング，エルエルシー コンピューティングデバイス
US9591254B2 (en) * 2015-03-26 2017-03-07 Qualcomm Incorporated Device and method for processing video data
WO2017020021A1 (en) * 2015-07-29 2017-02-02 Vid Scale, Inc. Scalable high efficiency video coding to high efficiency video coding transcoding
GB2544800A (en) * 2015-11-27 2017-05-31 V-Nova Ltd Adaptive bit rate ratio control
US10440401B2 (en) 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US20190356926A1 (en) * 2017-02-03 2019-11-21 Sony Corporation Transmission device, transmission method, reception device, and reception method
US20200236355A1 (en) * 2017-08-01 2020-07-23 Sharp Kabushiki Kaisha Systems and methods for filtering reconstructed video data using adaptive loop filtering techniques
CN107800649A (zh) * 2017-10-29 2018-03-13 湖州师范学院 一种增强的基于路径的虚拟光网络映射方法
CN117834831A (zh) * 2018-01-16 2024-04-05 Vid拓展公司 用于360度视频译码的自适应帧封装
GB2570324A (en) * 2018-01-19 2019-07-24 V Nova Int Ltd Multi-codec processing and rate control
KR102039711B1 (ko) * 2018-03-13 2019-11-01 삼성전자주식회사 팬-아웃 부품 패키지
US10764588B2 (en) * 2018-08-10 2020-09-01 Apple Inc. Deep quality enhancement of adaptive downscaled coding for image compression
KR102022648B1 (ko) 2018-08-10 2019-09-19 삼성전자주식회사 전자 장치, 이의 제어 방법 및 서버의 제어 방법
GB201905400D0 (en) * 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
CN110113604B (zh) * 2019-04-26 2021-03-30 电子科技大学 一种图像分层编码方法
JP7403245B2 (ja) * 2019-06-21 2023-12-22 キヤノン株式会社 画像復号装置、画像復号方法
CN111190577B (zh) * 2019-12-19 2023-03-31 贠学文 一种对工具包统一管理并实现轻量级mvc的框架构建方法
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
US11330296B2 (en) * 2020-09-14 2022-05-10 Apple Inc. Systems and methods for encoding image data
CN114913249A (zh) * 2021-02-08 2022-08-16 华为技术有限公司 编码、解码方法和相关设备
US11677934B2 (en) * 2021-09-24 2023-06-13 Apple Inc. Encoding and decoding video content
CN117956168A (zh) * 2022-10-31 2024-04-30 华为技术有限公司 图像编解码方法和装置

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929610B2 (en) 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US7715477B2 (en) * 2002-05-29 2010-05-11 Diego Garrido Classifying image areas of a video signal
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
KR100703740B1 (ko) * 2004-10-21 2007-04-05 삼성전자주식회사 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
KR20060063613A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100763178B1 (ko) 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US7303668B2 (en) * 2005-05-23 2007-12-04 Chin-Tuan Liao Filtering device
FR2889778A1 (fr) 2005-08-12 2007-02-16 Thomson Licensing Sas Procede de codage et de decodage d'images video avec echelonnabilite spatiale
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
CN101317460A (zh) * 2005-10-11 2008-12-03 诺基亚公司 用于有效的可伸缩流适配的系统和方法
US8345755B2 (en) 2006-01-09 2013-01-01 Lg Electronics, Inc. Inter-layer prediction method for video signal
KR100772873B1 (ko) 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US8170116B2 (en) 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
KR100781525B1 (ko) * 2006-04-06 2007-12-03 삼성전자주식회사 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치
WO2008010932A2 (en) 2006-07-20 2008-01-24 Thomson Licensing Method and apparatus for signaling view scalability in multi-view video coding
US8060651B2 (en) 2006-08-17 2011-11-15 Sharp Laboratories Of America, Inc. Systems and methods for adaptively packetizing data partitions for transport over a network
JP2008078979A (ja) * 2006-09-21 2008-04-03 Victor Co Of Japan Ltd 動画像階層符号量割当装置、階層符号化装置、階層符号量割当プログラム及び階層符号化プログラム
CN101888559B (zh) * 2006-11-09 2013-02-13 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1985121A4 (en) * 2006-11-17 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
RU2426267C2 (ru) * 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
BRPI0720806B1 (pt) 2007-01-18 2023-03-28 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Corrente de dados de vídeo de qualidade escalonável
US8737474B2 (en) 2007-06-27 2014-05-27 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
JP5534521B2 (ja) * 2007-10-15 2014-07-02 トムソン ライセンシング スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
US8855199B2 (en) * 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
US8867616B2 (en) * 2009-02-11 2014-10-21 Thomson Licensing Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping
US20120033040A1 (en) * 2009-04-20 2012-02-09 Dolby Laboratories Licensing Corporation Filter Selection for Video Pre-Processing in Video Applications
JP5059062B2 (ja) 2009-07-08 2012-10-24 シャープ株式会社 通信システム、移動局装置および基地局装置
JP5693716B2 (ja) * 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
US20120063517A1 (en) * 2010-09-14 2012-03-15 Samsung Electronics Co., Ltd. Method and apparatus for hierarchical picture encoding and decoding
US20120075436A1 (en) 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
AU2012225513B2 (en) * 2011-03-10 2016-06-23 Vidyo, Inc. Dependency parameter set for scalable video coding
US9253233B2 (en) * 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9210430B2 (en) * 2012-01-19 2015-12-08 Sharp Kabushiki Kaisha Reference picture set signaling and restriction on an electronic device
KR101652928B1 (ko) 2012-01-31 2016-09-01 브이아이디 스케일, 인크. 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링
PL2822276T3 (pl) * 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
CN108377393A (zh) * 2012-03-22 2018-08-07 联发科技股份有限公司 编码视频数据的方法以及装置
CN104396244B (zh) * 2012-04-16 2019-08-09 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机可读存储介质
WO2013158293A1 (en) * 2012-04-19 2013-10-24 Vid Scale, Inc. System and method for error-resilient video coding
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
US9253487B2 (en) * 2012-05-31 2016-02-02 Qualcomm Incorporated Reference index for enhancement layer in scalable video coding
WO2013189257A1 (en) * 2012-06-20 2013-12-27 Mediatek Inc. Method and apparatus of bi-directional prediction for scalable video coding
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
CN104429075B (zh) * 2012-07-09 2017-10-31 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置及图像解码装置
US9854259B2 (en) * 2012-07-09 2017-12-26 Qualcomm Incorporated Smoothing of difference reference picture
CN110035286B (zh) 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
US9344718B2 (en) * 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
JP5961761B2 (ja) * 2012-08-29 2016-08-02 ヴィド スケール インコーポレイテッド スケーラブルビデオ符号化のための動きベクトルの予測の方法および装置
WO2014038905A2 (ko) * 2012-09-09 2014-03-13 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
US20140069969A1 (en) 2012-09-11 2014-03-13 Christopher Yannis Bosch Delivery System
US9554133B2 (en) * 2012-09-18 2017-01-24 Vid Scale, Inc. Method and apparatus for region of interest video coding using tiles and tile groups
EP4221217B1 (en) * 2012-09-26 2024-09-18 Sun Patent Trust Image decoding method and image decoding apparatus
EP3748969B1 (en) * 2012-09-27 2024-01-03 Dolby Laboratories Licensing Corporation Inter-layer reference picture processing for coding standard scalability
US9706199B2 (en) * 2012-09-28 2017-07-11 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
TW201424397A (zh) * 2012-09-28 2014-06-16 Samsung Electronics Co Ltd 可調式視訊解碼、編碼方法及其裝置與非暫時性電腦可讀記錄體
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
CN104904202A (zh) * 2012-09-28 2015-09-09 三星电子株式会社 用于使用参考画面信息进行并行视频编码的方法和设备以及用于使用参考画面信息进行并行视频解码的方法和设备
WO2014053518A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
CN104704835B (zh) * 2012-10-03 2017-11-24 联发科技股份有限公司 视频编码中运动信息管理的装置与方法
US9723321B2 (en) * 2012-10-08 2017-08-01 Samsung Electronics Co., Ltd. Method and apparatus for coding video stream according to inter-layer prediction of multi-view video, and method and apparatus for decoding video stream according to inter-layer prediction of multi view video
US20140192881A1 (en) * 2013-01-07 2014-07-10 Sony Corporation Video processing system with temporal prediction mechanism and method of operation thereof
US9294776B2 (en) * 2013-03-05 2016-03-22 Qualcomm Incorporated Parallel processing for video coding
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
US8958477B2 (en) * 2013-04-05 2015-02-17 Vidyo, Inc. Multiple reference layer prediction signaling techniques
CA2908853C (en) * 2013-04-08 2019-01-15 Arris Technology, Inc. Signaling for addition or removal of layers in video coding
US9674522B2 (en) * 2013-04-08 2017-06-06 Qualcomm Incorporated Device and method for scalable coding of video information
US9432667B2 (en) * 2013-06-11 2016-08-30 Qualcomm Incorporated Processing bitstream constraints relating to inter-layer prediction types in multi-layer video coding
US9609329B2 (en) * 2013-06-25 2017-03-28 Samsung Electronics Co., Ltd Dynamic voltage/frequency scaling for video processing using embedded complexity metrics
US9756335B2 (en) * 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
US9648333B2 (en) * 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
US9681145B2 (en) * 2013-10-14 2017-06-13 Qualcomm Incorporated Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency
EP3090549A1 (en) * 2014-01-02 2016-11-09 VID SCALE, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content
US9654794B2 (en) * 2014-01-03 2017-05-16 Qualcomm Incorporated Methods for coding an inter-layer reference picture set (RPS) and coding end of bitstream (EOB) network access layer (NAL) units in multi-layer coding
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
MX360655B (es) * 2014-05-21 2018-11-12 Arris Entpr Llc Gestión individual de memorias intermedias en transporte de video escalable.
US9716900B2 (en) * 2014-06-20 2017-07-25 Qualcomm Incorporated Extensible design of nesting supplemental enhancement information (SEI) messages
EP3453178A1 (en) * 2016-05-06 2019-03-13 VID SCALE, Inc. Systems and methods for motion compensated residual prediction

Also Published As

Publication number Publication date
US11012717B2 (en) 2021-05-18
JP2023166011A (ja) 2023-11-17
US20180131967A1 (en) 2018-05-10
US11627340B2 (en) 2023-04-11
KR20210129266A (ko) 2021-10-27
KR20200038564A (ko) 2020-04-13
CN104429071A (zh) 2015-03-18
KR20150029745A (ko) 2015-03-18
US20140010294A1 (en) 2014-01-09
JP2019208279A (ja) 2019-12-05
CA2878807A1 (en) 2014-01-16
US20200059671A1 (en) 2020-02-20
EP2870757A1 (en) 2015-05-13
BR112015000480A2 (pt) 2017-08-08
CA2878807C (en) 2018-06-12
SG10201700161UA (en) 2017-03-30
JP2015523815A (ja) 2015-08-13
AU2017200225B2 (en) 2019-04-04
MX344952B (es) 2017-01-12
JP2017225171A (ja) 2017-12-21
BR112015000480B1 (pt) 2023-02-07
IL236629A0 (en) 2015-02-26
JP2022023856A (ja) 2022-02-08
IN2015DN00191A (es) 2015-06-12
MY172999A (en) 2019-12-18
HK1204515A1 (en) 2015-11-20
TW201424387A (zh) 2014-06-16
US9998764B2 (en) 2018-06-12
AU2017200225A1 (en) 2017-02-02
TWI606716B (zh) 2017-11-21
AU2013288832B2 (en) 2016-10-13
US10484717B2 (en) 2019-11-19
CN104429071B (zh) 2019-01-18
TW201820863A (zh) 2018-06-01
EP3407608A1 (en) 2018-11-28
TWI649999B (zh) 2019-02-01
CN110035286B (zh) 2021-11-12
CN110035286A (zh) 2019-07-19
AU2013288832A1 (en) 2015-02-05
RU2015103915A (ru) 2016-08-27
RU2616549C2 (ru) 2017-04-17
SG11201500129UA (en) 2015-02-27
JP6574223B2 (ja) 2019-09-11
WO2014011595A1 (en) 2014-01-16
US20210250619A1 (en) 2021-08-12
KR20180112099A (ko) 2018-10-11
MX361767B (es) 2018-12-17

Similar Documents

Publication Publication Date Title
US11627340B2 (en) Codec architecture for multiple layer video coding
JP6701310B2 (ja) ３ｄルックアップテーブル符号化に色域スケーラビリティを提供するシステムおよび方法
JP6694031B2 (ja) ３次元ベースのカラーマッピングでのモデルパラメータ最適化のためのシステムおよび方法
CN110855994B (zh) 针对多层视频编码的层间参考图片增强的设备
TWI578758B (zh) 視訊資料解碼的裝置及方法
US20140010291A1 (en) Layer Dependency and Priority Signaling Design for Scalable Video Coding

Legal Events

Date Code Title Description
FG Grant or registration