MX2015006473A - Dispositivo de procesamiento de imagen y metodo. - Google Patents

Dispositivo de procesamiento de imagen y metodo.

Info

Publication number
MX2015006473A
MX2015006473A MX2015006473A MX2015006473A MX2015006473A MX 2015006473 A MX2015006473 A MX 2015006473A MX 2015006473 A MX2015006473 A MX 2015006473A MX 2015006473 A MX2015006473 A MX 2015006473A MX 2015006473 A MX2015006473 A MX 2015006473A
Authority
MX
Mexico
Prior art keywords
image
unit
syntax element
coding
data
Prior art date
Application number
MX2015006473A
Other languages
English (en)
Other versions
MX353544B (es
Inventor
Kazushi Sato
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of MX2015006473A publication Critical patent/MX2015006473A/es
Publication of MX353544B publication Critical patent/MX353544B/es

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

La presente descripción se refiere a un dispositivo de procesamiento de imagen y al método, los cuales son capaces de suprimir una reducción en un incremento en la eficiencia de codificación. Se proporcionan una unidad de recepción que recibe una corriente de bitios codificada que incluye un elemento de sintaxis relacionado a un proceso de inter imagen y una unidad de análisis que analiza el elemento de sintaxis recibido por la unidad de recepción en un estado en que un valor del elemento de sintaxis se restringe cuando la corriente de bitios es una corriente de bitios codificada basada en un perfil para la codificación de una imagen fija. Por ejemplo, la presente descripción se puede aplicar a un dispositivo de procesamiento de imagen.

Description

DISPOSITIVO DE PROCESAMIENTO DE IMAGEN Y MÉTODO CAMPO TÉCNICO La presente descripción se refiere a un dispositivo de procesamiento de imagen y método, y más particularmente, a un dispositivo de procesamiento de imagen y método que son capaces de suprimir una reducción en la eficiencia de codificación.
ANTECEDENTES DE LA TÉCNICA En los últimos años, con el propósito de la digitalización de la información de imagen y la transmisión y la acumulación de información con alta eficiencia en ese momento, se han diseminado los dispositivos que comprimen y codifican imágenes mediante el uso de la información de imagen-redundancia especifica que emplea un esquema de codificación que realiza la compresión a través de una transformación ortogonal tal·como una transformada del coseno discreta y compensación de movimiento. Como tal un esquema de codificación, por ejemplo, está ahi Grupo de Expertos de Imagen en Movimiento (MPEG).
En particular, MPEG 2 (Organización Internacional para la Comisión Electrotéenica Normalización/Internacional (ISO/IEC) 13818-2) es un estándar que se define como un esquema de codificación de imagen de propósito general, y cubre las imágenes de escaneo entrelazadas, las imágenes de escaneo progresiva, imágenes de resolución estándar, e imágenes de jt3¾r alta definición. Actualmente, MPEG 2 está siendo ampliamente utilizado para una amplia gama de aplicaciones tales como el uso profesional y uso del consumidor. Utilizando el esquema de compresión MPEG 2, por ejemplo, en el caso de una imagen de escaneo entrelazada de una resolución estándar que tiene 720 x 480 pixeles, una cantidad de codificación (tasa de bitios) de 4 Mbps a 8 Mbps es asignada. Además, utilizando el esquema de compresión MPEG 2, por ejemplo, en el caso de una imagen de exploración entrelazada de una alta resolución que tiene 1920 x 1088 pixeles, una cantidad de codificación (tasa de bitios) de 18 Mbps a 22 Mbps se asigna. Por lo tanto, es posible implementar una alta tasa de compresión y una excelente calidad de imagen.
El MPEG 2 se destina principalmente para la codificación de alta definición adecuada para la radiodifusión, pero no es compatible con un esquema de codificación que tiene una cantidad de codificación (tasa de bitios) menor que la de MPEG 1, es decir, un esquema de codificación de una tasa de compresión más alta. Con la difusión de las terminales móviles, la necesidad para tal esquema de codificación se considera un aumento en el futuro, y por lo tanto un esquema de codificación MPEG 4 ha sido estandarizado. En relación con un esquema de codificación de imágenes, un estándar internacional de los mismos ha sido aprobado como ISO/IEC 14496-2, en Diciembre de 1998.
Además, en los últimos años, la normalización de una norma tal como H.26L (Unión de Telecomunicaciones Internacional Sector de Normalización de las Telecomunicaciones Q6/16 Grupo de Expertos de Codificación de Video (ITU-T Q6/16 VCEG)) para el propósito de la codificación de imágenes para video conferencia se ha realizado. El H.26L requiere una cantidad más grande de cálculo para la codificación y decodificación que en un esquema de codificación existentes, tales como el MPEG 2 o MPEG 4, pero se sabe que poner en práctica la eficiencia de codificación más alta. Además, en la actualidad, como una de las actividades de MPEG 4, la normalización de la incorporación de incluso una función que no está apoyada en H.26L e implementar la eficacia de codificación superior basado en el H.26L que se ha realizado como un Modelo Conjunto de Codificación de Video Compresión-Mejorado.
Como un programa de normalización, una norma internacional llamada H.264 y MPEG-4 Pártelo (que también es en lo sucesivo referido como "Codificación de Video Avanzado (AVC)") se ha establecido en Marzo de 2003.
Además, como una extensión de H.264/AVC, la Extensión del Rango de Fidelidad (FRExt) que incluye una herramienta de codificación necesaria para el uso profesional tal como RGB o 4:2:2 ó 4:4:4 u 8x8 DCT y una matriz de cuantificación que se especifican en MPEG-2 ha sido estandarizada en Febrero de 2005. Como un resultado, el H.264/AVC se ha convertido en un esquema de codificación capaz de expresar también un ruido de cine que se incluye en una película bien y está siendo utilizando en una amplia gama de aplicaciones tales como un Disco Blu-Ray (una marca comercial).
Sin embargo, en los últimos años, existe una creciente necesidad de más alta tasa de compresión de codificación capaz de comprimir una imagen (lo cual también se conoce como un "imagen 4K") de alrededor de 4000 x 2000 píxeles los cuales son cuatro veces más alta como una imagen de alta-definición o la entrega de una imagen de alta-definición en un ambiente de capacidad de transmisión limitado tal como la Internet. Para ello, una mejora en la eficiencia de codificación ha estado bajo continua revisión por el Grupo de Expertos de Codificación de Vídeo (VCEG) bajo ITU-T.
A este respecto, en la actualidad, con el fin de mejorar aún más la eficiencia de codificación para ser mayor que en el AVC, la normalización de un esquema de codificación llamada Codificación de Video de Alta Eficiencia (HEVC) ha estado siendo conducida por la Codificación de Video por el Equipo de Colaboración Conjunta (JCTVC) lo cual es un conjunto de organización de normalización de la ITU-T e ISO/IEC. En el estándar HEVC, un proyecto de comité que es un primer proyecto de la especificación ha sido publicado en febrero de 2012 (véase el Documento 1 de No-Patente 1).
En el caso de la HEVC, en general, la información que se transmite desde un lado de codificación a un lado de decodificación incluye elementos de sintaxis para encabezamientos de P y encabezamientos de B, es decir, elementos de sintaxis relacionados con un proceso de inter pantalla asi como sintaxis para encabezamientos de I.
Mientras tanto, un perfil de imagen fija que sirve como un perfil para el uso de la HEVC como una códec de imagen fija se ha propuesto (por ejemplo, véase el Documento 2 de No-Patente 2).
Desde el perfil de imagen fija es un perfil para codificar y descodificar imágenes fijas, cuando se aplica este perfil, los elementos sintácticos relacionados con el proceso de ínter-pantalla son innecesarios.
LISTA DE CITACIÓN DOCUMENTO NO DE PATENTE El Documento 1 de No-Patente 1: Benjamín Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "Codificación de video de alta eficiencia (HEVC) proyecto de especificación de texto 8," JCTVC-H1003_d7, Equipo Conjunto de Colaboración en Codificación de Video (JCT-VC) de la ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11, 10a Reunión: Estocol o, SE, 11-20 de julio de 2012- Documento 2 no de Patente: Kemal Ugur, Jani Lainema, Miska Hannuksela, "Sobre el perfil de imagen fija, " JCTVC-J0037, Equipo Conjunto de Colaboración sobre Codificación de Video (JCT-VC) de ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11, 10a Reunión: Estocolmo, SE, 11-20 de Julio de 2012- BREVE DESCRIPCIÓN DE LA INVENCIÓN PROBLEMAS PARA SER RESUELTOS POR LA INVENCIÓN Sin embargo, en el caso del método descrito en el Documento 2 no de Patente, no se realiza el control sobre los elementos de sintaxis relacionadas con el proceso de inter pantalla. En otras palabras, de manera similar al caso del perfil de imagen en movimiento, los elementos de sintaxis relacionados con el proceso de inter-pantalla se transmiten desde el lado de codificación al lado de decodificación. Por lo tanto, la eficiencia de codificación es probable que sea disminuida ya que se transmite información innecesaria.
La presente descripción se hizo en vista de lo anterior, y es deseable que sea capaz de suprimir una reducción en la eficiencia de codificación.
SOLUCIONES A LOS PROBLEMAS Un dispositivo de procesamiento de imagen de acuerdo con un aspecto de la presente teenología es un dispositivo de procesamiento de imagen que incluye una unidad receptora que recibe un flujo de bitios codificados que incluye un elemento de sintaxis relacionado con un proceso de ínter-imagen y una unidad de análisis que analiza el elemento de sintaxis recibido por la unidad de recepción en un estado en el que un valor del elemento de sintaxis se restringe cuando el flujo de bitios es un flujo de bitios codificado basado en un perfil para la codificación de una imagen fija.
El dispositivo de procesamiento de imágenes puede incluir además una unidad de decodificación que decodifica el flujo de bitios utilizando el elemento de sintaxis analizada por la unidad de análisis.
El dispositivo de procesamiento de imágenes puede incluir además una unidad de determinación que determina si o no el valor del elemento de sintaxis recibida por la unidad receptora está adecuadamente restringido cuando el flujo de bitios es el flujo de bitios codificado basado en el perfil para la codificación de la imagen fija.
El dispositivo de procesamiento de imagen puede incluir además una unidad de procesamiento de anomalías que realiza un proceso de anormalidad cuando la unidad de determinación determina que el valor del elemento de sintaxis no está debidamente restringido.
El elemento de sintaxis se puede almacenar en un conjunto de parámetros de secuencia del flujo de bitios.
El elemento de sintaxis puede ser una sintaxis relacionada con una imagen de referencia.
El elemento de sintaxis puede ser una sintaxis relacionada con el número de imágenes de referencia.
El dispositivo de procesamiento de imágenes puede incluir además una unidad de determinación que determina si o no el valor del elemento de sintaxis recibida por la unidad de recepción es un valor predeterminado.
El valor predeterminado puede ser 0.
Un método de procesamiento de imagen de acuerdo con un aspecto de la presente teenología es un método de procesamiento de imagen incluyendo la recepción de un flujo de bitios codificados que incluye un elemento de sintaxis relacionado con un proceso de inter-imagen y analizando el elemento de sintaxis recibido en un estado en el que un valor del elemento de sintaxis se restringe cuando el flujo de bitios es un flujo de bitios codificado basado en un perfil para la codificación de una imagen fija.
Además, el flujo de bitios puede ser decodificado mediante el elemento de sintaxis analizado.
Se puede determinar si o no el valor del elemento de sintaxis recibido está debidamente restringido cuando el flujo de bitios es el flujo de bitios codificado en función del perfil para la codificación de la imagen fija.
Un proceso de anormalidad se puede realizar cuando el valor del elemento de sintaxis se determina a no ser adecuadamente restringido.
El elemento de sintaxis se puede almacenar en un conjunto de parámetros de secuencia del flujo de bitios.
El elemento de sintaxis puede ser una sintaxis relacionada con una imagen de referencia.
El elemento de sintaxis puede ser una sintaxis relacionada con el número de imágenes de referencia.
Además, se puede determinar si o no el valor del elemento de sintaxis recibido es un valor predeterminado.
El valor predeterminado puede ser 0.
De acuerdo con un aspecto de la teenología actual, se recibe un flujo de bitios codificados que incluye un elemento de sintaxis relacionado con un proceso inter-imagen, y el elemento de sintaxis recibido se analiza en un estado en el que un valor del elemento de sintaxis se restringe cuando el flujo de bitios es un flujo de bitios codificado basado en un perfil para la codificación de una imagen fija.
EFECTOS DE LA INVENCIÓN De acuerdo con la presente descripción, es posible codificar y decodificar una imagen. Particularmente, es posible suprimir una reducción en la eficiencia de codificación.
BREVE DESCRIPCIÓN DE LOS DIBUJOS La Figura 1 es un diagrama para describir una configuración ejemplar de una unidad de codificación.
La Figura 2 es un diagrama para describir un mosaico.
La Figura 3 es un diagrama que ilustra un ejemplo de un nivel de perfil de nivel ejemplar (Perfil-tier_nivel).
La Figura 4 es un diagrama que ilustra un conjunto de parámetros de video ejemplar (VPS).
La Figura 5 es un diagrama que ilustra un conjunto de parámetros de secuencia ejemplar (SPS).
La Figura 6 es un diagrama que ilustra un conjunto de parámetros de secuencia ejemplar (SPS), posteriormente a la Figura 5.
La Figura 7 es un diagrama que ilustra otro nivel de perfil de nivel ejemplar (Perfil_tier_nivel).
La Figura 8 es un diagrama que ilustra otro conjunto de parámetros de video ejemplar (VPS).
La Figura 9 es un diagrama que ilustra otro conjunto de parámetros de secuencia ejemplar (SPS).
La Figura 10 es un diagrama que ilustra otro conjunto de parámetros de secuencia ejemplar (SPS), posteriormente a la Figura 9.
La Figura 11 es un diagrama que ilustra todavía otro conjunto de parámetros de vídeo ejemplar (VPS).
La Figura 12 es un diagrama que ilustra todavía otro conjunto de parámetros de secuencia ejemplar (SPS).
La Figura 13 es un diagrama que ilustra todavía otro conjunto de parámetro de secuencia ejemplar (SPS), posteriormente a la Figura 12.
La Figura 14 es un diagrama que ilustra un conjunto de parámetros de imagen ejemplar (PPS).
La Figura 15 es un diagrama que ilustra un conjunto de parámetros de imagen ejemplar (PPS), posteriormente a la Figura 14.
La Figura 16 es un diagrama que ilustra una lista de datos de escala ejemplares (escala_lista_dato ()).
La Figura 17 es un diagrama que ilustra una semántica ejemplares de un ID de tamaño (TamañoID).
La Figura 18 es un diagrama que ilustra una semántica ejemplares de un ID de tamaño (TamañoID) y un ID de matriz (MatrizID).
La Figura 19 es un diagrama que ilustra otra lista de datos de escala ejemplares (escala_lista_dato ()).
La Figura 20 es un diagrama que ilustra un encabezamiento de la sección ejemplar (sección_encabezamiento ()).
La Figura 21 es un diagrama que ilustra un encabezamiento de la sección ejemplar (encabezamiento_sección ()), posteriormente a la Figura 20.
La Figura 22 es un diagrama que ilustra un encabezamiento de la sección ejemplar (encabeza iento_sección ()), posteriormente a la Figura 21.
La Figura 23 es un diagrama que ilustra una asignación ejemplar de nal_unidad_tipo.
La Figura 24 es un diagrama para describir una Región ejemplar de región de Interés (ROI).
La Figura 25 es un diagrama de bloques que ilustra una configuración principal de ejemplo de un dispositivo de codificación de imagen.
La Figura 26 es un diagrama de bloques que ilustra una configuración principal de ejemplo de una unidad de codificación sin pérdidas.
La Figura 27 es un diagrama de flujo para describir un flujo de ejemplo de un proceso de codificación.
La Figura 28 es un diagrama de flujo para describir un flujo de ejemplo de un proceso de codificación, posteriormente a la Figura 27.
La Figura 29 es un diagrama de flujo para describir un flujo de ejemplo de un proceso de codificación sin pérdidas.
La Figura 30 es un diagrama de flujo para describir un flujo ejemplar de un proceso de establecimiento de elemento de sintaxis.
La Figura 31 es un diagrama de bloques que ilustra otra configuración de ejemplo de un dispositivo de codificación de imagen.
La Figura 32 es un diagrama de flujo para describir otro flujo ejemplar de un proceso de codificación.
La Figura 33 es un diagrama de flujo para describir otro flujo ejemplar de un proceso de codificación, posteriormente a la Figura 32.
La Figura 34 es un diagrama de bloques que ilustra una configuración ejemplar principal de un dispositivo de decodificación de imágenes.
La Figura 35 es un diagrama de bloques que ilustra una configuración ejemplar principal de una unidad de decodificación sin pérdida.
La Figura 36 es un diagrama de flujo para describir un flujo de ejemplo de un proceso de decodificación.
La Figura 37 es un diagrama de flujo para describir un flujo de ejemplo de un proceso de decodificación, posteriormente a la Figura 36.
La Figura 38 es un diagrama de flujo para describir un flujo de ejemplo de un proceso de análisis de elemento de sintaxis.
La Figura 39 es un diagrama de bloques que ilustra otra configuración de ejemplo de un dispositivo de decodificación de imágenes.
La Figura 40 es un diagrama de bloques que ilustra otra configuración de ejemplo de una unidad de decodificación sin pérdida.
La Figura 41 es un diagrama de flujo para describir otro flujo ejemplar de un proceso de decodificación.
La Figura 42 es un diagrama de flujo para describir otro flujo ejemplar de un proceso de decodificación, posteriormente a la Figura 41.
La Figura 43 es un diagrama de flujo para describir un flujo de ejemplo de un proceso de inspección de elemento de sintaxis.
La Figura 44 es un diagrama que ilustra un ejemplo de esquema de codificación de imagen de múltiples vistas.
La Figura 45 es un diagrama que ilustra una configuración principal de ejemplo de un dispositivo de codificación de imagen de múltiples vistas a la que se aplica la presente teenología.
La Figura 46 es un diagrama que ilustra una configuración ejemplar principal de un dispositivo de decodificación de imágenes de múltiples vistas al que se aplica la presente tecnología.
La Figura 47 es un diagrama que ilustra un esquema de codificación de imagen escalable ejemplar.
La Figura 48 es un diagrama para describir una codificación escalable espacial ejemplar.
La Figura 49 es un diagrama para describir un ejemplo de una codificación escalable temporal.
La Figura 50 es un diagrama para describir un ejemplo de una codificación escalable de una proporción de señal a ruido.
La Figura 51 es un diagrama que ilustra una ejemplo de una configuración principal de un dispositivo de codificación de imágenes escalable a la que se aplica la presente teenología .
La Figura 52 es un diagrama que ilustra un ejemplo de una configuración principal de un dispositivo de decodificación de imágenes escalable a la que se aplica la presente tecnología.
La Figura 53 es un diagrama de bloques que ilustra un ejemplo de una configuración principal de una computadora.
La Figura 54 es un diagrama de bloques que ilustra un ejemplo de una configuración esquemática de un dispositivo de televisión.
La Figura 55 es un diagrama de bloques que ilustra una configuración esquemática a modo de ejemplo de un teléfono móvil.
La Figura 56 es un diagrama de bloques que ilustra un ejemplo de una configuración esquemática de un dispositivo de grabación/reproducción.
La Figura 57 es un diagrama de bloques que ilustra una configuración esquemática a modo de ejemplo de un dispositivo de formación de imágenes.
La Figura 58 es un diagrama de bloques que ilustra un ejemplo de utilización de una codificación escalable.
La Figura 59 es un diagrama de bloques que ilustra otro ejemplo de utilización de la codificación escalable.
La Figura 60 es un diagrama de bloques que ilustra todavía otro ejemplo de utilización de la codificación escalable.
La Figura 61 es un diagrama de bloques que ilustra una configuración esquemática de ejemplo de un conjunto de video.
La Figura 62 es un diagrama de bloques que ilustra una configuración esquemática de ejemplo de un procesador de vídeo.
La Figura 63 es un diagrama de bloques que ilustra otro ejemplo de configuración esquemática de un procesador de video.
La Figura 64 es un diagrama explicativo que ilustra una configuración de un sistema de reproducción de contenido.
La Figura 65 es un diagrama explicativo que ilustra un flujo de datos en un sistema de reproducción de contenido.
La Figura 66 es un diagrama explicativo que ilustra un ejemplo especifico de MPD.
La Figura 67 es un diagrama de bloques funcional que ilustra una configuración de un servidor de contenido de un sistema de reproducción de contenido.
La Figura 68 es un diagrama de bloques funcional que ilustra una configuración de un dispositivo de reproducción de contenido de un sistema de reproducción de contenido.
La Figura 69 es un diagrama de bloques funcional que ilustra una configuración de un servidor de contenido de un sistema de reproducción de contenido.
La Figura 70 es un diagrama de secuencia que ilustra un proceso de comunicación ejemplar realizada por los dispositivos de un sistema de comunicación inalámbrica.
La Figura 71 es un diagrama de secuencia que ilustra un proceso de comunicación ejemplar realizada por los dispositivos de un sistema de comunicación inalámbrica.
La Figura 72 es un diagrama que ilustra esquemáticamente una configuración de ejemplo de un formato de cuadro transceptor en un proceso de comunicación realizado por dispositivos de un sistema de comunicación inalámbrica.
La Figura 73 es un diagrama de secuencia que ilustra un proceso de comunicación ejemplar realizado por los dispositivos de un sistema de comunicación inalámbrica.
MODO PARA LLEVAR A CABO LA INVENCIÓN A continuación, se describirán los modos (en adelante, referidos como "modalidades") de llevar a cabo la presente descripción. La descripción procederá en el siguiente orden. 0. Generalidades 1. Primera modalidad (dispositivo de codificación de imágen) 2. Segunda modalidad (dispositivo de codificación de imágenes) 3. Tercera modalidad (dispositivo de codificación de imágenes) 4. Cuarta modalidad (dispositivo de codificación de imágenes) 5. Quinta modalidad (dispositivos de codificación de imágenes de múltiples vistas y dispositivo de decodificación de imágenes de múltiples vistas) 6. Sexta modalidad (dispositivo de codificación de imagen escaladle y dispositivo de decodificación de imágenes escalable) 7. Séptima modalidad (computadora) 8. Ejemplos de aplicación 9. Ejemplos de aplicaciones de codificación escalable 10. Octava modalidad (conjunto/unidad/módulo/procesador) 11. Novena modalidad (ejemplos de aplicación del sistema de reproducción de contenido de MPEG-DASH) 12. Décima modalidad (ejemplos de aplicación del sistema de comunicación inalámbrica de la norma Wi-Fi) 0. Generalidades Esquema de codificación En lo sucesivo, la presente teenología se describe en conexión con una aplicación para la codificación de imágenes y decodificación de un esquema de HEVC.
Unidad de codificación En el AVC, se define una estructura jerárquica basada en un macrobloque y un sub macrobloque. Sin embargo, un macrobloque de 16 x 16 pixeles no es óptimo para un cuadro de imagen de gran tamaño tal como una Alta Definición Ultra (UHD) (4000 x 2000 pixeles) que sirve como un objetivo de una siguiente generación de esquema de codificación.
Por otro lado, en el HEVC, una unidad (CU) de codificación se define como se ilustra en la Figura 1.
Una CU también se conoce como un bloque (CTB) de árbol de codificación y la CU es una zona parcial de una imagen de una empresa de unidad de imagen el mismo papel de un macrobloque en el AVC. El macrobloque del AVC se fija a un tamaño de 16 x 16 pixeles, pero un tamaño del CU de la HEVC no es fijo y designado en la información de compresión de imagen en cada secuencia.
Por ejemplo, una unidad (LCU) más grande de codificación y una unidad (SCU) más pequeña de codificación de un CU se especifican en un conjunto (SPS) de parámetros de secuencia incluidos en los datos codificados para la salida.
Como división_bandera = 1 se establece en un intervalo en el que cada LCU no es más pequeño que un SCU, una unidad de codificación puede ser dividido en CUs que tiene un tamaño más pequeño. En el ejemplo de la Figura 1, un tamaño de una LCU es de 128 x 128, y una profundidad escaladle más grande es 5. Una CU de un tamaño de 2N x 2N se divide en CUs que tiene un tamaño de N x N que sirve como la jerarquía que es uno de nivel inferior cuando un valor división bandera es "1" Además, un CU se divide en unidades (PUs) de predicción que son áreas (áreas parciales de una imagen de una unidad de imágenes) que sirven como unidades de procesamiento de predicción intra o ínter, y divididos en unidades (TUS) transformación que son áreas (áreas parciales de una imagen de una unidad de imágenes) que sirven como unidades de procesamiento de transformación ortogonales. En el HEVC, cualquiera de 4 x 4, 8 x 8, 16 x 16 y 32 x 32 puede ser utilizadas como una unidad de procesamiento de transformación ortogonal.
En el caso del esquema de codificación en el que se define un CU, y diversos tipos de procesos se realizan en unidades de CUs, tal como el HEVC, un macrobloque en el AVC puede considerarse que corresponden a una LCU, y un bloque (sub bloque) puede ser considerado para corresponder a una CU. Además, un bloque de compensación de movimiento en el AVC puede considerarse que corresponden a un PU. Aquí, ya que un CU tiene una estructura jerárquica, un tamaño de una LCU de una capa superior es comúnmente establecido para ser más grande que un macrobloque en el AVC, por ejemplo, tales como 128 x 128 píxeles.
Por lo tanto, en lo sucesivo, una LCU se asume que incluye un macrobloque en el AVC, y una CU se asume para incluir un bloque (sub bloque) en el AVC. En otras palabras, un "bloque" que se utiliza en la siguiente descripción indica un área parcial arbitraria en una imagen, y, por ejemplo, un tamaño, forma y características de un bloque son no limitada. En otras palabras, un "bloque" que incluye un área arbitraria (una unidad de procesamiento) tal como un TU, un PU, una SCU, un CU, una LCU, un sub bloque, un macrobloque, o una sección. Por supuesto, un "bloque" que incluye cualquier otra área parcial (unidad de procesamiento) también. Cuando es necesario limitar un tamaño, una unidad de procesamiento, o similares, que se describirá de manera apropiada.
Modo de Selección Mientras tanto, en los esquemas de codificación tales como el AVC y el HEVC, con el fin de lograr una mayor eficiencia de codificación, es importante seleccionar un modo de predicción apropiada.
Como un ejemplo de tal método de selección, hay un método implementado en el software de referencia (abierto en http://iphome.hhi.de/suehring/tml/index.htm) de H.264/MPEG-4 AVC llamado un modelo conjunto (JM).
En el JM, es posible seleccionar dos modos de métodos de determinación, es decir, un modo de alta complejidad y un modo de baja complejidad se describe a continuación. En ambos modos, se calculan valores de la función de costos relacionados con los modos de predicción respectivos, y un modo de predicción que tiene un valor de función de coste más pequeño se selecciona como un modo óptimo para un bloque actual que sirve como un objetivo de procesamiento.
Una función de coste en el modo de alta complejidad se representa como en la siguiente fórmula (1): [Fórmula Matemática 1] Costo(Modo e W) = D + *R ... (1) Aquí, W indica un conjunto universal de un modo candidato para codificar un bloque actual, y D indica una energía diferencial entre una imagen decodificada y una imagen de entrada cuando la codificación se lleva a cabo en un modo de predicción correspondiente. l Indica un multiplicador indeterminado de Lagrange dado como una función de un parámetro de cuantificación. R indica una cantidad de codificación total incluyendo un coeficiente de transformada ortogonal cuando la codificación se lleva a cabo en un modo de predicción correspondiente.
En otras palabras, con el fin de realizar la codificación en el modo de alta complejidad, es necesario realizar un proceso de codificación temporal una vez por todos los modos de candidatos con el fin de calcular los parámetros D y R, y por lo tanto se requiere una cantidad de cálculo mayor.
Una función de coste en el modo de baja complejidad está representada por la siguiente Fórmula (2): [Fórmula Matemática 2] Costo(Modo e W Q e)=D+QP2Quant(QP)*HeaderBit ... (2) Aquí, D indica energía diferencial entre una imagen de predicción y una imagen de entrada a diferencia del modo de alta complejidad. QP2Quant(QP) se da como una función de un parámetro QP de cuantificación, y HeaderBit indica una cantidad de codificación relacionadas con la información que pertenece a un encabezamiento, tal como un vector de movimiento o en un modo que incluye un coeficiente de transformada no ortogonal.
En otras palabras, en el modo de baja complejidad, es necesario realizar un proceso de predicción para los modos de candidatos respectivos, pero ya que hasta una imagen descodificada no es necesaria, no es necesario para llevar a cabo hasta un proceso de codificación. Por lo tanto, se puede implementar con una cantidad de cálculo menor que en el modo de alta complejidad.
Mosaico Mientras tanto, en el HEVC, un mosaico se ilustra en la Figura 2 se especifica como una unidad de un proceso paralelo además de un encabezamiento especificado en el AVC.
Una anchura y una altura de cada mosaico se designan en la información de compresión de imágenes, y un proceso de decodificación se puede realizar de forma independiente en cada mosaico.
Perfil de imagen fija Además, en el Documento 2 de no-patente, el perfil de imagen fija que sirve como el perfil para el uso de la HEVC como se propone el códec de imagen fija.
Sin embargo, en el caso de la HEVC, en general, la información que se transmite desde un lado de codificación a un lado de decodificación incluye elementos de sintaxis para encabezamientos P y encabezamientos B, es decir, los elementos de sintaxis relacionados con un proceso de inter-pantalla asi como sintaxis para I encabezamientos.
Dado que el perfil de imagen fija es el perfil para la codificación y decodificación de imágenes fijas, cuando se aplica este perfil, los elementos de sintaxis descritos anteriormente relacionadas con el proceso de inter-pantalla son innecesarios. Sin embargo, en el caso del método descrito en el Documento 2 de No-Patente, no se realiza el control sobre los elementos de sintaxis relacionados con el proceso inter-pantalla. En otras palabras, de manera similar al caso del perfil de imagen en movimiento, los elementos de sintaxis relacionados con el proceso inter-pantalla se transmiten desde el lado de codificación al lado de decodificación. Por lo tanto, la eficiencia de codificación es probable que sea bajo ya que se transmite la información innecesaria.
A este respecto, en la presente teenología, cuando se realiza el proceso de codificación basado en el perfil para la codificación de las imágenes fijas, los valores de los elementos de sintaxis relacionados con el proceso de ínter- imagen están restringidos, y la transmisión de información innecesaria es suprimida. Como resultado, es posible suprimir una reducción en la eficiencia de codificación.
Los ejemplos específicos de la restricción se describirán a continuación. 0-1: Restricción del elemento de sintaxis relacionado con la sub capa La Figura 3 es un diagrama que ilustra una sintaxis ejemplar de un nivel de perfil de nivel (perfil_tier_nivel()) en el HEVC. Los números en el extremo izquierdo se dan como números de línea para la descripción y no se incluyen en una sintaxis real. Del mismo modo, los números en el extremo izquierdo ilustrado en las Figuras 4 a 23 que se describirá a continuación se dan como números de línea para la descripción de las figuras y en realidad no incluidos en una sintaxis.
Un elemento de sintaxis general_perfil_idc se muestra en una 5a línea de en el nivel de perfil de nivel (perfil_tier_nivel()) se ilustra en la Figura 3 se especifica que un perfil de una secuencia (secuencia actual) de un objetivo de procesamiento es un perfil de imagen fija.
El nivel de perfil de nivel (perfil_tier_nivel()) de la Figura 3 es llamado por un "conjunto (VPS) de parámetros de vídeo" o un "conjunto de parámetros de secuencia (SPS)." La Figura 4 es un diagrama que ilustra un conjunto (VPS) de parámetros de vídeo ejemplar en el HEVC. Las Figuras 5 y 6 son diagramas gue ilustran un conjunto de parámetros de secuencia ejemplar (SPS) en el HEVC.
Como se ilustra en la Figura 4, en el conjunto (VPS) de parámetros de video, un nivel de perfil de nivel (perfil_tier_nivel()) en una 7a línea se llama. Además, como se ilustra en la Figura 5, en el conjunto (SPS) de parámetros de secuencia, el nivel de perfil de nivel (perfil_tier_nivel()) en una 5a línea es llamada.
En este caso, cuando la codificación se realiza en base al perfil de imagen fija, hay una profundidad de la capa no temporal (la cual también se refiere como una "sub capa"). En otras palabras, los elementos de sintaxis relacionados con la sub capa son innecesarios.
A este respecto, en el nivel de perfil de nivel (perfil_tier_nivel()) de la Figura 3, antes del perfil de imagen fija se especifica por el elemento de sintaxis general_perfil_idc, 0 puede ser designado como un valor de un parámetro vps_max_sub_capas_menosl (una línea 6a) relacionada con la sub capa en el conjunto (VPS) de parámetros de vídeo de la Figura 4, y 0 puede ser designada como un valor de un parámetro sps_max_sub_capas_menosl (una 3-rd línea) relacionados con la sub capa en el conjunto (SPS) de parámetro de secuencia (Las Figuras 5 y 6).
En otras palabras, cuando el elemento de sintaxis general_perfil_idc en el nivel de perfil de nivel (perfil_tier_nivel()) de la Figura 3 especifica que el perfil es el perfil de imagen fija, 0 puede tener para ser designado como el valor del parámetro vps_max_sub_capas_menosl (la 6a linea) relacionados con la sub capa en el conjunto (VPS) de parámetros de video de la Figura 4, y 0 pueden tener que ser designado como el valor del parámetro sps_max_sub_capas_menosl (la 3a linea) relacionados con la sub capa en el conjunto (SPS) de parámetros de secuencia (Figuras 5 y 6).
Como resultado, es posible evitar que las porciones innecesarias del nivel de perfil de nivel (perfil_tier_nivel()) de ser leído. En otras palabras, es posible evitar un aumento en una carga causada por la lectura y evitar la lectura y transmisión de los parámetros innecesarios. Por lo tanto, es posible suprimir una reducción en la eficiencia de codificación.
Además, como resultado, no es necesario cambiar las sintaxis del nivel de perfil de nivel (perfil_tier_nivel()), el conjunto (VPS) de parámetros de vídeo, y el conjunto (SPS) de parámetros de secuencia, y es posible reprimir una reducción en la eficiencia de codificación a traves del control por la semántica. Cuando se cambia la sintaxis, por ejemplo, es probable que sea difícil para mantener la compatibilidad de sintaxis con la de un codificador y un decodificador de una téenica relacionada que no soportan el perfil de imagen fija. Particularmente, en el caso de los codificadores y decodificadores implementados por hardware, hay casos en los que es difícil actualizar la sintaxis. Una disminución en la compatibilidad de sintaxis es probable que reduzca la versatilidad. Sin embargo, como se ha descrito anteriormente, cuando los valores de los elementos de sintaxis están restringidos por la semántica, es posible mantener la compatibilidad de sintaxis y evitar una reducción de la versatilidad.
Además, puesto que se mantiene la compatibilidad de sintaxis como se describió anteriormente, es posible aplicar fácilmente una sintaxis común incluso para tanto la codificación de imágenes fijas y decodificación de imágenes en movimiento, y por lo tanto es posible implementar fácilmente un codificador y un decodificador ese proceso tanto una imagen fija y una imagen en movimiento a través de un circuito común. En otras palabras, puede contribuir a una reducción de tamaño de un dispositivo, la supresión de un aumento en el costo, y similares. 0-2: La Restricción del elemento de sintaxis relacionado con vocación de nivel de perfil de nivel Aquí, no es imposible de aplicar tal restricción por el cambio de la sintaxis.
Como se ha descrito anteriormente, cuando el nivel de perfil de nivel (perfil_tier_ nivel()) es llamado desde el conjunto (VPS) de parámetros de vídeo o el conjunto (SPS) parámetro de secuencia, un valor de un elemento de sintaxis PerfilPresenteBandera relacionada con la convocatoria del nivel de perfil de nivel el cual se designa en el momento de la convocatoria es consistentemente 1.
En otras palabras, es redundante para transmitir este elemento de sintaxis. Además, una sentencia if de una 2a linea del nivel de perfil de nivel (perfil_ tier_nivel()) de la (figura 3) es innecesario también.
A este respecto, la sintaxis del nivel de perfil de nivel (perfil_tier_nivel ()) de la Figura 3 se pueden cambiar como en un ejemplo ilustrado en la Figura 7, la sintaxis del conjunto (VPS) de parámetros de vídeo de la Figura 4 puede ser cambiado como en un ejemplo ilustrado en la Figura 8, y la sintaxis del conjunto (SPS) de parámetros de secuencia de las Figuras 5 y 6 se puede cambiar como en el ejemplo ilustrado en las figuras 9 y 10.
En otras palabras, el nivel de perfil de nivel (perfil_tier_nivel()) puede ser designado mediante la designación de un solo elemento de sintaxis MaxNumSubCapasMenosl relacionada con la sub capa como en los ejemplos de la Figura 7 (una la línea), La Figura 8 (una 7a línea), y la Figura 9 (una 5a línea) sin designar el elemento de sintaxis PerfilPresenteBandera.
Además, como se ilustra en la la a la 7a líneas de la Figura 7, en el nivel de perfil de nivel (perfil_tier_ nivel()), la declaración if utilizando el elemento de sintaxis PerfilPresenteBandera puede omitirse.
Como resultado, es posible evitar la transmisión de un parámetro innecesario y suprimir una reducción en la eficiencia de codificación. Además, es posible suprimir un aumento en la carga del proceso de leer el nivel de perfil de nivel (perfil_tier_nivel()), que es causado por la lectura de la declaración if innecesaria.
En otras palabras, el valor del elemento de sintaxis PerfilPresenteBandera relacionada con la convocatoria del nivel de perfil de nivel puede que tenga que ser fijado a 1. 0-3: Restricción del elemento de sintaxis relacionada con el nivel de perfil de nivel En el método anterior, cuando el elemento de sintaxis max_sub_ capas_menosl relacionada con la sub capa se codifica, un ajuste se debe realizar después de detectar la información en cuanto a si o no la codificación se realiza con base en el perfil de imagen fija en un nivel de perfil de nivel posterior (perfil_tier_nivel()).
A este respecto, la sintaxis del conjunto (VPS) de parámetros de video de la Figura 4 puede ser cambiada como en un ejemplo ilustrado en la Figura 11, y la sintaxis del conjunto (SPS) de parámetros de secuencia de las Figuras 5 y 6 se puede cambiar en un ejemplo ilustrado en las Figuras 12 y 13.
En otras palabras, en el conjunto (VPS) de parámetros de video, como en la 6a a 8a líneas (Figura 11), un elemento de sintaxis perfil_tier_nivel(1,0) en relación con el nivel de perfil de nivel puede ser designada, un valor de un elemento de sintaxis vps_max_sub_capas_menosl relacionada con la sub capa puede ser designado y un elemento de sintaxis perfil_ tier_nivel (0,vps_max_sub_capas_menosl) en relación con el nivel de perfil de nivel puede ser designado.
De manera similar, en el conjunto (SPS) de parámetro de secuencia, como en la 3a a 6a líneas (Figura 12), el elemento de sintaxis perfil_tier_nivel(1,0) en relación con el nivel de perfil de nivel puede ser designado, un valor de un elemento de sintaxis sps_max_sub_capas_menosl relacionado con la sub capa puede ser designado, y el elemento de sintaxis perfil_tier_nivel (0,sps_max_sub_capas_menosl) en relación con el nivel de perfil de nivel puede ser designado.
Además, por ejemplo, cuando un conjunto de parámetros a la gue pertenece un elemento de sintaxis no se discrimina a diferencia de vps_max_sub_capas_menosl y sps_max_sub_capas_menosl, los conjuntos de parámetros se refieren simplemente como max_sub_capas_menosl. En otras palabras, vps_max_sub_ capas_menosl es max_sub_capas_menosl en el conjunto (VPS) de parámetro de vídeo, y sps_max_sub_capas_menosl es max_sub_capas_menosl en el conjunto (SPS) de parámetros de secuencia. Otros elementos de sintaxis se supone que tienen una relación similar.
Como el elemento de sintaxis perfil_tier_nivel(1,0) se designa antes de que el elemento de sintaxis max_sub_capas_menosl relacionada con la sub capa es designada, la información relacionada con cuando todas las capas temporales (temporal_capa) de los datos de imagen son codificados o decodificados se transmiten.
Aquí, cuando se aplica el perfil de imagen fija, 0 se designa como el valor del elemento de sintaxis max_sub_capas_menosl relacionada con la sub capa.
Después el elemento de sintaxis max_sub_capas_menosl relacionados con la sub capa se codifica, la información relacionada con cuando algunas capas temporales (temporal_capa) de los datos de imagen se codifican o decodifican se transmiten a través de perfil_tier_nivel (0,nax_sub_capas_menosl).
Al cambiar la sintaxis como se describió anteriormente, es posible designar el valor del elemento de sintaxis max_sub_capas_menosl relacionada con la sub capa después de que se designa si o no el perfil es el perfil de imagen fija. 0-4: Restricción del elemento de sintaxis relacionada con decodificador de referencia virtual Además, cuando se aplica el perfil de imagen fija, no es necesario para controlar el decodificador de referencia virtual. En este sentido, como se ilustra en la Figura 4, 0 puede ser designado como un valor de un elemento de sintaxis vps_num_hrd_parametros (una 14a linea) en relación con el decodificador de referencia virtual en el conjunto (VPS) de parámetros de video.
En otras palabras, cuando se aplica el perfil de imagen fija, el valor del elemento de sintaxis vps_num_hrd_parametros (la 14a linea) relacionados con el decodificador de referencia virtual en el conjunto (VPS) de parámetros de video que puede tener para ser fijado a 0.
El elemento de sintaxis vps_num_hrd_parametros relacionados con el decodificador de referencia virtual es un valor positivo que se codifica por una codificación Golomb extendida y luego se transmite. Por lo tanto, cuando este valor es 0 o 1, la cantidad de codificación se hace mínima. En otras palabras, como 0 se designa como el valor del elemento de sintaxis vps_num_hrd_parametros relacionado con el decodificador de referencia virtual, es posible suprimir una reducción en la eficiencia de codificación.
Además, como 0 se designa como el valor del elemento de sintaxis vps_num_hrd_parametros relacionado con el decodificador de referencia virtual, es posible omitir un proceso de bucle (para una declaración) de 15a a la 19a líneas. Por lo tanto, como resultado, es posible suprimir un aumento en la carga. Además, es posible evitar la transmisión de los elementos de sintaxis innecesarios en el proceso de bucle (la instrucción for) y suprimir una reducción en la eficiencia de codificación.
Además, es posible restringir el valor del elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis.
Además, esta restricción se puede aplicar incluso cuando el conjunto (VPS) de parámetros de video es el ejemplo de la Figura 8 o el ejemplo de la Figura 11. 0-5: Restricción del elemento de sintaxis relacionada con la sección P y la sección B Además, cuando se aplica el perfil de imagen fija, no hay ni una sección P ni una sección B. En este sentido, como se ilustra en la Figura 5, 0 puede ser designado como un valor de un elemento de sintaxis restringido_ref_imágenes_listas_bandera (una 32a linea) relacionada con la sección P y la sección B en el conjunto (SPS) de parámetros de secuencia.
En otras palabras, cuando se aplica el perfil de imagen fija, el valor del elemento de sintaxis restringido_ref_imágenes_listas_bandera (la 32a linea) relacionada con la sección P y la porción B en el conjunto (SPS) de parámetros de secuencia pueden tener que ser fija a 0.
Además, como 0 se designa como el valor del elemento de sintaxis restringido_ref_imágenes_listas_bandera relacionada con la sección P y la sección B, es posible omitir las lineas 33a a 42a. Por lo tanto, como resultado, es posible suprimir un aumento en la carga. Además, es posible evitar la transmisión de elementos de sintaxis innecesarios de las lineas 33a a 42a y suprimir una reducción en la eficiencia de codificación.
Además, es posible restringir el valor del elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis.
Además, la restricción puede aplicarse incluso cuando el conjunto (SPS) de parámetros de secuencia es el ejemplo de las Figuras 9 y 10 o el ejemplo de las Figuras 12 y 13. 0-6: Restricción del elemento de sintaxis relacionada con el término corto Además, cuando se aplica el perfil de imagen fija, no existe el concepto de tiempo (no hay otra imagen). En este sentido, como se ilustra en la Figura 6, 0 puede ser designado como un valor de un elemento de sintaxis num_corto_término_ref_imágenes_conjuntos (una linea 56a) relacionada con el termino corto en el conjunto (SPS) de parámetros de secuencia.
En otras palabras, cuando se aplica el perfil de imagen fija, el valor del elemento de sintaxis num_corto_término_ref_imágenes_conjuntos (la 56a linea) relacionados con el término corto en el conjunto (SPS) de parámetros de secuencia pueden tener que ser fijado a 0.
El elemento de sintaxis num_corto_término_ref_imágenes_conjuntos relacionados con el término corto es un valor positivo que es codificado por la codificación Golomb extendida y luego se transmite. Por lo tanto, cuando el valor es 0 o 1, la cantidad de codificación se hace mínima. En otras palabras, como 0 se designa como el valor del elemento de sintaxis num_corto_término_ref_imágenes_conjuntos relacionados con el término corto, es posible suprimir una reducción en la eficiencia de codificación.
Además, como 0 se designa como el valor del elemento de sintaxis num_corto_término_ref_imágenes_conjuntos relacionados con el término corto, es posible omitir las lineas 57a y 58a. Por lo tanto, como resultado, es posible suprimir un aumento en la carga.
Además, es posible restringir el valor del elemento de sintaxis de la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis.
Además, esta restricción se puede aplicar incluso cuando el conjunto (SPS) de parámetros de secuencia es el ejemplo de las Figuras 9 y 10 o el ejemplo de las Figuras 12 y 13. 0-7: Restricción del elemento de sintaxis relacionado con el término largo Además, cuando se aplica el perfil de imagen fija, no existe el concepto de tiempo (no hay otra imagen). En este sentido, como se ilustra en la Figura 6, 0 puede ser designado como un valor de un elemento de sintaxis largo_término_ref_imágenes_presente_bandera (una línea 59a) en relación con el término largo en el conjunto (SPS) de parámetros de secuencia.
En otras palabras, cuando se aplica el perfil de imagen fija, el valor del elemento de sintaxis largo_término_ref_imágenes_presente_bandera (la línea 59a) relacionada con el término largo en el conjunto (SPS) de parámetros de secuencia pueden tener para ser fijado a 0.
Como 0 es designado como el valor del elemento de sintaxis largo_término_ref_imágenes_presente_bandera relacionada con el término largo, es posible omitir las líneas 60a a 66a. Por lo tanto, como un resultado, es posible suprimir un aumento en la carga. Además, es posible prevenir la transmisión de un elemento de sintaxis innecesario en las líneas 60a a 66a y suprimir una reducción en la eficiencia de codificación.
Además, es posible restringir el valor del elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis.
Además, esta restricción se puede aplicar incluso cuando el conjunto (SPS) de parámetros de secuencia es el ejemplo de las Figuras 9 y 10 o el ejemplo de las Figuras 12 y 13. 0-8: La restricción del elemento de sintaxis relacionada con vector de movimiento Además, cuando se aplica el perfil de imagen fija, no existe el concepto de tiempo (no hay otra imagen). En este sentido, como se ilustra en la Figura 6, 0 puede ser designado como un valor de un elemento de sintaxis sps_temporal_mvp_habilitar_bandera (una linea 67a) en relación con el vector de movimiento en el conjunto (SPS) de parámetros de secuencia.
En otras palabras, cuando se aplica el perfil de imagen fija, el valor del elemento de sintaxis sps_temporal_mvp_habilitar_bandera (la 67a linea) relacionados con el vector de movimiento en el conjunto (SPS) de parámetros de secuencia pueden tener para ser fijado a 0.
Como 0 se designa como el valor del elemento de sintaxis sps_temporal_mvp_habilitar_bandera relacionada con el vector de movimiento, es posible minimizar la cantidad de codificación, y es posible suprimir una reducción en la eficiencia de codificación.
Además, es posible restringir el valor del elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis.
Además, esta restricción se puede aplicar incluso cuando el conjunto (SPS) de parámetros de secuencia es el ejemplo de las Figuras 9 y 10 o el ejemplo de las Figuras 12 y 13. 0-9: La restricción del elemento de sintaxis del conjunto de parámetros de imagen Las Figuras 14 y 15 son diagramas que ilustran un conjunto (PPS) de parámetros de imagen ejemplar en el HEVC.
Cuando se aplica el perfil de imagen fija, no hay concepto de tiempo (no hay otra imagen). En este sentido, como se ilustra en la Figura 14, 0 o 1, puede ser designada como ambos de los valores del elemento de sintaxis num_ref_idx_10_defecto_menosl activa (una 6a linea) relacionada con LO y un elemento de sintaxis num_ref_idx_ll_defecto_menosl activa (una 7a línea) relacionados con L1 en el conjunto (PPS) de parámetros de imagen.
En otras palabras, cuando se aplica el perfil de imagen fija, ambos de los valores del elemento de sintaxis num_ref_idx_10_defecto_menosl activa (la 6a linea) relacionada con LO y el elemento de sintaxis num_ref_idx__ll_defecto_menosl activa (la 7a línea) relacionados con L1 en el conjunto (PPS) de parámetros de imagen puede tener que ser fijado a 0 o 1.
Los elementos de sintaxis son valores positivos que están codificados por codificación Golomb extendida y luego transmitida. Por lo tanto, cuando los valores son 0 o 1, la cantidad de codificación se hace mínima. En otras palabras, como 0 se designa como los valores de los elementos de sintaxis num ref idx 10 defecto menosl activa relacionada con LO y el elemento de sintaxis num_ref_idx_ll_defecto_menosl activa relacionada con Ll, es posible suprimir una reducción en la eficiencia de codificación.
Además, cuando se aplica el perfil de imagen fija, no hay concepto de tiempo (no hay otra imagen). En este sentido, como se ilustra en la Figura 15, 0 puede ser designado como un valor de un elemento (bandera) de sintaxis listas_modificación_presente_bandera (una linea de 49a) del conjunto (PPS) de parámetros de imagen que indica si hay o no un elemento de sintaxis ref_imágenes_lista_modificación en un encabezamiento de la sección actual.
En otras palabras, cuando se aplica el perfil de imagen fija, el valor del elemento de sintaxis listas_modificación_presente_bandera (la 49a linea) del conjunto (PPS) de parámetros de imagen que indica si hay o no un elemento de sintaxis ref_imágenes_lista_modificación en la cabecera de la sección actual puede tener que ser fijado a 0.
Cuando el valor del elemento de sintaxis listas_ modificación_presente_bandera es 1, el elemento de sintaxis ref imágenes_lista_modificación relacionada con la lista de imágenes de referencia se transmite por la sección actual como se ilustra en las lineas 53a y 54a de la Figura 21, pero en el caso del perfil de imagen fija, este elemento de sintaxis es innecesario. En otras palabras, como 0 se designa como el valor del elemento de sintaxis listas_modificación_presente_bandera, es posible omitir la transmisión del elemento de sintaxis ref_imágenes_lista_modificación de la lista de imágenes de referencia que es la información innecesaria para la segción actual, y es posible suprimir una reducción en la eficiencia de codificación.
Además, cuando se aplica el perfil de imagen fija, no hay concepto de tiempo (no hay otra imagen). En este sentido, como se ilustra en la Figura 15, 0 puede ser designado como un valor de un elemento de sintaxis log2_paralelo_unir_nivel_menos2 (una linea 50a) del conjunto (PPS) de parámetros de imagen que designa un nivel de proceso en paralelo de un modo de unirse y un modo de salto en un proceso de predicción.
En otras palabras, cuando se aplica el perfil de imagen fija, el valor del elemento de sintaxis log2_paralelo_unir_nivel_menos2 (la linea 50a) del conjunto (PPS) de parámetros de imagen que designa el nivel de proceso paralelo del modo de unión y el modo de salto en el proceso de predicción puede tener para ser fijado a 0.
Este elemento de sintaxis es un valor positivo que está codificado por codificación Golomb extendido y luego se transmite. Por lo tanto, cuando este valor es 0, la cantidad de codificación se hace mínima. En otras palabras, como 0 se designa como el valor del elemento de sintaxis Iog2_paralelo_unión_nivel_menos2 designando el nivel de proceso paralelo del modo de unión y el modo de salto en el proceso de predicción, es posible suprimir una reducción en la eficiencia de codificación.
Además, cuando se aplica el perfil de imagen fija, no hay concepto de tiempo (no hay otra imagen). En este sentido, como se ilustra en la Figura 14, 0 puede ser designado como ambos de los valores de un elemento (bandera) de sintaxis ponderadc_pred_bandera (una linea 18a) en relación con la predicción ponderada de la sección P y un elemento (bandera) de sintaxis ponderado_bipred_bandera (una linea 19a) relacionada con la predicción ponderada de la sección B en el conjunto (PPS) de parámetros de imagen.
En otras palabras, cuando se aplica el perfil de imagen fija, los valores del elemento (bandera) de sintaxis ponderado_pred_bandera (la 18a linea) relacionada con la predicción ponderada de la sección P y el elemento (bandera) de sintaxis ponderado_bipred_bandera (la linea 19a) relacionada con la predicción ponderada de la sección B en el conjunto (PPS) de parámetros de imagen puede tener para ser fijado a 0.
Cuando el valor del elemento de sintaxis ponderado pred bandera o ponderado_bipred_bandera es 1, como se ilustra en las lineas 65a a 68a de la Figura 21, la tabla de predicción ponderada o similar se transmite para la sección actual, pero en el caso del perfil de imagen fija, esta información es innecesaria. En otras palabras, como 0 se designa como el valor del elemento de sintaxis ponderado_pred_bandera o ponderado__bipred_bandera, es posible para omitir la transmisión de información innecesaria para la sección actual, y es posible suprimir una reducción en la eficiencia de codificación.
Aquí, como se describirá más adelante, incluso cuando el tipo de sección se limita a la sección I, la transmisión de la información se puede omitir, y por lo tanto la restricción anteriormente descrita en relación con el elemento de sintaxis ponderado_pred_bandera o ponderado_bipred_bandera se puede omitir.
Además, es posible restringir el valor del elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de la sintaxis. 0-10: La restricción del elemento de sintaxis relacionada con el modo de predicción de la lista de escala Mientras tanto, en el conjunto (SPS) de parámetros de secuencia se ilustra en las Figuras 5 y 6, una lista de escala (escala_lista_dato ()) es llamado (una linea 49a). Del mismo modo, incluso en el conjunto (PPS) de parámetros de imagen se ilustra en las Figuras 14 y 15, la lista de escala (escala_lista_dato ()) es llamado (una linea 48a).
La Figura 16 ilustra una lista de escala ejemplar (escala_lista_dato ()). En la lista de escala (escala_lista_dato ()) se ilustra en la Figura 16, la semántica de un tamaño ID (tamañoID) y una matriz ID (matrizID) son tal como se ilustra en las Figuras 17 y 18.
Aqui, cuando el valor del tamaño ID (tamañoID) es 0, 1, o 2, y el valor de la matriz ID (matrizID) es 3, 4, o 5 o cuando el valor del tamaño ID (tamañoID ) es 3, y el valor de la matriz ID (matrizID) es 1, en el perfil de imagen fija, que es redundante para transmitir la lista de escala.
En este sentido, en este caso, 0 puede ser designado como un valor de un elemento de sintaxis escala_lista_pred_modo_bandera relacionada con el modo de predicción de la lista de escala, y 0 o 1, puede ser designado como un valor de un elemento de sintaxis escala_lista_pred_matriz_id_delta relacionada con una matriz de predicción de la lista de escala.
En otras palabras, cuando se aplica el perfil de imagen fija, el valor del elemento de sintaxis escala_list_pred_modo_bandera (una linea 4a) relacionada con el modo de predicción de la lista de escalamiento pueden tener para ser fijado a 0, y el valor del elemento de sintaxis escala_lista_pred_matriz_id_delta (una linea 6a) relacionada con la matriz de predicción de la lista de escalado puede tener para ser fijado a 0 o 1.
Además, como 1 se designa como el valor del elemento de sintaxis escala_lista_pred_matriz_id_delta relacionada con la matriz de predicción de la lista de escala, es posible reducir la necesidad de la inserción de prevención de la emulación de código inicial mientras se mantiene una longitud de código a un mínimo. 0-11: El cambio de sintaxis relacionado con el modo de predicción de la lista de escala Además, en lugar de restringir el valor del elemento de sintaxis por la semántica como se describió anteriormente, la sintaxis puede ser cambiada como se ilustra en la Figura 19.
En la sintaxis de la Figura 19, como se ilustra en una línea 4a, la condición de la sentencia for se designa en detalle utilizando el tamaño ID (tamañoID) y la matriz ID (matrizID) como se describe anteriormente.
Como resultado, los mismos efectos se pueden obtener. 0-12: La restricción del elemento de sintaxis relacionada con el tipo de sección Las Figuras 20 a 22 ilustran un ejemplo de sintaxis de un encabezamiento de la sección.
Cuando se aplica el perfil de imagen fija, el tipo de sección es la sección I. En este sentido, como se ilustra en la Figura 20, un valor que indica la sección I que puede ser designado como un valor de un elemento de sintaxis sección_tipo (una línea 11a) relacionados con el tipo de sección en el encabezamiento de sección (sección_encabezamiento()).
En otras palabras, cuando se aplica el perfil de imagen fija, el valor del elemento de sintaxis sección_tipo (la linea 11a) relacionada con el tipo de sección en el encabezamiento de sección (sección_encabezamiento()) pueden tener que ser fijado a la sección I.
Como resultado, es posible omitir las líneas 44a a 68a del encabezamiento de sección (sección_encabezamiento()). Por lo tanto, como resultado, es posible suprimir un aumento en la carga. Además, es posible evitar la transmisión de elementos de sintaxis innecesarias de las líneas 44a a 68a, y es posible suprimir una reducción en la eficiencia de codificación.
Además, es posible restringir el valor del elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis. 0-13: La restricción del elemento de sintaxis relacionada con el tipo de unidad NAL Mientras tanto, en las Figuras 20 a 22, y IdrlmágenesBandera RapImágenesBandera se calculan en función del nal_unidad_tipo como en las siguientes fórmulas (3) y (4): Fórmula Matemática 3 IdrImágenesBandera=(nal_uni.dad_tipo == IDR_W_LP II nal_unidad_tipo == IDR_N_LP) ... (3) RapImágenesBandera = (nal unidad_tipo>= 7 && nal_unidad_tipo <= 12) ... (4) Aquí, un elemento de sintaxis nal_unidad_tipo relacionada con el tipo de unidad NAL se asignan como se ilustra en la Figura 23.
En este sentido, cuando se aplica el perfil de imagen fija, IDR_W_LP o IDR_N_LP puede ser designado como el tipo de unidad NAL (nal_unidad_tipo) para la VCL.
En otras palabras, cuando se aplica el perfil de imagen fija, el tipo de unidad NAL (nal_unidad_tipo) para el VCL pueden tener para ser fijado a IDR_W_LP o IDR_N_LP.
Al realizar el proceso anterior, es posible prevenir la transmisión de información redundante y mejorar la eficiencia de codificación de la información de compresión de imágenes que se emitirá cuando la codificación se realiza en base al perfil de imagen fija.
Además, los elementos de sintaxis relacionadas con el proceso ínter-imagen en la que los valores están restringidos cuando se realiza el proceso de codificación basado en el perfil para la codificación de la imagen fija no se limita al ejemplo anterior. Los valores de los elementos de sintaxis distintos de los elementos de sintaxis descritos anteriormente pueden estar restringidos. En este momento, la sintaxis puede ser cambiada mediante la restricción de la semántica.
Además, como se ilustra en la Figura 24, cuando hay una Región de Interés (ROI) en una parte de una imagen fija, por ejemplo, cuando se muestra la cara de una persona en una parte de una imagen fija, la imagen puede ser dividida dentro de los mosaicos de la Figura 2, un mosaico que sirve como una región ROI puede ser designado por metadatos tales como Información de Perfeccionamiento Suplemen StTíaír7ito (SEI), y el proceso de -v».í.r'·¾-·«' descodificación de soícT^Ta región ROI se puede realizar por una imagen decodificada.
A continuación, se describirán ejemplos de aplicación de la presente teenología a dispositivos específicos. 1. Primera modalidad Dispositivo de codificación de Imagen La Figura 25 es un diagrama de bloques que ilustra una configuración ejemplar de un dispositivo de codificación de imágenes como un ejemplo de un dispositivo de procesamiento de imágenes al que se aplica la presente tecnología. Por ejemplo, un dispositivo 100 de codificación de imagen se ilustra en la Figura 25, que codifica los datos de imagen de una imagen en movimiento usando el proceso de predicción de la HEVC o un proceso de predicción de un esquema basado en la HEVC.
Además, el dispositivo 100 de codificación de imagen puede codificar los datos de imagen de una imagen fija, así como datos de imagen de una imagen en movimiento. En este caso, un perfil de imagen fija (por ejemplo, el perfil de imagen fija) se ajusta al dispositivo 100 de codificación de imagen.
Como se ilustra en la Figura 25, el dispositivo 100 de codificación de imagen incluye un convertidor A/D 101, una memoria intermedia 102 de reordenación de pantalla, una unidad 103 operación, una unidad 104 de transformación ortogonal, una unidad 105 de cuantificación, una unidad 106 de codificación sin pérdidas, una memoria intermedia 107 de acumulación, una unidad 108 de cuantificación inversa, y una unidad 109 de transformación inversa ortogonal. El dispositivo 100 de codificación de imagen incluye, además, una unidad 110 de operación, un filtro 111 de bucle, una memoria 112 de cuadro, una unidad 113 de predicción intra, una unidad 114 de predicción ínter, una unidad 115 de selección de imágenes de predicción, y una unidad 116 de control de tasa.
El convertidor 101 A/D realiza una conversión A/D en los datos de imagen (datos analógicos) de una entrada de imagen de entrada para el dispositivo 100 de codificación de imagen. El convertidor 101 de A/D suministra los datos de imagen convertidos (datos digitales) para la memoria intermedia 102 de reordenación pantalla.
La memoria intermedia 102 de reordenación pantalla almacena cada cuadro de datos de imagen de la imagen de entrada suministrada en un orden de visualización en el pedido. La memoria 102 intermedia de reordenación de visualización reorganiza el orden de las transmisiones de imágenes de la imagen de entrada en una orden de codificación de acuerdo a un Grupo De Imágenes (GOP). En otras palabras, la memoria intermedia 102 de reordenación de pantalla lee los datos de imagen de las transmisiones de imágenes almacenados en el orden de visualización en el orden de codificación. La memoria intermedia 102 de reordenación pantalla suministra los datos de imagen de lectura a la unidad 103 de operación. Además, la memoria intermedia 102 de reordenación pantalla suministra los datos de imagen de lectura a la unidad 113 de predicción intra y la unidad 114 de predicción ínter también. En otras palabras, los datos de imagen de las transmisiones de imágenes se suministran a la unidad 103 de operación, la unidad 113 de predicción intra, y la unidad 114 de predicción ínter en el orden de codificación. Además, cuando la imagen de entrada es la imagen fija, ya que no existe el concepto de tiempo (ya que el número de transmisiones de imágenes es 1), el reordenamiento se omite.
La unidad 103 operación genera datos de imagen de una imagen diferencial obtenida restando la imagen predicha a partir de la imagen de entrada usando los datos de imagen de la imagen de entrada leída desde la memoria intermedia 102 de reordenación de pantalla y los datos de imagen de la imagen predicha suministrada desde el unidad 113 de predicción intra o la unidad 114 de predicción ínter a través de la unidad 115 de selección de imagen. Por ejemplo, en el caso de una imagen en la que se realiza la codificación intra, la unidad 103 de operación genera una imagen diferencial entre la imagen de entrada y la predicha imagen generada por la unidad 113 de predicción intra. Además, por ejemplo, en el caso de una imagen en la que se realiza la codificación ínter, la unidad 103 de operación genera una imagen diferencial entre la imagen de entrada y la imagen predicha generada por la unidad 114 de predicción ínter. La unidad 103 de operación da salida a los datos de imagen generados de la imagen diferencial a la unidad 104 de transformación ortogonal.
La unidad 104 de transformación ortogonal lleva a cabo la transformada ortogonal tal como la transformada de coseno discreta o transformación de Karhunen-Loeve en los datos de imagen de la imagen diferencial suministrada desde la unidad 103 de operación. La unidad 104 de transformación ortogonal suministra los coeficientes de transformación obtenidos de la unidad 105 de cuantificación.
La unidad 105 de cuantificación cuantifica los coeficientes de transformación suministrados desde la unidad 104 de transformada ortogonal. La unidad 105 de cuantificación establece un parámetro de cuantificación en base a la información relacionada con un valor objetivo de una cantidad de codificación suministrada desde la unidad 116 de control de tasa, y realiza la cuantificación. La unidad 105 de cuantificación proporciona los coeficientes de transformación cuantificados a la unidad 106 de codificación sin pérdidas.
La unidad 106 de codificación sin pérdidas codifica los coeficientes de transformada cuantificados por la unidad 105 de cuantificación de acuerdo con un esquema de codificación arbitrario, y genera datos codificados. Puesto que el dato de coeficiente se cuantifica bajo control de la unidad 116 de control de tasa, la cantidad de datos (la cantidad de codificación) de los datos codificados se convierte en el valor objetivo fijado por la unidad 116 de control de tasa (o se aproxima al valor objetivo).
La unidad 106 de codificación sin pérdidas adquiere, por ejemplo, información que indica un modo de predicción intra desde la unidad 113 de predicción intra, y adquiere, por ejemplo, la información que indica un modo de predicción ínter y la información vectorial del movimiento diferencial desde la unidad 114 de predicción ínter. La unidad 106 de codificación sin pérdida codifica varios tipos de información de acuerdo con un esquema de codificación arbitrario, y establece (multiplexa) la información codificada como parte de la información de encabezamiento de los datos codificados. La unidad 106 de codificación sin pérdidas suministra los datos codificados obtenidos para ser acumulados en la memoria intermedia 107 de acumulación.
Los ejemplos del esquema de codificación de la unidad 106 de codificación sin pérdidas incluyen codificación de longitud variable y la codificación aritmética. Como la codificación de longitud variable, por ejemplo, hay una Codificación de Longitud Variable de Contexto-adaptativa (CAVLC) definida en el esquema H.264/AVC. Como la codificación aritmética, por ejemplo, hay Codificación Aritmética Binaria de Contexto Adaptativa (CABAC).
La memoria intermedia 107 de acumulación retiene temporalmente los datos codificados suministrados desde la unidad 106 de codificación sin pérdidas. La memoria intermedia 107 de acumulación emite los datos codificados mantenidos hasta el exterior del dispositivo 100 de codificación de imagen en un tiempo predeterminado. En otras palabras, la memoria intermedia 107 de acumulación también sirve como una unidad de transmisión que transmite los datos codificados.
Los coeficientes de transformación cuantificados por La unidad 105 de cuantificación son también suministrados a la unidad 108 de cuantificación inversa. La unidad 108 de cuantificación inversa cuantifica inversamente el coeficiente de transformada cuantificada mediante un método correspondiente a la cuantificación realizada por La unidad 105 de cuantificación. La unidad 108 de cuantificación inversa proporciona los coeficientes de transformación obtenidos a la unidad 109 de transformada ortogonal inversa.
La unidad 109 de transformada ortogonal inversa realiza la transformada ortogonal inversa en los coeficientes de transformación suministrados desde la unidad 108 de cuantificación inversa por un procedimiento correspondiente a al proceso de transformada ortogonal realizado por la unidad 104 de transformación ortogonal. Los datos de imagen de la imagen diferencial son restaurados por la transformada ortogonal inversa. La unidad 109 de 109 transformada ortogonal inversa suministra los datos de imagen restaurada de la imagen diferencial a la unidad 110 de operación como el resultado de la transformada ortogonal inversa.
La unidad 110 de operación genera los datos de imagen de una imagen obtenida por la adición de la imagen diferencial restaurada y la imagen predicha utilizando el resultado de la transformada ortogonal inversa suministrada desde la unidad 109 de transformada ortogonal inversa y los datos de imagen de la imagen predicha suministrada desde la unidad 113 de predicción intra o la unidad 114 de predicción ínter a través de la unidad 115 de selección de imagen predicha. En otras palabras, una imagen reconstruida localmente (en lo sucesivo, referido como una "la imagen reconstruida") se obtiene por el proceso de adición. La unidad 110 de operación suministra los datos de imagen de la imagen reconstruida para el filtro 111 de bucle o la unidad 113 de predicción intra.
El filtro 111 de bucle incluye un filtro de desbloqueo, un filtro de bucle adaptativo, o similares, y realiza un proceso de filtro apropiado en los datos de imagen de la imagen reconstruida suministrada desde la unidad 110 de operación. Por ejemplo, el filtro 111 de bucle realiza el proceso de filtro de desbloqueo en los datos de imagen de la imagen reconstruida, y elimina la distorsión de bloqueo de la imagen reconstruida. Además, por ejemplo, el filtro 111 de bucle mejora la calidad de la imagen de la imagen reconstruida por la realización del proceso de filtro de bucle en el resultado del proceso de filtro de desbloqueo (los datos de imagen de la imagen reconstruida a partir del cual se ha eliminado la distorsión de bloques) utilizando el filtro de Wiener.
El filtro 111 de bucle puede llevar a cabo otro proceso de filtro arbitrario en la imagen reconstruida. El filtro 111 de bucle puede suministrar la información utilizada en el proceso de filtrado, tal como un coeficiente de filtro a la unidad 106 de codificación sin pérdidas como sea necesario de manera que la información puede ser codificada.
El filtro 111 de bucle suministra los datos de imagen de la imagen reconstruida (en lo sucesivo, referido como una "imagen decodificada") que ha sido sometida al proceso de filtro como se ha descrito anteriormente para la memoria 112 de cuadro.
La memoria 112 de cuadro almacena los datos de imagen suministrados de la imagen decodificada. Además, la memoria 112 de cuadro suministra los datos de imagen almacenados de la imagen decodificada a la unidad 114 de predicción ínter como una imagen de referencia en una temporización predeterminada.
La unidad 113 de predicción intra realiza el proceso de predicción en la imagen actual que es la imagen del cuadro de la meta de procesamiento, y genera la imagen de predicción. La unidad 113 de predicción intra realiza el proceso de predicción en unidades de bloques predeterminados (utilizando un bloque como una unidad de procesamiento) . En otras palabras, la unidad 113 de predicción intra genera la imagen de predicción del bloque actual que sirve como el objetivo de procesamiento en la imagen actual. En este momento, la unidad 113 de predicción intra realiza el proceso de predicción (predicción intra-pantalla (que también se refiere a la predicción como intra)) utilizando la imagen reconstruida suministrada desde la unidad 110 de operación como la imagen de referencia. En otras palabras, la unidad 113 de predicción intra genera la imagen de predicción usando valores de pixeles de los pixeles vecinos del bloque actual que se incluyen en la imagen reconstruida. Los valores de los pixeles de los pixeles vecinos utilizados para la predicción intra son valores de los pixeles de los pixeles procesados previamente de la imagen actual. En la predicción intra (es decir, en el esquema de la generación de la imagen de predicción), una pluralidad de métodos (que también se conoce como "modos de predicción intra") se preparan como candidatos de antelación. La unidad 113 de predicción intra lleva a cabo la predicción intra en una pluralidad de modos de predicción intra que se preparan con antelación.
La unidad 113 de predicción intra genera imágenes predichas en todos los modos de predicción intra que actúan como los candidatos, evalúa valores de la función de costos de las imágenes predichas utilizando la imagen de entrada suministrada desde la memoria intermedia 102 de reordenación de pantalla, y selecciona un modo óptimo. Cuando se selecciona el modo de predicción intra óptimo, la unidad 113 de predicción intra suministra la imagen predicha generada en el modo óptimo a la unidad 115 de selección de imagen de predicción.
Además, como se ha descrito anteriormente, la unidad 113 de predicción intra suministra apropiadamente, por ejemplo, el modo de información de predicción intra que indica el modo de predicción intra empleado para la unidad 106 de codificación sin pérdidas de modo que la información se codifica.
La unidad 114 de predicción ínter realiza el proceso de predicción sobre la imagen actual, y genera la imagen predicha. La unidad 114 de predicción ínter realiza el proceso de predicción en unidades de bloques predeterminados (utilizando un bloque como una unidad de procesamiento). En otras palabras, la unidad 114 de predicción ínter genera la imagen de predicción del bloque actual que sirve como el objetivo de procesamiento en la imagen actual. En este momento, la unidad 114 de predicción ínter realiza el proceso de predicción utilizando los datos de imagen de la imagen de entrada suministrada desde la memoria intermedia 102 de reordenación de pantalla y los datos de imagen de la imagen descodificada suministrada desde la memoria 112 de cuadro como la imagen de referencia. La imagen decodificada es una imagen (otra imagen distinta a la imagen actual) del cuadro de procesado antes de la imagen actual. En otras palabras, la unidad 114 de predicción ínter realiza el proceso de predicción (predicción de inter-pantalla (que también se conoce como "predicción ínter")) de generación de la imagen de predicción usando una imagen de otra imagen.
La predicción ínter incluye predicción de movimiento y compensación de movimiento. Más específicamente, la unidad 114 de predicción ínter lleva a cabo la predicción de movimiento en el bloque actual usando la imagen de entrada y la imagen de referencia, y detecta un vector de movimiento. Entonces, la unidad 114 de predicción ínter realiza el proceso de compensación de movimiento de acuerdo con el vector de movimiento detectado utilizando la imagen de referencia, y genera la imagen de predicción (información de imagen predicha-inter) del bloque actual. En la predicción ínter (es decir, en el esquema de la generación de la imagen de predicción), una pluralidad de métodos (que también se conoce como "modos de predicción ínter") se preparan como candidatos de antelación. La unidad 114 de predicción ínter realiza la predicción ínter en una pluralidad de modos de predicción ínter que se preparan con antelación.
La unidad 114 de predicción ínter genera las imágenes predichas en todos los modos de predicción ínter que sirven como el candidato. La unidad 114 de predicción ínter evalúa los valores de función de costos de las imágenes predichas utilizando la imagen de entrada suministrada desde la memoria intermedia 102 de reordenación de pantalla, la información del vector de movimiento diferencial generado, y similares, y selecciona un modo óptimo. Cuando se selecciona el modo de predicción ínter óptimo, la unidad 114 de predicción ínter suministra la imagen predicha generada en el modo óptimo a la unidad 115 de selección de imagen de predicción.
La unidad 114 de predicción ínter suministra la información que indica el modo de predicción ínter empleado, la información necesaria para realizar el procesamiento en el modo de predicción ínter cuando se decodifica los datos codificados, y similares a la unidad 106 de codificación sin pérdidas de modo que la información se codifica. Como la información necesaria, hay información de un vector de movimiento diferencial generado, y como la información de vector de movimiento de predicción, hay una bandera que indica un índice de un vector de movimiento de predicción.
La unidad 115 de selección de la imagen de predicción selecciona una fuente de alimentación de la imagen de predicción que se suministra a la unidad 103 de operación y la unidad 110 de operación. Por ejemplo, en el caso de la codificación intra, la unidad 115 de selección de imagen de predicción selecciona la unidad 113 de predicción intra como la fuente de alimentación de la imagen de predicción, y suministra la imagen de predicción suministrada desde la unidad 113 de predicción intra a la unidad 103 de operación y la unidad 110 de operación. Además, por ejemplo, en el caso de la codificación ínter, la unidad 115 de selección de imagen predicha selecciona la unidad 114 de predicción ínter como la fuente de alimentación de la imagen predicha, y suministra la imagen de predicción suministrada desde la unidad 114 de predicción ínter a la unidad 103 de operación y la unidad 110 de operación.
La unidad 116 de control de la tasa controla una tasa de la operación de cuantificación de la unidad 105 de cuantificación basado en la cantidad de codificación de los datos codificados acumulados en la memoria intermedia 107 de acumulación de tal manera que se produce ni un desbordamiento ni un subdesbordamiento.
El dispositivo 100 de codificación de imagen incluye además una unidad 121 de ajuste de perfil.
La unidad 121 de ajuste de perfil establece un perfil que se aplica a la codificación de datos de imagen. Por ejemplo, cuando la imagen fija se codifica, la unidad 121 de ajuste de perfil establece el perfil de imagen fija. Por ejemplo, la unidad 121 de ajuste de perfil establece el perfil de acuerdo con una instrucción externa tal como una instrucción de usuario. Por supuesto, este método es arbitrario, y el perfil se puede establecer sobre la base de cualquier información. Cuando el perfil se establece, la unidad 121 de ajuste de perfil suministra la información a la unidad 106 de codificación sin pérdidas.
La unidad 106 de codificación sin pérdidas realiza la codificación de acuerdo con el perfil establecido por la unidad 121 de ajuste de perfil. Por ejemplo, cuando el perfil de imagen fija se establece por la unidad 121 de ajuste de perfil, la unidad 106 de codificación sin pérdidas restringe el valor del elemento de sintaxis relacionado con el proceso de ínter-imagen. El ejemplo específico de esta restricción se ha descrito en <0. Información general>.
Unidad de codificación sin pérdidas La Figura 26 es un diagrama de bloques que ilustra una configuración ejemplar principal de la unidad 106 de codificación sin pérdidas de la Figura 25 relacionada con un ajuste de elemento de sintaxis. Como se ilustra en la Figura 25, la unidad 106 de codificación sin pérdidas incluye una unidad 131 de ajuste del elemento de sintaxis y una unidad 132 de codificación.
La unidad 131 de ajuste del elemento de sintaxis realiza el procesamiento a un ajuste del elemento de sintaxis. Por ejemplo, la unidad 131 de ajuste del elemento de sintaxis establece los elementos de sintaxis de varias unidades NAL (nal_unidad) tal como el conjunto (VPS) de parámetros de video, el conjunto (SPS) de parámetro de secuencia, el conjunto (PPS) de parámetro de imagen, y el encabezamiento de la sección. La unidad 131 de ajuste del elemento de sintaxis adquiere información necesaria desde las unidades de procesamiento del dispositivo 100 de codificación de imagen tal como la unidad 113 de predicción intra y la unidad 114 de predicción ínter según sea necesario, y define el valor del elemento de sintaxis basada en la información adquirida.
Además, la unidad 131 de ajuste del elemento de sintaxis recibe el perfil designado desde la unidad 121 de ajuste de perfil. La unidad 131 de ajuste del elemento de sintaxis establece el elemento de sintaxis de acuerdo con el perfil señalado por la unidad 121 de ajuste de perfil.
Por ejemplo, cuando el perfil de imagen fija se establece por la unidad 121 de ajuste de perfil, la unidad 131 de ajuste del elemento de sintaxis restringe el valor del elemento de sintaxis relacionada con el proceso de inter-imagen . El ejemplo específico de esta restricción se ha descrito en <0. Información general>.
La unidad 131 de ajuste del elemento de sintaxis suministra el conjunto del elemento de sintaxis a la unidad 132 de codificación.
Por ejemplo, la unidad 132 de codificación adquiere los coeficientes de cuantificación de los datos de imagen desde la unidad 105 de cuantificación, codifica los coeficientes de cuantificación adquiridos de acuerdo con la codificación aritmética o similar, y obtiene los datos codificados. La unidad 132 de codificación suministra los datos codificados obtenidos a la memoria intermedia 107 de acumulación.
Además, la unidad 132 de codificación también codifica la información distinta de los datos de imagen, y suministra la información codificada a la memoria intermedia 107 de acumulación. Por ejemplo, la unidad 132 de codificación codifica el elemento de sintaxis establecido por la unidad 131 de ajuste del elemento de sintaxis, y suministra el elemento de sintaxis codificado a la memoria intermedia 107 de acumulación.
Como se ha descrito anteriormente, cuando el perfil de imagen fija está establecido, la unidad 106 de codificación sin pérdidas restringe el valor del elemento de sintaxis relacionado con el proceso de ínter imagen, y genera los datos codificados. Por lo tanto, el dispositivo 100 de codificación de imagen puede suprimir la transmisión de información redundante y suprimir una reducción en la eficiencia de codificación.
Además, el dispositivo 100 de codificación de imagen puede suprimir un aumento de una carga innecesaria en el proceso de decodificación mediante la reducción de la información redundante de los datos codificados.
Además, el dispositivo 100 de codificación de imagen puede conmutar el perfil y fácilmente codificar tanto la imagen fija y la imagen en movimiento a través de un solo circuito.
Flujo de proceso de codificación A continuación, un flujo ejemplar del proceso de codificación realizado por el dispositivo 100 de codificación de imagen se ilustra en la Figura 25 se describirá con referencia a diagramas de flujo de las Figuras 27 y 28.
Cuando se inicia el proceso de codificación, en el paso S101 de la Figura 27, la unidad 121 de ajuste perfil establece el perfil de acuerdo con los datos de imagen a codificar, por ejemplo, de acuerdo con la instrucción externa tal como la instrucción del usuario.
En el paso S102, la unidad 106 de codificación sin pérdidas determina si o no el perfil establecido en el paso S101 es el perfil de imagen fija (el perfil adecuado para la codificación de los datos de imagen de la imagen fija). Cuando el conjunto de perfil se determina que el perfil de imagen en movimiento (el perfil adecuado para la codificación de los datos de imagen de la imagen en movimiento), el proceso pasa al paso S103.
Cuando los datos de imagen de la imagen en movimiento se codifican, en el paso S103, el convertidor 101 A/D realiza la conversión A/D en la imagen de los cuadros (imágenes) de una entrada de una imagen en movimiento.
En el paso S104, la memoria intermedia 102 de reordenación de pantalla almacena las imágenes que han sido sometidas a la conversión A/D en el paso S103, y reorganiza las respectivas imágenes dispuestas en el orden de visualización en el orden de codificación.
En el paso S105, la unidad 113 de predicción intra realiza el proceso de predicción intra del modo de predicción intra.
En el paso S106, la unidad 114 de predicción ínter realiza el proceso de predicción ínter en el que la predicción de movimiento y la compensación de movimiento del modo de predicción ínter se llevan a cabo.
En el paso S107, la unidad 115 de selección de imagen de predicción selecciona la imagen de predicción basado en el valor de la función de costos o similares. En otras palabras, la unidad 115 de selección de imagen de predicción selecciona cualquiera de la imagen de predicción generada por la predicción intra en el paso S105 y la imagen predicha generada por la predicción ínter en el paso S106.
En el paso S108, la unidad 103 de operación calcula una diferencia entre la imagen de entrada en la que el orden de cuadro se reordena por el proceso del paso S104 y la imagen de predicción seleccionada por el proceso del paso S107. En otras palabras, la unidad 103 de operación genera datos de imagen de una imagen diferencial entre la imagen de entrada y la imagen de predicción. Los datos de imagen obtenidos de la imagen diferencial son más pequeños en una cantidad de datos que los datos de imagen originales. Asi, la cantidad de datos puede ser comprimido a ser más pequeño que cuando la imagen se codifica sin cambio.
En el paso S109, la unidad 104 de transformación ortogonal lleva a cabo la transformada ortogonal en los datos de imagen de la imagen diferencial generada por el proceso del paso S108.
En el paso S110, la unidad 105 de cuantificación cuantifica los coeficientes de transformada ortogonal obtenidos por el proceso del paso S109 usando el parámetro de cuantificación calculada por la unidad 116 de control de tasa.
En el paso Slll, la unidad 108 de cuantificación inversa cuantifica inversamente los coeficientes cuantificados (que también se hace referencia como "coeficientes de cuantificación") generados por el proceso del paso S110 de acuerdo con las características correspondientes a las características de la unidad 105 de cuantificación.
En el paso S112, la unidad 109 de transformada ortogonal inversa realiza la transformada ortogonal inversa en los coeficientes de transformada ortogonal obtenidos por el proceso del paso Slll.
En el paso S113, la unidad 110 de operación genera los datos de imagen de una imagen reconstruida mediante la adición de la imagen de predicción seleccionada por el proceso del paso S107 a la imagen diferencial restaurada por el proceso del paso S112.
En el paso S114, el filtro 111 de bucle realiza el proceso de filtro de bucle en los datos de imagen de la imagen reconstruida generada por el proceso del paso S113. Como resultado, por ejemplo, se elimina la distorsión de bloque de la imagen reconstruida.
En el paso S115, la memoria 112 de cuadro almacena la imagen decodificada obtenida por el proceso del paso S114.
En el paso S116, la unidad 106 de codificación sin pérdida codifica los coeficientes cuantificados obtenidos por el proceso del paso S110. En otras palabras, la codificación sin pérdidas tal como la codificación de longitud variable o la codificación aritmética se realiza sobre los datos correspondientes a la imagen diferencial.
En este momento, la unidad 106 de codificación sin pérdida codifica la información relacionada con el modo de predicción de la imagen de predicción seleccionada por el proceso del paso S107, y añade la información codificada a los datos codificados obtenidos mediante la codificación de la imagen diferencial. En otras palabras, la unidad 106 de codificación sin pérdidas también codifica la información de modo de predicción intra óptima suministrada desde la unidad 113 de predicción intra, la información de acuerdo con el modo de predicción ínter óptima suministrada desde la unidad 114 de predicción ínter, o similar, y añade la información codificada a los datos codificados.
Además, la unidad 106 de codificación sin pérdidas también establece y codifica los elementos de sintaxis de diversos tipos de unidades NAL o similares, y añade los elementos de sintaxis codificados a los datos codificados.
En el paso S117, la memoria intermedia 107 de acumulación acumula los datos codificados obtenidos por el proceso del paso S115. Los datos codificados acumulados en la memoria intermedia 107 de acumulación se lee apropiadamente, y se transmiten al lado de decodificación a través de una trayectoria de transmisión o un medio de grabación.
En el paso S118, la unidad 116 de control de tasa controla la tasa de la operación de cuantificación de la unidad 105 de cuantificación basado en la cantidad de codificación (la cantidad de codificación generada) de los datos codificados acumulados en la memoria intermedia 107 de acumulación por el proceso del paso S117 de tal manera que ni un desbordamiento ni un subdesbordamiento se produce. Además, unidad 116 de control de tasa suministra la información relacionada con el parámetro de cuantificación para la unidad 105 de cuantif icación. Cuando el proceso del paso S118 termina, el proceso de codificación termina.
Además, cuando el perfil establecido en el paso S101 se determina para ser el perfil de imagen fija (el perfil adecuado para la codificación de los datos de imagen de la imagen fija) en el paso S102, el proceso pasa al paso S121 de la Figura 28.
En este caso, el procesamiento similar al procesamiento realizado en la imagen en movimiento en los respectivos pasos de la Figura 27 se realiza en los datos de imagen de la imagen fija de entrada en los pasos S121 a S134.
En este caso, cuando los datos de imagen de la imagen fija está codificada, ya que los datos de imagen no tiene un concepto de tiempo (hay una sola imagen), se omite el proceso de predicción ínter del paso S106. Por lo tanto, el proceso de selección de la imagen de predicción en el paso S107 se omite también.
En otras palabras, los procesos de los pasos S121 a S123 de la Figura 28 corresponden a los procesos de los pasos S103 a S105 de la Figura 27. Además, los procesos de los pasos S124 a S134 de la Figura 28 corresponden a los procesos de los pasos S108 a S118 de la Figura 27.
Aquí, en el proceso del paso S132 de la Figura 28, el valor del elemento de sintaxis relacionado con el proceso de inter-imagen está restringido. Los detalles de este proceso se describirán más adelante. Cuando el proceso del paso S134 de la Figura 28 termina, el proceso de codificación termina.
El flujo de proceso de codificación sin pérdidas A continuación, un flujo ejemplar del proceso de codificación sin pérdidas llevado a cabo en el paso S132 de la Figura 28 se describirá con referencia a un diagrama de flujo de la Figura 29.
Cuando el proceso de codificación sin pérdidas se inicia en la codificación de la imagen fija, en el paso S151, la unidad 131 de ajuste del elemento de sintaxis establece el elemento de sintaxis basado en la restricción para la imagen fija. Por ejemplo, como se describe anteriormente en <0. Descripción general>, con el fin de reducir la transmisión de información redundante, cuando se aplica el perfil de imagen fija, la unidad 131 de ajuste del elemento de sintaxis restringe el valor del elemento de sintaxis relacionado con el proceso de inter-imagen.
En el paso S152, la unidad 132 de codificación codifica el elemento de sintaxis establecido en el paso S151.
En el paso S153, la unidad 132 de codificación codifica los coeficientes de transformación ortogonal cuantificados por la unidad 105 de cuantificación. Cuando el proceso del paso S153 termina, el proceso de codificación sin pérdidas termina, y el proceso retorna a la Figura 28.
Flujo del proceso de ajuste del elemento de sintaxis A continuación, un flujo ejemplar del proceso de ajuste del elemento de sintaxis realizado en el paso S151 de la Figura 29 se describirá con referencia a un diagrama de flujo de la Figura 30.
Cuando se inicia el proceso de ajuste del elemento de sintaxis, en el paso S171, la unidad 131 de ajuste del elemento de sintaxis establece el parámetro vps_max_sub_capas_menosl relacionado con la subcapa del conjunto (VPS) de parámetros de video y el parámetro sps_max_sub_capas_menosl relacionados con la subcapa del conjunto (SPS) de parámetros de secuencia a 0.
En el paso S172, la unidad 131 de ajuste del elemento de sintaxis establece el elementos de sintaxis general_perfil_idc del nivel de perfil de nivel (perfil_tier_nivel()) para un valor que indica el perfil de imagen fija.
En el paso S173, la unidad 131 de ajuste del elemento de sintaxis establece otros elementos de sintaxis del nivel de perfil de nivel (perfil_tier_nivel()).
En el paso S174, la unidad 131 de ajuste del elemento de sintaxis define el valor del elemento de sintaxis vps num hrd parámetros relacionados con el decodificador de referencia virtual en el conjunto (VPS) de parámetros de video a 0.
En el paso S175, la unidad 131 de ajuste del elemento de sintaxis establece el valor del elemento de sintaxis restringido_ref_imágenes_listaas_bandera relacionado con la sección P y la sección B en el conjunto (SPS) de parámetro de secuencia a 0.
En el paso S176, la unidad 131 de ajuste del elemento de sintaxis establece el valor del elemento de sintaxis num_corto_term_ref_imágenes_conjuntos relacionados con el término corto en el conjunto (SPS) de parámetro de secuencia a 0.
En el paso S177, la unidad 131 de ajuste del elemento de sintaxis establece el valor del elemento de sintaxis largo_term_ref_imágenes_presente_bandera relacionada con el término largo en el conjunto (SPS) de parámetro de secuencia a 0.
En el paso S178, la unidad 131 de ajuste del elemento de sintaxis establece el valor del elemento de sintaxis sps_temporal_mvp_habilitar_bandera relacionada con el vector de movimiento en el conjunto (SPS) de parámetro de secuencia a 0.
En el paso S179, la unidad 131 de ajuste del elemento de sintaxis establece tanto del valor del elemento de sintaxis num ref idx 10 defecto_menosl activo relacionada con LO y el valor del elemento de sintaxis num_ref_idx_ll_defecto_menosl activo relacionada con Ll en el conjunto (PPS) de parámetros de imagen a O o 1.
En el paso S180, la unidad 131 de ajuste de elemento de sintaxis establece el valor del elemento de sintaxis listaas_modificación_presente_bandera del conjunto (PPS) de parámetros de imagen que indica sí o no el elemento de sintaxis ref_imágenes_listaa_modificación está presente en el encabezamiento de sección actual a 0.
En el paso S181, la unidad 131 de ajuste del elemento de sintaxis establece el valor del elemento de sintaxis log2_parallelo_unir_nivel_menos2 del conjunto (PPS) de parámetros de imagen que designa el nivel de proceso paralelo del modo de unión y el modo de salto en el proceso de predicción a 0.
En el paso S182, la unidad 131 de ajuste del elemento de sintaxis establece el valor del elemento de sintaxis escalamiento_listaa_pred_modo_bandera relacionada con el modo de predicción de la listaa de escalamiento (escalamiento_lista_dato ()) a 0, y establece el valor del elemento de sintaxis escalamiento_lista_pred_matriz_id_delta relacionado con la matriz de predicción de la lista de escalamiento (escalamiento_lista_dato ()) a 0 o 1.
En el paso S183, la unidad 131 de ajuste del elemento de sintaxis establece el valor del elemento de sintaxis sección tipo relacionado con el tipo de sección en el encabezamiento de sección (sección_encabezamiento ()) para el valor que indica la sección I.
En el paso S184, la unidad 131 de ajuste del elemento de sintaxis establece el tipo de unidad NAL (nal_unidad_tipo) para la VCL al IDR_W_LP o IDR_N_LP.
En el paso S185, la unidad 131 de ajuste del elemento de sintaxis de otros elementos de sintaxis. Por ejemplo, en el paso S185, la unidad 131 de ajuste del elemento de sintaxis puede establecer el valor del elemento de sintaxis (bandera) ponderado_pred_bandera relacionados con la predicción ponderada de la sección P o el elemento de sintaxis (bandera) ponderado_bipred_bandera relacionados con la predicción ponderada de la sección B en el conjunto (PPS) de parámetros de imagen a 0. Cuando el proceso del paso S185 termina, el proceso retorna a la Figura 29.
Por supuesto, el orden de procesamiento de los pasos respectivos descritos anteriores es arbitrario, y el orden de procesamiento de los pasos respectivos puede ser cambiado, y los procesos de una pluralidad de pasos pueden realizarse en paralelo. En particular, como se describe anteriormente en <0-1> a <0-3>, el orden de procesamiento de los pasos S171 a S173 es arbitraria.
Además, puesto gue las restricciones de los valores de los elementos de sintaxis son independientes uno de otro, todos los valores de un grupo de los elementos de sintaxis no necesitan ser restringidos, y sólo los valores de algunos elementos de sintaxis pueden restringirse. En otras palabras, entre los pasos descritos anteriormente en el proceso de ajuste del elemento de sintaxis de la Figura 30, se puede realizar sólo los procesos de algunos pasos.
Además, puesto que los elementos de sintaxis cuyo valor está restringido no se limitan a los ejemplos descritos anteriormente, se puede añadir un proceso de restricción de un valor de un elemento de sintaxis que no se menciona anteriormente en el proceso de ajuste del elemento de sintaxis de la Figura 30.
Mediante la realización de los procesos respectivos como se describe anteriormente, el dispositivo 100 de codificación de imagen puede suprimir la transmisión de información redundante y mejorar la eficiencia de codificación en la información de compresión de imagen para ser emitida cuando la codificación se lleva a cabo basándose en el perfil para la codificación de la imagen fija. 2. Segunda modalidad Dispositivo de codificación de imagen Además, es deseable seleccionar un perfil de acuerdo con una imagen de entrada. En este sentido, se puede determinar si la imagen de entrada es la imagen en movimiento o la imagen fija, y un perfil apropiado puede ser ajustado de acuerdo con un resultado de la determinación.
La Figura 31 es un diagrama de bloques que ilustra una configuración ejemplar de un dispositivo de codificación de imágenes como un ejemplo de un dispositivo de procesamiento de imágenes al que se aplica la presente tecnología en este caso. Por ejemplo, un dispositivo 200 de codificación de imagen se ilustra en la Figura 31 codifica los datos de imagen de una imagen en movimiento y una imagen fija mediante el proceso de predicción de la HEVC o un proceso de predicción de un esquema basado en la HEVC.
El dispositivo 200 de codificación de imágenes tiene básicamente la misma configuración que el dispositivo 100 de codificación de imagen y realiza el mismo proceso. El dispositivo 200 de codificación de imagen incluye una unidad 211 de determinación además de la configuración del dispositivo 100 de codificación de imagen.
La unidad 211 de determinación adquiere información de la imagen de la memoria intermedia 102 de reordenamiento de pantalla, analiza la información de la imagen, y determina si los datos de imagen de un objetivo de codificación es una imagen en movimiento o una imagen fija. La unidad 211 de determinación suministra el resultado de la determinación a la unidad 121 de ajuste perfil.
La unidad 121 de ajuste de perfil establece un perfil adecuado de acuerdo con el resultado de la determinación suministrada desde la unidad 211 de determinación. En otras palabras, por ejemplo, cuando la unidad 211 de determinación determina que los datos de imagen del objetivo de codificación es la imagen en movimiento, la unidad 121 de ajuste de perfil establece el perfil de la imagen en movimiento. Además, por ejemplo, cuando la unidad 211 de determinación determina que los datos de imagen del objetivo de codificación es la imagen fija, la unidad 121 de ajuste de perfil establece el perfil de imagen fija (por ejemplo, el perfil de imagen fija).
Cuando el perfil está configurado, la unidad 121 de ajuste de perfil suministra la información a la unidad 106 de codificación sin pérdidas. La unidad 106 de codificación sin pérdidas realiza la codificación de acuerdo con el perfil establecido por la unidad 121 de ajuste de perfil.
Como resultado, el dispositivo 200 de codificación de imagen puede configurar el perfil de acuerdo con los datos de imagen de entrada sin la designación desde el exterior, por ejemplo, el usuario. En otras palabras, el dispositivo 200 de codificación de imagen puede suprimir la transmisión de la información redundante y mejorar la eficiencia de codificación en la información de compresión de imagen para ser emitida sin designación desde el exterior, por ejemplo, el usuario.
Además, el dispositivo 200 de codificación de imagen puede suprimir un aumento de una carga innecesaria en el proceso de decodificación mediante la reducción de la información redundante de los datos codificados.
Además, el dispositivo 200 de codificación de imagen puede codificar tanto una imagen fija y una imagen en movimiento a través de un solo circuito.
Flujo de proceso de codificación A continuación, un flujo ejemplar del proceso de codificación realizado por el dispositivo 2oo de codificación de imagen en este caso se describirá con referencia a diagramas de flujo de las Figuras 32 y 33.
Cuando se inicia el proceso de codificación, en el paso S201 de la Figura 32, la unidad 211 de determinación determina si es o no una imagen de entrada es una imagen fija.
En el paso S202, la unidad 121 de ajuste de perfil establece el Perfil de acuerdo con el resultado de determinación obtenido en la paso S201.
En lo sucesivo, el mismo proceso que en los pasos S102 a S118 de la Figura 27 se realiza en los pasos S203 a S219 de la Figura 32.
En el paso S203 de la Figura 32, cuando el perfil de imagen fija se determina que se han establecido, el proceso pasa al paso S221 de la Figura 33. El mismo proceso como en los pasos S121 a S134 de la Figura 28 se realiza en los pasos S221 a S234 de la Figura 33.
Mediante la realización de los procesos respectivos como se describe anteriormente, el dispositivo 200 de codificación de imagen puede configurar el perfil de acuerdo con los datos de imagen de entrada con denominación desde el exterior, por ejemplo, el usuario, suprime la transmisión de información redundante, y mejorar la eficiencia de codificación en la información de compresión de imagen para ser emitida. 3. Tercera modalidad Dispositivo de decodificación de imágenes A continuación, la decodificación de los datos codificados que se ha codificado como se describió anteriormente se describirá a continuación. La Figura 34 es un diagrama de bloques que ilustra una configuración principal de ejemplo de un dispositivo de decodificación de imagen correspondiente al dispositivo 100 de codificación de imagen de la Figura 25 o el dispositivo 200 de la codificación de imagen de la figura 31 como un ejemplo de un dispositivo de procesamiento de imágenes al que se aplica la presente teenología.
Un dispositivo 300 de decodificador imagen se ilustra en la Figura 34 decodifica los datos codificados generados por el dispositivo 100 de codificación de imagen o el dispositivo 200 de codificación de imagen de acuerdo con un método de decodificación correspondiente a un método de codificación de la misma.
Como se ilustra en la Figura 34, el dispositivo 300 de decodificación de imágenes incluye una memoria intermedia 301 de acumulación, una unidad 302 de decodificación sin pérdida, una unidad 303 de cuantificación inversa, una unidad 304 de transformada ortogonal inversa, una unidad 305 de operación, un filtro 306 de bucle, una memoria intermedia 307 de reordenamiento pantalla, y un convertidor D/A 308. El dispositivo 300 de decodificación de imágenes incluye además una memoria 309 de cuadro, una unidad 310 de predicción intra, una unidad 311 de predicción ínter, y una unidad 312 de selección de imagen predicha.
La memoria intermedia 301 de acumulación también funciona como una unidad de recepción que recibe datos codificados transmitidos. La memoria intermedia 301 de acumulación recibe y acumula los datos codificados transmitidos, y suministra los datos codificados a la unidad 302 de decodificación sin pérdida en una temporización predeterminada. Los datos codificados incluyen la información necesaria para la decodificación tal como la información de modo de predicción. La unidad 302 de decodificación sin pérdida decodifica la información codificada por la unidad 106 de codificación sin pérdidas que se suministra desde la memoria intermedia 301 de acumulación de acuerdo con un esquema de decodificación correspondiente al esquema de codificación de los mismos. La unidad 302 de decodificación sin pérdida suministra los datos de coeficientes cuantificados de una imagen diferencial obtenida por la decodificación a la unidad 303 de cuantificación inversa.
Además, la unidad 302 de decodificación sin pérdida determina si el modo seleccionado como el modo de predicción óptimo es el modo de predicción intra o el modo de predicción ínter, y suministra la información relacionada con el modo de predicción óptimo para el modo determinado para ser seleccionado, es decir, la unidad 310 de predicción intra o la unidad 311 de predicción ínter. En otras palabras, por ejemplo, cuando se selecciona el modo de predicción intra como el modo de predicción óptimo en el dispositivo de codificación de imágenes, la información relacionada con el modo de predicción óptimo se suministra a la unidad 310 de predicción intra. Además, por ejemplo, cuando se selecciona el modo de predicción ínter como el modo de predicción óptimo en el dispositivo de codificación de imágenes, la información relacionada con el modo de predicción óptimo se suministra a la unidad 311 de predicción ínter.
Además, por ejemplo, la unidad 302 de decodificación sin pérdida suministra la información necesaria para la cuantificación inversa tal como una matriz de cuantificación y un parámetro de cuantificación de la unidad 303 de cuantificación inversa.
La unidad 303 de cuantificación inversa cuantifica inversamente los datos de coeficientes cuantificados obtenidos por la decodificación realizada por la unidad 302 de decodificación sin pérdida de acuerdo con un esquema que corresponde al esquema de cuantificación de la unidad 105 de cuantificación. La unidad 303 de cuantificación inversa es una unidad de procesamiento similar a la unidad 108 de cuantificación inversa. En otras palabras, la descripción de la unidad 303 de cuantificación inversa puede aplicarse también a la unidad 108 de cuantificación inversa. Aquí, es necesario cambiar y leer, por ejemplo, destinos de entrada y salida de datos de acuerdo con un dispositivo.
La unidad 303 de cuantificación inversa suministra los datos de coeficientes obtenidos a la unidad 304 de transformación ortogonal inversa.
La unidad 304 de transformada ortogonal inversa realiza la transformada ortogonal inversa en los coeficientes de transformada ortogonal suministrados desde la unidad 303 de cuantificación inversa de acuerdo con un esquema correspondiente al esquema de la transformada ortogonal de la unidad 104 de transformación ortogonal. La unidad 304 de transformada ortogonal inversa es una unidad de procesamiento similar a la unidad 109 de transformada ortogonal inversa. En otras palabras, la descripción de la unidad 304 de transformada ortogonal inversa también puede aplicarse a la unidad 109 de transformada ortogonal inversa. Aquí, es necesario cambiar y leer, por ejemplo, los destinos de la entrada y salida de datos de acuerdo a un dispositivo.
Los datos de imagen de la imagen diferencial se restaura por el proceso de transformada ortogonal inversa. Los datos de imagen restaurada de la imagen diferencial corresponde a los datos de imagen de la imagen diferencial antes de que la transformada ortogonal se realice en el dispositivo de codificación de imagen. En lo sucesivo, los datos de imagen restauradas de la imagen diferencial obtenida por el proceso de transformada ortogonal inversa de la unidad 304 de transformada ortogonal inversa también se conoce como " datos residuales decodificados." La unidad 304 de transformada ortogonal inversa suministra los datos residuales decodificados a la unidad 305 de operación. Además, la unidad 305 de operación se suministra con los datos de imagen de la imagen predicha a partir de la unidad 310 de predicción intra o la unidad 311 de predicción ínter a través de la unidad 312 de selección de imagen predicha.
La unidad 305 de operación obtiene datos de imagen de una imagen reconstruida obtenida mediante la adición de la imagen diferencial y la imagen de predicción utilizando los datos residuales decodificados y los datos de imagen de la imagen de predicción. La imagen reconstruida se corresponde con la imagen de entrada antes de que la imagen de predicción se sustraiga por la unidad 103 de operación. La unidad 305 de operación suministra la imagen reconstruida para el filtro 306 de bucle y la unidad 310 de predicción intra.
El filtro 306 de bucle realiza apropiadamente el proceso de filtro de bucle tales como el proceso de filtro de desbloqueo o el proceso de filtro de bucle adaptativo en la imagen reconstruida suministrada, y genera una imagen decodificada. Por ejemplo, el filtro 306 de bucle realiza el proceso de filtro de desbloqueo en la imagen reconstruida, y elimina la distorsión de bloques. Además, por ejemplo, el filtro 306 de bucle mejora la calidad de la imagen mediante la realización del proceso de filtro de bucle en el resultado de proceso de filtro de desbloqueo (la imagen reconstruida a partir del cual se ha eliminado la distorsión de bloques) utilizando el filtro de Wiener.
Un tipo del proceso de filtro realizado por el filtro 306 de bucle es arbitrario, y cualquier otro proceso de filtro puede ser realizado. Además, el filtro 306 de bucle puede llevar a cabo el proceso de filtrado usando un coeficiente de filtro suministrado desde el dispositivo de codificación de imagen.
El filtro 306 de bucle suministra la imagen decodificada que sirve como el resultado del proceso de filtro a la memoria intermedia de reordenación de pantalla y la memoria 309 de cuadro.
La memoria intermedia 307 de reordenación de pantalla lleva a cabo la reordenación de orden de cuadro en la imagen decodificada. En otras palabras, la memoria intermedia 307 de reordenación de pantalla reordena las imágenes de los cuadros respectivos dispuestos en el orden de codificación por la memoria intermedia 102 de reordenación de pantalla en el orden de visualización original. En otras palabras, la memoria intermedia 307 de reordenación de pantalla almacena los datos de imagen de las imágenes decodificadas de los respectivos cuadros suministrados en el orden de codificación en el orden de codificación, lee los datos de imagen de las imágenes decodificadas de los respectivos cuadros almacenados en el orden de codificación en el orden de visualización, y suministra los datos de imagen de lectura al convertidor 308 D/A. El convertidor 308 D/A realiza la conversión D/A en la imagen decodificada (datos digitales) de los cuadros respectivos suministrados desde la memoria intermedia 307 de reordenación pantalla, y emite las imágenes convertidas para ser visualizadas en una pantalla (no ilustrada) como datos analógicos.
La memoria 309 de cuadro almacena las suministradas imágenes decodificadas y suministradas las imágenes decodificadas almacenadas a la unidad 311 de predicción ínter como la imagen de referencia en una temporización predeterminada o en base a una solicitud desde el exterior, por ejemplo, la unidad 311 de predicción ínter.
La unidad 310 de predicción intra se suministra adecuadamente con, por ejemplo, información que indica el modo de predicción intra obtenido mediante la decodificación de la información de encabezamiento a partir de la unidad 302 de decodificación sin pérdida. La unidad 310 de predicción intra realiza la predicción intra en el modo de predicción intra (el modo de predicción intra óptimo) utilizado en la unidad 113 de predicción intra, y genera la imagen de predicción. En este momento, la unidad 310 de predicción intra lleva a cabo la predicción intra utilizando los datos de imagen de la imagen reconstruida suministrada desde la unidad 305 de operación. En otras palabras, la unidad 310 de predicción intra utiliza la imagen reconstruida como la imagen de referencia (el pixel vecino). La unidad 310 de predicción intra suministra la imagen de predicción generada a la unidad 312 de predicción de imagen de selección.
La unidad 311 de predicción ínter adquiere información (el modo de información de predicción óptima, la información de la imagen de referencia, y similares) obtenido mediante la decodificación de la información de encabezamiento a partir de la unidad 302 de decodificación sin pérdida.
La unidad 311 de predicción ínter realiza la predicción ínter utilizando la imagen de referencia adquirido a partir de la memoria intermedia 309 de cuadro en el modo de predicción ínter (el modo de predicción ínter óptimo) indicada por la información de modo de predicción óptimo adquirido a partir de la unidad 302 de decodificación sin pérdida, y genera la imagen de predicción.
La unidad 312 de selección de imagen de predicción suministra la imagen de predicción recibida a partir de la unidad 310 de predicción intra o la imagen de predicción recibida a partir de la unidad 311 de predicción ínter a la unidad 305 de operación. Entonces, la unidad 305 de operación añade la imagen de predicción a los datos residuales descodificados (la información de la imagen diferencial) suministrados desde la unidad 304 de transformación ortogonal inversa, y adquiere la imagen reconstruida.
El dispositivo 300 de decodificación de imágenes incluye además una unidad 321 de determinación de perfil.
La unidad 321 de determinación de perfil adquiere información relacionada con el perfil de los datos codificados que se incluye en los datos codificados (flujo de bitios) transmitidas desde el lado de codificación (por ejemplo, el dispositivo 100 de codificación de imágenes o el dispositivo 200 de codificación de imagen) a partir de la unidad 302 de decodificación sin pérdida, y determina el perfil establecido en el lado de codificación (por ejemplo, el dispositivo 100 de codificación de imágenes o el dispositivo 200 de codificación de imágenes) en base a la información adquirida.
Por ejemplo, la unidad 321 de determinación de perfil determina si o no el perfil de imagen fija (por ejemplo, el perfil de imagen fija) se ha establecido.
La unidad 321 de determinación de perfil suministra un resultado de la determinación a la unidad 302 de decodificación sin pérdida. La unidad 302 de decodificación sin pérdida decodifica los datos codificados de acuerdo con el resultado de la determinación de perfil suministrado a partir de la unidad 321 de determinación de perfil. Por ejemplo, cuando la unidad 321 de determinación de perfil determina que el perfil de imagen fija (por ejemplo, el perfil de la imagen fija) se ha establecido, la unidad 302 de decodificación sin pérdida analiza el elemento de sintaxis relacionada con el proceso inter-imagen en un estado en el que el valor está restringido. Un ejemplo especifico del método de restringir el valor del elemento de sintaxis que se ha descrito anteriormente en <0. Información general>.
Unidad de decodificación sin pérdidas La Figura 35 es un diagrama de bloques que ilustra una configuración ejemplar principal de la unidad 302 de decodificación sin pérdida de la Figura 34 que se relaciona con el análisis de elementos de sintaxis. Como se ilustra en la Figura 35, la unidad 302 de decodificación sin pérdida incluye una unidad 331 de decodificación y una unidad 332 de análisis de elemento de sintaxis.
La unidad 331 de decodificación decodifica los datos codificados suministrados desde la memoria intermedia 301 de acumulación. La unidad 331 de decodificación suministra, por ejemplo, información relacionada con el perfil que se obtiene mediante la descodificación de los datos codificados a la unidad 321 de determinación de perfil.
La unidad 321 de determinación de perfil determina que el conjunto de perfiles como se describió anteriormente, y suministra información que designa el perfil para la unidad 332 análisis del elemento de sintaxis.
Además, por ejemplo, la unidad 331 de decodificación suministra los coeficientes de transformada ortogonal cuantificados obtenidos mediante la decodificación de los datos codificados a la unidad 303 de cuantificación inversa. Además, por ejemplo, la unidad 331 de decodificación suministra el elemento de sintaxis obtenido mediante la decodificación de los datos codificados a la unidad 332 de análisis del elemento de sintaxis.
La unidad 332 análisis del elemento de sintaxis analiza diversos tipos de sintaxis suministrados desde la unidad 331 de decodificación y controla las operaciones de las respectivas unidades de procesamiento del dispositivo 300 de decodificación de imágenes tal como la unidad 310 de predicción intra y la unidad 311 de predicción ínter de acuerdo con el resultado de análisis.
La unidad 332 de analizando el elemento de sintaxis analiza el elemento de sintaxis de acuerdo con el resultado de la determinación suministrada a partir de la unidad 321 del perfil. Por ejemplo, cuando el perfil de imagen fija (por ejemplo, el perfil de imagen fija) se determina que se han establecido, la unidad 332 analizando el elemento de sintaxis analiza el elemento de sintaxis relacionado con el proceso ínter-imagen en el estado en el que el valor está restringido. Un ejemplo específico del método de restringir el valor del elemento de sintaxis se ha descrito anteriormente en <0.
Información general>.
En consecuencia, la unidad 332 analizando el elemento de sintaxis puede omitir el análisis del elemento de sintaxis innecesario de acuerdo con el perfil establecido (es posible omitir el elemento de sintaxis). En otras palabras, aun cuando la información innecesaria está incluida en los datos codificados de un objetivo de decodificación, el dispositivo 300 de decodificación de imagen puede omitir adecuadamente la información innecesaria de acuerdo con el perfil de conjunto y suprimir un aumento de carga innecesaria en el proceso de decodificación.
Además, el dispositivo 300 de decodificación de imagen puede decodificar tanto los datos codificados de la imagen fija y los datos codificados de la imagen en movimiento a través de un solo circuito.
Flujo de proceso de decodificación A continuación, un flujo ejemplar del proceso de decodificación realizada por el dispositivo 300 de decodificación de imágenes se describirá con referencia a diagramas de flujo de las Figuras 36 y 37.
Cuando se inicia el proceso de decodificación, en el paso S301, la unidad 302 de decodificación sin pérdida decodifica el perfil.
En el paso S302, la unidad 321 de determinación de perfil determina si o no el perfil establece en los datos codificados es el perfil de imagen fija en función del perfil decodificado en el paso S301. Cuando el perfil de imagen en movimiento se determina que se han establecido, el proceso pasa al paso S303, y diversos tipos de procesos (los procesos de los pasos S303 a S313) de decodificar los datos codificados de la imagen en movimiento se realizan como sigue.
En el paso S303, la unidad 332 de análisis del elemento de sintaxis de la unidad 302 de decodificación sin pérdida analiza el elemento de sintaxis obtenido a partir de los datos codificados y establece diversos tipos de parámetros utilizados para la decodificación.
En el paso S304, la memoria intermedia 301 de acumulación acumula flujos de bitios transmitidos (datos codificados). En el paso S305, la unidad 302 de decodificación sin pérdida decodifica los flujos de bitios codificados (dato codificado) suministrados desde la memoria intermedia 301 de acumulación. En otras palabras, por ejemplo, los datos de imagen de una imagen I, una imagen P, y una imagen B codificados por la unidad 106 de codificación sin pérdidas se decodifica. En este momento, diversos tipos de información distinta de los datos de imagen incluidos en el flujo de bitios, tales como la información de encabezamiento se decodifican también.
En el paso S306, la unidad 303 de cuantificación inversa cuantifica inversamente los coeficientes cuantificados obtenidos por el proceso del paso S305.
En el paso S307, la unidad 304 de transformada ortogonal inversa realiza la transformada ortogonal inversa en los coeficientes cuantificados inversamente en el paso S306.
En el paso S308, la unidad 310 de predicción intra o la unidad 311 de predicción ínter realiza el proceso de predicción, y genera la imagen de predicción. En otras palabras, el proceso de predicción se realiza en el modo de predicción que se determina gue se han aplicado en el momento de la codificación en la unidad 302 de decodificación sin pérdida. Más específicamente, por ejemplo, cuando se aplica la predicción intra en el momento de la codificación, la unidad 310 de predicción intra genera la imagen de predicción en el modo de predicción intra reconocido para ser óptimo en el momento de la codificación. Además, por ejemplo, cuando se aplica la predicción ínter en el momento de la codificación, la unidad 311 de predicción ínter genera la imagen de predicción en el modo de predicción ínter reconocido para ser óptimo en el momento de la codificación.
En el paso S309, la unidad 305 de operación agrega la imagen predicha generada en el paso S308 a la imagen diferencial obtenida por la transformada ortogonal inversa en el paso S307. En consecuencia, se obtienen los datos de imagen de la imagen reconstruida.
En el paso S310, el filtro 306 de bucle realiza apropiadamente el proceso de filtro de bucle tales como el proceso de filtro de desbloqueo o el proceso de filtro de bucle adaptativo en los datos de imagen de la imagen reconstruida obtenida por el proceso del paso S309.
En el paso S311, la memoria intermedia 307 de reordenación de pantalla reorganiza los cuadros de la imagen reconstruida que ha sido sometida al proceso de filtro en el paso S310. En otras palabras, el orden de los cuadros reordenados en el momento de la codificación se reordena en el orden de visualización original.
En el paso S312, el convertidor 308 D/A realiza la conversión D/A en la imagen en que el orden de los cuadros se han reordenado en el paso S311. La imagen se emite a una pantalla (no ilustrada) de modo que la imagen se visualiza.
En el paso S313, la memoria 309 de cuadro almacena la imagen que se ha sujetado al proceso de filtro en el paso S310.
Cuando el proceso del paso S313 termina, el proceso de decodificación termina.
Además, cuando el perfil de imagen fija (el perfil adecuado para la codificación de los datos de imagen de la imagen fija) se determina que se ha establecido en el paso S302, el proceso procede al paso S321 de la figura 37.
En este caso, en los pasos S321 a S331, el mismo proceso como el proceso realizado en la imagen móvil de entrada en los pasos respectivos de la figura 36 se realiza en los datos de imagen de la imagen fija de entrada.
En otras palabras, los procesos de los pasos S321 a S331 de la figura 37 corresponden a los procesos de los pasos S303 a S313 de la figura 36.
Aquí, cuando los datos de imagen de la imagen fija se decodifican, ya que los datos de imagen no tienen concepto de tiempo (hay una sola imagen) en el paso S326, la imagen de predicción se genera por la predicción intra.
Además, en el proceso del paso S321, se analiza el elemento de sintaxis en el estado en que el valor del elemento de sintaxis relacionado al proceso de ínter imagen se restringe. Los detalles de este proceso se describirán después.
Cuando el proceso del paso S331 termina, el proceso de decodificación termina.
Flujo del proceso de análisis del elemento de sintaxis Después, un flujo ejemplar del proceso de análisis del elemento de sintaxis realizado en el paso S321 de la figura 37 se describirá con referencia a un diagrama de flujo de la figura 38.
Cuando el proceso de análisis del elemento de sintaxis inicia, en el paso S351, la unidad 332 de análisis del elemento de sintaxis determina que el parámetro vps_max_sub_capas_menosl relacionado a la sub capa del conjunto del parámetro de video (VPS) y el parámetro sps_max_sub_capas_menosl relacionado a la sub capa del conjunto del parámetro de secuencia (SPS) son 0.
En el paso S352, la unidad 332 de análisis del elemento de sintaxis determina que el elemento de sintaxis general_perfil_idc del nivel de escala del perfil (perfil_escala_nivel()) es el valor que indica el perfil de imagen fija.
En el paso S353, la unidad 332 de análisis del elemento de sintaxis determina otros elementos de sintaxis del nivel de escala del perfil (perfil_escala_nivel()).
En el paso S354, la unidad 332 de análisis del elemento de sintaxis determina que el valor del elemento de sintaxis vps_num_hrd_parametros relacionado al decodificador de referencia virtual en el conjunto del parámetro de video (VPS) es 0.
En el paso S355, la unidad 332 de análisis del elemento de sintaxis determina que el valor del elemento de sintaxis restringido_ref_pic_listas_bandera relacionado al trozo P y al trozo B en el conjunto del parámetro de secuencia (SPS) es 0.
En el paso S356, la unidad 332 de análisis del elemento de sintaxis determina que el valor del elemento de sintaxis num_corto_termino_ref_pic_conjuntos relacionado al término corto en el conjunto del parámetro de secuencia (SPS) es 0.
En el paso S357, la unidad 332 de análisis del elemento de sintaxis determina que el valor del elemento de sintaxis largo_termino_ref_pics_presente_bandera relacionado al término largo en el conjunto del parámetro de secuencia (SPS) es 0.
En el paso S358, la unidad 332 de análisis del elemento de sintaxis determina que el valor del elemento de sintaxis sps_temporarl__mvp_permite_bandera relacionada al vector de movimiento en el conjunto del parámetro de secuencia (SPS) es 0.
En el paso S359, la unidad 332 de análisis del elemento de sintaxis determina que tanto el valor del elemento de sintaxis num_ref_idx_10_predeterminado_activo menos 1 relacionado a LO y el valor del elemento de sintaxis num_ref_idx_ll_predeterminado_activo menos 1 relacionado a L1 en el conjunto del parámetro de imagen (PPS) son 0 o 1.
En el paso S360, la unidad 332 de análisis del elemento de sintaxis determina que el valor del elemento de sintaxis listas_modificacion_presente_bandera del conjunto de parámetro de imagen (PPS) indica si o no el elemento de sintaxis ref_pic_list_modificacion está presente en el encabezado del trozo actual es 0.
En el paso S361, la unidad 332 de análisis del elemento de sintaxis determina que el valor del elemento Iog2_paralelo_unir_nivel_menos2 del conjunto del parámetro de imagen (PPS) designa el nivel de proceso paralelo del modo de unión y el modo de salto en el proceso de predicción es 0.
En el paso S362, la unidad 332 de análisis del elemento de sintaxis determina que el valor del elemento de sintaxis escala_lista_pred_modo_bandera relacionado al modo de predicción de la lista de escala (escala_lista_datos ()) es 0, y determina que el valor del elemento de sintaxis escala_lista_pred_matriz_id_delta relacionado a la matriz de predicción de la lista de escala (escala_lista_datos ()) es 0 o 1.
En el paso S363, la unidad 332 de análisis del elemento de sintaxis determina que el valor del elemento de sintaxis trozo_tipo relacionado al tipo de trozo en el encabezado de trozo (trozo_encabezado()) es el valor que indica el trozo I.
En el paso S364, la unidad 332 de análisis del elemento de sintaxis determina que el tipo de unidad NAL (nal_unidad_tipo) para la VCL es IDR_W_LP o IDR_N_LP.
En el paso S365, la unidad 332 de análisis del elemento de sintaxis determina otros elementos de sintaxis. Por ejemplo, en el paso S365, la unidad 332 de análisis del elemento de sintaxis puede determinar que el valor del elemento de sintaxis ponderado_pred_bandera (bandera) relacionada a la predicción ponderada del trozo P o el elemento de sintaxis ponderado_bipred_bandera (bandera) relacionado a la predicción ponderada del trozo B en el conjunto del parámetro de imagen (PPS) es 0. Cuando el proceso del paso S365 termina, el proceso regresa a la figura 37.
Por supuesto, la orden de procesamiento de los pasos respectivos descritos anteriormente es arbitraria, y la orden de procesamiento de los pasos respectivos se pueden cambiar, y los procesos de una pluralidad de pasos se pueden realizar en paralelo. Particularmente, como se describe anteriormente en <0-l> a <0-3>, la orden de procesamiento de los pasos S351 a S353 es arbitraria.
Además, ya que las restricciones de los valores de los elementos de sintaxis son independientes uno de otro, el análisis necesario a realizar en el estado en que todos los calores de un grupo de los elementos de sintaxis se restringen, y el análisis se puede realizar en un estado en que solo los valores de algunos elementos de sintaxis se restringen. En otras palabras, entre los pasos descritos anteriormente en el proceso de análisis del elemento de sintaxis de la figura 38, solo los procesos de algunos pasos se pueden realizar.
Además, ya que los elementos de sintaxis cuyo valor se restringe no se limitan a los ejemplos descritos anteriormente, un proceso de rendimiento del análisis en un estado en que un valor del elemento de sintaxis no se menciona anteriormente se restringe se puede añadir en el proceso de análisis del elemento de sintaxis de la figura 38.
Realizando los procesos respectivos como se describe anteriormente, el dispositivo 300 de decodificación de imagen puede suprimir un incremento de carga innecesaria cuando los datos codificados basados en el perfil de la codificación de imagen fija se decodifican 4. Cuarta modalidad Dispositivo de decodificación de imagen Además, el dispositivo de decodificación de imagen puede inspeccionar si o no el valor de la sintaxis se ha ajustado apropiadamente para el conjunto de perfil en los datos codificados.
La figura 39 es un diagrama de bloques que ilustra una configuración ejemplar de un dispositivo de decodificación de imagen como un ejemplo de un dispositivo de procesamiento de imagen al cual la presente teenología se aplica en este caso. Un dispositivo 400 de decodificación de imagen ilustrado en la figura 39 es un dispositivo de decodificación de imagen que corresponde al dispositivo 100 de codificación de imagen o al dispositivo 200 de codificación de imagen, similarmente al dispositivo 300 de decodificación de imagen, y decodifica datos codificados en que los datos de imagen de una imagen móvil y una imagen fija se codifican usando el proceso de predicción del HEVC o un proceso de predicción de un esquema basado en el HEVC.
El dispositivo 400 de decodificación de imagen tiene básicamente la misma configuración como el dispositivo 300 de decodificación de imagen y realiza el mismo proceso. El dispositivo 400 de decodificación de imagen incluye una unidad 411 de procesamiento de anormalidad además de la configuración del dispositivo 300 de decodificación de imagen.
La unidad 302 de decodificación sin perdidas inspecciona si o no el elemento de sintaxis se ha ajustado apropiadamente para el perfil determinado por la unidad 321 de determinación del perfil. Cuando se detecta una anormalidad por la inspección, esto es, cuando un ajuste de un elemento de sintaxis es impropio, por ejemplo, cuando se ajusta un elemento de sintaxis innecesario, una notificación de la anormalidad se da a la unidad 411 de procesamiento de anormalidad.
Cuando la ocurrencia de una anormalidad se notifica desde la unidad 302 de decodificación sin perdidas, la unidad 411 de procesamiento de anormalidad realiza un proceso de anormalidad predeterminado. Por ejemplo, la unidad 411 de procesamiento de anormalidad hace que una imagen de alerta se visualice en un monitor o hace que un sonido de alerta se emita de un altavoz o los similares. El contenido del proceso de la anormalidad es arbitrario. Por ejemplo, por el bien de la seguridad, la unidad 411 de procesamiento de la anormalidad puede controlar los componentes respectivos del dispositivo 400 de decodificación de imagen tal que el proceso de decodificación se detiene o apaga a la fuerza.
Unidad de decodificación sin pérdidas La figura 40 es un diagrama de bloques que ilustra una configuración principal ejemplar de la unidad 302 de decodificación sin pérdidas de la figura 39 que se relaciona al análisis del elemento de sintaxis. Como se ilustra en la figura 40, en este caso, la unidad 302 de decodificación sin perdidas incluye una unidad 421 de inspección del elemento de sintaxis además de la configuración de la figura 35.
La unidad 321 de determinación del perfil determina un perfil de conjunto basado en la información suministrada desde la unidad 331 de decodificación como se describe anteriormente, y suministra información que designa el perfil a la unidad 421 de inspección del elemento de sintaxis.
Además, la unidad 331 de decodificación suministra los elementos de sintaxis obtenidos decodificando los datos codificados a la unidad 421 de inspección del elemento de sintaxis.
La unidad 421 de inspección del elemento de sintaxis inspecciona valores de varios tipos de elementos de sintaxis suministrados desde la unidad 331 de decodificación de acuerdo al resultado de la determinación suministrada desde la unidad 321 de determinación del perfil. Cuando los elementos de sintaxis son normales, la unidad 421 de inspección del elemento de sintaxis suministra los elementos de sintaxis inspeccionados a la unidad 332 de análisis del elemento de sintaxis .
Además, cuando se detecta una anormalidad por la inspección del elemento de sintaxis, por ejemplo, cuando un elemento de sintaxis equivocado se ajusta o cuando un valor equivocado se ajusta a un elemento de sintaxis, la unidad 421 de inspección del elemento de sintaxis notifica a la unidad 411 de procesamiento de anormalidad de la detección de la anormalidad.
La unidad 411 de procesamiento de la anormalidad realiza el proceso de anormalidad de acuerdo a la notificación como se describe anteriormente.
Como un resultado, el dispositivo 400 de decodificación de imagen puede detectar si o no el ajuste del elemento de sintaxis es apropiado y realiza el proceso de decodificación más seguramente. Además, el dispositivo 400 de decodificación de imagen puede usar el resultado de detección para inspeccionar y análisis de los datos codificados. En otras palabras, es posible alentar, por ejemplo, la recreación de los datos codificados según sea necesario usando el dispositivo 400 de decodificación de imagen como un analizador de datos codificados.
Además, el dispositivo 400 de decodificación de imagen puede decodificar tanto los datos codificados de la imagen fija como los datos codificados de la imagen móvil a través de un solo circuito.
Flujo del proceso de codificación Después, un flujo ejemplar del proceso de decodificación realizado por el dispositivo 400 de decodificación imagen en este caso se describirá con referencia a los diagramas de flujo de las figuras 41 y 42.
Cuando el proceso de decodificación inicia, el dispositivo 400 de decodificación de imagen realiza el mismo proceso como en los pasos S301 a S313 de la figura 36 en los pasos S401 a S413 de la figura 41. Cuando el proceso del paso S413 termina, el proceso de decodificación termina.
Además, cuando el perfil de imagen fija se determina ser ajustado en el paso S402, el proceso procede al paso S421 de la figura 42.
En el paso S421 de la figura 42, la unidad 421 de inspección del elemento de sintaxis de la unidad 302 de decodificación sin pérdidas inspecciona los elementos de sintaxis basados en la restricción hecha por el perfil de imagen fija.
En el paso S422, la unidad 421 de inspección del elemento de sintaxis determina si o no hay una violación en el elemento de sintaxis basado en el resultado de la inspección del paso S421. Cuando este determina que no hay violación, el proceso procede al paso S423.
En los pasos S423 al S433 de la figura 42, se realiza el mismo proceso como en los pasos S321 a S331 de la figura 37. Cuando el proceso del paso S433 termina, el proceso de decodificación termina.
Además, cuando se determina en el paso S422 de la figura 42 que hay una violación, el proceso procede al paso S434.
En el paso S434, la unidad 411 de procesamiento de anormalidad realiza el proceso de anormalidad. Cuando el proceso del paso S434 termina, el proceso de decodificación termina.
Flujo del proceso de análisis del elemento de sintaxis Después un flujo ejemplar del proceso de inspección del elemento de sintaxis realizado en el paso S421 de la figura 42 se describirá con referencia a un diagrama de flujo de la figura 43.
Cuando el proceso de inspección del elemento de sintaxis comienza, en el paso S451, la unidad 421 de inspección del elemento de sintaxis determina si o no el parámetro vps_max_sub_capas_menosl relacionado a la sub capa del conjunto del parámetro de video (VPS) y el parámetro sps_max_sub_capas_menosl relacionado a la sub capa del conjunto del parámetro de secuencia (SPS) son 0. Cuando el resultado de la determinación es verdadero, esto es cuando el parámetro vps_max_sub_capas_raenosl relacionado a la sub capa del conjunto del parámetro de video (VPS) y el parámetro sps_max_sub_capas_menosl relacionado a la sub capa del conjunto del parámetro de secuencia (SPS) se determinan ser 0, el proceso procede al paso S452.
En el paso S452, la unidad 421 de inspección del elemento de sintaxis determina si o no el elemento de sintaxis general_perfil_idc del nivel de escala del perfil (perfil_escala_nivel()) tiene el valor que indica el perfil de imagen fija. Cuando el resultado de la determinación es verdadero, esto es, cuando el elemento de sintaxis general_perfil_idc del nivel de escala del perfil (perfil_escala_nivel()) se determina tener el valor que indica el perfil de imagen fija, el proceso procede al paso S453.
En el paso S453, la unidad 421 de inspección del elemento de sintaxis determina si o no el valor del elemento de sintaxis vps_num_hrd_parametros relacionado al decodificador de referencia virtual en el conjunto del parámetro de video (VPS) es 0. Cuando el resultado de la determinación es verdadero, esto es, cuando el valor del elemento de sintaxis vps_num_hrd_parametros relacionados al decodificador de referencia virtual en el conjunto de parámetro de video (VPS) se determina ser 0, el proceso procede al paso S454.
En el paso S454, la unidad de inspección del elemento de sintaxis determina si o no el valor del elemento de sintaxis restringido_ref_pic_listas_bandera relacionado al trozo P y al trozo B en el conjunto del parámetro de secuencia (SPS) es 0.
Cuando el resultado de la determinación es verdadero, esto es, cuando el valor del elemento de sintaxis restringido_ref_pic_listas__bandera relacionado al trozo P y al trozo B en el conjunto del parámetro de secuencia (SPS) se determina ser 0, el proceso procede al paso S455.
En el paso S455, la unidad 421 de inspección del elemento de sintaxis determina si o no el valor del elemento de sintaxis num_corto_termino_ref_pic_conjuntos relacionado al termino corto en el conjunto del parámetro de secuencia (SPS) es 0. Cuando el resultado de la determinación es verdadero, esto es, cuando el valor del elemento de sintaxis num_corto_termino_ref_pic_conjuntos relacionado al término corto en el conjunto del parámetro de secuencia (SPS) se determina ser 0, el proceso procede al paso S456.
En el paso S456, la unidad 421 de inspección del elemento de sintaxis determina si o no el valor del elemento de sintaxis largo_termino_ref_pics_presente_bandera relacionado al termino largo en el conjunto del parámetro de secuencia (SPS) es 0. Cuando el resultado de la determinación es verdadero, esto es, cuando el valor del elemento de sintaxis largo_termino_ref_pics_presente_bandera relacionado al término largo en el conjunto del parámetro de secuencia (SPS) se determina ser 0, el proceso procede al paso S457.
En el paso S457, la unidad 421 de inspección del elemento de sintaxis determina si o no el valor del elemento de sintaxis sps_temporal_mvp_permite_bandera relacionado al vector den el conjunto del parámetro de secuencia (SPS) es 0. Cuando el resultado de la determinación es verdadero, esto es, cuando el valor del elemento de sintaxis sps_temporal_mvp_permite_bandera relacionado al vector de movimiento en el conjunto del parámetro de secuencia (SPS) se determina ser 0, el proceso procede al paso S458.
En el paso S458, la unidad 421 de inspección del elemento de sintaxis determina si o no tanto el valor del elemento de sintaxis num_ref_idx_10_predeterminado_activo menosl relacionado a LO y el valor del elemento de sintaxis num_ref_idx_ll_predeterminado_activo menosl relacionado a L1 en el conjunto del parámetro de imagen (PPS) son 0 y 1. Cuando el resultado de la determinación es verdadero, esto es, cuando tanto el valor del elemento de sintaxis num_ref_idx_10_predeterminado_activo menos 1 relacionado a L1 en el conjunto del parámetro de imagen (PPS) se determinan ser 0 o 1, el proceso procede al paso S459.
En el paso S459, la unidad 421 de inspección del elemento de sintaxis determina si o no el valor del elemento de sintaxis listas_modificacion_presente_bandera del conjunto del parámetro de imagen (PPS) indica si o no el elemento de sintaxis ref_pic_lista_modificacion está presente en el encabezado de trozo actual. Cuando el resultado de la determinación es verdadero, esto es, cuando el valor del elemento de sintaxis listas_modificacion_presente_bandera del conjunto del parámetro de imagen .(PPS) indica si o no el elemento de sintaxis ref_pic_lista_modificacion está presente en el encabezado de trozo actual se determina ser 0, el proceso procede al paso S460.
En el paso S460, la unidad 421 de inspección del elemento de sintaxis determina si o no el valor del elemento de sintaxis log2_paralelo_union_nivel_menos2 del conjunto del parámetro de imagen (PPS) designa el nivel de proceso paralelo del modo de unión y el modo de salto en el proceso de predicción es 0. Cuando el resultado de la determinación es verdadero, esto es, cuando el valor del elemento de sintaxis log2__paralelo_union_nivel_menos2 del conjunto del parámetro de imagen (PPS) designa el nivel del proceso paralelo del modo de unión y el modo de salto en el proceso de predicción se determina ser 0, el proceso procede al paso S461.
En el paso S461, la unidad 421 de inspección del elemento de sintaxis determina si o no el valor del elemento de sintaxis escala_lista_pre_modo_bandera relacionado al modo de predicción de la lista de escala (escala_lista_datos ()) es 0 y si o no el valor del elemento de sintaxis escala_lista_pred_matriz_id_delta relacionado a la matriz de predicción de la lista de escala (escala_lista__datos ()) es 0 o 1. Cuando el resultado de la determinación es verdadero, esto es, cuando el valor del elemento de sintaxis escala_lista_pred_modo_bandera relacionado al modo de predicción de la lista de escala (escala_lista_datos ()) se determina ser 0, y el valor del elemento de sintaxis escala_lista_pred_matriz_id_delta relacionado a la matriz de predicción de la lista de escala (escala_lista_datos ()) se determina ser 0 o 1, el proceso procede al paso S462.
En el paso S462, la unidad 421 de inspección del elemento de sintaxis determina si o no el valor del elemento de sintaxis trozo_tipo relacionado al tipo de trozo en el encabezado de trozo (trozo_encabezado()) es el valor que indica el trozo I. cuando el resultado de la determinación es verdadero, esto es, cuando el valor del elemento de sintaxis trozo_tipo relacionado al tipo de trozo en el encabezado de trozo (trozo_encabezado()) se determina ser el valor que indica el trozo I, el proceso procede al paso S463.
En el paso S463, la unidad 421 de inspección del elemento de sintaxis determina si o no el tipo de unidad NAL (nal_unidad_tipo) para la VCL es IDR_W_LP o IDR_N_LP. Cuando el resultado de la determinación es verdadero, esto es, cuando el tipo de unidad NAL (nal_unidad_tipo) para la VCL se determina ser IDR_W_LP o IDR_N_LP, el proceso procede al paso S464.
En el paso S464, la unidad 421 de inspección del elemento de sintaxis determina que el elemento de sintaxis es normal. Cuando el proceso del paso S464 termina, el proceso de inspección del elemento de sintaxis termina, y el proceso regresa a la figura 42.
Además, cuando el resultado de la determinación se determina ser falso en cualquiera de los pasos S451 a S463 de la figura 43, el proceso procede al paso S465.
En el paso S465, la unidad de inspección del elemento de sintaxis determina que el elemento de sintaxis es anormal. Cuando el proceso del paso S465 termina, el proceso de inspección de sintaxis termina, y el proceso regresa a la figura 42.
Por supuesto, la orden de procesamiento de los pasos respectivos descritos anteriormente es arbitraria, y la orden de procesamiento de los pasos respectivos se puede cambiar, y los procesos de una pluralidad de pasos se pueden realizar en paralelo.
Además, ya que las condiciones (las restricciones de los valores de los elementos de sintaxis) de las inspecciones respectivas son independientes una de otra, todos de un grupo de elementos de sintaxis descritos anteriormente necesitan ser inspeccionados, y solo algunos elementos de sintaxis se pueden inspeccionar. En otras palabras, entre los pasos descritos anteriormente en el proceso de inspección del elemento de sintaxis de la figura 43, solo el proceso de algunos pasos se puede realizar.
Además, una inspección de un elemento de sintaxis que no se incluye en el ejemplo anterior se puede añadir.
Realizando los procesos respectivos como se describe anteriormente, el dispositivo 400 de decodificación de imagen puede detectar si o no la configuración del elemento de sintaxis es propia y realiza el proceso de decodificación más seguramente.
Como se describe anteriormente, la presente teenología se puede aplicar a todos los dispositivos de codificación de imagen y los dispositivos de decodificación de imagen que codifican y decodifican imágenes.
Por ejemplo, la presente tecnología se puede aplicar a un dispositivo de codificación de imagen y un dispositivo de decodificación de imagen usado cuando la información de imagen (corriente de bitios) comprimida por la transformada ortogonal tal como la transformada de coseno discreto y la compensación de movimiento como en MPEG y H.26x se recibe mediante un medio de red tal como la radiodifusión por satélite, una televisión por cable, el Internet, o un teléfono móvil. Además, la presente tecnología se puede aplicar a un dispositivo de codificación de imagen y un dispositivo de decodificación de imagen usada cuando el procesamiento se realiza en un medio de almacenamiento tal como un disco óptico, un disco magnético, o una memoria flash. Además, la presente tecnología se puede aplicar incluso a un dispositivo de predicción intra incluido en el dispositivo de codificación de imagen, el dispositivo de decodificación de imagen o los similares. 5. Quinta modalidad Aplicación a codificación de imagen de vista múltiple y decodificación de imagen de vista múltiple Una serie de procesos descrita anteriormente se puede aplicar a la codificación de imagen de vista múltiple y a la decodificación de imagen de vista múltiple. La figura 44 ilustra un esquema de codificación de imagen múltiple.
Como se ilustra en la figura 44, una imagen de vista múltiple incluye imágenes de una pluralidad de vistas. Una pluralidad de vistas de la imagen de vista múltiple incluye una vista base en la cual se realiza la codificación y la decodificación usando una imagen de su propia vista sin usar una imagen de otra vista y una vista no base en la cual se realiza la codificación y la decodificación usando una imagen de otra vista. Como una vista no base, una imagen de una vista base se puede usar, y una imagen de otra vista no base se puede usar.
Cuando la imagen de vista múltiple de la figura 44 se codifica o decodifica, una imagen de cada vista se codifica o decodifica, pero los métodos de acuerdo a las modalidades primera a cuarta se pueden aplicar para la codificación o la decodificación de cada vista. Como un resultado, es posible suprimir una reducción en la eficiencia de codificación de cada vista.
Además, las banderas o los parámetros usados en los métodos de acuerdo a las modalidades primera a cuarta se pueden compartir en la codificación y la decodificación de cada vista. Como un resultado, es posible suprimir la transmisión de información redundante y reducir una cantidad de información a transmitir (una cantidad de codificación) (esto es, es posible suprimir una reducción en la eficiencia de la codificación).
Más específicamente, por ejemplo, los elementos de sintaxis del conjunto del parámetro de secuencia, el nivel de escala del perfil, el conjunto del parámetro de imagen, y el encabezado de trozo se puede compartir en la codificación y la decodificación de cada vista.
Por supuesto, cualquier otra información necesaria también se puede compartir en la codificación y la decodificación de cada vista.
Dispositivo de codificación de imagen de vista múltiple La figura 45 es un diagrama que ilustra un dispositivo de codificación de imagen de vista múltiple que realiza la codificación de imagen de vista múltiple. Como se ilustra en la figura 45, un dispositivo 600 de codificación de imagen de vista múltiple incluye una unidad 601 de codificación, una unidad 602 de codificación y un multiplexor 603.
La unidad 601 de codificación codifica una imagen de vista base, y genera una corriente de imagen de vista base codificada. La unidad 602 de codificación codifica una imagen de vista base, y genera una corriente de imagen de vista no base, y genera una corriente de imagen de vista no base codificada. El multiplexor 603 multiplexa la corriente de imagen de vista base codificada generada en la unidad 601 de codificación y la corriente de imagen de vista no base codificada generada en la unidad de codificación, y genera una corriente de imagen de vista múltiple codificada.
El dispositivo 100 de codificación de imagen (figura 25) o el dispositivo 200 de codificación de imagen (figura 31) se puede aplicar a la unidad 601 de codificación y a la unidad 602 de codificación del dispositivo 600 de codificación de imagen de vista múltiple. En otras palabras, cuando se realiza el proceso de codificación basado en el perfil para la codificación de la imagen fija en la codificación de cada vista, es posible restringir el valor del elemento de sintaxis relacionado al proceso de ínter imagen, y es posible suprimir una reducción en la eficiencia de codificación de cada vista. Además, la unidad 601 de codificación y la unidad 602 de codificación puede realizar la codificación usando la misma bandera o el mismo parámetro (por ejemplo, el elemento de sintaxis relacionado al proceso de ínter imagen o los similares) (esto es, puede compartir la bandera o el parámetro), y por tanto es posible suprimir una reducción en la eficiencia de codificación.
Dispositivo de decodificación de imagen de vista múltiple La figura 46 es un diagrama gue ilustra un dispositivo de decodificación de imagen de vista múltiple gue decodifica la imagen de vista múltiple. Como se ilustra en la figura 46, un dispositivo 610 de decodificación de imagen de vista múltiple incluye un demultiplexor 611, una unidad 612 de decodificación y una unidad 613.
El demultiplexor 611 demultiplexa la corriente de imagen de vista multple codificada obtenida multiplexando la corriente de imagen de vista base codificada y la corriente de imagen de vista no base codificada, y extrae la corriente de imagen de vista base codificada y la corriente de imagen de vista no base codificada. La unidad 612 de decodificación decodifica la corriente de imagen de vista base codificada extraída por el demultiplexor 611, y obtiene la imagen de vista base. La unidad 613 de decodificación decodifica la corriente de imagen de vista no base codificada extraída por el demultiplexor 611, y obtener la imagen de vista no base.
El dispositivo 300 de decodificación de imagen (figura 34) o el dispositivo 400 de decodificación de imagen (figura 39) se puede aplicar a la unidad 612 de decodificación y a la unidad 613 de decodificación del dispositivo 610 de decodificación de imagen de vista múltiple. En otras palabras, cuando se realiza el proceso de codificación basad en el perfil para codificar la imagen fija en la codificación de cada vista, el elemento de sintaxis recibido relacionado al proceso de ínter imagen se puede analizar en el estado en que se restringe el valor. Además, la unidad 612 de decodificación y la unidad 613 de decodificación puede realizar la decodificación usando la misma bandera o el mismo parámetro (por ejemplo, el elemento de sintaxis relacionado al proceso de ínter imagen o los similares) (esto es, puede compartir la bandera o el parámetro), y por tanto es posible suprimir una reducción en la eficiencia de codificación. 6. Sexta modalidad Aplicación para codificación de imagen escalable y decodificación de imagen escalable Una serie de los procesos descritos anteriormente se puede aplicar a la codificación de imagen escalable y a la decodificación de imagen escalable (codificación escalable y decodificación escalable). La figura 47 ilustra un esquema de codificación de imagen escalable ejemplar.
En la codificación de imagen escalable (codificación escalable), una imagen se divide (jerarquiza) en una pluralidad de capas de modo que un parámetro predeterminado tiene una función de escalabilidad, y los datos de imagen se codifican para cada capa. La decodificación de imagen escalable (decodificación escalable) se decodifica correspondientemente a la codificación de imagen escalable.
Como se ilustra en la figura 47, en la jerarquización de imagen, una imagen se divide en una pluralidad de imágenes (capas) basada en un parámetro predeterminado que tiene una función de escalabilidad. En otras palabras, las imágenes jerarquizadas (imágenes escaladles) incluyen imágenes de una pluralidad de capas que difieren en el valor del parámetro predeterminado una de otra. La pluralidad de capas de las imágenes escalables incluye una capa base en que la codificación y la decodificación se realizan usando solo una imagen de su propia capa sin usar una imagen de otra capa y una capa no base (la cual también se refiere a ella como "capa de mejora") en que la codificación y la decodificación se realizan usando una imagen de otra capa. Como capa no base, se puede usar una imagen de la capa base, y se puede usar una imagen de cualquier otra capa no base.
Generalmente, la capa no base se configura con datos (datos diferenciales) de una imagen diferencial entre su propia imagen y una imagen de otra capa de modo que se reduce la redundancia. Por ejemplo, cuando una imagen se jerarquiza en dos capas, esto es, una capa base y una capa no base (la cual también se refiere a ella como una "capa de mejora"), una imagen de una calidad menor que una imagen original se obtiene cuando se usan los datos de la capa base, y una imagen original (esto es, una imagen de alta calidad) se obtiene cuando ambos datos de la capa base y los datos de la capa no base se combinan.
Conforme una imagen se jerarquiza como se describe anteriormente, imágenes de varias calidades se pueden obtener dependiendo de la situación. Por ejemplo, para una terminal que tiene una capacidad de procesamiento tal como un teléfono móvil, se transmite la información de compresión de imagen de solo la capa base, y se reproduce una imagen móvil de resoluciones espaciales y temporales bajas o una calidad baja, ya para una terminal que tiene una capacidad de procesamiento alta tal como una televisión o una computadora personal, se transmite información de compresión de imagen de la capa mejorada asi como la capa base, y se reproduce una imagen de movimiento de resoluciones espaciales y temporales altas o una calidad alta. En otras palabras, sin realizar el proceso de transcodificación, la información de compresión de imagen de acuerdo a una capacidad de una terminal o una red se puede transmitir desde un servidor.
Cuando una imagen escalable se codifica o decodifica como en el ejemplo de la figura 47, una imagen de cada capa se codifica o decodifica, pero los métodos de acuerdo a las modalidades primera a cuarta se pueden aplicar para codificar o decodificar cada capa. Como un resultado, es posible suprimir una reducción en la eficiencia de codificación de cada capa.
Además, en la codificación y decodificación de cada capa, la bandera o el parámetro usado en los métodos de acuerdo a las modalidades primera a cuarta se puede compartir. Como un resultado, es posible suprimir la transmisión de información redundante y reducir una cantidad de información a transmitir (una cantidad de codificación) (esto es, es posible suprimir una reducción en la eficiencia de codificación).
Más específicamente, por ejemplo, el elemento de sintaxis del conjunto del parámetro de secuencia, el nivel de perfil de escala, el conjunto del parámetro de imágenes, y el trozo de encabezado se puede compartir en la codificación y en la decodificación de cada capa.
Por supuesto, cualquier otra información necesaria también se puede compartir en la codificación y en la decodificación de cada capa.
Parámetro escalable En la codificación de la imagen escalable y en la decodificación de la imagen escalable (codificación escalable y la decodificación escalable), un parámetro que tiene una función de escalabilidad es arbitrario. Por ejemplo, una resolución espacial ilustrada en la figura 48 se puede usar como el parámetro (escalabilidad espacial). En el caso de la escalabilidad espacial, las capas respectivas tienen diferentes resoluciones. En otras palabras cada imagen se jerarquiza en dos capas, esto es, una capa base de una resolución espacialmente menor que la de una imagen original y una capa mejorada que se combina con una imagen de la capa base para obtener una imagen original (una resolución espacial original) como se ilustra en la figura 48. Por supuesto, el número de capas es un ejemplo, y cada imagen se puede jerarquizar en un número arbitrario de capas.
Como otro parámetro que tiene tal escalabilidad, por ejemplo, hay uná resolución temporal como se ilustra en la figura 49 (escalabilidad temporal). En el caso de la escalabilidad temporal, ‘ las capas respectivas tienen diferentes velocidades de cuadro. En otras palabras, en este caso, cada imagen se jerarquiza en capas que tienen diferentes velocidades de cuadro, una imagen móvil de una velocidad de cuadro alta se puede obtener combinando una capa de una velocidad de cuadro alta con una capa de una velocidad de cuadro baja, y una imagen móvil original (una velocidad de cuadro original) se puede obtener combinando todas las capas como se ilustra en la figura 49. El número de capas es un ejemplo, y cada imagen se puede jerarquizar en un número arbitrario de capas.
Además, como otro parámetro que tiene tal escalabilidad, por ejemplo, hay una relación señal a ruido (SNR) (escalabilidad -SNR). En el caso de la escalabilidad SNR, las capas respectivas tienen diferentes relaciones SN. En otras palabras, en este caso, cada imagen se jerarquiza en dos capas, esto es, una capa base de una SNR menor que la de una imagen original y una capa mejorada que se combina con una imagen de la capa base para obtener una imagen original (una SNR original) como se ilustra en la figura 50. En otras palabras, para la información de compresión de imagen de capa base, se transmite la información relacionada a una imagen de una PSNR baja, y se puede reconstruir una imagen PSNR alta combinando la información con la información de compresión de imagen de capa mejorada. Por supuesto, el número de capas es un ejemplo, y cada imagen se puede jerarguizar en un número arbitrario de capas.
Además, como otro parámetro gue tiene tal escalabilidad, por ejemplo, por ejemplo, hay una relación señal a ruido (SNR) (escalabilidad SNR). En el caso de la escalabilidad SNR, las capas respectivas tienen diferentes relaciones SN. en otras palabras, en este caso, cada imagen se jerarquiza en dos capas, esto es, una capa base de una SNR menor que de una imagen original y una capa mejorada que se combina con una imagen de la capa base para obtener una imagen original (una SNR original) como se ilustra en la figura 50. En otras palabras, para la información de compresión de imagen de capa base, se transmite la información relacionada a una imagen de una PSNR baja, y una imagen PSNR alta se puede reconstruir combinando la información con la información de compresión de la imagen capa mejorada. Por supuesto, el número de capas es un ejemplo, y cada imagen se puede jerarquizar en un número arbitrario de capas.
Se puede aplicar un parámetro otro que el de los ejemplos descritos anteriormente como un parámetro que tiene escalabilidad. Por ejemplo, hay escalabilidad de bitios profunda en que la capa base incluye una imagen de 8 bitios, y una imagen de 10 bitios se puede obtener añadiendo la capa mejorada a la capa base.
Además, hay escalabilidad croma en que la capa base incluye una imagen de componente de un formato 4:2:0, y una imagen de componente de un formato 4:2:2 se puede obtener añadiendo la capa mejorada a la capa base.
Dispositivo de codificación de imagen escalable La figura 51 es un diagrama que ilustra un dispositivo de codificación de imagen escalable que realiza la codificación de imagen escalable. Como se ilustra en la figura 51, un dispositivo 620 de codificación de imagen escalable incluye una unidad 621 de codificación, una unidad 622 de codificación, y un multiplexor 623.
La unidad 621 de codificación codifica una imagen de la capa base, y genera una corriente de imagen de la capa base codificada. La unidad 622 de codificación codifica una imagen de la capa no base, y genera una corriente de imagen de la capa no base codificada. El multiplexor 623 multiplexa la corriente de imagen de la capa base codificada generada en la unidad 621 de codificación y la corriente de imagen de la capa no base codificada generada en la unidad 622 de codificación, y genera una corriente de imagen escalable codificada.
El dispositivo 100 de codificación de imagen (figura 25) o el dispositivo 200 de codificación de imagen (figura 31) se puede aplicar a la unidad 621 de codificación y a la unidad 622 de codificación del dispositivo 620 de codificación de imagen escalable. En otras palabras, cuando el proceso de codificación se realiza basado en el perfil para la codificación de la imagen fija en la codificación de cada capa, es posible restringir el valor del elemento de sintaxis relacionado al proceso de Ínter imagen, y es posible suprimir una reducción en la eficiencia de codificación de cada capa. Además, por ejemplo, la unidad 621 de codificación y la unidad 622 de codificación pueden controlar el proceso de filtrado de la predicción intra usando la misma bandera o el mismo parámetro (por ejemplo, el elemento de sintaxis relacionado al proceso de ínter imagen o los similares) (esto es, puede compartir la bandera o el parámetro), y por tanto es posible suprimir una reducción en la eficiencia de codificación.
Dispositivo de decodificación de imagen escalable La figura 52 es un diagrama que ilustra un dispositivo de decodificación de imagen escalable que realiza la decodificación de imagen escalable. Como se ilustra en la figura 52, un dispositivo 630 de decodificación de imagen escalable incluye un demultiplexor 631, una unidad 632 de decodificación y una unidad 633 de decodificación.
El demultiplexor 631 demultiplexa la corriente de imagen escalable codificada obtenida mulriplexando la corriente de imagen de la capa base codificada y la corriente de imagen de la capa no base codificada, y extrae la corriente de imagen de capa base codificada y la corriente de imagen de la capa no base codificada. La unidad 632 de decodificación decodifica la corriente de imagen de la capa base codificada extraída por el demultiplexor 631, y obtiene la imagen de capa base. La unidad 633 de decodificación decodifica la corriente de imagen de la capa no base codificada extraída por el demultilpexor 631, y obtiene la imagen de la capa no base.
El dispositivo 300 de decodificación de imagen (figura 34) o el dispositivo 400 de decodificación de imagen (figura 39) se pueden aplicar a la unidad 632 de decodificación y a la unidad 633 de decodificación del dispositivo 630 de decodificación de imagen escalable. En otras palabras, cuando se realiza el proceso de codificación basado en el perfil para la codificación de la imagen fija en la decodificación de cada capa, es posible analizar los elementos de sintaxis recibidos relacionados al proceso de ínter imagen en el estado en que se restringe el valor, y es posible suprimir una reducción en la eficiencia de codificación de cada capa. Además, la unidad 612 de decodificación y la unidad 613 de decodificación pueden realizar la decodificación usando la misma bandera o el mismo parámetro (por ejemplo, los elementos de sintaxis relacionados al proceso de ínter imagen o los similares) (esto es, pueden compartir la bandera o el parámetro), y por tanto es posible suprimir una reducción en la eficiencia de codificación.
Por ejemplo, la presente teenología puede aplicar a un dispositivo de codificación de imagen y un dispositivo de decodificación de imagen usado cuando la información de imagen (corriente de bitios) comprimida por la transformada ortogonal tal como la transformada de coseno discreta y la compensación de movimiento como en MPEG y H.26x se recibe mediante un medio de red tal como radiodifusión por satélite, una televisión por cable, el Internet, o un teléfono móvil. Además, la presente tecnología se puede aplicar a un dispositivo de codificación de imagen y a un dispositivo de decodificación de imagen usado cuando se realiza el procesamiento en un medio de almacenamiento tal como un disco óptico, un disco magnético, o una memoria flash. Además, la presente tecnología se puede aplicar incluso a un dispositivo de cuantificación o a un dispositivo de cuantificación inverso incluido en el dispositivo de codificación de imagen, el dispositivo de decodificación de imagen, o los similares. 7. Séptima modalidad Computadora Una serie de procesos descritos anteriormente se pueden ejecutar por el hardware o el software. Cuando las series de procesos se ejecutan por el software, un programa que configura el software se instala en una computadora. Aquí, los ejemplos de la computadora incluyen una computadora incorporada en el hardware dedicado y una computadora personal de propósito general que incluye varios programas instalados en la misma y es capaz de ejecutar varios tipos de funciones.
La figura 53 es un diagrama de bloques que ilustra una configuración del hardware ejemplar de una computadora que ejecuta las series descritas anteriormente del proceso por un programa.
En una computadora 800 ilustrada en la figura 53, una unidad 801 de procesamiento central (CPU), una memoria 802 de solo lectura (ROM), y una memoria (803) de acceso al azar (RAM)se conectan con otra mediante un puerto 804.
Una interfaz 810 entrada/salida (1/0) también se conecta al puerto 804. Una unidad 811 de entrada, una unidad 812 de salida, una unidad 813 de almacenamiento, una unidad 814 de comunicación y un controlador 815 se conectan a la interfaz 810 de entrada/salida.
Por ejemplo, la unidad 811 de entrada incluye un teclado, un ratón, un micrófono, un panel táctil, una terminal de entrada, y los similares. Por ejemplo, la unidad 812 de salida incluye una pantalla, un altavoz, una terminal de salida, y los similares. Por ejemplo, la unidad 813 de almacenamiento incluye un disco duro, un disco RAM, una memoria no volátil, y los similares. Por ejemplo, la unidad 814 de comunicación incluye una interfaz de red. El controlador 815 controla un medio 821 removible tal como un disco magnético, un disco óptico, un disco magneto-óptico, o una memoria semiconductora.
En la computadora que tiene la configuración anterior, la CPU 801 ejecuta las series de procesos descritas anteriormente, por ejemplo, cargando el programa almacenado en la unidad 813 de almacenamiento en la RAM 803 a través de la interfaz 810 de entrada/salida y el puerto 804 y ejecutar el programa. La RAM 803 también se almacena apropiadamente, por ejemplo, los datos necesarios cuando la CPU 801 ejecuta varios tipos de procesos.
Por ejemplo, el programa ejecutado por la computadora (la CPU 801) se puede grabar y aplicar en el medio 821 removible como un medio de paquete o los similares. Además, el programa se puede proporcionar a través de un medio de transmisión alámbrico o inalámbrico tal como una red de área local (LAN), el Internet, o la radiodifusión de satélite digital.
En la computadora, el medio 821 removible se monta al controlador 815, y entonces el programa se puede instalar en la unidad 813 de almacenamiento a través de la interfaz 810 de entrada/salida. Además, el programa se puede recibir por la unidad 814 de comunicación mediante un medio de transmisión alámbrico o inalámbrico y entonces se instala en la unidad 813 de almacenamiento. Además, el programa se puede instalar en la ROM 802 o en la unidad 813 de almacenamiento por adelantado.
Además, el programa puede ser un programa en que el proceso se realiza cronológicamente en el orden descrito en la presente especificación o puede ser un programa en que el proceso se realiza en paralelo o en tiempos necesarios tales como los tiempos llamados.
Además, en la presente especificación, los pasos describen un programa grabado en un medio de grabación incluye no solo procesos realizados cronológicamente de acuerdo a una orden descrita pero también los procesos que no se procesan cronológicamente necesariamente pero se realizan en paralelo o individualmente.
Además, en la presente especificación, un sistema significa un conjunto de dos o más elementos de configuración (dispositivos, módulos (partes), o los similares) independientemente de si o no todos los elementos de configuración se disponen en una sola vivienda. Por tanto, tanto una pluralidad de dispositivos que se acomodan en viviendas separadas y se conectan mediante una red y un solo dispositivo en que una pluralidad de módulos se acomodan en una sola vivienda son sistemas.
Además, una configuración descrita como un dispositivo (o una unidad de procesamiento) se puede dividir en una pluralidad de dispositivos (o unidades de procesamiento). A la inversa, una configuración descrita como una pluralidad de dispositivos (o unidades de procesamiento) se puede integrar en un dispositivo (o unidad de procesamiento). Además, una configuración otra que la configuración descrita anteriormente se puede añadir a una configuración de cada dispositivo (o cada unidad de procesamiento). Además, cuando una configuración o una operación en un sistema completo es sustancialmente la misma, un aparte de una configuración de un cierto dispositivo (o unidad de procesamiento se puede incluir en una configuración de otro dispositivo (u otra unidad de procesamiento.
Las modalidades preferidas de la presente descripción se han descrito anteriormente en detalle con referencia a los dibujos adjuntos, mientras que la cercanía téenica de la presente descripción no se limita a los ejemplos anteriores. Una persona hábil en el arte de la presente descripción puede encontrar varias alteraciones y modificaciones dentro de la cercanía de las reivindicaciones adjuntas, y debe entender que estarán naturalmente bajo la cercanía técnica de la presente descripción.
Por ejemplo, la presente tecnología puede tener una configuración de computación en la nube en que una pluralidad de dispositivos comparte y procesa una función juntas mediante una red.
Además, los pasos descritos en los diagramas de flujo anteriores se pueden ejecutar por un solo dispositivo o se puede compartir o ejecutar por una pluralidad de dispositivos.
Además, cuando una pluralidad de procesos se incluye en un solo paso, la pluralidad de procesos incluidos en el solo paso se puede ejecutar por un solo dispositivo o se pueden compartir y ejecutar por una pluralidad de dispositivos.
Los dispositivos de codificación de imagen y los dispositivos de decodificación de imagen de acuerdo a las modalidades anteriores se pueden aplicar a radiodifusión por satélite, radiodifusión por cable tal como televisiones por cable, transmisores o receptores en el transporte en el Internet o el transporte a las terminales por comunicaciones de celular, dispositivos de grabación que graban en un medio tal como un disco óptico, un disco magnético, o una memoria flash, o varios dispositivos electrónicos tales como dispositivos de reproducción que reproducen imágenes desde un medio de almacenamiento. Se describirán cuatro ejemplos de aplicación a continuación. 8. Ejemplos de aplicación Primer ejemplo de aplicación: receptor de televisión La figura 54 ilustra una configuración esquemática ejemplar de un dispositivo de televisión al que se aplica la modalidad anterior. Un dispositivo 900 de televisión incluye una antena 901, un sintonizador 902, un demultiplexor 903, un decodificador 904, una unidad 905 de procesamiento de señal de video, una unidad 906 de pantalla, una unidad 907 de procesamiento de señal de audio, un altavoz 908, una interfaz 909 externa, una unidad 910 de control, una interfaz 911 del usuario, y un puerto 912.
El sintonizador 902 extrae una señal de un canal deseado desde una señal de radiodifusión recibida a través de la antena 901, y desmodula una señal extraída. Además, el sintonizador 902 emite y codifica la corriente de bitios obtenida por la desmodulación al demultiplexor 903. En otras palabras, el sintonizador 902 recibe y codifica la corriente que incluye una imagen codificada, y los servidores como una unidad de transmisión en el dispositivo 900 de televisión.
El demultiplexor 903 demultiplexa una corriente de video y una corriente de audio de un programa de un objetivo de visualización desde una corriente de bitios codificada, y emite cada corriente de multiplexada al decodificador 904. Además, el demultiplexor 903 extrae los datos auxiliares tal como una guía de programa electrónica (EPG) desde la corriente de bitios codificada, y suministra los datos extraídos a la unidad 910 de control. Además, cuando la corriente de bitios codificada se ha codificado, el demultiplexor 903 se puede decodificar.
El decodificador 904 decodifica la entrada de corriente de video y la corriente de audio desde el demultiplexor 903. El decodificador 904 emite datos de video generados por el proceso de decodificación a la unidad 905 de procesamiento de señal de video. Además, el decodificador 904 emite los datos de audio generados por el proceso de decodificación a la unidad 907 de procesamiento de señal de audio.
La unidad 905 de procesamiento de señal de video reproduce la entrada de datos de video desde el decodificador 904, y hace que un video se visualice en la unidad 906 de pantalla. Además, la unidad 905 de procesamiento de señal de video puede hacer que una pantalla de aplicación suministrada mediante una red a visualizar en la unidad 906 de pantalla. La unidad 905 de procesamiento de señal de video puede realizar un proceso adicional tal como un proceso de reducción de ruido en los datos de video de acuerdo a un ajuste. La unidad 905 de procesamiento de video puede generar una imagen de una interfaz de usuario gráfica (GUI) tal como un menú, un botón, o un cursor y hace que la imagen generada se superponga en una imagen de salida.
La unidad 906 de pantalla se impulsa por una señal del controlador suministrada desde la unidad 905 de procesamiento de señal de video, y visualiza un video o una imagen en un plano de video de un dispositivo de pantalla (por ejemplo, una pantalla de cristal liquido (LCD), una pantalla de plasma, o una pantalla electroluminiscente (OLED) (una pantalla EL orgánica)).
La unidad 907 de procesamiento de señal de audio realiza un proceso de reproducción tal como conversión D/A y amplificación en la entrada de datos de audio desde el decodificador 904, y emite un sonido a través del altavoz 908. La unidad 907 de procesamiento de señal de audio puede realizar un proceso adicional tal como un proceso de reducción de ruido sobre los datos de audio.
La interfaz 909 externa es una interfaz para conectar el dispositivo 900 de televisión con un dispositivo externo o una red. Por ejemplo, la corriente de video o la corriente de audio recibida a través de la interfaz 900 externa se puede decodificar por el decodificador 904. En otras palabras, la interfaz 909 externa también toma una unidad de transmisión del dispositivo 900 de televisión que recibe una corriente codificada que incluye una imagen de codificada.
La unidad 910 de control incluye un procesador tal como una CPU y una memoria tal como una RAM o una ROM. Por ejemplo, la memoria almacena un programa ejecutado por la CPU, los datos del programa, los datos EPG, y los datos adquiridos mediante una red. Por ejemplo, el programa almacenado en la memoria se lee y ejecuta por la CPU cuando se activa el dispositivo 900 de televisión. La CPU ejecuta el programa, y controla una operación del dispositivo 900 de televisión, por ejemplo, de acuerdo a una entrada de señal de operación desde la interfaz 911 del usuario.
La interfaz 911 del usuario se conecta con la unidad 910 de control. Por ejemplo, la interfaz 911 del usuario incluye un botón y un interruptor usado cuando el usuario opera el dispositivo 900 de televisión y una unidad de recepción recibe una señal de control remoto. La interfaz 911 del usuario detecta la operación del usuario a través de los componentes, genera una señal de operación, y emite la señal de operación generada a la unidad 910 de control.
El puerto 912 conecta el sintonizador 902, el demultiplexor 903, el decodificador 904, la unidad 905 de procesamiento de señal de video, la unidad 907 de procesamiento de señal de audio, la interfaz 909 externa, y la unidad 910 de control una con otra.
En el dispositivo 900 de televisión que tiene la configuración anterior, el decodificador 904 tiene la función del dispositivo 300 de decodificación de imagen (figura 34) o el dispositivo 400 de decodificación de imagen (figura 39) de acuerdo a la modalidad anterior. Por tanto, cuando se decodifica una imagen en el dispositivo 900 de televisión, es posible suprimir una reducción en la eficiencia de codificación.
Segundo ejemplo de aplicación: teléfono móvil La figura 55 ilustra una configuración esquemática ejemplar de un teléfono móvil al que se aplican las modalidades anteriores. Un teléfono 920 móvil incluye una antena 921, una unidad 922 de comunicación, un códec 923 de audio, un altavoz 924, un micrófono 925, una unidad 926 de cámara, una unidad 927 de procesamiento de imagen, una unidad 928 de multiplexión/separación, una unidad 929 de grabación/reproducción, una unidad 930 de pantalla, una unidad 931 de control, una unidad 932 de operación y un puerto 933.
La antena 921 se conecta a la unidad 922 de comunicación. El altavoz 924 y el micrófono 925 se conectan al códec 923 de audio. La unidad 932 de operación se conecta a la unidad 931 de control. El puerto 933 conecta la unidad 922 de comunicación, el códec 923 de audio, la unidad 926 de cámara, la unidad 927 de procesamiento de imagen, la unidad 928 de multiplexión/separación, la unidad 929 de grabación reproducción, la unidad 930 de pantalla y la unidad 931 de control una con otra.
El teléfono 920 móvil realiza operaciones tal como transmisión y recepción de una señal de audio, la transmisión y recepción de un correo electrónico o datos de imagen, proyección de imagen, y datos grabados en varios modos de operación tal como un modo de llamada de voz, un modo de comunicación de datos, un modo de fotografía y un modo de teléfono de video.
En el modo de llamada de voz, una señal de audio análoga generada por el micrófono 925 se suministra al códec 923 de audio. El códec 923 de audio convierte la señal de audio análoga en datos de audio, y realiza la conversión A/D y la compresión en los datos de audio convertidos. Entonces, el códec 923 de audio emite los datos de audio comprimidos a la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula los datos de audio, y genera una señal de transmisión. Entonces, la unidad 922 de comunicación transmite la señal de transmisión generada a una estación base (no ilustrada) a través de la antena 921. Además, la unidad 922 de comunicación amplifica una señal inalámbrica recibida a través de la antena 921, realiza la transformada de frecuencia, y adquiere una señal de recepción. Entonces, la unidad 922 de comunicación desmodula y decodifica la señal de recepción, genera datos de audio, y emite los datos de audio generados al códec 923 de audio. El códec 923 de audio descomprime los datos de audio, realiza la conversión D/A, y genera una señal de audio análoga. Entonces, el códec 923 de audio suministra la señal de audio generada al altavoz 924 de modo que un sonido se emite.
Además, en el modo de comunicación de datos, por ejemplo, la unidad 931 de control genera datos de texto que configuran un correo electrónico de acuerdo a la operación del usuario realizada a través de la unidad 932 de operación. La unidad 931 de control hace que un texto se visualice en la unidad 930 de pantalla. La unidad 931 de control genera datos de correo electrónicos de acuerdo a una instrucción de transmisión dada por el usuario a través de la unidad 932 de operación, y emite los datos de correo electrónico generados a la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula los datos de correo electrónico, y genera una señal de transmisión. Entonces, la unidad 922 de comunicación transmite la señal de trasmisión generada a la estación base (no ilustrada) a través de la antena 921. Además, la unidad 922 de comunicación amplifica una señal inalámbrica recibida a través de la antena 921, realiza la transformada de frecuencia, y adquiere una señal de recepción. Entonces, la unidad 922 de comunicación desmodula y decodifica la señal de recepción, restaura datos de correo electrónico, y emite los datos de correo electrónico restaurados a la unidad 931 de control. La unidad 931 de control hace que el contenido del correo electrónico se visualice en la unidad 930 de pantalla, y almacena los datos de correo electrónico en un medio de almacenamiento de la unidad 929 de grabación/reproducción.
La unidad 929 de grabación/reproducción incluye un medio de almacenamiento leible/grabable. Por ejemplo, el medio de almacenamiento puede ser un medio de almacenamiento incorporado tal como una RAM o una memoria flash o un medio de almacenamiento removible tal como un disco duro, un disco magnético, un disco magneto-óptico, un disco óptico, una memoria de puerto de serie universal (USB) o una tarjeta de memoria.
En el modo de fotografía, por ejemplo, la unidad 926 de cámara visualiza un sujeto, genera datos de imagen, y emite los datos de imagen generada a la unidad 927 de procesamiento de imagen. La unidad 927 de procesamiento de imagen codifica la entrada de datos de imagen desde la unidad 926 de cámara, y almacena la corriente codifica en un medio de almacenamiento de la unidad 929 de grabación/reproducción.
En el modo de teléfono de video, por ejemplo, la unidad 928 de multiplexión/separación multiplexa la corriente de video codificada por la unidad 927 de procesamiento de imagen y la entrada de corriente de audio desde el códec 923 de audio, y emite la corriente multiplexada a la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula la corriente, y genera una señal de transmisión. Entonces, la unidad 922 de comunicación transmite la señal de transmisión generada a una estación base (no ilustrada) a través de la antena 921. Además, la unidad 922 de comunicación amplifica una señal inalámbrica recibida a través de la antena 921, realiza la transformada de frecuencia, y adquiere una señal de recepción. La señal de transmisión y la señal de recepción pueden incluir una corriente de bitios codificada. Entonces, la unidad 922 de comunicación desmodula y decodifica la señal de recepción, y restaura una corriente, y emite la corriente a la unidad 928 de multiplexión/separación. La unidad 928 de multiplexión/separación separa una corriente de video y una corriente de audio desde la corriente de entrada, y emite la corriente de video y la corriente de audio a la unidad 927 de procesamiento de imagen y al códec 923 de audio, respectivamente. La unidad 927 de procesamiento de imagen decodifica la corriente de video, y genera datos de video. Los datos de video se suministran a la unidad 930 de pantalla, y una serie de imágenes se visualizan por la unidad 930 de pantalla. El códec 923 de audio descomprime la corriente de audio, realiza la conversión D/A, y genera una señal de audio análoga. Entonces, el códec 923 de audio suministra la señal de audio generada al altavoz 924 de modo que un sonido se emite.
En el teléfono 920 móvil que tiene la configuración anterior, la unidad 927 de procesamiento de imagen tiene la función del dispositivo 100 de codificación de imagen (figura 25), el dispositivo 200 de codificación de imagen (figura 31), el dispositivo 300 de decodificación de imagen (figura 34), o el dispositivo 400 de decodificación de imagen (figura 39) de acuerdo a la modalidad anterior. Por tanto, cuando el teléfono 920 móvil codifica y decodifica una imagen, es posible suprimir una reducción en la eficiencia de codificación.
Tercer ejemplo de aplicación: dispositivo de grabación/reproducción La figura 56 ilustra una configuración esquemática ejemplar de un dispositivo de grabación/reproducción al que se aplica la modalidad anterior. Por ejemplo, un dispositivo 940 de grabación/reproducción codifica datos de audio y datos de video de un programa de radiodifusión recibido, y graba los datos codificados en un medio de grabación. Por ejemplo, el dispositivo 940 grabación/reproducción puede codificar datos de audio y datos de video adguiridos de otro dispositivo y graba los datos codificados en un medio de grabación. Por ejemplo, el dispositivo 940 de grabación/reproducción reproduce datos grabados en un medio de grabación a través de un monitor y un altavoz de acuerdo a la instrucción del usuario. En este momento, el dispositivo 940 de grabación/reproducción decodifica los datos de audio y los datos de video.
El dispositivo 940 de grabación/reproducción incluye un sintonizador 941, una interfaz 942 externa, un codificador 943, un controlador 944 de disco duro (HDD), un controlador 945 de disco, un selector 946, un decodificador, una visualización en pantalla 948 (OSD), una unidad 949 de control, y una interfaz 950 del usuario.
El sintonizador 941 extrae una señal de un canal deseado desde una señal de radiodifusión recibida a través de una antena (no ilustrada), y desmodula la señal extraída. Entonces, el sintonizador 941 emite una corriente de bitios obtenida por la desmodulación al selector 946. En otras palabras, el sintonizador 941 toma una unidad de transmisión en el dispositivo 940 de grabación/reproducción.
La interfaz 942 externa es una interfaz para conectar el dispositivo 940 de grabación/reproducción con un dispositivo externo o una red. Por ejemplo, la interfaz 942 externa puede ser una interfaz IEEE1394, una interfaz de red, una interfaz USB, o una interfaz de memoria flash. Por ejemplo, datos de video y datos de audio recibidos mediante la interfaz 942 externa se introducen al codificador 943. En otras palabras, la interfaz 942 externa toma una unidad de transmisión en el dispositivo 940 de grabación/reproducción.
Cuando no se codifican los datos de video y la entrada de datos de audio desde la interfaz externa, el codificador 943 codifica los datos de video y los datos de audio. Entonces, el codificador 943 emite una corriente de bitios codificada al selector 946.
El HDD 944 graba una corriente de bitios codificada en la cual los datos contenidos tales como un video o un sonido se comprimen, varios tipos de programas, y otros datos en el disco duro externo. El HDD 944 lee los datos desde el disco duro cuando se reproduce un video o un sonido.
El controlador 945 del disco graba o lee datos en o desde un medio de grabación montado en el controlador 945 del disco puede ser un disco de DVD (Video DVD, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW, o los similares), un disco Blu-ray (una marca registrada), o los similares.
Cuando un video o un sonido se graba, el selector 946 selecciona una entrada de corriente de bitios codificada desde el sintonizador 941 al codificador 943, y emite la corriente de bitios codificada seleccionada al HDD 944 o al controlador 945 del disco. Además, cuando se reproduce un video o un sonido, el selector 946 emite una entrada corriente de bitios codificada desde el HDD 944 o del controlador 945 de disco al decodificador 947.
El decodificador 947 decodifica la corriente de bitios codificada, y genera datos de video y datos de audio. Entonces, el decodificador 947 emite los datos de video generados al OSD 948. El decodificador 947 emite los datos de audio generados a un altavoz externo.
El OSD 948 reproduce la entrada de datos de video desde el decodificador 947, y visualiza un video. Por ejemplo, el OSD 948 puede hacer que una imagen de una GUI tal como un menú, un botón, o un cursor a superponer en un video visualizado.
La unidad 949 de control incluye un procesador tal como una CPU y una memoria tal como una RAM o una ROM. La memoria almacena un programa ejecutado por la CPU, datos de programa, y los similares. Por ejemplo, el programa almacenado en la memoria se lee y ejecuta por la CPU cuando se activa el dispositivo 940 de grabación/reproducción. La CPU ejecuta el programa, y controla una operación del dispositivo 940 de grabación/reproducción, por ejemplo, de acuerdo a una entrada de señal de operación desde la interfaz 950 del usuario.
La interfaz del usuario se conecta con la unidad 949 de control. Por ejemplo, la interfaz 950 del usuario incluye un botón y un interruptor usado cuando el usuario opera el dispositivo 930 de grabación/reproducción y una unidad de recepción que recibe una señal de control remoto. La interfaz 950 del usuario detecta la operación del usuario a través de los componentes, genera una señal de operación y emite la señal de operación generada a la unidad 949 de control.
En el dispositivo 940 de grabación reproducción que tiene la configuración anterior, el codificador 943 tiene la función del dispositivo 100 de codificación de imagen (figura 25) o el dispositivo 200 de codificación de imagen (figura 31) de acuerdo a la modalidad anterior. El decodificador 947 tiene la función del dispositivo 300 de decodificación de imagen (figura 34) o el dispositivo 400 de decodificación de imagen (figura 39) de acuerdo a la modalidad anterior. Por tanto, cuando el dispositivo 940 de grabación/reproducción codifica y decodifica una imagen, es posible suprimir una reducción en la eficiencia de codificación.
Cuarto ejemplo de aplicación: dispositivo de visualización La figura 57 ilustra una configuración esquemática ejemplar de un dispositivo de visualización al que se aplica la modalidad anterior. Un dispositivo de visualización visualiza un sujeto, genera una imagen, codifica los datos de imagen, y graba los datos de imagen en un medio de grabación.
El dispositivo 960 de visualización incluye un bloque 961 óptico, una unidad 962 de visualización, una unidad 963 de procesamiento de señal, una unidad 964 de procesamiento de imagen, una unidad 965 de pantalla, una interfaz 966 externa, una memoria 967, un controlador 968 de medios, una OSD 969, una unidad 970 de control, una interfaz 971 del usuario y un puerto 972.
El bloque 961 óptico se conecta a la unidad 962 de visualización. La unidad 962 de visualización se conecta a la unidad 963 de procesamiento de señal. La unidad 965 de visualización se conecta a la unidad 964 de procesamiento de imagen. La interfaz 971 del usuario se conecta a la unidad 970 de control. El puerto 972 conecta a la unidad 964 de procesamiento de imagen, a la interfaz 966 externa, a la memoria 967, al controlador 968 de medios, a la OSD 968 y a la unidad 970 de control una con otra.
El bloque 961 óptico incluye un lente de foco, un mecanismo de diafragma, y los similares. El bloque 961 óptico forma una imagen óptica de un sujeto en un plano de visualización de la unidad 962 de visualización. La unidad 962 de visualización incluye un sensor de imagen del dispositivo de carga acoplada (CCD) o un sensor de imagen de semiconductor de óxido de metal complementario (CMOS), o los similares, y convierte la imagen óptica formada en el plano de visualización en una señal de imagen que sirve como una señal eléctrica por conversión fotoeléctrica. Entonces la unidad 962 de visualización emite la señal de imagen a la unidad 963 de procesamiento de señal.
La unidad 963 de procesamiento de señal realiza varios tipos de procesos de señal de cámara tales como corrección de rodilla, corrección gama, y corrección de color en la entrada de señal de imagen desde la unidad 962 de visualización. La unidad 963 de procesamiento de señal emite los datos de imagen que se han sujetado al proceso de señal de cámara a la unidad 964 de procesamiento de imagen.
La unidad 964 de procesamiento de imagen codifica la entrada de datos de imagen desde la unidad 963 de procesamiento de señal, y genera datos codificados. Entonces, la unidad 964 de procesamiento de imagen emite los datos codificados generados a la interfaz 966 externa o al controlador 968 de los medios. Además, la unidad 964 de procesamiento de imagen decodifica la entrada de datos codificados desde la interfaz 966 externa o desde el controlador 968 de los medios, y genera datos de imagen. Entonces, la unidad 964 de procesamiento de imagen emite los datos de imagen generados a la unidad 965 de pantalla. La unidad 964 de procesamiento de imagen puede emitir la entrada de datos de imagen desde la unidad 963 de procesamiento de señal a la unidad 965 de pantalla de modo que se visualiza una imagen. La unidad 964 de procesamiento de imagen puede hacer que los datos de pantalla adquiridos desde la OSD 969 a superponer en una imagen emitida a la unidad 965 de pantalla.
La OSD 969 genera una imagen de una GUI tal como un menú, un botón, o un cursor, y emite la imagen generada a la unidad 964 de procesamiento de imagen.
Por ejemplo, la interfaz 966 externa se configura como una terminal 1/0 USB. Por ejemplo, la interfaz 966 externa conecta al dispositivo 960 de visualización con una impresora cuando se imprime una imagen. Además, un controlador se conecta a la interfaz 966 externa según sea necesario. Por ejemplo, un medio removible tal como un disco magnético o un disco óptico se puede montar en el controlador, y un programa leído desde el medio removible se puede instalar en el dispositivo 960 de visualización. Además, la interfaz 966 externa se puede configurar como una interfaz de red conectada a una red tal como una LAN o el Internet. En otras palabras, la interfaz 966 externa toma una unidad de transmisión en el dispositivo 960 de visualización.
El medio de grabación montado en el controlador 968 de los medios puede ser un medio removible leíble/grabable arbitrario tal como un disco magnético, un disco magneto-óptico, un disco óptico, o una memoria semiconductora. Además, un medio de grabación se puede montar fijamente en el controlador 968 del medio, y por ejemplo, se pueden configurar una unidad de almacenamiento no transitoria tal como un controlador del disco duro incorporado o un controlador de estado sólido (SSD).
La unidad 970 de control incluye un procesador tal como una CPU y una memoria tal como una RAM o una ROM. Por ejemplo, la memoria almacena un programa ejecutado por la CPU, los datos del programa, y los similares. Por ejemplo, el programa almacenado en la memoria se lee y ejecuta por la CPU cuando se activa el dispositivo 960 de visualización. La CPU ejecuta el programa, y controla una operación del dispositivo 960 de visualización, por ejemplo, de acuerdo a una entrada de señal de operación desde la interfaz 971 del usuario.
La interfaz 971 del usuario se conecta con la unidad 970 de control. Por ejemplo, la interfaz 971 del usuario incluye un botón, un interruptor, o los similares que se usan cuando el usuario opera el dispositivo 960 de visualización. La interfaz 971 del usuario detecta la operación del usuario a través de los componentes, genera una señal de operación, y emite la señal de operación generada a la unidad 970 de control.
En el dispositivo 960 de visualización que tiene la configuración anterior, la unidad 964 de procesamiento de imagen tiene la función del dispositivo 100 de codificación de imagen (figura 25), el dispositivo 200 de codificación de imagen (figura 31), el dispositivo 300 de decodificación de imagen (figura 34), o el dispositivo 400 de decodificación de imagen (figura 39) de acuerdo a la modalidad anterior. Por tanto, cuando el dispositivo 960 de visualización codifica y decodifica una imagen, es posible suprimir una disminución en una calidad de imagen. 9. Ejemplos de aplicación de codificación escalable Primer sistema Después, se describirán los ejemplos de aplicación concretos de los datos codificados escalables generados por la codificación (imagen) escalable. La codificación escalable se usa para la selección de datos a transmitir, por ejemplo, como se ilustra en la figura 58.
En un sistema 1000 de transmisión de datos ilustrado en la figura 58, un servidor 1002 de transporte lee los datos codificados escalables leídos almacenados en una unidad 1001 de almacenamiento de datos codificados escalables, y transporta los datos codificados escalables a los dispositivos terminales tales como una computador 1004 personal, un dispositivo 1005 AV, un dispositivo 1006 de tableta, y un teléfono 1007 móvil mediante una red 1003.
En este tiempo, el servidor 1002 de transporte selecciona unos datos codificados de alta calidad apropiados de acuerdo a las capacidades de los dispositivos terminales, un ambiente de comunicación, o los similares, y transmite los datos codificados de alta calidad seleccionados. Aunque el servidor 1002 de transporte transmite innecesariamente datos de alta calidad, los dispositivos terminales no necesariamente obtienen una imagen de alta calidad, y puede ocurrir un retraso o un sobre flujo. Además, una banda de comunicación se puede ocupar innecesariamente, y una carga de un dispositivo terminal se puede incrementar innecesariamente. Por el otro lado, aunque el servidor 1002 de transporte transmite innecesariamente datos de baja calidad, los dispositivos terminales es poco probable obtengan una imagen de una calidad suficiente. Por tanto, el servidor 1002 de transporte lee los datos codificados escalables almacenados en la unidad 1001 de almacenamiento de datos codificados escalables como datos codificados de una calidad apropiada para la capacidad del dispositivo terminal o un ambiente de comunicación, y entonces transmite los datos leídos.
Por ejemplo, la unidad 1001 de almacenamiento de datos codificados se asume que almacena los datos 1011 codificados escalables (BL+EL) que se codifican por la codificación escalable. Los datos 1011 codificados escalables (BL+EL) se codifican en datos que incluyen tanto de una capa base como de una capa mejorada, y tanto una imagen de la capa base como una imagen de la capa mejorada y se pueden obtener decodificando los datos 1011 (BL+EL) codificados escalables.
El servidor 1002 de transporte selecciona una capa apropiada de acuerdo a la capacidad de un dispositivo terminal al cual se transmiten datos, un ambiente de comunicación, o los similares, y lee datos de la capa seleccionada. Por ejemplo, para la computador 1004 personal o el dispositivo 1006 de tableta que tiene una capacidad de procesamiento alta, el servidor 1002 de transporte lee los datos 1011 codificados escalables de alta calidad (BL+EL) desde la unidad 1001 de almacenamiento de datos codificados escalables, y transmite los datos 1011 codificados escalables (BL+EL) sin cambio. Por otro lado, por ejemplo, para el dispositivo 1005 AV o el teléfono 1007 móvil que tienen una capacidad de procesamiento baja, el servidor 1002 de transporte extrae datos de la capa base desde los datos 1011 codificados escalables (BL+EL), y transmite unos datos 1012 codificados escalables que son datos del mismo contenido como los datos 1011 codificados escalables (BL+EL) pero menores en cantidad que los datos 1011 codificados escalables (BL+EL).
Como se describe anteriormente, una cantidad de datos se puede ajustar fácilmente usando datos codificados escalables, y por tanto es posible prevenir la ocurrencia de un retraso o un sobre flujo y prevenir una carga de un dispositivo terminal o un medio de comunicación de ser incrementado innecesariamente. Además, los datos 1011 codificados escalables se reducen en redundancia entre las capas, y por tanto es posible reducir una cantidad de datos para ser menor que cuando se usan los datos individuales como datos codificados de cada capa. Por tanto, es posible usar más eficientemente un área de memoria de la unidad 1001 de almacenamiento de datos codificados escalables.
Además, varios dispositivos tales como la computadora 1004 personal hasta el teléfono 1007 móvil se pueden aplicar como el dispositivo terminal, y por tanto el rendimiento del hardware de los dispositivos terminales difiere de acuerdo a cada dispositivo. Además, ya que varias aplicaciones se pueden ejecutar por los dispositivos terminales, el software tiene varias capacidades. Además, todas las redes de linea de comunicación incluyen cualquiera o ambos de una red alámbrica y una red inalámbrica tal como el Internet o una LAN, se pueden aplicar como la red 1003 que sirve como un medio de comunicación, y por tanto se proporcionan varias capacidades de transmisión de datos. Además, un cambio se puede hacer por otra comunicación o los similares.
En este aspecto, el servidor 1002 de transporte se puede configurar para realizar comunicación con un dispositivo terminal que sirve como un destino de la transmisión de los datos antes de iniciar la transmisión de datos y obtener información relacionada a una capacidad de un dispositivo terminal tal como el rendimiento del hardware de un dispositivo o un rendimiento de una aplicación (software) ejecutada por un dispositivo terminal e información relacionada a un ambiente de comunicación tal como una banda ancha disponible de la red 1003. Entonces, el servidor 1002 de transporte puede seleccionar una capa apropiada basada en la información obtenida.
Además, la extracción de la capa se puede realizar en el dispositivo terminal. Por ejemplo, la computador 1004 personal puede decodificar los datos 1011 codificados escaladles (BL+EL) y visualizar la imagen de la capa base o la imagen de la capa mejorada. Además, por ejemplo, la computadora 1004 personal puede extraer los datos 1012 codificados escalables (BL) de la capa base desde los datos 1011 codificados escalables transmitidos (BL+EL), almacenar los datos 1012 codificados escalables (BL) de la capa base, transferir los datos 1012 codificados escalables de la capa base a otro dispositivo, decodificar los datos 1012 codificados escalables (BL) de la capa base, y visualizar la imagen de la capa base.
Por su puesto, el número de las unidades 1001 de almacenamiento de datos codificados escalables, el número de servidores 1002 de transporte, el número de las redes 1003 y el número de los dispositivos terminales son arbitrarios. La descripción anterior se ha hecho en conexión con el ejemplo en que el servidor 1002 de transporte transmite datos a los dispositivos terminales, pero el ejemplo de aplicación no se limita a este ejemplo. El sistema 1000 de transmisión de datos se puede aplicar a cualquier sistema en que cuando los datos codificados generados por la codificación escalable se transmiten a un dispositivo terminal, una capa apropiada se selecciona de acuerdo a una capacidad de unos dispositivos terminales o un ambiente de comunicación, y los datos codificados se transmiten.
En el sistema 1000 de transmisión de datos de la figura 58, se aplica la presente teenología, similarmente a la aplicación para la codificación escalable y para la decodificación escalable descrita anteriormente con referencia a las figuras 47 a 52, y por tanto los mismos efectos como los efectos descritos anteriormente con referencia a las figuras 47 a 52 se pueden obtener.
Segundo sistema La codificación escalable se usa para la transmisión usando una pluralidad de medios de comunicación, por ejemplo, como se ilustra en la figura 59.
En un sistema 1100 de transmisión de datos ilustrado en la figura 59, una estación 1101 de radiodifusión transmite datos 1121 codificados escalables (BL) de una capa base a través de radiodifusión lili terrestre. Además, la estación 1101 de radiodifusión transmite datos 1122 codificados escaladles de una capa mejorada (por ejemplo, empaca los datos 1122 codificados escalables (EL) y entonces transmite los paquetes resultantes) mediante una red 1112 arbitraria configurada con una red de comunicación que incluye cualquiera o ambas de una red alámbrica y una red inalámbrica.
Un dispositivo 1102 terminal tiene una función de recepción de recibir la radiodifusión lili terrestre transmitida por la estación 1101 de radiodifusión, y recibe los datos 1121 codificados escalables (BL) de la capa base transmitida a través de la radiodifusión lili terrestre. El dispositivo 1102 terminal además tiene una función de comunicación de realizar la comunicación mediante la red 1112, y recibe los datos 1122 codificados escalables (EL) desde la capa mejorada trasmitidos mediante la red 1112.
El dispositivo 1102 terminal decodifica los datos 1121 codificados escalables (BL) de la capa base adquiridos a través de la radiodifusión lili terrestre, por ejemplo, de acuerdo a la instrucción del usuario o los similares, obtiene la imagen de la capa base, almacena la imagen obtenida y transmite la imagen obtenida a otro dispositivo.
Además, el dispositivo 1102 terminal combina los datos 1121 codificados escalables (BL) de la capa base adquiridos a través de la radiodifusión lili terrestre con los datos 1122 codificados escalables (EL) de la capa mejorada adquiridos a través de la red 1112, por ejemplo, de acuerdo a la instrucción del usuario o los similares, se obtienen los datos codificados escalables (BL+EL), decodifica los datos codificados escalables (BL+EL) para obtener la imagen de la capa mejorada, almacena la imagen obtenida, y transmite la imagen obtenida a otro dispositivo.
Como se describe anteriormente es posible transmitir los datos codificados escalables de capas respectivas, por ejemplo a través de diferentes medios de comunicación. Por tanto, es posible distribuir una carga, y es posible prevenir la ocurrencia de un retraso o un sobre flujo.
Además, es posible seleccionar un medio de comunicación usado para la transmisión para cada capa de acuerdo a la situación. Por ejemplo, los datos 1121 codificados escalables de la capa base que tienen una cantidad grande relativa de datos que se pueden transmitir a través de un medio de comunicación que tiene una banda ancha grande, y los datos 1122 codificados escalables (EL) de la capa mejorada que tiene una cantidad pequeña relativa de datos se pueden transmitir a través de un medio de comunicación que tiene una banda ancha pequeña. Además, por ejemplo, un medio de comunicación para transmitir los datos 1122 codificados escalables (EL) de la capa mejorada se puede cambiar entre la red 1112 y la radiodifusión lili terrestres de acuerdo a una banda ancha disponible de la red 1112. Por supuesto, lo mismo aplica a los datos de una capa arbitraria.
Como el control se realiza como se describe anteriormente, es posible suprimir además un incremento en una carga en la transmisión de datos.
Por supuesto, el número de capas es uno arbitrario, y el número de medios de comunicación usado para la transmisión también es arbitrario. Además, el número de dispositivos 1102 terminales que sirven como un destino de transporte de datos también es arbitrario. La descripción se ha descrito en la conexión con el ejemplo de la radiodifusión desde la estación 1101 de radiodifusión, y el ejemplo de aplicación no se limita a este ejemplo. El sistema 1100 de transmisión de datos se puede aplicar a cualquier sistema en que los datos codificados generados por la codificación escalable se dividen en dos o más unidades de las capas y se transmite a través de una pluralidad de lineas.
En el sistema 1100 de transmisión de datos de la figura 59, se aplica la presente teenología, símilarmente a la aplicación para la codificación escalable y para la decodificación escalable descrita anteriormente con referencia a las figuras 47 a 52, y por tanto los mismos efectos como los efectos descritos anteriormente con referencia a las figuras 47 a 52 se pueden obtener.
Tercer sistema La codificación escalable se usa para el almacenamiento de datos codificados, por ejemplo, como se ilustra en la figura 60.
En un sistema 1200 de visualización ilustrado en la figura 60, un dispositivo 1201 de visualización realiza la codificación escalable sobre los datos de imagen obtenidos por visualizar un sujeto 1211, y proporciona datos 1221 codificados escalables (BL+EL) a un dispositivo 1202 de almacenamiento de datos codificados escalables.
El dispositivo 1202 de almacenamiento de datos codificados escalables almacena los datos 1221 codificados escaladles (BL+EL) provistos desde el dispositivo 1201 de visualización en una calidad de acuerda a la situación. Por ejemplo, durante un tiempo normal, el dispositivo 1202 de almacenamiento de datos codificados escalables extrae datos de la capa base desde los datos 1221 codificados escalables (BL+EL), y almacena los datos extraídos como los datos 1222 codificados escalables (BL) de la capa base que tienen una cantidad pequeña de datos en una calidad baja. Por el otro lado, por ejemplo, durante un tiempo de observación, el dispositivo 1202 de almacenamiento de datos codificados escalables almacena los datos 1221 codificados escalables (BL+EL) que tienen una cantidad grande de datos en una calidad sin cambio.
En consecuencia, el dispositivo 1202 de almacenamiento de datos codificados escalables puede almacenar una imagen en una calidad alta solo cuando sea necesario, y por tanto es posible suprimir un incremento en una cantidad de datos y mejorar la eficiencia de uso de un área de memoria mientras que suprime una reducción en un valor de una imagen causada por la deterioración de la calidad.
Por ejemplo, el dispositivo 1201 de visualización se asume ser una cámara de monitoreo. Cuando un objetivo de monitoreo (por ejemplo, un intruso) no se muestra en una imagen fotografiada (durante un tiempo normal), el contenido de la imagen fotografiada probablemente sea inconsecuente, y por tanto una reducción en una cantidad de datos se prioriza, y los datos de imagen (datos codificados escalables) se almacenan en una calidad baja. Por otro lado, cuando un objetivo de monitoreo se muestra en una imagen fotografiada como el sujeto 1211 (durante un tiempo de observación), el contenido de la imagen fotografiada es probable sea consecuente, y por tanto una calidad de imagen se prioriza, y los datos de imagen (datos codificados escalables) se almacenan en una calidad alta.
Se puede determinar si es el tiempo normal o el tiempo de observación, por ejemplo, analizando una imagen a través del dispositivo 1202 de almacenamiento de datos codificados escalables. Además, el dispositivo 1201 de visualización puede realizar la determinación y transmitir el resultado de la determinación al dispositivo 1202 de almacenamiento de datos codificados escalables.
Además, un criterio de determinación en cuanto a si es el tiempo normal o el tiempo de observación es arbitrario, y el contenido de una imagen que sirve como el criterio de determinación es arbitrario. Por supuesto, una condición otra que el contenido de una imagen puede ser un criterio de determinación. Por ejemplo, se puede realizar el intercambio de acuerdo a la magnitud o una forma de onda de un sonido grabado, se puede realizar el intercambio en intervalos de tiempo predeterminados, o se puede realizar el intercambio de acuerdo a una instrucción externa tal como la instrucción del usuario.
La descripción anterior se ha descrito en conexión con el ejemplo en que el intercambio se realiza entre dos estados del tiempo normal y el tiempo de observación, pero el número de estados es arbitrario. Por ejemplo, se puede realizar el intercambio entre tres o más estados tales como un tiempo normal, un tiempo de observación de nivel bajo, un tiempo de observación, un tiempo de observación de nivel alto, y los similares. Aquí, un limite superior del número de estados a intercambiar depende del número de capas de los datos codificados escalables.
Además, el dispositivo 1201 de visualización puede decidir el número de capas para la codificación escaladle de acuerdo a un estado. Por ejemplo, durante el tiempo normal, el dispositivo 1201 de visualización puede generar los datos 1222 codificados escalables (BL) de la capa base que tiene una cantidad pequeña de datos en una calidad baja y proporcionar los datos 1222 codificados escalables (BL) de la capa base al dispositivo 1202 de almacenamiento de datos codificados escalables. Además, por ejemplo, durante el tiempo de observación, el dispositivo 1201 de visualización puede generar los datos 1221 codificados escalables (BL+EL) de la capa base que tiene una cantidad grande de datos en una calidad alta y proporciona los datos 1221 codificados escaladles (BL+EL) de la capa base al dispositivo 1202 de almacenamiento de datos codificados escalables.
La descripción anterior se ha hecho en conexión con el ejemplo de una cámara de monitoreo, pero el propósito del sistema 1200 de visualización es arbitrario y no se limita a una cámara de monitoreo.
En el sistema 1200 de visualización de la figura 60, se aplica la presente teenología, similarmente a la aplicación para la codificación escalable y para la decodificación escalable descrita anteriormente con referencia a las figuras 47 a 52, y por tanto los mismos efectos como los efectos descritos anteriormente con referencia a las figuras 47 a 52 se pueden obtener.
Además, la presente tecnología también se puede aplicar a una transmisión HTTP tal como MPEG DASH en que los datos codificados apropiados se seleccionan de entre una pluralidad de datos codificados que tienen diferentes resoluciones que se preparan y usan por adelantado. En otras palabras, una pluralidad de datos codificados puede compartir información relacionada a la codificación o a la decodificación. 10. Octava modalidad Otras modalidades Las modalidades anteriores se han descrito en conexión con el ejemplo del dispositivo, el sistema, o los similares de acuerdo a la presente teenología, pero la presente tecnología no se limita a los ejemplos anteriores, y se podrá imple entar como cualquier componente montado en el dispositivo o el dispositivo de configuración del sistema, por ejemplo, un procesador sirve como un sistema de integración a gran escala (LSI) o los similares, un módulo que usa una pluralidad de procesadores o los similares, una unidad que usa una pluralidad de módulos o los similares, un conjunto (esto es, algunos componentes del dispositivo) en que cualquier otra función además se añade a una unidad, o los similares.
Conjunto de video Un ejemplo en que la presente tecnología se implementa como un conjunto se describirá con referencia a la figura 61. La figura 61 ilustra una configuración esquemática ejemplar de un conjunto de video al que se aplica la presente tecnología.
En años recientes, las funciones de los dispositivos electrónicos se han vuelto diversas, y cuando algunos componentes se implementan como ventas, suministro, o los similares en el desarrollo o fabricación, hay muchos casos en que una pluralidad de componentes que tiene funciones relevantes se combinan e implementan como un conjunto que tiene una pluralidad de funciones así como casos en que se realiza una implementación como un componente que tiene una sola función.
Un conjunto 1300 de video ilustrado en la figura 61 es una configuración multi-funcionalizada en que un dispositivo tiene una función relacionada a la codificación de imagen y/o la decodificación de imagen se combina con un dispositivo que tiene cualquier otra función relacionada a la función.
El conjunto 1300 de video incluye un grupo de módulo tal como un módulo 1311 de video, una memoria 1312 externa, un módulo 1313 de manejo, y un módulo 1314 extremo frontal y un dispositivo que tiene funciones relevantes tales como una conectividad 1321, una cámara 1322 y un sensor 1323 como se ilustra en la figura 61.
Un módulo es una parte que tiene múltiples funciones en que varias funciones de partes relevantes se integran. Una configuración física concreta es arbitraria, pero, por ejemplo, esta se configura tal que una pluralidad de procesadores que tienen funciones respectivas, los elementos del circuito electrónico tal como un resistor o un capacitor, y otros dispositivos se disponen e integran en un sustrato de cableado. Además, un módulo nuevo se puede obtener combinando otro módulo o un procesador con un módulo.
En el caso del ejemplo de la figura 61, el módulo 1311 de video es una combinación de componentes que tienen funciones relacionadas al procesamiento de imagen, e incluye un procesador 1331 de aplicación, un procesador 1332 de video, un modem 1333 de banda ancha, y un módulo 1334 de radiofrecuencia (RF).
Un procesador es uno en que una configuración que tiene una función predeterminada se integra en un chip semiconductor a través de un Sistema En un Chip (SoC), y también se refiere a, por ejemplo, un sistema LSI o los similares. La configuración que tiene la función predeterminada puede ser un circuito lógico (configuración del hardware), puede ser una CPU, una ROM, una RAM, y un programa (configuración del software) ejecutado usando la CPU, la ROM, y la RAM, y puede ser una combinación de una configuración del hardware y una configuración del software. Por ejemplo, un procesador puede incluir un circuito lógico, una CPU, una ROM, una RAM, y los similares, algunas funciones se pueden implementar a través del circuito lógico (configuración del hardware), y las otras funciones se pueden implementar a través de un programa (configuración del software) ejecutada por la CPU.
El procesador 1331 de la aplicación de la figura 61 es un procesador que ejecuta una aplicación relacionada al procesamiento de la imagen. Una aplicación ejecutada por el procesador 1331 de la aplicación no solo puede realizar un proceso de cálculo sino también puede controlar componentes dentro y fuera del módulo 1311 de video tal como el procesador 13312 de video según sea necesario para implementar una función predeterminada.
El procesador 1332 de video es un procesador que tiene una función relacionada a la codificación de imagen y/o a la decodificación de imagen.
El modem 1333 de banda ancha realiza la modulación digital en los datos (señal digital) a transmitir a través de comunicación de banda ancha alámbrica y/o inalámbrica que se realiza mediante la línea de banda ancha tal como el Internet o una red de línea del teléfono público y convierte los datos en una señal análoga, o realiza la desmodulación en una señal análoga recibida a través de la comunicación de banda ancha y convierte la señal análoga en datos (una señal digital). Por ejemplo, el modem 1333 de banda ancha procesa arbitrariamente información tal como datos procesados por el procesador 1332 de video, una corriente que incluye datos de imagen codificados, un programa de aplicación, o datos de configuración.
El módulo 1334 RF es un módulo que realiza un proceso de transformada de frecuencia, un proceso de modulación/desmodulación, un proceso de amplificación, un proceso de filtración, y los similares en una señal RF transmitida-recibida a través de una antena. Por ejemplo, el módulo 1334 RF realiza, por ejemplo, la transformada de frecuencia en una señal de base de banda generada por el modem 1333 de banda ancha, y genera una señal RF. Además, por ejemplo, el módulo 1334 realiza, por ejemplo, la transformada de frecuencia en una señal RF recibida a través del módulo 1314 extremo frontal, y genera una señal de base de banda.
Además, como se indica por una linea 1341 punteada en la figura 61, el procesador 1331 de aplicación y el procesador 1332 de video se pueden integrar en un solo procesador.
La memoria 1312 externa se instala fuera del módulo 1311 de video, y es un módulo que tiene un dispositivo de almacenamiento usado por el módulo 1311 de video. El dispositivo de almacenamiento de la memoria 1312 externa se puede implementar por una configuración física, pero se usa comúnmente para almacenar datos de gran capacidad tal como datos de imagen de unidades de cuadro, y por tanto es deseable implementar el dispositivo de almacenamiento de la memoria 1312 externa usando una memoria semiconductora de gran capacidad barata relativa tal como una memoria de acceso al azar dinámica (DRAM).
El módulo 1313 de manejo de energía maneja y controla el suministro de energía al módulo 1311 de video (los componentes respectivos en el módulo 1311 de video).
El módulo 1314 externo frontal es un módulo que proporciona una función extrema frontal (un circuito de un extremo transceptor en un lado de la antena) al módulo 1334 RF. El módulo 1314 extremo frontal incluye, por ejemplo, una unidad 1351 de antena, un filtro 1352 y una unidad 1353 de amplificación como se ilustra en la figura 61.
La unidad 1351 de antena incluye una antena que transmite-recibe una señal de radio y una configuración periférica de la antena. La unidad 1351 de antena transmite una señal provista desde la unidad 1353 de amplificación como una señal de radio, y proporciona una señal de radio recibida al filtro 1352 como una señal eléctrica (señal RF). El filtro 1352 realiza, por ejemplo, un proceso de filtración en una señal RF recibida a través de la unidad 1351 de antena, y proporciona una señal RF procesada al módulo 1334 RF. La unidad 1353 de amplificación amplifica la señal RF provista desde el módulo 1334 RF, y proporciona la señal RF amplificada a la unidad 1351 de antena.
La conectividad 1321 es un módulo que tiene una función relacionada a una conexión con el exterior. Una configuración física de la conectividad 1321 es arbitraria. Por ejemplo, la conectividad 1321 incluye una configuración que tiene una función de comunicación otra que una comunicación estándar soportada por el modem 1333 de banda ancha, una terminal I/O externa, o los similares.
Por ejemplo, la conectividad 1321 puede incluir un módulo que tiene una función de comunicación basada en un estándar de comunicación inalámbrico tal como el Bluetooth (una marca registrada), IEEE 802.11 (por ejemplo, Fidelidad Inalámbrica (Wi-Fi) (una marca registrada)), Comunicación de Campo Cercano (NFC), Asociación de Datos Infrarrojos (IrDA), una antena que transmite-recibe una señal que satisface el estándar, o los similares. Además, por ejemplo, la conectividad 1321 puede incluir un módulo que tiene una función de comunicación basada en un estándar de comunicación alámbrico tal como el Puerto de Serie Universal (USB), o la Interfaz Multimedia de Alta Definición (HDMI) (una marca registrada) o una terminal que satisface el estándar. Además, por ejemplo, la conectividad 1321 puede incluir cualquier otra función de transmisión de datos (señal) o los similares tales como una terminal 1/0 análoga.
Además, la conectividad 1321 puede incluir un dispositivo de un destino de transmisión de datos (señal). Por ejemplo, la conectividad 1321 puede incluir un controlador (que incluye un disco duro, una SSD, un Almacenamiento Adjunto a la Red (ÑAS), o los similares asi como un controlador de un medio removible) que lee/escribe datos desde/en un medio de grabación tal como un disco magnético, un disco óptico, un disco magneto-óptico, o una memoria semiconductora. Además, la conectividad 1321 puede incluir un dispositivo de salida (un monitor, un altavoz, o los similares) que emiten una imagen o un sonido.
La cámara 1322 es un módulo que tiene una función de fotografiar un sujeto y obtener datos de imagen del sujeto. Por ejemplo, los datos de imagen obtenidos por la toma de fotografías de la cámara 1332 se proporcionan y codifican por el procesador 1332 de video.
El sensor 1323 es un módulo que tiene una función del sensor arbitraria tal como un sensor de sonido, un sensor ultrasónico, un sensor óptico, un sensor de iluminancia, un sensor infrarrojo, un sensor de imagen, un sensor de rotación, un sensor de ángulo, un sensor de velocidad angular, un sensor de velocidad, un sensor de aceleración, un sensor de inclinación, un sensor de identificación magnética, un sensor de impacto, o un sensor de temperatura. Por ejemplo, los datos detectados por el sensor 1323 se proporcionaron al procesador 1331 de aplicación y usaron por una aplicación o los similares.
Una configuración descrita anteriormente como un módulo se puede implementar como un procesador, una configuración descrita como un procesador se puede implementar como un módu10.
En el conjunto 1300 de video que tiene la configuración anterior, se puede aplicar la presente teenología al procesador 1332 de video como se describirá después. Por tanto, el conjunto 1300 de video se puede implementar como un conjunto al cual se aplica la presente tecnología.
Configuración ejemplar del procesador de video La figura 62 ilustra una configuración esquemática ejemplar del procesador 1332 de video (figura 61) al cual se aplica la presente tecnología.
En el caso del ejemplo de la figura 62, el procesador 1332 de video tiene una función de recibir una entrada de una señal de video y una señal de audio y codificar la señal de video y la señal de audio de acuerdo a un esquema predeterminado y a una función de decodificar los datos de video y los datos de audio codificados, y reproducir y emitir una señal de video y una señal de audio.
El procesador 1332 de video incluye una unidad 1401 de procesamiento de entrada de video, una primera unidad 1402 de alargamiento/reducción de imagen, una segunda unidad 1403 de alargamiento/reducción de imagen, una unidad 1404 de procesamiento de salida de video, una memoria 1405 de cuadro, y una unidad 1406 de control de memoria como se ilustra en la figura 62. El procesador 1332 de video además incluye un motor 1407 de codificación/decodificación, memorias 1408A y 108B intermedias de corriente elemental de video (ES), y memorias 1409A y 1409B intermedias ES de audio. El procesador 1332 de video además incluye un codificador 1410 de audio, un decodificador 1411 de audio, un multiplexor 1412 (multiplexor (MUX)), un demultiplexor 1413 (demultiplexor)), y una memoria 1414 intermedia de corriente.
Por ejemplo, la unidad 1401 de procesamiento de entrada de video adquiere una entrada de señal de video desde la conectividad 1321 (figura 61) o los similares, y convierte la señal de video en los datos de imagen digital. La primera unidad 1402 de alargamiento/reducción de imagen realiza, por ejemplo, un proceso de conversión de formato y un proceso de alargamiento/reducción de imagen en los datos de imagen. La segunda unidad 1403 de alargamiento/reducción de imagen realiza un proceso de alargamiento/reducción de imagen de acuerdo a un formato de un destino al cual los datos de imagen se emiten a través de la unidad 1404 de procesamiento de emisión de video o realiza el proceso de conversión de formato y el proceso de alargamiento/reducción de imagen que son idénticos a aquellos de la primera unidad 1402 de alargamiento/reducción de imagen en los datos de imagen. La unidad 1404 de procesamiento de emisión de video realiza la conversión de formato y la conversión en una señal análoga sobre los datos de imagen, y emite una señal de video reproducida a, por ejemplo, la conectividad 1321 (figura 61) o los similares.
La memoria 1405 de cuadro es una memoria de datos de imagen que se comparte por la unidad 1401 de procesamiento de entrada de video, la primera unidad 1402 de alargamiento/reducción de imagen, la segunda unidad 1403 de alargamiento/reducción de imagen, la unidad 1404 de procesamiento de emisión de video, y el motor 1407 de codificación/decodificación. La memoria 1405 de cuadro se implementa como, por ejemplo, una memoria semiconductora tal como una DRAM.
La unidad 1406 de control de memoria recibe una señal sincronizada desde el motor 1407 de codificación/decodificación, y controla el acceso de escritura/lectura a la memoria 1405 de cuadro de acuerdo a una cedula de acceso para la memoria de cuadro 1405 escrita en una tabla 1406A de manejo de acceso. La tabla 1406D de manejo de acceso se actualiza a través de la unidad 1406 de control de memoria de acuerdo al procesamiento ejecutado por el motor 1407 de codificación/decodificación, la primera unidad 1402 de alargamiento/reducción de imagen, la segunda unidad 1403 de alargamiento/reducción de imagen, o los similares.
El motor 1407 de codificación/decodificación realiza un proceso de codificación de los datos de imagen de codificación y un proceso de decodificación de una corriente de video que son datos obtenidos por codificar datos de imagen. Por ejemplo, el motor 1407 de codificación/decodificación codifica los datos de imagen leídos desde la memoria 1405 de cuadro, y escribe secuencialmente los datos de imagen codificados en la memoria 1408A intermedia ES de video como una corriente de video. Además, por ejemplo, el motor 1407 de codificación/decodificación lee secuencialmente la corriente de video desde la memoria 1408B intermedia de video, secuencialmente decodifica la corriente de video, y escribe secuencialmente los datos de imagen decodificados en la memoria 1405 de cuadro. El motor 1407 de codificación/decodificación usa la memoria 1405 de cuadro como un área de trabajo en el tiempo de la codificación o la decodificación. Además, el motor 1407 de codificación/decodificación emite la señal sincronizada a la unidad 1406 de control de memoria, por ejemplo, en un tiempo en que el procesamiento de cada macro bloque comienza.
La memoria 1408A intermedia ES de video almacena la corriente de video generada por el motor 1407 de codificación/decodificación, y entonces proporciona la corriente de video al multiplexor 1412 (MUX). La memoria 1408B intermedia ES de video almacena la corriente de video provista desde el demultiplexor 1413 (DMUX), y entonces proporciona la corriente de video al motor 1407 de codificación/decodificación.
La memoria 1409A intermedia ES de audio almacena una corriente de audio generada por el codificador 1410 de audio, y entonces proporciona la corriente de audio al multiplexor 1412 (MUX). La memoria 1409B intermedia ES de audio almacena una corriente de audio provista desde el demultiplexor 1413 (DMUX), y entonces proporciona la corriente de audio al decodificador 1411 de audio.
Por ejemplo, el codificador 1410 de audio convierte una entrada de señal de audio desde, por ejemplo, la conectividad 1321 (figura 61) o los similares en una señal digital, y codifica la señal digital de acuerdo a un esquema predeterminado tal como un esquema de audio MPEG o un esquema número 3 (AC3) de Código de Audio (AC3). El codificador 1410 de audio escribe secuencialmente la corriente de audio que son datos obtenidos codificando la señal de audio en la memoria 1409A intermedia ES de acudió. El decodificador 1411 de audio decodifica la corriente de audio provista desde la memoria 1409 intermedia de audio, realiza, por ejemplo, la conversión en una señal análoga, y proporciona una señal de audio reproducida a, por ejemplo, la conectividad 1321 (figura 61) o los similares.
El multiplexor 1412 (MUX) realiza la multiplexión de la corriente de ideo y de la corriente de audio. Un metodo de multiplexión (esto es, un formato de una corriente de bitios generada por multiplexión) es arbitrario. Además, en el tiempo de la multiplexión, el multiplexor 1412 (MUX) puede añadir información de encabezado predeterminada o los similares a la corriente de bitios. En otras palabras, el multiplexor 1412 (MUX) puede convertir un formato de corriente por multiplexión. Por ejemplo, el multiplexor 1412 (MUX) multiplexa la corriente de video y la corriente de audio a convertir en una corriente de transporte que es una corriente de bitios de un formato de transferencia. Además, por ejemplo, el multiplexor 1412 (MUX) multiplexa la corriente de video y la corriente de audio a convertir en datos (datos de archivo) de un formato de archivo grabado.
El demultiplexor 1413 (DMUX) demultiplexa la corriente de bitios obtenidos por la multiplexión de la corriente de video y la corriente de audio por un método que corresponde a la multiplexión realizada por el multiplexor 1412 (MUX). En otras palabras, el demultiplexor 1413 (DMUX) extrae la corriente de video y la corriente de audio (separa la corriente de video y la corriente de audio) de la corriente de bitios leída desde la memoria 1414 intermedia de corriente. En otras palabras, el demultiplexor 1413 (DMUX) puede realizar la conversión (conversión inversa de la conversión realizada por el multiplexor 1412 (MUX)) de un formato de una corriente a través de la demultiplexión. Por ejemplo, el demultiplexor 1413 (DMUX) puede adquirir la corriente de transporte provisto desde, por ejemplo, la conectividad 1321 o el modem 1333 de banda ancha (ambos de la figura 61) a través de la memoria 1414 intermedia de corriente y convierte la corriente de transporte en una corriente de video y una corriente de audio a través de la demultiplexión . Además, por ejemplo, el demultiplexor 1413 (DMUX) puede adquirir datos de archivo leídos desde varios tipos de medios de grabación, por ejemplo, la conectividad 1321 (figura 61) a través de la memoria 1414 intermedia de corriente y convierte los datos de archivos en una corriente de video y en una corriente de audio por la demultiplexión.
La memoria 1414 intermedia de corriente almacena la corriente de bitios. Por ejemplo, la memoria 1414 intermedia de corriente almacena la corriente de transporte provista desde el multiplexor 1412 (MUX), y proporciona la corriente de transporte a, por ejemplo, la conectividad 1321 o al modem 1333 de banda ancha (ambos en la figura 61) en un tiempo predeterminado o basado en una solicitud externa o las similares.
Además, por ejemplo, la memoria 1414 intermedia de corriente almacena los datos de archivo provistos desde el multiplexor 1412 (MUX), proporciona los datos de archivo a, por ejemplo, la conectividad 1321 (figura 61) o las similares en un tiempo predeterminado o basado en una solicitud externa o los similares, y hace que los datos de archivos a grabar en varios tipos de medios de grabación.
Además, la memoria 1414 intermedia de corriente almacena la corriente de transporte adquirida a través, por ejemplo, de la conectividad 1321 o al modem 133 de banda ancha (ambos en la figura 61), y proporcionar la corriente de transporte al demultiplexor 1413 (DMUX) e un tiempo predeterminado o basado en una solicitud externa o los similares.
Además, la memoria 1414 intermedia de corriente almacena datos de archivos leídos de varios tipos de medios de grabación en, por ejemplo, la conectividad 1321 (figura 61) o los similares, y proporciona los datos de archivo al demultiplexor 1413 (DMUX) en un tiempo predeterminado o basado en una solicitud externa o los similares.
Después, se describirá una operación del procesador 1332 de video que tiene la configuración anterior. La entrada de señal de video al procesador 1332 de video, por ejemplo, desde la conectividad 1321 (figura 61) o los similares se convierten en datos de imagen digital de acuerdo al esquema predeterminado tal como un esquema 4:2:2Y/Cb/Cr en la unidad 1401 de procesamiento de entrada de video y secuencialmente escrita en la memoria 1405 de cuadro. Los datos de imagen digital se leen fuera de la primera unidad 1402 de alargamiento/reducción de imagen o de la segunda unidad 1403 de alargamiento/reducción de imagen, sujeta a un proceso de conversión de formato en un esquema predeterminado tal como un esquema 4:2:0Y/Cb/Cr y un proceso de alargamiento/reducción, y se escribe en la memoria 1405 de cuadro de nuevo. Los datos de imagen se codifican por el motor 1407 de codificación/decodificación, y se escribe en la memoria 1408A intermedia ES de video como una corriente de video.
Además, una entrada de señal de audio al procesador 1332 de video desde la conectividad 1321 (figura 61) o los similares se codifica por el codificador 1410 de audio, y se escribe en la memoria 1409A intermedia ES de video como una corriente de audio.
La corriente de video de la memoria 1408A intermedia ES de video y la corriente de audio de la memoria 1409A intermedia ES de audio se leen y multiplexan por el multiplexor 1412 (MUX), y se convierten en una corriente de transporte, datos de archivo, o los similares. La corriente de transporte generada por el multiplexor 1412 (MUX) se almacena en la memoria 1414 intermedia de corriente, y entonces se emiten a una red externa a través de, por ejemplo, la conectividad 1321 o el modem 1333 de banda ancha (ambos en la figura 61). Además, los datos de archivo generados por el multiplexor 1412 (MUX) se almacenan en la memoria 1414 intermedia de corriente, entonces se emiten a, por ejemplo, la conectividad 1321 (figura 61) o los similares, y graban en varios tipos de medios de grabación.
Además, la entrada de corriente de transporte al procesador 1332 de video desde una red externa a través de, por ejemplo, la conectividad 1321 o el modem 1333 de banda ancha (ambos en la figura 61) se almacena en la memoria 1414 intermedia de corriente y entonces se demultiplexan por el demultiplexor 1413 (DMUX). Además, los datos de archivos que se lee desde varios tipos de medios de grabación en, por ejemplo, la conectividad 1321 (figura 61) o los similares y entonces la entrada del procesador 1332 de video se almacena en la memoria 1414 intermedia de corriente y entonces se demultiplexa por el demultiplexor 14131. En otras palabras, la corriente de transporte o la entrada de datos de archivos al procesador 1332 de video se demultiplexa en la corriente de video y en la corriente de audio a través del demultiplexor 1413 (DMUX).
La corriente de audio se proporciona al decodificador 1411 de audio a través de la memoria 1409B intermedia ES de audio y se decodifica, y entonces se reproduce una señal de audio. Además, la corriente de video se escribe en la memoria 1408B intermedia ES de video, se lee y decodifica secuencialmente por el motor 1407 de codificación/decodificación, y se escribe en la memoria 1405 de cuadro. Los datos de imagen decodificados se sujetan al proceso de alargamiento/reducción realizado por la segunda unidad 1403 de alargamiento/reducción de imagen, y se escriben en la memoria 1405 de cuadro. Entonces los datos de imagen decodificados se leen fuera de la unidad 1404 de procesamiento de emisión de video, se sujetan al proceso de conversión de formato del rendimiento de conversión de formato a un esquema predeterminado como un esquema 4:2:2Y/Cb/Cr, y se convierten en una señal análoga, y entonces se reproduce una señal de video.
Cuando se aplica la presente teenología al procesador 1332 de video que tiene la configuración anterior, es preferible que las modalidades anteriores de la presente tecnología se apliquen al motor 1407 de codificación/decodificación. En otras palabras, por ejemplo, el motor 1407 de codificación/decodificación preferiblemente tienen las funciones del dispositivo de codificación de imagen y del dispositivo de decodificación de imagen de acuerdo a las modalidades. En consecuencia, el procesador 1332 de video puede obtener los mismos efectos como los efectos descritos anteriormente con referencia a las figuras 1 a 43.
Además, en el motor 1407 codificación/decodificación, la presente teenología (esto es, las funciones de los dispositivos de codificación de imagen o los dispositivos de decodificación de acuerdo a la modalidad anterior) se pueden implementar por cualquiera o ambos del hardware tal como un circuito lógico o un software tal como un programa incorporado.
Otra configuración ejemplar del procesador de video La figura 63 ilustra otra configuración ejemplar del procesador 1332 de video (figura 61) al cual se aplica la presente tecnología. En el caso del ejemplo de la figura 63, el procesador 1332 de video tiene una función de codificar y decodificar datos de video de acuerdo a un esquema predeterminado.
Más específicamente, el procesador 1332 de video incluye una unidad 1511 de control, una interfaz 1512 de pantalla, un motor 1513 de pantalla, un motor 1514 de procesamiento de imagen y una memoria 1515 interna como se ilustra en la figura 63. El procesador 1332 de video además incluye un motor 1516 de códec, una interfaz 1517 de memoria, un multiplexor/demultiplexor 1518 (MUX DMUX), una interfaz 1519 de red y una interfaz 1520 de video.
La unidad 1511 de control controla una operación de cada unidad de procesamiento en el procesador 1332 de video tal como la interfaz 1512 de pantalla, el motor 1513 de pantalla, el motor 1514 de procesamiento de imagen y el motor 1516 de códec.
La unidad 1511 de control incluye, por ejemplo, una CPU principal, una sub CPU 1532, y un controlador 1533 del sistema como se ilustra en la figura 63. La CPU 1531 principal ejecuta, por ejemplo, un programa para controlar una operación de cada unidad de procesamiento en el procesador 1332 de video. La CPU 1531 principal genera una señal de control, por ejemplo, de acuerdo al programa, y proporciona la señal de control a cada unidad de procesamiento (esto es, controla una operación de cada unidad de procesamiento). La sub CPU 1532 desempeña un papel suplementario de la CPU 1531 principal. Por ejemplo, la sub CPU 1532 ejecuta un proceso secundario o una subrutina de un programa ejecutado por la CPU 1531 principal. El controlador 1533 del sistema controla las operaciones de la CPU 1531 principal y de la sub CPU 1532, por ejemplo, designa un programa ejecutado por la CPU 1531 principal y la sub CPU 1532.
La interfaz 1512 de pantalla emite datos de imagen a, por ejemplo, la conectividad 1321 (figura 61) o los similares bajo control de la unidad 1511 de control. Por ejemplo, la interfaz 1512 de pantalla convierte datos de imagen de datos digitales en una señal análoga, y emite la señal análoga a, por ejemplo, el dispositivo del monitor de la conectividad 1321 (figura 61) como una señal de video reproducida o emite los datos de imagen de los datos digitales a, por ejemplo, el dispositivo del monitor de la conectividad 1321 (figura 61).
El motor 1513 de pantalla realiza varios tipos de procesos de conversión tal como un proceso de conversión de formato, un proceso de conversión de tamaño y un proceso de conversión de gama de colores en los datos de imagen bajo control de la unidad 1511 de control para cumplir con, por ejemplo, una especificación del hardware del dispositivo del monitor que visualiza la imagen.
El motor 1514 de procesamiento de imagen realiza el procesamiento de imagen predeterminado tal como un proceso de filtración para mejorar una calidad de imagen para mejorar una calidad de imagen en los datos de imagen bajo control de la unidad 1511 de control.
La memoria 151 interna es una memoria que se instala en el procesador 1332 de video y se comparte por el motor 1513 de pantalla, el motor 1514 de procesamiento de imagen y el motor 1516 de códec. La memoria 1515 interna se usa para transferencia de datos realizados entre, por ejemplo, el motor 1513 de pantalla,'el motor 1514 de procesamiento de imagen y el motor 1516 de códec. Por ejemplo, la memoria 1515 interna almacena datos provistos desde el motor 1513 de pantalla, el motor 1514 de procesamiento de imagen o el motor 1516 de códec, y proporciona los datos al motor 1513 de pantalla, al motor 1514 de procesamiento de imagen o al motor 1516 de códec según sea necesario (por ejemplo, de acuerdo a una solicitud). La memoria 1515 interna se puede implementar por cualquier dispositivo de almacenamiento, pero ya que la memoria 1515 interna se usa sobre todo para almacenamiento de datos de pequeña capacidad tal como datos de imagen de unidades o de bloque o parámetros, es deseable implementar la memoria 1515 interna usando una memoria semiconductora que es relativamente pequeña en capacidad (por ejemplo, comparada a la memoria 1312 externa) y rápida en velocidad de respuesta tal como una memoria de acceso al azar estática (SRAM).
El motor 1516 de códec realiza el procesamiento relacionado a la codificación y decodificación datos de imagen. Un esquema de codificación/decodificación soportado por el motor 1516 de códec es arbitrario, y uno o más esquemas se pueden soportar por el motor 1516 de códec. Por ejemplo, el motor 1516 de códec puede tener una función de códec de soportar una pluralidad de esquemas de codificación/decodificación y realizar la codificación de datos de imagen o decodificación de datos codificados usando un esquema seleccionado de entre los esquemas.
En el ejemplo ilustrado en la figura 63, el motor 1516 de códec incluye, por ejemplo, un Video 1541 MPEG-2, un AVC/H.264 1542, un HEVC/H.265 1543, un HEVC/H.265 1544 (escalable), un HEVC/H.265 1545 (de vista múltiple) y un MPEG-DASH 1551 como bloques funcionales del procesamiento relacionado a un códec.
El Video 1541 MPEG-2 es un bloque funcional de codificación o de decodificación de datos de imagen de acuerdo a un esquema MPEG-2. El AVC/H.2641542 es un bloque funcional de codificación o de decodificación de datos de imagen de acuerdo a un esquema AVC. El HEVC/H.265 1543 es un bloque funcional de codificación o de decodificación de datos de imagen de acuerdo a un esquema HEVC. El HEVC/H.265 1544 (Escalable) es un bloque funcional de rendimiento de codificación escalable o de decodificación escalable en los datos de imagen de acuerdo a un esquema HEVC. El HEVC/H.265 1545 (de vista múltiple) es un bloque funcional de rendimiento de codificación de vista múltiple o de decodificación de vista múltiple en los datos de imagen de acuerdo a un esquema HEVC.
El MPEG-DASH 1551 es un bloque funcional de transmisión y recepción de datos de imagen de acuerdo a una Transmisión Adaptativa Dinámica MPEG en HTTP (MPEG-DASH). La MPEG-DASH es una téenica de transmisión de un video usando un Protocolo de Transferencia de Hipertexto (HTTP), y tiene una característica de seleccionar apropiadamente una de entre una pluralidad de piezas de datos codificados que difieren en una resolución preparada previamente o los similares en unidades de segmentos y transmitir una de una seleccionada. El MPEG-DASH 1551 realiza la generación de una corriente que cumple con un estándar, control de transmisión de la corriente, y los similares, y usa el Video 1541 MPEG-2 al HEVC/H.265 1545 (de vista múltiple) para codificar y decodificar datos de imagen.
La interfaz 1517 de memoria es una interfaz para la memoria 1312 externa. Los datos provistos desde el motor 1514 de procesamiento de imagen o desde el motor 1516 de códec se proporcionan a la memoria 1312 externa a través de la interfaz 1517 de memoria. Además, los datos leídos desde la memoria 1312 externa se proporcionan al procesador 1332 de video (el motor 1514 de procesamiento de imagen o el motor 1516 de códec) a través de la interfaz 1517 de memoria.
El multiplexor/demultiplexor 1518 (MUX DMUX) realiza la multiplexión y la demultiplexión de varios tipos de datos relacionados a una imagen tal como una corriente de Litios de datos codificados, de datos de imagen, y de una señal de video. El método de multiplexión/demultiplexión es arbitrario. Por ejemplo, en el en el momento de la multiplexión, el multiplexor/demultiplexor 1518 (MUX DMUX) puede no solo combinar una pluralidad de piezas de datos en una sino también añadir información de encabezado predeterminada o los similares a los datos. Además, en el momento de la demultiplexión, el multiplexor/demultiplexor 1518 (MUX DMUX) puede no solo dividir una pieza de datos en una pluralidad de piezas de datos sino también añadir información de encabezado predeterminada o los similares de cada uno de los datos divididos. En otras palabras, el multiplexor/demultiplexor 1518 (MUX DMUX) puede convertir un formato de datos a través de la multiplexión y de la demultiplexión. Por ejemplo, el multiplexor/demultiplexor 1518 (MUX DMUX) puede multiplexar una corriente de bitios a convertir en una corriente de transporte que sirve como una corriente de bitios de un formato de transferencia o datos (datos de archivos) de un formato de archivos de grabación. Por supuesto, la conversión inversa también se puede realizar a través de la demultiplexión.
La interfaz 1519 de red es una interfaz para, por ejemplo, el modem 1333 de banda ancha o la conectividad 1321 (ambos en la figura 61). La interfaz 1520 de video es una interfaz para, por ejemplo, la conectividad 1321 o la cámara 1322 (ambas en la figura 61).
Después, se describirá una operación ejemplar del procesador 1332 de video. Por ejemplo, cuando se recibe la corriente de transporte desde la red a través de, por ejemplo, la conectividad 1321 o el modem 1333 de banda ancha (ambos en la figura 61), se proporciona la corriente de transporte al multiplexor/demultiplexor 1518 (MUX DMUX) a través de la interfaz 1519 de red, demultiplexada, y entonces decodificada por el motor 1516 de códec. Los datos de imagen obtenidos por la decodificación del motor 1516 de códec se sujetan al procesamiento de imagen predeterminado realizado, por ejemplo, por el motor 1514 de procesamiento de imagen, sujeto a la conversión predeterminada realizada por el motor 1513 de pantalla, y provisto a, por ejemplo, la conectividad 1321 (figura 61) o las similares a través de la interfaz 1512 de pantalla y entonces la imagen se visualiza en el monitor. Además, por ejemplo, los datos de imagen obtenidos por la decodificación del motor 1516 de códec se codifica por el motor 1516 de códec de nuevo, multiplexada por el multiplexor/demultiplexor 1518 (MUX DMUX) a convertir en los datos de archivo, emitidos a, por ejemplo, la conectividad 1321 (figura 61) o los similares a través de la interfaz 1520 de video, y entonces grabados en varios tipos de medios de grabación.
Además, por ejemplo, los datos de archivos de datos codificados obtenidos codificando datos de imagen leídos desde un medio de grabación (no ilustrado) a través de la conectividad 1321 (figura 61) o los similares se proporcionan al multiplexor/demultiplexor 1518 a través de la interfaz 1520 de video, y demultiplexados, y decodificados por el motor 1516 de códec. Los datos de imagen obtenidos por la decodificación del motor 1516 de códec se sujetan al procesamiento de imagen predeterminado realizado por el motor 1514 de procesamiento de imagen, sujeto a la conversión predeterminada realizada por el motor 1513 de pantalla, y provisto para, por ejemplo, la conectividad 1321 (figura 61) o los similares a través de la interfaz 1512 de pantalla, y entonces la imagen se visualiza en el monitor. Además, por ejemplo, los datos de imagen obtenidos por la decodificación del motor 1516 de códec se codifica por el motor 1516 de códec de nuevo, ultiplexados por el multiplexor/demultiplexor 1518 (MUX DMUX) a convertir en una corriente de transporte, provista a, por ejemplo, la conectividad 1321 o al modem 133 de banda ancha (ambos en la figura 61) a través de la interfaz 1519 de red y transmitidos a otro dispositivo (no ilustrado).
Además, se realiza la transferencia de datos de imagen o de otros datos entre las unidades de procesamiento en el procesador 1332 de video, por ejemplo, usando la memoria 1515 interna o la memoria 1312 externa. Además, el módulo 1313 de manejo de energía controla, por ejemplo, el suministro de energía a la unidad 1511 de control.
Cuando se aplica la presente teenología al procesador 1332 de video que tiene la configuración anterior, es deseable aplicar las modalidades anteriores de la presente tecnología al motor 1516 de códec. En otras palabras, por ejemplo es preferible que el motor 1516 de códec tenga un bloque funcional para implementar el dispositivo de codificación de imagen y el dispositivo de decodificación de imagen de acuerdo a las modalidades. Además, por ejemplo, el procesador 1332 de video puede tener los mismos efectos como los efectos descritos anteriormente con referencia a las figuras 1 a 43.
Además, en el motor 1516 de códec, la presente teenóloga (esto es, las funciones de los dispositivos de codificación de imágenes o los dispositivos de decodificación de imágenes de acuerdo a la modalidad anterior) se puede implementar por cualquiera o ambos del hardware tal como un circuito lógico o el software tal como un programa incorporado.
Las dos configuraciones ejemplares del procesador 1332 de video se han descrito anteriormente, pero la configuración del procesador 1332 de video es arbitraria y puede tener cualquier configuración otra que las dos configuraciones anteriores. Además, el procesador 1332 de video se puede configurar con un solo chip semiconductor o se puede configurar con una pluralidad de chips semiconductores. Por ejemplo, el procesador 1332 de video se puede configurar con un LSI apilado tridimensionalmente en el cual una pluralidad de semiconductores se apila. Además, el procesador 1332 de video se puede implementar por una pluralidad de LSIs.
Ejemplos de aplicación a los dispositivos El conjunto 1300 de video se puede incorporar en varios tipos de dispositivos que procesan datos de imagen. Por ejemplo, el conjunto 1300 de video se incorpora en el dispositivo 900 de televisión (figura 54), el teléfono 920 móvil (figura 55), el dispositivo 940 de grabación/reproducción (figura 56), el dispositivo 960 de visualización (figura 57), o los similares Conforme se incorpora el conjunto 1300 de video, los dispositivos pueden tener los mismos efectos como los efectos descritos anteriormente con referencia a las figuras 1 a 43.
Además, el conjunto 1300 de video también se puede incorporar en un dispositivo terminal tal como la computadora 1004 personal, el dispositivo 1005 AV, el dispositivo 1006 de tableta o el teléfono 1007 móvil en el sistema 1000 de transmisión de datos de la figura 58, la estación 1101 de radiodifusión o el dispositivo 1102 terminal en el sistema de transmisión de datos 1100 de la figura 59, o el dispositivo 1201 de visualización o el dispositivo 1202 de almacenamiento de datos codificados escalables en el sistema 1200 de visualización de la figura 60. Conforme se incorpora el conjunto 1300 de video, los dispositivos pueden tener los mismos efectos como los efectos descritos anteriormente con referencia a las figuras 1 a 43.
Además, incluso cada componente del conjunto 1300 de video se puede implementar como un componente al cual se aplica la presente teenología cuando el componente incluye el procesador 1332 de video. Por ejemplo, solo el procesador 1332 de video se puede implementar como un procesador de video al cual se aplica la presente tecnología. Además, por ejemplo, los procesadores indicados por la línea 1341 punteada como se describe anteriormente, el módulo 1311 de video, o los similares se pueden implementar como, por ejemplo, un procesador o un módulo al cual se aplican la presente teenología. Además, por ejemplo, una combinación del módulo 1311 de video, la memoria 1312 externa, el módulo 1313 de manejo de energía, y el módulo 1314 extremo frontal se puede implementar como una unidad 1361 de video al que se aplica la presente tecnología. Esas configuraciones pueden tener los mismos efectos como los efectos descritos anteriormente con referencia a las figuras 1 a 43.
En otras palabras, una configuración que incluye el procesador 1332 de video se puede incorporar en varios tipos de dispositivos que procesan datos de imagen, similarmente al caso del conjunto 1300 de video. Por ejemplo, el procesador 1332 de video, los procesadores indicados por la línea 1341 punteada, el módulo 1311 de video, o la unidad 1361 de video se pueden incorporar en el dispositivo 900 de televisión (Figura 54), el teléfono 920 móvil (figura 55), el dispositivo 940 de grabación/reproducción (figura 56), el dispositivo 960 de visualización (figura 57), el dispositivo terminal tal como la computadora 1004 personal, el dispositivo 1005 AV, el dispositivo 1006 de tableta o el teléfono 1007 móvil en el sistema 1000 de transmisión de datos de la figura 58, la estación 1101 de radiodifusión o el dispositivo 1102 terminal en el sistema 1100 de transmisión de datos de la figura 59, el dispositivo 1201 de visualización o el dispositivo 1202 de almacenamiento de datos codificados en el sistema 1200 de visualización de la figura 60, o los similares. Además, como la configuración a la cual se aplica la presente teenología, los dispositivos pueden tener los mismos efectos como los efectos descritos anteriormente con referencia a las figuras 1 a 43, similarmente al conjunto 1300 de video. 11. Novena modalidad Ejemplo de aplicación de MPEG-DASH La presente tecnología también se puede aplicar a un sistema para seleccionar unos datos apropiados de entre una pluralidad de piezas de datos codificados que tienen diferentes resoluciones que se preparan por adelantado en unidades de segmentos y usa los datos seleccionados, por ejemplo, un sistema de reproducción de contenido de corriente HTTP o un sistema de comunicación inalámbrico del estándar Wi-Fi tal como MPEG DASH que se describirá después.
Vista general del sistema de reproducción de contenido Primero, un sistema de reproducción de contenido al cual la presente tecnología es aplicable se describirá esquemáticamente con referencia a las figuras 64 a 66.
Se describirá una configuración básica que es común en las modalidades descritas anteriormente con referencia a las figuras 64 y 65.
La figura 64 es un diagrama explicativo que ilustra una configuración de un sistema de reproducción de contenido. El sistema de reproducción de contenido incluye los servidores 1610 y 1611 de contenido, una red 1612, y un dispositivo 1620 de reproducción de contenido (un dispositivo del cliente) como se ilustra en la figura 64.
Los servidores 1610 y 1611 de contenido se conectan con el dispositivo 1620 de reproducción de contenido mediante la red 1612. La red 1612 es un camino de transmisión alámbrico o inalámbrico de información transmitida desde un dispositivo conectado a la red 1612.
Por ejemplo, la red 1612 puede incluir una red de línea pública tal como el Internet, una red de línea telefónica, o una red de comunicación por satélite, varios tipos de LANs tales como el Ethernet (una marca registrada), una red de área amplia puede incluir una red de línea dedicada tal como una red privada virtual de protocolo de Internet (IP-VPN).
El servidor 1610 de contenido codifica los datos de contenido, y genera y almacena un archivo de datos que incluye información meta de datos codificados y datos codificados. Cuando el servidor 1610 de contenido genera un archivo de datos de un formato MP4, los datos codificados corresponden a "mdat", y la información meta corresponde a "moov".
Además, los datos de contenido pueden ser datos de música tal como música, una lectura, o un programa de radio, datos de video tales como una película, un película, un programa de televisión, una fotografía, un documento, una pintura y un gráfico, un juego, software o los similares.
Aquí, el servidor 1610 de contenido genera una pluralidad de archivos de datos con el mismo contenido en diferentes tasas de bitios. Además, en respuesta a una solicitud de reproducción de contenido recibida desde el dispositivo 1620 de reproducción de contenido, el servidor 1611 de contenido incluye información de un parámetro añadido a una URL correspondiente por el dispositivo 1620 de reproducción de contenido en una información de la URL del servidor 1610 de contenido, y transmite la información resultante al dispositivo 1620 de reproducción de contenido. Los detalles se describirán a continuación con referencia a la figura 65.
La figura 65 es un diagrama explicativo que ilustra un flujo de datos en el sistema de reproducción de contenido de la figura 64. El servidor 1610 de contenido codifica los mismos datos de contenido en diferentes tasas de bitios, y genera, por ejemplo, un archivo A de 2 Mbps, un archivo B de 1.5 Mbps, y un archivo C de 1 Mbps como se ilustra en la figura 65. Relativamente, el archivo A es una tasa de bitios alta, el archivo B es una tasa de bitios estándar, y el archivo C es una tasa de bitios baja.
Además, los datos codificados de cada archivo se dividen en una pluralidad de segmentos como se ilustra en la figura 65. Por ejemplo, los datos codificados del archivo A se dividen en segmentos tales como "Al", "A2", "A3", ..., y "An", los datos codificados del archivo B se dividen en segmentos tales como "Bl", "B2", "B3", y "Bn", y los datos codificados del archivo C se dividen en segmentos tales como "Cl", "C2", "C3 ", y "Cn".
Además, cada segmento se puede configurar con una muestra de configuración mayor que una o más piezas de datos de video codificados y datos de audio codificados que comienzan de una muestra del disparador de MP4 (por ejemplo, una imagen IDR en la codificación de video de AVC/H.264) y es independientemente irreproducible. Por ejemplo, cuando los datos de video de 30 cuadros por segundo se codifican por un GOP que tiene una longitud fija de 15 cuadros, cada segmento puede codificar datos de video y audio de 2 segundos que corresponden a 4 GOPs o puede codificar datos de video y audio de 10 segundos que corresponde a 20 GOPs.
Además, los segmentos que son los mismos en una orden de disposición en cada archivo tienen los mismos rangos de reproducción (los rangos de un tiempo de posición del encabezado del contenido). Por ejemplo, los rangos de reproducción de contenido del segmento "A2", el segmento "B2" y el segmento "C2" son los mismos, y cuando cada segmento se codifica datos cada 2 segundos, los rangos de reproducción del segmento "A2", el segmento "B2", y el segmento "C2" son de 2 a 4 segundos de contenido.
Cuando se genera del archivo A al archivo C configurados con una pluralidad de segmentos, el servidor 1610 de contenido almacena del archivo A al archivo C. Además, como se ilustra en la figura 65, el servidor 1610 de contenido transmite secuencialmente segmentos que configuran diferentes archivos al dispositivo 1620 de reproducción de contenido, y el dispositivo 1620 de reproducción de contenido realiza la transmisión de reproducción sobre los segmentos recibidos.
Aquí, el servidor 1610 de contenido de acuerdo a la presente modalidad transmite un archivo de lista de reproducción (en lo sucesivo, una "descripción de presentación de medios (MPD)") que incluyen información de la tasa de bitios y la información de acceso de cada uno de los datos codificados al dispositivo 1620 de reproducción de contenido, y el dispositivo de reproducción de contenido selecciona cualquiera de una pluralidad de tasas de bitios basados en la MPD, y solicita el servidor 1610 de contenido para transmitir un segmento que corresponde a la tasa de bitios seleccionada.
La figura 64 ilustra solo un servidor 1610 de contenido, pero la presente descripción no se limita a este ejemplo.
La figura 66 es un diagrama explicativo que ilustra un ejemplo especifico de la MPD. La MPD incluye información de acceso relacionada a una pluralidad de piezas de datos codificados que tienen diferentes tasas de bitios (bandas anchas) como se ilustra en la figura 66. Por ejemplo, la MPD ilustrada en la figura 66 indica que hay datos codificados de 256 Kbps, datos codificados de 1.024 Mbps, datos codificados de 1.384 Mbps, datos codificados de 1.526 Mbps, y datos codificados de 2.048 Mbps, e incluye información de acceso relacionada a cada uno de los datos codificados. El dispositivo 1620 de reproducción de contenido puede cambiar dinámicamente una tasa de bitios de datos codificados que se sujetan a la reproducción de transmisión basada en la MPD.
Además, la figura 64 ilustra una terminal móvil como un ejemplo del dispositivo 1620 de reproducción de contenido, pero el dispositivo 1620 de reproducción de contenido no se limita a este ejemplo. Por ejemplo, el dispositivo 1620 de reproducción de contenido puede ser un dispositivo de procesamiento de información tal como una computadora personal (PC), un dispositivo de procesamiento de video doméstico (un grabador de DVD, un grabador de video casete (VCR)), un asistente personal digital (PDA), una máquina de juegos de uso doméstico, o un aparato eléctrico doméstico. Además, el dispositivo 1620 de reproducción de contenido puede ser un dispositivo de procesamiento de información tal como un teléfono móvil, un sistema de teléfono portátil personal (PHS), un reproductor de música portable, un dispositivo de procesamiento de video portable o una máquina de juegos portable.
Configuración del servidor 1610 de contenido La visión general del sistema de reproducción de contenido se ha descrito anteriormente con referencia a las figuras 64 a 66. Después, una configuración del servidor 1610 de contenido se describirá con referencia a la figura 67.
La figura 67 es un diagrama de bloques funcional que ilustra una configuración del servidor 1610 de contenido. El servidor 1610 de contenido incluye una unidad 1631 de generación de archivo, una unidad 1631 de almacenamiento, y una unidad 1633 de comunicación como se ilustra en la figura 67.
La unidad 1631 de generación de archivo incluye un codificador 1641 que codifica datos de contenido, y genera una pluralidad de piezas de datos codificados que tienen diferentes tasas de bitios en el mismo contenido y la MPD. Por ejemplo, cuando los datos codificados de 256 Kbps, los datos codificados de 1.024 Mbps, los datos de 1.384 Mbps, los datos codificados de 1.536 Mbps, y los datos codificados de 2.048 Mbps se generan, la unidad 1631 de generación de archivo genera la MPD ilustrada en la figura 66.
La unidad 1632 de almacenamiento almacena la pluralidad de piezas de datos codificados que tienen diferentes tasas de bitios y la MPD generada por la unidad 1631 de generación de archivo. La unidad 1632 de almacenamiento puede ser un medio de almacenamiento tal como una memoria no volátil, un disco magnético, un disco óptico, o un disco magneto-óptico (MO). Los ejemplos de la memoria no volátil incluyen una memoria de solo lectura programable borrable eléctricamente (EEPROM) y una ROM programable borrable (EPROM). Como un disco magnético, hay un disco duro, un disco de tipo disco magnético, y los similares. Además, como un disco óptico, hay un disco compacto (CD), un disco versátil digital regrabable (DVD-R), un Disco Blu-ray (BD) (una marca registrada), y los similares.
La unidad 1633 de comunicación es una interfaz con el dispositivo 1620 de reproducción de contenido, y comunica con el dispositivo 1620 de reproducción de contenido mediante la red 1612. En detalle adicional, la unidad 1633 de comunicación tiene una función como un servidor HTTP de comunicación con el dispositivo 1620 de reproducción de contenido de acuerdo a la HTTP. Por ejemplo, la unidad 1633 de comunicación transmite la MPD al dispositivo 1620 de reproducción de contenido, extrae los datos codificados solicitados basados en la MPD desde el dispositivo 1620 de reproducción de contenido de acuerdo al HTTP desde la unidad 1632 de almacenamiento, y transmite los datos codificados al dispositivo 1620 de reproducción de contenido como una respuesta HTTP.
Configuración del dispositivo 1620 de reproducción de contenido La configuración del servidor 1610 de contenido de acuerdo a la presente modalidad se ha descrito anteriormente. Después, una configuración del dispositivo 1620 de reproducción de contenido se describirá con referencia a la figura 68.
La figura 68 es un diagrama de bloques funcional que ilustra una configuración del dispositivo 1620 de reproducción de contenido. El dispositivo 1620 de reproducción de contenido incluye una unidad de comunicación 1651, una unidad 1652 de almacenamiento, una unidad 1653 de reproducción una unidad 1654 de selección, y una unidad 1656 de adquisición de locación presente como se ilustra en la figura 68.
La unidad 1651 de comunicación es una interfaz con el servidor 1610 de contenido, solicita al servidor 1610 de contenido transmitir datos, y adquiere datos desde el servidor 1610 de contenido. En detalle adicional, la unidad 1651 de comunicación tiene una función como de una comunicación del cliente HTTP con el dispositivo 1620 de reproducción de contenido de acuerdo a la HTTP. Por ejemplo, la unidad 1651 de comunicación puede adquirir selectivamente la MPD y los segmentos de los datos codificados desde el servidor 1610 de contenido usando un rango HTTP.
La unidad 1652 de almacenamiento almacena varios tipos de piezas de información relacionadas a la reproducción de contenido. Por ejemplo, los segmentos adquiridos desde el servidor 1610 de contenido por la unidad 1651 de comunicación se almacenan secuencialmente. Los segmentos de los datos almacenados en la unidad 1652 de almacenamiento se suministran secuencialmente a la unidad 1653 de reproducción en una forma primera entrada primera salida (FIFO).
Además, la unidad 1652 de almacenamiento añade un paramento a una URL a través de la unidad 1651 de comunicación basado en una instrucción para añadir un parámetro a una URL de contenido que se describe en la MPD y solicitada desde el servidor 1611 de contenido que se describirá después, y almacena una definición para acceder a la URL.
La unidad 1653 de reproducción reproduce secuencialmente los segmentos suministrados desde la unidad 1652 de almacenamiento. Específicamente, la unidad 1653 de reproducción realiza la decodificación del segmento, la conversión DA, la presentación, y los similares.
La unidad 1654 de selección selecciona secuencialmente sí o no se adquiere un segmento de los datos codificados corresponde a cualquiera de las tasas de bitios incluidas en la MPD en el mismo contenido. Por ejemplo, cuando la unidad 1654 de selección selecciona secuencialmente "Al", "B2" y "A3" de acuerdo a la frecuencia de banda de la red 1612, la unidad 1651 de comunicación adquiere secuencialmente los segmentos "Al", "B2" y "A3" desde el servidor 1610 de contenido como se ilustra en la figura 65.
La unidad 1656 de adquisición de locación presente se puede configurar con un módulo que adquiere una posición del dispositivo 1620 de reproducción de contenido, por ejemplo, adquiere una posición actual de un receptor del sistema de posicionamiento global (GPS) o los similares. Además, la unidad 1656 de adquisición de locación presente puede adquirir una posición actual del dispositivo 1620 de reproducción de contenido usando una red inalámbrica.
Configuración del servidor 1611 de contenido La figura 69 es un diagrama para describir una configuración ejemplar del servidor 1611 de contenido. El servidor 1611 de contenido incluye una unidad 1671 de almacenamiento y una unidad 1672 de comunicación como se ilustra en la figura 69.
La unidad 1671 de almacenamiento almacena la información de URL de la MPD. La información URL de la MPD se transmite desde el servidor 1611 de contenido al dispositivo 1620 de reproducción de contenido de acuerdo a la solicitud recibida desde el dispositivo 1620 de reproducción de contenido que solicita la reproducción de contenido. Además, cuando se recibe la información de la URL de la MPD se proporciona al dispositivo 1620 de reproducción de contenido, la unidad 1671 de almacenamiento almacena información de definición usada cuando el dispositivo 1620 de reproducción de contenido añade el parámetro a la URL descrita en la MPD.
La unidad 1672 de comunicación es una interfaz con el dispositivo 1620 de reproducción de contenido, y comunica con el dispositivo 1620 de reproducción de contenido mediante la red 1612. En otras palabras, la unidad 1672 de comunicación recibe la solicitud para solicitar la información de la URL de la MPD desde el dispositivo 1620 de reproducción de contenido que solicita la reproducción de contenido, y transmite la información de la URL desde el dispositivo 1620 de reproducción de contenido que solicita la reproducción de contenido, y transmite la información de la URL de la MPD al dispositivo 1620 de reproducción de contenido. La URL de la MPD transmitida desde la unidad 1672 de comunicación incluye información a la cual se añade el parámetro a través del dispositivo 1620 de reproducción de contenido.
Se pueden realizar varios ajustes en el parámetro a añadir a la URL de la MPD a través del dispositivo 1620 de reproducción de contenido basado en la información de definición compartida por el servidor 1611 de contenido y el dispositivo 1620 de reproducción de contenido. Por ejemplo, información tal como una posición actual del dispositivo 1620 de reproducción de contenido, una ID del usuario del usuario que usa el dispositivo 1620 de reproducción de contenido, un tamaño de memoria del dispositivo 1620 de reproducción de contenido, y la capacidad de un almacenamiento del dispositivo 1620 de reproducción de contenido se puede añadir a la URL de la MPD a través del dispositivo 1620 de reproducción de contenido.
En el sistema de reproducción de contenido que tiene la configuración anterior, como se aplica la presente teenología descrita anteriormente con referencia a las figuras 1 a 43, se pueden obtener los mismos efectos como los efectos descritos anteriormente con referencia a las figuras 1 a 43.
En otras palabras, el codificador 1641 del servidor 1610 de contenido tiene la función del dispositivo de codificación de imagen de acuerdo a la modalidad anterior. Además, la unidad 1653 de reproducción del dispositivo 1620 de reproducción de contenido tiene la función del dispositivo de decodificación de imagen de acuerdo a la modalidad anterior. Por tanto, es posible suprimir un incremento en una capacidad de almacenamiento necesaria para la codificación y la decodificación.
Además, en el sistema de reproducción de contenido, como se transmiten y reciben datos codificados de acuerdo a la presente teenología, es posible suprimir un incremento en una capacidad de almacenamiento necesaria para la codificación y la decodificación. 12. Decima modalidad Ejemplos de aplicación del sistema de comunicación inalámbrica de estándar Wi-Fi Se describirá un ejemplo de operación básica de un dispositivo de comunicación inalámbrica en el sistema de comunicación inalámbrica al cual la presente tecnología es aplicable .
Ejemplo de operación básica del dispositivo de comunicación inalámbrica Primero, los paquetes inalámbricos se transmiten y reciben hasta que se establece una conexión igual a igual (P2P), y hasta que se opera una aplicación específica.
Entonces, antes que se establezca una conexión a través de una segunda capa, se transmiten y reciben los paquetes inalámbricos hasta que se designa usar una aplicación específica, entonces se establece una conexión P2P, y se opera una aplicación específica. Por lo tanto, después se establece una conexión a través de la segunda capa, se transmiten y reciben los paquetes inalámbricos para activar una aplicación específica.
Ejemplo de comunicación cuando la operación de la aplicación especifica comienza Las figuras 70 y 71 son diagramas de secuencia que ilustra un proceso de comunicación ejemplar por los dispositivos que sirven como la base de la comunicación inalámbrica como un ejemplo de transmisión y recepción de los paquetes inalámbricos hasta que se establece una conexión P2P, y se opera una aplicación específica. Específicamente, se ilustra un proceso de establecimiento de conexión directa ejemplar de establecer una conexión en el estándar directo de Wi-Fi (el cual también se refiere a él como "Wi-Fi P2P") estandarizado en la Alianza de Wi-Fi.
Aquí, en el Wi-Fi directo, una pluralidad de dispositivos de comunicación inalámbricos detecta la presencia del dispositivo de comunicación inalámbrico de la otra parte (descubrimiento del dispositivo y descubrimiento del servicio). Además, cuando se realiza la selección del dispositivo de conexión, la autentificación del dispositivo se realiza entre los dispositivos seleccionados a través de la configuración protegida de Wi-Fi (WPS), y entonces se establece una conexión directa. En la Wi-Fi directa, una pluralidad de dispositivos de comunicación inalámbrica decididos a tomar un dispositivo maestro (un grupo propio) o un dispositivo esclavo (un cliente), y formar un grupo de comunicación.
Aquí, en este proceso de comunicación ejemplar, no se ilustra la transmisión y recepción de algunos paquetes. Por ejemplo, en el momento de una primera conexión, el intercambio de paquete para usar una WPS es necesario como se describe anteriormente, y el intercambio de paquete también es necesario en el intercambio de una solicitud/respuesta de autentificación o los similares. Sin embargo, en las figuras 70 y 71, tal intercambio de paquete no se ilustra, y solo una segunda conexión y se ilustra después.
Además, en las figuras 70 y 71 se ilustra un proceso de comunicación ejemplar entre un primer dispositivo 1701 de comunicación inalámbrico y un segundo dispositivo 1702 de comunicación inalámbrico, pero lo mismo aplica a un proceso de comunicación entre otros dispositivos de comunicación inalámbricos .
Primero, el descubrimiento del dispositivo se realiza B entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica (1711). Por ejemplo, el primer dispositivo 1701 de comunicación inalámbrico transmite una solicitud de prueba (una señal de solicitud de respuesta) y recibe una respuesta 0 de prueba (una señal de respuesta) a la solicitud de prueba desde el segundo dispositivo 1702 de comunicación inalámbrica. Por tanto, el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica pueden descubrir la presencia de la otra parte. 5 Además, a través del descubrimiento del dispositivo, es posible adquirir un nombre del dispositivo o un tipo (una Televisión, una PC, un teléfono inteligente, o los similares) de la otra parte.
Entonces, el descubrimiento del servicio se realiza entre 0 el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica (1712). Por ejemplo, el primer dispositivo 1701 de comunicación inalámbrica transmite una pregunta de descubrimiento del servicio para preguntar un servicio soportado por el segundo 5 dispositivo 1702 de comunicación inalámbrica descubierto a través del descubrimiento del dispositivo. Entonces, el primer dispositivo 1701 de comunicación inalámbrica puede adquirir un servicio soportado por el segundo dispositivo 1702 de comunicación inalámbrica recibiendo una respuesta del descubrimiento del servicio desde el segundo dispositivo 1702 de comunicación inalámbrica. En otras palabras, a través del servicio de descubrimiento, es posible adquirir, por ejemplo, un servicio ejecutable por la otra parte. Por ejemplo, el servicio ejecutable por la otra parte es un servicio o un protocolo (una alianza de red en vivo digital (DLNA), un procesador de medios digitales (DMR), o los similares).
Entonces, el usuario realiza una operación (una operación de selección del socio de conexión) para seleccionar un socio de conexión (1713). La operación de selección del compañero de conexión se puede realizar en solo cualquiera del primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica. Por ejemplo, una pantalla de selección de socio de conexión se visualiza en una unidad de pantalla del primer dispositivo 1701 de comunicación inalámbrica, y el segundo dispositivo 1702 de comunicación inalámbrica se selecciona en la pantalla de selección de socio de conexión como un socio de conexión de acuerdo a la operación del usuario.
Cuando el usuario realiza la operación de selección del socio de conexión (1713), se realiza una negociación con propietario del grupo entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica (1714). En el ejemplo ilustrado en las figuras 70 y 71, como un resultado de la negociación del propietario del grupo, y el primer dispositivo 1701 de comunicación inalámbrica se vuelve un propietario 1715 del grupo, y el segundo dispositivo 1702 de comunicación inalámbrica se vuelve un cliente 1716.
Entonces, los procesos (1717 a 1720) se realizan entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica, y por tanto se establece una conexión directa. En otras palabras, la asociación (establecimiento (1717) del enlace L2 (segunda capa)) y el establecimiento (1718) de enlace seguro se realizan secuencialmente. Además, el asignación (1719) de la dirección IP y la configuración (1720) L4 en L3 por un protocolo de descubrimiento de servicio simple (SSDP) se realizan secuencialmente. Además, L2 (capa 2) indica una segunda capa (una capa de enlace de datos), L3 (capa 3) indica una tercera capa (una capa de red), y L4 (capa 4) indica una cuarta capa (una capa de transporte).
Entones, el usuario realiza una operación de designación de aplicación especifica o una operación de activación (una operación de designación/activación de aplicación) (1721). La operación de designación/activación de aplicación se puede realizar solo en cualquiera del primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica. Por ejemplo, una operación de designación/activación de aplicación en pantalla se visualiza en una unidad de pantalla del primer dispositivo 1701 de comunicación inalámbrica, y se selecciona una aplicación especifica en la operación de designación/activación de aplicación en pantalla de acuerdo a la operación del usuario.
Cuando el usuario realiza la operación de designación/activación de aplicación (1721), una aplicación especifica que corresponde a que la operación de designación/activación de aplicación se ejecuta entre el primer dispositivo 1701 de comunicación inalámbrico y el segundo dispositivo 1702 de comunicación inalámbrico (1722).
Aquí, una conexión se considera ser realizada entre las estaciones de punto de acceso (AP-STAs) dentro de un rango de la especificación (la especificación estandarizada en IEEE802.il) antes del estándar directo de Wi-Fi. En este caso, es difícil detectar un dispositivo a conectar por adelantado antes que se establezca la conexión a través de la segunda capa (antes de la asociación se realiza en la terminología de IEEE802.11).
Por el otro lado, como se ilustra en las figuras 70 y 71, en el directo Wi-Fi, cuando un candidato a socio de conexión se alcanza para atravesar el descubrimiento del dispositivo o el descubrimiento del servicio (opción), es posible adquirir información de un socio de conexión. Los ejemplos de la información del socio de conexión incluyen un tipo de un dispositivo básico y una aplicación especifica soportada. Además, es posible hacer que el usuario seleccione el socio de conexión basado en la información adquirida del socio de conexión.
Extendiendo esta especificación, también es posible implementar un sistema de comunicación inalámbrica en la cual se designa una aplicación especifica antes que una conexión se establezca a través de la segunda capa, se selecciona un socio de conexión, y una aplicación especifica se activa automáticamente después de la selección. Un ejemplo de una secuencia de establecer una conexión en este caso se ilustra en la figura 73. Además, una configuración ejemplar de un formato de cuadro transmitido-recibido en el proceso de comunicación se ilustra en la figura 72.
Configuración ejemplar del formato de cuadro La figura 72 es un diagrama esquemático que ilustra una configuración ejemplar de un formato de cuadro transmitido-recibido en un proceso de comunicación realizado por los dispositivos que sirven como la base de la presente teenología. En otras palabras, la figuras 72 ilustra una configuración ejemplar de un cuadro MAC usado para establecer una conexión a través de la segunda capa. Específicamente, se ilustra un ejemplo de un formato de cuadro de una solicitud/respuesta de asociación (1787) para imple entar la secuencia ilustrada en la figura 73.
Como se ilustra en la figura 72, un cuadro MAC incluye un control de cuadro (1751) a FCS (1758), y una porción que oscila desde el control de cuadro (1751) a un control (1756) de secuencia sirve como un encabezado MAC. Además, cuando se transmite una solicitud de asociación, B3B2 = "ObOO" y B7B6B5B4 = "ObOOOO" se ajustan en el control (1751) de cuadro. Además, cuando se encapsula una respuesta de asociación, B3B2 = "ObOO" y B7B6B5B4 = "ObOOOl" se ajustan en el control (1751) de cuadro. Además, "ObOO" es "00" en la notación binaria, "ObOOO" es "0000" en la notación binaria, y "ObOOOl" es "0001" en la notación binaria.
Aquí, el cuadro MAC (cuerpo (1757) de cuadro) ilustrado en la figura 70 es básicamente un formato de cuadro de solicitud/respuesta de asociación descrito en las secciones 7.2.3.4 y 7.2.3.5 de la especificación IEEE802.il. Aquí, una diferencia cae en que los elementos de información se extienden independientemente (en lo sucesivo, abreviado como "IEs") asi como se incluyen IEs definidas en la especificación IEEE802.11 (1759).
Además, para indicar una IE especifica del vendedor (1760), 127 esto es un numero decimal se ajusta a un tipo IE (ID del elemento de información (1761)). En este caso, a través de la sección 7.3.2.26 de la especificación IEEE802.il-2007, un campo (1762) de longitud, y un contenido especifico del vendedor (1764) se dispone subsecuentemente.
Como el contenido del contenido especifico del vendedor (1764), un campo (tipo IE (1765)) que indica que un tipo de un IE especifico del vendedor se ajusta primero. Subsecuentemente, una configuración capaz de almacenar una pluralidad de subelementos (1766) se considera ser dado.
Como el contenido del subelemento (1766), un nombre (1767) de una aplicación especifica a usar y un papel (1768) del dispositivo cuando la aplicación especifica opera se considera ser incluido. Además, la información (1769) (información para la configuración L4) de una aplicación especifica, un número de puerto usado para el control del mismo, o los similares e información (1770) (información de capacidad) relacionada a la capacidad en una aplicación especifica se consideran ser incluidos. Aquí, por ejemplo, cuando la aplicación específica designada es una DLNA, la información de capacidad es información para especificar sí o no se soporta la transmisión/reproducción de audio, sí o no se soporta la transmisión/reproducción de video, o los similares.
En el sistema de comunicación inalámbrico que tiene la configuración anterior, como se aplica la presente teenología descrita anteriormente con referencia a las figuras 1 a 43, se pueden obtener los mismos efectos como los efectos descritos anteriormente con referencia a las figuras 1 a 43. En otras palabras, es posible suprimir un incremento en una capacidad de almacenamiento necesaria para la codificación y la decodificación. Además, en el sistema de comunicación inalámbrica, como se realiza la transmisión y recepción de datos codificados de acuerdo a la presente teenología, es posible suprimir un incremento en una capacidad de almacenamiento necesaria para la codificación y la decodificación.
En esta especificación, la descripción se ha hecho en conexión con el ejemplo en que varios tipos de piezas de información se multiplexan en una corriente codificada y transmitida desde un lado de codificación a un lado de decodificación. Sin embargo, la técnica de transmisión de la información no se limita a este ejemplo. Por ejemplo, la información se puede transmitir o grabar como datos individuales asociados con una corriente de bitios sin ser multiplexada en una corriente de bitios. Aquí, un término "asociado" significa que una imagen (o una parte de una imagen tal como un trozo o un bloque) incluida en una corriente de bitios se puede enlazar con información que corresponde a la imagen en el tiempo de la decodificación. En otras palabras, la información se puede transmitir a través de un camino de transmisión diferente desde una imagen (o una corriente de bitios). Además, la información se puede grabar en un medio de grabación (o un área de grabación diferente del mismo medio de grabación) diferente de una imagen (o una corriente de bitios). Además, por ejemplo, la información y la imagen (o una corriente de bitios) se puede asociar con cada uno en unidades arbitrarias tales como unidades de una pluralidad de cuadros, unidades de cuadros, unidades de cuadros, o unidades de partes de un cuadro.
Las modalidades preferidas de la presente descripción se han descrito anteriormente con referencia a los dibujos adjuntos, mientras que la presente invención no se limita a los ejemplos anteriores. Una persona hábil en el arte puede encontrar varias alteraciones y modificaciones dentro de la cercanía de las reivindicaciones adjuntas, y se debe entender que ellos naturalmente estarán bajo la cercanía téenica de la presente descripción.
La presente tecnología puede tener las siguientes configuraciones también. (1) Un dispositivo de procesamiento de imágenes, que incluye: una unidad de recepción que recibe una corriente de bitios codificada que incluye un elemento de sintaxis relacionado a un proceso de ínter imagen; y una unidad de análisis que analiza el elemento de sintaxis recibido por la unidad de recepción en un estado en que un valor del elemento de sintaxis se restringe cuando-la corriente de bitios es una corriente de bitios codificada basada en un perfil para codificar una imagen fija. (2) El dispositivo de procesamiento de imagen de acuerdo a cualquiera de (1) y (3) a (9), además incluye una unidad de decodificación que decodifica la corriente de bitios usando el elemento de sintaxis analizado por la unidad de análisis. (3) El dispositivo de procesamiento de imagen de acuerdo a cualquiera de (1), (2), y (4) a (9), además incluye una unidad de determinación que determina si o no el valor del elemento de sintaxis recibido por la unidad de recepción se restringe apropiadamente cuando la corriente de bitios es la corriente de bitios basada en el perfil para la codificación de la imagen fija. (4) El dispositivo de procesamiento de imagen de acuerdo a cualquiera de (1) a (3) y (5) a (9), además incluye una unidad de procesamiento de anormalidad que realiza un proceso de anormalidad cuando la unidad de determinación determina que el valor del elemento de sintaxis no se restringe apropiadamente. (5) El dispositivo de procesamiento de imagen de acuerdo a cualquiera de (1) a (4) y de (6) a (9), en donde elemento de sintaxis se almacena por adelantado en un conjunto del parámetro de secuencia de la corriente de bitios. (6) El dispositivo de procesamiento de imagen de acuerdo a cualquiera de (1) a (5) y de (7) a (9), en donde el elemento de sintaxis es una sintaxis relacionada a una imagen de referencia. (7) El dispositivo de procesamiento de acuerdo a cualquiera de (1) a (6), (8) y (9), en donde el elemento de sintaxis es una sintaxis relacionada al número de imágenes de referencia. (8) El dispositivo de procesamiento de imagen de acuerdo a cualquiera de (1) a (7) y (9), además incluye una unidad de determinación que determina si o no el valor del elemento de sintaxis recibido por la unidad de recepción es un valor predeterminado. (9) El dispositivo de procesamiento de imagen de acuerdo a cualquiera de (1) a (8), en donde el valor predeterminado es 0. (10) Un metodo de procesamiento de imagen, que incluye: recibir un elemento de sintaxis relacionado a un proceso de ínter imagen; y analizar el elemento de sintaxis recibido en un estado en que un valor del elemento de sintaxis se restringe cuando la corriente de bitios es una corriente de bitios codificada basada en un perfil para codificar una imagen fija. (11) El método de procesamiento de imagen de acuerdo a cualquiera de (10) a (12) a (18), además incluye decodificar la corriente de bitios usando el elemento de sintaxis analizado. (12) El metodo de procesamiento de imagen de acuerdo a cualquiera de (10), (11), y (13) a (18), además incluye determinar si o no el valor del elemento de sintaxis se restringe apropiadamente cuando la corriente de bitios es la corriente de bitios codificada basada en el perfil para la codificación de imagen fija. (13) El método de procesamiento de imagen de acuerdo a cualquiera de (10) a (12) y (14) a (18), además incluye realizar un proceso de anormalidad cuando el valor del elemento de sintaxis se determina no ser restringido apropiadamente. (14) El método de procesamiento de imagen de acuerdo a cualquiera de (10) a (13) y (15) a (18), en donde el elemento de sintaxis se almacena en un conjunto del parámetro de secuencia de la corriente de bitios. (15) El método de procesamiento de imagen de acuerdo a cualquiera de (10) a (14) y (16) a (18), en donde el elemento de sintaxis es una sintaxis relacionada a una imagen de referencia. (16) El método de procesamiento de imagen de acuerdo a cualquiera de (10) a (15), (17) y (18), en el elemento de sintaxis es una sintaxis relacionada al número de imágenes de referencia. (17) El método de procesamiento de imagen de acuerdo a cualquiera de (10) a (16) y (18), además incluye determinar si o no el valor del elemento de sintaxis es de un valor apropiado. (18) El método de procesamiento de procesamiento e imagen de acuerdo a cualquiera de (10) a (17), en donde el valor predeterminado es 0.
LISTA DE SIGNOS DE REFERENCIA 100 Dispositivo de decodificación de imagen 106 Unidad de codificación sin pérdidas 121 Unidad de configuración de perfil 131 Unidad de configuración del elemento de sintaxis 132 Unidad de codificación 200 Dispositivo de codificación de imagen 211 Unidad de determinación 300 Dispositivo de decodificación de imagen 302 Unidad de decodificación sin pérdidas 321 Unidad de determinación del perfil 331 Unidad de decodificación 332 Unidad de análisis del elemento de sintaxis 400 Dispositivo de decodificación de imagen 411 Unidad de procesamiento de anormalidad 421 Unidad de inspección del elemento de sintaxis

Claims (16)

REIVINDICACIONES
1. Un dispositivo de procesamiento de imagen, caracterizado porque comprende: una unidad de recepción que recibe una corriente de bitios codificada que incluye un elemento de sintaxis relacionado a un procesamiento de una sub-capa; y una unidad de análisis que analiza el elemento de sintaxis recibido por la unidad de recepción en un estado en que un valor del elemento de sintaxis se restringe cuando la corriente de bitios es una corriente de bitios codificada basada en un perfil para la codificación de una imagen fija.
2. El dispositivo de procesamiento de imagen de acuerdo con la reivindicación 1, caracterizado además porque comprende una unidad de decodificación que decodifica la corriente de bitios usando el elemento de sintaxis analizado por la unidad de análisis.
3. El dispositivo de procesamiento de imagen de acuerdo con la reivindicación 1, caracterizado además porque comprende una unidad de determinación que determina si o no el valor del elemento de sintaxis recibido por la unidad de recepción se restringe apropiadamente cuando la corriente de bitios es la corriente de bitios codificada basada en el perfil para la codificación de la imagen fija.
4. El dispositivo de procesamiento de imagen de acuerdo con la reivindicación 3, caracterizado además porque comprende una unidad de procesamiento de la anormalidad que realiza un proceso de anormalidad cuando la unidad de determinación determina que el valor del elemento de sintaxis no se restringe apropiadamente.
5. El dispositivo de procesamiento de imagen de acuerdo con la reivindicación 1, caracterizado porque el elemento de sintaxis se almacena en un conjunto de parámetros de secuencia de la corriente de bitios.
6. El dispositivo de procesamiento de imagen de acuerdo con la reivindicación 5, caracterizado porque el elemento de sintaxis es una sintaxis relacionada con un máximo del número de sub capas.
7. El dispositivo de procesamiento de imagen de acuerdo a la reivindicación 1, además comprende una unidad de determinación que determina sí el valor del elemento de sintaxis recibido por la unidad de recepción es un valor predeterminado o no.
8. El dispositivo de procesamiento de imagen de acuerdo con la reivindicación 7, caracterizado porque el valor predeterminado es 0.
9. Un método de procesamiento de imagen, caracterizado porque comprende: recibir una corriente de bitios que incluye un elemento de sintaxis relacionado con un procesamiento de una sub capa; y analizar el elemento de sintaxis recibido en un estado en que un valor del elemento de sintaxis se restringe cuando la corriente de bitios es una corriente de bitios codificada basada en un perfil para codificar una imagen fija.
10. El método de procesamiento de imagen de acuerdo con la reivindicación 9, caracterizado además porque comprende decodificar la corriente de bitios usando el elemento de sintaxis analizado.
11. El método de procesamiento de imagen de acuerdo con la reivindicación 10, caracterizado además porque comprende determinar sí o no el valor del elemento de sintaxis recibido se restringe apropiadamente cuando la corriente de bitios es la corriente de bitios codificada basada en el perfil para codificar la imagen fija.
12. El método de procesamiento de imagen de acuerdo con la reivindicación 11, caracterizado además porque comprende realizar un proceso de anormalidad cuando el valor del elemento de sintaxis se determina para no restringirse apropiadamente.
13. El método de procesamiento de imagen de acuerdo a la reivindicación 9, caracterizado porque el elemento de sintaxis se almacena en un conjunto del parámetros de secuencia de la corriente de bitios.
14. El método de procesamiento de imagen de acuerdo con la reivindicación 13, caracterizado porque el elemento de sintaxis es una sintaxis relacionada con un máximo del número de sub capas.
15. El método de procesamiento de imagen de acuerdo con la reivindicación 9, caracterizado además porque comprende determinar sí el valor del elemento de sintaxis recibido es un valor predeterminado o no.
16. El método de procesamiento de imagen de acuerdo con la reivindicación 15, caracterizado porque el valor predeterminado es 0.
MX2015006473A 2012-11-30 2013-11-21 Dispositivo de procesamiento de imagen y método. MX353544B (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012263811 2012-11-30
JP2013002877 2013-01-10
PCT/JP2013/081344 WO2014084108A1 (ja) 2012-11-30 2013-11-21 画像処理装置および方法

Publications (2)

Publication Number Publication Date
MX2015006473A true MX2015006473A (es) 2015-08-14
MX353544B MX353544B (es) 2018-01-18

Family

ID=50827747

Family Applications (2)

Application Number Title Priority Date Filing Date
MX2015006474A MX357870B (es) 2012-11-30 2013-11-21 Dispositivo y metodo de procesamiento de imagenes.
MX2015006473A MX353544B (es) 2012-11-30 2013-11-21 Dispositivo de procesamiento de imagen y método.

Family Applications Before (1)

Application Number Title Priority Date Filing Date
MX2015006474A MX357870B (es) 2012-11-30 2013-11-21 Dispositivo y metodo de procesamiento de imagenes.

Country Status (9)

Country Link
US (2) US10834426B2 (es)
EP (2) EP2942966A4 (es)
JP (3) JPWO2014084109A1 (es)
KR (2) KR20150092119A (es)
CN (2) CN104813670A (es)
BR (2) BR112015011913A2 (es)
MX (2) MX357870B (es)
RU (2) RU2663341C2 (es)
WO (2) WO2014084108A1 (es)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015099613A1 (en) * 2013-12-26 2015-07-02 Singapore University Of Technology And Design A method and apparatus for reducing data bandwidth between a cloud server and a thin client
JP6614139B2 (ja) * 2014-04-25 2019-12-04 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US20160021375A1 (en) * 2014-07-16 2016-01-21 Qualcomm Incorporated Transport stream for carriage of video coding extensions
US10412422B2 (en) * 2015-04-23 2019-09-10 Lg Electronics Inc. Apparatus for transmitting broadcasting signal, apparatus for receiving broadcasting signal, method for transmitting broadcasting signal, and method for receiving broadcasting signal
US11146788B2 (en) 2015-06-12 2021-10-12 Qualcomm Incorporated Grouping palette bypass bins for video coding
US10593066B1 (en) * 2017-09-29 2020-03-17 A9.Com, Inc. Compression of multi-dimensional object representations
JP7118764B2 (ja) * 2018-06-20 2022-08-16 キヤノン株式会社 通信装置、制御方法、およびプログラム
JP7154833B2 (ja) 2018-06-20 2022-10-18 キヤノン株式会社 通信装置、通信方法、およびプログラム
CN110958459B (zh) * 2018-09-26 2022-06-03 阿里巴巴集团控股有限公司 一种数据处理方法及其装置
EP4093029A4 (en) * 2020-01-13 2023-12-27 Lg Electronics Inc. METHOD AND APPARATUS FOR CODING IMAGES/VIDEOS BASED ON A PREDICTION WEIGHTED TABLE
AR121127A1 (es) 2020-02-29 2022-04-20 Beijing Bytedance Network Tech Co Ltd Señalización de información de imagen de referencia en un flujo de bits de video
US20230291933A1 (en) * 2020-05-22 2023-09-14 Lg Electronics Inc. Method and device for encoding/decoding image by signaling gci, and computer-readable recording medium in which bitstream is stored
EP4162694A4 (en) * 2020-06-08 2024-01-10 Telefonaktiebolaget LM ERICSSON (PUBL) DETERMINATION OF ABILITY TO DECODE A FIRST IMAGE IN A VIDEO BIT STREAM

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US7379498B2 (en) * 2002-03-11 2008-05-27 Broadcom Corporation Reconstructing a compressed still image by transformation to a compressed moving picture image
JP4931034B2 (ja) * 2004-06-10 2012-05-16 株式会社ソニー・コンピュータエンタテインメント 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体
WO2006072985A1 (ja) * 2005-01-06 2006-07-13 Mitsubishi Denki Kabushiki Kaisha 映像表示装置
JP2007013436A (ja) 2005-06-29 2007-01-18 Toshiba Corp 符号化ストリーム再生装置
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
EP2228995A3 (en) * 2005-09-20 2012-07-25 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
JP2007201721A (ja) 2006-01-25 2007-08-09 Victor Co Of Japan Ltd 符号化データ生成装置
BRPI0621340A2 (pt) * 2006-02-13 2011-12-06 Toshiba Kk Toshiba Corp método e aparelho e programa de codificação/decodificação de vìdeo
MX2009003968A (es) * 2006-10-16 2009-06-01 Nokia Corp Sistema y método para usar segmentos decodificables paralelamente para codificación de video de vistas múltiples.
US8170097B2 (en) 2007-12-04 2012-05-01 Sony Corporation Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
JP5183309B2 (ja) * 2008-06-11 2013-04-17 キヤノン株式会社 映像復号化装置及び方法
CN102342127A (zh) * 2009-01-28 2012-02-01 诺基亚公司 用于视频编码和解码的方法和装置
US9813705B2 (en) * 2012-04-26 2017-11-07 Qualcomm Incorporated Parameter set coding
US9491487B2 (en) * 2012-09-25 2016-11-08 Apple Inc. Error resilient management of picture order count in predictive coding systems
CN105325003B (zh) * 2013-04-17 2019-05-28 诺基亚技术有限公司 用于视频编码和解码的装置、方法

Also Published As

Publication number Publication date
BR112015011914A2 (pt) 2017-07-11
KR20150092120A (ko) 2015-08-12
US20160286238A1 (en) 2016-09-29
EP2942966A4 (en) 2016-05-25
KR20150092119A (ko) 2015-08-12
RU2015119570A (ru) 2016-12-10
RU2015119571A (ru) 2016-12-10
MX353544B (es) 2018-01-18
US20160286239A1 (en) 2016-09-29
US10841618B2 (en) 2020-11-17
MX2015006474A (es) 2015-08-14
JP2018121336A (ja) 2018-08-02
WO2014084109A1 (ja) 2014-06-05
JPWO2014084109A1 (ja) 2017-01-05
BR112015011913A2 (pt) 2017-07-11
CN104838659A (zh) 2015-08-12
MX357870B (es) 2018-07-27
EP2942966A1 (en) 2015-11-11
EP2928195A1 (en) 2015-10-07
RU2663341C2 (ru) 2018-08-03
RU2651201C2 (ru) 2018-04-18
JPWO2014084108A1 (ja) 2017-01-05
CN104813670A (zh) 2015-07-29
CN104838659B (zh) 2019-09-10
WO2014084108A1 (ja) 2014-06-05
US10834426B2 (en) 2020-11-10
EP2928195A4 (en) 2016-06-01

Similar Documents

Publication Publication Date Title
US11503321B2 (en) Image processing device for suppressing deterioration in encoding efficiency
US11706448B2 (en) Image processing apparatus and image processing method
US10075719B2 (en) Image coding apparatus and method
US10841618B2 (en) Image processing device and method
US20230308646A1 (en) Image encoding device and method and image decoding device and method
WO2015005132A1 (ja) 画像符号化装置および方法、並びに画像復号装置および方法

Legal Events

Date Code Title Description
FG Grant or registration