MX2015006474A - Dispositivo y metodo de procesamiento de imagenes. - Google Patents

Dispositivo y metodo de procesamiento de imagenes.

Info

Publication number
MX2015006474A
MX2015006474A MX2015006474A MX2015006474A MX2015006474A MX 2015006474 A MX2015006474 A MX 2015006474A MX 2015006474 A MX2015006474 A MX 2015006474A MX 2015006474 A MX2015006474 A MX 2015006474A MX 2015006474 A MX2015006474 A MX 2015006474A
Authority
MX
Mexico
Prior art keywords
image
unit
coding
data
syntax element
Prior art date
Application number
MX2015006474A
Other languages
English (en)
Other versions
MX357870B (es
Inventor
Kazushi Sato
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of MX2015006474A publication Critical patent/MX2015006474A/es
Publication of MX357870B publication Critical patent/MX357870B/es

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

La presente invención pertenece a un dispositivo y método de procesamiento de imágenes que permite que grandes reducciones en la eficiencia de codificación se minimicen. Se proporcionan: una unidad de limitación que limita los valores de elementos de sintaxis que pertenecen al procesamiento entre imágenes cuando se realiza un proceso de codificación de acuerdo con un perfil para codificar imágenes fijas; y una unidad de transmisión que transmite los elementos de sintaxis, los valores de los cuales se han limitado por la unidad de limitación. Además se proporciona una unidad de codificación que utiliza los elementos de sintaxis limitados por la unidad de limitación para codificar datos de imagen y genera una corriente de bit. La unidad de transmisión además puede configurarse para transmitir la corriente de bits generada por la unidad de codificación. La presente invención puede aplicarse a un dispositivo de procesamiento de imágenes, por ejemplo.

Description

DISPOSITIVO Y METODO DE PROCESAMIENTO DE IMAGENES CAMPO TÉCNICO
[0001] La presente descripción se relaciona con un dispositivo y método para el procesamiento de imágenes, y más particularmente, un dispositivo y método para el procesamiento de imágenes el cual es capaz de suprimir una reducción en la eficiencia de codificación.
TÉCNICA ANTECEDENTE
[0002] En años recientes, para el propósito de digitalizar información de imagen y transmitir y acumular información a alta eficiencia en ese momento, se han propagado dispositivos que comprimen y codifican imágenes al utilizar redundancia especifica de información de imagen y al emplear un esquema de codificación que realiza compresión a través de una transformada ortogonal tal como una transformada de coseno discreto y compensación de movimiento.Como tal esquema de codificación,por ejemplo, existe el Grupo de Expertos de Imágenes en Movimiento (MPEG).
[0003] Particularmente, MPEG 2 (Organización Internacional para la estandarización/Comisión Electrotéenica Internacional (ISO/IEC) 13818-2) es un estándar que se define como un esquema de codificación de imágen de propósito general, y cubre imágenes de barrido entrelazado, imágenes de barrido progresivo, imágenes de resolución estándar, e imágenes de alta definición. En este momento, MPEG 2 se está utilizando ampliamente para una amplia gama de aplicaciones tales como uso profesional y uso de consumo. Utilizando el esquema de compresión de MPEG 2, por ejemplo, en el caso de una imagen de barrido entrelazado, si una resolución estándar tiene 720 x 480 pixeles, una cantidad de codificación (índice de bit) será de 4 Mbps a 8 Mbps. Además, utilizando el esquema de compresión de MPEG 2, por ejemplo, en el caso de una imagen de barrido entrelazado de una alta resolución que tiene 1920 x 1088 pixeles, se asigna una cantidad de codificación (índice de bits) llega de 18 Mbps a 22 Mbps. De este modo, es posible implementar una alta tasa de compresión y una excelente calidad de imagen.
[0004] MPEG 2 principalmente está destinado para codificación de alta definición adecuada para la difusión pero no soporta un esquema de codificación que tiene una cantidad de codificación (índice de bit) inferior que el de MPEG 1, es decir, un esquema de codificación de un índice de compresión mayor. Con la propagación de terminales móviles, se considera que la necesidad de tal esquema de codificación se incrementará en el futuro, y de esta manera se ha estandarizado un esquema de codificación de MPEG 4.En localización con un estado de codificación de imágenes, se aprobó un estándar internacional del mismo como ISO/IEC 14496-2 en diciembre de 1998.
[0005] Además, en años recientes, la estandarización de un estándar tal como H.26L (Unión de Telecomunicación Internacional del Sector de Estandarización de Telecomunicación Q6/16 Grupo de Expertos en Codificación de Video (ITU-T Q6/16 VCEG)) para el propósito de la codificación de imágenes para videoconferencias se ha conducido.H.26L requiere una cantidad de cálculomayorpara la codificación y descodificación que en un esquema de codificación existente tal como MPEG 2 o MPEG 4, que es conocido por implementar una alta eficiencia de codificación. Además, actualmente, como una de las actividades de MPEG 4, la estandarización de la incorporación incluso como una función que no se soporta en H.26L e implementar eficiencia de codificación más alta basada en H.26L se ha realizado como un Modelo Conjunto de Codificación de Video por Compresión Mejorada.
[0006] Como una estandarización del programa, un estándar internacional llamado H.264 y el MPEG-4 Parte 10 (El cual se denominará en lo sucesivo como una "Codificación de Video Avanzada (AVC)") se ha establecido en marzo del 2003.
[0007] Además, como una extensión de H.264/AVC, se ha estandarizado el de Extensión de Margen de Fidelidad (FRExt) que incluye una herramienta de codificación necesaria para su uso profesional tal como RGB o 4:2:2 ó 4:4:4 u 8x8 DCT y una matriz de cuantíficación las cuales se especifican en MPEG-2, en febrero del 2005. Como resultado, el H.264/AVC, se ha vuelto un esquema de codificación capaz también de expresar un ruido de filme incluido en una película y se está utilizando en un amplio margen de aplicaciones tales como discos de Blue Ray (una marca registrada).
[0008] Sin embargo, en años recientes, existe una necesidad de incremento de codificación de alta tasa de compresión capaz de comprimir una imagen (que es también referida como una "4K imagen") de aproximadamente 4000 x 2000 pixeles que son 4 veces mayor que una imagen de alta definición o distribuir una imagen de alta definición en un ambiente de capacidad de transmisión limitada tal como la Internet. Para este fin, una mejora en la eficiencia de codificación ha estado bajo continua revisión por el Grupo de Expertos de Codificación de Video (VCEG) bajo ITU-T.
[0009] En este sentido, actualmente, para mejorar adicionalmente la eficiencia de codificación para que sea mayor a AVC, la estandarización de un esquema de codificación denominada como Codificación de Video de Alta Eficiencia (HEVC) se ha llevado a cabo por la Codificación de Video- Equipo de Colaboración Conjunta (JCTVC) el cual es una organización de estandarización conjunta de ITU-T e ISO/IEC. Un proyecto de comité de un estándar HEVC, es decir, una primera especificación de la versión de proyecto se ha emitido en Febrero del 2012 (véase el Documento 1 que no es Patente).
[0010] En el caso del HEVC, generalmente, la información que se transmite desde un lado de la codificación a un lado de la descodificación, incluye elementos de sintaxis para secciones P y secciones B, es decir, los elementos de sintaxis relacionados con un proceso inter-pantalla tales como la sintaxis para secciones I.
[0011] Mientras tanto, un perfil de imagen fija sirve como perfil para utilizar el HEVC como un código de imagen fija propuesta (por ejemplo, véase el Documento 2 que no es Patente)
[0012] Desde que el perfil de imagen fija es un perfil para codificar y descodificar las imágenes fijas, cuando se aplica este perfil, la sintaxis de los elementos relacionados con los procesos de inter-pantalla es innecesaria.
LISTA DE CITAS DOCUMENTO QUE NO ES PATENTE
[0013] Documento 1 que No es Patente: Benjamín Bross, Woo-Jin Han, Jens-Rainer Ohm,Gary J.Sullivan,ThomasWiegand, "Proyecto 8 de Especificación del Texto de Codificación de Video de Alta Eficiencia (HEVC), JCTVC-H1003 d7, Equipo de Colaboración Conjunta sobre Codificación de Video (JCT- VC) de ITU-T WP3 e ISO/IEC JTC1/SC29/WG11, 10a Reunión: Estocolmo, SE, 11-20 de julio de 2012 Documento 2 que no es Patente: Kemal Ugur, Jani Lainema, Miska Hannuksela, "En perfil de imagen fija," JCTVC-J0037, Equipo de Colaboración conjunta sobre codificación de video (JCT-VC) de ITU-T SG16 WP3 e ISO/IECJTC1/SC29/WG11,10a Reunión: Estocolmo, SE, 11-20 de julio de 2012.
COMPENDIO DE LA INVENCIÓN PROBLEMAS QUE SERÁN RESUELTOS POR LA INVENCIÓN
[0014] Sin embargo, en el caso del método descrito en el Documento 2 que no es Patente, el control de los elementos de sintaxis relacionados con el proceso inter-pantalla no se realiza. En otras palabras, es muy similar al caso del perfil de imágenes en movimiento, los elementos de sintaxis relacionados con el proceso inter-pantalla se transmiten desde un lado de codificación al lado de descodificación. De este modo, la eficiencia de codificación tiende a disminuir debido a que se transmite información no necesaria.
[0015] La presente descripción se realizó en vista de lo anterior, y es deseable que sea capaz de suprimir una reducción en la eficiencia de codificación.
SOLUCIONES A LOS PROBLEMAS
[0016] Un dispositivo de procesamiento de imágenes de acuerdo con un aspecto de la presente teenología incluye: una unidad de restricción que restringe un valor de un elemento de sintaxis relacionado con un proceso ínter-imagen cuando se realiza un proceso de codificación basado en un perfil para la codificación de una imagen fija; y una unidad de transmisión que transmite los elementos de sintaxis que tienen el valor restringido por la unidad de restricción.
[0017] El dispositivo de procesamiento de imágenes además puede incluir una unidad de codificación que codifica datos de imagen utilizando los elementos de sintaxis restringidos por la unidad de restricción, y genera una corriente de bits, y la unidad de transmisión además puede transmitir la corriente de bits generada por la unidad de codificación.
[0018] El elemento de sintaxis puede almacenarse en un conjunto de parámetros de secuencia de la corriente de bits.
[0019] El elemento de sintáxis puede ser una sintaxis relacionada con una imagen de referencia.
[0020] El elemento de sintaxis puede ser una sintaxis relacionada con el número de imágenes de referencia.
[0021] La unidad de restricción puede establecer el valor de elemento de sintaxis a un valor predeterminado cuando el proceso de codificación está basado en el perfil de la codificación de imágenes fija.
[0022] El valor predeterminado puede ser de 0.
[0023] Un método de procesamiento de imágenes de acuerdo con un aspecto de la presente teenología incluye:restringir un valor de un elemento de sintaxis relacionada con un proceso ínter-imagen cuando un proceso de codificación se realiza basado en un perfil para la codificación de una imagen fija; y transmitir los elementos de sintaxis que tienen el valor restringido.
[0024] El método de procesamiento de imágenes además puede incluir codificar datos de imagen utilizando los elementos de sintaxis restringidos, generando una corriente de bits, y transmitir la corriente de bits.
[0025] El elemento de sintaxis puede almacenarse en un conjunto de parámetros de secuencia de la corriente de bits.
[0026] El elemento de sintaxis puede ser una sintaxis relacionada con una imagen de referencia.
[0027] El elemento de sintaxis puede ser una sintaxis relacionada con el número de imágenes de referencia.
[0028] El valor de elementos de sintaxis puede establecerse a un valor predeterminado cuando el proceso de codificación se realiza basado en el perfil de codificación de imágenes fija.
[0029] El valor predeterminado puede ser de 0.
[0030] En un aspecto de la presente teenología, un valor de un elemento de sintaxis relacionado con un proceso de ínter imagen se restringe cuando un proceso de codificación se realiza basado en un perfil para codificar una imagen fija; y los elementos de sintaxis que tienen el valor restringido se transmite por la unidad de restricción.
EFECTOS DE LA INVENCIÓN
[0031] De acuerdo con la presente descripción, es posible codificar y descodificar una imagen. Particularmente, es posible suprimir una reducción en la eficiencia de codificación.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
[0032] La Figura 1 es un diagrama para describir una configuración ejemplar de una unidad de codificación.
La Figura 2 es un diagrama para describir una CU.
La Figura 3 es un diagrama que ilustra un nivel de grado de perfil ejemplar (Profile_tier_level).
La Figura 4 es un diagrama que ilustra un conjunto de parámetros de video ejemplar (VPS).
La Figura 5 es un diagrama que ilustra un conjunto de parámetros de secuencia ejemplar (SPS).
La Figura 6 es un diagrama que ilustra un conjunto de parámetros de secuencia ejemplar (SPS), subsiguiente a la Figura 5.
La Figura 7 es un diagrama que ilustra otro nivel de grado de perfil ejemplar (Profile_tier_level).
La Figura 8 es un diagrama que ilustra otro conjunto de parámetros de video ejemplar (VPS).
La Figura 9 es un diagrama que ilustra otro conjunto de parámetros de secuencia ejemplar (SPS).
La Figura 10 es un diagrama que ilustra otro conjunto de parámetros de secuencia ejemplar (SPS), subsiguiente a la Figura 9.
La Figura 11 es un diagrama que ilustra aún otro conjunto de parámetros de video ejemplar (VPS).
La Figura 12 es un diagrama que ilustra aún otro conjunto de parámetros de secuencia ejemplar (SPS).
La Figura 13 es un diagrama que ilustra aún otro conjunto de parámetros de video ejemplar (SPS), subsiguiente a la Figura 12.
La Figura 14 es un diagrama que ilustra un conjunto de parámetros de imágenes ejemplar (PPS).
La Figura 15 es un diagrama que ilustra UN conjunto de parámetros de imágenes ejemplar (PPS), subsiguiente a la Figura 14.
La Figura 16 es un diagrama que ilustra una datos de lista de escala ejemplar (scaling_list_data ()).
La Figura 17 es un diagrama que ilustra una semántica ejemplar de un ID de tamaño (SizeID).
La Figura 18 es un diagrama que ilustra una semántica ejemplar de un ID de tamaño (SizeID)y una ID de matriz (MatrixID).
La Figura 19 es un diagrama que ilustra datos de lista de escala ejemplar (scaling_lista_data ()).
La Figura 20 es un diagrama que ilustra un encabezado de sección ejemplar (slice_header ()).
La Figura 21 es un diagrama que ilustra un encabezado de sección ejemplar (slice_header ()), subsiguiente a la Figura 20.
La Figura 22 es un diagrama que ilustra un encabezado de sección ejemplar (slice_header ()), subsiguiente a la Figura 21.
La Figura 23 es un diagrama que ilustra una asignación ejemplar de nal_unit_type.
La Figura 24 es un diagrama para describir una Región ejemplar de la región de Interés (ROI).
La Figura 25 es un diagrama de bloque que ilustra una configuración principal ejemplar de un dispositivo de codificación de imágenes.
La Figura 26 es un diagrama de bloque que ilustra una configuración principal ejemplar de una unidad de codificación de pérdida.
La Figura 27 es un diagrama de flujo para describir un flujo ejemplar de un proceso de codificación.
La Figura 28 es un diagrama de flujo para describir un flujo ejemplar de un proceso de codificación, subsiguiente a la Figura 27.
La Figura 29 es un diagrama de flujo para describir un flujo ejemplar de un proceso de codificación de pérdida.
La Figura 30 es un diagrama de flujo para describir un flujo ejemplar de un proceso de establecimiento de elementos de sintaxis.
La Figura 31 es un diagrama de bloque que ilustra otra configuración ejemplar de un dispositivo de codificación de imágenes.
La Figura 32 es un diagrama de flujo para describir otro flujo ejemplar de un proceso de codificación.
La Figura 33 es un diagrama de flujo para describir otro flujo ejemplar de un proceso de codificación, subsiguiente a la Figura 32.
La Figura 34 es un diagrama de bloque que ilustra una configuración principal ejemplar de un dispositivo de descodificación de imágenes.
La Figura 35 es un diagrama de bloque que ilustra una configuración principal ejemplar de una unidad de descodificación sin pérdidas.
La Figura 36 es un diagrama de flujo para describir un flujo ejemplar de un proceso de descodificación.
La Figura 37 es un diagrama de flujo para describir un flujo ejemplar de un proceso de descodificación, subsiguiente a la Figura 36.
La Figura 38 es un diagrama de flujo para describir un flujo ejemplar de un proceso de análisis de elementos de sintaxis.
La Figura 39 es un diagrama de bloque que ilustra otra configuración ejemplar de un dispositivo de descodificación de imágenes.
La Figura 40 es un diagrama de bloque que ilustra otra configuración ejemplar de una unidad de descodificación sin pérdidas.
La Figura 41 es un diagrama de flujo para describir otro flujo ejemplar de un proceso de descodificación.
La Figura 42 es un diagrama de flujo para describir otro flujo ejemplar de un proceso de descodificación, subsiguiente a la Figura 41.
La Figura 43 es un diagrama de flujo para describir un flujo ejemplar de un proceso de inspección de elementos de sintaxis.
La Figura 44 es un diagrama que ilustra un esquema de codificación de imágenes de varias vistas ejemplares.
La Figura 45 es un diagrama que ilustra una configuración principal ejemplar de un dispositivo de codificación de imágenes de varias vistas al que se aplica la presente teenología.
La Figura 46 es un diagrama que ilustra una configuración principal ejemplar de un dispositivo de descodificación de imágenes de varias vistas al que se aplica la presente tecnología.
La Figura 47 es un diagrama que ilustra un esquema de codificación de imagen escalable ejemplar.
La Figura 48 es un diagrama para describir una codificación escalable espacial ejemplar.
La Figura 49 es un diagrama para describir una codificación escalable temporal ejemplar.
La Figura 50 es un diagrama para describir una codificación escalable ejemplar de una relación de señal a ruido.
La Figura 51 es un diagrama que ilustra una configuración principal ejemplar de un dispositivo de codificación de imágenes escalable al que se aplica la presente teenología.
La Figura 52 es un diagrama que ilustra una configuración principal ejemplar de un dispositivo de descodificación de imágenes escaladle al que se aplica la presente tecnología.
La Figura 53 es un diagrama de bloque que ilustra una configuración principal ejemplar de una computadora.
La Figura 54 es un diagrama de bloque que ilustra una configuración esquemática ejemplar de un dispositivo de televisión.
La Figura 55 es un diagrama de bloque que ilustra una configuración esquemática ejemplar de un teléfono móvil.
La Figura 56 es un diagrama de bloque que ilustra una configuración esquemática ejemplar de un dispositivo de grabación/reproducción.
La Figura 57 es un diagrama de bloque que ilustra una configuración esquemática ejemplar de un dispositivo de formación de imágenes.
La Figura 58 es un diagrama de bloque que ilustra un ejemplo de utilización de codificación escalable.
La Figura 59 es un diagrama de bloque que ilustra otro ejemplo de utilización de codificación escaladle.
La Figura 60 es un diagrama de bloque que ilustra a un otro ejemplo de utilización de codificación escalable.
La Figura 61 es un diagrama de bloque que ilustra una configuración esquemática ejemplar de un conjunto de videos.
La Figura 62 es un diagrama de bloque que ilustra una configuración esquemática ejemplar de un procesador de video.
La Figura 63 es un diagrama de bloque que ilustra otra configuración esquemática ejemplar de un procesador de video.
La Figura 64 es un diagrama explicatorio que ilustra una configuración de un sistema de reproducción de contenido.
La Figura 65 es un diagrama explicatorio que ilustra un flujo de datos en un sistema de reproducción de contenido.
La Figura 66 es un diagrama explicatorio que ilustra un ejemplo especifico de MPD: La Figura 67 es un diagrama de bloque funcional que ilustra una configuración de un servidor de contenido de un sistema de reproducción de contenido.
La Figura 68 es un diagrama de bloque funcional que ilustra una configuración de un dispositivo de reproducción de contenido de un sistema de reproducción de contenido.
La Figura 69 es un diagrama de bloque funcional que ilustra una configuración de un servidor de contenido de un sistema de reproducción de contenido.
La Figura 70 es un diagrama de secuencia que ilustra un proceso de comunicación ejemplar realizado por dispositivos de un sistema de comunicación inalámbrica.
La Figura 71 es un diagrama de secuencia que ilustra un proceso de comunicación ejemplar realizado por dispositivos de un sistema de comunicación inalámbrica.
La Figura 72 es un diagrama que ilustra esquemáticamente una configuración ejemplar de un formato de trama transmitido-recibido en un proceso de comunicación realizado por dispositivos de un sistema de comunicación inalámbrica.
La Figura 73 es un diagrama de secuencia que ilustra un proceso de comunicación ejemplar realizado por dispositivos de un sistema de comunicación inalámbrica.
MODO PARA LLEVAR A CABO LA INVENCIÓN
[0033] En adelante, los modos (en adelante, denominados como "modalidades") para llevar a cabo la presente descripción se describirán. La descripción procederá en el siguiente orden. 0. Descripción general 1. Primera modalidad (dispositivo de codificación de imágenes) 2. Segunda modalidad (dispositivo de codificación de imágenes) 3. Tercera modalidad (dispositivo de descodificación de imágenes) 4. Cuarta modalidad (Dispositivo de descodificación de imágenes) 5. Quinta modalidad (dispositivo de codificación de imágenes de varias vistas y dispositivos de descodificación de imágenes de varias vistas) 6. Sexta modalidad (dispositivo de codificación de imágenes escalable y dispositivos de descodificación de imagen escalables) 7. Séptima modalidad (computadora) 8. Ejemplos de Aplicación 9. Ejemplos de aplicación de codificación escalable: 10. Octava modalidad (Conjunto/Unidad/Módulo/Procesador) 11. Novena modalidad (ejemplos de aplicación de sistemas de reproducción de contenidos de MPEG-DASH) 12. Décima modalidad (ejemplos de aplicación de sistemas de comunicación inalámbrico o de estándar Wi-Fi)
[0034] <0. Descripción general> <Esquema de codificación> En lo sucesivo, se describirá la presente teenología en conexión con una aplicación a la codificación y descodificación de imágenes de un esquema de HEVC.
[0035] <Unidad de codificación> En el esquema de AVC, la estructura jerárquica basada en macro bloque y un sub macrobloque se define. Sin embargo, un macrobloque de 16 x 16 pixeles no es óptimo para una trama de imagen grande tal como una Ultra Alta Definición (UHD) (4000 x 2000 pixeles) que sirve como un objetivo del esquema de codificación de siguiente generación.
[0036] Por otra parte, en el HEVC, una unidad de codificación (CU) se define como se ilustra en la Figura 1.
[0037] Una CU también se refiere como un bloque de árbol de codificación (CTB), y CU es un área parcial de una imagen de una unidad de imagen que experimentando la misma función de un macrobloque en la AVC.El macrobloque de la AVC se fija a un tamaño de 16 x 16 pixeles, pero un tamaño de la CU de HEVC no se fija y designa información de compresión de imagen en cada secuencia.
[0038] Por ejemplo, una unidad de codificación más grande (LCU) y una unidad de codificación más Pequeña (SCU) de una CU se especifican en un conjunto de parámetros de secuencia (SPS) incluidos en datos codificados que se producirán.
[0039] Como split_flag =1 se establece en un margen en el que cada LCU no es menor a SCU, una unidad de codificación puede dividirse en CUs que tienen un tamaño menor. En el ejemplo de la Figura 1, un tamaño de un LCU es de 128 x 128, y una profundidad escalable mayor es 5. Una CU de un tamaño de 2N x 2N se divide en CUs que tienen un tamaño de N x N que sirve como la jerarquía que es un nivel menor con un valor de split_flag es "1".
[0040] Además, una CU se divide en unidades de predicción (PU) que son áreas (áreas parciales de una imagen de una unidad de imagen) que sirven como unidades de procesamiento de intra o inter-predicción, y se dividen en unidades de transformar (TUs) que son áreas (áreas parciales de una imagen de una unidad de imagen) que sirve como unidades de procesamiento de transformada ortogonal. En el HEVC, cualquier de 4x4, 8x8, 16x16, y 32x32 pueden utilizarse como una unidad de procesamiento de transformada ortogonal.
[0041] En el caso del esquema de codificación en el que CU se define, y diversos tipos de procesos se realizan en unidades de CUs tales como el HEVC, por lo que en AVC puede considerarse para corresponder a a un LCU, y un bloque (sub bloque) puede considerarse para corresponder a una CU. Además, un bloque de compensación de movimiento en la AVC puede considerarse para corresponder a una PU. Aquí, puesto que una CU tiene una estructura jerárquica, un tamaño de una LCU de una capa superior comúnmente se establece para ser más grande que un macro bloque en el esquema de AVC, por ejemplo, tal como 128 x 128 pixeles.
[0042] De esta manera, en adelante, se asume que una LCU incluye un macro bloque en el esquema de AVC, y una CU se asume que incluye un bloque (sub bloque) en el esquema de AVC. En otras palabras, un "bloque" utilizado en la siguiente descripción indica un área parcial arbitraria en una imagen y, por ejemplo, un tamaño, forma y características de un bloque no se limitan. En otras palabras, un "bloque" incluye un área arbitraria (unidad de procesamiento) tal como TU, una PU, una SCU, una CU, una LCU, un sub bloque, un macro bloque, o una sección. Desde luego, un "bloque" incluye cualquier otra área parcial (unidad de procesamiento) también. Cuando es necesario limitar un tamaño, una unidad de procesamiento, o similares, se describirá adecuadamente
[0043] <Selección de modo> Mientras tanto, en los esquemas de codificación tal como de AVC y HEVC, para lograr una alta eficiencia de codificación, es importante seleccionar un modo de predicción adecuado.
[0044] Como ejemplo de tal método de selección, existe un método de implementado en el software de referencia (abierto en http://iphorne.hhi.de/suehring/tmi/índex.htm) del H.264/MPEG-4 AVC llamado modelo conjunto (JM).
[0045] En el JM, es posible seleccionar métodos de determinación de dos modos de un modo de alta complejidad y un modo de baja complejidad, los cuales se describirán a continuación: En ambos modos, los valores de función de costo relacionados con modos de predicción respectivo se calculan, y un moco de predicción que tiene un valor de función de costo más pequeño se selecciona como modo óptimo para un bloque como un objetivo de procesamiento.
[0046] Una función de costo en el modo de alta complejidad se representa como la siguiente Fórmula (1):
[0047] [Fórmula Matemática 1] Costo (Modo e W) = D + l,+R... (1)
[0048] Aquí, W. indica un conjunto universal de un modo candidato para codificar un bloque actual, y D indica energía diferencial entre una imagen descodificada y una imagen de entrada cuando se realiza la codificación en un modo de predicción correspondiente. l ? es un multiplicador de Lagrange no determinado dado como una función de un parámetro de cuantificación. R indica una cantidad de codificación total que incluye un coeficiente de transformada ortogonal cuando se realiza codificación en un modo de predicción correspondiente.
[0049] En otras palabras, para realizar codificación en el modo de alta complejidad, es necesario realizar un proceso de codificación temporal una vez por todos los modos candidato para calcular los parámetros D y R, y de esta manera se requiere una gran cantidad de cálculo.
[0050] Una función de costos en el modo de baja complejidad se representa por la siguiente fórmula (2):
[0051] [Fórmula Matemática 2] Costo (Modo e W) = D + QP2Quant (QP) *HeaderBit... (2)
[0052] Aquí, D indica energía diferencial entre una imagen de predicción y una imagen de entrada a diferencia del modo de alta complejidad. QP2Quant (QP) se proporciona como una función del parámetro de cuantificación QP, y HeaderBit indica una cantidad de codificación relacionada con la información que pertenece a un encabezado tal como un vector de movimiento o un modo que no incluye un coeficiente de transformada ortogonal.
[0053] En otras palabras, en el modo de baja complejidad, es necesario realizar un proceso de predicción paramodos candidatos respectivos, pero ya que hasta una imagen descodificada no sea necesaria, es necesario realizar un proceso e codificación. De esta manera, puede implementarse con una cantidad de cálculo menor que aquella en el modo de alta complejidad.
[0054] <Mosaico> Mientras tanto, en el HEVC, el mosaico ilustrado en la Figura 2 se especifica como una unidad de un proceso paralelo además de una sección especificada en AVC.
[0055] Un ancho y una altura de cada mosaico se designan en la información de compresión de imagen, y un proceso de descodificación puede realizarse independientemente en cada mosaico.
[0056] <Perfil de imagen fija> Además, en el Documento 2 que no es Patente, el perfil de imagen fija que sirve como perfil para utilizar un HEVC es el códec de imagen fija se propone.
[0057] Sin embargo, en el caso de el HEVC, generalmente, la información que se transmite desde un lado de la codificación hasta un lado de la descodificación, incluye elementos de sintaxis para secciones P y secciones B, es decir, los elementos de sintaxis relacionados con un proceso inter-pantalla tales como la sintaxis para secciones I.
[0058] Debido a que el perfil de imagen fija es un perfil para codificar y descodificar las imágenes fijas, cuando se aplica este perfil, los elementos de sintaxis antes descritos relacionados con los procesos de inter-pantalla son innecesarios. Sin embargo,en el caso del método descrito en el Documento 2 que no es Patente, el control de los elementos de sintaxis relacionados con el proceso inter-pantalla no se realiza. En otras palabras, es muy similar al caso del perfil de imágenes en movimiento, los elementos de sintaxis relacionados con el proceso inter-pantalla se transmiten desde un lado de codificación al lado de descodificación. De este modo, la eficiencia de codificación tiende a disminuir debido a que se transmite información no necesaria.
[0059] En este sentido, en la teenología presente, cuando el proceso de codificación se realiza basado en el perfil para la codificación de imágenes fijas, como los valores de los elementos de sintaxis relacionados con el proceso ínter-imagen se restringen, y la transmisión de información innecesaria se suprime. Como un resultado, es posible suprimir una reducción en la eficiencia de codificación.
[0060] Ejemplos específicos de la restricción se describirán a continuación.
L0061J <0-1: Restricción de elementos de sintaxis relacionados con sub capa> La Figura 13 es un diagrama que ilustra una sintaxis ejemplar de un perfil de un nivel de grado de perfil (profile_tier_level()) en la HEVC. Los números a la izquierda se dan como números de linea para descripción y no se incluyen en una sintaxis actual. De forma similar, como los números a la izquierda e ilustran las Figuras 4 a 23 las cuales se describirán a continuación se dan como números de linea para descripción de las figuras y no se incluyen actualmente en una sintaxis.
[0062] Un elemento de sintaxis _general_profile_idc mostrado en una 5-ta linea en el nivel de grado de perfil (profile_tier_level()) ilustra la Figura 3 especifica que un perfil de una secuencia (secuencia actual) de un objetivo de procesamiento es un perfil de imagen fija.
[0063] El nivel de grado de perfil (profile_tier_level()) de la Figura 13 se llama un "conjunto de parámetros de video (VPS)" o un "conjunto de parámetros de secuencia(SPS)".
[0064] La Figura 4 es un diagrama que ilustra un conjunto de parámetros de video ejemplar (VPS) en la HEVC. Las Figuras 5 y 6 son diagramas que ilustran un conjunto de parámetros de secuencia ejemplar (SPS) en la HEVC.
[0065] Como se ilustra en la Figura 4, en el conjunto de parámetros de video (VPS), un nivel de grado de perfil (profile_tier_level())en una 7-ma linea es llamado.Además, como se ilustra en la Figura 5, en el conjunto de parámetros de secuencia (SPS), el nivel de grado de perfil (profile_tier_level()) en una 5-ta linea es llamado.
[0066] Aquí, cuando se realiza la codificación basado en el perfil de imagen fija, no existe una profundidad de capa temporal (lo cual también se sugiere como una "sub capa"). En otras palabras, los elementos de sintaxis relacionados con la sub capa son innecesarios.
[0067] En este sentido, en el nivel de grado de perfil (profile_tier_Level()) de la Figura 3, antes de que el perfil de imagen fija se especifique por un elemento de sintaxis _profile_idc, 0 puede designarse como un valor de un parámetro vps_max_sub_layers_minusl (una 6-ta linea) relacionado con la sub capa en el conjunto de parámetros de video (VPS) de la Figura 4, y 0 puede designarse como un valor de un parámetro sps_max_sub_layers__minusl (una 3-ra linea) relacionada con la sub capa en el conjunto de parámetros de secuencia (SPS) (Figuras 5 y 6) 5 y 6. [0068j En otras palabras, cuando los elementos de sintaxis general_profile_idc_ en el nivel de grado de perfil(profile_tier_level()) de la Figura 3 especifica que es el perfil de la imagen, 0 puede haberse designado como el valor de el parámetro vps_max_sub_layers_minusl (la 6-ta linea) relacionado con la sub capa en el conjunto de parámetros de video (VPS) de la Figura 4, y 0 puede tener que fuese designado como el valor de los parámetros sps_max_sub_layers_minusl (la 3-ra linea) relacionado con la sub capa en el conjunto de parámetros de secuencia (SPS) (Figuras 5 y 6).
[0069] Como un resultado, es posible evitar porciones innecesarias del nivel de grado de perfil (profile_tier_level ()) ser leídas. En otras palabras, es posible evitar un aumento en la carga provocado por la lectura y evitar lectura y transmisión de parámetros innecesarios. De esta manera, es posible suprimir una reducción en la eficiencia de codificación.
[0070] Además, como un resultado, no es necesario cambiar la sintaxis del nivel de grado de perfil (profile tier level ()), el conjunto de parámetros de video (VPS), y el conjunto de parámetros de secuencia (SPS), y es posible suprimir una reducción en la eficiencia de codificación a través del control por semántica. Cuando la sintaxis cambia, por ejemplo, es probable que sea difícil mantener la compatibilidad de sintaxis con un codificador y un descodificador de una téenica relacionada que no soporte el perfil de imagen fija. Particularmente, en el caso de los codificadores y descodificadores iplementados por hardware, existen casos en los que es difícil actualizar la sintaxis. Una disminución en la compatibilidad de sintaxis es propensa a reducir la versatilidad.Sin embargo, como se describe en lo anterior, cuando el valor de elemento de sintaxis se restringe por la semántica,esposiblemantener la compatibilidad de sintaxis y evitar una reducción en la versatilidad.
[0071] Además, debido a que la compatibilidad de sintaxis se mantiene como se describe en lo anterior, es posible aplicar fácilmente una sintaxis común incluso a ambas codificaciones de imágenes fijas y codificación de imágenes en movimiento, de este modo es posible implementar fácilmente un codificador y un descodificador que procese a ambas de la imagen fija y la imagen en movimiento a través de un circuito en común.En otras palabras, puede contribuir a una reducción de tamaño de un dispositivo, supresión de un aumento en el costo, y similares.
[0072] <0-2: Restricción de los elementos de sintaxis relacionados con la llamada de un nivel de grado perfil>.
Aquí, no es posible implementar tal restricción al cambiar la sintaxis.
[0073] Como se describe en lo anterior, cuando el nivel de grado de perfil (profile_tier_level ()) es llamado desde un conjunto de parámetros de video (VPS) o el conjunto de parámetros de secuencia (SPS), un valor de un elemento de sintaxis ProfilePresentFlag relacionado con el llamado de el nivel de grado de perfil el cual se designa al momento de la llamada es consistentemente 1.
[0074] En otras palabras, es redundante transmitir ese elemento de sintaxis.Además,una declaración if de una 2-da linea del nivel de grado de perfil (profile_tier_level()) de la Figura 3 es innecesaria también.
[0075] En este sentido, la sintaxis del nivel de grado de perfil (profile_tier_level ()) de la Figura 3 puede cambiarse como en un ejemplo ilustrado en la figura 7, la sintaxis del conjunto de parámetros de video (VPS) de la Figura 4 puede cambiarse como en un ejemplo ilustrado en la Figura 8, y la sintaxis del conjunto de parámetros de secuencia (SPS) de las Figuras 5 y 6 puede cambiarse como en un ejemplo ilustrado en las figuras 9 y 10.
[0076] En otras palabras, el nivel de grado de perfil (profile tier level()) puede designarse por la designación solamente de elementos de sintaxis MaxNumSubLayersMinusl relacionado con la sub capa como en los ejemplos de la Figura 7 (una primera linea), con la Figura 8 (una 1ra línea), y la Figura 9 (una 5a línea) sin designar los elementos de sintaxis ProfilePresentFlag.
[0077] Además, como se ilustra en la 1raa 7alíneas de la Figura 7, en el nivel de grado de perfil (profile_tier_level ()), la declaración if que utiliza los elementos de sintaxis ProfilePresentFlag puede omitirse.
[0078] Como un resultado, es posible evitar la transmisión de un parámetro innecesario y suprimir una reducción en la eficiencia de codificación. Además, es posible suprimir un aumento en la carga del proceso de lectura del nivel de grado de perfil (profile_tier_level()) el cual se provoca por la lectura de la declaración if innecesaria.
[0079] En otras palabras, el valor de elemento de sintaxis ProfilePresentFlag relacionado con la llamada del nivel de grado de perfil puede tener que fijarse a 1.
[0080] <0-3: Restricción de elementos de sintaxis relacionados con el nivel de grado perfil>.
En el método anterior, cuando los elementos de sintaxis max_sub_layers_minusl relacionado con la sub capa se codifica, tiene que realizarse una codificación después de detectar la información ya sea que la codificación se realice o no basada en el perfil de imagen fija en un nivel de grado de perfil subsiguiente (profile_tier_level()).
[0081] En este sentido, la sintaxis del conjunto de parámetros de video (VPS) de la Figura 4 puede cambiarse como en un ejemplo ilustrado en la figura 11, y la sintaxis del conjunto de parámetros de secuencia (SPS) de las Figuras 5 y 6puede cambiarse en un ejemplo ilustrado en las Figuras 12 y 13.
[0082] En otras palabras,en el conjunto de parámetros de video (VPS), como en las lineas 6-ta a 8-ava (Figura 11), un elemento de sintaxis profile_tier_level (1, 0) relacionado con el nivel de grado de perfil puede designarse, un valor de un elemento de sintaxis vps_max_sub_layers_minusl relacionado con la sub capa puede designarse, y un elemento de sintaxis profile tier level (0, vps_max_sub_layers_minusl) relacionado con el nivel de grado de perfil puede designarse.
[0083] De forma similar, en el conjunto de parámetros de secuencia (SPS), como en la 3ra a 6a lineas (Figura 12), los elementos de sintaxis profile_tier_level (1,0) relacionado con el nivel de grado de perfil puede designarse, un valor de un elemento de sintaxis sps_max_sub_layers_minusl relacionado con la sub capa puede designarse, y los elementos de sintaxis profile_tier_level (0, sps_max_sub_layers_minusl) relacionado con el nivel de grado de perfil puede designarse.
[0084] Además, por ejemplo, cuando un conjunto de parámetros al que un elemento de sintaxis pertenece no se discrimina a diferencia de vps_max_sub_layers_minusl y sps_max_sub_layers_minusl, los conjuntos de parámetros simplemente se refieren como un max_sub_layers_minusl. En otras palabras, vps_max_sub_layers_minusl es max_sub_layers_minus1 en el conjunto de parámetros de video (VPS), y sps_max_sub_layers_minus1 es max sub layers minusl en el conjunto de parámetro de secuencia (SPS). Otros elementos de sintaxis se suman para tener una relación similar.
[0085] Como en los elementos de sintaxis profile_tier_level(1,0) se designa antes de que el elemento de sintaxis max_sub_layers_minusl relacionado con la sub capa se designe, la información relacionada a cuando todas las capas temporales (temporal_layer) para datos de imagen se codifican o se descodifican se transmite.
[0086] Aquí, cuando el perfil de imagen fija se aplica, 0 se designa como el valor de elemento de sintaxis max_sub_layers_minusl relacionado con la sub capa.
[0087] Después de que los elementos de sintaxis max_sub_layers_minusl relacionado con la sub capa se codifica, la información relacionada con cuando algunas capas temporales (temporal_layer) de los datos de imagen se codifican o descodifican se transmite a través de profile_tier_level (0, nax_sub_layers_minusl).
[0088] Al cambiar la sintaxis como se describe en lo anterior, es posible designar el valor de elemento de sintaxis max_sub_layers_minusl relacionado con la sub capa después de que se designa si el perfil es un perfil de imagen fija.
[0089] <0-4: Restricción de elemento de sintaxis relacionado con el descodificador de referencia virtual> Además, cuando se aplica el perfil de imagen fija, es innecesario controlar el descodificador de referencia virtual. En ese sentido, como se ilustra en la Figura 4, 0 puede designarse como un valor de un elemento de sintaxis vps_num_hrd_parameters (una 14-ava linea) se ha relacionado con el descodificador de referencia virtual en el conjunto de parámetro de video (VPS).
[0090] En otras palabras, cuando se aplica el perfil de imagen fija, el valor de elemento de sintaxis vps nu hrd parameters (la 14-ava linea) relacionado con el descodificador de referencia virtual en el conjunto de parámetros de video (VPS) puede tener que fijarse a 0.
[0091] Los elementos de sintaxis vps_num_hrd_parameters relacionado con el descodificador de referencia virtual es un valor positivo que se codifica por una codificación de Golomb extendida y entonces se transmite. De esta manera, cuando este valor es 0 ó 1, la cantidad de codificación se vuelve mínima. En otras palabras, cuando 0 se designa como el valor de elemento de sintaxis vps_num_hrd_parameters relacionados con el descodificador de referencia virtual, es posible suprimir una reducción en la eficiencia de codificación.
[0092] Además, cuando 0 se designa como el valor de elemento de sintaxis vps_num_hrd_parameters relacionado con el descodificador de referencia virtual, es posible saltar un proceso de bucle (una declaración for) de la 15-ava a 19-ava líneas. De esta manera, como un resultado, es posible suprimir un aumento en una carga.Además, es posible evitar la transmisión de los elementos de sintaxis innecesarios en el proceso de bucle (la declaración for) y suprimir una reducción en la eficiencia de codificación.
[0093] Además, es posible restringir el valor de elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis.
[0094] Además, esta restricción puede aplicarse incluso cuando el conjunto de parámetro de video (VPS) es el ejemplo de la Figura 8 o el ejemplo de la Figura 11.
[0095] <0-5: Restricción de elementos de sintaxis relacionados con la sección P y la sección B> Además, cuando se aplica el perfil de imagen fija, no existe la sección P ni la sección B. En este sentido, como se ilustra en la Figura 5, 0 puede designarse como un valor de elementos de sintaxis restricted_ref_pic lists flag (una 32-ava lineas) relacionado con la sección P y la sección B en el conjunto de parámetro de secuencia (SPS).
[0096] En otras palabras, cuando se aplica el perfil de imagen fija, el valor de elemento de sintaxis restricted_ref_pic_lists_flag (la 32-ava linea) relacionado con la sección P y sección B en el conjunto de parámetro de secuencia (SPS) puede tener que fijarse a 0.
[0097] Además, cuando el 0 se designa como el valor de elemento de sintaxis restricted_ref_pic_lists_flag relacionado con la sección P y sección B, es posible saltar las 33-ava a 42-ava lineas. De esta manera, como un resultado, es posible suprimir un aumento en una carga.Además, es posible evitar la transmisión de elementos de sintaxis innecesarios de la 33-ava a la 42-ava lineas y suprimir una reducción en la eficiencia de codificación.
[0098] Además, es posible restringir el valor de elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis.
[0099] Además, esta restricción puede aplicarse incluso cuando el conjunto de parámetro de secuencia (SPS) es el ejemplo de las Figuras 9 y 10 o el ejemplo de las Figuras 12 y 13.
[0100] <0-6: Restricción de elementos de sintaxis relacionados con corto plazo> Además, cuando se aplica el perfil de imagen fija, no existe un concepto de tiempo (no existe otra imagen). En este sentido, como se ilustra en la Figura 6, 0 puede designarse como el valor de elemento de sintaxis num_short_term_ref_pic_sets (una 56-ava linea) relacionado con el corto plazo en el conjunto de parámetro de secuencia (SPS).
[0101] En otras palabras, cuando se aplica el perfil de imagen fija, el valor de elemento de sintaxis num short term ref pie sets (la 56-ava linea) relacionado con el corto plazo en el conjunto de parámetro de secuencia (SPS) puede tener que fijarse a 0.
[0102] Los elementos de sintaxis num_short_term ref pie sets relacionado con el corto plazo es un valor positivo que se codifica por la codificación de Golomb extendida y entonces se transmite. De este modo, cuando el valor es 0 ó 1, la cantidad de codificación se vuelve mínima. En otras palabras, cuando 0 se designa como el valor de elemento de sintaxis num_short_term_ref_pic_sets relacionado con el corto plazo, es posible suprimir una reducción en la eficiencia de codificación.
[0103] Además, cuando el 0 se designa como el valor de elemento de sintaxis num_short_term_ref_pic_sets relacionado con el corto plazo, es posible saltar las 57-ava y 58-ava líneas. De esta manera, como un resultado, es posible suprimir un aumento en una carga.
[0104] Además, es posible restringir el valor de elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis.
[0105] Además, esta restricción puede aplicarse incluso cuando el conjunto de parámetro de secuencia (SPS) es el ejemplo de las Figuras 9 y 10 o el ejemplo de las Figuras 12 y 13.
[0106] <0-7:Restricción de elementos de sintaxis relacionado con largo plazo> Además, cuando se aplica el perfil de imagen fija, no existe un concepto de tiempo (no existe otra imagen). En este sentido, como se ilustra en la Figura 6, 0 puede designarse como un valor de un elemento de sintaxis long_term_ref_pics_present_flag (una 59-ava linea) relacionado con el largo plazo en el conjunto de parámetro de secuencia (SPS).
[0107] En otras palabras, cuando se aplica el perfil de imagen fija, el valor de elemento de sintaxis long_term_ref_pics_present flag (la 59-ava linea) relacionado con el largo plazo en el conjunto de parámetro de secuencia (SPS) puede tener que fijarse a 0.
[0108] Cuando el 0 se designa como el valor de elemento de sintaxis long_term_ref_pics_present_flag relacionado con el largo plazo, es posible saltar las 60-ava a la 66-ava lineas. De esta manera, como un resultado, es posible suprimir un aumento en una carga. Además, es posible evitar la transmisión de un elemento de sintaxis innecesario en la 60-ava a la 66-ava lineas y suprimir una reducción en la eficiencia de codificación.
[0109] Además, es posible restringir el valor de elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis.
[0110] Además, esta restricción puede aplicarse incluso cuando el conjunto de parámetro de secuencia (SPS) es el ejemplo de las Figuras 9 y 10 o el ejemplo de las Figuras 12 y 13.
[0111] <0-8: Restricción de elementos de sintaxis relacionados con el vector de movimiento> Además, cuando se aplica el perfil de imagen fija, no existe un concepto de tiempo (no existe otra imagen). En este sentido, como se ilustra en la Figura 6, 0 puede designarse como un valor de un elemento de sintaxis sps_temporal_mvp_enable_flag (una 67-ava linea) relacionado con el vector de movimiento en el conjunto de parámetro de secuencia (SPS).
[0112] En otras palabras, cuando se aplica el perfil de imagen fija, el valor de elemento de sintaxis sps_temporal_mvp_enable_flag (la 67-ava linea) relacionado con el vector de movimiento en el conjunto de parámetro de secuencia (SPS) puede tener que fijarse a 0.
[0113] Cuando 0 se designa como el valor de elemento de sintaxis sps_temporal_mvp_enable_flag relacionado con el vector de movimiento, es posible minimizar la cantidad de codificación, y es posible suprimir una reducción en la eficiencia de codificación.
[0114] Además, es posible restringir el valor de elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis.
[0115] Además, esta restricción puede aplicarse incluso cuando el conjunto de parámetro de secuencia (SPS) es el ejemplo de las Figuras 9 y 10 o el ejemplo de las Figuras 12 y 13.
[0116] <0-9:Restricción de elementos de sintaxis de conjunto de parámetros de imagen> Las Figuras 14 y 15 son diagramas que ilustran un conjunto de parámetros de imagen ejemplar (PPS) en el HEVC.
[0117] Cuando se aplica el perfil de imagen fija, no existe un concepto de tiempo (no existe otra imagen). En este sentido, como se ilustra en la Figura 14, 0 ó 1 pueden designarse como ambos de elementos de sintaxis num_ref_idx_10_defaul_active minusl (una 6a linea) relacionado con LO y los elementos de sintaxis num_ref_idx_ll_default_active menosl (una 7a linea) relacionado con L1 en el conjunto de parámetro de imagen (PPS).
[0118] En otras palabras, cuando se aplica un perfil de imagen tija, ambos de los valores de elementos de sintaxis num_ref_idx_10_default_active menos 1 (la 6a línea) relacionado con LO y los elementos de sintaxis num ref idx 11 default active menos 1 (la 7a línea) relacionado con L1 en el conjunto de parámetro de imagen (PPS) puede tener que fijarse a 0 ó 1.
[0119] Los elementos de sintaxis son valores positivos que se codificaron por una codificación de Golomb extendida y después se transmiten. De esta manera, cuando los valores son 0 ó 1, la cantidad de codificación se vuelve mínima. En otras palabras, cuando 0 se designa como el valor de elemento de sintaxis num_ref_idx_10_default_active menos 1 relacionado con LO y los elementos de sintaxis num_ref_idx 11 default_active menos 1 relacionado con Ll, es posible suprimir una reducción en la eficiencia de codificación.
[0120] Además, cuando se aplica el perfil de imagen fija, no existe un concepto de tiempo (no existe otra imagen). En este sentido, como se ilustra en la Figura 15, 0 puede designarse como un valor de un elemento de sintaxis (flag) lists_modification_present_flag (una 49-ava línea) del conjunto parámetro de imagen (PPS) que indica si existe o no un elemento de sintaxis ref_pic_list_modification en un encabezado o no.
[0121] En otras palabras, cuando se aplica un perfil de imagen fija, el valor de elemento de sintaxis (indicador) lists_modification_present_flag (de la 49-ava linea) del conjunto de parámetro de imagen (PPS) que indica si necesita o no un elemento de sintaxis ref_pic_list_modification en el encabezado puede tener que fijarse a 0.
[0122] Cuando el valor del elemento de sintaxis lists_modification_present_flag es 1, el elemento de sintaxis ref_pic_list_modification relacionado con la lista de imagen de referencia se transmite para la sección actual como se ilustra en la 53-ra y 54-ta lineas de la Figura 21, pero en el caso del perfil de imagen fija, este elemento de sintaxis es innecesario. En otras palabras, cuando 0 se designa como el valor de elemento de sintaxis lists_modification_present_flag, es posible omitir la transmisión de elementos de sintaxis ref_pic_list_modification de la lista de imagen de referencia que es información innecesaria para la sección actual, y es posible suprimir una reducción en la eficiencia de codificación.
[0123] Además, cuando se aplica el perfil de imagen fija, no existe un concepto de tiempo (no existe otra imagen). En este sentido, como se ilustra en la Figura 15, 0 puede designarse como un valor de un elemento de sintaxis log2_parallel_merge_level_minus2 (una 50-ava linea) del conjunto parámetro de imagen (PPS)que designa un nivel de proceso paralelo de unmodo de combinación y un modo de salto en un proceso de predicción.
[0124] En otras palabras, cuando se aplica un perfil de imagen fija, el valor de elemento de sintaxis log2_parallel_merge_level_minus2 (la 50-ava linea) del conjunto de parámetro de imagen (PPS) que designa el nivel de proceso paralelo del modo de combinación y el modo de salto en el proceso de la predicción puede tener que fijarse a 0.
[0125] Este elemento de sintaxis es un valor positivo que se codifica por codificación de Golomb extendida y después se transmite. De esta manera, cuando este valor es 0, la cantidad de codificación se vuelve mínima. En otras palabras, cuando 0 se designa como el valor de elemento de sintaxis log2_parallel_merge_level_minus2 que designa el nivel del proceso paralelo del modo de combinación y el modo de salto en el proceso de predicción, es posible suprimir una reducción en la eficiencia de codificación.
[0126] Además, cuando se aplica el perfil de imagen fija, no existe un concepto de tiempo (no existe otra imagen). En este sentido, como se ilustra en la Figura 14, 0 puede designarse como ambos de los valores de un elmento de sitaxis (indicador) weighted pred flag (una 18-ava línea) relacionado con la predicción ponderada de la sección P y un elmento de sintaxis (indicador) weighted_bipred_flag (una 19-ava linea) relacionada con la predicción ponderada de la sección B en el conjunto de parámetros de imagen (PPS).
[0127] En otras palabras, cuando se aplica el perfil de imagen fija, los valores de elementos de sintaxis (indicador) weighted_pred_flag (la 18-ava linea) relacionado con la predicción ponderada de la sección P y los elementos de sintaxis (indicador) wighted_bipred_flag (la 19-ava linea) relacionado con la predicción ponderada de la sección B en el conjunto de parámetro de imagen (PPS) puede tener que fijarse a 0.
[0128] Cuando el valor del elemento de sintaxis weighted_pred_flag or weighted_bipred_flages 1, como se ilustra en la 65-ta a 68-ava lineas de la Figura 21, la tabla de predicción ponderada o similar se transmite para la sección actual, pero en el caso de un perfil de imagen fija, esta información no es necesaria. En otras palabras, cuando 0 se designa como el valor de elemento de sintaxis weighted_pred_flag o weighted_bipred__flag, es posible omitir la transmisión del información innecesaria para la sección actual, y es posible suprimir una reducción en la eficiencia de codificación.
[0129] Aquí, como se describirá en lo sucesivo, incluso cuando el tipo de sección se restringe a una sección I, la transmisión de la información puede omitirse, y de esta manera la restricción descrita en lo anterior relacionada con los elementos de sintaxis weighted_pred_flag o weighted_bipred_flag puede omitirse.
[0130] Además, es posible restringir el valor de elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis.
[0131] <0-10: Restricción de elementos de sintaxis relacionados con el modo de predicción de la lista de escalado Mientras tanto, en el conjunto de parámetro de secuencia (SPS) ilustrado en las Figuras 5 y 6, la lista de escalado (scaling_list_data ()) se llama (una 49-ava línea). De manera similar, incluso en el conjunto de parámetros de imagen (PPS) ilustrado en las Figuras 14 y 15, la lista de escalado (scaling_list_data ()) se llama (una 48-ava línea).
[0132] La Figura 16 ilustra una lista de escalado ejemplar (scaling_list_data ()). En la lista de escalado (scaling list data ()) ilustrada enla Figura 16, la semántica de un ID de tamaño (sizeID) y un ID de matriz (matrixID) se ilustran en las Figuras 17 y 18.
[0133] Aquí, cuando el valor del ID de tamaño (sizeID) es 0, 1, o 2, y el valor de ID de la matriz (matrixID) es 3, 4, o 5 o cuando el valor del ID de tamaño (sizeID) es 3, y el valor del ID de matriz (matrixID) es 1, en el perfil de imagen fija, es redundante para transmitir la lista de escalado.
[0134] En este sentido, en este caso, 0 puede designarse como el valor de un elemento de sintaxis scaling_list_pred_mode flag relacionado con el modo de predicción de la lista de escalado, y 0 ó 1 pueden designarse como valor de un elmento de sintaxis scaling_list_pred_matrix_id_delta relacionado con una matriz de predicción de una lista de escalado.
[0135] En otras palabras, cuando se aplica el perfil de imagen fija, el valor de elemento de sintaxis scaling_list_pred_mode_flag (una 4-ta línea) relacionado con el modo de predicción de la lista de escalado puede tener que fijarse a 0, y el vlaor de elementos de sintaxis scaling_list_pred_matrix_id_delta (una 6-ta línea) relacionado con la matriz de predicción de la lista de escalado puede tener que fijarse a 0 ó 1.
[0136] Además, cuando se designa 1 como el valor de elemento de sintaxis scaling_list_pred_matrix_id_delta relacionado con la matriz de predicción de la lista de escalado, es posible reducir la necesidad de insertar prevención de emulación de código de inicio mientras se mantiene una longitud de código a un mínimo.
[0137] <0-11: Cambio de sintaxis relacionado con el modo de predicción de la lista de escalado> Además, en lugar de restringir el valor de elemento de sintaxis por la semántica como se describe en lo anterior, la sintaxis puede cambiarse como se ilustra en la Figura 19.
[0138] En la sintaxis de la Figura 19, como se ilustra en la 4-ta línea, la condición de la declaración por se designa a detalle utilizando el ID de tamaño (sizeID) y el ID de matriz (matrixID) como se describe en lo anterior.
[0139] Como resultado, pueden obtenerse los mismos efectos.
[0140] <0-12: Restricción de elementos de sintaxis relacionados con el tipo de sección> Las Figuras 20 a 22 ilustran una sintaxis ejemplar de un encabezado de sección.
[0141] Cuando se aplica el perfil de imagen fija, el tipo de sección es la sección I. En este sentido, como se ilustra en la Figura 20, un valor que indica la sección I puede designarse como un valor de un elemento de sintaxis slice_type (una 11-ava línea) relacionado con el tipo de sección en el encabezado de sección (slice_header ()).
[0142] En otras palabras, cuando se aplica el perfil de imagen fija, el valor de elemento de sintaxis slice_type (la 11-ava linea) relacionado con el tipo de sección en el encabezado de sección (slice_header ()) puede tener que fijarse a la sección I.
[0143] Como resultado, es posible saltar la 44-ava a 68-ava lineas del encabezado de sección (slice_header()). De esta manera, como un resultado, es posible suprimir un aumento en una carga. Además, es posible evitar la transmisión de elementos de sintaxis innecesario de la 44-ava a 68-ava lineas, y es posible suprimir una reducción en la eficiencia de codificación.
[0144] Además, es posible restringir el valor de elemento de sintaxis por la semántica sin cambiar la sintaxis y suprimir una reducción en la versatilidad de sintaxis.
[0145] <0-13: Restricción de elementos de sintaxis relacionado con el tipo de unidad NAL> Mientras tanto, las Figuras 20 a 22, IdrPicFlag y RapPicFlag se calculan basados en nal_unit_type como en las siguientes Fórmulas (3) y (4):
[0146] [Fórmula Matemática 3] IdrPicFlag = (nal_unit_type == IDR W LP || nal_unit_type == IDR_N_LP) ... (3) RapPicFlag = (nal_unit_type >= 7 && nal_unit type <= 12 ) ...(4)
[0147] Aquí, un elemento de sintaxis nal_unit_type relacionado con el tipo de unidad NAL se asigna como se ilustra en la Figura 23.
[0148] En este sentido, cuando se aplica el perfil de imagen fija, IDR W_LP o IDR_N_LP puede designarse como un tipo de unidad de NAL (nal_unit_type) para la VCL.
[0149] En otras palabras, cuando se aplica el perfil de imagen fija, el tipo de unidad NAL (nal_unit_type) para la VCL puede tener que fijarse a IDR_W_LP o IDR_N_LP.
[0150] Al realizar el proceso anterior, es posible evitar la transmisión de información redundante y mejorar la eficiencia de codificación de la información de compresión de imagen que se producirá cuando se realice la codificación basada en el perfil de imagen fija.
Además, los elementos de sintaxis relacionados con el proceso inter-i agen en el que los valores se restringen cuando el procedo de codificación se realiza basado en el perfil para la codificación de imágenes fijas no se limita al ejemplo anterior. Los valores de los elementos de sintaxis diferentes a los elementos de sintaxis descritos en lo anterior pueden restringirse. En este tiempo, la sintaxis puede cambiarse al restringir la semántica.
[0152] Además, como se ilustra en la Figura 24, cuando existe una Región de Interés (ROI) en una parte de una imagen fija, por ejemplo, cuando la cara de una persona se muestra en una parte de una imagen fija, la imagen puede dividirse en mosaicos de la Figura 2, un mosaico que sirve como una región de ROI puede designarse por metadatos tales como Información de Mejora Complementaria (SEI), y el proceso de descodificación de solamente la región ROI puede realizarse por una imagen descodificada.
[0153] A continuación, ejemplos de aplicación de la presente teenología para especificar que los dispositivos se describirán.
[0154] <1. Primera modalidad> <Dispositivo de codificación de imágenes> La Figura 25 es un diagrama de bloque que ilustra una configuración ejemplar de un dispositivo de codificación de imágenes como un ejemplo de un dispositivo de procesamiento de imágenes al cual se aplica la presente teenología. Por ejemplo, un dispositivo 100 de codificación de imágenes ilustrado en la Figura 25 codifica datos de imagen de una imagen en movimiento utilizando el proceso de predicción del HEVC o un proceso de predicción de un esquema basado en el HEVC.
[0155] Además, el dispositivo 100 de codificación de imágenes puede codificar los datos de imagen de una imagen fija así como los datos de imagen de una imagen en movimiento. En este caso, un perfil de imagen fija (por ejemplo, el perfil de imagen fija) se establece al dispositivo 100 de codificación de imágenes.
[0156] Como se ilustra en la Figura 25, el dispositivo 100 de codificación de imágenes incluye un convertidor 101 de A/D, una memoria intermedia 102 de reorganización de pantalla, una unidad 103 de operación, una unidad 104 de transformada ortogonal, una unidad 105 de cuantificación, una unidad 106 de codificación sin pérdidas, una memoria intermedia 107 de acumulación, una unidad 108 de cuantificación inversa, y una unidad 109 de transformada ortogonal inversa.El dispositivo 100 de codificación de imágenes además incluye una unidad 110 de operación, un filtro 111 de bucle, una memoria 112 de tramas, una unidad 113 de intra-predicción, una unidad 114 de inter-predicción, una unidad 115 de selección de imagen prevista, y una unidad 116 de control de tasa.
[0157] El convertidor 101 de A/D realiza conversión de A/D en datos de imagen (datos análogos) de una imagen de entrada ingresada al dispositivo 100 de codificación de imágenes. El convertidor 101 de A/D suministra los datos de imagen convertida (datos digitales) a la memoria intermedia 102 de reorganización de pantalla 102.
[0158] La memoria intermedia 102 de reorganización de pantalla almacena cada uno de los datos de imagen de tramas de la imagen producida suministrada en un orden de despliegue en el orden. La memoria intermedia 102 de reorganización de pantalla reorganiza el orden de las tramas de la imagen de entrada en un orden de codificación de acuerdo con un Grupo de Imágenes (GOP). En otras palabras, la memoria intermedia 102 de reorganización de pantalla lee los datos de imagen de las tramas almacenadas en el orden de despliegue en el orden de codificación.La memoria intermedia 102 de reorganización de pantalla suministra los datos de imagen leídos a la unidad 103 de operación.Además,la memoria intermedia 102 de reorganización de pantalla suministra los datos de imagen leídos a la unidad 113 de intra-predicción y la unidad 114 de inter-predicción también.En otras palabras, los datos de imagen de las tramas se suministran a la unidad 103 de operación, la unidad 113 de intra-predicción, y la unidad 114 de ínter-predicción en el orden de codificación. Además cuando la imagen de entrada es la imagen fija, debido a que no hay concepto del tiempo (debido a que el número de tramas es 1), se omite la reorganización.
[0159] La unidad 103 de operación genera datos de imagen de una imagen diferencial obtenida al sustraer la imagen prevista de la imagen de entrada utilizando los datos de imagen de la imagen de entrada leída desde la memoria intermedia 102 de reorganización de pantalla y los datos de imagen de la imagen prevista suministrada desde la unidad 113 de intra-predicción o la unidad 114 de inter-predicción a través de la unidad 115 de selección de imagen previstas. Por ejemplo, en el caso de una imagen en la cual se realiza la intra-codificación, la unidad 103 de operación genera una imagen diferencial entre la imagen de entrada y la imagen prevista generada por la unidad 113 de intra-predicción. Además, por ejemplo, en el caso de una imagen en la cual se realiza inter-codificación, la unidad 103 de operación genera una imagen diferencial entre la imagen de entrada y la imagen prevista generada por la unidad 114 de inter-predicción. La unidad 103 de operación produce los datos de imagen generada de la imagen diferencial a la unidad 104 de transformada ortogonal.
[0160] La unidad 104 de transformada ortogonal realiza transformada ortogonal tal como transformada de coseno discreta o transformada de Karhunen-Loeve en los datos de imagen de imagen diferencial suministrada desde la unidad 103 de operación. La unidad 104 de transformada ortogonal suministra los coeficientes de transformada obtenidos a la unidad 105 de cuantificación.
[0161] La unidad 105 de cuantificación cuantifica los coeficientes de transformada suministrados desde la unidad 104 de transformada ortogonal. La unidad 105 de cuantificación establece un parámetro de cuantificación basado en la información relacionada con un valor objetivo de una cantidad de codificación suministrada desde la unidad 116 de control de tasa, y realiza la cuantificación.La unidad 105 de cuantificación suministra los coeficientes de transformada cuantificada a la unidad 106 de codificación sin pérdidas.
[0162] La unidad 106 de codificación sin pérdidas codifica los coeficientes de transformada cuantificados por la unidad 105 de cuantificación de acuerdo con un esquema de codificación arbitrario, y genera los datos codificados Debido a que los datos de coeficiente se cuantifican bajo el control de la unidad 116 de control de tasa, la cantidad de datos (la cantidad de codificación) de los datos codificados se vuelve un conjunto de valor objetivo por la unidad 116 de control de tasa (o se aproxima al valor objetivo).
[0163] La unidad 106 de codificación sin pérdidas adquiere, por ejemplo, información que indica un modo de intra-predicción de la unidad 113 de intra-predicción, y adquiere, por ejemplo, información que indica un modo de ínter-predicción y la información de vector de movimiento diferencial de la unidad 114 de ínter-predicción. La unidad 106 de codificación sin perdidas codifica diversos tipos de información de acuerdo con un esquema de codificación arbitraria, y establece (multiplexa) la información codificada como parte de la información de encabezado de los datos codificados. La unidad 106 de codificación sin pérdidas suministra los datos codificados obtenidos para acumularse en la memoria intermedia 107 de acumulación.
[0164] Ejemplos del esquema de codificación de la unidad 106 de codificación sin pérdidas incluyen codificación de longitud variable y codificación aritmética. Como la codificación de longitud variable, por ejemplo, existe la Codificación de Longitud Variable de Contexto Adaptable (CAVLC) definida en el esquema de H.264/AVC. Como la codificación aritmética, por ejemplo, existe la Codificación Aritmética Binaria de Contexto Adaptable (CABAC).
[0165] La memoria intermedia 107 de acumulación mantiene temporalmente los datos codificados suministrados desde la unidad 106 de codificación sin pérdidas. La memoria intermedia 107 de acumulación produce los datos codificados retenidos en el exterior del dispositivo 100 de codificación de imágenes en un tiempo predeterminado. En otras palabras, la memoria 107 intermedia de acumulación también sirve como unidad de transmisión que transmite los datos codificados.
[0166] Los coeficientes de transformada cuantificados por la unidad 105 de cuantificación también se suministran a la unidad 108 de cuantificación inversa. La unidad 108 de cuantificación inversa cuantifica de forma inversa los coeficientes de transformada cuantificados por un método que corresponde a la cuantificación realizada por la unidad 105 de cuantificación.La unidad 108 de cuantificación inversa suministra los coeficientes de transformada obtenidos a la unidad 109 de transformada ortogonal inversa.
[0167] La unidad 109de transformada ortogonal inversa realiza la transformada ortogonal inversa en los coeficientes de transformada suministrados desde la unidad 108 de cuantificación inversa por un método que corresponde al proceso de transformada ortogonal realizado por la unidad 104 de transformación ortogonal. Los datos de imagen de la imagen diferencial se restablecen por la transformada ortogonal inversa.La unidad 109 de transformada ortogonal inversa suministra los datos de imagen almacenados de la imagen diferencial a la unidad 110 de operación como el resultado de transformada ortogonal inversa.
[0168] La unidad 110 de operación genera datos de imagen de una imagen obtenida al agregar la imagen diferencial establecida y la imagen prevista utilizando el resultado de transformada ortogonal inversa suministrado desde la unidad 109 de transformada ortogonal inversa y los datos de imagen de la imagen prevista suministrada desde la unidad 113 de intra-predicción o la unidad 114 de inter-predicción a través de la unidad 115 de selección de imagen prevista. En otras palabras, una imagen reconstruida localmente (en lo sucesivo, denominada como una "imagen reconstruida") se obtiene por el proceso de adición. La unidad 110 de operación suministra los datos de imagen de la imagen reconstruida al filtro 111 de bucle o la unidad 113 de intra-predicción.
[0169] El filtro 111 de bucle incluye un filtro de desbloqueo, un filtro de bucle adaptable, o similares, y realiza un proceso de filtro adecuado en los datos de imagen de la imagen reconstruida suministrada desde la unidad 110 de operación. Por ejemplo, el filtro 111 de bucle realiza el proceso de filtro de desbloqueo en los datos de imagen de la imagen reconstruida, y elimina la distorsión de bloque de la imagen reconstruida.
Además, por ejemplo, el filtro 111 de bucle mejora la calidad de imagen de la imagen reconstruida al realizar el proceso de filtro de bucle en el resultado de proceso de filtro de desbloqueo (los datos de imagen de la imagen reconstruida desde la cual se ha eliminado la distorsión de bloque) utilizando el Filtro de Wiener.
[0170] El filtro 111 de bucle puede realizar otro proceso de filtro arbitrario en la imagen reconstruida. El filtro 111 de bucle puede suministrar la información utilizada en el proceso de filtro tal como un coeficiente de filtro a la unidad 106 de codificación sin pérdidas cuando sea necesario de manera que la información pueda codificarse.
[0171] El filtro 111 de bucle suministra los datos de imagen de la imagen reconstruida (en lo sucesivo, denominado como "imagen descodificada") que se ha sometido al proceso de filtro como se describe en lo anterior a la memoria 112 de trama.
[0172] La memoria 112 de tramas almacena los datos de imagen suministrados de la imagen descodificada.Además, la memoria 112 de tramas suministra los datos de imagen almacenados de la imagen descodificada a la unidad 114 de ínter-predicción como una imagen de referencia a un momento predeterminado.
[0173] La unidad 113 de intra-predicción realiza el proceso de predicción de la imagen actual que es la imagen de la trama del objetivo de procesamiento, y genera la imagen de prevista. La unidad 113 de intra-predicción realiza el proceso de predicción en las unidades de bloques predeterminados (utilizando un bloque como una unidad de procesamiento).En otras palabras, la unidad 113 de intra-predicción genera la imagen prevista del bloque actual que sirve como objetivo de procesamiento en la imagen actual. En este tiempo, la unidad 113 de intra-predicción realiza el proceso de predicción (predicción intra-pantalla (la cual también se denomina como una intra-predicción)) utilizando la imagen reconstruida suministrada desde la unidad 110 de operación como la imagen de referencia. En otras palabras, la unidad 113 de intra-predicción genera la imagen prevista utilizando valores de pixel de pixeles vecinos al bloque actual los cuales se incluyen en la imagen reconstruida. Los valores de pixel de los pixeles vecinos utilizados para la intra-predicción son valores de pixel de pixeles previamente procesados de la imagen actual. En intra-predicción (es decir, en el esquema de generar la imagen prevista), una pluralidad de métodos (los cuales también se denominan como "modos de intra-predicción") se preparan como candidatos con anticipación. La unidad 113 de intra-predicción realiza la intra-predicción en una pluralidad de modos de intra-predicción los cuales se preparan con anticipación.
[0174] La unidad 113 de intra-predicción genera imágenes previstas en todos los modos de intra-predicción que sirven como los candidatos, evalúa los valores de función de costo de las imágenes previstas utilizando la imagen de entrada suministrada desde la memoria intermedia 102 de reorganización de pantalla, y selecciona un modo óptimo. Cuando el modo de intra-predicción óptimo se selecciona, la unidad 113 de intra-predicción suministra la imagen prevista generada en el modo óptimo a la unidad 115 de selección de imagen prevista.
[0175] Además, como se describe en lo anterior, la unidad 113 de intra-predicción suministra adecuadamente, por ejemplo, la información de modo de intra-predicción que indica el modo de intra-predicción empleado a la unidad 106 de codificación sin pérdidas de manera que se codifique la información.
[0176] La unidad 114 de inter-predicción realiza el proceso de predicción en la imagen actual, y genera la imagen prevista. La unidad 114 de inter-predicción realiza el proceso de predicción en unidades de bloques predeterminados (utilizando un bloque como una unidad de procesamiento). En otras palabras, la unidad 114 de inter-predicción genera la imagen prevista del bloque actual que sirve como el objetivo de procesamiento en la imagen actual. En este tiempo, la unidad 114 de inter-predicción realiza el proceso de predicción utilizando los datos de imagen de la imagen de entrada suministrada desde la memoria intermedia 102 de reorganización de pantalla y los datos de imagen de la imagen descodificada suministrada desde la memoria 112 de tramas como la imagen de referencia. La imagen descodificada es una imagen (otra imagen distinta a la imagen actual) de la trama procesada antes de la imagen actual.En otras palabras, la unidad 114 de inter-predicción realiza el proceso de predicción (predicción inter-pantalla (la cual también se denomina como "inter-predicción")) de generar la imagen prevista utilizando una imagen de otra imagen.
[0177] La inter-predicción incluye predicción de movimiento y compensación de movimiento.Más específicamente, la unidad 114 de inter-predicción realiza la predicción de movimiento en un bloque actual utilizando la imagen de entrada y la imagen de referencia, y detecta un vector de movimiento.Después, la unidad 114 de inter-predicción realiza el proceso de compensación de movimiento de acuerdo con el vector de movimiento detectado utilizando la imagen de referencia, y genera la imagen prevista (información de imagen inter-prevista) del bloque actual. En la inter-predicción (es decir, en el esquema de generar la imagen prevista), una pluralidad de métodos (los cuales también se denominan como "modos de inter-predicción") se preparan como candidatos con anticipación. La unidad 114 de inter-predicción realiza la ínter-predicción en una pluralidad de modos de inter-predicción los cuales se preparan con anticipación.
[0178] La unidad 114 de inter-predicción genera las imágenes previstas en todos los modos de inter-predicción que sirven como el candidato. La unidad 114 de inter-predicción evalúa los valores de función de costo de las imágenes previstas utilizando la imagen de entrada suministrada desde la memoria intermedia 102 de reorganización de pantalla, información del vector de movimiento diferencial generado, y similares, y selecciona un modo óptimo. Cuando se selecciona el modo de inter-predicción óptimo, la unidad 114 de inter-predicción suministra la imagen prevista generada en el modo óptimo a la unidad 115 de selección de imagen prevista.
[0179] La unidad 114 de inter-predicción suministra la información que indica el modo de inter-predicción empleado, información necesaria para realizar el procesamiento en el modo de inter-predicción cuando los datos codificados se descodifican, y similares a la unidad 105 de codificación sin pérdidas de manera que la información se codifique. Como la información necesaria, existe información de un vector de movimiento diferencial generado, como información de vector de movimiento de predicción, existe un indicador que indica un índice de un vector de movimiento de predicción.
[0180] La unidad 115 de selección de imagen prevista selecciona una fuente de suministro de la imagen prevista a suministrarse a la unidad 103 de operación y la unidad 110 de operación. Por ejemplo, en el caso de la intra-codificación, la unidad 115 de selección de imagen prevista selecciona la unidad 113 de intra-predicción como la fuente de suministro de la imagen prevista, y suministra la imagen prevista suministrada desde la unidad 113 de intra-predicción a la unidad 103 de operación y la unidad 110 de operación. Además, por ejemplo, en el caso de la ínter-codificación, la unidad 115 de selección de imagen prevista selecciona la unidad 114 de inter-predicción como la fuente de suministro de la imagen prevista, y suministra la imagen prevista suministrada desde la unidad 114 de inter-predicción a la unidad 103 de operación y la unidad 110 de operación.
[0181] La unidad 116 de control de tasa controla una tasa de una operación de cuantificación de la unidad 105 de cuantificación basándose en la cantidad de codificación de los datos codificados acumulados en la memoria intermedia 107 de acumulación de manera que no se produce un flujo superior ni un flujo inferior.
[0182] El dispositivo 100 de codificación de imágenes además incluye una unidad 121 de establecimiento de perfil.
[0183] La unidad 121 de establecimiento de perfil establece un perfil que se aplica a la codificación de datos de imagen. Por ejemplo, cuando se codifica una imagen fija, la unidad 121 de establecimiento de perfil establece el perfil de imagen fija. Por ejemplo, la unidad 121 de establecimiento de perfil establece el perfil de acuerdo con una instrucción externa tal como una instrucción de usuario. Desde luego, este método es arbitrario, y el perfil puede establecerse basado en cualquier información. Cuando se establece el perfil, la unidad 121 de establecimiento de perfil suministra la información a la unidad 106 de codificación sin pérdidas.
[0184] La unidad 106 de codificación sin pérdidas realiza la codificación de acuerdo con el perfil establecido por la unidad 121 de establecimiento de perfil. Por ejemplo, cuando el perfil de imagen fija que se establece por la unidad 121 de establecimiento de perfil, la unidad 106 de codificación sin pérdidas restringe el valor de elemento de sintaxis relacionados con el proceso inter-imagen. El ejemplo especifico de esta restricción se ha descrito en <0. Descripción general!.
[0185] <Unidad de codificación sin pérdidas! La Figura 26 es un diagrama de bloque que ilustra una configuración principal ejemplar de la unidad 106 de codificación sin pérdidas de la Figura 25 relacionada con un establecimiento de elementos de sintaxis. Como se ilustra en la Figura 25, la unidad 106 de descodificación sin pérdidas incluye una unidad 131 de establecimiento de elementos de sintaxis, y una unidad 132 de descodificación.
[0186] La unidad 131 de establecimiento de elementos de sintaxis realiza el procesamiento relacionado con un establecimiento de elementos de sintaxis. Por ejemplo, la unidad 131 de establecimiento de elementos de sintaxis establece los elementos de sintaxis de diversas unidades de NAL (nal unit) tal como el conjunto de parámetros de video (VPS), el conjunto de parámetros de secuencia (SPS), el conjunto de parámetros de imágenes (PPS), y el encabezado de sección. La unidad 131 de establecimiento de elementos de sintaxis adquiere la información necesaria desde unidades de procesamiento del dispositivo 100 de codificación de imágenes tal como la unidad 113 de intra-predicción y la unidad 114 de inter-predicción según sea necesario, y establece el valor de elemento de sintaxis basado en la información adquirida.
[0187] Además, la unidad 131 de establecimiento de elementos de sintaxis recibe el perfil designado desde la unidad 121 de establecimiento de perfil. La unidad 131 de establecimiento de elementos de sintaxis establece los elementos de sintaxis de acuerdo con el perfil asignado por la unidad 121 de unidad de establecimiento.
[0188] Por ejemplo, cuando el perfil de imagen fija se establece por la unidad 121 de establecimiento de perfil, la unidad 131 de establecimiento de elementos de sintaxis restringe el valor de elemento de sintaxis relacionado con el proceso inter-imagen. El ejemplo específico de esta restricción se ha descrito en <0. Descripción general>.
[0189] La unidad 131 de establecimiento de elementos de sintaxis suministra el conjunto de elementos de sintaxis a la unidad 132 de codificación.
[0190] Por ejemplo, la unidad 132 de codificación adquiere los coeficientes de cuantificación de los datos de imagen desde la unidad 105 de cuantificación, codifica los coeficientes de cuantificación adquiridos de acuerdo con la codificación aritmética o similar, y obtiene los datos codificados. La unidad 132 de codificación suministra los datos codificados obtenidos a la memoria intermedia 107 de acumulación.
[0191] Además, la unidad 132 de codificación también codifica información diferente a los datos de imagen, y suministra la información codificada a la memoria intermedia 107 de acumulación. Por ejemplo, la unidad 132 de codificación, codifica el conjunto de elementos de sintaxis por la unidad 131 de establecimiento de elementos de sintaxis, y suministra el elemento de sintaxis codificado a la memoria intermedia 107 de acumulación.
[0192] Como se describe en o anterior, cuando el perfil de imagen fija se establece, la unidad 106 de codificación sin pérdidas restringe el valor de elementos de sintaxis relacionado con el proceso inter-imagen, y genera los datos codificados. De esta manera, el dispositivo 100 de codificación de imágenes puede suprimir la transmisión de información redundante y suprimir la reducción en la eficiencia de codificación.
[0193] Además, el dispositivo 100 de codificación de imágenes puede suprimir un aumento de una carga innecesaria en el proceso de descodificación al reducir la información redundante de los datos codificados.
[0194] Además, el dispositivo 100 de codificación de imágenes puede cambiar el perfil y codificar fácilmente ambos de una imagen fija y una imagen en movimiento a través de un solo circuito.
[0195] <Flujo de proceso de codificación> A continuación, se describe un flujo ejemplar del proceso de codificación realizado por el dispositivo 100 de codificación de imágenes ilustrado en la Figura 25 con referencia a los diagramas de flujo de las Figuras 27 y 28.
[0196] Cuando inicia el proceso de codificación, en la etapa S101 de la Figura 27, la unidad 121 de establecimiento de perfil establece el perfil de acuerdo con los datos de imagen a codificarse, por ejemplo, de acuerdo con la instrucción externa tal como la instrucción de usuario.
[0197] En la etapa S102, la unidad 106 de codificación sin pérdidas determina si el establecimiento de perfil en la etapa S101 es un perfil de imagen fija o no (el perfil adecuado para la codificación de los datos de imagen de la imagen fija). Cuando el perfil establecido se determina que es el perfil de imagen en movimiento (el perfil adecuado para codificar los datos de imagen de la imagen en movimiento), el proceso procede a la etapa S103.
[0198] Cuando los datos de imagen de la imagen en movimiento se codifican, en la etapa S103, el convertidor 101 de A/D realiza la conversión de D/D en la imagen de las tramas (imágenes) de una imagen en movimiento de entrada.
[0199] En la etapa S104, la memoria intermedia 102 de reorganización de pantalla almacena las imágenes que se han sometido a la conversión de A/D en la etapa S103, y reorganiza las imágenes respectivas organizadas en el orden de visualización en un orden de codificación.
[0200] En la etapa S105, la unidad 113 de intra-predicción realiza el proceso de intra-predicción del modo de intra-predicción.
[0201] En la etapa S106, la unidad 114 de inter-predicción realiza el proceso de inter-predicción en el cual la predicción de movimiento y la compensación de movimiento del modo de inter-predicción se realizan.
[0202] En la etapa S107, la unidad 115 de selección de imagen prevista selecciona la imagen prevista basada en el valor de función de costo o similares. En otras palabras, la unidad 115 de selección de imagen prevista selecciona cualquiera de la imagen prevista generada por la intra-predicción en la etapa S105 y la imagen prevista generada por la inter-predicción en la etapa S106.
[0203] En la etapa S108, la unidad 103 de operación calcula una diferencia entre la imagen de entrada en la cual el orden de tramas se reorganiza por el proceso de la etapa S104 y la imagen prevista seleccionada por el proceso de la etapa S107. En otras palabras, la unidad 103 de operación genera los datos de imagen de la imagen diferencial entre la imagen de entrada y la imagen prevista. Los datos de imagen obtenidos de la imagen diferencial son menores en una cantidad de datos que los datos de imagen original. De esta manera, la cantidad de datos puede comprimirse para que sea menor que cuando la imagen se codifica sin cambio.
[0204] En la etapa S109, la unidad 104 de transformada ortogonal realiza la transformada ortogonal en los datos de imagen de la imagen diferencial generada por el proceso de la etapa S108.
[0205] En la etapa S110, la unidad 105 de cuantificación cuantifica los coeficientes de transformada ortogonal obtenidos por el proceso de la etapa S109 utilizando el parámetro de cuantificación calculado por la unidad 116 de control de tasa.
[0206] En la etapa Slll, la unidad 108 de cuantificación inversa cuantifica inversamente los coeficientes cuantificados (los cuales también se denominan como "coeficientes de cuantificación") generados por el proceso de la etapa S110 de acuerdo con características que corresponden a las características de la unidad 105 de cuantificación.
[0207] En la etapa S112, la unidad 109 de transformada ortogonal inversa realiza la transformada ortogonal inversa en los coeficientes de transformada ortogonal obtenidos por el proceso de la etapa Slll.
[0208] En la etapa S113, la unidad 110 de operación genera datos de imagen de una imagen reconstruida al agregar la imagen prevista seleccionada por el proceso de la etapa S107 a la imagen diferencial restablecida por el proceso de la etapa S112.
[0209] En la etapa S114, el filtro 111 de bucle realiza el proceso de filtro de bucle en los datos de imagen de la imagen reconstruida generada por el proceso de la etapa S113. Como resultado, por ejemplo, la distorsión de bloque de la imagen reconstruida se elimina.
[0210] En la etapa S115, la memoria 112 de trama almacena la imagen descodificada obtenida por el proceso en la etapa S114.
[0211] En la etapa S116, la unidad 106 de codificación sin pérdida codifica los coeficientes cuantificados por el proceso de la etapa S110.En otras palabras, la codificación sin pérdidas tal como la codificación de longitud variable o la codificación aritmética se realiza en los datos que corresponden a la imagen diferencial.
[0212] En este tiempo, la unidad 106 de codificación sin pérdidas codifica la información relacionada con el modo de predicción de la imagen prevista seleccionada por el proceso de la etapa S107, y agrega la información codificada a los datos codificados obtenidos por la codificación de imágenes diferencial. En otras palabras, la unidad 106 de codificación sin pérdidas también codifica la información del modo de intra-predicción óptima suministrada desde la unidad 113 de intra-predicción, la información de acuerdo con el modo de inter-predicción óptimo suministrado desde la unidad 114 de inter-predicción o similares, y agrega la información codificada a los datos codificados.
[0213] Además, la unidad 106 de codificación sin pérdidas también establece y codifica los elementos de sintaxis de diversos tipos de unidades de NAL, o similares, y agrega los elementos de sintaxis codificados a los datos codificados.
[0214] En la etapa S117, la memoria intermedia 107 de acumulación acumula los datos codificados obtenidos por el proceso de la etapa S115. Los datos codificados acumulados en la memoria intermedia 107 de acumulación se leen adecuadamente, y se transmiten al lado de descodificación mediante una trayectoria de transmisión o un medio de grabación.
[0215] En la etapa S118, la unidad 116 de control de tasa controla la tasa de la operación de cuantificación de la unidad 105 de cuantificación basada en la cantidad de codificación (la cantidad de codificación generada) de los datos codificados acumulados en la memoria intermedia 107 de acumulación por el proceso de la etapa S117 de manera que no ocurre sobre flujo ni un subflujo.Además, la unidad 116 de control de tasa suministra la información relacionada con el parámetro de cuantificación a la unidad 105 de cuantificación. Cuando el proceso en la etapa S118 termina, el proceso de codificación termina.
[0216] Además, cuando el perfil establecido en la etapa S101 se determina que es el perfil de imagen fija (el perfil adecuado para la codificación de los datos de imagen de la imagen fija) en la etapa S102, el proceso prodece en la etapa S121 de la Figura 28.
[0217] En este caso,el procesamiento similar al procesamiento realizado en la imagen en movimiento en las etapas respectivas de la Figura 27 se realiza en los datos de imágen de la imagen fija de entrada en las etapas S121 a S134.
[0218] Aquí, cuando los datos de imagen de la imagen fija se codifican, debido a que los datos de imagen no tienen el concepto de tiempo (existe una sola imagen), se omite en el proceso inter-predicción de la etapa S106. De esta manera, el proceso de seleccionar la imagen prevista en la etapa S107 se omite también.
[0219] En otras palabras, los procesos de las etapas S121 a 5123 de la Figura 28 corresponden a los procesos de las etapas S103 a S105 de la Figura 27. Además, los procesos de las etapas 5124 a S134 de la Figura 28 corresponden a los procesos de las etapas S108 a S118 de la Figura 27.
[0220] Aquí, en los procesos de la etapa S132 de la Figura 28, el valor de elementos de sintaxis relacionado con el proceso ínter-imagen se restringe. Los detalles de este proceso se describirán a continuación. Cuando el proceso de la etapa S134 de la Figura 28 termina, termina el proceso de codificación.
[0221] <Flujo de procesos de codificación sin pérdidas> A continuación, se describirá un flujo ejemplar del proceso de codificación sin pérdidas realizado en la etapa S132 de la Figura 28 con referencia al diagrama de flujo de la Figura 29.
[0222] Cuando inicia el proceso de codificación sin pérdidas en la codificación de imágenes fija, en la etapa S151, la unidad 131 de establecimiento de elementos de sintaxis establece el elemento de sintaxis basado en la restricción para la imagen fija. Por ejemplo, como se describe en lo anterior en <0. Vista general>, para reducir la transmisión de información redundante, cuando se aplica el perfil de imagen fija, la unidad 131 de establecimiento de elementos de sintaxis restringe el valor de elementos de sintaxis relacionado con el proceso inter-imagen.
[0223] En la etapa S152,la unidad 132 de codificación codifica el conjunto de elementos de sintaxis establecido en la etapa S151.
[0224] En la etapa S153,la unidad 132 de codificación codifica los coeficientes de transformada ortogonal cuantificados por la unidad 105 de cuantificación. Cuando el proceso de la etapa S153 termina, el proceso de codificación sin pérdidas termina, y el proceso regresa a la Figura 28.
[0225] <Flujo del proceso de establecimiento de elementos de sintaxis> A continuación, se describirá un flujo ejemplar del proceso de establecimiento de elementos de sintaxis realizado en la etapa S151 de la Figura 29 con referencia al diagrama de flujo de la Figura 30.
[0226] Cuando inicia el proceso de establecimiento de elementos de sintaxis, en la etapa S171, la unidad 131 de establecimiento de elementos de sintaxis determina que el parámetro vps_max_sub_layersminusl relacionado con la sub capa del conjunto de parámetro de video (VPS) y el parámetro sps_max_sub_layers_minusl relacionado con la sub capa del conjunto de parámetros de secuencia (SPS) son 0.
[0227] En la etapa S172, la unidad 131 de establecimiento de elementos de sintaxis establece el elemento de sintaxis general_profile_idc del nivel de grado de perfil (profile_tier_level ()) a un valor que indica el perfil de imagen fij .
[0228] En la etapa S173, la unidad 131 de establecimiento de elementos de sintaxis se establece a otros elementos de sintaxis del nivel de grado de perfil (profile_tier_level ()).
[0229] En la etapa S174, la unidad 131 de establecimiento de elementos de sintaxis establece el valor del elemento de sintaxis vps_num_hrd_parameters relacionado con el descodificador de referencia virtual en el parámetro de video establecido (VPS) a 0.
[0230] En la etapa S175, la unidad 131 de establecimiento de elementos de sintaxis establece que el valor del elemento de sintaxis restricted ref pie lists flag relacionado con la sección P y la sección B en el conjunto de parámetros de secuencia (SPS) es 0.
[0231] En la etapa S176, la unidad 131 de establecimiento de elementos de sintaxis establece que el valor del elemento de sintaxis num_short_term_ref_pic_sets relacionado con el corto plazo en el conjunto de parámetros de secuencia (SPS) es 0.
[0232] En la etapa S177, la unidad 131 de establecimiento de elementos de sintaxis establece que el valor del elemento de sintaxis long_term_ref_pics_present_flag relacionado con el largo plazo en el conjunto de parámetros de secuencia (SPS) es 0.
[0233] En la etapa S178, la unidad 131 de establecimiento de elementos de sintaxis establece el valor de elementos de sintaxis sps_temporal_mvp_enable_flag relacionado con el vector de movimiento en el conjunto de parámetros de secuencia (SPS) a 0.
[0234] En la etapa S179, la unidad 131 de establecimiento de elementos de sintaxis establece ambos del valor de elementos de sintaxis num_ref_idx_10_default_active menos 1 relacionado con LO y el valor del elemento de sintaxis num_ref_idx_ll_default_active menos 1 relacionado en Ll en el conjunto de parámetro de imagen (PPS) a 0 ó 1.
[0235] En la etapa S180, la unidad 131 de establecimiento de elementos de sintaxis establece que el valor del elemento de sintaxis lists_modification_present_flag del conjunto de parámetros de imágenes (PPS)que indica si el elemento de sintaxis ref_pic_list_modification está presente en el encabezado de sección actual es 0 o no.
[0236] En la etapa S181, la unidad 131 de establecimiento de elementos de sintaxis establece que el valor del elemento de sintaxis log2_parallel_merge_level_minus2 del conjunto de parámetros de imágenes (PPS) que designa el nivel de proceso paralelo del modo de fusión y el modo de salto en el proceso de predicción es 0.
[0237] En la etapa S182, la unidad 131 de establecimiento de elementos de sintaxis establece el valor de elementos de sintaxis scaling list_pred_mode flag relacionado con el modo de predicción de la lista de escalamiento (scaling_list_data ()) a 0, y establece el valor de elementos de sintaxis scaling list pred matrix id delta relacionado con la matriz de predicción de la lista de escalamiento (scaling_list_data ()) a 0 ó 1.
[0238] En la etapa S183, la unidad 131 de establecimiento de elementos de sintaxis establece el valor de elementos de sintaxis slice_type relacionado con el tipo de sección en el encabezado de sección (slice_header()) al valor que indica la sección I.
[0239] En la etapa S184, la unidad 131 de establecimiento de elementos de sintaxis establece el tipo de unidad NAL (nal_unit_type) para la VCL a IDR_W_LP o IDR_N_LP.
[0240] En la etapa S185, la unidad 131 de establecimiento de elementos de sintaxis establece otros elementos de sintaxis. Por ejemplo, en la etapa S185, la unidad 131 de establecimiento de elementos de sintaxis puede establecer el valor de elementos de sintaxis (indicador) weighted_pred flag relacionado con la predicción ponderada de la sección P o el elemento de sintaxis (indicador) weighted_bipred_flag relacionado con la predicción ponderada de la sección B en el conjunto de parámetro de imagen (PPS) a 0. Cuando el proceso de la etapa S185 termina, el proceso regresa a la Figura 29.
[0241] Desde luego, el orden de procesamiento de las etapas respectivas descritas en lo anterior es arbitrario, y el orden de procesamiento de las etapas respectivas puede cambiarse, y procesos de una pluralidad de etapas pueden realizarse en paralelo. Particularmente, como se describe en lo anterior en <0-1> a <0-3>, el orden de procesamiento de las etapas S171 a S173 es arbitrario.
[0242] Además, puesto que las restricciones de los valores de los elementos de sintaxis son independientes entre si, todos los valores de un grupo de elementos de sintaxis no necesitan restringirse, y sólo los valores de algunos elementos de sintaxis pueden restringirse. En otras palabras, entre las etapas descritas en lo anterior en el proceso de establecimiento de elementos de sintaxis de la Figura 30, solamente los procesos de algunas etapas pueden realizarse.
[0243] Además, debido que los elementos de sintaxis cuyo valor se restringe no se limitan a los ejemplos descritos en lo anterior, un proceso de restringir un valor de un elemento de sintaxis que no se menciona en lo anterior pueden agregarse en los procesos de establecimiento de elementos de sintaxis de la Figura 30.
[0244] Al realizar el proceso respectivo como se describe en lo anterior, el dispositivo 100 de codificación de imágenes puede suprimir la transmisión de información redundante y mejorar la eficiencia de codificación en la información de compresión de imagen que se producirá cuando se realice la codificación basada en el perfil para codificar la imagen fija.
[0245] <2. <Segunda modalidad> <Dispositivo de codificación de imágenes> Además, se desea seleccionar un perfil de acuerdo con una imagen de entrada. En este sentido, puede determinarse si la imagen de entrada es la imagen de movimiento o la imagen fija, y puede establecerse un perfil apropiado de acuerdo con un resultado de determinación.
[0246] La Figura 31 es un diagrama de bloque que ilustra una configuración ejemplar de un dispositivo de codificación de imágenes como un ejemplo de un dispositivo de procesamiento de imágenes al que se aplica la presente teenología en este caso. Por ejemplo, un dispositivo 200 de codificación de imágenes ilustrado en la Figura 31 codifica datos de imagen de una imagen en movimiento y una imagen fija utilizando un proceso de predicción del HEVC o un proceso de predicción de un esquema basado en el HEVC.
[0247] El dispositivo 200 de codificación de imágenes tiene básicamente la misma configuración que el dispositivo 100 de codificación de imágenes y realiza el mismo proceso. El dispositivo 200 de codificación de imágenes incluye una unidad 211 de determinación además de la configuración del dispositivo 100 de codificación de imágenes.
[0248] La unidad 211 de determinación adquiere la información de la imagen desde la memoria intermedia 102 de reorganización de pantalla, analiza la información de imagen y determina si los datos de imagen de um objetivo de codificación es una imagen en movimiento o una imagen fija. La unidad 211 de determinación suministra el resultado de la determinación a la unidad 121 de establecimiento de perfil.
[0249] La unidad 121 de establecimiento de perfil establece un perfil apropiado de acuerdo con el resultado de determinación suministrado desde la unidad 211 de determinación. En otras palabras, por ejemplo, cuando la unidad 211 de determinación determina que los datos de imagen del objetivo de codificación es la imagen en movimiento, la unidad 121 de establecimiento de perfil establece el perfil de imagen en movimiento. Además, por ejemplo, cuando la unidad 211 de determinación determina que los datos de imagen del objetivo de codificación es la imagen fija, la unidad 121 de establecimiento de perfil establece el perfil de imagen fija (por ejemplo, el perfil de imagen fija).
[0250] Cuando se establece el perfil, la unidad 121 de establecimiento de perfil suministra la información a la unidad 106 de codificación sin pérdidas. La unidad 106 de codificación sin pérdidas realiza la codificación de acuerdo con el perfil establecido por la unidad 121 de establecimiento de perfil.
[0251] Como resultado, el dispositivo 200 de codificación de imágenes puede establecer el perfil de acuerdo con los datos de imagen de entrada sin la designación desde el exterior, por ejemplo, el usuario. En otras palabras, el dispositivo 200 de codificación de imágenes puede suprimir la transmisión de la información redundante y mejorar la eficiencia de codificación en la información de compresión de imagen que se producirá sin la designación desde el exterior, por ejemplo, el usuario.
[0252] Además, el dispositivo 200 de codificación de imágenes puede suprimir un aumento de una carga innecesaria en el proceso de descodificación al reducir la información redundante de los datos codificados.
[0253] Además, el dispositivo 200 de codificación de imágenes puede codificar una imagen fija y una imagen en movimiento a través de un solo circuito.
[0254] <Flujo de proceso de codificación> A continuación, se describirá un flujo ejemplar del proceso de descodificación realizado por el dispositivo 200 de codificación de imágenes en este caso con referencia a los diagramas de flujo de las Figuras 32 y 33.
[0255] Cuando inicia el proceso de codificación, en la etapa S201 de la Figura 32, la unidad 211 de determinación determina si una imagen de entrada es una imagen fija o no.
[0256] En la etapa S202, la unidad 121 de establecimiento de perfil establece el perfil de acuerdo con el resultado de determinación obtenido en la etapa S201.
[0257] En lo sucesivo, el mismo proceso que en las etapas S102 a S118 de la Figura 27, se realiza en las etapas S203 a S219 de la Figura 32.
[0258] En la etapa S203 de la Figura 32, cuando se determina que se ha establecido el perfil de imagen fija, el proceso procede a la etapa S221 de la Figura 33.El mismo proceso que en las etapas S121 a S134 de la Figura 28, se realiza en las etapas S221 a S234 de la Figura 33.
[0259] D1 realizar los procesos respectivos como se describe en lo anterior, el dispositivo 200 de codificación de imágenes puede establecer el perfil de acuerdo con los datos de imagen de entrada con la designación desde el exterior, por ejemplo, el usuario, suprime la transmisión de información redundante, y mejora la eficiencia de codificación en la información de compresión de imagen que se producirá.
[0260] <3. Tercera Modalidad> <Dispositivo de descodificación de imágenes> A continuación, se describirá en lo siguente la descodificación de datos codificados que se han codificado como se describe en lo anterior. La Figura 34 es un diagrama de bloque que ilustra una configuración principal ejemplar de un dispositivo de descodificación de imágenes que corresponde al dispositivo 100 de codificación de imágenes de la Figura 25 o el dispositivo 200 de codificación de imágenes de la Figura 31 como un ejemplo de un dispositivo de procesamiento de imágenes al cual se aplica la presente teenología.
[0261] Un dispositivo 300 de descodificación de imágenes ilustrado en la Figura 34 descodifica los datos codificados generados por el dispositivo 100 de codificación de imágenes o el dispositivo 200 de codificación de imágenes de acuerdo con un método de descodificación que corresponde a un método de codificación del mismo.
[0262] Como se ilustra en la Figura 34, el dispositivo 300 de descodificación de imágenes incluye una memoria intermedia 301 de acumulación, una unidad 302 de descodificación sin pérdidas, una unidad 303 de cuantificación inversa, una unidad 304 de transformada ortogonal inversa, una unidad 305 de operación, un filtro 306 de bucle, una memoria intermedia 307 de reorganización de pantalla, y un convertidor 308 de D/A. El dispositivo 300 de descodificación de imágenes además incluye, una memoria 309 de tramas, una unidad 310 de intra-predicción, una unidad 311 de inter-predicción, y una unidad 312 de selección de imágenes previstas.
[0263] En la memoria intermedia 301 de acumulación también funciona como unidad de recepción de transmisión que recibe datos codificados. La memoria intermedia 301 de acumulación recibe y acumula los datos codificados transmitidos, y suministra los datos codificados a la unidad 302 de descodificación sin pérdidas a un momento predeterminado. En los datos codificados incluyen información necesaria para descodificar tal información de modo de predicción. La unidad 302 de descodificación sin pérdidas descodifica la información codificada por la unidad 106 de codificación sin pérdidas la cual se suministra desde la memoria intermedia 301 de acumulación de acuerdo con un esquema de descodificación que corresponde al esquema de codificación del mismo. La unidad 302 de descodificación sin pérdidas suministra los datos de coeficiente cuantificados de una imagen diferencial obtenida por la descodificación a la unidad 303 de cuantificación inversa.
[0264] Además, la unidad 302 de descodificación sin pérdidas determina si el modo seleccionado como el modo de predicción óptimo es el modo de intra-predicción o el modo de inter-predicción, y suministra la información relacionado con el modo de predicción óptimo al modo determinado a seleccionarse, es decir, la unidad 310 de intra-predicción o la unidad 311 de inter-predicción. En otras palabras, por ejemplo, cuando se selecciona elmodo de intra-predicción como elmodo de predicción óptimo en el dispositivo de codificación de imágenes, la información relacionada con el modo de predicción óptimo se suministra a la unidad 310 de intra-predicción. Además, por ejemplo, cuando se selecciona el modo de intra-predicción como el modo de predicción óptimo en el dispositivo de codificación de imágenes, la información relacionada con el modo de predicción óptimo se suministra a la unidad 311 de inter-predicción.
[0265] Además, por ejemplo, la unidad 302 de descodificación sin pérdidas suministra la información necesaria para la cuantificación inversa tal como una matriz de cuantificación y un parámetro de cuantificación a la unidad 303 de cuantificación inversa.
[0266] La unidad 303 de cuantificación inversa cuantifica inversamente los datos de coeficiente cuantificados obtenidos por la descodificación realizada por la unidad 302 de descodificación sin pérdidas de acuerdo con un esquema que corresponde al esquema de cuantificación de la unidad 105 de cuantificación. La unidad 303 de cuantificación inversa es una unidad de procesamiento similar a la unidad 108 de cuantificación inversa. En otras palabras, la descripción de la unidad 303 de cuantificación inversa también puede aplicar a la unidad 108 de cuantificación inversa. Aquí, es necesario cambiar y leer, por ejemplo, destinos de entrada y de salida de los datos de acuerdo con un dispositivo.
[0267] La unidad 303 de cuantificación inversa suministra los datos de coeficiente obtenidos a la unidad 304 de transformada ortogonal inversa.
[0268] La unidad 304 de transformada ortogonal inversa realiza la transformada ortogonal inversa en los coeficientes de transformada ortogonal suministrados desde la unidad 303 de cuantificación inversa de acuerdo con un esquema que corresponde al esquema de transformada ortogonal de la unidad 104 de transformada ortogonal. La unidad 304 de transformada ortogonal inversa es una unidad de procesamiento similar a la unidad 109 de transformada ortogonal inversa. En otras palabras, la descripción de la unidad 304 de transformada ortogonal inversa también puede aplicar a la unidad 109 de transformada ortogonal inversa. Aquí, es necesario cambiar y leer, por ejemplo, los destinos de entrada y de salida de los datos de acuerdo con un dispositivo.
[0269] Los datos de imagen de la imagen diferencial se restablecen por el proceso de transformada ortogonal inversa.Los datos de imagen restablecidos de la imagen diferencial corresponden a los datos de imagen de la imagen diferencial antes que se realice la transformada ortogonal en el dispositivo de codificación de imágenes. En lo sucesivo, los datos de imagen establecidos de la imagen diferencial obtenida por el proceso de transformada ortogonal inversa de la unidad 304 de transformada ortogonal inversa también se denominan como "datos residuales descodificados". La unidad 304 de transformada ortogonal inversa suministra los datos residuales descodificados en la unidad 305 de operación. Además, la unidad 305 de operación se suministra con los datos de imagen de imagen prevista desde la unidad 310 de intra-predicción o la unidad 311 de inter-predicción mediante la unidad 312 de selección de imagen prevista.
[0270] La unidad 305 de operación obtiene los datos de imagen de una imagen reconstruida obtenida al agregar la imagen diferencial y la imagen prevista utilizando los datos residuales descodificados y los datos de imagen de la imagen prevista. La imagen reconstruida corresponde a una imagen de entrada antes de que la imagen prevista se substraiga de la unidad 103 de operación. La unidad 305 de operación suministra la imagen reconstruida al filtro 306 de bucle y la unidad 310 de * intra-predicción.
[0271] El filtro 306 de bucle realiza apropiadamente el proceso de filtro de bucle tal como el proceso de filtro de desbloqueo o el proceso de filtro de bucle adaptable en la imagen reconstruida suministrada, y genera una imagen descodificada. Por ejemplo, el filtro 306 de bucle realiza el proceso de filtro de desbloqueo en la imagen reconstruida, y remueve la distorsión de bloque. Además, por ejemplo, el filtro 306 de bucle mejora la calidad de imagen al realizar el proceso de filtro de bucle en el resultado de proceso de filtro de desbloqueo (la imagen reconstruida desde la cual la distorsión de bloque se ha removido) utilizando el Filtro de Wiener.
[0272] Un tipo del proceso de filtro realizado por el filtro 306 de bucle es arbitrario, y cualquier otro proceso de filtro puede realizarse. Además, el filtro 306 de bucle puede realizar el proceso de filtro utilizando un coeficiente de filtro suministrado desde el dispositivo de codificación de imágenes.
[0273] El filtro 306 de bucle suministra la imagen descodificada que sirve como el resultado del proceso de filtro a la memoria intermedia 307 de reorganización de pantalla y la memoria 309 de tramas.
[0274] La memoria intermedia 307 de reorganización de pantalla realiza la reorganización de orden de tramas en la imagen descodificada. En otras palabras, la memoria intermedia 307 de reorganización de pantalla reorganiza las imágenes de las tramas respectivas dispuestas en el orden de codificación por la memoria intermedia 102 de reorganización de pantalla en el orden de visualización original.En otras palabras, la memoria intermedia 307 de reorganización de pantalla almacena los datos de imagen de las imágenes descodificadas de las tramas respectivas suministradas en el orden de codificación en el orden de codificación, lee los datos de imagen de las imágenes descodificadas de las tramas respectivas almacenadas en el orden de codificación en el orden de visualización, y suministra los datos de imagen leída al convertidor 308 de D/A. El convertidor 308 D/A realiza la conversión de D/A en la imagen descodificada (datos digitales) de las tramas respectivas suministradas desde la memoria intermedia 307 de reestructuración de pantalla, y produce las imágenes convertidas a visualizarse en una pantalla (no ilustrada) como datos análogos.
[0275] La memoria 309 de tramas almacena la imágenes descodificadas suministradas y suministra las imágenes descodificadas almacenadas a la unidad 311 de inter-predicción como la imagen de referencia a un tiempo predeterminado o basado en una solicitud desde el exterior, por ejemplo, la unidad 311 de ínter-predicción.
[0276] la unidad 310 de intra-predicción se suministra apropiadamente, por ejemplo, con la información que indica el modo de intra-predicción obtenido al descodificar la información de encabezado desde la unidad 302 de descodificación sin pérdidas. La unidad 310 de intra-predicción realiza la intra-predicción en el modo de intra-predicción (el modo de intra-predicción óptimo) utilizado en la unidad 113 de intra-predicción, y genera la imagen prevista. En este momento, la unidad 310 de intra-predicción realiza la intra-predicción utilizando los datos de imagen de la imagen reconstruida suministrada desde la unidad 305 de operación.En otras palabras, la unidad 310 de intra-predicción utiliza la imagen reconstruida como la imagen de referencia (el pixel cercano). La unidad 310 de intra-predicción suministra la imagen prevista generada a la unidad 312 de selección de imagen prevista.
[0277] La unidad 311 de ínter-predicción adquiere información (la información de modo de predicción óptima, la información de imagen de referencia, y similares) obtenida por la descodificación de la información de encabezado desde la unidad 302 de descodificación sin pérdidas.
[0278] La unidad 311 de ínter-predicción realiza la ínter-predicción utilizando la imagen de referencia adquirida desde la memoria 309 de tramas en el modo de inter-predicción (El modo de inter-predicción óptimo) indicado por la información del modo de predicción óptimo obtenida desde la unidad 302 de descodificación sin pérdidas, y genera la imagen prevista.
[0279] La unidad 312 de selección de imagen prevista suministra la imagen prevista recibida desde la unidad 310 de intra-predicción o la imagen prevista recibida desde la unidad 311 de inter-predicción a la unidad 305 de operación. Entonces, la unidad 305 de operación agrega la imagen prevista a los datos residuales descodificados (la información de imagen diferencial) suministradas desde la unidad 304 de transformada ortogonal inversa, y adquiere la imagen reconstruida.
[0280] El dispositivo 300 de descodificación de imágenes además incluye una unidad 321 de determinación de perfil.
[0281] La unidad 321 de determinación de perfil adquiere información relacionada con el perfil de los datos codificados los cuales incluyen en los datos codificados (corriente de bits) transmitidos desde el lado de codificación (por ejemplo, el dispositivo 100 de codificación de imágenes o dispositivo 200 de codificación de imágenes) desde la unidad 302 de descodificación sin pérdidas, y determina el conjunto de perfil en el lado de codificación (por ejemplo, el dispositivo 100 de codificación de imágenes o el dispositivo 200 de codificación de imágenes)basado en la información adquirida. (0282] Por ejemplo, la unidad 321 de determinación de perfil determina si el perfil de imagen fija (por ejemplo, el perfil de imagen fija) se ha establecido o no.
[0283] La unidad 321 de determinación de perfil suministra un resultado de determinación a la unidad 302 de descodificación sin pérdidas . La unidad 302 de descodificación sin pérdidas descodifica los datos codificados de acuerdo con el resultado de determinación de perfil suministrado desde la unidad 321 de determinación de perfil. Por ejemplo, cuando la unidad 321 de determinación de perfil determina que el perfil de imagen fija (por ejemplo, el perfil de imagen fija) se ha establecido, la unidad 302 de descodificación sin pérdidas analiza el elemento de sintaxis relacionado con el proceso de ínter-imagen en un estado en que el valor se restringe. El ejemplo específico del método de restricción del valor de elemento de sintaxis se ha descrito en lo anterior en <0. Descripción general>.
[0284] <Unidad de descodificación sin pérdidas>.
La Figura 35 es un diagrama de bloque que ilustra una configuración principal ejemplar de la unidad 302 de descodificación sin pérdidas de la Figura 34 que se relaciona con el análisis de elementos de sintaxis.Como se ilustra en la Figura 35, la unidad 302 de descodificación sin pérdidas incluye una unidad 331 de descodificación y una unidad 332 de análisis de elementos de sintaxis.
[0285] La unidad 331 de descodificación descodifica los datos codificados suministrados desde la memoria intermedia 301 de acumulación. La unidad 331 de descodificación suministra, por ejemplo, la información relacionada con el perfil la cual se obtiene por la descodificación de los datos codificados a la unidad 321 de determinación de perfil.
[0286] La unidad 321 de determinación de perfil determina el perfil establecido como se describe en lo anterior, y suministra la información que designa al perfil a la unidad 332 de análisis de elementos de sintaxis.
[0287] Además, por ejemplo, la unidad 331 de descodificación suministra los coeficientes de transformada ortogonal cuantificados obtenidos al descodificar los datos codificados a la unidad 303 de cuantificación inversa.Además, por ejemplo, la unidad 331 de descodificación suministrada a los elementos de sintaxis obtenidos por la descodificación de los datos codificados a la unidad 332 de análisis de elementos de sintaxis.
[0288] La unidad 332 de análisis de elementos de sintaxis analiza diversos tipos de sintaxis suministrados desde la unidad 331 de descodificación y controla las operaciones de las unidades de procesamiento respectivas del dispositivo 300 de descodificación de imágenes tal como la unidad 310 de intra-predicción y la unidad 311 de inter-predición de acuerdo con el resultado de análisis.
[0289] La unidad 332 de análisis de elementos de sintaxis analiza el elemento de sintaxis de acuerdo con el resultado de determinación suministrado desde la unidad 321 de determinación de perfil. Por ejemplo, cuando se determina que el perfil de imagen fija (por ejemplo, el perfil de imagen fija) se ha establecido, la unidad 332 de análisis de elementos de sintaxis analiza el elemento de sintaxis relacionado con el proceso inter-imagen en el estado en que el valor se restringe.El ejemplo específico del método de restricción del valor de elemento de sintaxis se ha descrito en lo anterior en <0. Descripción general>.
[0290] Como un resultado, la unidad 332 de análisis de elementos de sintaxis puede omitir el análisis de elementos de sintaxis innecesario de acuerdo con el perfil establecido (es posible saltar los elementos de sintaxis). En otras palabras, incluso cuando la información innecesaria se incluye en los datos codificados de un objetivo de descodificación,el dispositivo 300 de descodificación de imágenes puede saltar apropiadamente la información necesaria de acuerdo con el perfil establecido y suprimir un aumento de carga innecesaria en el proceso de descodificación.
[0291] Además, el dispositivo 300 de descodificación de imágenes puede descodificar ambos de los datos codificados de la imagen fija y los datos codificados de la imagen en movimiento a través de un solo circuito.
[0292] <Flujo de proceso de descodificación> A continuación, se describirá un flujo ejemplar del proceso de descodificación realizado por el dispositivo 300 de descodificación de imágenes con referencia a los diagramas de flujo de las Figuras 36 y 37.
[0293] Cuando inicia el proceso de descodificación, en la etapa S301, la unidad 302 de descodificación sin pérdidas descodifica el perfil.
[0294] En la etapa S302, la unidad 321 de determinación de perfil determina si el perfil establecido en los datos codificados es el perfil de imagen fija basado en el perfil descodificado en la etapa S301 o no. Cuando se determina que se ha establecido el perfil de imagen en movimiento, el proceso continúa en la etapa S303, y diversos tipos de procesos (los procesos de las etapas S303 a S313) de la descodificación de los datos codificados de la imagen en movimiento se realizan como sigue.
[0295] En la etapa S303, la unidad 332 de análisis de elementos de sintaxis de la unidad 302 de descodificación sin pérdidas analiza los elementos de sintaxis obtenidos desde los datos codificados y establece diversos tipos de parámetros utilizados para la descodificación.
[0296] En la etapa S304, la memoria intermedia 301 de acumulación, acumula las corriente de bits transmitidas (datos codificados). En la etapa S305, la unidad 302 de descodificación sin pérdidas descodifica las corrientes de bits (datos codificados) suministrados desde la memoria intermedia 301 de acumulación. En otras palabras, por ejemplo, los datos de imagen de una imagen I, una imagen P y una imagen B codificadas por la unidad 106 sin pérdidas se descodifican. En este momento, diversos tipos de información diferente a los datos incluidos en la corriente de bits tal como la información de encabezado se descodifican también.
[0297] En la etapa S306, la unidad 303 de cuantificación inversa cuantifica inversamente los coeficientes cuantificados obtenidos por el proceso de la etapa S305.
[0298] En la etapa S307, la unidad 304 de transformada ortogonal inversa realiza una transformada ortogonal inversa en los coeficientes cuantificados inversamente en la etapa S306.
[0299] En la etapa S308, la unidad 310 de intra-predicción o la unidad 311 de ínter-predicción realiza el proceso de predicción, y genera la imagen prevista. En otras palabras, el proceso de predicción se realiza en el modo de predicción que se ha aplicado al momento de la codificación en la unidad 302 de descodificación sin pérdidas.Más específicamente, por ejemplo, cuando se aplica la intra-predicción al momento de la codificación, la unidad 310 de intra-predicción genera una imagen prevista en el modo de intra-predicción reconocido para ser óptimo al momento de la codificación.Además, por ejemplo, cuando se aplica la ínter-predicción al momento de la codificación, la unidad 311 de inter-predicción genera la imagen prevista en el modo de inter-predicción reconocido para ser óptimo al momento de la codificación.
[0300] En la etapa S309, la unidad 305 de operación agrega la imagen prevista generada en la etapa S308 a la imagen diferencial obtenida por la transformada ortogonal inversa en la etapa S307. En consecuencia, los datos de imagen de la imagen reconstruida se obtienen.
[0301] En la etapa S310, el filtro 306 de bucle realiza adecuadamente el proceso de filtro de bucle de manera que el proceso de filtro de bloqueo o el proceso de filtro de bucle adaptable en los datos de imagen de la imagen reconstruida obtenida por el proceso de la etapa S309.
[0302] En la etapa S311, la memoria intermedia 307 de reorganización de pantalla reorganiza las tramas de la imagen reconstruida que se ha sometido al proceso de filtro en la etapa S310. En otras palabras, el orden de las tramas se reordena en el momento de la codificación se reordena en el orden de la visualización original.
[0303] En la etapa S312, el convertidor 308 D/A realiza una conversión D/A en la imagen en la que el orden de las tramas se ha reordenado en la etapa S311. La imagen se produce para una pantalla (no mostrada) de manera que la imagen se visualiza.
[0304] En la etapa S313, la memoria 309 de tramas almacena la imagen que se ha sometido al proceso de filtro en la etapa S310.
[0305] Cuando termina el proceso de la etapa S313, termina el proceso de descodificación.
[0306] Además, cuando el perfil de imagen fija (el perfil adecuado para la codificación de los datos de imagen de la imagen fija) se determina que se ha establecido en la etapa S302, el proceso procede ala etapa S321 de la Figura 37.
[0307] En este caso,en las etapas S321 a S331,elmismo proceso que el proceso realizado en la imagen en movimiento de entrada en las etapas respectivas de la Figura 36 se realiza en los datos de imagen de la imagen fija de entrada.
[0308] En otras palabras, los procesos de las etapas S321 a S331 de la Figura 37 corresponden a los procesos de las etapas S303 a S313 de la Figura 36.
[0309] Aquí, cuando los datos de imagen de la imagen fija se codifican, debido a que los datos de imagen no tienen el concepto de tiempo (si existe una sola imagen), en la etapa S326, la imagen prevista se genera por la intra-predicción.
[0310] Además, en los procesos de la etapa S321, los elementos de sintaxis se analizan en el estado en que el valor de elemento de sintaxis relacionado con el proceso de inter-magen se restringe. Los detalles de este proceso se describirán a continuación.
[0311] Cuando termina el proceso de la etapa S331, termina el proceso de descodificación.
[0312] <Flujo del proceso de análisis de elementos de sintaxis> A continuación, se describirá un flujo ejemplar del proceso de análisis de elementos de sintaxis realizados en la etapa S321 de la Figura 37 con referencia al diagrama de flujo de la Figura 38.
[0313] Cuando inicia el proceso del análisis de elementos de sintaxis, la etapa S351, la unidad 332 de análisis de elementos de sintaxis determinan que el parámetro vps_max_sub_layers_minusl relacionado con la sub capa del conjunto de parámetro de video (VPS) y el parámetro sps_max_sub_layers_minusl relacionado con la sub capa del conjunto de parámetro de secuencia (SPS) son 0.
[0314] En la etapa S352,la unidad 332 de análisis de elementos de sintaxis determina que los elementos de sintaxis general profile idc del nivel de grado de perfil (profile_tier_level ()) es el valor que indica el perfil de imagen fija.
[0315] En la etapa S353, la unidad 332 de análisis de elementos de sintaxis determina otros elementos de sintaxis del nivel de grado de perfil (profile_tier level ()).
[0316] En la etapa S354, la unidad 332 de análisis de elementos de sintaxis determina que el valor de elemento de sintaxis vps_num_hrd_parameters relacionado con el descodificador de referencia virtual en el conjunto de parámetro de video (VPS) es 0.
[0317] En la etapa S355, la unidad 332 de análisis de elementos de sintaxis determina que el valor de elemento de sintaxis restricted_ref_pic_lists_flag relacionado con la sección P y la sección B en el conjunto de parámetro de secuencia (SPS) es 0.
[0318] En la etapa S356,la unidad 332 de análisis de elementos de sintaxis determina que el valor de elemento de sintaxis num_short_term_ref_pic_sets relacionado con el corto plazo en el conjunto de parámetro de secuencia (SPS) es 0.
[0319] En la etapa S357, la unidad 332 de análisis de elementos de sintaxis determina que el valor de elemento de sintaxis en el conjunto de parámetro de secuencia (SPS) es 0.
[0320] En la etapa S358, la unidad 332 de análisis de elementos de sintaxis determina que el valor del elemento de sintaxis sps temporal_mvp_enable_flag relacionado con el vector de movimiento en el conjunto de parámetro de secuencia (SPS) es 0.
[0321] En la etapa S359,la unidad 332 de análisis de elementos de sintaxis determina que ambos del valor de elemento de sintaxis num_ref_idx_10_default_active menos 1 relacionado con LO y el valor de elemento de sintaxis num_ref_idx_ll_default_active menos 1 relacionado en Ll en el conjunto de parámetros de imágenes (PPS) son 0 ó 1.
[0322] En la etapa S360,la unidad 332 de análisis de elementos de sintaxis determina que el valor de elemento de sintaxis lists_modification_present_flag del conjunto de parámetros de imágenes (PPS) que indica si los elementos de sintaxis ref pic_list_modification está presente en el encabezado de sección actual es 0 o no.
[0323] En la etapa S361, la unidad 332 de análisis de elementos de sintaxis determina que el valor de elemento de sintaxis log2 parallel_merge_level_minus2 del conjunto de parámetros de imágenes (PPS) que designa el nivel de proceso paralelo del modo de combinación y el modo de salto en el proceso de predicción es 0.
[0324] En la etapa S362,la unidad 332 de análisis de elementos de sintaxis determina que el valor de elemento de sintaxis scaling_list_pred_mode_flag relacionado con el modo de predicción de la lista de escalamiento (scaling_list data ()) es 0, y determina que el valor de elemento de sintaxis scaling_list_pred_matrix_id_delta relacionado con la matriz de predicción de la lista de escalamiento (scaling_list_data ()) es 0 ó 1.
[0325] En la etapa S363,la unidad 332 de análisis de elementos de sintaxis determina que el valor de elemento de sintaxis slice_type relacionado con el tipo de sección en el encabezado de sección (slice_header()) es el valor que indica la sección I.
[0326] En la etapa S364,la unidad 332 de análisis de elementos de sintaxis determina que el tipo de unidad NAL (nal_unit_type) para la VCL es IDR_W_LP o IDR_N_LP.
[0327] En la etapa S365,la unidad 332 de análisis de elementos de sintaxis determina otros elementos de sintaxis. Por ejemplo, en la etapa S365, la unidad 332 del análisis de elementos de sintaxis puede determinar que el valor de elemento de sintaxis (indicador) weighted_pred_flag relacionado con la predicción ponderada de la sección P o los elementos de sintaxis (indicador) weighted_bipred_flag relacionado con la predicción ponderada de la sección B en el conjunto de parámetros de imágenes (PPS) es 0. Cuando el proceso de la etapa S365 termina, el proceso regresa a la Figura 37.
[0328] Desde luego, el orden de procesamiento de las etapas respectivas descritas en lo anterior es arbitrario, y el orden de procesamiento de las etapas respectivas puede cambiarse, y procesos de una pluralidad de etapas pueden realizarse en paralelo. Particularmente, como se describe en lo anterior en <0—1> a <0-3>, el orden de procesamiento de las etapas S351 a S353 es arbitrario.
[0329] Además, debido a las restricciones de los valores de los elementos de sintaxis son independientes entre si, los análisis no necesitan realizarse en el estado en el que todos los valores de un grupo de elementos de sintaxis se restringen, y el análisis pueda realizarse en un estado en el que solamente los valores de algunos elementos de sintaxis se restringen. En otras palabras, entre las etapas descritas en lo anterior en el proceso de análisis de elementos de sintaxis de la figura 38, solamente los procesos de algunas etapas pueden realizarse.
[0330] Además, debido que los elementos de sintaxis cuyo valor se restringe no son limitados a los elementos descritos en lo anterior, un proceso de realizar el análisis en un estado en el que un valor de un elemento de sintaxis que no se menciona en lo anterior se restringe pueden agregarse en los procesos de análisis de sintaxis de la Figura 38.
[0331] Al realizar los procesos respectivos como se describen en lo anterior, el dispositivo 300 de descodificación de imágenes puede suprimir una aumento de carga innecesaria cuando los datos codificados datos basados en el proceso para la codificación de imágenes fija se descodifican.
[0332] <4. Cuarta Modalidad> <Dispositivo de descodificación de i ágenes> Además, el dispositivo de descodificación de imágenes puede inspeccionar si el valor de la sintaxis se ha establecido apropiadamente para el perfil establecido en los datos codificados o no.
[0333] La Figura 39 es un diagrama de bloque que ilustra una configuración ejemplar de un dispositivo de descodificación de imágenes como un ejemplo de un dispositivo de procesamiento de imágenes al que en la presente teenología se aplica en este caso.
Un dispositivo 400 de descodificación de imágenes ilustrado en la Figura 39 es un dispositivo de descodificación de imágenes que corresponde al dispositivo 100 de codificación de imágenes o al dispositivo 200 de codificación de imágenes, de forma similar al dispositivo 300 de descodificación de imágenes, y descodifica los datos codificados en los que los datos de imagen de una imagen en movimiento y una imagen fija se codifican utilizando el proceso de predicción de HEVC o un proceso de predicción de un esquema basado en el HEVC.
[0334] El dispositivo 400 de descodificación de imágenes tiene básicamente las mismas configuraciones que el dispositivo 300 de descodificación de imágenes y realizan los mismos procesos. El dispositivo 400 de descodificación de imágenes incluye una unidad 411 de procesamiento de anormalidad además de la configuración del dispositivo 300 de descodificación de imágenes.
[0335] La unidad 302 de descodificación sin pérdidas inspecciona si el elemento de sintaxis se ha establecido o no apropiadamente para el perfil determinado por la unidad 321 de determinación de perfil. Cuando se detecta una anormalidad por la inspección, es decir, cuando un establecimiento de un elemento de sintaxis es inapropiado, por ejemplo, cuando un elemento de sintaxis innecesario se establece, se da una notificación de una anormalidad a la unidad 411 de procesamiento de anormalidad.
[0336] Cuando la ocurrencia de anormalidad se notifica desde la unidad 302 de descodificación sin pérdidas, la unidad 411 de procesamiento de anormalidad realiza un proceso de anormalidad predeterminada. Por ejemplo, la unidad 411 de procesamiento de anormalidad provoca que una imagen de advertencia se despliegue en un monitor o provoque que un sonido de advertencia se produzca desde un altavoz o similar. El contenido del proceso de anormalidad es arbitrario. Por ejemplo, para bien de seguridad, la unidad 411 de procesamiento de anormalidad puede controlar los componentes respectivos del dispositivo 400 de descodificación de imágenes demanera que el proceso de descodificación se detiene o se apaga de forma forzada.
[0337] <Unidad de descodificación sin pérdidas>.
La Figura 40 es un diagrama de bloque que ilustra una configuración principal ejemplar de la unidad 302 de descodificación sin pérdidas de la Figura 39 que se relaciona con el análisis de elementos de sintaxis.Como se ilustra en la Figura 40, la unidad 302 de codificación sin pérdidas incluye una unidad 421 de establecimiento de inspección de elemento de sintaxis además de la configuración de la Figura 35.
[0338] La unidad 321 de determinación de perfil determina un perfil establecido basado en la información suministrada desde la unidad 331 de descodificación como se describe en lo anterior, y suministra información que designa el perfil a la unidad 421 de inspección de elementos de sintaxis.
[0339] Además,la unidad 331 de descodificación suministra los elementos de sintaxis obtenidos por la codificación de los datos codificados a la unidad 421 de inspección de elementos de sintaxis.
[0340] La unidad 421 de inspección de elementos de sintaxis inspecciona los valores de diversos tipos de elementos de sintaxis suministrados desde la unidad 331 de descodificación de acuerdo con el resultado de determinación suministrado desde la unidad 321 de determinación de perfil. Cuando los elementos de sintaxis son normales, la unidad 421 de inspección de elementos de sintaxis suministran los elementos de sintaxis inspeccionados a la unidad 332 de análisis de elementos de sintaxis.
[0341] Además,cuando se detecta una anormalidad de inspección de elementos de sintaxis, por ejemplo, cuando un elemento de sintaxis erróneo se establece o cuando un valor erróneo se establece a un elemento de sintaxis, la unidad 421 de inspección de elementos de sintaxis notifica la unidad 411 de procesamiento de anormalidad de la detección de la anormalidad.
[0342] La unidad 411 de procesamiento de anormalidad realiza el proceso de anormalidad de acuerdo con la notificación como se describe en lo anterior.
[0343] Como resultado, el dispositivo 400 de descodificación de imágenes puede detectar si el establecimiento del elemento de sintaxis es apropiado o no y realiza elproceso de descodificación de forma más segura. Además, el dispositivo 400 de descodificación de imágenes puede utilizar el resultado de detección para inspección y análisis de los datos codificados. En otras palabras, es posible impulsar, por ejemplo, la re-creación de datos codificados según sea necesario utilizando el dispositivo 400 de descodificación de imágenes como un analizador de datos codificados.
[0344] Además, el dispositivo 400 de descodificación de imágenes puede descodificar ambos de los datos codificados de la imagen fija y los datos codificados de la imagen en movimiento a través de un solo circuito.
[0345] <Flujo de proceso de codificación> A continuación, se describirá un flujo ejemplar del proceso de descodificación realizado por el dispositivo 400 de descodificación de imágenes en este caso con referencia a los diagramas de flujo de las Figuras 41 y 42.
[0346] Cuando inicia el proceso de descodificación, el dispositivo 400 de descodificación de imágenes realiza el mismo proceso que en las etapas S301 a S313 de la Figura 36 y en las etapas S401 a S413 de la Figura 41.Cuando el proceso de la etapa S413 termina, termina el proceso de descodificación.
[0347] Además, cuando se determina que se ha establecido el perfil de imagen fija en la etapa S402, el proceso procede a la etapa S421 de la Figura 42.
[0348] En la etapa S421 de la Figura 42, la unidad 421 de inspección de elementos de sintaxis de la unidad 302 de descodificación sin pérdidas inspecciona los elementos de sintaxis basado en las restricciones hechas por el perfil de imagen fija.
[0349] En la etapa S422, la unidad 421 de inspección de elementos de sintaxis determina si existe una violación en el elemento de sintaxis basado en el resultado de inspección de la etapa S421 o no. Cuando se determina que no existe violación, el proceso procede a la etapa S423.
[0350] En las etapas S423 a S433 de la Figura 42, se realiza el mismo proceso que en las etapas S321 a S331 de la Figura 37.
Cuando el proceso de la etapa S433 termina, termina el proceso de descodificación.
[0351] Además, cuando se determina en la etapa S422 de la Figura 42 que no existe violación, el proceso procede a la etapa S434.
[0352] En la etapa S434, la unidad 411 de procesamiento de la anormalidad realiza el proceso de anormalidad.Cuando el proceso de la etapa S434 termina, termina el proceso de descodificación.
[0353] <Flujo del proceso de análisis de elementos de sintaxis> A continuación, se describirá un flujo ejemplar del proceso de inspección de elementos de sintaxis realizado en la etapa S421 de la Figura 42 con referencia al diagrama de flujo de la Figura 43.
[0354] Cuando inicia el proceso de inspección de elementos de sintaxis, en la etapa S451, la unidad 421 de inspección de elementos de sintaxis determina si el parámetro vps_max_sub_layers_minusl relacionado con la sub capa del parámetro de video establecido (VPS) y el parámetro sps_max_sub_layers_minus1 relacionado con la sub capa del conjunto de parámetros de secuencia (SPS) son 0 o no. Cuando el resultado de determinación es true, es decir, cuando el parámetro vps_max_sub_layers_minusl relacionado con las sub capa del parámetro de video establecido (VPS) y el parámetro sps_max_sub_layers_minus1 relacionado con la sub capa del conjunto de parámetros de secuencia (SPS) se determina que son 0, el proceso procede a la etapa S452.
[0355] En la etapa S452, la unidad 421 de inspección de elementos de sintaxis determina si el elemento de sintaxis general_profile_idc del nivel de grado de perfil (profile_tier_level ())tiene el valor que indica el perfil de imagen fija o no. Cuando el resultado de determinación es true, es decir, cuando el elemento de sintaxis general_profile_idc del nivel de grado de perfil (profile_tier_level ()) se determina que tiene el valor que indica perfil de imagen fija, el proceso procede a la etapa S453.
[0356] En la etapa S453, la unidad 421 de inspección de elementos de sintaxis determina si el valor del elemento de sintaxis vps_num_hrd_parameters relacionado con el descodificador de referencia virtual en el parámetro de video establecido (VPS) es 0 o no.Cuando el resultado de determinación es true, es decir, cuando el valor del elemento de sintaxis vps_num__hrd_parameters relacionado con el descodificador de referencia virtual en el parámetro de video establecido (VPS) se determina que es 0, el proceso procede a la etapa S454.
[0357] En la etapa S454, la unidad 421 de inspección de elementos de sintaxis determina si el valor del elemento de sintaxis restricted_ref_pic_lists_flag relacionado con la sección P de la sección B en el conjunto de parámetros de secuencia (SPS) es 0 o no. Cuando el resultado de determinación es true, es decir, cuando el valor del elemento de sintaxis restricted_ref_pic_lists_flag relacionado con la sección P y la sección B en el conjunto de parámetros de secuencia (SPS) se determina que es 0, el proceso procede a la etapa S455.
[0358] En la etapa S455, la unidad 421 de inspección de elementos de sintaxis determina si el valor del elemento de sintaxis num_short_term_ref_pic_sets relacionado con el corto plazo en el conjunto de parámetros de secuencia (SPS) es 0 o no. Cuando el resultado de determinación es true, es decir, cuando el valor del elemento de sintaxis num_short_term_ref_pic_sets relacionado con el corto plazo en el conjunto de parámetros de secuencia (SPS) se determina que es 0, el proceso procede a la etapa S456.
[0359] En la etapa S456, la unidad 421 de inspección de elementos de sintaxis determina si el valor del elemento de sintaxis long term ref pies present flag relacionado con el largo plazo en el conjunto de parámetros de secuencia (SPS) es 0 o no. Cuando el resultado de determinación es true, es decir, cuando el valor del elemento de sintaxis long_term_ref_pics_present_flag relacionado con el largo plazo en el conjunto de parámetros de secuencia (SPS) se determina que es 0, el proceso procede a la etapa S457.
[0360] En la etapa S457, la unidad 421 de inspección de elementos de sintaxis determina si el valor del elemento de sintaxis sps_temporal_mvp_enable_flag relacionado con el vector de movimiento en el conjunto de parámetros de secuencia (SPS) es 0 o no. Cuando el resultado de determinación es true, es decir, cuando el valor del elemento de sintaxis sps_temporal_mvp_enable_flag relacionado con el vector de movimiento en el conjunto de parámetros de secuencia (SPS) se determina que es 0, el proceso procede a la etapa S458.
[0361] En la etapa S458, la unidad 421 de inspección de elementos de sintaxis determina si ambos de los valores del elemento de sintaxis num_ref_idx_10_default_active menosl relacionado LO y el valor del elemento de sintaxis num_ref_idx_ll_default_active menosl relacionado con L1 en el conjunto de parámetros de imagen (PPS) es 0 ó 1, o no. Cuando el resultado de determinación es true, es decir, cuando ambos del valor del elemento de sintaxis num ref idx 10 default active menosl relacionado con LO y el valor del elemento de sintaxis num_ref_idx_ll_default_active menosl relacionado con L1 en el conjunto de parámetros de imagen (PPS) se determina que son 0, ó 1 ó no, el proceso procede a la etapa S459.
[0362] En la etapa S459, la unidad 421 de inspección de elementos de sintaxis determina si el valor del elemento de sintaxis lists_modification_present_flag del conjunto de parámetros de imagen (PPS) que indica si el elemento de sintaxis ref_pic_list_modification se encuentra presente o no en el encabezado de sección actual es 0 ó no. Cuando el resultado de determinación es true, es decir, cuando el valor del elemento de sintaxis lists_modification_present_flag del conjunto de parámetros de imagen (PPS) que indica si el elemento de sintaxis ref_pic_list_modification se encuentra presente en el encabezado de sección actual se determina que es 0 ó no, el proceso procede a la etapa S460.
[0363] En la etapa S460, la unidad 421 de inspección de elementos de sintaxis determina si el valor del elemento de sintaxis log2_parallel_merge_level_minus2 del conjunto de parámetros de imagen (PPS) que designa el nivel de proceso paralelo del modo de fusión y el modo de salto en el proceso de predicción es 0 ó no. Cuando el resultado de determinación es true, es decir, cuando el valor del elemento de sintaxis log2_parallel_merge_level_minus2 del conjunto de parámetros de imagen (PPS) que designa el nivel de proceso paralelo del modo de fusión o el modo de salto en el proceso de predicción se determina que es 0, el proceso procede a la etapa S461.
[0364] En la etapa S461, la unidad 421 de inspección de elementos de sintaxis determina si el valor del elemento de sintaxis scaling_list_pred_mode_flag relacionado con el modo de predicción de la lista de escalamiento (scaling_list_data ()) es 0 ó no y si el valor del elemento de sintaxis scaling_list_pred_matrix_id_delta relacionado con la matriz de predicción de lista de escalamiento (scaling_list_data ()) es 0 ó 1, ó no.Cuando el resultado de determinación es true, es decir, cuando el valor del elemento de sintaxis scaling_list_pred_mode_flag relacionado con el modo de predicción de la lista de escalamiento (scaling_list_data ()) se determina que es 0, el valor del elemento de sintaxis scaling_list_pred_matrix_id_delta relacionado con la matriz de predicción de la lista de escalamiento (scaling_list_data ()) se determina que es 0 ó 1, el proceso procede a la etapa S462.
[0365] En la etapa S462, la unidad 421 de inspección de elementos de sintaxis determina si el valor del elemento de sintaxis slice type relacionado con el tipo de sección en el encabezado de sección (slice header()) es el valor que indica la sección I o no. Cuando el resultado de determinación es true, es decir, cuando el valor del elemento de sintaxis slice type relacionado con el tipo de sección en el encabezado de sección (slice_header ()) se determina que es el valor que indica la sección I, el proceso procede a la etapa S463.
[0366] En la etapa S463, la unidad 421 de inspección de elementos de sintaxis determina si el tipo de unidad NAL (nal_unit_type) para la VCL es IDR_W_LP o IDR_N_LP o no. Cuando el resultado de determinación es true, es decir, cuando el tipo de unidad NAL (nal_unit_type) para la VCL se determina que es IDR_W_LP o IDR_N_LP, el proceso procede a la etapa S464.
[0367] En la etapa S464, la unidad 421 de inspección de elementos de sintaxis determina que el elemento de sintaxis es normal. Cuando el proceso de la etapa S464 termina, el proceso de inspección de elementos de sintaxis termina, y el proceso regresa a la Figura 42.
[0368] Además, cuando el resultado de determinación se determina que es false en cualquiera de las etapas S451 a S463 de la Figura 43, el proceso procede a la etapa S465.
[0369] En la etapa S465, la unidad 421 de inspección de elementos de sintaxis determina que el elemento de sintaxis es anormal. Cuando el proceso de la etapa S465 termina, el proceso de inspección de elementos de sintaxis termina, y el proceso se regresa a la Figura 42. [0370’ Desde luego, el orden de procesamiento de las etapas respectivas descritas en lo anterior es arbitrario, y el orden de procesamiento de las etapas respectivas puede cambiarse, y procesos de una pluralidad de etapas pueden realizarse en paralelo.
[0371] Además, puesto que las condiciones (las restricciones de los valores de los elementos de sintaxis) de las inspecciones respectivas son diferentes entre si, todos de un grupo de elementos de sintaxis descritos anteriormente no necesita ser inspeccionados, y sólo algunos elementos de sintaxis pueden inspeccionarse. En otras palabras, entre las etapas descritas en lo anterior en el proceso de distorsión de elementos de sintaxis de la Figura 43, solamente los procesos de algunas etapas pueden realizarse. [0372j Además, una inspección de un elemento de sintaxis que no se ha incluido en el ejemplo anterior puede agregarse.
[0373] Al realizar los procesos respectivos como se describe en lo anterior, el dispositivo 400 de descodificación de imágenes puede detectar si el establecimiento del elemento de sintaxis es apropiado y realiza el proceso de descodificación de forma más segura o no.
[0374] Como se describe en lo anterior, la presente teenología puede aplicarse a todos los dispositivos de codificación de imágenes y los dispositivos de descodificación de imágenes gue codifican y descodifican imágenes.
[0375] Por ejemplo, la presente tecnología puede aplicarse a un dispositivo de codificación de imágenes y a un dispositivo de descodificación de imágenes utilizados cuando la información de imagen (corriente de bits) comprimida por la transformada ortogonal tal como una transformada de coseno discreto y compensación de movimiento como en MPEG y H.2 6x se recibe mediante un medio de red tal como una difusión satelital, una televisión por cable, la Internet o un teléfono móvil. Además, la presente tecnología puede aplicarse a un dispositivo de codificación de imágenes y a un dispositivo de descodificación de imágenes utilizados cuando se realiza procesamiento en un medio de almacenamiento tal como un disco óptico, un disco magnético, o una memoria flash. Además, la tecnología presente puede aplicarse incluso con un dispositivo de intra-predicción incluido en los dispositivos de codificación de imágenes, los dispositivos de descodificación de imágenes o similares.
[0376] <5. Quinta Modalidad> <Aplicación de la codificación de imágenes de varias vistas y la descodificación de imágenes de varias vistas> Una serie de procesos descritos en lo anterior pueden aplicarse a la codificación de imágenes de varias vistas y descodificación de imágenes de varias vistas. La Figura 44 ilustra un esquema de codificación de imágenes de varias vistas ejemplar.
[0377] Como se ilustra en la Figura 44, una imagen de varias vistas incluye imágenes de una pluralidad de vistas. Una pluralidad de vistas de la imagen de varias vistas incluye una vista base en la que la codificación y descodificación se realizan utilizando una imagen de su propia vista sin utilizar una imagen de otra vista y una vista no base en las cuales se realiza codificación y descodificación utilizando una imagen de otra vista. Como una vista no base, puede utilizarse una imagen de una vista base, y puede utilizarse una imagen de otra vista no base.
[0378] Cuando la imagen de varias vistas de la Figura 44 se codifica o descodifica, una imagen de cada vista se codifica o descodifica pero los métodos de acuerdo con la primera y cuarta modalidades pueden aplicarse a la codificación o descodificación de cada vista. Como resultado, es posible suprimir una reducción en la eficiencia de codificación de cada vista.
[0379] Además, los indicadores o parámetros utilizados en los métodos de acuerdo con la primera a cuarta modalidades pueden compartirse en la codificación y descodificación de cada vista. Como resultado, es posible suprimir la transmisión de información redundante y reducir la cantidad de información que se va a transmitir (una cantidad de codificación) (es decir, es posible suprimir una reducción en la eficiencia de codificación).
[0380] Más específicamente, por ejemplo, los elementos de sintaxis del conjunto de parámetros de secuencia, en el nivel de grado de perfil, el conjunto de parámetros de imagen, y el encabezado de sección pueden compartirse en la codificación y descodificación de cada vista
[0381] Desde luego, cualquier otra información necesaria también puede compartirse en la codificación y descodificación de cada vista. 0382 <Dispositivo de codificación de imágenes de varias vistas> La Figura 45 es un diagrama que ilustra un dispositivo de codificación de imágenes de varias vistas que realiza la codificación de imágenes de varias vistas. Como se ilustra en la Figura 45, el dispositivo 600 de codificación de imágenes de varias vistas incluye una unidad 601 de codificación, una unidad 602 de codificación, y un multiplexor 603.
[0383] La unidad 601 de codificación codifica una imagen de vista base, y genera una corriente de imagen de vista base codificada. La unidad 602 de codificación codifica una imagen de vista no base, y genera una corriente de imagen de vista no base codificada. El multiplexor 603 multiplexa la corriente de imagen de vista base codificada generada en la unidad 601 de codificación y la corriente de imagen de vista no base codificada generada en la unidad 602 de codificación, y genera una corriente de imágenes de varias vistas codificada.
[0384] El dispositivo 100 de codificación de imágenes (Figura 25) o el dispositivo 200 de codificación de imágenes (Figura 31) pueden aplicarse a la unidad 601 de codificación y la unidad 602 de codificación del dispositivo 600 de codificación de imágenes de varias vistas. En otras palabras, cuando el proceso de codificación se realiza basado en el perfil para la codificación de la imagen fija en la codificación para cada vista, es posible restringir el valor del elemento de sintaxis relacionado con el proceso inter-imagen, y es posible suprimir una reducción en la eficiencia de codificación de cada vista. Además, la unidad 601 de codificación y la unidad 602 de codificación pueden realizar la codificación utilizando el mismo indicador o el mismo parámetro, (por ejemplo, el elemento de sintaxis relacionado con el proceso de la ínter-imagen o similar) (es decir, piede compartir el indicador o parámetros), y de este modo es posible suprimir una reducción en la eficiencia de codificación.
[0385] <Dispositivo de descodificación de imágenes de varias vistas> La Figura 46 es un diagrama que ilustra un dispositivo de descodificación de imágenes de varias vistas que descodifica una imagen varias vistas. Como se ilustra en la Figura 46, un dispositivo 610 de descodificación de imágenes de varias vistas incluye un desmultiplexor 611,una unidad 612 de descodificación, y una unidad 613 de descodificación.
[0386] El desmultiplexor 611 desmultiplexa la corriente de imágenes de varias vistas codificada obtenida al multiplexar la corriente de imagen de vista base codificada y la corriente de imagen de vista no base codificada, y extrae la corriente de imagen de vista base codificada y la corriente de imagen de vista no base codificada.La unidad 612 de descodificación descodifica la corriente de imagen de vista base codificada extraída por el desmultiplexor 611, y obtiene la imagen de vista base. La unidad 613 de descodificación descodifica la corriente de imagen de vista no base codificada extraída por el desmultiplexor 611, y obtiene la imagen de vista no base.
[0387] El dispositivo 300 de descodificación de imágenes (Figura 34) o el dispositivo 400 de descodificación de imágenes (Figura 39) pueden aplicarse a la unidad 612 de descodificación y la unidad 613 de descodificación del dispositivo 610 de descodificación de imágenes de varias vistas.En otras palabras, cuando el proceso de codificación se realiza basado en el perfil para la codificación de la imagen fija en la codificación para cada vista, el elemento de sintaxis recibido relacionado con el proceso ínter-imagen puede analizarse en el estado en el cual se restringe el valor. Además, la unidad 612 de descodificación y la unidad 613 de descodificación pueden realizar la descodificación utilizando el mismo indicador o el mismo parámetro, (por ejemplo, el elemento de sintaxis relacionado con el proceso inter-imagen o similar) (es decir, puede compartir el indicador o parámetros), y de este modo es posible suprimir una reducción en la eficiencia de codificación.
[0388] <6. Sexta modalidad> <Aplicación a codificación de imágenes escalable y descodificación de imágenes escalable> Una serie de procesos descritos en lo anterior pueden aplicarse a la codificación de imágenes escalable y la descodificación de imágenes escalable (codificación escalable y descodificación escalable). La Figura 47 ilustra un esquema de codificación de imagen escalable ejemplar.
[0389] En la codificación de imágenes escalable (codificación escalable), se divide una imagen (jerarquiza) en una pluralidad de capas de modo que un parámetro predeterminado tenga una función de escalabilidad, y se descodifican datos de imagen para cada capa. La descodificación de imágenes escalable (descodificación escalable) es la descodificación que corresponde con las codificación de imágenes escalable.
[0390] Como se ilustra en la Figura 47, en la jerarquización de imagen, una imagen se divide en una pluralidad de imágenes (capas) basándose en un parámetro predeterminado que tiene una función de escalabilidad. En otras palabras, las imágenes jerarquizadas (imágenes escalables) incluyen imágenes de una pluralidad de capas que difieren en el valor del parámetro predeterminado entre si. La pluralidad de capas de las imágenes escalables incluyen una capa base en la cual se realizan la codificación y descodificación utilizando sólo una imagen de su propia capa sin utilizar una imagen de otra capa, y una capa no base (la cual también se denomina como "capa de mejora") en la cual se realiza codificación y descodificación utilizando una imagen de otra capa. Como la capa no base, una imagen de la capa base puede utilizarse,y una imagen de cualquier otra capa no base puede utilizarse.
[0391] Generalmente, la capa no base se configura con datos (datos diferenciales) de una imagen diferencial entre su propia imagen y una imagen de otra capa de modo que se reduce la redundancia. Por ejemplo, cuando una imagen se jerarquiza en dos capas, es decir, una capa base y una capa no base (la cual también se denomina como una "capa de mejora"), una imagen de una calidad inferior a una imagen original se obtiene cuando sólo datos de la capa base se utilizan, y una imagen original (es decir, una imagen de alta calidad) se obtiene cuando ambos datos de la capa base y datos de la capa no base se combinan.
[0392] Cuando una imagen se jerarquiza como se describe en lo anterior, imágenes de varias calidades pueden obtenerse dependiendo de la situación. Por ejemplo, para una terminal que tiene una capacidad de bajo procesamiento tal como un teléfono móvil, y por la información de compresión de imagen de sólo la capa base se transmite, y una imagen en movimiento de baja resolución es espacial y temporal o una calidad baja se reproduce, y para una terminal que tiene una alta capacidad de procesamiento tal como una televisión o una computadora personal, la información de compresión de imagen de la capa de mejora asi como la capa base se transmite, y una imagen en movimiento de altas resoluciones espacial y temporal o una alta calidad se reproduce.
En otras palabras, sin realizar el proceso de transcodificación, la información de compresión de imagen de acuerdo con una capacidad de una terminal o una red puede transmitirse desde un servidor.
[0393] Cuando una imagen escalable se codifica o descodifica como en el ejemplo de la Figura 47, una imagen de cada capa se codifica o descodifica,pero losmétodos de acuerdo con la primera a cuarta modalidades pueden aplicarse a la codificación o descodificación de cada capa.Como resultado, es posible suprimir una reducción en la eficiencia de codificación de cada capa.
[0394] Además, en la codificación y descodificación de cada capa, los indicadores o parámetros utilizados en los métodos de acuerdo con la primera y cuarta modalidades pueden compartirse. Como resultado, es posible suprimir la transmisión de información redundante y reducir la cantidad de información que se va a transmitir (una cantidad de codificación) (es decir, es posible suprimir una reducción en la eficiencia de codificación).
[0395] Más específicamente, por ejemplo, el elemento de sintaxis del conjunto de parámetros de secuencia,el nivel y grado de perfil, el conjunto de parámetros de imagen, y el encabezado de sección pueden compartirse en la codificación y descodificación de cada capa.
[0396] Desde luego, cualquier otra información necesaria también puede compartirse en la codificación y descodificación de cada capa.
[0397] <Parámetro escalable> En la codificación de imágenes escalable y la descodificación de imágenes escalable (la codificación escalable y descodificación escalable), un parámetro que tiene una función de escalabilidad es arbitrario. Por ejemplo, una resolución espacial ilustrada en la Figura 48 puede utilizarse como el parámetro (escalabilidad espacial). En el caso de la escalabilidad espacial, capas respectivas tienen diferentes resoluciones. En otras palabras, cada imagen se jerarquiza en dos capas, es decir, una capa base de una resolución espacialmente inferior a aquella de una imagen original y una capa de mejora que se combina con una imagen e la capa base para obtener una imagen original (una resolución espacial original) como se ilustra en la Figura 48. Desde luego, el número de capas es un ejemplo, y cada imagen puede jerarquizarse en un número arbitrario de capas.
[0398] Como otro parámetro que tiene tal escalabilidad, por ejemplo, existe una resolución temporal como se ilustra en la Figura 49 (escalabilidad temporal). En el caso de la escalabilidad temporal, capas respectivas tienen diferentes tasas de tramas. En otras palabras, en este caso, cada imagen se jerarquiza en capas que tienen diferentes tasas de tramas, una imagen en movimiento de una alta tasa de tramas puede obtenerse al combinar una capa de una alta tasa de tramas con una capa de una baja tasa de tramas, y una imagen en movimiento original (una tasa de tramas original) puede obtenerse al combinar todas las tapas como se ilustra en la Figura 49. El número de capas es un ejemplo, y cada imagen puede jerarquizarse en un número arbitrario de capas.
[0399] Además,con otro parámetro que tiene tal escalabilidad, por ejemplo, existe una relación de señal al ruido (SNR) (escalabilidad de SNR). En el caso de la escalabilidad de SNR, capas respectivas tienen diferentes relaciones de SN. En otras palabras, en este caso, cada imagen se jerarquiza en dos capas, es decir, una capa base de una SNR inferior a la de una imagen original y una capa de mejora que se combina con una imagen de la capa base para obtener una imagen original (un SNR original) como se ilustra en la Figura 50. En otras palabras, para la información de compresión de la imagen de capa base, la información relacionada con una imagen de una PSNR baja se transmite, y una imagen de PSNR alta puede reconstruirse al combinar la información con la información de compresión de imagen de capa de mejora. Desde luego, el número de capas es un ejemplo, y cada imagen puede jerarquizarse en un número arbitrario de capas.
[0400] Un parámetro distinto a los ejemplos antes descritos puede aplicarse a un parámetro que tiene escalabilidad. Por ejemplo, existe escalabilidad de profundidad de bit en la cual la capa base incluye una imagen de 8 bits, y una imagen de 10 bits puede obtenerse al agregar la capa de mejora a la capa base.
[0401] Además, existe escalabilidad cromática en la cual la capa base incluye una imagen de componente de un formato de 4:2:0, y una imagen de componente de un formato de 4:2:2 puede obtenerse al agregar la capa de mejora a la capa base.
[0402] <Dispositivo de codificación de imágenes escalable> La Figura 51 es un diagrama que ilustra un dispositivo de codificación de imágenes escalable que realiza la codificación de imágenes escalables. Como se ilustra en la Figura 51, un dispositivo 620 de codificación de imágenes escalable incluye una unidad 621 de codificación, una unidad 622 de codificación, y un multiplexor 623.
[0403] La unidad 621 de codificación codifica una imagen de capa base, y genera una corriente de imagen de capa base codificada. La unidad 622 de codificación codifica una imagen de capa no base, y genera una corriente de imagen de capa no base codificada. El multiplexor 623 multiplexa la corriente de imagen de capa base codificada generada en la unidad 621 de codificación y la corriente de imagen de capa no base codificada generada en la unidad 622 de codificación, y genera una corriente de imágenes escalable codificada.
[0404] El dispositivo 100 de codificación de imágenes (Figura 25) o el dispositivo 200 de codificación de imágenes (Figura 31) pueden aplicarse a la unidad 621 de codificación y la unidad 622 de codificación del dispositivo 620 de codificación de imágenes escalable. En otras palabras, cuando el proceso de codificación se realiza basado en el perfil para la codificación de la imagen fija en la codificación de cada capa, es posible restringir el valor del elemento de sintaxis relacionado con el proceso de inter-imagen, y es posible suprimir una reducción en la eficiencia de codificación de cada capa.Además, por ejemplo, la unidad 621 de codificación y la unidad 622 de codificación pueden controlar el proceso de filtro de la intra-predicción utilizando el mismo indicador o elmismo parámetro, (por ejemplo, el elemento de sintaxis relacionado con el proceso de la inter-imagen o similar) (es decir, puede compartir el indicador o parámetros), y de este modo es posible suprimir una reducción en la eficiencia de codificación.
[0405] <Dispositivo de descodificación de imágenes escalable> La Figura 52 es un diagrama que ilustra un dispositivo de descodificación de imágenes escaladle que realiza la descodificación de imágenes escalable. Como se ilustra en la Figura 52, un dispositivo 630 de descodificación de imágenes escalable incluye un desmultiplexor 631, una unidad 632 de descodificación, y una unidad 633 de descodificación.
[0406] El desmultiplexor 631 desmultiplexa la corriente de imágenes escalable codificada obtenida al multiplexar la corriente de imagen de capa base codificada y la corriente de imagen de vista no base codificada, y extrae la corriente de imagen de capa base codificada y la corriente de imagen de capa no base codificada.La unidad 632 de descodificación descodifica la corriente de imagen de capa base codificada extraida por el desmultiplexor 631, y obtiene la imagen de capa base. La unidad 633 de descodificación descodifica la corriente de imagen de capa no base codificada extraída por el desmultiplexor 631, y obtiene la imagen de capa no base.
[0407] El dispositivo 300 de descodificación de imágenes (Figura 34) o el dispositivo 400 de descodificación de imágenes (Figura 39) pueden aplicarse a la unidad 632 de descodificación y la unidad 633 de descodificación del dispositivo 630 de descodificación de imágenes escalable.En otras palabras, cuando el proceso de codificación se realiza basado en el perfil para la codificación de la imagen fija en la descodificación de cada capa, es posible analizar los elementos de sintaxis recibidos relacionados con el proceso de inter-imagen, y el estado en el que el valor se restringe, y es posible suprimir una reducción en la eficiencia de codificación de cada capa.Además, la unidad 612 de descodificación y la unidad 613 de descodificación pueden realizar la descodificación utilizando el mismo indicador o el mismo parámetro, (por ejemplo, los elementos de sintaxis relacionados con el proceso inter-imagen o similar) (es decir, puede compartir el indicador o parámetros), y de este modo es posible suprimir una reducción en la eficiencia de codificación.
[0408] Por ejemplo, la presente teenología puede aplicarse a un dispositivo de codificación de imágenes y a un dispositivo de descodificación de imágenes utilizados cuando la información de imagen (corriente de bits) comprimida por la transformada ortogonal tal como una transformada de coseno discreto y compensación de movimiento como en MPEG y H.26x se recibe mediante un medio de red tal como una difusión satelital, una televisión por cable, la Internet o un teléfono móvil. Además, la presente tecnología puede aplicarse a un dispositivo de codificación de imágenes y a un dispositivo de descodificación de imágenes utilizados cuando se realiza procesamiento en un medio de almacenamiento tal como un disco óptico, un disco magnético, o una memoria flash.Además, la presente teenología puede aplicarse incluso a un dispositivo de cuantificación o un dispositivo de cuantificación inversa incluido en el dispositivo de codificación de imágenes en los dispositivos de descodificación de imágenes o similares.
[0409] <7. Séptima modalidad> <Computadora> Una serie de procesos descritos en lo anterior puede ejecutarse por hardware o software. Cuando la serie de procesos se ejecuta por software, se instala un programa que configura el software en una computadora. Aquí, ejemplos de la computadora incluyen una computadora incorporada en el hardware dedicado y una computadora personal de propósito general que incluye varios programas instalados en la misma y es capaz de ejecutar varios tipos de funciones.
[0410] La Figura 53 es un diagrama de bloque que ilustra una configuración de hardware ejemplar de una computadora que ejecuta la serie antes descrita de procesos por un programa.
[0411] En una computadora 800 ilustrada en la Figura 53, una unidad 801 de procesamiento central (CPU),una memoria 802 de sólo lectura (ROM), y una memoria 803 de acceso aleatorio (RAM) se conectan entre si mediante un bus 804.
[0412] Una interfaz 810 de entrada/salida (E/S) también se conecta al bus 804. Una unidad 811 de entrada, una unidad 812 de salida, una unidad 813 de almacenamiento, una unidad 814 de comunicación, y una unidad 815 se conectan a la interfaz 810 de entrada/salida.
[0413] Por ejemplo, la unidad 811 de entrada incluye un teclado, un ratón, un micrófono, un panel táctil, una terminal de entrada y similares. Por ejemplo, la unidad 812 de salida incluye una pantalla, un altavoz, una terminal de salida, y similares. Por ejemplo, la unidad 813 de almacenamiento incluye, un disco duro, un disco RAM, una memoria no volátil y similares. Por ejemplo, la unidad 814 de comunicación incluye un interfaz de red. La unidad 815 impulsa un medio 821 removible tal como un disco magnético, un disco óptico, un disco magneto-óptico, o una memoria de semiconductor.
[0414] En la computadora que tiene la configuración anterior, la CPU 801 ejecuta la serie de procesos antes descrita, por ejemplo, al cargar el programa almacenado en la unidad 813 de almacenamiento en la RAM 803 a través de la interfaz 810 de entrada/salida y el bus 804 y ejecuta el programa. La RAM 803 también almacena de manera adecuada, por ejemplo, datos necesarios cuando la CPU 801 ejecuta varios tipos de procesos.
[0415] Por ejemplo, el programa ejecutado por la computadora (la CPU 801), puede grabarse en el medio 821 removible como un medio de paquete o similares y aplicarse. Además, el programa puede proporcionarse a través de un medio de transmisión alámbrica o inalámbrica tal como una red de área local (LAN), la Internet, o difusión satelital digital.
[0416] En la computadora, el medio 821 removible se monta en la unidad 815,y después el programa puede instalarse en la unidad 813 de almacenamiento a través de la interfaz 810 de entrada/salida.Además, el programa puede recibirse por la unidad 814 de comunicación mediante un medio de transmisión alámbrica o inalámbrica e después instalarse en la unidad 813 de almacenamiento. Además, el programa puede instalarse en la ROM 802 o la unidad 813 de almacenamiento con anticipación.
[0417] Además, el programa puede ser un programa en el cual los procesos se realizan de manera cronológica en el orden descrito en la presente especificación o pueden ser un programa en el cual los procesos se realizan en paralelo o en tiempos necesarios tales como tiempos solicitados.
[0418] Además, en la presente especificación, etapas que describen un programa grabado en un medio de grabación incluyen no sólo procesos realizados cronológicamente de acuerdo con un orden escrito sino también procesos que no se procesan necesaria y cronológicamente pero se realizan en paralelo o de manera individual.
[0419] Además, en la presente descripción, un sistema significa un conjunto de dos o más elementos de configuración (dispositivos, módulos, (partes), o similares) sin importar si todos los elementos de configuración se disponen en un solo alojamiento o no. De esta manera, una pluralidad de dispositivos que se acomodan en alojamientos separados y se conectan mediante una red y un sólo dispositivo en el cual se acomoda una pluralidad de módulos en un sólo alojamiento son sistemas.
[0420] Además, una configuración descrita como dispositivo (o unidad de procesamiento) puede dividirse en una pluralidad de dispositivos (o unidades de procesamiento). Inversamente, una configuración descrita como pluralidad de dispositivos (o unidades de procesamiento)puede integrarse en un dispositivo (o unidad de procesamiento). Además, una configuración distinta a la configuración antes descrita puede agregarse a una configuración de cada dispositivo (o cada unidad de procesamiento) .Además, cuando una configuración o una operación en todo un sistema sustancialmente es la misma, una parte de una configuración de un cierto dispositivo (o unidad de procesamiento) puede incluirse en una configuración de otro dispositivo (u otra unidad de procesamiento).
[0421] Las modalidades preferidas de la presente descripción se han descrito en lo anterior a detalle con referencia a los dibujos anexos, mientras que el alcance téenico de la presente descripción no se limita a los ejemplos anteriores. Una persona con experiencia en la técnica de la presente descripción puede encontrar varias alteraciones y modificaciones dentro del alcance de las reivindicaciones anexas, y debe entenderse que naturalmente estarán bajo el alcance técnico de la presente descripción.
[0422] Por ejemplo, la presente tecnología puede tener una configuración de informática en la nube en la cual una pluralidad de dispositivos comparten y procesan una función en conjunto mediante una red.
[0423] Además, las etapas descritas en los diagramas de flujo anteriores pueden ejecutarse por un sólo dispositivo o pueden convertirse y ejecutarse por una pluralidad de dispositivos.
[0424] Además, cuando una pluralidad de procesos se incluyen en una única etapa, la pluralidad de procesos incluidos en la etapa única pueden ejecutarse por un solo dispositivo o pueden compartirse y ejecutarse por una pluralidad de dispositivos.
[0425] Los dispositivos de codificación de imágenes y los dispositivo de descodificación de imágenes de acuerdo con las modalidades anteriores pueden aplicarse a difusión satelital, difusión por cable, tal como televisión de cable, transmisores o receptores en la distribución de Internet o distribución a terminales por comunicaciones celulares, dispositivos de grabación que graban imágenes en un medio tal como un disco óptico, un disco magnético, o una memoria flash, o varios dispositivos electrónicos tales como dispositivos de reproducción que reproducen imágenes de un medio de almacenamiento. Cuatro ejemplos de aplicación se describirán a continuación.
[0426] <8. Ejemplos de Aplicación> <Primer ejemplo de aplicación:receptor de televisión> La Figura 54 ilustra una configuración esquemática ejemplar de un dispositivo de televisión al cual se aplican la modalidad anterior.Un dispositivo 900 de televisión incluye una antena 901, un sintonizador 902, un desmultiplexor 903, un descodificador 904, una unidad 905 de procesamiento de señales de video, una unidad 906 de visualización, una unidad 907 de procesamiento de señales de audio, un altavoz 908, una interfaz 909 externa, una unidad 910 de control, una interfaz 911 de usuario, y un bus 912.
[0427] El sintonizador 902 extrae una señal de un canal deseado de una señal de difusión recibida a través de la antena 901, y desmodula una señal extraída.Además,el sintonizador 902 produce una corriente de bits codificada obtenida por la desmodulación en el desmultiplexor 903. En otras palabras, el sintonizador 902 recibe una corriente codificada que incluye una imagen codificada, y sirve como unidad de transmisión en el dispositivo 900 de televisión.
[0428] El desmultiplexor 903 desmultiplexa una corriente de video y una corriente de audio de un programa de un objetivo de visualización desde una corriente de bits codificada, y produce cada corriente desmiltiplexada al descodificador 904.Además, el desmultiplexor 903 extrae datos auxiliares tales como una guía de programación electrónica (EPG) de la corriente de bits codificada, y suministra los datos extraídos a la unidad 910 de control. Además, cuando la corriente de bits codificada se ha aleatorizado, el desmultiplexor 903 puede realizar la desaleatorización.
[0429] El descodificador 904 descodifica la corriente de video y la entrada de corriente de audio ingresada desde el desmultiplexor 903. El descodificador 904 produce los datos de video generados por el proceso de descodificación en la unidad 905 de procesamiento de señal de video.Además, el descodificador 904 produce datos de audio generados por el proceso de descodificación en la unidad 907 de procesamiento de señales de audio.
[0430] La unidad 905 de procesamiento de señales de video reproduce los datos de video ingresados desde el descodificador 904, y provoca que un video se visualice en la unidad 906 de visualización. Además, la unidad 905 de procesamiento de señales de video puede provocar que una pantalla de aplicación suministrada mediante una red se despliegue en la unidad 906 de visualización. La unidad 905 de procesamiento de señales de video puede realizar un proceso adicional tal como un proceso de reducción de ruido en los datos de video de acuerdo con un ajuste. La unidad 905 de procesamiento de señales de video puede generar una imagen de un interfaz de usuario gráfico (GUI) tal como un menú, un botón o un cursor, y provocar que la imagen generada se superponga en una imagen producida.
[0431] La unidad 906 de visualización se acciona por una señal de excitación suministrada desde la unidad 905 de procesamiento de señales de video, y despliega un video o una imagen en un plano de video de un dispositivo de visualización (por ejemplo, una pantalla de cristal liquido (LCD), una pantalla de plasma, o una pantalla de electroluminiscencia orgánica (OELD) (una pantalla de EL orgánica)).
[0432] La unidad 907 de procesamiento de señales de audio realiza un proceso de reproducción tal como una conversión D/A y la amplificación en los datos de audio ingresados desde el descodificador 904, y produce un sonido a través del altavoz 908. La unidad 907 de procesamiento de señales de audio puede realizar un proceso adicional tal como un proceso de reducción de ruido en los datos de audio.
[0433] La interfaz 909 externa es una interfaz para conectar el dispositivo 900 de televisión con un dispositivo externo o una red. Por ejemplo, la corriente de video o la corriente de audio recibidas a través de la interfaz 909 externa pueden descodificarse por el descodificador 904. En otras palabras, la interfaz 909 externa también experimenta una unidad de transmisión del dispositivo 900 de televisión que recibe una corriente codificada que incluye una imagen codificada.
[0434] La unidad 910 de control incluye un procesador tal como un CPU y una memoria tal como una RAM o una ROM. Por ejemplo, la memoria almacena, un programa ejecutado por la CPU, datos de programas, datos EPG, y datos adquiridos mediante una red. Por ejemplo, el programa almacenado en la memoria se lee y se ejecuta por la CPU cuando el dispositivo 900 de televisión se activa. La CPU ejecuta el programa, y controla la operación del dispositivo 900 de televisión, por ejemplo, de acuerdo con una señal de operación ingresada desde la interfaz 911 de usuario.
[0435] La interfaz 911 de usuario se conecta con la unidad 910 de control. Por ejemplo, la interfaz 911 de usuario incluye un botón y un conmutador utilizado cuando el usuario opera el dispositivo 900 de televisión, y una unidad de recepción que recibe una señal de control remoto. La interfaz 911 de usuario detecta la operación del usuario a través de los componentes, genera una señal de operación, y produce la señal de operación generada en la unidad 910 de control.
[0436] El bus 912 conecta el sintonizador 902, el desmultiplexor 903, el descodificador 904, la unidad 905 de procesamiento de señales de video, la unidad 907 de procesamiento de señales de audio, la interfaz 909 externa, y la unidad 910 de control entre si.
[0437] En el dispositivo 900 de televisión que tiene la configuración anterior, el descodificador 904 tiene la función del dispositivo 300 de descodificación de imágenes (Figura 34) o el dispositivo 400 de descodificación de imágenes (Figura 39) de acuerdo con las modalidades descritas en lo anterior. De este modo, cuando una imagen se descodifica en el dispositivo 900 de televisión, es posible suprimir una reducción en la eficiencia de codificación.
[0438] <Segundo ejemplo de aplicación: teléfono móvil> La Figura 55 ilustra una configuración esquemática ejemplar de un teléfono móvil al cual se aplican las modalidades anteriores. Un teléfono 920 móvil incluye una antena 921, una unidad 922 de comunicación, un códec 923 de audio, un altavoz 924, un micrófono 925, una unidad 926 de cámara, una unidad 927 de procesamiento de imágenes, una unidad 928 de multiplexión/separación, una unidad 929 de grabación/reproducción, una unidad 930 de visualización, una unidad 931 de control, una unidad 932 de operación, y un bus 933.
[0439] La antena 921 se conecta a la unidad 922 de comunicación. El altavoz 924 y el micrófono 925 se conectan al códec 923 de audio. La unidad 932 de operación se conecta a la unidad 931 de control. El bus 933 conecta a la unidad 922 de comunicación, el códec 923 de audio, la unidad 926 de cámara, la unidad 927 de procesamiento de imágenes, la unidad 928 de multiplexión/desmultiplexión, la unidad 929 de grabación/reproducción, la unidad 930 de visualización, y la unidad 931 de control entre si.
[0440] El teléfono 920 móvil realiza operaciones tales como la transmisión y recepción de una señal de audio, transmisión y recepción de un correo electrónico o datos de imagen, captura de imágenes, y grabación de datos en varios modos de operación tales como un modo de llamada de voz, modo de comunicación de datos, un modo de captura, y un modo de video teléfono.
[0441] En el modo de llamada por voz, la señal de audio análoga generada por el micrófono 925 se suministra al códec 923 de audio. El códec 923 de audio convierte la señal de audio análoga en datos de audio, y realiza conversión A/D y compresión en los datos de audio convertidos. Entonces, el códec 923 de audio produce los datos de audio comprimidos de la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula los datos de audio, y genera una señal de trasmisión. Después, la unidad 922 de comunicación transmite la señal de transmisión generada a una estación base (no ilustrada) a través de la antena 921. Además, la unidad 922 de comunicación amplifica una señal inalámbrica recibida a través de la antena 921, realiza la transformada de frecuencia, y adquiere una señal de recepción.Después, la unidad 922 de comunicación desmodula y descodifica la señal de recepción, genera datos de audio, y produce los datos de audio generados en el códec 923 de audio. El códec 923 de audio descomprime los datos de audio, realiza la conversión de D/A, y genera una señal de audio análoga. Después, el códec 923 de audio suministra la señal de audio generada al altavoz 924 de modo que se produzca un sonido.
[0442] Además, en el modo de comunicación de datos, por ejemplo, la unidad 931 de control genera datos de texto que configuran en un correo electrónico de acuerdo con la operación del usuario a través de la unidad 932 de operación. La unidad 931 de control provoca que se visualice un texto en la unidad 930 de visualización. La unidad 931 de control genera datos de correo electrónico de acuerdo con una instrucción de transmisión dada del usuario a través de la unidad 932 de operación, y produce los datos de correo electrónico generados en la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula los datos de correo electrónico, y genera una señal de transmisión. Después, la unidad 922 de comunicación transmite la señal de transmisión generada a la estación base (no ilustrada) a través de la antena 921.Además, la unidad 922 de comunicación amplifica una señal inalámbrica a través de la antena 921, realiza transformada de frecuencia, y adquiere una señal de recepción. Entonces, la unidad 922 de comunicación desmodula y descodifica la señal de recepción, restaura los datos de correo electrónico, y produce los datos de correo electrónico restaurados en la unidad 931 de control. La unidad 931 de control provoca que el contenido del correo electrónico se despliegue en la unidad 930 de visualización, y almacena los datos de correo electrónico en un medio de almacenamiento de la unidad 929 de grabación/reproducción.
[0443] La unidad 929 de grabación/reproducción incluye un medio de almacenamiento legible/grabable arbitrario. Por ejemplo, el medio de almacenamiento puede ser un medio de almacenamiento integrado tal como una memoria RAM o una memoria flash o un medio de almacenamiento removible tal como un disco duro, un disco magnético, un disco magneto-óptico, un disco óptico, una memoria de bus en serie universal (USB) o una tarjeta de memoria.
[0444] En el modo de disparo, por ejemplo, la unidad 926 de cámara forma la imagen de un objeto, genera datos de imagen, y produce los datos de imagen generados en la unidad 927 de procesamiento de imágenes. La unidad 927 de procesamiento de imagen codifica los datos de imagen ingresados desde la unidad 926 de cámara, y almacenan la corriente codificada en un medio de almacenamiento de la unidad 929 de grabación/reproducción.
[0445] En el modo de video teléfono, por ejemplo, la unidad 928 de multiplexión/separación multiplexa la corriente de video codificada por la unidad 927 de procesamiento de imágenes y la corriente de audio ingresada desde el códec 923 de audio, y produce la corriente multiplexada a la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula la corriente, y genera una señal de transmisión. Después, la unidad 922 de comunicación transmite la señal de transmisión generada a una estación base (no ilustrada) a través de la antena 921. Además, la unidad 922 de comunicación amplifica una señal inalámbrica recibida a través de la antena 921, realiza la transformada de frecuencia, y adquiere una señal de recepción. La señal de transmisión y la señal de recepción pueden incluir una corriente de bits codificada. Entonces, la unidad 922 de comunicación desmodula y descodifica la señal de recepción, y restablece una corriente, y produce la corriente reestablecida a la unidad 928 de multiplexión/separación. La unidad 928 de multiplexión/separación separa una corriente de video y una corriente de audio desde la corriente de entrada, y produce la corriente de video y la corriente de audio a la unidad 927 de procesamiento de imágenes y el códec 923 de audio, respectivamente. La unidad 927 de procesamiento de imágenes descodifica la corriente de video y genera datos de video. Los datos de video se suministran a la unidad 930 de visualización, y una serie de imágenes se despliegan por la unidad 930 de visualización. El códec 923 de audio descomprime la corriente de audio, y realiza la conversión de D/A, y genera una señal de audio análoga. Después, el códec 923 de audio suministra la señal de audio generada al altavoz 924 de modo que se produzca un sonido.
[0446] En el teléfono 920 móvil que tiene la configuración anterior, la unidad 927 de procesamiento de imágenes tiene la función del dispositivo 100 de codificación de imágenes (Figura 25) y el dispositivo 200 de descodificación de imágenes (Figura 31) el dispositivo 300 de descodificación de imágenes (Figura 34), por el dispositivo 400 de descodificación de imágenes (Figura 39) de acuerdo con la modalidad anterior. De este modo, cuando el teléfono 920 móvil codifica y descodifica una imagen, es posible suprimir una reducción en la eficiencia de codificación. (0447] <Tercer ejemplo de aplicación: dispositivo de grabación/reproducción> La Figura 56 ilustra una configuración esquemática ejemplar de un dispositivo de grabación/reproducción al cual se aplica la modalidad anterior. Por ejemplo, un dispositivo 940 de grabación/reproducción codifica datos de audio y datos de video de un programa de difusión recibido, y graba los datos codificados en un medio de grabación. Por ejemplo, el dispositivo 940 de grabación/reproducción puede codificar datos de audio y datos de video adquiridos de otro dispositivo y grabar los datos codificados en un medio de grabación. Por ejemplo, el dispositivo 940 de grabación/reproducción reproduce los datos grabados en un medio de grabación a través de un monitor y un altavoz de acuerdo con la instrucción de usuario.En este tiempo, el dispositivo 940 de grabación/reproducción descodifica los datos de audio y los datos de video.
[0448] El dispositivo 940 de grabación/reproducción incluye un sintonizador 941, una interfaz 942 externa, un codificador 943, una unidad 944 de disco duro (HDD), una unidad 945 de disco, un selector 946, un descodificador 947, una visualización 948 en pantalla (OSD), una unidad 949 de control, y una interfaz 950 de usuario.
[0449] El sintonizador 941 extrae una señal de un canal deseado desde una señal de difusión recibida a través de una antena (no ilustrada), y desmodula la señal extraída. Entonces, el sintonizador 941 produce una corriente de bits codificada obtenida por la desmodulación al selector 946.En otras palabras, el sintonizador 941 lleva a cabo una unidad de transmisión en el dispositivo 940 de grabación/reproducción.
[0450] La interfaz 942 externa es una interfaz para conectar el dispositivo 940 de grabación/reproducción con un dispositivo externo o una red. Por ejemplo, la interfaz 942 externa puede ser una interfaz de IEEE1394, una interfaz de red, una interfaz de USB, o una interfaz de memoria flash. Por ejemplo, los datos de video y datos de audio recibidos mediante la interfaz 942 externa se ingresan en el codificador 943.En otras palabras, la interfaz 942 externa lleva a cabo una unidad de transmisión en el dispositivo 940 de grabación/reproducción.
[0451] Cuando los datos de video y los datos de audio ingresados desde la interfaz 942 externa no se codifican, el codificador 943 codifica los datos de video y los datos de audio. Entonces, el codificador 943 produce una corriente de bits codificada en el selector 946.
[0452] El HDD 944 graba una corrientes de bits codificada en la cual los datos de contenido tales como video o sonido se comprimen, diversos tipos de programas, y otros datos en un disco duro interno. El HDD 944 lee los datos del disco duro cuando se reproduce un video o sonido.
[0453] La unidad 945 de disco graba o lee los datos en o de un medio de grabación montado.Por ejemplo, el medio de grabación montado en la unidad 945 de disco puede ser un disco DVD (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW, o similares) un disco Blu-ray (marca comercial registrada), o similares.
[0454] Cuando se graban un video o un audio, el selector 946 selecciona una corriente de bits codificada ingresada desde el sintonizador 941 o el codificador 943, y produce la corriente de bits codificada seleccionada a la HDD 944 o a la unidad 945 de disco. Además, cuando se reproduce un video o sonido, el selector 946 produce una corriente de bits codificada ingresada desde el HDD 944 o el controlador 945 de disco al descodificador 947.
[0455] El descodificador 947 descodifica la corriente de bits codificada, para generar datos de video y datos de audio.Después, el descodificador 947 produce los datos de video generados en la OSD 948. El descodificador 947 produce los datos de audio generados a un altavoz externo.
[0456] El OSD 948 reproduce los datos de video ingresados desde el descodificador 947, y visualiza un video. Por ejemplo, el OSD 948 puede provocar que una imagen de una GUI tal como un menú, un botón o un cursor se superponga en un video desplegado.
[0457] La unidad 949 de control incluye un procesador tal como un CPU y una memoria tal como una RAM o una ROM.La memoria almacena un programa ejecutado por la CPU, datos de programación, y similares. Por ejemplo, el programa almacenado en la memoria se lee y se ejecuta por la CPU cuando el dispositivo 940 de grabación/reproducción se activa. La CPU ejecuta el programa, y controla una operación del dispositivo 940 de grabación/reproducción, por ejemplo, de acuerdo con una señal de operación ingresada desde la interfaz 950 de usuario.
[0458] La interfaz 950 de usuario se conecta con la unidad 949 de control. Por ejemplo, la interfaz 950 de usuario incluye un botón y un conmutador utilizado cuando el usuario opera el dispositivo 940 de grabación/reproducción y una unidad de recepción que recibe una señal de control remoto.La interfaz 950 de usuario detecta la operación del usuario a través de los componentes, genera una señal de operación, y produce la señal de operación generada en la unidad 949 de control.
[0459] En el dispositivo 940 de grabación/reproducción que tiene la configuración anterior, el codificador 943 tiene la función del dispositivo 100 de codificación de imágenes (Figura 25) o el dispositivo 200 de codificación de imágenes (Figura 31) de acuerdo con la modalidad anterior.El descodificador 947 tiene la función del dispositivo 300 de descodificación de imágenes (Figura 34) o el dispositivo 400 de descodificación de imágenes (Figura 39) de acuerdo con la modalidad anterior. De este modo, cuando el dispositivo 940 de grabación/reproducción codifica y descodifica una imagen, es posible suprimir una reducción en la eficiencia de codificación.
[0460] <Cuarto ejemplo de aplicación: dispositivo de formación de imágenes> La Figura 57 ilustra una configuración esquemática ejemplar de un dispositivo de formación de imágenes al cual se aplican la modalidad anterior. Un dispositivo 960 de formación de imágenes forma la imagen de un objeto, genera una imagen, codifica los datos de imagen, y graba los datos de imagen en un medio de grabación.
[0461] El dispositivo 960 de captura de imagen incluye un bloque 961 óptico, una unidad 962 de captura de imagen,una unidad 963 de procesamiento de señales, una unidad 964 de procesamiento de imágenes, una unidad 965 de visualización, una interfaz 966 externa, una memoria 967, la unidad 968 de medios, un OSD 969, una unidad 970 de control, una interfaz 971 de usuario y un bus 972.
[0462] El bloque 961 óptico se conecta a la unidad 962 de captura de imágenes.La unidad 962 de captura de imagen se conecta a la unidad 963 de procesamiento de señal. La unidad 965 de visualización se conecta a la unidad 964 de procesamiento de imágenes. La interfaz 971 de usuario se conecta a la unidad 970 de control. El bus 972 se conecta la unidad 964 de procesamiento de imágenes, la interfaz 966 externa, la memoria 967, la unidad 968 de medios, la OSD 969, y la unidad 970 de control entre si.
[0463] El bloque 961 óptico incluye un lente de enfoque, un mecanismo de diafragma, y similares. El bloque 961 óptico forma una imagen óptica de un objeto en un plano de formación de imágenes de la unidad 962 de captura de imágenes. La unidad 962 de captura de imagen incluye un sensor de imagen de dispositivo acoplado de carga (CCD) o un sensor de imagen semiconductor de óxido metálico complementario, (CMOS) o similar, y convierte la imagen óptica formada en el plano de captura de imagen en una señal de imagen que sirve como una señal eléctrica por medio de conversión fotoeléctrica. Entonces, la unidad 962 de captura de imagen produce la señal de imagen a la unidad 963 de procesamiento de señal.
[0464] La unidad 963 de procesamiento de señales realiza varios tipos de procesos de señal de cámara tales como corrección de knee, corrección gamma, y corrección de color en la señal de imagen ingresada desde la unidad 962 de captura de imágenes. La unidad 963 de procesamiento de señales produce los datos de imagen, que se han sometido a los procesos de señal de cámara en la unidad 964 de procesamiento de imágenes.
[0465] La unidad 964 de procesamiento de imágenes codifica los datos de imagen ingresados desde la unidad 963 de procesamiento de señales y genera datos codificados. Después, la unidad 964 de procesamiento de imágenes produce los datos codificados generados en la interfaz 966 externa o la unidad 968 de medios. Además, la unidad 964 de procesamiento de imágenes descodifica los datos codificados ingresados desde la interfaz 966 externa o la unidad 968 de medios, y genera datos de imagen. Después, la unidad 964 de procesamiento de imágenes produce los datos de imagen generados en la unidad 965 de visualización.La unidad 964 de procesamiento de imágenes puede producir los datos de imagen ingresados desde la unidad 963 de procesamiento de señales en la unidad 965 de visualización demanera que se visualice una imagen. La unidad 964 de procesamiento de imágenes puede provocar que datos de visualización adquiridos del OSD 969 se superpongan en la imagen producida en la unidad 965 de visualización.
[0466] El OSD 969genera una imagen de una GUI tal como un menú, un botón o un cursor, y produce la imagen generada en la unidad 964 de procesamiento de imágenes.
[0467] Por ejemplo, la interfaz 966 externa se configura como terminal E/S de USB.Por ejemplo, la interfaz 966 externa conecta el dispositivo 960 de captura de imagen con una impresora cuando se imprime una imagen.Además,una unidad se conecta a la interfaz 966 externa cuando es necesario. Por ejemplo, un medio removible tal como un disco magnético o un disco óptico puede montarse en el controlador, y un programa leído desde el medio removible puede instalarse en el dispositivo 960 de captura de imagen. Además, la interfaz 966 externa puede configurarse como interfaz de red conectada a una red tal como una LAN o la Internet. En otras palabras, la interfaz 966 externa lleva a cabo una unidad de transmisión en el dispositivo 960 de formación de imágenes.
[0468] El medio de grabación montado en la unidad 968 de medios puede ser un medio removible legible/grabable arbitrario tal como un disco magnético, un disco magneto-óptico, un disco óptico, o una memoria de semiconductor.Además, un medio de grabación puede montarse fijamente a la unidad 968 de medios, y por ejemplo, una unidad de almacenamiento no transitoria tal como una unidad de disco duro integrado o un controlador de estado sólido (SSD)puede configurarse.
[0469] La unidad 970 de control incluye un procesador tal como un CPU y una memoria tal como una RAM o una ROM. Por ejemplo, la memoria almacena un programa ejecutado por la CPU, datos de programa, y similares. Por ejemplo, el programa almacenado en la memoria se lee y se ejecuta por la CPU cuando el dispositivo 960 de formación de imágenes se activa. La CPU ejecuta el programa, y controla una operación del dispositivo 960 de formación de imágenes, por ejemplo, de acuerdo con una señal de operación ingresada desde la interfaz 971 de usuario.
[0470] La interfaz 971 de usuario se conecta con la unidad 970 de control. Por ejemplo, la interfaz 971 de usuario incluye un botón, un conmutador, o similares que se utilizan cuando el usuario opera el dispositivo 960 de captura de imagen.La interfaz 971 de usuario detecta la operación del usuario a través de los componentes, genera una señal de operación, y produce la señal de operación generada en la unidad 970 de control.
[0471] En el dispositivo 960 de captura de imagen que tiene la configuración anterior, la unidad 964 de procesamiento de imagen tiene la función del dispositivo 100 de codificación de imágenes (Figura 25), y el dispositivo 200 de codificación de imágenes (Figura 31) el dispositivo 300 de codificación de imágenes (Figura 34), o el dispositivo 400 de descodificación de imágenes (Figura 39)de acuerdo con la modalidad anterior.De este modo, cuando el dispositivo 960 de captura de imagen codifica y descodifica una imagen, es posible suprimir una disminución en una calidad de imagen.
[0472] <9. Ejemplos de aplicación de codificación escalable> <Primer sistema> A continuación, se describirán ejemplos de aplicación concretos de datos codificados escalables generados por la codificación escaladle (imagen). La codificación escaladle se utiliza para la selección de datos a transmitirse, por ejemplo, como se ilustra en la Figura 58.
[0473] En un sistema 1000 de transmisión de datos ilustrado en la Figura 58, un servidor 1002 de distribución lee los datos codificados escalables almacenados en una unidad 1001 de almacenamiento de datos codificados escalables, y distribuye los datos codificados escalables a los dispositivos de terminal tal como una computadora 1004 personal, un dispositivo 1005 de AV, un dispositivo 1006 tipo Tablet, y un teléfono 1007 móvil mediante una red 1003.
[0474] Esta vez, el servidor 1002 de distribución selecciona datos codificados de alta calidad adecuados de acuerdo con las capacidades de los dispositivos terminales, un ambiente de comunicación o similares, y transmite los datos codificados de alta calidad seleccionados. Aunque el servidor 1002 de distribución transmite datos de alta calidad innecesarios, los dispositivos de terminal no obtienen necesariamente una imagen de alta calidad, y puede producirse un retardo o un exceso de flujo. Además,una banda de comunicación puede ocuparse de manera innecesaria, y una carga de un dispositivo de terminal puede incrementarse de manera innecesaria. Por otro lado, aunque el servidor 1002 de distribución transmite datos de baja calidad de manera innecesaria, los dispositivos de terminal es improbable que obtengan una imagen de una calidad suficiente.De estamanera, el servidor 1002 de distribución lee datos codificados escalables almacenados en la unidad 1001 de almacenamiento de datos codificados escalables como datos codificados de una calidad adecuada para la capacidad del dispositivo de terminal o un ambiente de comunicación, y después transmite los datos leídos.
[0475] Por ejemplo, la unidad 1001 de almacenamiento de datos codificados escalables se asume que almacena datos 1011 codificados escalables (BL+EL) que se codifican por la codificación escalable.Los datos codificados escalables (BL+EL) 1011 son datos codificados que incluyen ambos de una capa de base y una capa de mejora, y ambos de una imagen de la capa base y una imagen de la capa de mejora pueden obtenerse por la descodificación de datos codificados escalables (BL + EL) 1011.
[0476] El servidor 1002 de distribución selecciona una capa adecuada de acuerdo con la capacidad de un dispositivo de terminal al cual se transmite los datos, un ambiente de comunicación o similares, y lee los datos de la capa seleccionada. Por ejemplo, para la computadora 1004 personal o el dispositivo 1006 tipo tablet que tiene una alta capacidad de procesamiento, el servidor 1002 de distribución lee los datos codificados escalables de alta calidad (BL+EL) 1011 desde la unidad 1001 de almacenamiento de datos codificados escalables y transmite los datos codificados escalables (BL+EL) 1011 sin cambio. Por otra parte, por ejemplo, para el dispositivo 1005 de AV o el dispositivo móvil de teléfono 1007 que tiene una capacidad de procesamiento baja, el servidor 1002 de distribución extrae datos de la capa base desde los datos codificados escalables (BL+EL) 1011 y transmite unos datos codificados escalables (BL) 1012 que son datos del mismo contenido que los datos codificados escalables (BL+EL) 1011 pero menores en calidad que los datos codificados escalables (BL+EL) 1011.
[0477] Como se describe en lo anterior, una cantidad de datos puede ajustarse fácilmente utilizando datos codificados escalables, y de esta manera es posible evitar la aparición de un retardo o un exceso de flujo y evitar una carga de un dispositivo de terminal o un medio de comunicación de que se incremente de manera innecesaria. Además, los datos 1011 codificados escalables (BL+EL) se reducen en redundancia entre la capas,y de esta manera esposible reducir una cantidad de datos que es menor que cuando los datos individuales se utilizan como datos codificados de cada capa. De esta manera, es posible utilizar de manera más eficiente un área de memoria de la unidad 1001 ce almacenamiento de datos codificados escalables.
[0478] Además, diversos dispositivos tales como una computadora 1004 personal un teléfono 1007 móvil puede aplicarse como el dispositivo terminal y de este modo el rendimiento de hardware de los dispositivos terminales difieren de acuerdo con cada dispositivo. Además, puesto que varias aplicaciones pueden ejecutarse por los dispositivos de terminal, el software tiene varias capacidades. Además, todas las redes de linea de comunicación que incluyen cualquiera o ambos de una red alámbrica y una red inalámbrica tal como el Internet o una LAN, pueden aplicarse como la red 1003 que sirve como un medio de comunicación, y de este modo diversas capacidades de transmisión de datos se proporcionan.Además,un cambio puede hacerse por otra comunicación o similares.
[0479] En este respecto, el servidor 1002 de distribución puede configurarse para realizar comunicación con un dispositivo de terminal que sirve como un destino de transmisión de datos antes del inicio de la transmisión de datos y obtener la información relacionada con una capacidad de un dispositivo de terminal tal como rendimiento de hardware de un dispositivo de terminal o un rendimiento de una aplicación (software) ejecutada por el dispositivo de terminal y la información relacionada con un ambiente de comunicación tal como un ancho de banda disponible de la red 1003. Después, el servidor 1002 de distribución puede seleccionar una capa adecuada basándose en la información obtenida.
[0480] Además, la extracción de la capa puede realizarse en un dispositivo de terminal. Por ejemplo, la computadora 1004 personal puede descodificar los datos codificados escalables transmitidos (BL+EL) 1011 y desplegar la imagen de la capa base o la imagen de la capa de mejora. Además, por ejemplo, la computadora 1004 personal puede extraer los datos codificados escaladles (BL) 1012 de la capa base desde los datos codificados escalables transmitidos (BL + EL) 1011, almacenar los datos codificados escalables (BL) 1012 de la capa de base, transferir los datos codificados escalables (BL) 1012 de la capa base a otro dispositivo, descodificar los datos codificados escalables (BL) 1012 de la capa base, y desplegar la imagen de la capa base.
[0481] Desde luego, el número de unidades 1001 de almacenamiento de datos codificados escalables, el número de servidores 1002 de distribución, el número de redes 1003, y el número de dispositivos de terminal son arbitrarios. La descripción anterior se ha hecho junto con el ejemplo en el cual el servidor 1002 de distribución transmite datos a los dispositivos de terminal, pero el ejemplo de aplicación no se limita a este ejemplo. El sistema 1000 de transmisión de datos puede aplicarse a cualquier sistema en el cual cuando los datos codificados generados por . la codificación escalable se transmiten a un dispositivo de terminal, se selecciona una capa adecuada de acuerdo con una capacidad de un dispositivo de terminal o un ambiente de comunicación y los datos codificados se transmiten.
[0482] En el sistema 1000 de transmisión de datos de la Figura 58, se aplica la presente teenología, de forma similar a la aplicación para la codificación escalable y la descodificación escalable descrita en lo anterior con referencia a las Figuras 47 a 52, y de este modo, pueden obtenerse los mismos efectos que los efectos descritos en lo anterior con referencia a las Figuras 47 a 52.
[0483] <Segundo sistema! La codificación escalable se utiliza para transmisión utilizando una pluralidad de medios de comunicación,por ejemplo, como se ilustra en la Figura 59.
[0484] En un sistema 1100 de transmisión de datos ilustrado en la Figura 59, una estación 1101 de difusión transmite datos 1121 codificados escalables (BL) de una capa de base a través de la difusión lili terrestre.Además, la estación 1101 de difusión transmite datos (EL) codificados escalables 1122 de una capa de mejora (por ejemplo,en paquetes los datos codificados escalables (EL) 1122 y después transmite los paquetes resultantes) mediante una red 1112 arbitraria configurada con una red de comunicación que incluye cualquiera o ambas de una red alámbrica y una red inalámbrica.
[0485] Un dispositivo 1102 de terminal tiene una función de recepción para recibir la difusión lili terrestre difundida por la estación 1101 de difusión, y recibe los datos 1121 codificados escalables (BL) de la capa de base transmitida a través de la difusión lili terrestre. El dispositivo 1102 de terminal además tiene una función de comunicación para realizar comunicación mediante la red 1112, y recibe los datos 1122 codificados escalables (EL) de la capa de mejora transmitida mediante la red 1112.
[0486] El dispositivo 1102 terminal descodifica los datos codificados escalables (BL) 1121 de la capa base adquirida a través de la difusión lili terrestre, por ejemplo, de acuerdo con la instrucción del usuario o similar, obtiene la imagen de la capa base, almacena la imagen obtenida, y transmite la imagen obtenida a otro dispositivo.
[0487] Además, el dispositivo 1102 terminal combina los datos codificados escalables (BL) 1121 de la capa base adquirida a través de la difusión lili terrestre con los datos codificados escalables (EL) 1122 de la capa de mejora adquiridas a través de la red 1112, por ejemplo, de acuerdo con la instrucción del usuario o similar, obtiene los datos codificados escalables (BL + EL) descodifica los datos codificados escalables (BL + EL) para obtener la imagen de la capa de mejora, almacena la imagen obtenida, y transmite la imagen obtenida a otro dispositivo.
[0488] Como se describe en lo anterior, es posible transmitir datos codificados escalables de capas respectivas, por ejemplo, a través de diferentes medios de comunicación. De esta manera, es posible distribuir una carga, y es posible evitar la aparición de un retardo o un exceso de flujo.
[0489] Además, puede ser posible seleccionar un medio de comunicación utilizado para transmisión para cada capa de acuerdo con la situación. Por ejemplo, los datos 1121 codificados escalables (BL) de la capa de base que tiene una cantidad relativamente grande de datos puede transmitirse a través de un medio de comunicación que tiene un ancho de banda grande, y los datos 1122 codificados escalables (EL) de la capa de mejora que tiene una cantidad relativamente pequeña de datos puede transmitirse a través de un medio de comunicación que tiene un ancho de banda pequeño. Además, por ejemplo, un medio de comunicación para transmitir los datos 1122 codificados escalables (EL) de la capa de mejora pueden conmutarse entre la red 1112 y la difusión lili terrestre de acuerdo con un ancho de banda disponible de la red 1112. Desde luego, lo mismo aplica a los datos de una capa arbitraria.
[0490] A medida que se realiza el control como se describe en lo anterior, es posible suprimir adicionalmente un incremento en una carga en la transmisión de datos.
[0491] Desde luego, el número de capas es un número arbitrario y el número de medios de comunicación utilizados para la transmisión también es arbitrario. Además, el número de dispositivos 1102 de terminal que sirve como el destino de distribución de datos también es arbitrario. La descripción anterior se ha descrito junto con el ejemplo de difusión de la estación 1101 de difusión y el ejemplo de aplicación no se limita a este ejemplo. El sistema 1100 de transmisión de datos puede aplicarse a cualquier sistema en el cual datos codificados generados por la codificación escalable se dividen en dos o más unidades de capas y se transmiten a través de una pluralidad de líneas.
[0492] En el sistema 1100 de transmisión de datos de la Figura 59, se aplica la presente teenología, de forma similar a la aplicación para la codificación escalable y la descodificación escalable descrita en lo anterior con referencia a las Figuras 47 a 52, y de este modo, pueden obtenerse los mismos efectos que los efectos descritos en lo anterior con referencia a las Figuras 47 a 52. 0493] Tercer sistema> La codificación escalable se utiliza para almacenamiento de datos codificados,por ejemplo,como se ilustra en la Figura 60.
[0494] En un sistema 1200 de captura de imagen ilustrado en la Figura 60, un dispositivo 1201 de captura de imagen realiza la codificación escalable en datos de imagen obtenidos por la captura de imagen de un objeto 1211, y proporciona datos codificados escalables (BL+EL) 1221 a un dispositivo 1202 de almacenamiento de datos codificados escalables.
[0495] El dispositivo 1202 de almacenamiento de datos codificados escalables almacena los datos codificados escalables (BL+EL) 1221 proporcionados desde el dispositivo 1201 de captura de imagen en una calidad de acuerdo con la situación.Por ejemplo, durante un tiempo normal, el dispositivo 1202 de almacenamiento de datos codificados escalables extrae los datos de la capa base de los datos codificados escalables (BL+EL) 1221, y almacena los datos extraídos como datos codificados escalables (BL) 1222 de la capa base que tiene una pequeña cantidad de datos en una baja calidad. Por otro lado, por ejemplo, durante un tiempo de observación, el dispositivo 1202 de almacenamiento de datos codificados escalables almacena los datos codificados escalables (BL+EL) 1221 que tienen una gran cantidad de datos en una alta calidad sin cambio.
[0496] Por consiguiente, el dispositivo 1202 de almacenamiento de datos codificados escalables puede almacenar una imagen en una alta calidad sólo cuando es necesario y de esta manera es posible suprimir un incremento en una cantidad de datos y mejorar la eficiencia de uso de un área de memoria mientras suprime una reducción en un valor de una imagen provocada por el deterioro de calidad.
[0497] Por ejemplo, el dispositivo 1201 de captura de imagen se asume que es una cámara de monitoreo. Cuando un objetivo de monitoreo (por ejemplo, un intruso) no se muestra en una imagen fotografiada (durante un tiempo normal), el contenido de la imagen fotografiada es probable que no tenga consecuencia, y de este modo, una reducción en una cantidad de datos es priorizado, y los datos de imagen (datos codificados escalables) se almacenan en una baja calidad. Por otro lado, cuando un objetivo de supervisión se muestra en una imagen fotografiada como el objeto 1211 (durante un tiempo de observación),el contenido de la imagen fotografiada probablemente será importante, y de esta manera una calidad de imagen se le da prioridad, y los datos de imagen (datos codificados escalables) se almacenan en una alta calidad.
[0498] Puede determinarse si es el tiempo normal o el tiempo de observación, por ejemplo, al analizar una imagen a través del dispositivo 1202 de almacenamiento de datos codificados escalables. Además, el dispositivo 1201 de formación de imágenes puede realizar la determinación y transmitir el resultado de determinación al dispositivo 1202 de almacenamiento de datos codificados escalables.
[0499] Además, un criterio de determinación en cuanto a si el tiempo normal o el tiempo de observación es arbitrario, y el contenido de una imagen que sirve como el criterio de determinación es arbitrario. Desde luego, una condición distinta al contenido de una imagen puede ser un criterio de determinación. Por ejemplo, la conmutación puede realizarse de acuerdo con la magnitud o una forma de onda de un sonido grabado, la conmutación puede realizarse en intervalos de tiempo predeterminados, o la conmutación puede realizarse de acuerdo con una instrucción externa tal como la instrucción del usuario.
[0500] La descripción anterior se ha descrito junto con el ejemplo en el cual la conmutación se realiza entre dos estados de tiempo normal y el tiempo de observación, pero el número de estados es arbitrario. Por ejemplo, la conmutación puede realizarse entre tres o más estados tal como un tiempo normal, un tiempo de observación de bajo nivel, un tiempo de observación, un tiempo de observación de alto nivel, y similares. Aquí, un número limite superior de estados que se conmuta depende del número de capas de datos codificados escalables.
[0501] Además, el dispositivo 1201 de formación de imágenes puede decidir el número de capas para la codificación escalable de acuerdo con un estado. Por ejemplo, durante el tiempo normal, el dispositivo 1201 de formación de imágenes puede generar los datos 1222 codificados escalables (BL) de la capa de base que tiene una pequeña cantidad de datos en una baja calidad y proporcionar los datos 1222 codificados escalables (BL) de la capa de base al dispositivo 1202 de almacenamiento de datos codificados escalables. Además, por ejemplo, durante el tiempo de observación, el dispositivo 1201 de captura de imagen puede generar los datos codificados escalables (BL+EL) 1221 de la capa base que tiene una gran cantidad de datos en una alta calidad y proporcionar los datos codificados escalables (BL+EL) 1221 de la capa de base al dispositivo 1202 de almacenamiento de datos codificados escalables.
[0502] La descripción anterior se ha hecho junto con el ejemplo de una cámara de monitoreo, pero el propósito del sistema 1200 de captura de imagen es arbitrario y no se limita a una cámara de monitoreo.
[0503] En el sistema 1200 de captura de imagen de la Figura 60, se aplica la presente teenología, de forma similar a la aplicación para la codificación escalable y la descodificación escalable descrita en lo anterior con referencia a las Figuras 47 a 52, y de este modo, pueden obtenerse los mismos efectos que los efectos descritos en lo anterior con referencia a las Figuras 47 a 52.
[0504] Además, la presente teenología también puede aplicarse a una corriente de HTTP tal como MPEG DASH en la que los datos codificados apropiados se seleccionan de entre una pluralidad de datos codificados que tienen diferentes resoluciones que se preparan por adelantado y se utilizan. En otras palabras, una pluralidad de datos codificados pueden compartir información relacionada con la codificación o descodificación.
[0505] <10. Octava modalidad> <Otras modalidades> Las modalidades anteriores se han descrito junto con el ejemplo del dispositivo, el sistema, o similar de acuerdo con la presente tecnología, pero la presente tecnología no se limita a los ejemplos anteriores y puede implementarse como cualquier componente montado en el dispositivo o el dispositivo configura el sistema, por ejemplo, a un procesador que sirve como una integración a gran escala de sistema (LSI) o similar, un módulo que utiliza una pluralidad de procesadores o similar, una unidad utilizando una pluralidad de módulos o similar, un conjunto (es decir, algunos componentes del dispositivo) en los que cualquier otra función se agrega además a una unidad o similar.
[0506] Conjunto de video> Un ejemplo en el que se implementa la presente teenología como un conjunto se describirá con referencia a la Figura 61. La Figura 61 ilustra una configuración esquemática ejemplar de un conjunto de video al que se aplica la presente tecnología.
[0507] En años recientes, funciones de dispositivos electrónicos se han vuelto diversos y cuando algunos componentes se implementan como venta, provisión o similar en el desarrollo o fabricación, existen muchos casos en que una pluralidad de componentes que tienen funciones relevantes implementan como un conjunto que tiene una pluralidad de funciones así como casos en los que se realiza una implementación como un componente que tiene una sola función.
[0508] Un conjunto 1300 de video ilustrado en la Figura 61 es una configuración multifuncionalizada en la que un dispositivo que tiene una función relacionada con la codificación de imágenes y/o descodificación de imágenes se combina con un dispositivo que tiene cualquier otra función relacionadas con la función.
[0509] El conjunto 1300 de video incluye un grupo de módulo tal como un módulo 1311 de video, una memoria 1312 externa, un módulo 1313 de gestión de energía y un módulo 1314 de extremo frontal, y un dispositivo que tiene funciones relevantes tales como una conectividad 1321, una cámara 1322 y un sensor 1323 como se ilustra en la Figura 61.
[0510] Un módulo es una parte que tiene múltiples funciones en las que se integran diversas funciones de partes relevantes. Una configuración física concreta es arbitraria, pero, por ejemplo, se configura de manera que una pluralidad de procesadores que tienen funciones respectivas, elementos de circuito electrónico tales como un resistor y un capacitor, y otros dispositivos se disponen e integran en un sustrato alámbrico. Además, puede obtenerse un nuevo módulo al combinar otro módulo o un procesador con un módulo.
[0511] En el caso del ejemplo de la Figura 61, el módulo 1311 de video es una combinación de componentes que tienen funciones relacionadas con el procesamiento de imagen, e incluye un procesador 1331 de aplicación, un procesador 1332 de video, un módem 1333 de banda ancha, y un módulo 1334 de radio frecuencia (RF)·
[0512] Un procesador es uno en el que una configuración que tiene una función predeterminada se integra en un chip semiconductor a través de un Sistema en un Chip (SoC, y también se refiere a, por ejemplo, un sistema LSI o similar. La configuración que tiene la función predeterminada puede ser un circuito lógico (configuración de hardware), puede ser un CPU, un ROM, un RAM, y un programa (configuración de software) ejecutado utilizando el CPU, la ROM, y la RAM, y puede ser una combinación de una configuración de hardware y una configuración de software. Por ejemplo, un procesador puede incluir un circuito lógico, un CPU, una ROM, una RAM, y similares, algunas funciones pueden implementarse a través del circuito lógico (configuración de hardware), y las otras funciones pueden implementarse a través de un programa (configuración de software) ejecutada por el CPU.
[0513] El procesador 1331 de aplicación de la Figura 61 es un procesador que ejecuta una aplicación relacionada con el procesamiento de imagen. Una aplicación ejecutada por el procesador 1331 de aplicación puede no solo realizar un proceso de cálculo, sino que también controla componentes dentro y fuera del módulo 1311 de video tales como el procesador 1332 de video según sea necesario para implementar una función predeterminada.
[0514] El procesador 1332 de video es un procesador que tiene una función relacionada con la codificación de imágenes y/o la descodificación de imágenes.
[0515] El módem 1333 de banda ancha realiza la modulación digital en datos (señal digital) a transmitirse a través de la comunicación de banda ancha alámbrica y/o inalámbrica que se realiza mediante la linea de banda ancha tal como una red de Internet o una de linea telefónica pública y convierte los datos en una señal análoga, o realiza la desmodulación de una señal análoga recibida a través de la comunicación de banda ancha y convierte la señal análoga en datos (una señal digital). Por ejemplo, el módem 1333 de banda ancha procesa información arbitraria tal como datos de imagen procesados por el procesador 1332 de video, una corriente que incluye datos de imagen codificados, un programa de aplicación, o datos de establecimiento.
[0516] El módulo 1334 de RF es un módulo que realiza un proceso de transformada de frecuencia, un proceso de modulación/desmodulación, y proceso de amplificación,un proceso de filtración, y similar en una señal de RF recibida a través de una antena. Por ejemplo, el módulo 1334 de RF realiza, por ejemplo, transformada de frecuencia en una señal de banda base generada por el módem 1333 de banda ancha, y genera una señal de RF. Además, por ejemplo, el módulo 1334 de RF realiza, por ejemplo, transformada de frecuencia en una señal de RF recibida a través del módulo 1314 de extremo frontal y genera una señal de banda base.
[0517] Además, como se indica por la linea 1341 punteada en la Figura 61, el procesador 1331 de aplicación y el procesador 1332 de video pueden integrarse en un solo procesador.
[0518] La memoria 1312 externa se instala fuera delmódulo 1311 de video, y es un módulo que tiene un dispositivo de almacenamiento utilizado por el módulo 1311 de video. El dispositivo de almacenamiento de la memoria 1312 externa puede implementarse por cualquier configuración física pero comúnmente se utiliza para almacenar datos de gran capacidad tales como datos de imagen o unidades de trama, y es deseable implementar el dispositivo de almacenamiento de la memoria 1312 externa utilizando una memoria semiconductora de gran capacidad relativamente económica tal como una memoria de acceso aleatorio dinámica (DRAM).
[0519] Elmódulo 1313 de gestión de energía gestiona y controla el suministro de energía al módulo 1311 de video (los componentes respectivos en el módulo 1311 de video).
[0520] El módulo 1314 de extremo frontal es un módulo que proporciona una función de extremo frontal (un circuito de un extremo de transcepción en un lado de antena) el módulo 1334 de RF. El módulo 1314 de extremo frontal incluye, por ejemplo, una unidad 1351 de antena, un filtro 1352, y una unidad 1353 de amplificación como se ilustra en la Figura 61.
[0521] La unidad 1351 de antena incluye una antena que transmite y recibe una señal de radio y una configuración periférica de la antena. La unidad 1351 de antena transmite una señal proporcionada por la unidad 1353 de amplificación como una señal de radio, y proporciona una señal de radio recibida al filtro 1352 como una señal eléctrica (señal de RF). El filtro 1352, realiza, por ejemplo, un proceso de filtrado en una señal de RF recibida a través de la unidad 1351 de antena, y proporciona una señal de RF procesada al módulo 1334 de RF. La unidad 1353 de amplificación amplifica la señal de RF proporcionada por el módulo 1334 de RF y proporciona la señal de RF amplificada a la unidad 1351 de antena.
[0522] La conectividad 1321 es un módulo que tiene una función relacionada con una conexión con el exterior. Una configuración física de la conectividad 1321 es arbitraria. Por ejemplo, la conectividad 1321 incluye una configuración que tiene una función de comunicación diferente a una comunicación estándar soportada por el módem 1333 de banda ancha, una terminal C/S externa o similar.
[0523] Por ejemplo, la conectividad 1321 puede incluir un módulo que tiene una función de comunicación basada en un estándar de comunicación inalámbrico tal como Bluetooth (una marca registrada), IEEE 802.11 (por ejemplo, Fidelidad Inalámbrica (Wi-Fi), una marca registrada), Comunicación de Campo Cercano (NFC), Asociación de Datos Infrarroja (IrDA), una antena que transmite y recibe una señal que satisface el estándar,o similar. Además, por ejemplo, la conectividad 1321 puede incluir un módulo que tiene una función de comunicación basada en un estándar de comunicación alámbrico tal como un Bus en Serie Universal (USB) o una Interfaz Intermedia de Alta Definición (HDMI) (una marca registrada) o una terminal que satisface el estándar.Además, por ejemplo, la conectividad 1321 puede incluir cualesquiera otra función de transmisión de datos (señal) o similar tal como una terminal de E/S análoga.
[0524] Además, la conectividad 1321 puede incluir un dispositivo de un destino de transmisión de datos (señal). Por ejemplo, la conectividad 1321 puede incluir una unidad (que incluye un disco duro, una SSD, un Almacenamiento Conectado a la Red (ÑAS), o similar asi como una unidad de un medio removible) que lee/escribe datos desde/en un medio de grabación tal como un disco magnético, un disco óptico, un disco magneto-óptico, o una memoria semiconductora. Además, la conectividad 1321 puede incluir un dispositivo de salida (un monitor, un altavoz, o similar) que produce una imagen o un sonido.
[0525] La cámara 1322 es un módulo que tiene una función de fotografiar un objeto y obtener datos de imagen del objeto. Por ejemplo, los datos de imagen obtenidos por la fotografía de la cámara 1322 se proporciona a y se codifica por el procesador 1332 de video.
[0526] El sensor 1323 es un módulo que tiene una función de sensor arbitraria tal como un sensor de sonido, un sensor ultrasónico, un sensor óptico, un sensor de iluminancia, un sensor infrarrojo, un sensor de imagen, un sensor de rotación, un sensor de ángulo, un sensor de velocidad angular, un sensor de velocidad,un sensor de aceleración, un sensor de inclinación, un sensor de identificación magnética, un sensor de choque, o un sensor de temperatura. Por ejemplo, los datos detectados por el sensor 1323 se proporcionan al procesador 1331 de aplicación y se utilizan por una aplicación o similar.
[0527] Una configuración descrita en lo anterior, como un módulo puede implementarse como un procesador, y una configuración descrita como un procesador puede implementarse como un módulo.
[0528] En el conjunto 1300 de video que tiene la configuración anterior, puede aplicarse la presente teenología al procesador 1332 de video como se describirá posteriormente. De este modo, el aparato 1300 de video puede implementarse como un conjunto al que se aplica la presente teenología.
[0529] <Configuración ejemplar del procesadores de video> La Figura 62 ilustra una configuración esquemática ejemplar del procesador 1332 de video (Figura 61)al que se aplica la presente tecnología.
[0530] En el caso de un ejemplo de la Figura 62, el procesador 1332 de video tiene una función de recibir una entrada de una señal de video y una señal de audio y codificar la señal de video y la señal de audio de acuerdo con un esquema predeterminado y una función de descodificar los datos de video codificados y los datos de audio, y reproducir y enviar una señal de video y una señal de audio.
[0531] El procesador 1332 de video incluye: una unidad 1401 de procesamiento de entrada de video; una primera unidad 1402 de ampliación/reducción de imagen; una segunda unidad 1403 de ampliación/reducción de imagen; una unidad 1404 de procesamiento de salida de video; una memoria 1405 de tramas; y una unidad 1406 de control de memoria como se ilustra en la Figura 62. El procesador 1332 de video además incluye un motor 1407 de codificación/descodificación; memorias intermedias 1408A y 1408B de Corriente Elemental (ES) de video, y memorias intermedias 1409A y 1409B de ES de audio. El procesador 1332 de video además incluye un codificador 1410 de audio, un descodificador 1411 de audio, un multiplexor (multiplexor (MUX)) 1412, un desmultiplexor (desmultiplexor (DMUX)) 1413, y una memoria intermedia 1414 de corriente.
[0532] Por ejemplo, la unidad 1401 de procesamiento de entrada de video adquiere una entrada de señal de video de la conectividad 1321 (Figura 61)o similares y convierte la señal de video en datos de imagen digital.La primera unidad 1402 de ampliación/reducción de imagen realiza, por ejemplo, un proceso de conversión de formato y un proceso de ampliación/reducción de imagen en los datos de imagen. La segunda unidad 1403 de ampliación/reducción de imagen realiza un proceso de ampliación/reducción de imagen en los datos de imagen de acuerdo con un formato de un destino en el cual se producen los datos de imagen a través de la unidad 1404 de procesamiento de salida de video o realiza el proceso de conversión de formato del proceso de ampliación y el proceso de ampliación/reducción de imagen que son idénticos a aquellos de la primera unidad 1402 de ampliación/reducción de imagen en los datos de imagen. La unidad 1404 de procesamiento de salida de video realiza conversión de formato y conversión en una señal análoga en los datos de imagen, y produce una señal de video reproducida para, por ejemplo, la conectividad 1321 (Figura 61) o similar.
[0533] La memoria 1405 de tramas es una memoria de datos de imagen que se comparte por la unidad 1401 de procesamiento de entrada de video, la primera unidad 1402 de ampliación/reducción de imagen, la segunda unidad 1403 de ampliación/reducción de imagen, la unidad 1404 de procesamiento de salida de video, y el motor 1407 de codificación/descodificación. La memoria 1405 de tramas se implementa como, por ejemplo, una memoria de semiconductor tal como una DRAM.
[0534] La unidad 1406 de control de memoria recibe una señal sincrónica del motor 1407 de codificación/descodificación y controla el acceso de escritura/lectura en la memoria 1405 de tramas de acuerdo con un programa de acceso para la memoria 1405 de tramas escrita en una tabla 1406A de gestión de acceso.La tabla 1406A de gestión de acceso se actualiza a través de la unidad 1406 de control de memoria de acuerdo con el procesamiento ejecutado por el motor 1407 de codificación/descodificación, la primera unidad 1402 de ampliación/reducción de imagen, la segunda unidad 1403 de ampliación/reducción de imagen, o similares.
[0535] El motor 1407 de codificación/descodificación realiza un proceso de codificación de codificar datos de imagen y un proceso de descodificación de descodificar una corriente de video que son datos obtenidos por los datos de imagen de codificación. Por ejemplo, el motor 1407 de codificación/descodificación codifica datos de imagen leídos desde la memoria 1405 de tramas y escribe de manera secuencia los datos de imagen codificados en la memoria intermedia 1408A de ES de video como una corriente de video. Además, por ejemplo, el motor 1407 de codificación/descodificación lee en secuencia la corriente de video desde la memoria intermedia 1408B de ES de video, descodifica en secuencia la corriente de video, y escribe en secuencia los datos de imagen descodificados en la memoria 1405 de tramas.El motor 1407 de codificación/descodificación utiliza la memoria 1405 de tramas como un área de trabajo al momento de la codificación o descodificación. Además, el motor 1407 de codificación/descodificación produce la señal sincronizada para la unidad 1406 de control de memoria, por ejemplo, en un momento en el que el procesamiento de cada macrobloque inicia.
[0536] La memoria intermedia 1408A de ES de video almacena temporalmente la corriente de video generada por el motor 1407 de codificación/descodificación, y después proporciona la corriente de video al multiplexor (MUX) 1412. La memoria intermedia 1408B de ES de video almacena temporalmente la corriente de video proporcionada desde el desmultiplexor (DMUX) 1413, y después proporciona la corriente de video al motor 1407 de codificación/descodificación.
[0537] La memoria intermedia 1409A de ES de audio almacena temporalmente una corriente de audio generada por el codificador 1410 de audio, y después proporciona la corriente de audio a la unidad 1412 de multiplexión (MUX). La memoria intermedia 1409B de ES de audio almacena temporalmente una corriente de audio proporcionada desde la unidad 1413 de desmultiplexión (DMUX) y después proporciona la corriente de audio al descodificador 1411 de audio.
[0538] Por ejemplo,el codificador 1410 de audio convierte una señal de audio ingresada de, por ejemplo, la conectividad 1321 (Figura 61) o similar en una señal digital, y codifica la señal digital de acuerdo a un cierto esquema tal como un esquema de audio de MPEG o un esquema de Código de Audio número 3 (AC3). El codificador 1410 de audio escribe de manera secuencial la corriente de audio que son datos adquiridos al codificar la señal de audio en la memoria intermedia 1409A de ES de audio. El descodificador 1411 de audio descodifica la corriente de audio proporcionada desde la memoria intermedia 09B de ES de audio, realiza, por ejemplo, conversión en una señal análoga, y proporciona una señal de audio reproducida en, por ejemplo, la conectividad 1321 (Figura 61) y similares.
[0539] El multiplexor (MUX) 1412 realiza multiplexión de la corriente de video y la corriente de audio. Un método de multiplexión (es decir, un formato de una corriente de bits generada por multiplexión) es arbitrario. Además, al momento de multiplexión, el multiplexor (MUX) 1412 puede agregar información de encabezado predeterminada o similar a la corriente de bits. En otras palabras, el multiplexor (MUX) 1412 puede convertir un formato de corriente por multiplexión. Por ejemplo, el multiplexor (MUX) 1412 multiplexa la corriente de video y la corriente de audio a convertirse en una corriente de transporte que es una corriente de bits de un formato de transferencia. Además, por ejemplo, el multiplexor (MUX) 1412 multiplexa la corriente de video y la corriente de audio a convertirse en datos (datos de archivo) de un formato de archivo de grabación.
[0540] El desmultiplexor (DMUX) 1413 desmultiplexa la corriente de bits obtenida por la multiplexión de la corriente de video y la corriente de audio por un método que corresponde a la multiplexión realizada por el multiplexor (MUX) 1412. En otras palabras,el desmultiplexor (DMUX) 1413 extrae la corriente de video y la corriente de audio (separa la corriente de video y la corriente de audio) de la corriente de bits leída desde la memoria intermedia 1414 de corriente. En otras palabras, el desmultiplexor (DMUX) 1413 puede realizar conversión (conversión inversa de conversión realizada por el multiplexor (MUX) 1412) de un formato de una corriente a través de la desmultiplexión. Por ejemplo, el desmultiplexor (DMUX) 1413 puede adquirir la corriente de transporte proporcionada desde, por ejemplo, la conectividad 1321 o el módem 1333 de banda ancha (ambos en la Figura 61) a través de la memoria intermedia 1414 de corriente y convierte la corriente de transporte en una corriente de video y una corriente de audio a través de la desmultiplexión.Además, por ejemplo, el desmultiplexor (DMUX) 1413 puede adquirir datos de archivo leídos desde diversos tipos de medios de grabación, por ejemplo, por la conectividad 1321 (Figura 61) a través de la memoria intermedia 1414 de corriente y convierte los datos de archivo en una corriente de video y una corriente de audio por la desmultiplexión.
[0541] La memoria intermedia 1414 de corriente almacena temporalmente la corriente de bits. Por ejemplo, la memoria intermedia 1414 de corriente almacena temporalmente la corriente de transporte proporcionada desde el multiplexor (MUX) 1412, y proporciona la corriente de transporte, por ejemplo, a la conectividad 1321 o el módem 1333 de banda ancha (ambos de la Figura 61), en un tiempo predeterminado o basado en una solicitud externa o similares.
[0542] Además, por ejemplo, la memoria intermedia 1414 de corriente almacena temporalmente datos de archivo proporcionados desde el multiplexor (MUX) 1412, proporciona los datos de archivo, por ejemplo, a la conectividad 1321 (Figura 61) o similar en un tiempo predeterminado o basado en una solicitud externa o similar, y provoca que los datos de archivo sean grabados en diversos tipos de medios de grabación.
[0543] Además, la memoria intermedia 1414 de corriente almacena temporalmente la corriente de transporte adquirida a través de, por ejemplo, la conectividad 1321 o el módem 1333 de banda ancha (ambos de la Figura 61), y proporciona la corriente de transporte al desmultiplexor (DMUX) 1413 en un tiempo predeterminado o basado en una solicitud externa o similar.
[0544] Además, la memoria intermedia 1414 de corriente almacena temporalmente datos de archivo leídos desde diversos tipos de medios de grabación,por ejemplo,en la conectividad 1321 (Figura 61) o similar, y proporciona los datos de archivo al desmultiplexor (DMUX) 1413 en un tiempo predeterminado o basado en una solicitud externa o similar.
[0545] A continuación, una operación del procesador 1332 de video que tiene la configuración anterior se describirá. La entrada de señal de video al procesador 1332 de video, por ejemplo, desde la conectividad 1321 (Figura 61) o similar se convierte en datos de imagen digital de acuerdo con un esquema predeterminado tal como un esquema de 4:2:2Y/Cb/Cr en la unidad 1401 de procesamiento de entrada de video y escrito de manera secuecial en la memoria 1405 de tramas. Los datos de imagen digital se leen en la primera unidad 1402 de ampliación/reducción de imagen o la segunda unidad 1403 de ampliación/reducción de imagen, sometido a un proceso de conversión de formato y para realizar una conversión de formato en un esquema predeterminado tal como un esquema de 4:2:0Y/Cb/Cr y un proceso de ampliación/reducción, y se escriben en la memoria 1415 de tramas de nuevo. Los datos de imagen se codifican por el motor 1407 de codificación/descodificación, y se escriben en la memoria intermedia 1408A de ES de video como una corriente de video.
[0546] Además,una entrada de señal de audio para el procesador 1332 de video desde la conectividad 1321 (Figura 61) o similar se codifica por el codificador 1410 de audio y se escribe en la memoria intermedia 1409A de ES de audio como una corriente de audio.
[0547] La corriente de video de la memoria intermedia 1408A de ES de video y la corriente de audio de la memoria intermedia 1409A de ES de audio se leen en y multiplexan por el multiplexor (MUX) 1412, y se convierten en una corriente de transporte, datos de archivo, o similar. La corriente de transporte generada por el multiplexor (MUX) 1412 se almacena temporalmente en la memoria intermedia 1414 de corriente, y después se produce para una red externa a través de, por ejemplo, de la conectividad 1321 o el módem 1333 de banda ancha (ambos de la Figura 61). Además, los datos de archivo generados por el multiplexor (MUX) 1412 se almacenan temporalmente en la memoria intermedia 1414 de corriente, después, se producen para, por ejemplo, la conectividad 1321 (Figura 61) o similar, y se graban en diversos tipos de medios de grabación.
[0548] Además, la entrada de corriente de transporte al procesador 1332 de video desde una red externa a través, por ejemplo, de la conectividad 1321 o al módem 1333 de banda ancha (ambos en la Figura 61) se almacena temporalmente en la memoria intermedia 1414 de corriente y después se desmultiplexa por el desmultiplexor (DMUX) 1413. Además, los datos de archivo que se leen desde diversos tipos de medios de grabación, por ejemplo, en la conectividad 1321 (Figura 61) o similar y después se producen para el procesador 1332 de video se almacenan temporalmente en la memoria intermedia 1414 de corriente y después se desmultiplexan por el desmultiplexor (DMUX) 1413. En otras palabras, la corriente de transporte o la entrada de datos de archivo para el procesador 1332 de video se desmultiplexa en la corriente de video y la corriente de audio a través del desmultiplexor (DMUX) 1413.
[0549] La corriente de audio se proporciona al descodificador 1411 de audio a través de la memoria intermedia 1409B de ES de audio y se descodifican, y de esta manera se reproduce una señal de audio. Además, la corriente de video se escribe en la memoria intermedia 1408B de ES de video, se lee de manera secuencial y se le descodifica por el motor 1407 de codificación/descodificación, y se escribe en la memoria 1405 de tramas. Los datos de imagen descodificados se someten a un proceso de ampliación/reducción realizado por la segunda unidad 1403 de ampliación/reducción de imagen, y se escriben en la memoria 1405 de tramas. Entonces, los datos de imagen descodificados se leen para la unidad 1404 de procesamiento de salida de video, se someten al proceso de conversión de formato para realizar la conversión de formato a un esquema predeterminado tal como un esquema 4:2:2Y/Cb/Cr, y se convierten en una señal análoga, y de así se reproduce una señal de video.
[0550] Cuando la presente teenología se aplica al procesador 1332 de video que tiene la configuración anterior, es preferible que la modalidad anterior de la presente tecnología se aplique al motor 1407 de codificación/descodificación. En otras palabras, por ejemplo, el motor 1407 de codificación/descodificación de preferencia tiene las funciones del dispositivo de codificación de imágenes y del dispositivo de descodificación de imágenes de acuerdo con las modalidades. Por consiguiente, el procesador 1332 de video puede obtener los mismos efectos que los efectos descritos en lo anterior con referencia a las Figuras 1 a 43.
[0551] Además, en el motor 1407 de codificación/descodificación, la presente teenología (es decir las funciones de los dispositivos de codificación de imágenes o los dispositivos de descodificación de imágenes de acuerdo con la modalidad anterior) pueden implementarse por cualquiera o ambos de hardware tal como circuito lógico o software tal como un programa integrado.
[0552] <0tra configuración ejemplar del procesador de video> La Figura 63 ilustra otra configuración esquemática ejemplar del procesador 1332 de video (Figura 61) al cual se aplica la presente tecnología.En el caso del ejemplo de la Figura 63, el procesador 1332 de video tiene una función de codificar y descodificar datos de video de acuerdo con un esquema predeterminado.
[0553] Más específicamente, el procesador 1332 de video incluye una unidad 1511 de control; una interfaz 1512 de visualización; un motor 1513 de visualización; un motor 1514 de procesamiento de imágenes; y una memoria 1515 interna como se ilustra en la Figura 63. El procesador 1332 de video además incluye un motor 1516 de códec, una interfaz 1517 de memoria, un multiplexor/desmultiplexor (MUX DMUX) 1518, una interfaz 1519 de red y una interfaz 1520 de video.
[0554] La unidad 1511de control controla una operación de cada unidad de procesamiento en el procesador 1332 de video tal como la interfaz 1512 de visualización, el motor 1513 de visualización, el motor 1514 de procesamiento de imágenes, y el motor 1516 de códec.
[0555] La unidad 1511 de control incluye, por ejemplo, una CPU 1531 principal, una sub CPU 1532, y un controlador 1533 de sistema como se ilustra en la Figura 63. La CPU 1531 principal ejecuta, por ejemplo, un programa para controlar una operación de cada unidad de procesamiento en el procesador 1332 de video. La CPU 1531 principal genera una señal de control, por ejemplo, de acuerdo con el programa, y proporciona la señal de control a cada unidad de procesamiento (es decir, controla una operación de cada unidad de procesamiento). La CPU 1532 desempeña una función complementaria de la CPU 1531 principal. Por ejemplo, la sub-CPU 1532 ejecuta un proceso hijo, o una sub rutina de un programa ejecutado por la CPU 1531 principal. El controlador 1533 de sistema controla las operaciones de la CPU 1531 principal y la sub CPU 1532, por ejemplo, designa un programa ejecutado por la CPU 1531 principal y la sub CPU 1532.
[0556] Una interfaz 1512 de visualización produce datos de imagen para, por ejemplo, la conectividad 1321 (Figura 61) o similar bajo el control de la unidad 1511 de control.Por ejemplo, la interfaz 1512 de visualización convierte datos de imagen de datos digitales en una señal análoga, y produce la señal análoga por ejemplo, en el dispositivo de monitor de la conectividad 1321 (Figura 61) como señal de video reproducida o produce en los datos de imagen de los datos digitales por ejemplo, en el dispositivo de monitor de la conectividad 1321 (Figura 61).
[0557] El motor 1513 de visualización realiza varios tipos de procesos de conversión tal como procesos de conversión de formato, un proceso de conversión de tamaño y un proceso de conversión de gama de color en los datos de imagen bajo el control de la unidad 1511 de control para cumplir con por ejemplo, una especificación de hardware del dispositivo de monitor que despliega la imagen.
[0558] El motor 1514 de procesamiento de imágenes realiza el procesamiento de imágenes predeterminado tal como un proceso de filtrado para mejorar una calidad de imagen en los datos de imagen bajo el control de la unidad 1511 de control.
[0559] La memoria 1515 interna es una memoria que se instala en el procesador 1332 de video y se comparte por el motor 1513 de visualización, el motor 1514 de procesamiento de imágenes, y el motor 1516 de códec. La memoria 1515 interna, se utiliza para transferencia de datos realizada entre, por ejemplo, el motor 1513 de visualización, el motor 1514 de procesamiento de imágenes, y el motor 1516 de códec. Por ejemplo, la memoria 1515 interna almacena datos proporcionados desde el motor 1513 de visualización, el motor 1514 de procesamiento de imágenes, o el motor 1516 de códec, y proporciona los datos al motor 1513 de visualización, el motor 1514 de procesamiento de imágenes, o el motor 1516 de códec cuando es necesario (por ejemplo, de acuerdo con una solicitud). La memoria 1515 interna puede implementarse por cualquier dispositivo de almacenamiento, pero puesto que la memoria 1515 interna se utiliza en su mayoría para almacenamiento de datos de poca capacidad tal como datos de imagen de unidades o parámetros de bloque, se desea implementar la memoria 1515 interna utilizando una memoria de semiconductor que es relativamente pequeña en capacidad (por ejemplo, en comparación con la memoria 1312 externa) y rápida en velocidad de respuesta tal como una memoria de acceso aleatoria estática (SRAM). 0560 El motor 1516 de códec realiza procesamiento relacionado con codificación y descodificación de datos de imagen. Un esquema de codificación/descodificación soportado por el motor 1516 de códec es arbitrario, y uno o más esquemas pueden soportarse por el motor 1516 de códec.Por ejemplo, el motor 1516 de códec puede tener una función de códec para soportar una pluralidad de esquemas de esquemas de codificación/descodificación y realiza codificación de datos de imagen o descodificación de datos codificados utilizando un esquema seleccionado de entre los esquemas.
[0561] En el ejemplo ilustrado en la Figura 63, el motor 1516 de códec, incluye, por ejemplo, un Video 1541 de MPEG-2, un AVC/H.264 1542, un HEVC/H.2651543, un HEVC/H.265 (Escalable) 1544, un HEVC/H.265 (de varias vistas) 1545, y un MPEG-DASH 1551 como bloques funcionales del procesamiento relacionado con un códec.
[0562] El video 1541 de MPEG-2 es un bloque funcional para codificar o descodificar datos de imagen de acuerdo con un esquema de MPEG-2.El AVC/H.2641542 es un bloque funcional para codificar o descodificar datos de imagen de acuerdo con un esquema de AVC. El HEVC/H.265 1543 es un bloque funcional para codificar o descodificar datos de imagen de acuerdo con un esquema de HEVC. El HEVC/H.265 (Escalable) 1544 es un bloque funcional para realizar codificación escalable o descodificación escalable en datos de imagen de acuerdo con un esquema de HEVC. El HEVC/H.265 (varias vistas) 1545 es un bloque funcional para realizar codificación de varias vistas o descodificación de varias vistas en datos de imagen de acuerdo con un esquema de HEVC.
[0563] El MPEG-DASH 1551 es un bloque funcional para transmitir y recibir datos de imagen de acuerdo con una Transmisión Continua Adaptable Dinámica de MPEG sobre HTTP (MPEG-DASH). El MPEG-DASH es una téenica para transmitir de manera continua un video utilizando un Protocolo de Transferencia de Hipertexto (HTTP), y tiene una característica de seleccionar la adecuda de entre una pluralidad de piezas de datos codificados que difieren en una resolución previamente preparada o similares en unidades de segmentos y transmite la seleccionada. El MPEG-DASH 1551 realiza generación de una corriente que cumple con un estándar, control de transmisión de la corriente, y similares, y utiliza el video 1541 de MPEG-2 en el HEVC/H.265 (varias vistas) 1545 para codificación y descodificación de datos de imagen.
[0564] La interfaz 1517 de memoria es una interfaz para la memoria 1312 externa. Los datos proporcionados desde el motor 1514 de procesamiento de imágenes o el motor 1516 de códec se proporciona a la memoria 1312 externa a través de la interfaz 1517 de memoria.Además,los datos leídos desde lamemoria 1312 externa se proporcionan al procesador 1332 de video (el motor 1514 de procesamiento de imágenes o el motor 1516 de códec) a través de la interfaz 1517 de memoria.
[0565] El multiplexor/desmultiplexor 1518 (MUX DMUX) realiza multiplexión y desmultiplexión de diversos tipos de datos relacionados con una imagen tal como una corriente de bits de datos codificados, datos de imagen, y una señal de video. El método de multiplexión/desmultiplexión es arbitrario. Por ejemplo, al momento de muítiplexión, el multiplexor/desmultiplexor 1518 (MUX DMUX) no sólo puede combinar una pluralidad de piezas de datos en una sino también agrega información de encabezado predeterminada o similares a los datos. Además, al momento de la desmultiplexión, el multiplexor/desmultiplexor 1518 (MUX DMUX)no sólo puede dividir una pieza de datos en una pluralidad de pizas de datos sino también puede agregar información de encabezado predeterminada o similares a cada uno de los datos divididos. En otras palabras, el multiplexor/desmultiplexor 1518 (MUX DMUX)puede convertir un formato de datos a través de multiplexión y desmultiplexión. Por ejemplo, el multiplexor/desmultiplexor 1518 (MUX DMUX) puede multiplexar una corriente de bits para que se convierta en una corriente de transporte que sirve como una corrientes de bits de un formato de transferencia o datos (datos de archivo) de un formato de archivo de grabación. Desde luego, la conversión inversa también puede realizarse a través de desmultiplexión.
[0566] La interfaz 1519 de red es una interfaz por ejemplo, para el 1333 de banda ancha o la conectividad 1321 (ambos de la Figura 61).La interfaz 1520 de video es una interfaz por ejemplo, para la conectividad 1321 o la cámara 1322 (ambas de la Figura 61).
[0567] A continuación, una operación ejemplar del procesador 1332 de video se describirá. Por ejemplo, cuando la corriente de transporte se recibe desde la red externa a través de, por ejemplo, la conectividad 1321 o el módem 1333 de banda ancha (ambos de la Figura 61),la corriente de transporte se proporciona al multiplexor/desmultiplexor 1518 (MUX DMUX) a través de la interfaz 1519 de red, se desmultiplexa, y después se descodifica por el motor 1516 de códec. Los datos de imagen obtenidos por la descodificación del motor 1516 de códec se someten a un procesamiento de imágenes realizado, por ejemplo, por el motor 1514 de procesamiento de imágenes, sometido a la conversión predeterminada realizada por el motor 1513 de visualización, y se proporciona a, por ejemplo, la conectividad 1321 (Figura 61) o similares a través de la interfaz 1512 de visualización, y de esta manera la imagen se visualiza en el monitor. Además, por ejemplo, los datos de imagen obtenidos por la descodificación del motor 1516 de códec se codifican por el motor 1516 de códec de nuevo, se multiplexan por el multiplexor/desmultiplexor 1518 (MUX DMUX), que se convierten en datos de archivo, se producen para, por ejemplo, la conectividad 1321 (Figura 61) o similares a través de la interfaz 1520 de video, y después se graban en diversos tipos de medios de grabación.
[0568] Además, por ejemplo, los datos de archivo de datos codificados obtenidos al codificar los datos de imagen leídos desde un medio de grabación no ilustrado a través de la conectividad 1321 (Figura 61) o similar se proporcionan al multiplexor/desmultiplexor 1518 (MUX DMUX) a través de la interfaz 1520 de video, y se desmultiplexan, y descodifican por el motor 1516 de códec. Los datos de imagen obtenidos por la descodificación del motor 1516 de códec se someten a procesamiento de imágenes predeterminado realizado por el motor 1514 de procesamiento de imágenes, se someten a la conversión predeterminada realizada por el motor 1513 de visualización, y se proporcionan, por ejemplo, a la conectividad 1321 (Figura 61) o similares a través de la interfaz 1512 de visualización, y así la imagen se visualiza en el monitor. Además, por ejemplo, los datos de imagen obtenidos por la descodificación del motor 1516 de códec se codifican por el motor 1516 de códec nuevamente, se multiplexan por el multiplexor/desmultiplexor 1518 (MUX DMUX) para convertirse en una corriente de transporte, se proporcionan, por ejemplo, a la conectividad 1321 o el módem 2533 de banda ancha (ambos de la Figura 61) a través de la interfaz 1519 de red, y se transmiten a otro dispositivo (no ilustrado).
[0569] Además, la transferencia de datos de imagen u otros datos entre las unidades de procesamiento en el procesador 1332 de video se realiza, por ejemplo, utilizando la memoria 1515 interna o la memoria 1312 externa. Además, el módulo 1313 de gestión de energía controla, por ejemplo, el suministro de energía a la unidad 1511 de control.
[0570] Cuando la presente teenología se aplica al procesador 1332 de video que tiene la configuración anterior, es deseable aplicar las modalidades anteriores de la presente tecnología al motor 1516de códec.En otraspalabras,por ejemplo,es preferible que el motor 1516 de códec tenga un bloque funcional de implementación del dispositivo de codificación de imágenes y del dispositivo de descodificación de imágenes de acuerdo con las modalidades. Además, por ejemplo, el procesador 1332 de video puede tener los mismos efectos que los efectos descritos en lo anterior con referencia a las Figuras 1 a 43.
[0571] Además, en el motor 1516 de códec, la presente tecnología (es decir las funciones de los dispositivos de codificación de imágenes o los dispositivos de descodificación de imágenes de acuerdo con la modalidad anterior) pueden implementarse por cualquiera o ambos de hardware tal como circuito lógico o software tal como un programa integrado.
[0572] Las dos configuraciones ejemplares del procesador 1332 de video se han descrito en lo anterior, pero la configuración del procesador 1332 de video es arbitraria y puede tener cualquier configuración distinta a las dos configuraciones ejemplares anteriores. Además, el procesador 1332 de video puede configurarse con un chip de semiconductor sencillo o puede configurarse con una pluralidad de chips de semiconductor. Por ejemplo, el procesador 1332 de video puede configurarse con una LSI apilada de manera tridimensional en la cual se apila una pluralidad de semiconductores. Además, el procesador 1332 de video puede implementarse por una pluralidad de LSI.
[0573] <Ejemplos de aplicación para dispositivos> El aparato 1300 de video puede incorporarse en varios tipos de dispositivos que procesan datos de imagen. Por ejemplo, el aparato 1300 de video puede incorporarse en el dispositivo 900 de televisión (Figura 54), el teléfono 920 móvil (Figura 55), el dispositivo 940 de grabación/reproducción (Figura 56), el dispositivo 960 de formación de imágenes (Figura 57), o similares. A medida que se incorpora el aparato 1300 de video, los dispositivos pueden tener los mismos efectos que los efectos descritos en lo anterior con referencia a las Figuras 1 a 43.
[0574] Además, el aparato 1300 de video también puede incorporarse en un dispositivo de terminal tal como la computadora 1004 personal, el dispositivo 1005 de AV, el dispositivo 1006 tipo tablet o el teléfono 1007 móvil en el sistema 1000 de transmisión de datos de la Figura 58, la estación 1101 de difusión o el dispositivo 1102 de terminal en el sistema 1100 de transmisión de datos de la Figura 59, o el dispositivo 1201 de formación de imágenes o el dispositivo 1202 de almacenamiento de datos codificados escalables en el sistema 1200 de formación de imágenes de la Figura 60.A medida que se incorpora el aparato 1300 de video,los dispositivospueden tener losmismos efectos que los efectos descritos en lo anterior con referencia a las Figuras 1 a 43.
[0575] Además, aunque cada componente del aparato 1300 de video puede implementarse como componente al cual se aplica la presente teenología, cuando el componente incluye el procesador 1332 de video.Por ejemplo, sólo el procesador 1332 de video puede implementarse como procesador de video al cual se aplica la presente tecnología. Además, por ejemplo, los procesadores indicados por la línea 1341 punteada como se describe en lo anterior el módulo 1311 de video o similares pueden implementarse por ejemplo, como procesador o módulo al cual se aplica la presente tecnología. Además, por ejemplo, una combinación del módulo 1311 de video, la memoria 1312 externa, el módulo 1313 de gestión de energía, y el módulo 1314 de terminal de entrada pueden implementarse como una unidad 1361 de video a la cual se aplica la presente tecnología. Estas configuraciones pueden tener los mismos efectos que los efectos descritos en lo anterior con referencia a las Figuras 1 a 43.
[0576] En otras palabras, una configuración que incluye el procesador 1332 de video puede incorporarse en diversos tipos de dispositivos que procesan los datos de imagen, de manera similar al caso del aparato 1300 de video.Por ejemplo,el procesador 1332 de video, los procesadores indicados por la linea 1341 punteada, el módulo 1311 de video, o la unidad 1361 de video pueden incorporarse en el dispositivo 900 de televisión (Figura 54), el teléfono 920 móvil (Figura 55), el dispositivo 940 de grabación/reproducción (Figura 56), el dispositivo 960 de formación de imágenes (Figura 57), el dispositivo de terminal tal como la computadora 1004 personal, el dispositivo 1005 de AV, el dispositivo 1006 tipo Tablet, o el teléfono 1007 móvil en ¡el sistema 1000 de transmisión de datos de la Figura 58, la estación 1001 de difusión o el dispositivo 1202 de terminal en el sistema 1100 de transmisión de datos de la Figura 59, el dispositivo 1201 de formación de imágenes o el dispositivo 1202 de almacenamiento de datos codificados escalable en el sistema 1200 de captura de imágenes de la Figura 60, o similar. Además, a medida que la configuración a la que la presente teenología se aplica, los dispositivos pueden tener los mismos efectos que los efectos descritos en lo anterior con referencia a las Figuras 1 a 43, de manera similar al aparato 1300 de video.
[0577] <11. Novena modalidad> <Ejemplo de aplicación de MPEG-DASH> La presente teenología también puede aplicarse a un sistema de selección de un dato apropiado entre una pluralidad de piezas de datos codificados que tienen diferentes resoluciones que se preparan por adelantado en unidades de segmentos y utilizan los datos seleccionados, por ejemplo, un sistema de reproducción de contenido de transmisión continua de HTTP o un sistema de comunicación inalámbrica de un estándar de Wi-Fi tal como MPEG DASH los cuales se describirán posteriormente.
[0578] <Descripción general del sistema de reproducción de contenido> Primero, se describirá esquemáticamente un sistema de reproducción de contenido al cual puede aplicarse la presente tecnología con referencia a las Figuras 64 a 66.
[0579] Una configuración básica que es común en las modalidades se describirá a continuación con referencia a las Figuras 64 y 65.
[0580] La Figura 64 es un diagrama explicativo que ilustra una configuración de un sistema de reproducción de contenido. El sistema de reproducción de contenido incluye servidores 1610 y 1611 de contenido, una red 1612, y un dispositivo 1620 de reproducción de contenido (un dispositivo de cliente) como se ilustra en la Figura 64.
[0581] Los servidores 1610 y 1611 de contenido se conectan con el dispositivo 1620 de reproducción de contenido mediante la red 1612. La red 1612 es una trayectoria de transmisión alámbrica o inalámbrica de información transmitida desde un dispositivo conectado a la red 1612.
[0582] Por ejemplo, la red 1612 puede incluir una red de linea pública tal como la Internet, una red de linea telefónica, o una red de comunicación satelital, diversos tipos de LAN tales como la Ethernet (una marca registrada), una red de área amplia (WAN), o similar. Además, la red 1612 puede incluir una red de linea dedicada tal como una red privada de protocolo virtual de Internet (IP-VPN).
[0583] El servidor 1610 de contenido codifica datos de contenido, y genera y almacena un archivo de datos que incluye meta información de datos codificados y datos codificados.Cuando el servidor 1610 de contenido genera un archivo de datos de un formato MP4, los datos codificados corresponden a "mdat", y la meta información corresponde a "moov".
[0584] Además, los datos de contenido pueden ser datos de música tales como música, una lectura, o un programa de radio, datos de video tales como una película,un programa de televisión, un programa de video, una fotografía, un documento, una pintura, y una gráfica, un juegos, software, o similares.
[0585] Aquí, el servidor 1610 de contenido genera una pluralidad de archivos de datos para el mismo contenido en diferentes tasas de bit.Además, en respuesta a una solicitud de reproducción de contenido recibida desde el dispositivo 1620 de reproducción de contenido, el servidor 1611 de contenido incluye información de un parámetro agregado a un URL correspondiente por el dispositivo 1620 de reproducción de contenido en una información del URL del servidor 1610 de contenido y transmite la información resultante al dispositivo 1620 de reproducción de contenido. Los detalles se describirán a continuación con referencia a la Figura 65.
[0586] La Figura 65 es un diagrama explicativo que ilustra un flujo de datos en el sistema de reproducción de contenido de la Figura 64.. El servidor 1610 de contenido codifica los mismos datos de contenido a diferentes tasas de bit, y genera, por ejemplo, un archivo A de 2 Mbps, un archivo B de 1.5 Mbps, y un archivo C de 1 Mbps como se ilustran en la Figura 65. Relativamente, el archivo A es una tasa de bit alto, el archivo B es una tasa de bit estándar, y el archivo C es una tasa de bit bajo.
[0587] Además, los datos codificados de cada archivo se dividen en una pluralidad de segmentos como se ilustra en la Figura 65. Por ejemplo, los datos codificados del archivo A se dividen en segmentos tales como "Al", "A2", "A3",..., y "An", los datos codificados para el archivo B se dividen en segmentos tales como "Bl", "B2", "B3", ..., y "Bn", y los datos codificados del archivo C se dividen en segmentos tales como "Cl", "C2", "C3", ..., y "Cn".
[0588] Además, cada segmento puede configurarse con una muestra de configuración en lugar de una o más piezas de datos de video codificados y datos de audio codificados que inician desde una muestra receptora de MP4 (por ejemplo, una imagen de IDR en la codificación de video de AVC/H.264) y se reproduce independientemente. Por ejemplo, cuando los datos de video de 30 tramas por segundo se codifican por un GOP que tiene una longitud fija de 15 tramas, cada segmento puede ser datos de video y audio codificados de 2 segundos que corresponden a 4 GOP o pueden ser datos de video y audio codificados de 10 segundos que corresponden a 20 GOP.
[0589] Además, los segmentos que son los mismos en un orden de organización en cada archivo tienen los mismos márgenes de reproducción (márgenes de una posición de tiempo desde el encabezado de contenido). Por ejemplo, los márgenes de reproducción del segmento "A2", el segmento "B2", y el segmento "C2" son los mismos, y cuando cada segmento es datos codificados de 2 segundos, los márgenes de reproducción del segmento "A2", el segmento "B2", y el segmento "C2" son 2 a 4 segundos de contenido.
[0590] Cuando el archivo A para el archivo C configurado con una pluralidad de los segmentos se genera, el servidor 1610 de contenido almacena el archivo A para el archivo C. Además, como se ilustra en la Figura 65, el servidor 1610 de contenido transmite de manera secuencial los segmentos que configuran diferentes archivos del dispositivo 1620 de reproducción de contenido, y el dispositivo 1620 de reproducción de contenido realiza la reproducción de transmisión continua en los segmentos recibidos.
[0591] Aquí, el servidor 1610 de contenido de acuerdo con la presente modalidad transmite un archivo de lista de reproducción (en lo sucesivo, una "descripción de presentación de medios (MPD) " que incluye información de tasa de bit e información de acceso de cada dato codificado para el dispositivo 1620 de reproducción de contenido, y el dispositivo 1620 de reproducción de contenido selecciona cualquiera de una pluralidad de tasas de bit basada en la MPD y solicita al servidor 1610 de contenido transmitir un segmento que corresponde a la tasa de bit seleccionada.
[0592] La Figura 64 ilustra solamente un servidor 1610 de contenido, pero la presente descripción no se limita a este ejemplo.
[0593] La Figura 66 es un diagrama explicativo que ilustra un ejemplo especifico de laMPD.La MPD incluye información de acceso relacionada con una pluralidad de piezas de datos codificados que tienen diferentes tasas de bit (anchos de banda) como se ilustra en la Figura 66. Por ejemplo, la MPD ilustrada en la Figura 66 indica que existen datos codificados de 256 Kbps, datos codificados de 1.024 Mbps, datos codificados de 1.384 Mbps, datos codificados de 1.536 Mbps, y datos codificados de 2.048 Mbps, e incluye información de acceso relacionado con cada uno de los datos codificados. El dispositivo 1620 de reproducción de contenido puede cambiar dinámicamente una tasa de bit de datos codificados que se someten a la reproducción de transmisión continua basada en la MPD.
[0594] Además, la Figura 64 ilustra una terminal móvil como un ejemplo del dispositivo 1620 de reproducción de contenido, pero el dispositivo 1620 de reproducción de contenido no se limita a este ejemplo. Por ejemplo, el dispositivo 1620 de reproducción de contenido puede ser un dispositivo de procesamiento de información tal como una computadora personal (PC), un dispositivo de procesamiento de video doméstico (una grabadora de DVD, una grabadora de casete (VCR)), asistentes digitales personales (PDA), una máquina de juegos de uso doméstico, o un aparato eléctrico doméstico. Además, el dispositivo 1620 de reproducción de contenido puede ser un dispositivo de procesamiento de información tal como un teléfono móvil, un sistema de teléfono portátil personal (PHS) un reproductor de música portátil, un dispositivo de procesamiento de video portátil, o una máquina de juego portátil.
[0595] <Configuración del servidor 1610 de contenido> La descripción general del sistema de reproducción de contenido se ha descrito en lo anterior con referencia a las Figuras 64 a 66.A continuación, se describirá una configuración del servidor 1610 de contenido con referencia a la Figura 67.
[0596] La Figura 67 es un diagrama de bloque funcional que ilustra una configuración del servidor 1610 de contenido. El servidor 1610 de contenido incluye una unidad 1631 de generación de archivo, una unidad 1632 de almacenamiento y una unidad 1633 de comunicación como se ilustra en la Figura 67.
[0597] La unidad 1631 de generación de archivo incluye un codificador 1641 el cual codifica los datos de contenido y genera una pluralidad de piezas de datos codificados que tienen diferentes tasas de bit para el mismo contenido y la MPD. Por ejemplo, cuando los datos codificados de 256 Kbps, datos codificados de 1.024 Mbps, datos codificados de 1.384 Mbps, datos codificados de 1.536 Mbps, y datos codificados de 2.048 Mbps se generan, la unidad 1631 de generación de archivo genera la MPD ilustrada en la Figura 66.
[0598] La unidad 1632 de almacenamiento almacena la pluralidad de piezas de datos codificados que tienen diferentes tasas de bit y la MPD generada por la unidad 1631 de generación de archivo. La unidad 1632 de almacenamiento puede ser un medio de almacenamiento tal como una memoria no volátil, un disco magnético, un disco óptico, o un disco magneto óptico (MO). Ejemplos de la memoria no volátil incluyen una memoria de sólo lectura programable borrable eléctricamente (EEPROM) y una ROM programable borrable (EPROM).Como un disco magnético, existe un disco duro, un disco tipo disco magnético, y similares. Además, como un disco óptico, existe un disco compacto (CD), un disco versátil digital grabable (DVD-R), un disco Blu-Ray (BD) (una marca registrada), y similares.
[0599] La unidad 1633 de comunicación es una interfaz con el dispositivo 1620 de reproducción de contenido, y se comunica con el dispositivo 1620 de reproducción de contenido mediante la red 1612. En más detalle, la unidad 1633 de comunicación tiene una función como un servidor HTTP el cual se comunica con el dispositivo 1620 de reproducción de contenido de acuerdo con HTTP. Por ejemplo, la unidad 1633 de comunicación transmite la MPD al dispositivo 1620 de reproducción de contenido, extrae los datos codificados solicitados basados en la MPD desde el dispositivo 1620 de reproducción de contenido de acuerdo con HTTP de la unidad 1632 de almacenamiento, y transmite los datos codificados al dispositivo 1620 de reproducción de contenido como una respuesta de HTTP.
[0600] <Configuración del dispositivo 1620 de reproducción de contenido> La configuración del servidor 1610 de contenido de acuerdo con la presente modalidad se ha descrito en lo anterior. A continuación, se describirá una configuración del dispositivo 1620 de reproducción de contenido con referencia a la Figura 68.
[0601] La Figura 68 es un diagrama de bloque funcional que ilustra una configuración del dispositivo 1620 de reproducción de contenido. El dispositivo 1620 de reproducción de contenido incluye una unidad 1651 de comunicación, una unidad 1652 de almacenamiento, una unidad 1653 de reproducción, una unidad 1654 de selección,y una unidad 1656 de adquisición de ubicación actual como se ilustra en la Figura 68.
[0602] La unidad 1651 de comunicación es una interfaz con la que el servidor 1610 de contenido, solicita al servidor 1610 de contenido transmitir datos, y adquiere datos desde el servidor 1610 de contenido.En más detalle, la unidad 1651 de comunicación tiene una función como un cliente de HTTP el cual se comunica con el dispositivo 1620 de reproducción de contenido de acuerdo con el HTTP. Por ejemplo, la unidad 1651 de comunicación puede adquirir selectivamente la MPD y los segmentos de los datos codificados desde el servidor 1610 de contenido utilizando un margen de HTTP.
[0603] La unidad 1652 de almacenamiento almacena diversos tipos de piezas de información relacionadas con la reproducción de contenido. Por ejemplo, los segmentos adquiridos desde el servidor 1610 de contenido por la unidad 1651 de comunicación se almacenan temporalmente en secuencia.Los segmentos de los datos codificados almacenados temporalmente en la unidad 1652 de almacenamiento se suministran de manera secuencial a la unidad 1653 de reproducción en una manera de primera entrada primera salida (FIFO).
[0604] Además, la unidad 1652 de almacenamiento agrega un parámetro a un URL a través de la unidad 2651 de comunicación basado en una instrucción para agregar un parámetro a un URL de contenido que se describe en la MPD y se solicita desde el servidor 1611 de contenido el cual se describirá posteriormente, y almacena una definición para acceder al URL.
[0605] La unidad 1653 de reproducción reproduce secuencialmente los segmentos suministrados desde la unidad 1652 de almacenamiento. Específicamente, la unidad 1653 de reproducción realiza la descodificación de segmentos, la conversión de DA, presentación y similares.
[0606] La unidad 1654 de selección selecciona de manera secuencial sí un segmento de datos codificados que corresponde a cualquiera de las tasas de bits incluidas en la MPD se adquiere o no en el mismo contenido. Por ejemplo, cuando la unidad 1654 de selección selecciona de manera secuencial los segmentos "Al", "B2", y "A3" de acuerdo con la frecuencia de banda de la red 1612, la unidad 1651 de comunicación adquiere de manera secuencial los segmentos "Al", "B2", y "A3" desde el servidor 1610 de contenido como se ilustra en la Figura 65.
[0607] La unidad 1656 de adquisición de ubicación presente puede configurarse con un módulo que adquiere una posición actual del dispositivo 1620 de reproducción de contenido, por ejemplo, adquiere una posición actual de un receptor de sistema de posicionamiento global (GPS) o similares.Además, la unidad 1656 de adquisición de ubicación presente puede adquirir una posición actual del dispositivo 1620 de reproducción de contenido utilizando una red inalámbrica.
[0608] <Configuración del servidor 1611 de contenido> La Figura 69 es un diagrama para describir una configuración ejemplar del servidor 1611 de contenido. El servidor 1611 de contenido incluye una unidad 1671 de almacenamiento y una unidad 1672 de comunicación como se ilustra en la Figura 69.
[0609] La unidad 1671 de almacenamiento almacena la información del URL de la MPD. La información de URL de la MPD se transmite desde el servidor 1611 de contenido hasta el dispositivo 1620 de reproducción de contenido de acuerdo con la solicitud recibida del dispositivo 1620 de reproducción de contenido que solicita la reproducción de contenido. Además, cuando la información de URL de la MPD se proporciona al dispositivo 1620 de reproducción de contenido, la unidad 1671 de almacenamiento almacena la información de definición utilizada cuando el dispositivo 1620 de reproducción de contenido agrega el parámetro al URL descrito en la MPD.
[0610] La unidad 1672 de comunicación es una interfaz con el dispositivo 1620 de reproducción de contenido, y se comunica con el dispositivo 1620 de reproducción de contenido mediante la red 1612. En otras palabras, la unidad 1672 de comunicación recibe la solicitud para solicitar la información del URL de la MPD del dispositivo 1620 de reproducción de contenido que solicita la reproducción de contenido, y transmite la información del URL de la MPD al dispositivo 1620 de reproducción de contenido. El URL de la MPD transmitida desde la unidad 1672 de comunicación incluye información a la cual se agrega el parámetro a través del dispositivo 1620 de reproducción de contenido.
[0611] Diversas configuraciones pueden realizarse en el parámetro para agregarse al URL de la MPD a través del dispositivo 1620 de reproducción de contenido basado en la información de definición compartida por el servidor 1611 de contenido y el dispositivo 1620 de reproducción de contenido. Por ejemplo, la información tal como una posición actual del dispositivo 1620 de reproducción de contenido, un ID de usuario del usuario que utiliza el dispositivo 1620 de reproducción de contenido, un tamaño de memoria del dispositivo 1620 de reproducción de contenido, y la capacidad de un almacenamiento del dispositivo 1620 de reproducción de contenido puede agregarse al URL de la MPD a través del dispositivo 1620 de reproducción de contenido.
[0612] En el sistema de reproducción de contenido que tiene la configuración anterior, cuando la presente teenología descrita en lo anterior con referencia a las Figuras 1 a 43 se aplica, pueden obtenerse los mismos efectos que los efectos descritos en lo anterior con referencia a las Figuras 1 a 43.
[0613] En otras palabras, el codificador 1641 del servidor 1610 de contenido tiene la función del dispositivo de codificación de imágenes de acuerdo con la modalidad anterior. Además, la unidad 1653 de reproducción del dispositivo 1620 de reproducción de contenido tiene la función del dispositivo de descodificación de imágenes de acuerdo con la modalidad anterior. De esta manera, es posible suprimir un incremento en una capacidad de almacenamiento necesaria para codificar y descodificar.
[0614] Además, en el sistema de reproducción de contenido, cuando los datos codificados de acuerdo con la presente teenología se transmiten y reciben, es posible suprimir un incremento en una capacidad de almacenamiento necesario para codificar y descodificar.
[0615] <12. Décima modalidad> <Ejemplos de aplicación del sistema de comunicación inalámbrica de un estándar Wi-Fi> Un ejemplo de operación básico de un dispositivo de comunicación inalámbrico en el sistema de comunicación inalámbrico al cual se aplica la presente tecnología se describirá .
[0616] <Ejemplo de operación básica del dispositivo de comunicación inalámbrica> Primero, los paquetes inalámbricos se transmiten y reciben hasta que se establece una conexión de punto a punto (P2P) y se opera una aplicación especifica.
[0617] Entonces, antes de que se establezca una conexión a través de una segunda capa, los paquetes inalámbricos se transmiten y reciben hasta que se designa una aplicación especifica que se utilizará, después de que se establece una conexión P2P, y se opere una aplicación especifica. En lo sucesivo, después de que se establece una conexión a través de la segunda capa, los paquetes inalámbricos para activar una aplicación especifica se transmiten y reciben.
[0618] <Ejemplo de comunicación cuando inicia la operación de la aplicación específica> Las Figuras 70 y 71 son diagramas de secuencia que ilustran un proceso de comunicación ejemplar por dispositivos que sirven como la base de la comunicación inalámbrica como un ejemplo de transmisión y recepción de paquetes inalámbricos hasta que se establece la conexión de P2P, y se opera una aplicación especifica. Específicamente, un proceso de establecimiento de conexión directa ejemplar del establecimiento de una conexión en el estándar directo de Wi-Fi (el cual también se denomina como "P2P Wi-Fi") estandarizado en la Alianza Wi-Fi se ilustra.
[0619] Aquí, en la dirección Wi-Fi, una pluralidad de dispositivos de comunicación inalámbrica detectan la presencia del dispositivo de comunicación inalámbrica de otra parte (descubrimiento de dispositivo y descubrimiento de servicio). Además, cuando se realiza la selección de dispositivo de conexión, se realiza la autenticación del dispositivo entre los dispositivos seleccionados a través de la configuración protegida de Wi-Fi (WPS), y después se establece una conexión directa. En la dirección de Wi-Fi, una pluralidad de dispositivos de comunicación inalámbrica deciden levantar un dispositivo maestro (un propietario de grupo) o un dispositivo esclavo (un cliente), y forma un grupo de comunicación.
[0620] Aquí, en este proceso de comunicación ejemplar, la transmisión y recepción de algunos paquetes no se ilustra. Por ejemplo, el momento de una primera conexión, el intercambio de paquete para utilizar WPS es necesario como se describe en lo anterior, y el intercambio de paquete también es necesario en el intercambio de una autenticación de solicitud/respuesta o similar. Sin embargo, en las Figuras 70 y 71, tal intercambio de paquete no se ilustra, y solamente una segunda conexión y la última se ilustran.
[0621] Además, en las Figuras 70 y 71, se ilustra un proceso de comunicación ejemplar entre un primer dispositivo 1701 de comunicación inalámbrica y un segundo dispositivo 1702 de comunicación inalámbrica, pero lo mismo aplica a un proceso de comunicación entre otros dispositivos de comunicación inalámbrica.
[0622] Primero, se realiza el descubrimiento del dispositivo entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica (1711). Por ejemplo, el primer dispositivo 1701 de comunicación inalámbrica transmite una solicitud de sondeo (una señal de solicitud de respuesta) y recibe una respuesta de sondeo (una señal de respuesta) a la solicitud de sondeo desde el segundo dispositivo 1702 de comunicación inalámbrica. De esta manera, el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica pueden descubrir la presencia de la otra parte. Además, a través del descubrimiento del dispositivo, es posible adquirir el nombre de un dispositivo o un tipo (una TVM, una PC, un teléfono inteligente, o similares) de la otra parte.
[0623] Entonces, el descubrimiento de servicio se realiza entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica (1712).
Por ejemplo, el primer dispositivo 1701 de comunicación inalámbrica transmite una consulta de descubrimiento de servicio de consulta de un servicio soportado por el segundo dispositivo 1702 de comunicación inalámbrica descubierto a través del descubrimiento de dispositivo. Después, el primer dispositivo 1701 de comunicación inalámbrica puede adquirir un servicio soportado por el segundo dispositivo 1702 de comunicación inalámbrica al recibir una respuesta de descubrimiento de servicio desde el segundo dispositivo 1702 de comunicación inalámbrica. En otras palabras, a través del descubrimiento de servicio, es posible adquirir, por ejemplo, un servicio ejecutable por la otra parte.Por ejemplo, el servicio ejecutable por la otra parte es un servicio o un protocolo (una alianza de red en vivo digital (DLNA), un reproductor de medios digital (DMR), o similares).
[0624] Entonces, el usuario realiza una operación (una operación de selección de compañero de conexión) de seleccionar un compañero de conexión (1713). La operación de selección de compañero de conexión puede realizarse en solamente alguno del primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica. Por ejemplo, una pantalla de selección de compañero de conexión se despliega en una unidad de visualización del primer dispositivo 1701 de comunicación inalámbrica, y el segundo dispositivo 1702 de comunicación inalámbrica se selecciona en la pantalla de selección de compañero de conexión como un compañero de conexión de acuerdo con la operación del usuario.
[0625] Cuando el usuario realiza la operación de selección de compañero de conexión (1713), se realiza una negociación de propietario de grupo entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica (1714). En el ejemplo ilustrado en las Figuras 70 y 71, como resultado de la negociación del propietario de grupo, el primer dispositivo 1701 de comunicación inalámbrica se vuelve un propietario 1715 de grupo, y el segundo dispositivo 1702 de comunicación inalámbrica se vuelve un cliente 1716.
[0626] Entonces, los procesos (1717 a 1720) se realizan entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica, y de esta manera, se establece una conexión directa.En otras palabras, la asociación (establecimiento de enlace L2 (segunda capa)) (1717) y el establecimiento de enlace seguro (1718)se realizan de manera secuencial. Además, la asignación de dirección IP (1719) y configuración L4 (1720) en L3 por un protocolo de descubrimiento de servicio simple (SSDP) se realizan en secuencia. Además, L2 (capa 2) indica una segunda capa (una capa de enlace de datos), L3 (capa 3) indica una tercera capa (una capa de red), y L4 (capa 4) indica una cuarta capa (una capa de transporte).
[0627] Después, el usuario realiza una operación de designación de aplicación especifica o una operación de activación (una operación de designación/activación de aplicación) (1721). La operación de designación/activación de aplicación puede realizarse en solamente alguno del primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica. Por ejemplo, una pantalla de operación de designación/activación de aplicación se despliega en una unidad de visualización del primer dispositivo 1701 de comunicación inalámbrica, y se selecciona una aplicación especifica en la pantalla de operación de designación/activación de aplicación de acuerdo con la operación del usuario.
[0628] Cuando el usuario realiza la operación de designación/activación de aplicación (1721), una aplicación especifica que corresponde a la operación de designación/activación de aplicación se ejecuta entre el primer dispositivo 1701 de comunicación inalámbrica y el segundo dispositivo 1702 de comunicación inalámbrica (1722).
[0629] Aquí, se considera una conexión al realizarse entre las estaciones de punto de acceso (AP-STA) dentro de un margen de la especificación (la especificación estandarizada en IEEE802.il) antes del estándar de dirección de Wi-Fi.En este caso, es difícil detectar un dispositivo que se conecta previamente antes de que se establezca una conexión a través de la segunda capa (antes de que se realice la asociación en la terminología de IEEE802.il).
[0630] Por otra parte, como se ilustra en las Figuras 70 y 71, en la dirección de Wi-Fi, cuando se busca un candidato de compañero de conexión a través del descubrimiento de dispositivo o el descubrimiento de servicio (opción) es posible adquirir información de un compañero de conexión. Ejemplos de la información del compañero de conexión incluyen un tipo de un dispositivo básico y una aplicación específica soportada. Además, es posible provocar que el usuario seleccione el compañero de conexión basado en la información adquirida del compañero de conexión.
[0631] Al extender esta especificación, también es posible implementar un sistema de comunicación inalámbrica en el que la aplicación específica se designa antes de que una conexión se establezca a través de la segunda capa, se selecciona un compañero de conexión,y la aplicación específica se activa automáticamente después de la selección. Un ejemplo de una secuencia de establecimiento de una conexión en el caso se ilustra en la Figura 73. Además, una configuración ejemplar de un formato de trama transmitido y recibido en el proceso de comunicación se ilustra en la Figura 72.
[0632] Configuración ejemplar del formato de tramas> La Figura 72 es un diagrama que ilustra esquemáticamente una configuración ejemplar de un formato de tramas transmitido-recibido en un proceso de comunicación realizado por los dispositivos que sirven como la base de la presente teenología. En otras palabras, la Figura 72 ilustra una configuración ejemplar de una trama MAC utilizada para establecer una conexión a través de la segunda capa. Específicamente, un ejemplo de un formato de tramas de una solicitud/respuesta de asociación (1787) para implementar la secuencia ilustrada en la Figura 73 se ilustra.
[0633] Como se ilustra en la Figura 72,una trama de MAC incluye un control de tramas (1751) para FCS (1758), y una porción que varía del control de trama (1751)a un control de secuencia (1756) que sirve como un encabezado de MAC.Además, cuando se transmite una solicitud de asociación, B3B2 = "ObOO" y B7B6B5B4 = "ObOOOO" se establecen en el control de trama (1751). Además, cuando se encapsula una respuesta de asociación, B3B2 = "ObOO" y B7B6B5B4 = "ObOOOl" se establecen en el control de trama (1751). Además, "ObOO" es "00" en la notación binaria, "ObOOOO" es "0000" en la notación binaria, y "ObOOOl" es "0001" en la notación binaria.
[0634] Aquí, la trama deMAC (cuerpo de trama (1757)) ilustrado en la Figura 70 es básicamente un formato de trama de solicitud/respuesta de asociación descrita en las secciones 7.2.3.4 y 7.2.3.5 de la especificación de IEEE802.11-2007.Aquí, una diferencia yace en que los elementos de información extendida es independiente (en adelante, abreviados como "IE") asi como también IE definidos en la especificación IEEE802.il (1759) se incluyen.
[0635] Además, para indicar un IE especifico de proveedor (1760), 127 que es el número decimal se establece como un tipo de IE (ID de elemento de información (1761)). En este caso, a través de la sección 7.3.2.26 de la especificación de IEEE 802.11-2007, un campo de longitud (1762) y un campo de OUI (1763) son subsiguientes, y un contenido especifico de proveedor (1764) se dispone de manera subsiguiente.
[0636] Como contenido del contenido especifico de proveedor (1764), un campo (tipo IE (1765)) que indica un tipo de IE especifico de proveedor se establece primero. De manera subsiguiente, una configuración capaz de almacenar una pluralidad de subelementos (1766) se considera para darse.
[0637] Como contenido de subelemento (1766), un nombre (1767) de una aplicación especifica a utilizarse en un rol de dispositivo (1768) cuando la aplicación especifica opera se considera para incluirse. Además, la información (información para configuración de L4) (1769) de una aplicación específica, un número de puerto utilizado para el mismo, o similar e información (información de capacidad) (1770) relacionado con la capacidad en una aplicación especifica se consideran para incluirse.Aquí, por ejemplo, cuando una aplicación especifica designada es una DLNA, la información de capacidad es información para especificar si la transmisión/reproducción de audio está soportada o no, si la transmisión/reproducción de video está soportada o no, o simila .
[0638] En el sistema de comunicación inalámbrica que tiene la configuración anterior, cuando la presente teenología descrita en lo anterior con referencia a las Figuras 1 a 43 se aplica, pueden obtenerse los mismos efectos que los efectos descritos en lo anterior con referencia a las Figuras 1 a 43.En otras palabras, es posible suprimir un incremento en una capacidad de almacenamiento necesaria para codificar y descodificar.Además, en el sistema de comunicación inalámbrica, cuando la transmisión y recepción de los datos codificados de acuerdo con la presente tecnología se realizan, es posible suprimir un incremento en una capacidad de almacenamiento necesario para codificar y descodificar.
[0639] En esta especificación, la descripción se hará junto con el ejemplo en el que diversos tipos de piezas de información se multiplexan en una corriente codificada y se transmiten desde un lado de codificación a un lado de descodificación.Sin embargo, la téenica para transmitir la información no se limita a este ejemplo. Por ejemplo, la información puede transmitirse o grabarse como datos individuales asociados con una corriente de bits codificada sin que se multiplexe en una corriente de bits codificada. Aquí, un término "asociado" significa que una imagen (o una parte de una imagen tal como una sección o un bloque) incluida en una corriente de bits puede enlazarse con información que corresponde a la imagen al momento de la descodificación. En otras palabras, la información puede transmitirse a través de una trayectoria de transmisión diferente de una imagen (o una corriente de bits). Además, la información puede grabarse en un medio de grabación (o un área de grabación diferente del mismo medio de grabación) diferente de una imagen (o una corriente de bits). Además, por ejemplo, la información y la imagen (o una corriente de bits) pueden asociarse entre si, en unidades arbitrarias tal como en unidades de una pluralidad de tramas, unidades de tramas, o unidades de partes de una trama.
[0640] Las modalidades preferidas de la presente descripción se han descrito en lo anterior con referencia a los dibujos anexos, mientras que la presente descripción no se limita a los ejemplos anteriores. Una persona con experiencia en la téenica puede encontrar diversas alteraciones y modificaciones dentro del alcance de las reivindicaciones anexas, y debe entenderse que naturalmente estarán bajo el alcance técnico de la presente descripción.
[0641] La presente tecnología puede tener las siguientes configuraciones también. (1) Un dispositivo de procesamiento de imágenes que incluye: una unidad de restricción que restringe un valor de un elemento de sintaxis relacionado con un proceso inter-imagen cuando se realiza un proceso de codificación basado en un perfil para codificar una imagen fija; y una unidad de transmisión que transmite el elemento de sintaxis que tiene el valor restringido por la unidad de restricción. (2) El dispositivo de procesamiento de imágenes de acuerdo con cualquiera de (1) y (3) a (7), que además incluye, una unidad de codificación que codifica datos de imagen utilizando el elemento de sintaxis restringida por la unidad de restricción, y genera una corriente de bits, en donde la unidad de transmisión además transmite la corriente de bits generada por la unidad de codificación. (3) El dispositivo de procesamiento de imágenes de acuerdo con cualquiera de (1),(2), y (4) a (7), en donde el elemento de sintaxis se almacena en un conjunto de parámetro de secuencia de la corriente de bits. (4)El dispositivo de procesamiento de imágenes acuerdo con cualquiera de (1) a (3) y (5) a (7), en donde el elemento de sintaxis es una sintaxis relacionada con una imagen de referencia. (5) El dispositivo de procesamiento de imágenes de acuerdo con cualquiera de (1) a (4), (6), y (7), en donde el elemento de sintaxis es una sintaxis relacionada con el número de imágenes de referencia. (6) El dispositivo de procesamiento de imágenes de acuerdo con cualquiera de (1) a (5) y (7), en donde la unidad de restricción establece el valor del elemento de sintaxis a un valor predeterminado cuando el proceso de codificación se realiza basado en el perfil de codificación de imágenes fija. (7) El dispositivo de procesamiento de imágenes de acuerdo con cualquiera de (1) a (6), en donde el valor predeterminado es 0. (8)Un método de procesamiento de imágenes que incluye: restringir un valor de un elemento de sintaxis relacionado con un proceso inter-imagen cuando se realiza un proceso de codificación basado en un perfil para codificar una imagen fija; y transmitir el elemento de sintaxis que tiene el valor restringido. (9) El método de procesamiento de imágenes de acuerdo con cualquiera de (8) y (10) a (14), que además incluye, codificar datos de imagen utilizando los elementos de sintaxis restringido, generando una corriente de bits, y transmitir la corriente de bits. (10) El método de procesamiento de imágenes de acuerdo con cualquiera de (8), (9), y (11) a (14), en donde el elemento de sintaxis se almacena en un conjunto de parámetro de secuencia de la corriente de bits. (11) El método de procesamiento de imágenes de acuerdo con cualquiera de (8) a (10) y (12) a (14), en donde el elemento de sintaxis es una sintaxis relacionada con una imagen de referencia. (12) El método de procesamiento de imágenes de acuerdo con cualquiera de (8) a (11), (13), y (14), en donde el elemento de sintaxis es una sintaxis relacionada con el número de imágenes de referencia. (13) El método de procesamiento de imágenes de acuerdo con cualquiera de (8) a (12) y (14), en donde el valor del elemento de sintaxis se establece en un valor predeterminado cuando el proceso de codificación se realiza basado en el perfil de codificación de imágenes fija. (14) El método de procesamiento de imágenes de acuerdo con cualquiera de (8) a (13), en donde el valor predeterminado es 0.
LISTA DE SIGNOS DE REFERENCIA
[0642] 100 Dispositivo de codificación de imágenes 106 Unidad de codificación sin pérdidas 121 Unidad de establecimiento de perfil 131 Unidad de establecimiento de elemento de sintaxis 132 Unidad de codificación 200 Dispositivo de codificación de imágenes 211 Unidad de determinación 300 Dispositivo de descodificación de imágenes 302 Unidad de descodificación sin pérdidas 321 Unidad de determinación de perfil 331 Unidad de descodificación 332 Unidad de análisis de elementos de sintaxis 400 Dispositivo de descodificación de imágenes 411 Unidad de procesamiento de anormalidad 421 Unidad de inspección de elementos de sintaxis

Claims (12)

REIVINDICACIONES
1. Un dispositivo de procesamiento de imágenes caracterizado porque comprende: una unidad de restricción que restringe un valor de un elemento de sintaxis relacionado con el procesamiento de una sub capa cuando se realiza un proceso de codificación basado en un perfil para codificar una imagen fija; y una unidad de transmisión que transmite el elemento de sintaxis que tiene el valor restringido por la unidad de restricción.
2. El dispositivo de procesamiento de imágenes de conformidad con la reivindicación 1, caracterizado además porque comprende, una unidad de codificación que codifica datos de imagen utilizando el elemento de sintaxis restringido por la unidad de restricción, y genera una corriente de bits, en donde la unidad de transmisión además transmite la corriente de bits generada por la unidad de codificación.
3. El dispositivo de procesamiento de imágenes de conformidad con la reivindicación 2, caracterizado porque el elemento de sintaxis se almacena en un conjunto de parámetro de secuencia de la corriente de bits.
4. El dispositivo de procesamiento de imágenes de conformidad con la reivindicación 3, caracterizado porque el elemento de sintaxis es una sintaxis relacionada con un máximo del número de sub capas.
5. El dispositivo de procesamiento de imágenes de conformidad con la reivindicación 1, caracterizado porque la unidad de restricción restablece el valor del elemento de sintaxis a un valor predeterminado cuando el proceso de codificación se realiza basado en el perfil de codificación de la imagen fija.
6. El dispositivo de procesamiento de imágenes de conformidad con la reivindicación 5, caracterizado porque el valor predeterminado es 0.
7. Un método de procesamiento de imágenes, caracterizado porque comprende: restringir un valor de un elemento de sintaxis relacionado con un procesamiento de una subcapa cuando un proceso de codificación se realiza basado en un perfil para codificar una imagen fija; y transmitir el elemento de sintaxis que tiene el valor restringido.
8. El método de procesamiento de imágenes de conformidad con la reivindicación 7, caracterizado además porque comprende, codificar datos de imagen utilizando el elemento de sintaxis restringido, generando una corriente de bits, y transmitir la corriente de bits.
9. El método de procesamiento de imágenes de conformidad con la reivindicación 8, caracterizado porque el elemento de sintaxis se almacena en un conjunto de parámetro de secuencia de la corriente de bits.
10. El método de procesamiento de imágenes de conformidad con la reivindicación 9, caracterizado porque el elemento de sintaxis es una sintaxis relacionada con un máximo del número de sub capas.
11. El método de procesamiento de imágenes de conformidad con la reivindicación 7, caracterizado porque el valor del elemento de sintaxis se establece en un valor predeterminado cuando el proceso de codificación se realiza basado en el perfil de codificación de imágenes fija.
12. El método de procesamiento de imágenes de conformidad con la reivindicación 11, caracterizado porque el valor predeterminado es 0.
MX2015006474A 2012-11-30 2013-11-21 Dispositivo y metodo de procesamiento de imagenes. MX357870B (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012263811 2012-11-30
JP2013002877 2013-01-10
PCT/JP2013/081345 WO2014084109A1 (ja) 2012-11-30 2013-11-21 画像処理装置および方法

Publications (2)

Publication Number Publication Date
MX2015006474A true MX2015006474A (es) 2015-08-14
MX357870B MX357870B (es) 2018-07-27

Family

ID=50827747

Family Applications (2)

Application Number Title Priority Date Filing Date
MX2015006474A MX357870B (es) 2012-11-30 2013-11-21 Dispositivo y metodo de procesamiento de imagenes.
MX2015006473A MX353544B (es) 2012-11-30 2013-11-21 Dispositivo de procesamiento de imagen y método.

Family Applications After (1)

Application Number Title Priority Date Filing Date
MX2015006473A MX353544B (es) 2012-11-30 2013-11-21 Dispositivo de procesamiento de imagen y método.

Country Status (9)

Country Link
US (2) US10834426B2 (es)
EP (2) EP2928195A4 (es)
JP (3) JPWO2014084109A1 (es)
KR (2) KR20150092120A (es)
CN (2) CN104838659B (es)
BR (2) BR112015011914A2 (es)
MX (2) MX357870B (es)
RU (2) RU2663341C2 (es)
WO (2) WO2014084109A1 (es)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201805464YA (en) * 2013-12-26 2018-08-30 Univ Singapore Technology & Design A method and apparatus for reducing data bandwidth between a cloud server and a thin client
CN106233736B (zh) * 2014-04-25 2020-06-05 索尼公司 发送设备、发送方法、接收设备以及接收方法
US20160021375A1 (en) * 2014-07-16 2016-01-21 Qualcomm Incorporated Transport stream for carriage of video coding extensions
WO2016171528A1 (ko) * 2015-04-23 2016-10-27 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US11146788B2 (en) 2015-06-12 2021-10-12 Qualcomm Incorporated Grouping palette bypass bins for video coding
US10593066B1 (en) * 2017-09-29 2020-03-17 A9.Com, Inc. Compression of multi-dimensional object representations
JP7154833B2 (ja) 2018-06-20 2022-10-18 キヤノン株式会社 通信装置、通信方法、およびプログラム
JP7118764B2 (ja) * 2018-06-20 2022-08-16 キヤノン株式会社 通信装置、制御方法、およびプログラム
CN110958459B (zh) * 2018-09-26 2022-06-03 阿里巴巴集团控股有限公司 一种数据处理方法及其装置
CA3167874A1 (en) * 2020-01-13 2021-07-22 Lg Electronics Inc. Method and device for coding image/video on basis of prediction weighted table
AR121125A1 (es) 2020-02-29 2022-04-20 Beijing Bytedance Network Tech Co Ltd Interacción entre cabecera de imagen y cabecera de segmento de un flujo de bits de video
KR20230015392A (ko) * 2020-05-22 2023-01-31 엘지전자 주식회사 Gci를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
US20230308668A1 (en) * 2020-06-08 2023-09-28 Telefonaktiebolaget Lm Ericsson (Publ) Determining capability to decode a first picture in a video bitstream

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US7379498B2 (en) * 2002-03-11 2008-05-27 Broadcom Corporation Reconstructing a compressed still image by transformation to a compressed moving picture image
JP4931034B2 (ja) * 2004-06-10 2012-05-16 株式会社ソニー・コンピュータエンタテインメント 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体
JPWO2006072985A1 (ja) * 2005-01-06 2008-06-12 三菱電機株式会社 映像表示装置
JP2007013436A (ja) 2005-06-29 2007-01-18 Toshiba Corp 符号化ストリーム再生装置
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
EP2228994A3 (en) * 2005-09-20 2012-07-25 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
JP2007201721A (ja) 2006-01-25 2007-08-09 Victor Co Of Japan Ltd 符号化データ生成装置
AU2006338425B2 (en) * 2006-02-13 2010-12-09 Kabushiki Kaisha Toshiba Moving image encoding/decoding method and device and program
MX2009003968A (es) * 2006-10-16 2009-06-01 Nokia Corp Sistema y método para usar segmentos decodificables paralelamente para codificación de video de vistas múltiples.
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
US8170097B2 (en) * 2007-12-04 2012-05-01 Sony Corporation Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video
JP5183309B2 (ja) 2008-06-11 2013-04-17 キヤノン株式会社 映像復号化装置及び方法
EP2392138A4 (en) * 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
US9813705B2 (en) * 2012-04-26 2017-11-07 Qualcomm Incorporated Parameter set coding
US9491487B2 (en) * 2012-09-25 2016-11-08 Apple Inc. Error resilient management of picture order count in predictive coding systems
CN105325003B (zh) * 2013-04-17 2019-05-28 诺基亚技术有限公司 用于视频编码和解码的装置、方法

Also Published As

Publication number Publication date
BR112015011914A2 (pt) 2017-07-11
JP2018121336A (ja) 2018-08-02
WO2014084108A1 (ja) 2014-06-05
RU2663341C2 (ru) 2018-08-03
JPWO2014084109A1 (ja) 2017-01-05
EP2942966A4 (en) 2016-05-25
US10834426B2 (en) 2020-11-10
CN104838659A (zh) 2015-08-12
WO2014084109A1 (ja) 2014-06-05
CN104813670A (zh) 2015-07-29
RU2015119571A (ru) 2016-12-10
EP2928195A4 (en) 2016-06-01
RU2651201C2 (ru) 2018-04-18
EP2942966A1 (en) 2015-11-11
JPWO2014084108A1 (ja) 2017-01-05
CN104838659B (zh) 2019-09-10
US10841618B2 (en) 2020-11-17
KR20150092120A (ko) 2015-08-12
MX2015006473A (es) 2015-08-14
RU2015119570A (ru) 2016-12-10
MX353544B (es) 2018-01-18
US20160286238A1 (en) 2016-09-29
EP2928195A1 (en) 2015-10-07
BR112015011913A2 (pt) 2017-07-11
US20160286239A1 (en) 2016-09-29
KR20150092119A (ko) 2015-08-12
MX357870B (es) 2018-07-27

Similar Documents

Publication Publication Date Title
US11706448B2 (en) Image processing apparatus and image processing method
US10075719B2 (en) Image coding apparatus and method
RU2663341C2 (ru) Устройство обработки изображений и способ
JP6607414B2 (ja) 画像符号化装置および方法
US20150208074A1 (en) Image processing device and method
WO2015005132A1 (ja) 画像符号化装置および方法、並びに画像復号装置および方法

Legal Events

Date Code Title Description
FG Grant or registration