MX2015002870A - Aparato y metodo para la codificacion de imagenes. - Google Patents
Aparato y metodo para la codificacion de imagenes.Info
- Publication number
- MX2015002870A MX2015002870A MX2015002870A MX2015002870A MX2015002870A MX 2015002870 A MX2015002870 A MX 2015002870A MX 2015002870 A MX2015002870 A MX 2015002870A MX 2015002870 A MX2015002870 A MX 2015002870A MX 2015002870 A MX2015002870 A MX 2015002870A
- Authority
- MX
- Mexico
- Prior art keywords
- unit
- image
- inter
- layer
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 420
- 239000010410 layer Substances 0.000 claims abstract description 644
- 239000011229 interlayer Substances 0.000 claims abstract description 323
- 238000012545 processing Methods 0.000 claims abstract description 115
- 230000005540 biological transmission Effects 0.000 claims abstract description 94
- 238000004458 analytical method Methods 0.000 claims description 77
- 230000009467 reduction Effects 0.000 claims description 25
- 230000006872 improvement Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 description 331
- 230000006854 communication Effects 0.000 description 134
- 238000004891 communication Methods 0.000 description 124
- 238000010586 diagram Methods 0.000 description 109
- 230000006870 function Effects 0.000 description 62
- 230000009466 transformation Effects 0.000 description 60
- 238000005516 engineering process Methods 0.000 description 50
- 238000006243 chemical reaction Methods 0.000 description 47
- 238000013139 quantization Methods 0.000 description 47
- 230000002441 reversible effect Effects 0.000 description 45
- 238000003860 storage Methods 0.000 description 36
- 238000004364 calculation method Methods 0.000 description 34
- 230000005236 sound signal Effects 0.000 description 20
- 230000008901 benefit Effects 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 19
- 230000008707 rearrangement Effects 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 17
- 238000013500 data storage Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 14
- 238000009825 accumulation Methods 0.000 description 13
- 238000009826 distribution Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 230000002829 reductive effect Effects 0.000 description 10
- 239000004065 semiconductor Substances 0.000 description 10
- 230000004913 activation Effects 0.000 description 9
- 230000001419 dependent effect Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 230000003321 amplification Effects 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000036961 partial effect Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 238000011946 reduction process Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 2
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- OROGSEYTTFOCAN-DNJOTXNNSA-N codeine Chemical compound C([C@H]1[C@H](N(CC[C@@]112)C)C3)=C[C@H](O)[C@@H]1OC1=C2C3=CC=C1OC OROGSEYTTFOCAN-DNJOTXNNSA-N 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 108091026890 Coding region Proteins 0.000 description 1
- YQENSTCYDXQBAU-UHFFFAOYSA-N OBOO Chemical compound OBOO YQENSTCYDXQBAU-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 229960004126 codeine Drugs 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- OROGSEYTTFOCAN-UHFFFAOYSA-N hydrocodone Natural products C1C(N(CCC234)C)C2C=CC(O)C3OC2=C4C1=CC=C2OC OROGSEYTTFOCAN-UHFFFAOYSA-N 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000696 magnetic material Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
La presente descripción se refiere a un aparato y un método para codificación de imagen capaz de suprimir la reducción en la eficiencia de la codificación. El aparato para codificación de imagen incluye; una unidad de codificación que codifica los datos de la imagen configurada por una pluralidad de capas; una unidad de generación de la información relacionada con la predicción inter capas que genera la información relacionada con la predicción inter capas de la sección actual en un caso donde la capa de la sección actual es una capa de mejoramiento, y el tipo de la sección de la sección actual es una sección P o una sección B, y una unidad de transmisión que transmite los datos codificados de los datos de la imagen, generados por la unidad de codificación y la información relacionada con la predicción inter capas, generada por la unidad de generación de la información relacionada con la predicción inter capas. La presente descripción, por ejemplo, puede ser aplicada a un aparato para procesamiento de imagen tal como un aparato para codificación de imagen que codifica de forma escalable los datos de la imagen o un aparato para decodificación de imagen que decodifica los datos codificados adquiridos al llevar a cabo la codificación escalable de los datos de la imagen.
Description
APARATO Y MÉTODO PARA LA CODIFICACIÓN DE IMÁGENES
CAMPO TÉCNICO
La presente descripción se refiere a un aparato y método para la codificación de imágenes, y más particularmente, a un aparato y método para la codificación de imágenes, capaces de suprimir la reducción de la eficiencia de codificación.
ANTECEDENTES DE LA INVENCIÓN
Recientemente, con el fin de mejorar la eficiencia de la codificación más que la de MPEG-4 Parte 10 (Codificación Avanzada de Video; conocida de aquí en adelante como AVC), el Equipo Conjunto de Colaboración - Codificación de Video (JCTVC), que es la organización de estandarización del Sector de Estandarización de Telecomunicaciones de la Unión Internacional de Telecomunicaciones (ITU-T) y la Organización Internacional para la Estandarización/Comisión Electrotéenica Internacional (ISO/IEC), ha avanzado en la estandarización de un sistema de codificación llamado Codificación de Video de Alta Eficiencia (HEVC) (por ejemplo véase el Documento Relacionado con Patentes 1).
Además, se ha propuesto la estructura de una sintaxis de alto nivel (sintaxis de HL) de, por ejemplo, el conjunto de parámetros de video (VPS), el conjunto de parámetros de la secuencia (SPS), el conjunto de parámetros de la imagen (PPS), el encabezamiento de sección, y los similares, los cuales son comunes a los estándares extendidos, (por ejemplo, véase el
documento no Relacionado con Patentes 2 y el Documento No Relacionado con Patentes 3).
LISTA DE CITAS
Documentos No Relacionados con Patentes
Documento No Relacionado con Patentes 1: Benjamín Bross,
Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Cali)", JCTVC-L1003_v34 Joint Collaborative Team on Video Coding (JCT-VC) of ITU-y SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1112th Meeting: Geneva, CH, 14.23 Jan.2013
Documento No Relacionado con Patentes 2: Gerhard Tech,
Krzysztof Wagner, Ying Chen, Miska Hannuksela, Jill Boyce, "MV-HEVC Draft Text 4", JCT3V-D10024-v4, Joint Collaborative Team on 3D Video Coding Extensión Development of ITU-T SG 16 WP 3 and ISO/IEC JCT 1(SC 20/WG 114th Meeting: Incheon, KR,
20-26 Apr.2013
Documento No Relacionado con Patentes 3: Jianle Chen, Jill Boyce, Yan Ye, Miska M. Hannuksela, "SHVC Working Draft 2", JCTVC-M1008-v3, Joint Collaborative Team on Video Coding
(JCT-VC) of ITU-T SGl6 WP3 and ISO/IEC JTCl/SC29/WG1113th Meeting: Incheon, KR, 18-26 Apr.2013
BREVE DESCRIPCIÓN DE LA INVENCIÓN
PROBLEMAS A SER RESUELTOS POR LA INVENCIÓN
Sin embargo, en el caso de las téenicas propuestas en el
Documento No Relacionado con Patentes 2 y el Documento No Relacionado con Patentes 3, aunque la información relacionada con la predicción ínter capas se transmite en el encabezamiento de sección, en ese momento, también se transmite una sintaxis innecesaria. Por consiguiente, la cantidad de codificación del encabezamiento de sección se incrementa de forma innecesaria, y por lo tanto existe la preocupación de que la eficiencia de la codificación se reduzca.
La presente descripción se realiza en consideración de tal situación y sirve para suprimir la reducción en la eficiencia de la codificación.
SOLUCIONES A LOS PROBLEMAS
De acuerdo con un aspecto de la presente teenología, en este documento se proporciona un aparato para codificación de imagen que incluye: una unidad de generación de la información de designación de la capa de referencia que genera la información de designación de la capa de referencia que designa la capa a la que se hace referencia en la predicción ínter capas en el caso donde el número máximo de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas y el número de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas, los cuales se establecen para los datos de la imagen completa configurada por una pluralidad de
capas, no coinciden entre si; y una unidad de codificación que codifica los datos de la imagen.
Además, se puede incluir adicionalmente una unidad de control de la predicción que controla la predicción ínter capas con base en la información de designación de la capa de referencia generada por la unidad de generación de la información de designación de la capa de referencia.
Además, se puede incluir adicionalmente una unidad de transmisión que trasmite la información de designación de la capa de referencia con un encabezamiento de sección.
La unidad de generación de la información de designación de la capa de referencia puede generar la información de designación de la capa de referencia en el caso donde la capa actual no es la capa 0, y el número de capas de referencia de la capa actual no es "0".
Además, se puede incluir adicionalmente una unidad de generación de la información de predictibilidad ínter capas que genera la información de la predictibilidad ínter capas, que representa si se permite la predicción ínter capas.
Además, la unidad de generación de la información de designación de la capa de referencia puede generar adicionalmente la información de designación de la capa de referencia en el caso donde la información de predictibilidad ínter capas representa que se permite la predicción ínter capas, y el número de las capas de referencia de la capa
actual es plural.
Se puede incluir adicionalmente una unidad de generación de la información del número de capas de referencia que genera la información del número de capas de referencia, que representa el número de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas.
La unidad de generación de la información del número de capas de referencia puede generar la información del número de capas de referencia en el caso donde el número de capas a las que se puede hacer referencia en la predicción ínter capas no se limita a uno único.
Por consiguiente otro aspecto de la presente teenologías, en este documento se proporciona un método para codificación de imagen que incluye: generar la información de designación de la capa de referencia que designa la capa de referencia a la que se hace referencia en la predicción ínter capas en el caso donde el número máximo de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas y el número de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas, los cuales se establecen para los datos de la imagen completa configurada por una pluralidad de capas no coinciden entre si; y codificar los datos de la imagen.
De acuerdo con aspecto de la presente tecnologías, la
información de designación de la capa de referencia que designa la capa a la que se hace referencia en la predicción ínter capas se genera en el caso donde el número máximo de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas y el número de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas, las cuales se establecen para los datos de la imagen competa configurada por una pluralidad de capas, no coinciden entre si, y la imagen se codifica.
EFECTOS DE LA INVENCIÓN
De acuerdo con la presente descripción, una imagen puede ser codificada y decodificada. Particularmente, se puede suprimir el aumento en la carga para la codificación o la codificación.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
La Fig. 1 es un diagrama que ilustra un ejemplo de la configuración de la unidad de codificación.
La Fig. 2 es un diagrama que ilustra un ejemplo del sistema de codificación de imágenes jerárquicas.
La Fig. 3 es un diagrama que ilustra un ejemplo de la codificación espacial escalable.
La Fig. 4 es un diagrama que ilustra un ejemplo de la codificación temporal escalable.
La Fig. 5 es un diagrama que ilustra un ejemplo de la
codificación escalable de la relación de señal a ruido.
La Fig. 6 es un diagrama que ilustra un ejemplo de la sintaxis de un encabezamiento de sección.
La Fig. 7 es un diagrama que ilustra un ejemplo de la semántica de un encabezamiento de sección.
La Fig. 8 es un diagrama que ilustra un ejemplo de la predicción ínter capas.
La Fig. 9 es un diagrama que ilustra un ejemplo de la sintaxis de un encabezamiento de sección.
La Fig. 10 es un diagrama que ilustra un ejemplo del método para establecer la capa de referencia.
La Fig. 11 es un diagrama que ilustra un ejemplo de la sintaxis de un encabezamiento de sección.
La Fig. 12 es un diagrama que ilustra un ejemplo de la semántica de un encabezamiento de sección.
La Fig. 13 es un diagrama que ilustra un ejemplo de la relación de referencia de la predicción ínter capas.
La Fig. 14 es un diagrama que ilustra un ejemplo del método para establecer la capa de referencia.
La Fig. 15 es un diagrama que ilustra un ejemplo de la sintaxis del conjunto de parámetros de la secuencia.
La Fig. 16 es un diagrama que ilustra un ejemplo de la sintaxis del conjunto de imágenes de referencia ínter capas.
La Fig. 17 es un diagrama que ilustra un ejemplo de la sintaxis de un encabezamiento de sección.
La Fig. 18 es un diagrama que ilustra un ejemplo de la semántica del conjunto de parámetros de la secuencia.
La Fig. 19 es un diagrama que ilustra un ejemplo de la semántica del conjunto de imágenes de referencia ínter capas.
La Fig.20 es un diagrama que ilustra un ejemplo de la semántica de un encabezamiento de sección.
La Fig.21 es un diagrama que ilustra un ejemplo de la sintaxis de un encabezamiento de sección.
La Fig. 22 es un diagrama enseguida de la Fig. 21 que ilustra un ejemplo de la sintaxis de un encabezamiento de sección.
La Fig. 23 es un diagrama enseguida de la Fig. 22 que ilustra la sintaxis de un encabezamiento de sección.
La Fig. 24 es un diagrama que ilustra un ejemplo de la semántica de un encabezamiento de sección.
La Fig. 25 es un diagrama que ilustra un ejemplo de la sintaxis de un conjunto de parámetros de la secuencia.
La Fig. 26 es un diagrama enseguida de la Fig.25 que ilustra un ejemplo de la sintaxis de un conjunto de parámetros de la secuencia.
La Fig. 27 es un diagrama que ilustra un ejemplo de la sintaxis de un conjunto de imágenes de referencia ínter capas.
La Fig. 28 es un diagrama que ilustra un ejemplo de la sintaxis de un encabezamiento de sección.
La Fig. 29 es un diagrama enseguida de la Fig.28 que
ilustra un ejemplo de la sintaxis de un encabezamiento de sección.
La Fig. 30 es un diagrama enseguida de la Fig.29 que ilustra un ejemplo de la sintaxis de un encabezamiento de sección.
La Fig. 31 es un diagrama enseguida de la Fig.30 que ilustra un ejemplo de la sintaxis de un encabezamiento de sección.
La Fig. 32 es un diagrama que ilustra un ejemplo de la semántica de un conjunto de parámetros de la secuencia.
La Fig. 33 es un diagrama que ilustra un ejemplo de la semántica de un conjunto de imágenes de referencia ínter capas.
La Fig. 34 es un diagrama que ilustra un ejemplo de la semántica de un encabezamiento de sección.
La Fig. 35 es un diagrama de bloques que ilustra un emplo de la configuración principal de un aparato para codificación de imagen.
La Fig. 36 es un diagrama de bloques que ilustra un ejemplo de la configuración principal de una unidad de codificación de la imagen de la capa base.
La Fig. 37 es un diagrama de bloques que ilustra un ejemplo de la configuración principal de una unidad de codificación de la imagen de la capa de mejoramiento.
La Fig. 38 es un diagrama de bloques que ilustra un
ejemplo de la configuración principal de la unidad de generación de la información del encabezamiento.
La Fig.39 es un diagrama de flujo que ilustra un ejemplo del flujo del proceso de codificación de la imagen.
La Fig.40 es un diagrama de flujo que ilustra un ejemplo del flujo del proceso de codificación de la capa base.
La Fig.41 es un diagrama de flujo que ilustra un ejemplo del flujo de un proceso de codificación de la capa de mejora iento.
La Fig. 42 es un diagrama de flujo que ilustra un ejemplo del flujo del proceso de generación de la información del encabezamiento relacionado con la predicción ínter capas.
La Fig. 43 es un diagrama de flujo que ilustra otro ejemplo del flojo del proceso de generación de la información del encabezamiento relacionado con la predicción ínter capas.
La Fig. 44 es un diagrama de bloques que ilustra un ejemplo de la configuración principal de un aparato para decodificación de imagen.
La Fig. 45 es un diagrama de bloques que ilustra un ejemplo de la configuración principal de una unidad de decodificación de la imagen de la capa base.
La Fig. 46 es un diagrama de bloques que ilustra un ejemplo de la configuración principal de una unidad de decodificación de la imagen de la capa de mejoramiento.
La Fig. 47 es un diagrama de bloques que ilustra un
ejemplo de la configuración principal de la unidad de análisis de la información el encabezamiento.
La Fig.48 es un diagrama de flujo que ilustra un ejemplo del flujo de un proceso de decodificación de la imagen,
La Fig.49 es un diagrama de flujo que ilustra un ejemplo del flujo de un proceso de decodificación de la capa base.
La Fig.50 es un diagrama de flujo que ilustra un ejemplo del flujo del proceso de decodificación de la capa de mejoramiento.
La Fig.51 es un diagrama de flujo que ilustra un ejemplo del flujo del proceso de análisis de la información del encabezamiento relacionado con la predicción ínter capas.
La Fig. 52 es un diagrama de flujo que ilustra otro ejemplo del flujo del proceso de análisis de la información el encabezamiento relacionado con la predicción ínter capas.
La Fig. 53 es un diagrama que ilustra un ejemplo de un sistema de codificación de imágenes de puntos de vista múltiples.
La Fig. 54 es un diagrama que ilustra un ejemplo de la configuración principal de un aparato para decodificación de imágenes de puntos de vista múltiples, al cual se aplica la presente teenología.
La Fig. 55 es un diagrama que ilustra un ejemplo de la configuración principal de un aparato para decodificación de imágenes de puntos de vista múltiples, al cual se aplica la
presente teenología.
La Fig. 56 es un diagrama de bloques que ilustra un ejemplo de la configuración principal de una computadora.
La Fig. 57 es un diagrama de bloques que ilustra un ejemplo de la configuración esquemática de un aparato de televisión.
La Fig. 58 es un diagrama de bloques que ilustra un ejemplo de la configuración esquemática de un teléfono móvil.
La Fig. 59 es un diagrama de bloques que ilustra un ejemplo de la configuración esquemática de un aparato de registro/reproducción.
La Fig. 60 es un diagrama de bloques que ilustra un ejemplo de la configuración esquemática de un aparato de formación de imágenes.
La Fig.61 es un diagrama que ilustra un ejemplo del uso de la codificación escalable.
La Fig. 62 es un diagrama de bloques que ilustra otro ejemplo del uso de la codificación escalable.
La Fig. 63 es un diagrama de bloques que ilustra otro ejemplo adicional del uso de la codificación escalable.
La Fig. 64 es un diagrama de bloques que ilustra un ejemplo de la configuración esquemática de un equipo de video.
La Fig. 65 es un diagrama que ilustra un ejemplo de la configuración esquemática de un procesador de video.
La Fig. 66 es un diagrama de bloques que ilustra otro
ejemplo de la configuración esquemática de un procesador de video.
La Fig. 67 es un diagrama explicativo que ilustra la configuración de un sistema de reproducción de contenidos.
La Fig. 68 es un diagrama explicativo que ilustra el flujo de datos en el sistema de reproducción de contenidos.
La Fig. 69 es un diagrama explicativo que ilustra un ejemplo especifico de un MPD.
La Fig. 70 es un diagrama de bloques funcional que ilustra la configuración de un servidor de contenidos de un sistema de reproducción de contenidos.
La Fig. 71 es un diagrama de bloques funcional que ilustra la configuración de un aparato de reproducción de contenidos de un sistema de reproducción de contenidos.
La Fig. 72 es un diagrama de bloques funcional que ilustra la configuración de un servidor de contenidos de un sistema de reproducción de contenidos.
La Fig. 73 es un diagrama de secuencia que ilustra un ejemplo de un proceso de comunicación llevado a cabo por cada dispositivo de un sistema de comunicación por radio.
La Fig. 74 es un diagrama de secuencia que ilustra un ejemplo del proceso de comunicación llevado a cabo por cada dispositivo del sistema de comunicación por radio.
La Fig.75 es un diagrama que ilustra esquemáticamente un ejemplo de la configuración del formato de cuadro de un cuadro
que se transmite use recibe en el proceso de comunicación llevado a cabo por cada aparato de un sistema de comunicación por radio.
La Fig. 76 es un diagrama de secuencia que ilustra un ejemplo del proceso de comunicación llevado a cabo por cada aparato de un sistema de comunicación por radio.
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN
MODO PARA LLEVAR A CABO LA INVENCIÓN
A partir de aquí, se describirán las modalidades (llamadas de aquí en adelante las modalidades) para llevar a cabo la presente descripción. La descripción se presentará en el siguiente orden.
1. Primera Modalidad (Reducción de la Redundancia del Encabezamiento de Sección)
2. Segunda Modalidad (Aparato para Codificación de
Imagen)
3. Tercera Modalidad (Aparato para Decodificación de Imagen)
4. Cuarta modalidad (Aparato para Codificación de
Imágenes de Puntos de Vista Múltiples y para Decodificación de Imágenes de Puntos de Vista Múltiples)
5. Quinta Modalidad (Computadora)
6. Sexta Modalidad (Ejemplo de Aplicación)
7. Séptima Modalidad (Ejemplo de aplicación de la
Codificación Escalable)
8. Octava Modalidad (Equipo/Unidad/modulo/Procesador)
9. Novena Modalidad (Ejemplo de Aplicación del Sistema de Reproducción de contenidos de MPEG-DASH)
10. Décima Modalidad (Ejemplo de Aplicación del Sistema de Comunicación por Radio del Estándar Wi-Fi)
1. Primera Modalidad
Flujo de la Estandarización de la Codificación de Imagen
Recientemente, la información de imagen se maneja como datos digitales, y, en este momento, con el propósito de transmitir y acumular la información con alta eficiencia, se están usando ampliamente dispositivos los cuales comprimen y codifican la imagen empleando un sistema de codificación que comprime los datos a través de una transformación ortogonal, como por ejemplo, la transformación discreta del coseno y una compensación del movimiento, usando redundancia que es especifica para la información de la imagen. Los ejemplos de tales sistemas de codificación incluyen Grupo de Expertos de Imágenes en Movimiento (MPEG) y los similares.
Particularmente, MPEG2 (ISO/IEC 13818-2) se define como un sistema de codificación de imagen de propósito general y es un estándar que cubre tanto las imágenes de exploración entrelazada y las imágenes de exploración secuencial y las imágenes de resolución estándar y las imágenes de alta definición. Por ejemplo, actualmente, MPEG2 se usa ampliamente para una amplia gama de aplicaciones para usos profesionales y
usos de los consumidores. Al usar el sistema de compresión MPEG2, por ejemplo, en el caso de las imágenes de exploración entrelazada de resolución estándar que tienen 720 *480 pixeles, se asigna la cantidad de código (tasa de bitios) de 4 a 8 Mbps. Además, al usar el sistema de compresión MPEG2, por ejemplo, en el caso de las imágenes de exploración entrelazada de alta resolución, que tienen 1920 c 1088 pixeles, se asigna una cantidad de código (tasa de bitios) de 18 a 22 Mbps. Por consiguiente, se puede lograr una tasa de compresión alta y una calidad de imagen satisfactoria.
El sistema MPEG2 tienen como objetivo principalmente la codificación de imágenes de alta calidad de imagen que son apropiadas principalmente para la radiodifusión pero no cumplen con los sistemas de codificación que tienen una cantidad de código (tasa de bitios) inferior a la de MPEG1, en otras palabras, que tienen una tasa de compresión superior a la de MPEG1. Sin embargo, se considera que el número de tales requisitos aumentará en el futuro de acuerdo con el uso generalizado de las terminales portátiles, y la estandarización de un sistema de codificación MPEG4 se realizó de acuerdo con el mismo. Su estándar que se relaciona con un sistema para codificación de imagen fue aprobado en Diciembre de 1998 como ISO/IEC 14496-2.
Además, en los años recientes, con el propósito inicial de codificar imágenes para conferencias por televisión, ha
sido estandarizado el sistema H.26L del Grupo de Expertos en Codificación de Video Q6/16 del Sector de Estandarización de Telecomunicaciones de la Unión Internacional de Telecomunicaciones (ITU-T). Se sabe que el sistema H.26L requiere una mayor cantidad de cálculo debido al proceso de codificación y el proceso de decodificación del mismo, en comparación con la cantidad de cálculo de los sistemas convencionales de codificación tales como MPEG2 o MPEG4 y logra una mayor eficiencia de codificación. Además, actualmente, como parte de las actividades del MPEG4, un estándar que logra una mayor eficiencia de codificación al introducir funciones no soportadas de acuerdo con el estándar H.26L con base en H.26L se ha realizado como el Modelo Conjunto de Codificación de Video con Compresión Mejorada.
Como un anexo de la estandarización del mismo, en marzo de 2003, se desarrolló un estándar internacional con los nombres de H.264 y MPEG-4 Parte 10 (Codificación Avanzada de Video, llamada de aquí en adelante AVC).
Además, como una extensión de, H.264/AVC, en febrero de 2005 se terminó la estandarización del sistema de Extensión del Rango de Fidelidad (FRExt) que incluye las herramientas de codificación requeridas para el uso comercial y 8 c 8 DCT y una matriz de cuantificación definida en MPEG-2 la cual se llama RGB, 4:2:2 y 4:4:4. De este modo, usando H.264/AVC se formó un sistema de codificación capaz de representar el ruido
de la película incluido en las películas, y H.264/AVC está en una etapa de ser usado en un amplio rango de aplicaciones de discos Blu-Ray (marca registrada) y los similares.
Además, recientemente, se ha incrementado el número de solicitudes para una codificación que tenga una tasa de compresión superior, como por ejemplo las solicitudes para comprimir imágenes de aproximadamente 4000 c 2000 pixeles que son cuatro veces el número de pixeles de las imágenes de alta definición, y las peticiones para suministrar imágenes de alta definición en un ambiente que tiene capacidad de transmisión limitada, como por ejemplo la red internacional. Por esta razón el VCEG afiliado al ITU-T mencionado anteriormente, ha realizado continuamente estudios para mejorar la eficiencia de la codificación.
Por lo tanto, actualmente, con el propósito de mejorar adicionalmente la eficiencia de la codificación para que sea más alta que la eficiencia de AVC, el Equipo Conjunto de Colaboración en Codificación de Video (JCTVC), que es la organización de estandarización del ITU-T y la Organización Internacional para la Estandarización/Comisión Electrotéenica Internacional (ISO/IEC) ha avanzado en la estandarización de un sistema de codificación llamado Codificación de Video de Alta Eficiencia (HEVC). Con relación al estándar HEVC, un proyecto de comité que es la especificación de la edición del proyecto se publicó en enero de 2013 (por ejemplo, véase el
Documento No Relacionado con Patentes 1).
Sistema de Codificación
A partir de aquí, se describirá la presente teenología en el caso de ser aplicado a la codificación/decodificación de imágenes del sistema de Codificación de Video de Alta Eficiencia (HEVC) como un ejemplo.
Unidad de Codificación
En el sistema de codificación Avanzada de Video (AVC) se define una estructura jerárquica configurada por un macro bloque y sub macro bloques. Sin embargo, un macro bloque de 16 x 16 pixeles no es óptimo para los cuadros de imagen grandes llamados de Ultra Alta Definición (UHD: 4000 pixeles x 2000 pixeles) que resulta el objeto para un sistema de codificación de próxima generación.
En contraste con esto, en el sistema HEVC, como se ilustra en la Fig. 1, se define una unidad de codificación (CU).
Una CU se conoce también como Bloque del Árbol de Codificación (CTB) y es un área parcial de una unidad de imagen que logra una función similar a la del macro bloque en el sistema AVC. Aunque el macro bloque se fija a un tamaño de 16 x 16 pixeles, el tamaño de la CU no es fijo sino que se designa en la información de compresión de la imagen en cada secuencia.
Por ejemplo, en el conjunto de parámetros de la secuencia
(SPS) incluido en los datos codificados que son la salida, se define el tamaño máximo (Unidad de Codificación Más Grande (LCU)) y el tamaño mínimo (Unidad de codificación Más Pequeña (SCU)) de la CU.
Dentro de cada CU, al establecer la bandera de división = 1 en un rango no por debajo del tamaño de la SCU, la LCU puede ser dividida en CUs que tienen un tamaño más pequeño. En el ejemplo ilustrado en la Fig.1, el tamaño de la LCU es de 128, y la profundidad jerárquica más grande es 5. Cuando el valor de la división_bandera es "1", la CU que tiene un tamaño de 2N x 2N se divide en CUs, cada una que tiene un tamaño de N c N en el nivel jerárquico inferior.
Además, la CU se divide en unidades de predicción (PUs) que son áreas (áreas parciales de una imagen en unidades de imágenes) que son las unidades de procesamiento de la predicción intra o de la predicción ínter y se dividen en unidades de transformación (TUs) que son áreas (áreas parciales de una imagen en unidades de imágenes) que son las unidades de procesamiento de la transformación ortogonal. Actualmente, en el sistema HEVC, se pueden usar transformaciones ortogonales de 16 c 16 y 32 c 32 además de transformaciones ortogonales de 4 x 4 y 8 x 8.
Como en el sistema HEVC descrito anteriormente, en el caso de un sistema de codificación en el cual se definan las CU, y varios procesos se llevan a cabo en unidades de CUs, se
puede considerar que un bloque macro del sistema AVC corresponde a una LCU, y un bloque (sub bloque) corresponde a una CU. Además, un bloque de compensación del movimiento del sistema AVC puede ser considerado como correspondiente a una PU. Sin embargo, ya que las CU tienen una estructura jerárquica, por lo general el tamaño de las LCU de la jerarquía más alta se establece más grande que el tamaño del macro bloque del sistema de AVC tal como 128 c 128 pixeles.
Por lo tanto, a partir de aquí, se asume que las LCU incluyen también los bloques macro del sistema AVC, y se asume que las LCU incluyen también los bloques (sub bloques) del sistema AVC. En otras palabras, los "bloques" usados en la descripción presentada a continuación representan áreas parciales arbitrarias dentro de la imagen, y el tamaño, la forma, la característica, y las similares de los mismos no se limitan específicamente. En otras palabras, un "bloque", por ejemplo, incluye áreas arbitrarias y tales como una TU, una PU, una ecu, una CU, una LCU, un sub bloque, un macro bloque, y una sección. Es aparente que un área parcial (unidad de procesamiento) distinta a estas también se incluyen en las mismas. Además, un caso donde el tamaño, la unidad de procesamiento, o las similares necesitan ser limitadas, se describirá apropiadamente.
En esta especificación, se asume que una Unidad del Árbol de Codificación (CTU) sea una unidad que incluye un Bloque del
Árbol de Codificación (CTB) de una CU de un número más grande (LCU) y un parámetro en el momento del procesamiento en la base (nivel) de la LCU de la misma. Además, se asume que la configuración de una Unidad de codificación (CU) será una unidad que incluye un Bloque de Codificación (CB) y un parámetro en el momento del procesamiento en la base (nivel) de la CU de la misma.
Selección del Modo
En los sistemas de codificación AVC y HEVC, con el fin de obtener una mayor eficiencia de codificación, la selección de un modo de predicción apropiado es critica.
Como un ejemplo de tal sistema de selección, existe un método en el cual, el sistema de selección se incorpora en el programa informático de referencia (publicado en http://iphome.hhi.de/suehring/tml/index.htm) de H.264/MPEG-4AVC llamado JM (Modelo Conjunto).
En el JM, se puede seleccionar el método de determinación del modo para determinar dos modos que incluyen el modo de alta complejidad y el modo de baja complejidad a ser descritos a continuación. En cualquiera de los modos, se calcula el valor de la función de costo relacionado con cada modo, Modo, de predicción y el modo de predicción que tiene el valor más bajo de la función de costo se selecciona como el modo óptimo para el bloque o el macro bloque.
La función de costo en el modo de alta complejidad se
representa a continuación como en la Ecuación (1).
Fórmula Matemática 1
Costo(Modo e W) = D + l*II ...(1)
Aquí, W es el conjunto universal de modos candidatos usados para codificar el bloque o el macro bloque, D es la energía diferencial entre una imagen decodificada y una imagen de entrada en el caso donde la codificación se lleva a cabo en el modo de predicción. Además, l es un multiplicador de Lagrange dado como una función de un parámetro de cuantificación. R es la cantidad total de código de un caso donde la codificación se lleva a cabo en el modo que incluye el coeficiente de transformación ortogonal.
En otras palabras, cuando la codificación se lleva a cabo en el modo de alta complejidad, con el fin de calcular los parámetros D y R, se necesita llevar a cabo un proceso de codificación provisional para todos los modos candidatos, y por consiguiente, es necesaria una mayor cantidad de cálculo.
La función de costo es el modo de baja complejidad se representa a continuación como en la Ecuación (2).
Fórmula Matemática 2
Costo(Modo e W) = D QP2Quant (QP)+EncabezamientoBitio ...(2)
Aquí, D, a diferencia de aquella en el caso del modo de alta complejidad, es la energía diferencial entre una imagen
pronosticada y una imagen de entrada. Además, QP2Quant (QP) se da como una función de un parámetro de cuantificación QP, y EncabezamientoBitio es la cantidad de código relacionada con la información que pertenece a un encabezamiento, tal como un vector de movimiento y el modo que no incluye un coeficiente de transformación ortogonal.
En otras palabras, en el modo de baja complejidad, aunque se necesita llevar a cabo un proceso de predicción para cada modo candidato, la imagen decodificada no es necesaria, y el proceso de codificación no necesita ser llevado a cabo. Por esta razón, el modo de baja complejidad puede lograr una cantidad de cálculo menor que la del modo de baja complejidad.
Codificación Jerárquica
Los sistemas de codificación de imagen tales como MPEG2 y AVC descritos hasta ahora tienen una función de escalabilidad. La codificación escalable (codificación jerárquica) es un sistema en el cual una imagen se configura mediante una pluralidad de capas (jerarquización), y la codificación se lleva a cabo para cada capa. La Fig. 2 es un diagrama que ilustra un ejemplo de un sistema jerárquico de codificación de imagen.
Como se ilustra en la Fig.2, en la jerarquización de una imagen, una imagen se divide en una pluralidad de jerarquías (capas) haciendo referencia a un parámetro determinado que tiene la función de escalabilidad. En otras palabras, la
imagen jerarquizada (imagen jerárquica) incluye una pluralidad de jerarquías (capas) que tienen valores mutuamente diferentes del parámetro predeterminado. La pluralidad de capas de la imagen jerárquica se configura codificando y decodificando la capa base usando la imagen de la capa base sin usar la imagen de otras capas, y codificando y decodificando la capa no base (conocida también como la capa de mejoramiento) usando la imagen de otras capas. La capa no base puede ser configurada para usar la imagen de la capa base o usar la imagen de otra capa no base.
Por lo general, con el fin de reducir la redundancia, la capa no base se configura por los datos (datos diferenciales) déla imagen diferencial entre la imagen de la capa no base y la imagen de otra capa. Por ejemplo, en el caso donde una imagen se jerarquiza en dos capas que incluyen una capa base y una capa no base (conocida también como las capa de mejoramiento), una imagen que tiene una calidad inferior que la imagen original se adquiere usando solo los datos de la capa base, y la imagen original (en otras palabras, la imagen de alta calidad) se adquiere al componer los datos de la capa base y los datos de la capa no base.
Al jerarquizar la imagen de esta forma, las imágenes de varias calidades pueden ser adquiridas fácilmente de acuerdo con la situación. Por ejemplo, como en el caso donde, para una terminar que tiene baja capacidad de procesamiento, como por
ejemplo un teléfono móvil, se transmite la información de compresión de la imagen solo de la capa base, y se reproduce una imagen en movimiento que tiene resolución espacial/temporal baja o una imagen de baja calidad, y para una terminal que tiene alta capacidad de procesamiento, como por ejemplo un equipo de televisión o una computadora personal, se transmite la información de compresión de la imagen de la capa de mejoramiento además de la capa base, y se reproduce una imagen en movimiento que tiene resolución espacial/temporal alta o una imagen de alta calidad, la información de compresión de la imagen de acuerdo con la capacidad de la terminal o la red puede ser transmitida desde un servidor sin llevar a cabo el procesamiento de transcodificación.
Parámetros Escalables
En tal codificación de imágenes jerárquicas/decodificación de imágenes jerárquicas
(codificación escalable/decodificación escalable), los parámetros que tienen la función de escalabilidad son arbitrarios. Por ejemplo, la resolución espacial como se ilustra en la Fig.3 puede ser establecida como el parámetro (escalabilidad espacial). En el caso de esta escalabilidad espacial, la resolución de la imagen es diferente para cada capa. En otras palabras, como se ilustra en la Fig.3, cada imagen de jerarquiza en dos jerarquías de la capa base que
tienen resolución espacial menor que la imagen original y la capa de mejoramiento capaz de adquirir la imagen original (resolución espacial original) al ser compuesta con la imagen de la capa base. Es aparente que el número de jerarquías es un ejemplo, y que la imagen puede ser jerarquizada usando un número arbitrario de jerarquías.
Como el parámetro que tiene tal escalabilidad, por ejemplo, se puede aplicar la resolución temporal (escalabilidad temporal) como se ilustra en la Fig.4. En el caso de esta escalabilidad temporal, la velocidad de transmisión de imágenes es diferente para cada capa. En otras palabras, en este caso, como se ilustra en la Fig.4, ya que una imagen de jerarquiza en capas que tienen velocidades de transmisión de imágenes mutuamente diferentes, al agregar una capa con una velocidad de transmisión de imágenes alta a una capa con velocidad de transmisión de imágenes baja, se puede obtener una imagen en movimiento que tiene una velocidad de transmisión de imágenes superior, y al agregar todas las capas, se puede adquirir la imagen en movimiento original (la velocidad de transmisión de imágenes original). Aquí, el número de jerarquías es un ejemplo, y la imagen puede ser jerarquizada por un número arbitrario de jerarquías.
Además, como un parámetro que tiene tal escalabilidad, por ejemplo, se puede aplicar la relación de Señal a Ruido (SNR) (escalabilidad de SNR). En el caso de esta escalabilidad
de SNR, la relación SN es diferente para cada capa. En otras palabras, como se ilustra en la Fig. 5, cada imagen de jerarquiza en dos jerarquías que incluyen una capa base que tiene una SNR menor a la de la imagen original y una capa de mejoramiento capaz de adquirir la imagen original (la SNR original) al ser compuesta con la imagen de la capa base. En otras palabras, en la información de compresión de la imagen de la capa base se transmite la información relacionada con la imagen que tiene una PSNR baja, y al agregar la información de compresión de la imagen de la capa de mejoramiento a la misma, se puede reconstruir una imagen que tiene una PSNR alta. Es aparente que el número de jerarquías es un ejemplo, y la imagen puede ser jerarquizada para un número arbitrario de jerarquías.
Es aparente que el parámetro que tiene la escalabilidad puede ser distinto a aquellos de los ejemplos descritos anteriormente. Por ejemplo, existe la escalabilidad de la profundidad de bitios en la cual una capa base se configura por una imagen de 8 bitios, y, al agregar la capa de mejoramiento a esta, se adquiere una imagen de 10 bitios.
Además, existe la escalabilidad de croma en la cual, la capa base se configura por una imagen de componente del formato 4:2:0, y se adquiere una imagen de componente del formato 4:2:2 al agregar la capa de mejoramiento a esta.
Sintaxis de Alto Nivel del Estándar Extendido
Por ejemplo, como se describe en el Documento No Relacionado con Patentes 2 o el Documento No Relacionado con Patentes 3, se ha propuesto la estructura de la sintaxis de alto nivel (sintaxis de HL) de, por ejemplo, El Conjunto de Parámetros de Video (VPS), el Conjunto de Parámetros de la Secuencia (SPS), el Conjunto de Parámetros de la Imagen (PPS), SecciónEncabezamiento, o los similares que es común para el estándar extendido del HEVC descrito anteriormente.
En el Documento No Relacionado con Patentes 2 o el Documento No Relacionado con Patentes 3, se ha propuesto la transmisión de la información relacionada con la predicción ínter capas en el encabezamiento de la sección. La Fig.6 es un diagrama que ilustra un ejemplo de la sintaxis de la información, la cual se relaciona con la predicción ínter capas, del encabezamiento de sección. La Fig.7 es un diagrama que ilustra un ejemplo de la semántica del encabezamiento de la sección.
Como se ilustra en la Fig. 6, en el encabezamiento de sección, como la información relacionada con la predicción ínter capas, se transmite la información de inter_capas_pred_habilitada_bandera, num_inter_capas_ref_imágenes_menosl, inter_capas_pred_capa_idc [i], inter_capas_muestra_pred_solo_bandera, y las similares.
Inter_capas_pred_habilitada_bandera es la información de la predictibilidad ínter capas que representa si se permite la predicción ínter capas para la sección actual que es el objetico del procesamiento. En el caso donde el valor de la misma es "0" la predicción ínter capas no puede ser usada en la generación de la imagen pronosticada.
Num_inter_capas_ref_imágenes_menosl es la información del número de las capas de referencia que representa el número de capas de referencia que son los objetivos de referencia en la predicción ínter capas de la sección actual. El número de capas adquiridas al agregar uno a este valor es el número de capas de referencia en la predicción ínter capas de la sección actual. El número de capas de referencia se define también en el conjunto de parámetros de video (VPS) (NumDirectaRefCapas[N]). Num_inter_capas_ref_imágenes_menosl define el número de capas de referencia a ser el valor adquirido al restar uno del valor del mismo o menos. En otras palabras, la información del número de capas de referencia (num_capas_ref_imágenes_menosl +1) define el número de capas de referencia seleccionadas para la sección actual entre las capas de referencia definidas en el conjunto de parámetros de video (VPS).
Además, NumDirectaRefCapas [N] es la información que representa el valor máximo de los números de capas que a las que se puede hacer referencia en la predicción ínter capas
para una capa N. En otras palabras, se puede hacer referencia a las capas desde la capa 0 al valor de la misma.
Inter_capas_pred_capa_idc[i] es la información de designación de la capa de referencia que designa las capas como capas de referencia en la predicción ínter capas de la sección actual. Además, inter_capas_pred__capa_idc[i] puede designar la capa 0 a una capa designada en NumActivaRefCapalmágenes como las capas de referencia.
NumActivaRefCapalmágenes es la información del número de las capas activas que representa el número de capas que pueden ser designadas como las capas de referencia (existen en un estado activo) en la predicción ínter capas de la sección actual. En un caso donde la capa (la capa actual (nuh_capa_id) de la sección actual es la capa 0 (nuh_capa_id==0), el número de la capa de referencia de la capa actual es 0 (NumDirectaRefCapas[nuh_capa_id] == 0), o la predicción ínter capas no se permite (inter_capas_pred_habilitada_bandera), el valor de NumActivaRefCapalmágenes es 0. Por otro lado, en un caso donde solo se usa una imagen para la predicción ínter capas de cada imagen de una Secuencia de Video Codificado (CVS) (max_una_activa_ref_capa_bandera) o el valor máximo del número de las capas a las que se puede hacer referencia en la predicción ínter capas de la capa actual que se define en el conjunto de parámetros de video (VPS) es 1
(NumDirectaRefCapas[nuh_capa_id] == 1), en los otros casos, el valor de NumActivaRefCapalmágenes es un valor (num_inter_capas_ref_imágenes_menosl + 1) adquirido al sumar uno a la información del número de las capas de referencia. inter_capas_muestra_pred_solo_bandera es la información de la predictibilidad ínter que representa si la predicción ínter se permite para la sección actual. En un caso donde el valor de la misma es 0, la predicción ínter no puede ser usada en la generación de una imagen pronosticada.
En otras palabras, en la información relacionada con la predicción ínter capas que se transmite desde el lado de la codificación al lado de la decodificación, la información de la predictibilidad ínter capas, la información del número de las capas de referencia, la información de designación de las capas de referencia, y la información de predictibilidad Ínter pueden ser configuradas para ser incluidas. Es aparente que la información distinta a estas puede ser incluida en esta, en la información relacionada con la predicción ínter capas, o algunas de las mismas pueden no ser incluidas en esta.
Como se ilustra en la Fig.6, tal información relacionada con la predicción ínter capas se transmite en el caso donde la capa actual no es al capa 0 (nuh_capa_id > 0), y la capa a la que se puede hacer referencia está presente en la predicción ínter capas de la capa actual (NumDirectaRefCapas[nuh_capa_id]
> 0).
Sin embargo, aun en tal caso, se puede considerar un caso en el cual, la información relacionada con la predicción ínter capas descrita a continuación es innecesaria. Sin embargo, en los métodos descritos en el Documento No Relacionado con Patentes 2 o el Documento No Relacionado con Patentes 3, la información relacionada con la predicción ínter capas se transmite sin que sea considerado tal caso. Por consiguiente, también se transmite la sintaxis innecesaria, y la cantidad de código del encabezamiento de la sección se incrementa innecesariamente, por lo tanto, existe la posibilidad de que la eficiencia de la codificación se reduzca.
Por lo tanto, al configurar la condición para transmitir la información relacionada con la predicción ínter capas para que sea más estricta, la redundancia del encabezamiento de la sección se reduce, y por consiguiente, la eficiencia de la codificación se mejora. Un ejemplo de un método específico se describirá a continuación.
Control de acuerdo con el Tipo de la Sección
De acuerdo con los métodos descritos en el Documento No Relacionado con Patentes 2 o el Documento No Relacionado con Patentes 3, por ejemplo, en el caso de un Punto de Acceso Aleatorio Intra (IRAP) que es el líder del Grupo de Imágenes (GOP), la información de la predicción ínter capas se controla usando el valor del tipo de la unidad de nal (nal_unidad_tipo) para no transmitir la información relacionada con la
predicción ínter .
Sin embrago, por ejemplo, como se ilustra en la parte A de la Fig.8, aun en el caso de un IRAP, la sección P o la sección B pueden estar presentes, y en la sección P o la sección B, se puede llevar a cabo la predicción ínter capas. En contraste con esto, por ejemplo, como se ilustra en la parte B de la Fig.8, en un caso donde el IRAP se configure por todas las secciones I, la predicción ínter capas no se lleva a cabo.
En otras palabras, no se puede determinar si se lleva a cabo la predicción ínter capas solo con base en el valor del tipo de la unidad de nal (nal_unidad_tipo). En un caso donde no se lleva a cabo la predicción ínter capas, la información relacionada con la predicción ínter capas se convierte en datos redundantes. En otras palabras, en tal caso, cuando se transmite la información relacionada con la predicción ínter capas, la cantidad de código del encabezamiento de la sección se incremente de forma innecesaria, y por lo tanto, existe la preocupación de que la eficiencia de la codificación se reduzca.
Por lo tanto, en el control de la transmisión de la información relacionada con la predicción ínter capas, el valor del tipo de la sección (sección_tipo) se considera también. En otras palabras, en el caso donde el tipo de la sección es la sección P o la sección B, la información
relacionada con la predicción ínter capas se configura para poder trasmitirla.
La Fig.9 ilustra un ejemplo de una parte de la sintaxis del encabezamiento de la sección de la tal caso. Como se ilustra en la Fig. 9, antes de la sintaxis que define la información relacionada con la predicción Ínter capas, se agrega una expresión condicional de "si(sección_tipo === P || sección_tipo == B){". En otras palabras, solo en el caso donde esta expresión condicional es verdadera, se transmite la información relacionada con la predicción ínter capas.
Al configurarla como tal, la transmisión innecesaria de la información relacionada con la predicción ínter capas se suprime, por lo cual se puede suprimir la reducción en la eficiencia de la codificación.
Control de acuerdo con el Número de Capas de Referencia
Como se descrine anteriormente, en el conjunto de parámetros de video (VPS) y el encabezamiento de la sección está presente la sintaxis que define el número de las capas de referencia. En otras palabras, por ejemplo, como se ilustra en la parte A de la Fig.10, el número de capas de referencia aplicadas a la secuencia completa se define en el conjunto de parámetros de video (VPS). Por ejemplo, como se ilustra en la parte B de la Fig.10, en el encabezamiento de la sección, las capas se referencia se seleccionan de entre el grupo de capas de referencia definido en el conjunto de parámetros de video
(VPS). Por consiguiente, las capas de referencia pueden ser cambiadas para cada imagen.
En un caso donde el número de capas de referencia definido en el conjunto de parámetros de video (VPS) y el número de capas de referencia definido en el encabezamiento de la sección son mutuamente iguales, todas las capas de referencia definidas en el conjunto de parámetros de video (VPS) se definen como las capas de referencia de la sección actual. En otras palabras, en tal caso, no es necesario designar las capas a ser usadas como las capas de referencia al usar la información de designación de las capas de referencia. (inter_capas_pred_capa_idc[i]).
Sin embargo, de acuerdo con los métodos descritos en el Documento No Relacionado con Patentes 2 y el Documento No
Relacionado con Patentes 3, aun en tal caso, se transmite la información de designación de la capa de referencia
(inter_capas_pred_capa_idc[i]). En otras palabras, la cantidad de código del encabezamiento de la sección se incrementa de forma innecesaria, y existe la preocupación de que la eficiencia de la codificación se reduzca.
Por lo tanto, en un caso donde el número (NumDirectaRefCapas[nuh_capa_id]) de las capas de referencia definidas en el conjunto de parámetros de video (VPS) y el número (la información del número de capas activas
(NumActivaRefCapalmágenes)) de las capas de referencia
definidas en el encabezamiento de la sección no son mutuamente iguales, la información de designación de las capas de referencia (inter_capas_pred_capa_idc[i]) se configura para ser transmisible.
La Fig.11 ilustra un ejemplo de la configuración de una parte de la sintaxis del encabezamiento de la sección de tal caso. La Fig. 12 ilustra un ejemplo de la semántica del encabezamiento de la sección de tal caso. Como se ilustra en la Fig.11, antes de la sintaxis que define la información de designación de la capa de referencia (inter_capas_pred_capa_idc[i]), se agrega la ecuación condición de "si(NumDirectaRefCapas[nuh_capa_id] != NumActivaRefCapalmágenes) ". En otras palabras, solo en el caso donde esta condición es verdadera, la información relacionada con la predicción ínter capas se configura para ser transmitida.
Al configurarla como tal, la transmisión innecesaria de la información de designación de las capas de referencia se suprime, y por consiguiente, la reducción en la eficiencia de la codificación puede ser suprimida.
Predefinición del Patrón de Referencia
De acuerdo con los métodos descritos en el Documento No Relacionado con Patentes 2 y el Documento No Relacionado con Patentes 3, en cada sección, la información relacionada con la predicción ínter capas se transmite. En otras palabras, en
cada sección, todas las capas a ser usadas como las capas de referencia se designan.
Sin embargo, realmente, la relación de referencia entre las capas, por ejemplo, como en el ejemplo ilustrado en la Fig. 13, tiende a depender fácilmente de la posición (en otras palabras, la relación de referencia en la dirección del tiempo) dentro del GOP. En otras palabras, existen muchos casos donde la relación de referencia en la dirección ínter capas se determina con base en la posición de la sección actual dentro del GOP.
Por consiguiente, al definir (fijar) una relación de referencia (en otras palabras, el patrón para establecer las capas a ser usadas como las capas de referencia (conocidas también como el conjunto de imágenes de referencia ínter capas)) entre las capas que tienen una frecuencia de aparición por adelantado y designar una relación de referencia fijada correspondiente (el conjunto de imágenes de referencia ínter capas) usando un índice en cada sección, la cantidad de código puede ser reducida para ser menor que aquella del caso donde todas las capas de referencia se designan para cada sección como en el método descrito en el Documento No Relacionado con Patentes 2 y el Documento No Relacionado con Patentes 3. En otras palabras, se puede suprimir la reducción en la eficiencia de la codificación.
El conjunto de imágenes de referencia ínter capas se
transmite al ser incluida en el conjunto de parámetros de la secuencia (SPS), para poder ser usado en la secuencia completa (todas las secciones dentro de la secuencia. Además, en un caso donde no está presente una relación de referencia correspondiente en el conjunto de imágenes de referencia ínter capas predefinido para la sección actual, el conjunto de imágenes de referencia ínter capas para la sección actual puede ser definido en el encabezamiento de la sección del mismo.
En otras palaras, de acuerdo con los métodos descritos en el Documento No Relacionado con Patentes 2 y el Documento No Relacionado con Patentes 3, como se ilustra en la parte A de la Fig. 14, aunque se lleve a cabo la sobre escritura o el complemento de la información de las capas de referencia definidas en el conjunto de parámetros de video (VPS) en cada encabezamiento de sección, como se ilustra en la parte B de la Fig. 14, los patrones (conjuntos de imágenes de referencia ínter capas) de la relación de referencia se mantienen en el conjunto de parámetros de la secuencia (SPS), y, en el nivel de la imagen (cada sección), el patrón se designa usando un índice (por ejemplo, un número de identificación). Al igual que el RPS (Conjunto de Imágenes de Referencia), en el caso de un patrón distinto a los patrones (conjunto de imágenes de referencia ínter capas) de la relación de referencia mantenida en el conjunto de parámetros de la secuencia (SPS), un patrón
(conjunto de imágenes de referencia ínter capas) de la relación de referencia dedicada para la sección se define en el encabezamiento de la sección (o el conjunto de parámetros de la imagen (PPS)).
Además, una pluralidad de conjuntos de imágenes de referencia ínter capas pueden ser definidos (al asignar índices a los mismos, el número de conjuntos de imágenes de referencia ínter capas es arbitrario).
La Fig.15 ilustra un ejemplo de la configuración de una parte de la sintaxis del conjunto de parámetros de la secuencia (SPS) de tal caso. La Fig.16 ilustra un ejemplo de la sintaxis que define el conjunto de imágenes de referencia ínter capas. La Fig.17 ilustra un ejemplo de la configuración de una parte de la sintaxis del encabezamiento de la sección de tal caso.
La Fig. 18 ilustra un ejemplo de la semántica del conjunto de parámetros de la secuencia (SPS) de tal caso. La Fig. 19 ilustra un ejemplo de la semántica que define el conjunto de imágenes de referencia ínter capas. La Fig.20 ilustra un ejemplo de la configuración de una parte de la semántica el encabezamiento de la sección de tal caso.
Como se ilustra en la Fig. 15, en el conjunto de parámetros de la secuencia (SPS), la información del número de los conjuntos (num_inter_capas_ref_imágenes_conjuntos) que representa el número de conjuntos de imágenes de referencia
ínter capas a ser definidos y se establece los conjuntos de imágenes de referencia ínter capas (inter_capas_ref_imágenes_conjunto[i]) correspondientes al número de los conjuntos.
En cada conjunto de imágenes de referencia ínter capas, como se ilustra en la Fig.16, se establece la información del número de las capas de referencia (num_inter_capas_ref_imágenes_menosl) y la información de designación de las capas de referencia (inter_capas_pred_capa_idc[i]) correspondiente al número de capas de referencia.
Además, como se ilustra en la Fig. 17, en el encabezamiento de la sección, se establece la información de la predictibilidad ínter capas (inter_capas_pred_habilitada_bandera) y el conjunto de imágenes de referencia ínter capas usa la información que representa si o no se puede usar el conjunto de imágenes de referencia ínter capas. Además, en un caso donde se puede usar el conjunto de imágenes de referencia ínter capas, se establece un índice (inter_capas_ref_imágenes_conjunto_idx) que define el conjunto de imágenes de referencia ínter capas. Por otro lado, en un caso donde no se puede usar el conjunto de imágenes de referencia ínter capas, se establece el conjunto de imágenes de referencia ínter capas (inter_capas_ref_imágenes_conjunto(num_inter_capas_ref_imágene
s_conjuntos)) para la sección actual. Además, se establece la información de predictibilidad ínter (inter_capas_muestra_pred_solo_bandera).
Al configurarla como tal, la cantidad de código de la información relacionada con la predicción ínter capas puede ser reducida, por lo cual se puede suprimir la reducción en la eficiencia de la codificación.
Combinación del Control
Como se menciona anteriormente, aunque se han descrito tres métodos para controlar la predicción ínter capas, por ejemplo, tales métodos pueden ser combinados para ser usados. Por ejemplo, el método descrito en Control de Acuerdo con el Tipo de la Sección y el método descrito en Control de acuerdo con el Número de Capas de Referencia, pueden ser combinados para ser usados. Además, por ejemplo, el método descrito en Control de Acuerdo con el Tipo de la Sección y el método descrito en Predefinición del Patrón de Referencia pueden ser combinados para ser usados, además, el método descrito en Control de acuerdo con el Número de Capas de Referencia y el método descrito en Predefinición del Patrón de Referencia pueden ser combinados para ser usados.
Además, el método descrito en Control de acuerdo con el Tipo de la Sección, el método descrito en Control de acuerdo con el Número de Capas de Referencia, y el método descrito en Predefinición del Patrón de Referencia pueden combinados para
ser usados.
Además, los métodos descritos anteriormente y un método distinto a los métodos pueden ser combinados.
Las Figs.21 a 23 son diagramas que ilustran ejemplos de la sintaxis del encabezamiento de la sección de un caso donde el método descrito en Control de acuerdo con el Tipo de la Sección y el método descrito en Control de Acuerdo con el Número de Capas de Referencia se combinan. La Fig.24 es un diagrama que ilustra un ejemplo de la semántica del encabezamiento de la sección del caso.
En la porción representada en el patrón sombreado con barras en diagonal en la Fig.22, la transmisión (que incluye la generación) de la información relacionada con la predicción ínter capas se controla.
Al configurarlo como tal, se suprime la transmisión innecesaria de la información relacionada con la predicción ínter capas, y se puede suprimir además la transmisión innecesaria de la información de designación de las capas de referencia, por lo cual se puede suprimir la reducción en la eficiencia de la codificación más que en el caso del método descrito en Control de acuerdo con el Tipo de la Sección o el caso del método descrito en Control de acuerdo con el Número de Capas de Referencia.
Las Figs.25 y 26 son diagramas que ilustran ejemplos de la sintaxis del conjunto de parámetros de la secuencia (SPS)
de un caso donde el método descrito en Control de acuerdo con el Tipo de la Sección, el método descrito en Control de acuerdo con el Número de Capas de Referencia, y el método descrito en Predefinición del Patrón de Referencia se combinan. La Fig.27 es un diagrama que ilustra un ejemplo de la sintaxis que establece el conjunto de imágenes de referencia ínter capas del caso. Las Figs. 28 a 31 son diagramas que ilustran ejemplos de la sintaxis del encabezamiento de la sección del caso.
La Fig. 32 es un diagrama que ilustra un ejemplo de la semántica del conjunto de parámetros de la secuencia (SPS) de tal caso. La Fig. 33 es un diagrama que ilustra un ejemplo de la semántica del conjunto de imágenes de referencia ínter capas de tal caso. La Fig.34 es un diagrama que ilustra un ejemplo de la semántica del encabezamiento de la sección de tal caso.
En la porción representada en un patrón sombreado por diagonales en la Fig.26, se definen los conjuntos de imágenes de referencia ínter capas, y los parámetros de cada conjunto de imágenes de referencia ínter capas se definen en la Fig. 27. Además, en la porción representada en un patrón sombreado con diagonales en la Fig.29, la transmisión (que incluye la generación) de la información relacionada con la predicción ínter capas se controla.
Al configurarla como tal, se puede suprimir la
transmisión innecesaria de la información relacionada con la predicción ínter capas, se suprime además la transmisión innecesaria de la información de designación de la capa de referencia, y se puede reducir la cantidad de código de la información relacionada con la predicción ínter capas que debe ser transmitida, por lo cual se puede suprimir la reducción en la eficiencia de la codificación más que aquella del caso descrito en Control de acuerdo con el Tipo de la Sección, el caso del método descrito en Control de acuerdo con el Número de Capas de Referencia, o el caso del método descrito en Predefinición del Patrón de Referencia.
Además, del lado de la decodificación, al analizar la información el encabezamiento que incluye la información relacionada con la predicción ínter capas al usar un método similar a aquel del proceso de control de la información relacionada con la predicción ínter capas del lado de la codificación descrito anteriormente, la información relacionada con la predicción ínter capas puede ser analizada concretamente, y la predicción ínter capas puede ser controlada correctamente con base en el valor de la información. Por consiguiente, se logra la supresión de la transmisión innecesaria de la información relacionada con la predicción ínter capas, por lo cual la reducción de la eficiencia de la codificación puede ser suprimida.
Es aparente que la combinación descrita anteriormente de
una pluralidad de métodos de control puede ser aplicada de forma similar al caso del lado de la codificación.
2. Segunda Modalidad
Aparato para Codificación de Imagen
Enseguida, se describirá un aparato para logar la presente teenología como se menciona anteriormente y un método del mismo. La Fig. 35 es un diagrama que ilustra un aparato para codificación de imagen que es una modalidad del aparato para procesamiento de imagen al cual se aplica la presente tecnología. El aparato 100 para codificación de imagen ilustrado en la Fig. 35 es un aparato que lleva a cabo la codificación de imágenes jerárquicas (codificación escalable). Como se ilustra en la Fig. 35, el aparato 100 para codificación de imagen incluye: una unidad 101 de codificación de la imagen de la capa base; una unidad 102 de codificación de la imagen de la capa de mejoramiento, una unidad 103 de multiplexión; y una unidad 104 de control.
La unidad 101 de codificación de la imagen de la capa base codifica la imagen de la capa base, generándose por ello un flujo codificado de la imagen de la capa base. Además, la unidad 102 de codificación de la imagen de la capa de mejoramiento codifica la imagen de la capa de mejoramiento, generándose por ello el flujo codificado de la imagen de mejoramiento. La unidad 103 de multiplexión multiplexa el flujo codificado de la imagen de la capa base generado por la
unidad 101 de codificación de la imagen de la capa base y el flujo codificado de la imagen de la capa de mejoramiento generado por la unidad 102 de codificación de la imagen de la capa de mejoramiento, generándose por ello un flujo codificado de la imagen jerárquica. La unidad 103 de multiplexión transmite el flujo codificado de la imagen jerárquica al lado de la decodificación.
La unidad 101 de codificación de la imagen de la capa base suministra la imagen decodificada (conocida también como imagen decodificada de la imagen base) adquirida en el proceso de codificación de la capa base, a la unidad 102 de codificación de la imagen de la capa de mejoramiento.
La unidad 102 de codificación de la imagen de la capa de mejoramiento adquiere la imagen decodificada de la capa base suministrada desde la unidad 101 de codificación de la imagen de la capa base y almacena la imagen decodificada de la capa base adquirida. La unidad 102 de codificación de la imagen de la capa de mejoramiento usa la imagen decodificada de la capa base almacenada como la imagen de referencia para un proceso de predicción en la codificación de la capa de mejoramiento.
La unidad 104 de control lleva a cabo la configuración relacionadas con los datos de la imagen completa y controla la unidad 101 de codificación de la imagen de la capa base y la unidad 102 de codificación de la imagen de la capa de mejoramiento con base en la configuración, controlándose por
ello el proceso de codificación de cada capa. Además, la unidad 104 de control genera el conjunto de parámetros de video (VPS) usando la configuración, suministra el conjunto de parámetros de video a la unidad 103 de multiplexión, transmitiéndose por ello el conjunto de parámetros de video al lado de la decodificación. En este momento, el conjunto de parámetros de video puede ser configurado para ser transmitido al ser incluido en el flujo codificado de la imagen jerárquica o ser transmitido como datos distintos al flujo codificado de la imagen jerárquica.
La unidad 102 de codificación de la imagen de la capa de mejoramiento genera la información del encabezamiento, tal como el conjunto de parámetros de la secuencia (SPS) y el encabezamiento de la sección de acuerdo con el control (la información del conjunto de parámetros de video (VPS) suministrada desde la unidad 104 de control) de la unidad 104 de control.
Unidad de Codificación de la Imagen de la Capa Base
La Fig. 36 es un diagrama de bloques que ilustra un ejemplo de la configuración principal de la unidad 101 de codificación de la imagen de la capa base ilustrada en la Fig. 35. Como se ilustra en la Fig. 36, la unidad 101 de codificación de la imagen de la capa base incluye: una unidad 111 de conversión A/D; una memoria 112 intermedia de rearreglo de la pantalla; una unidad 113 de cálculo; una unidad 114 de
transformación ortogonal; una unidad 115 de cuantificación; una unidad 116 de codificación reversible; una memoria 117 intermedia de acumulación; una unidad 118 de cuantificación inversa, y una unidad 119 de transformación ortogonal inversa. Además, la unidad 101 de codificación de la imagen de la capa base incluye: una unidad 120 de cálculo; un filtro 121 de bucle; una memoria 122 de cuadros; una unidad 123 de selección; una unidad 124 de predicción intra; una unidad 125 de predicción ínter; una unidad 126 de selección de la imagen pronosticada; y una unidad 127 de control de la tasa.
La unidad 111 de conversión A/D lleva a cabo la conversión A/D de los datos de la imagen de entrada (la información de la imagen de la capa base) y suministra los datos de la imagen (datos digitales) después de la conversión, a la memoria 112 intermedia de rearreglo de la pantalla, almacenándose por ello los datos de la imagen en la misma. La memoria 112 intermedia de rearreglo de la pantalla rearregla las imágenes almacenadas de cuadros, las cuales se arreglan en el orden de despliegue, en el orden de cuadros para la codificación de acuerdo con un Grupo De Imágenes (GOP) y suministra las imágenes adquiridas al rearreglar el orden de los cuadros a la unidad 113 de cálculo. Además, la memoria 112 intermedia de rearreglo de la pantalla suministra las imágenes adquiridas al rearreglar el orden de los cuadros también a la unidad 124 de predicción intra y la unidad 125 de
predicción ínter.
La unidad 113 de cálculo resta la imagen pronosticada suministrada desde la unidad 124 de predicción intra o la unidad 125 de predicción ínter a través de la unidad 126 de selección de la imagen pronosticada de la imagen leída desde la memoria 112 intermedia de rearreglo de la pantalla y trasmite la información de la diferencia de las mismas a la unidad 114 de transformación ortogonal. Por ejemplo, en el caso de una imagen para la cual se lleva a cabo la codificación intra, la unidad 113 de cálculo resta la imagen pronosticada suministrada desde la unidad 124 de predicción intra de la imagen leída desde la memoria 112 intermedia de rearreglo de la pantalla. Por otro lado, por ejemplo, en el caso de una imagen para la cual se lleva a cabo la predicción ínter, la unidad 113 de cálculo resta la imagen pronosticada suministrada desde la unidad 125 de predicción ínter de la imagen leída desde la memoria 112 intermedia de rearreglo de la pantalla.
La unidad 114 de transformación ortogonal lleva a cabo la transformación ortogonal, tal como la transformación discreta del coseno o la transformación de Karhuren-Loeve para la información de la diferencia que se suministra desde la unidad 113 de cálculo. La unidad 114 de transformación ortogonal suministra los coeficientes de transformación de la misma a la unidad 115 de cuantificación.
La unidad 115 de cuantificación cuantifica los coeficientes de transformación suministrados desde la unidad 114 de transformación ortogonal. La unidad 115 de cuantificación establece los parámetros de cuantificación con base en la información relacionada con el valor obtenido de la cantidad de codificación que se suministra desde la unidad 127 de control de la tasa y lleva a cabo la cuantificación de los mismos. La unidad 115 de cuantificación suministra los coeficientes de transformación cuantificados a la unidad 116 de codificación reversible.
La unidad 116 de codificación reversible codifica los coeficientes de transformación cuantificados, cuantificados por la unidad 115 de cuantificación, usando un sistema de codificación arbitrario. Ya que los datos de los coeficientes se cuantifican bajo el control de la unidad 127 de control de la tasa, la cantidad de codificación se vuelve el valor (o un valor cercano al valor objetivo) establecido por la unidad 127 de control de la tasa.
Además, la unidad 116 de codificación reversible adquiere la información que representa el modo de la predicción intra y los similares desde la unidad 124 de predicción intra y adquiere la información que representa el modo de la predicción ínter, la información del vector de movimiento de la diferencia, y los similares desde la unidad 125 de predicción ínter. Además, la unidad 116 de codificación
reversible genera apropiadamente una unidad de Capa de Abstracción de Red (NAL) de la capa base que incluye el conjunto de parámetros de la secuencia (SPS), el conjunto de parámetros de la imagen (PPS), y los similares.
La unidad 116 de codificación reversible codifica tales varios elementos de información usando un sistema de codificación arbitrario y configura la información codificada como parte de los datos codificados (conocidos también como un flujo codificado). La unidad 116 de codificación reversible suministra los datos codificados, adquiridos mediante el proceso de codificación, a la memoria 117 intermedia de acumulación, acumulándose por ello los datos codificados en la mism .
Los ejemplos del sistema de codificación de la unidad 116 de codificación reversible incluyen una codificación de longitud variable, codificación aritmética, y las similares. Como ejemplos de la codificación de longitud variable, existe la Codificación de Longitud Variable Adaptable al Contexto (CAVLC) definida en el sistema H.264/AVC y las similares. Un ejemplo de la codificación aritmética, existe la Codificación Aritmética Binaria Adaptable al Contexto (CABAC) o las similares.
La memoria 117 intermedia de acumulación retiene temporalmente el flujo (el flujo codificado de la capa base) suministrado desde la unidad 116 de codificación reversible.
Además, la memoria 117 intermedia de acumulación transmite el flujo codificado de la capa base que se almacena en un tiempo predeterminado, a la unidad 103 de multiplexión (Fig.15). En otras palabras, la memoria 117 intermedia de acumulación sirve también como una unidad de transmisión que transmite el flujo codificado de la capa base.
Además, los coeficientes de transformación cuantificados por la unidad 115 de cuantificación se suministran a la unidad 118 de cuantificación inversa. La unidad 118 de cuantificación inversa lleva a cabo la cuantificación inversa de los coeficientes de transformación cuantificados, usando un método correspondiente al proceso de cuantificación llevado a cabo por la unidad 115 de cuantificación. La unidad 118 de cuantificación inversa suministra los coeficientes de transformación adquiridos a la unidad 119 de transformación ortogonal inversa. La unidad 119 de transformación ortogonal inversa lleva a cabo la transformación ortogonal inversa de los coeficientes de transformación suministrados desde la unidad 118 de cuantificación inversa usando un método correspondiente al proceso de transformación ortogonal llevado a cabo por la unidad 114 de transformación ortogonal. La salida (la información de la diferencia restablecida) para la cual se lleva a cabo la transformación ortogonal se suministra a la unidad 120 de cálculo.
La unidad 120 de cálculo suma una imagen pronosticada
suministrada desde la unidad 124 de predicción intra o la unidad 125 de predicción ínter a través de la unidad 126 de selección de la imagen pronosticada, a la información de la diferencia restablecida que es el resultado de la transformación ortogonal inversa suministrado desde la unidad 119 de transformación ortogonal inversa, adquiriéndose por ello una imagen (imagen decodificada) que se decodifica localmente. La imagen decodificada se suministra al filtro 121 de bucle o a la memoria 122 de cuadros.
El filtro 121 de bucle incluye un filtro de desbloqueo, un filtro de bucle adaptativo, o los similares y lleva a cabo apropiadamente un proceso de filtrado para una imagen de reconstrucción suministrada desde la unidad 120 de cálculo. Por ejemplo, el filtro 121 de bucle elimina la distorsión de bloque de la imagen de reconstrucción al llevar a cabo el proceso del filtro del desbloqueo para la imagen de reconstrucción. Además, por ejemplo, el filtro 121 de bucle lleva a cabo un proceso del filtro de bucle usando un filtro de Wiener para el resultado (la imagen de reconstrucción de la cual se eliminan la distorsión de bloque) del proceso del filtro de bucle de desbloqueo, mejorándose por ello la calidad de la imagen. El filtro 121 de bucle suministra el resultado del proceso de filtrado (llamado de aquí en adelante la imagen decodificada) a la memoria 122 de cuadros.
Además, el filtro 121 de bucle puede ser configurado para
llevar a cabo algún otro proceso de filtrado para la imagen de reconstrucción. Además, el filtro 121 de bucle, cuando es necesario, puede ser configurado para suministrar información tal como los coeficientes del filtro usados para el proceso del filtro y los similares a la unidad 116 de codificación reversible, para codificar la información.
La memoria 122 de cuadros almacena la imagen decodificada suministrada y suministra la imagen decodificada suministrada a la unidad 123 de selección en un tiempo predeterminado como una imagen de referencia.
Más específicamente, la memoria 122 de cuadros almacena la imagen de reconstrucción suministrada desde la unidad 120 de cálculo y la imagen decodificada suministrada desde el filtro 121 de bucle. La memoria 122 de cuadros suministra la imagen decodificada almacenada a la unidad 124 de predicción intra a través de la unidad 123 de selección en un tiempo predeterminado o con base en una petición desde una unidad externa, tal como la unidad 124 de predicción intra o las similares. Además, la memoria 122 de cuadros suministra la imagen decodificada, almacenada, a la unidad 125 de predicción ínter, a través de la unidad 123 de selección, en un tiempo predeterminado, o con base en una petición desde una unidad externa, tal como la unidad 125 de predicción ínter.
La unidad 123 de selección selecciona el destino de suministro de la imagen de referencia que se suministra desde
la memoria 122 de cuadros. Por ejemplo, en el caso de la predicción intra, la unidad 123 de selección suministra la imagen de referencia (los valores de pixel del interior de la imagen actual o la imagen decodificada de la capa base) suministrada desde la memoria 122 de cuadros, a la unidad 124 de predicción intra. Por otro lado, por ejemplo, en el caso de la predicción ínter, la unidad 123 de selección suministra la imagen de referencia (la imagen decodificada de la capa de mejoramiento fuera de la imagen actual o la imagen decodificada de la capa base) suministrada desde la memoria 122 de cuadros a la unidad 125 de predicción ínter.
La unidad 124 de predicción intra lleva a cabo un proceso de predicción para la imagen actual que es la imagen de un cuadro a ser procesado, generándose por ello una imagen pronosticada. La unidad 124 de predicción intra lleva a cabo este proceso de predicción para cada número predeterminado de bloques (para los bloques como unidades de procesamiento). En otras palabras, la unidad 124 de predicción intra genera una imagen pronosticada del bloque actual, el cual es el objetivo del procesamiento, de la imagen actual. En ese momento, la unidad 124 de predicción intra lleva a cabo un proceso de predicción (predicción intra pantallas (conocida también como una predicción intra), usando la imagen de reconstrucción suministrada desde la memoria 122 de cuadros, a través de la unidad 123 de selección como una imagen de referencia. En
otras palabras, la unidad 124 de predicción intra genera una imagen pronosticada usando los valores de pixel de la periferia del bloque actual incluido en la imagen de reconstrucción. Los valores de pixel de la periferia que se usan para esta predicción intra son valores de pixel de los pixeles, los cuales fueron procesados en el pasado, de la imagen actual. Como esta predicción intra (en otras palabras, como un método para generar una imagen pronosticada), una pluralidad de métodos (conocidos también como modos de predicción intra) se prepara por adelantado como candidatos. La unidad 124 de predicción intra lleva a cabo la predicción intra en la pluralidad de modos de predicción intra preparados por adelantado.
La unidad 124 de predicción intra genera las imágenes pronosticadas en todos los modos de predicción intra que son candidatos, evalúa el valor de la función de costo de cada imagen pronosticada, usando una imagen de entrada suministrada desde la memoria 112 intermedia de rearreglo de la pantalla, y selecciona el modo óptimo. Cuando se selecciona el modo de predicción intra óptimo, la unidad 124 de predicción intra suministra la imagen pronosticada generada en el modo óptimo, a la unidad 126 de selección de la imagen pronosticada.
Además, como se describe anteriormente, la unidad 124 de predicción intra suministra apropiadamente la información del modo de predicción intra que representa el modo de predicción
intra empleado y las similares, a la unidad 116 de codificación reversible, para codificarlas.
La unidad 125 de predicción ínter genera una imagen pronosticada al llevar a cabo un proceso de predicción para la imagen actual. La unidad 125 de predicción ínter lleva a cabo este proceso de predicción para cada número predeterminado de bloques (bloques como unidades de procesamiento). En otras palabras, la unidad 125 de predicción ínter genera una imagen pronosticada del bloque actual, el cual es el objetivo del procesamiento, de la imagen actual. En ese momento, la unidad 125 de predicción ínter lleva a cabo un proceso de predicción usando los datos de la imagen de la imagen de entrada suministrada desde la memoria 112 intermedia de rearreglo de la pantalla y los datos de la imagen de la imagen decodificada suministrada desde la memoria 122 de cuadros, como la imagen de referencia. Esta imagen decodificada es una imagen (otra imagen distinta a la imagen actual) de los cuadros procesados antes de la imagen actual. En otras palabras, la unidad 125 de predicción ínter lleva a cabo el proceso de predicción (predicción ínter pantallas (conocida también como predicción ínter)) que genera una imagen de predicción usando una imagen de otra imagen.
Esta predicción ínter se configura por una predicción del movimiento y una compensación del movimiento. Más específicamente, la unidad 125 de predicción ínter lleva a
cabo la predicción del movimiento del bloque actual usando la imagen de entrada y la imagen de referencia, detectándose por ello un vector de movimiento. Entonces, la unidad 125 de predicción ínter lleva a cabo el proceso de compensación del movimiento de acuerdo con el vector de movimiento detectado usando la imagen de referencia, generándose por ello una imagen pronosticada (la información de la imagen con predicción ínter) del bloque actual. Como esta predicción ínter (en otras palabras, como un método para la generación de la imagen pronosticada), una pluralidad de métodos (conocidos también como modos de predicción ínter), se preparan por adelantado como candidatos. La unidad 125 de predicción ínter lleva a cabo tal predicción ínter en la pluralidad de modos de predicción preparados por adelantado.
La unidad 125 de predicción ínter genera las imágenes de predicción en todos los modos de predicción ínter que son los candidatos. La unidad 125 de predicción ínter evalúa el valor de la función de costo de cada imagen pronosticada usando la imagen de entrada suministrada desde la memoria 112 intermedia de rearreglo de la pantalla y la información del vector de movimiento de la diferencia, generado, y los similares, y selecciona el modo óptimo. Cuando se selecciona el modo de predicción ínter óptimo, la unidad 125 de predicción ínter suministra la imagen pronosticada, generada en el modo óptimo, a la unidad 126 de selección de la imagen pronosticada.
La unidad 125 de predicción ínter suministra la información que representa el modo de predicción ínter empleado, la información requerida para llevar a cabo el proceso en el modo de predicción ínter en el momento de decodificar los datos codificados, y los similares, a la unidad 116 de codificación reversible, para codificar la información. Como la información requerida, por ejemplo, existe la información del vector de movimiento de la diferencia, qenerado, una bandera que representa el índice de un vector de movimiento pronosticado, como la información el vector de movimiento pronosticado, y los similares.
La unidad 126 de selección de la imagen pronosticada selecciona la fuente de suministro de la imagen pronosticada a ser suministrada a la unidad 113 de cálculo y la unidad 120 de cálculo. Por ejemplo, en el caso de la codificación intra, la unidad 126 de selección de la imagen pronosticada selecciona la unidad 124 de predicción intra como la fuente de suministro de la imagen pronosticada y suministra la imagen pronosticada suministrada desde la unidad 124 de predicción intra, a la unidad 113 de cálculo y la unidad 120 de cálculo. Por otro lado, por ejemplo, en el caso de la codificación ínter, la unidad 126 de selección de la imagen pronosticada selecciona la unidad 125 de predicción ínter como la fuente de suministro de la imagen pronosticada y suministra la imagen pronosticada, suministrada desde la unidad 125 de predicción ínter a la
unidad 113 de cálculo y la unidad 120 de cálculo.
La unidad 127 de control de la tasa controla la tasa de la operación de cuantificación llevada a cabo por la unidad 115 de cuantificación con base en la cantidad de codificación de los datos codificados acumulados en la memoria 117 intermedia de acumulación, de modo tal que no ocurra el desbordamiento o el subdesbordamiento.
Además, la memoria 122 de cuadros suministra la imagen decodificada de la capa base a la unidad 102 de codificación de la imagen de la capa de mejoramiento.
Unidad de Codificación de la Imagen de la Capa de Mejoramiento
La Fig. 37 es un diagrama de bloques que ilustra un ejemplo de la configuración principal de la unidad 102 de codificación de la imagen de la capa de mejoramiento ilustrada en la Fig. 35. Como se ilustra en la Fig.37 la unidad 102 de codificación de la imagen de la capa de mejoramiento tiene básicamente la misma configuración que la unidad 101 de codificación de la imagen de la capa base ilustrada en la Fig.
36.
En otras palabras, la unidad 102 de codificación de la imagen de la capa de mejoramiento, como se ilustra en la Fig.
37, incluye: una unidad 131 de conversión A/D; una memoria 132 de rearreglo de la pantalla; una unidad 133 de cálculo; una unidad 134 de transformación ortogonal; una unidad 135 de
cuantificación; una unidad 136 de codificación reversible; una memoria 137 intermedia de acumulación; una unidad 138 de cuantificación inversa; y una unidad 139 de transformación ortogonal inversa. Además, la unidad 102 de codificación de la imagen de la capa de mejoramiento incluye: una unidad 140 de cálculo; un filtro 141 de bucle; una memoria 142 de cuadros; una unidad 143 de selección; una unidad 144 de predicción intra; una unidad 145 de predicción ínter; una unidad 146 de selección de la imagen pronosticada; y una unidad 147 de control de la tasa.
La unidad 131 de conversión A/D a la unidad 147 de control de la tasa corresponden a la unidad 111 de conversión A/D a la unidad 127 de control de la tasa ilustradas en la Fig. 36 y llevan a cabo procesos similares a los proceso de las unidades de procesamiento correspondientes. Sin embargo, cada unidad de la unidad 102 de codificación de la imagen de la capa de mejoramiento lleva a cabo el proceso para codificar la información de la imagen de la capa de mejoramiento en lugar de la capa base. Por lo tanto, la descripción presentada anteriormente de los procesos de la unidad 111 de conversión A/D a la unidad 127 de control de la tasa en la Fig.36 puede ser aplicada a la unidad 131 de conversión A/D a la unidad 147 de control de la tasa. En tal caso, los datos a ser procesados necesitan no ser los datos de la capa base sino los datos de la capa de mejoramiento. Además, la fuente de entrada de los
datos y la unidad de procesamiento que es el destino de la entrada necesitan ser reemplazados con las unidades de procesamiento correspondientes dispuestas dentro de la unidad 131 de conversión A/D a la unidad 147 de control de la tasa en la descripción.
Además, la memoria 142 de cuadros adquiere una imagen decodificada de la capa base suministrada desde la unidad 101 de codificación de la imagen de la capa base, y por ejemplo, almacena la imagen decodificada de la capa base adquirida como la imagen de referencia a largo plazo o las similares, esta imagen decodificada de la capa base, por ejemplo, se usa como la imagen de referencia de la predicción ínter capas en los procesos de predicción llevados a cabo por la unidad 144 de predicción intra y la unidad 145 de predicción ínter.
Además, la unidad 102 de codificación de la imagen de la capa de mejoramiento incluye además una unidad 151 de generación de la información del encabezamiento y una unidad 152 de control de la predicción.
La unidad 151 de generación de la información del encabezamiento genera varios tipos de información del encabezamiento tales como el conjunto de parámetros de la secuencia y el encabezamiento de la sección de acuerdo con el control de la unidad 104 de control (en otras palabras, usando la información del conjunto de parámetros de video (VPS) y los similares suministrados desde la unidad 104 de control).
La unidad 151 de generación de la información del encabezamiento, por ejemplo, genera apropiadamente la información relacionada con la predicción ínter capas al llevar a cabo un proceso de control como se describe en la primera modalidad e incluye la información generada en la información del encabezamiento tal como el conjunto de parámetros de la secuencia (SPS) y el encabezamiento de la sección.
La unidad 151 de generación de la información del encabezamiento suministra la información el encabezamiento generado, a la unidad 136 de codificación reversible, transmitiéndose por lo tanto la información el encabezamiento al lado de la decodificación. La unidad 136 de codificación reversible, por ejemplo, suministra la información del encabezamiento a la memoria 137 intermedia de acumulación al ser incluida en el flujo de codificación de la imagen de la capa de mejoramiento, transmitiéndose por ello la información del encabezamiento al lado de la decodificación.
La unidad 151 de generación de la información del encabezamiento suministra la información de control de la predicción ínter capas y los similares, los cuales se genera, a la unidad 152 de control de la predicción. La unidad 152 de control de la predicción controla la predicción ínter capas que se lleva a cabo por la unidad 144 de predicción intra y la unidad 145 de predicción ínter de acuerdo con el resultado
generado (la información generada relacionada con la predicción ínter capas o la no generación de la información relacionada con la predicción ínter) de la información relacionada con la predicción ínter capas.
La unidad 151 de generación de la información del encabezamiento, por ejemplo, incluye una CPU, una RAM, una ROM, y los similares, y ejecuta el proceso descrito anteriormente, por ejemplo, al ejecutar un programa, el cual es leído desde la ROM o las similares, usando la RAM, usando la CPU.
Unidad de Generación de la información del Encabezamiento
La Fig. 38 es un diagrama de bloques que ilustra un ejemplo de la configuración de los bloques funcionales incluidos en la unidad 151 de generación de la información del encabezamiento ilustrada en la Fig. 37. En la unidad 151 de generación de la información del encabezamiento, por ejemplo, se ejecuta el proceso descrito anteriormente, por ejemplo, al ejecutar un programa leído desde la ROM o las similares usando la RAM usando la CPU, por lo cual se materializan varios bloques funcionales ilustrados en la Fig.38.
Como se ilustra en la Fig. 38, la unidad 151 de generación de la información del encabezamiento incluye: una unidad 161 de generación del encabezamiento de la sección; una unidad 162 de generación del conjunto de parámetros de la secuencia; y una unidad 163 de generación del conjunto de
imágenes de referencia ínter capas.
La unidad 161 de generación del encabezamiento de la sección genera el encabezamiento de la sección de la sección actual. La unidad 162 de generación del conjunto de parámetros de la secuencia genera el conjunto de parámetros de la secuencia (SPS) de una secuencia (conocida también como la secuencia actual) a la cual pertenece la sección actual. La unidad 163 de generación del conjunto de imágenes de referencia ínter capas genera los parámetros que configuran cada conjunto de imágenes de referencia ínter capas definido por la unidad 162 de generación del conjunto de parámetros de la secuencia.
La unidad 161 de generación del encabezamiento de la sección incluye: una unidad 171 de determinación de la dependencia; una unidad 172 de determinación del tipo de la sección; una unidad 173 de determinación de la capa; una unidad 174 de determinación del número de las capas de referencia; una unidad 175 de determinación de la predictibilidad ínter capas; una unidad 176 de determinación del conjunto de imágenes de referencia ínter capas; una unidad
177 de determinación del número de los conjuntos; una unidad
178 de generación de la sintaxis relacionada con la predicción ínter capas; una unidad 179 de generación del conjunto de parámetros; y una unidad 180 de establecimiento de índices.
La unidad 171 de determinación de la dependencia
determina si o no el encabezamiento de la sección de la sección actual es dependiente de otra sección. La unidad 172 de determinación del tipo de la sección determina el tipo de la sección de la sección actual. La unidad 173 de determinación de la capa hace una determinación relacionada con la capa de la sección actual. La unidad 174 de determinación del número de las capas de referencia hace una determinación relacionada con el número de las capas de referencia. La unidad 175 de determinación de la predictibilidad ínter capas determina si o no se puede hacer la predicción ínter capas. La unidad 176 de determinación del conjunto de imágenes de referencia ínter capas determina si o no se usa el conjunto de imágenes de referencia ínter capas predefinido. La unidad 177 de determinación del número de los conjuntos determina el número de conjuntos de imágenes de referencia ínter capas. La unidad 178 de generación de la sintaxis relacionada con la predicción ínter capas lleva a cabo un proceso relacionado con la generación de la información relacionada con la predicción ínter capas. La unidad 179 de generación del conjunto de parámetros lleva a cabo un proceso relacionado con la generación de un conjunto de imágenes de referencia ínter capas. La unidad 180 de establecimiento de índices lleva a cabo un proceso relacionado con la generación de un índice que designa el conjunto de imágenes de referencia ínter capas. La unidad 179 de
generación del conjunto de parámetros incluye: una unidad 181 de generación de la información de predictibilidad ínter capas; una unidad 182 de generación de la información del número de las capas de referencia; una unidad 183 de generación de la información de designación de las capas de referencia; y una unidad 184 de generación de la información de predictibilidad ínter.
La unidad 181 de generación de la información de predictibilidad ínter capas lleva a cabo un proceso relacionado con la generación de la información de predictibilidad ínter capas. La unidad 182 de generación de la información del número de las capas de referencia lleva a cabo un proceso relacionado con la generación de la información del número de las capas de referencia. La unidad 183 de generación de la información de designación de las capas de referencia lleva a cabo un proceso relacionado con la información de designación de la capa de referencia. La unidad 184 de generación de la información de predictibilidad ínter lleva a cabo un proceso relacionado con la generación de la información de predictibilidad ínter.
La unidad 162 de generación del conjunto de parámetros de la secuencia incluye una unidad 185 de generación de la información del número de los conjuntos y una unidad 186 de generación del conjunto de parámetros.
La unidad 185 de generación de la información del número
de los conjuntos genera la información del número de los conjuntos que representa el número de los conjuntos de parámetros (conjuntos de imágenes de referencia ínter capas) definidos en el conjunto de parámetros de la secuencia. La unidad 186 de generación del conjunto de parámetros genera (define) un conjunto de parámetros (el conjunto de imágenes de referencia ínter capas).
La unidad 163 de generación del conjunto de imágenes de referencia ínter capas incluye una unidad 187 de generación de la información del número de las capas de referencia y una unidad 188 de generación de la información de designación de las capas de referencia.
La unidad 187 de generación de la información del número de las capas de referencia es una unidad que procesamiento que lleva a cabo un proceso similar a aquel de la unidad 182 de generación de la información del número de las capas de referencia y genera la información del número de las capas de referencia del conjunto de imágenes de referencia ínter capas. La unidad 188 de generación de la información de designación de las capas de .referencia es una unidad de procesamiento que lleva a cabo un proceso similar a aquel de la unidad 183 de generación de la información de designación de las capas de referencia y genera la información de designación de las capas de referencia que representa todas las capas de referencia designadas en el conjunto de imágenes de referencia ínter
capas.
Como se ha descrito en la primera modalidad, existe una pluralidad de métodos para controlar la información relacionada con la predicción ínter capas, y los métodos pueden ser combinados. Por lo tanto, entre los bloques funcionales ilustrados en la Fig.38, los bloques funcionales que no son necesarios para el método de control empleado o una combinación de los métodos pueden ser omitidos cuando es apropiado.
Flujo del Proceso de Codificación de Imagen
Enseguida, se describirá el flujo de cada proceso ejecutado por el aparato 100 para codificación de imagen como se describe anteriormente. Primero, se describirá un ejemplo del flujo del proceso de codificación de imagen con referencia al diagrama de flujo representado en la Fig.39.
Cuando se inicia el proceso para codificación de imagen, la unidad 104 de control del aparato 100 para codificación de imagen lleva a cabo el establecimiento del proceso de codificación escalable completo en la Etapa S101.
En la Etapa S102, la unidad 104 de control controla cada una de la unidad 101 de codificación de la imagen de la capa base a la unidad 103 de multiplexión de acuerdo con la configuración llevada a cabo en la Etapa S101.
En la Etapa S103, la unidad 104 de control genera el conjunto de parámetros de video (VPS) con la configuración
llevada a cabo en la Etapa S101 que se refleja sobre este.
En la Etapa S104, la unidad 101 de codificación de la imagen de la capa base codifica los datos de la imagen de la capa base.
En la Etapa S105 la unidad 102 de codificación de la imagen de la capa de mejoramiento codifica los datos de la imagen de la capa de mejoramiento.
En la etapa S106, la unidad 103 de multiplexión multiplexa el flujo codificado de la imagen de la capa base generado en la Etapa S104 y el flujo codificado de la imagen de la capa de mejoramiento generado en la Etapa S105 (en otras palabras, los flujos de bitios de cada capa), generándose por ello un flujo codificado de la imagen jerárquica de un sistema. Además, la unidad 103 de multiplexión incluye el conjunto de parámetros de video (VPS) generado en la Etapa S103, en el flujo codificado de la imagen jerárquica cuando sea necesario. La unidad 103 de multiplexión trasmite el flujo codificado de la imagen jerárquica para ser transmitido al lado de la decodificación.
Cuando termina el proceso de la Etapa S106, el aparato
100 para codificación de imagen termina el proceso de codificación de imagen. Al llevar a cabo tal proceso de codificación de imagen, se procesa una imagen. Por lo tanto, el aparato 100 para codificación de imagen ejecuta repetidamente tal proceso para codificación de imagen para
cada imagen de los datos de la imagen en movimiento con capas. Sin embargo, por ejemplo, los procesos que no se requieren para ser formados para cada imagen tales como los procesos de las Etapas S101 a S103 se omiten apropiadamente.
Flujo del Proceso de Codificación de la Capa Base
Enseguida, se describirá un ejemplo del flujo del proceso de codificación de la capa base, ejecutado por la unidad 101 de codificación de la imagen de la capa base en la Etapa S104 representada en la Fig. 39, con referencia al diagrama de flujo representado en la Fig.40.
Cuando se inicia el proceso de codificación de la capa base, la unidad 111 de conversión A/D de la unidad 101 de codificación de la imagen de la capa base lleva a cabo la conversión A/D de cada cuadro (imagen) de una imagen en movimiento, en la Etapa S121.
En la Etapa S122, la memoria 112 intermedia de rearreglo de la pantalla almacena la imagen con conversión A/D adquirida en la Etapa S121 y rearregla las imágenes del orden de despliegue al orden de codificación.
En la Etapa S123, la unidad 124 de predicción intra lleva a cabo un proceso de predicción intra del modo de predicción intra .
En la Etapa S124, la unidad 125 de predicción ínter lleva a cabo un proceso de predicción ínter en el cual se lleva a cabo una predicción del movimiento, una compensación del
movimiento, y las similares en el modo de predicción ínter.
En la Etapa S125, la unidad 126 de selección de la imagen pronosticada selecciona una imagen pronosticada con base en el valor de la función de costo y las similares, en otras palabras, la unidad 126 de selección de la imagen pronosticada selecciona una de las imágenes pronosticadas generadas a través de la predicción intra llevada a cabo en la Etapa S123 y la imagen pronosticada generada a través de la predicción ínter llevada a cabo en la Etapa S124.
En la Etapa S126, la unidad 113 de cálculo calcula la diferencia entre la imagen de entrada de la cual se rearregla el orden de los cuadros en el proceso de la Etapa S122 y la imagen pronosticada seleccionada en el proceso de la Etapa S125. En otras palabras, la unidad 113 de cálculo genera los datos de la imagen de una imagen de la diferencia entre la imagen de entrada y la imagen pronosticada. La cantidad de datos de los datos de la imagen de la imagen de la diferencia adquirida como tal, se reduce para ser menor que aquella de los datos de la imagen. Por lo tanto, en comparación con el caso donde la imagen se codifica directamente, la cantidad de los datos puede ser comprimida.
En la Etapa S127, la unidad 114 de transformación ortogonal lleva a cabo la transformación ortogonal de los datos de la imagen de la imagen de la diferencia que se genera mediante el proceso de la Etapa S126.
En la Etapa S128, la unidad 115 de cuantificación cuantifica los coeficientes de transformación ortogonal adquiridos mediante el proceso de la Etapa S127, usando los parámetros de cuantificación calculados por la unidad 127 de control de la tasa.
En la Etapa S129, la unidad 118 de cuantificación inversa lleva a cabo la cuantificación inversa de los coeficientes cuantificados (llamados también coeficientes de cuantificación) generados por el proceso de la Etapa S128 de acuerdo con una característica correspondiente a la característica de la unidad 115 de cuantificación.
En la Etapa S130, la unidad 119 de transformación ortogonal inversa lleva a cabo la transformación ortogonal inversa de los coeficientes de transformación ortogonal adquiridos mediante el proceso de la Etapa S129.
En la Etapa S131, la unidad 120 de cálculo suma la imagen pronosticada seleccionada mediante el proceso de la Etapa S125 a la imagen de la diferencia restablecida mediante el proceso de la Etapa S130, generándose por ello los datos de la imagen de la imagen de reconstrucción.
En la Etapa S132, el filtro 121 de bucle lleva a cabo un proceso de filtro de bucle para los datos de la imagen de la imagen de reconstrucción generada mediante el proceso de la etapa S131. Por consiguiente, se elimina la distorsión de bloque o las similares de la imagen de reconstrucción.
En la Etapa 133, la memoria 122 de cuadros almacena los datos de la imagen decodificada (la imagen decodificada de la capa base) adquiridos por el proceso de la Etapa S132, la imagen de reconstrucción adquirida por el proceso de la Etapa S131, y las similares.
En la Etapa S134, la unidad 116 de codificación reversible codifica los coeficientes cuantificados adquiridos mediante el proceso de la Etapa S128. En otras palabras, la unidad 116 de codificación reversible lleva a cabo la codificación reversible, tal como la codificación de longitud variable o la codificación aritmética para los datos correspondientes a la imagen de la diferencia.
Además, en este momento, la unidad 116 de codificación reversible codifica la información relacionada con el modo de predicción de la imagen pronosticada, seleccionada mediante el proceso de la Etapa S125 y suma la imagen de la diferencia a los datos codificados adquiridos a través del proceso de codificación. En otras palabras, la unidad 116 de codificación reversible codifica la información del modo de predicción intra óptimo, suministrada desde la unidad 124 de predicción intra, la información de acuerdo con el modo de predicción ínter óptimo, suministrada desde la unidad 125 de predicción ínter, y las similares, y suma la información codificada a los datos codificados.
Además, la unidad 116 de codificación reversible
establece y codifica elementos de la sintaxis de varias unidades de NAL y las similares y suma los elementos de la sintaxis codificada a los datos codificados.
En la Etapa S135, la memoria 117 intermedia de acumulación acumula los datos codificados (el flujo codificado dela imagen de la capa base) adquiridos mediante el proceso de la Etapa S134. El flujo codificado de la imagen de la capa base acumulado en la memoria 117 intermedia de acumulación es leído apropiadamente, se suministra a la unidad 103 de multiplexión, se multiplexa con el flujo codificado de la imagen de la capa de mejoramiento, y entonces, se transmite al lado de la decodificación, a través de la línea de transmisión o el medio de registro.
En la Etapa S136, la unidad 127 de control de la tasa controla la tasa de la operación de cuantificación llevada cabo por la unidad 115 de cuantificación, con base en la cantidad de la codificación (la cantidad de la codificación generada) de los datos codificados acumulados en la memoria 117 intermedia de acumulación, mediante el proceso de la Etapa S135, de modo tal que no ocurra el desbordamiento o el subdesbordamiento. Además, la unidad 127 de control de la tasa suministra la información relacionada con los parámetros de cuantificación, a la unidad 115 de cuantificación.
En la Etapa S137, la memoria 122 de cuadros suministra la imagen decodificada de la capa base, almacenada, al proceso de
codificación de la capa de mejoramiento.
Cuando se termina el proceso de la etapa S137, se termina el proceso de codificación de la capa base, y el proceso se devuelve al proceso ilustrado en la Fig.39.
Flujo del Proceso de Codificación de la Capa de
Mejoramiento
Enseguida, se describirá un ejemplo del flujo del proceso de codificación de la capa de mejoramiento, ejecutado por la unidad 102 de codificación de la imagen de la capa de mejoramiento en la Etapa S105 representada en la Fig. 39, con referencia a un diagrama de flujo representado en la Fig.41.
Cuando se inicia el proceso de codificación de la capa de mejoramiento, la unidad 151 de generación de la información del encabezamiento de la unidad 102 de codificación de la imagen de la capa de mejoramiento, por ejemplo, genera varios tipos de información del encabezamiento, tales como el conjunto de parámetros de la secuencia (SPS), el encabezamiento de la sección, y los similares, en la Etapa S141.
En la Etapa S142, la memoria 142 de cuadros adquiere y almacena la imagen decodificada de la capa base. Por ejemplo, la memoria 142 de cuadros almacena la imagen decodificada de la capa base en el cuadro de referencia a largo plazo.
Los procesos de las Etapas S143 a S158 corresponden respectivamente a los procesos de las Etapas S121 a S136
representadas en la Fig. 40 y se lleva a cabo de forma básicamente similar a aquella de tales procesos. Sin embargo, aunque cada proceso de las Etapas S121 a S136 representadas en la Fig.40, se lleve a cabo para la capa base, cada proceso de las etapas S143 a S158 se lleva a cabo para la capa de mejoramiento.
Cuando el proceso de la Etapa S158 se termina, se termina el proceso de codificación de la capa de mejoramiento, y el proceso se devuelve al proceso representado en la etapa 39.
Proceso de Generación de la información del Encabezamiento Relacionado con la Predicción Inter Capas
La unidad 151 de generación de la información del encabezamiento y la unidad 152 de control de la predicción llevan a cabo un proceso de generación de la información del encabezamiento relacionado con la predicción ínter capas en la Etapa S141 representada en la Fig.41 y, como se describe en la primera modalidad, lleva a cabo la generación de la información relacionada con la predicción ínter capas como la información del encabezamiento (el encabezamiento de la sección) y el control de la predicción ínter capas.
Enseguida, se describirá un ejemplo del flujo del proceso de generación de la información del encabezamiento relacionado con la predicción ínter capas, con referencia al diagrama de flujo representado en la Fig.42. En la Fig.42, el flujo del proceso de un caso donde el método descrito en Control de
acuerdo con el Tipo de la Sección, de la primera modalidad y el método descrito en Control de acuerdo con el Número las Capas de Referencia, se combinan.
Cuando se inicia el proceso de generación de la información el encabezamiento relacionado con la predicción ínter capas, la unidad 171 de determinación de la dependencia determina si o no el encabezamiento de la sección de la sección actual es dependiente de otra sección, en la Etapa S151. En un caso donde se determina que la sección es dependiente (!dependiente_sección_segmento_bandera), el proceso procede a la Etapa S162.
En la Etapa SI62, la unidad 172 de determinación del tipo de la sección determina si o no el tipo de la sección de la sección actual es una sección P o una sección B. en el caso donde el tipo de la sección de la sección actual se determina como la sección P o la sección B (sección_tipo == P || sección_tipo == B), el proceso procede a la Etapa S163.
En la etapa SI63 la unidad 173 de determinación de la capa determina si o no la capa de la sección actual es una capa de mejoramiento, y una o más capas se definen para poder hacer referencia a ellas en el conjunto de parámetros de video (VPS). En un caso donde se determina que la capa de la sección actual es una capa de mejoramiento, y una o más capas se definen para poder hacer referencia a ellas en el conjunto de parámetros de video (VPS) (nuh_capa_id > 0 &&
NumDirectaRefCapas[nuh_capa_id] > 0), el proceso procede a la Etapa S164.
En la Etapa S164, la unidad 181 de generación de la información de predictibilidad ínter capas genera la información de la predictibilidad ínter capas (inter_capas_pred_habilitada_bandera) como la información relacionada con la predicción ínter capas.
En la Etapa S165, la unidad 182 de generación de la información del número de las capas de referencia genera la información del número de las capas de referencia (num_inter_capas_ref_imágenes_menosl) como la información relacionada con la predicción ínter capas.+
En la Etapa S166, la unidad 184 de generación de la información de predictibilidad ínter genera la información de la predictibilidad ínter (inter_capas_muestra_pred_solo_bandera) como la información relacionada con la predicción ínter capas.
En la Etapa S167, la unidad 174 de determinación del número de las capas de referencia determina si o no el número de capas de referencia definidas en el conjunto de parámetros de video (VPS) y el número (la información del número de las capas activas) de las capas de referencia definidas en el encabezamiento de la sección son mutuamente iguales. En un caso donde se determina que ambos números de las capas de referencia no son mutuamente iguales
(NumDirectaRefCapas[nuh_capa_id] != NumActivaRefCapalmágenes), el proceso procede a la etapa SI68.
En la Etapa S168, LA unidad 183 de generación de la información de designación de las capas de referencia genera la información de designación de la capa de referencia (inter_capas_pred_capa_idc[i]) como la información relacionada con la predicción ínter capas. Cuando el proceso de la etapa S168 se termina, el proceso procede a la Etapa S169.
Además, en la Etapa SI67, en un caso donde se determina que el número de capas de referencia definidas en el conjunto de parámetros de video (VPS) y el número (la información del número de capas activas) de las capas de referencia definidas en el encabezamiento de la sección son mutuamente iguales, el proceso de la Etapa S168 se omite, y el proceso procede a la Etapa S169.
En la etapa S169, la unidad 152 de control de la predicción controla la predicción ínter capas con base en cada parámetro establecido por la unidad 151 de generación de la información del encabezamiento, como anteriormente, como la información relacionada con la predicción ínter capas. Cuando se determina el proceso de la Etapa S169, el proceso de generación de la información del encabezamiento relacionado con la predicción ínter capas se termina.
Además, en la Etapa S161, en un caso donde se determina que el encabezamiento de la sección de la sección actual es
dependiente de alguna otra sección, el proceso procede a la Etapa S170. En la Etapa S167, en un caso donde se determina que la sección actual es la sección I, el proceso procede a la Etapa S170. En la Etapa S163, en un caso donde se determina que la capa de la sección actual es la capa base o en un caso donde se determina que una o más capas no están determinadas para ser definidas como referibles en el conjunto de parámetros de video (VPS), el proceso procede a la Etapa S170.
En la Etapa S170, la unidad 152 de control de la predicción prohíbe la predicción ínter capas y lleva a cabo el control de modo tal que no se lleve a cabo la predicción ínter capas en la predicción intra y la predicción ínter.
Cuando se termina el proceso de la Etapa S170, el proceso de generación de la información del encabezamiento relacionado con la predicción ínter capas se termina.
Al ejecutar cada proceso como se menciona anteriormente, el aparato 100 para codificación de imagen puede suprimir la transmisión innecesaria de la información relacionada con la predicción ínter capas y suprime la redición en la eficiencia de la codificación.
Además, en un caso donde solo se usa el método descrito en Control de acuerdo con el Tipo de la Sección, el proceso de la Etapa S167 representada en la Fig.42, puede ser omitido. Además, en un caso donde solo se usa el método descrito en Control de acuerdo con el Número de Capas de Referencia, el
proceso de la Etapa S162, representado en la Fig.42 puede ser omitido.
Flujo 2 del Proceso de Generación de la información del Encabezamiento relacionado con la Predicción Inter Capas
Enseguida, como otro ejemplo del proceso de generación de la información del encabezamiento relacionado con la predicción ínter capas, un ejemplo de un caso donde el método descrito en Control de acuerdo con el Tipo de la Sección, de la primera modalidad, el método descrito en Control de acuerdo con el Número de Capas de Referencia y el método descrito en Predefinición del Patrón de Referencia se combinan, se describirá con referencia al diagrama de flujo representado en la Fig.43.
Cuando se inicia el proceso de generación de la información el encabezamiento relacionado con la predicción ínter capas, la unidad 185 de generación de la información del número de los conjuntos genera la información del número de los conjuntos (num_inter_capas_ref_imágenes_conjuntos) como el conjunto de parámetros de la secuencia en la Etapa S181.
En la Etapa S182, la unidad 186 de generación del conjunto de parámetros genera un conjunto de imágenes de referencia ínter capas (inter_capas_ref_imágenes_conjunto(i)) como el conjunto de parámetros de la secuencia.
En la Etapa S183, la unidad 187 de generación de la información del número de las capas de referencia genera la
información del número de las capas de referencia
(num_inter_capas_ref_imágenes_menosl) como el conjunto de imágenes de referencia ínter capas.
En la Etapa S184, la unidad 188 de generación de la información de designación de las capas de referencia genera la información de designación de las capas de referencia (inter_capas_pred_capa_idc[i]) como el conjunto de imágenes de referencia ínter capas.
En la Etapa sl85, la unidad 172 de determinación del tipo de la sección y la unidad 173 de determinación de la capa determinan si o no la capa de la sección actual es una capa de mejoramiento, y el tipo de la sección de la sección actual es una sección P o una sección B. en un caso donde se determina que la capa de la sección actual es una capa de mejoramiento (capa_id > 0), y el tipo de la capa de la sección actual se determina como una sección P o una sección B (sección_tipo == P || sección_tipo == B), el proceso procede a la Etapa S186.
En la Etapa S186, la unidad 175 de determinación de la predictibilidad ínter capas determina si o no la predicción ínter capas puede ser realizada con base en la sintaxis del conjunto de parámetros de video (VPS) en la sección actual. En un caso donde se determina que se puede realizar la predicción ínter capas, el proceso procede a la Etapa S187.
En la Etapa S187, la unidad 176 de determinación del conjunto de imágenes de referencia ínter capas determina si o
no se realiza la predicción con base en los parámetros del conjunto de parámetros de la secuencia (SPS), en otras palabras, el conjunto de imágenes de referencia ínter capas. En un caso donde se determina que se realiza la predicción, el proceso procede a la Etapa S188.
En la Etapa S188, la unidad 177 de determinación del número de los conjuntos determina si o no está presente una pluralidad de conjuntos de imágenes de referencia ínter capas. En un caso donde se determina que está presente una pluralidad de conjuntos de imágenes de referencia ínter capas (num_inter_capas_ref_imágenes_conjuntos > 1), el proceso procede a la Etapa S189.
En la Etapa S189, la unidad 180 de establecimiento de índices genera un índice (inter_capas_ref_imágenes_conjunto_idx) que designa el conjunto de imágenes de referencia ínter capas que se aplica a la sección actual como el encabezamiento de la sección. Cuando se termina el proceso de la Etapa S189, el proceso procede a la Etapa S192.
Además, en la Etapa S188, en un caso donde se determina que el número de conjuntos de imágenes de referencia ínter capas es de uno solo, el proceso procede a la Etapa S190.
En la Etapa S190, la unidad 180 de establecimiento de índices omite la generación del índice (inter_capas_ref_imágenes_conjunto_idx). En este caso, aun sin
ningún indice, ya que solo el cero-ésimo conjunto de parámetros (conjunto de imágenes de referencia ínter capas) está presente, se designa el conjunto de imágenes de referencia ínter capas. Cuando termina el proceso de la Etapa S190, el proceso procede a la Etapa S192.
Además, en la Etapa S187, en un caso donde se determina que no se usan los parámetros del conjunto de parámetros de la secuencia (SPS), en otras palabras, el conjunto de imágenes de referencia ínter capas, el proceso procede a la Etapa S191.
En la Etapa S191, la unidad 179 de generación del conjunto de parámetros genera un conjunto de parámetros (un conjunto de imágenes de referencia ínter capas dedicado para la imagen actual)
(inter_capas_ref_imágenes_conjunto (num_inter_capas_ref_imágenes_conjuntos)) dedicado para la imagen actual como el encabezamiento de la sección. Cuando el proceso de la Etapa S191 se termina, el proceso procede a la Etapa S192.
En la Etapa S192, la unidad 152 de control de la predicción controla la predicción ínter capas con base en el conjunto de parámetros (el conjunto de imágenes de referencia ínter capas) establecido anteriormente. Cuando se termina el proceso de la Etapa S192, el proceso de generación de la información del encabezamiento relacionado con la predicción ínter capas se termina.
Además, en la Etapa S185, en un caso donde la unidad 173 de determinación de la capa determina que la capa de la sección actual es una capa base o determina que el tipo de la sección de la sección actual es una sección I, el proceso procede a la Etapa S193. Además, en la Etapa S186, en un caso donde se determina que se puede realizar la predicción ínter capas con base en la sintaxis del conjunto de parámetros de video (VPS) en la sección actual, el proceso procede a la Etapa S193.
En la Etapa S193, la unidad 152 de control de la predicción prohíbe la predicción ínter capas y lleva a cabo el control de modo tal que no se lleva a cabo la predicción ínter capas en la predicción intra y la predicción ínter.
Cuando se termina el proceso de la Etapa S193, el proceso de generación de la información del encabezamiento relacionado con la predicción ínter capas se termina.
Al ejecutar cada proceso como se menciona anteriormente, el aparato 100 para codificación de imagen puede suprimir la transmisión innecesaria de la información relacionada con la predicción ínter capas y suprimir la reducción en la eficiencia de la codificación.
Además, en el ejemplo ilustrado en la Fig. 43, una comparación entre los números de las capas de referencia, como en el proceso de la Etapa S167 representada en la Fig.42, se lleva a cabo en la semántica, y por lo tanto, la descripción
de la misma se omite. Es aparente que, al igual que en el caso ilustrado en la Fig.41, la comparación puede ser llevada a cabo usando la sintaxis.
En un caso donde el método descrito en Control de acuerdo con el Tipo de la Sección se omite, el proceso de la Etapa S185 representado en la Fig.43 puede ser omitido. Además, en un caso donde el método descrito en Control de acuerdo con el Número de las Capas de Referencia se omite, en el proceso de la Etapa S184 o S191 representadas en la Fig. 43, la comparación entre los números de las capas de referencia como en el proceso de la Etapa S167 representada en la Fig.42 puede ser configurado para no ser llevado a cabo.
La configuración del aparato 100 para codificación de imagen y el contenido del procesamiento del proceso de codificación de imagen no se limitan a aquellos descritos en el ejemplo presentado anteriormente siempre y cuando la transmisión de la información relacionada con la predicción ínter capas pueda ser controlada como se describe en la primera modalidad.
3. Tercera Modalidad
Aparato para Decodificación de Imagen
Enseguida, se describirá la decodificación de los datos codificados, codificados como se menciona anteriormente. La Fig. 44 es un diagrama de bloques que ilustra un ejemplo de la configuración principal de un aparato para decodificación de
imagen correspondiente al aparato 100 para codificación de imagen que es una modalidad del aparato para procesamiento de imagen al cual se aplica la presente teenología. El aparato 200 para decodificación de imagen ilustrado en la Fig. 44 decodifica los datos codificados generados por el aparato 100 para codificación de imagen, usando un método de decodificación correspondiente al método de codificación (en otras palabras, lleva a cabo la decodificación jerárquica para los datos codificados que se codifican jerárquicamente). Como se ilustra en la Fig. 44, el aparato 200 para decodificación de imagen incluye: una unidad 201 de desmultiplexión; una unidad 202 de decodificación de la imagen de la capa base; y una unidad 203 de decodificación de la imagen de la capa de mejoramiento.
La unidad 201 de desmultiplexión recibe el flujo codificado de la imagen jerárquica en el cual se multiplexa un flujo codificado de la imagen de la capa base y un flujo codificado de la imagen de la capa de mejoramiento, el cual se transmite desde el lado de la codificación, y desmultiplexa el flujo codificado de la imagen jerárquica, extrayéndose por ello el flujo codificado de la imagen de la capa base y el flujo codificado de la imagen de la capa de mejoramiento. La unidad 202 de decodificación de la imagen de la capa base decodifica el flujo codificado de la imagen de la capa base extraída por la unidad 201 de desmultiplexión, adquiriéndose
por ello una imagen de la capa base. La unidad 203 de decodificación de la imagen de la capa de mejoramiento decodifica el flujo codificado de la imagen de la capa de mejoramiento extraído por la unidad 201 de desmultiplexión, adquiriéndose por ello una imagen de la capa de mejoramiento.
La unidad 202 de decodificación de la imagen de la capa base suministra la imagen decodificada de la capa base, adquirida al decodificar la capa base a la unidad 203 de decodificación de la imagen de la capa de mejoramiento.
La unidad 203 de decodificación de la imagen de la capa de mejoramiento adquiere la imagen decodificada de la capa base suministrada desde la unidad 202 de decodificación de la imagen de la capa base y almacena la imagen decodificada de la capa base, adquirida. La unidad 203 de decodificación de la imagen de la capa de mejoramiento usa la imagen decodificada de la capa base, almacenada, como la imagen de referencia para un proceso de predicción llevado a cabo en la decodificación de la capa de mejoramiento.
Unidad de Decodificación de la Imagen de la Capa Base
La Fig. 45 es un diagrama de bloques que ilustra un ejemplo de la configuración principal de la unidad 202 de decodificación de la imagen de la capa base, ilustrada en la Fig. 44. Como se ilustra en la Fig. 45, la unidad 202 de decodificación de la imagen de la capa base incluye: una memoria 211 intermedia de acumulación; una unidad 212 de
decodificación reversible; una unidad 213 de cuantificación inversa; una unidad 214 de transformación ortogonal inversa; una unidad 215 de cálculo; un filtro 216 de bucle; una memoria 217 intermedia de rearreglo de la pantalla; y una unidad 218 de conversión D/A. Además, la unidad 202 de decodificación de la imagen de la capa base incluye: una memoria 219 de cuadros; una unidad 220 de selección; una unidad 221 de predicción intra; una unidad 222 de predicción ínter; y una unidad 223 de selección de la imagen pronosticada.
La memoria 211 intermedia de acumulación también sirve como una unidad de recepción que recibe los datos codificados transmitidos (el flujo codificado de la imagen de la capa base transmitido desde la unidad 201 de desmultiplexión) . La memoria 211 intermedia de acumulación recibe y acumula los datos codificados recibidos y suministra los datos codificados a la unidad 212 de decodificación reversible en un tiempo predeterminado. Aquí, la información requerida para el proceso de decodificación, tal como la información del modo de predicción y los similares, se agrega a los datos codificados.
La unidad 212 de decodificación reversible decodifica la información, la cual se suministra desde la memoria 211 intermedia de acumulación, codificada por la unidad 116 de codificación reversible usando un sistema de decodificación correspondiente al sistema de codificación. La unidad 212 de decodificación reversible suministra los datos de los
coeficientes cuantificados de la imagen de la diferencia que se adquieren por el proceso de decodificación, a la unidad 213 de cuantificación inversa.
Además, la unidad 212 de decodificación reversible determina si el modo de predicción intra o el modo de predicción ínter se selecciona como el modo de predicción óptimo y suministra la información relacionada con el modo de predicción óptimo a una de la unidad 221 de predicción intra y la unidad 222 de predicción ínter que se determina para ser seleccionada. En otras palabras, por ejemplo, en un caso donde se selecciona el modo de predicción intra como el modo de predicción óptimo, del lado de la codificación, la información (la información del modo de predicción intra) relacionad con el modo de predicción óptimo se suministra a la unidad 221 de predicción intra. Por otro lado, por ejemplo, en un caso donde se selecciona el modo de predicción ínter como el modo de predicción óptimo del lado de la codificación, la información (la información del modo de predicción ínter) relacionada con el modo de predicción óptimo se suministra a la unidad 222 de predicción ínter.
Además, la unidad 212 de decodificación reversible, por ejemplo, extrae la información requerida para la cuantificación inversa tao como una matriz de cuantificación y los parámetros de cuantificación de los datos codificados y suministra la información a la unidad 213 de cuantificación
inversa.
La unidad 213 de cuantificación inversa lleva a cabo la cuantificación inversa de los datos de los coeficientes cuantificados adquiridos a través del proceso de decodificación llevado a cabo por la unidad 212 de decodificación reversible usando un sistema que corresponde al sistema de cuantificación de la unidad 115 de cuantificación. Aquí, esta 213 es una unidad de procesamiento similar a la unidad 118 de cuantificación inversa. La unidad 213 de cuantificación inversa suministra los datos (coeficientes de transformación ortogonal) de la transformación, adquiridos a la unidad 214 de transformación ortogonal inversa.
La unidad 214 de transformación ortogonal inversa lleva a cabo una transformación ortogonal inversa de los coeficientes de trasformación ortogonal suministrados desde la unidad 213 de cuantificación inversa usando un método correspondiente al proceso de transformación ortogonal llevada a cabo por la unidad 114 de transformación ortogonal según sea necesario. Aquí, esta 214 es una unidad de procesamiento que es similar a la unidad 119 de transformación ortogonal inversa.
Los datos de la imagen de una imagen de la diferencia se restablecen por este proceso de transformación ortogonal inversa. Los datos de la imagen restablecida de la imagen de la diferencia corresponden a los datos de la imagen de la diferencia antes de que se lleve a cabo la transformación
ortogonal del lado de la codificación. A partir de aquí, los datos de la imagen restablecida de la imagen de la diferencia, los cuales se adquieren por el proceso de transformación ortogonal inversa llevado a cabo por la unidad 214 de transformación ortogonal inversa, también será conocido como datos residuales decodificados. La unidad 214 de transformación ortogonal inversa suministra los datos residuales decodificados a la unidad 215 de cálculo. Además, los datos de la imagen de una imagen pronosticada se suministran a la unidad 215 de cálculo desde la unidad 221 de predicción intra o la unidad 222 de predicción ínter a través de la unidad 223 de selección de la imagen pronosticada.
La unidad 215 de cálculo adquiere los datos de la imagen de una imagen de reconstrucción adquiridos al agregar la imagen de la diferencia y la imagen pronosticada usando los datos residuales decodificados y los datos de la imagen, de la imagen pronosticada. Esta imagen de reconstrucción corresponde a una imagen de entrada antes de la sustracción de la imagen pronosticada que se lleva a cabo por la unidad 113 de cálculo. La unidad 215 de cálculo suministra la imagen de reconstrucción al filtro 216 de bucle.
El filtro 216 de bucle genera una imagen decodificada al llevar a cabo apropiadamente un proceso de filtro de bucle que incluye un proceso de filtro de desbloqueo, un filtro de bucle adaptativo, y los similares, para la imagen de reconstrucción
suministrada. Por ejemplo, el filtro 216 de bucle lleva a cabo el proceso de filtro de cerradura de desbloqueo para la imagen de reconstrucción, eliminándose por ello la distorsión de bloque. Además, por ejemplo, el filtro 216 de bucle lleva a cabo un proceso de filtro de desbloqueo para el resultado (la imagen de reconstrucción de la cual se elimina la distorsión de bloque) del proceso del filtro de desbloqueo usando un filtro de Wiener, mejorándose por ello la calidad de la imagen.
Aquí, el tipo del proceso de filtro llevado a cabo por el filtro 216 de bucle es arbitrario, y se puede llevar a cabo un proceso de filtro distinto a aquel descrito anteriormente. Además, el filtro 216 de bucle puede ser configurado para llevar a cabo el proceso de filtro usando los coeficientes del filtro suministrados desde el aparato para codificación de imagen. Además, el filtro 216 de bucle puede ser configurado para omitir el proceso del filtro y transmite los datos de entrada sin llevar a cabo un proceso de filtro para los datos de entrada.
El filtro 216 de bucle suministra una imagen decodificada
(o la imagen de reconstrucción) que es el resultado del proceso de filtro, a la memoria 217 intermedia de rearreglo de la pantalla y la memoria 219 de cuadros.
La memoria 217 intermedia de rearreglo de la pantalla lleva a cabo el rearreglo del orden de los cuadros para la
imagen decodificada. En otras palabras, la memoria 217 intermedia de rearreglo de la pantalla rearregla las imágenes de cada cuadro, los cuales se rearreglan en el orden de la codificación por la memoria 112 intermedia de rearreglo de la pantalla, en el orden de despliegue original. En otras palabras, la memoria 217 intermedia de rearreglo de la pantalla almacena los datos de la imagen, de las imágenes decodificadas de cada cuadro, suministrados en el orden de la codificación, en ese orden, lee los datos de la imagen de las imágenes decodificadas de cada cuadro, almacenados en el orden de la codificación, en el orden de despliegue, y suministra los datos de la imagen leídos, a la unidad 218 de conversión D/A. La unidad 218 de conversión D/A lleva a cabo la conversión D/A de las imágenes decodificadas (datos digitales) de cada cuadro suministrado desde la memoria 217 intermedia de rearreglo de la pantalla y transmite las imágenes decodificadas a una pantalla, no ilustrada, como datos analógicos, para ser desplegados en la misma.
La memoria 219 de cuadros almacena la imagen decodificada, suministraba, y suministra la imagen decodificada almacena a la unidad 221 de predicción intra o la unidad 222 de predicción ínter a través de la unidad 220 de selección como la imagen de referencia, en un tiempo predeterminado, o con base en una petición externa desde la unidad 221 de predicción intra, la unidad 222 de predicción
ínter, o las similares.
La información del modo de predicción intra y las similares se suministran apropiadamente a la unidad 221 de predicción intra desde la unidad 212 de decodificación reversible. La unidad 221 de predicción intra lleva a cabo la predicción intra en el modo de predicción intra (el modo de predicción intra óptimo) usado por la unidad 124 de predicción intra, generándose por ello una imagen de predicción. En ese momento, la unidad 221 de predicción intra lleva a cabo la predicción intra usando los datos de la imagen de la imagen de reconstrucción suministrados desde la memoria 219 de cuadros, a través de la unidad 220 de selección. En otras palabras, la unidad 221 de predicción intra usa la imagen de reconstrucción como una imagen de referencia (pixeles periféricos). La unidad 221 de predicción intra suministra la imagen pronosticada, generada a la unidad 223 de selección de la imagen pronosticada.
La información del modo de predicción óptimo, la información del movimiento, y las similares se suministran apropiadamente a la unidad 222 de predicción ínter desde la unidad 212 de decodificación reversible. La unidad 222 de predicción ínter lleva a cabo la predicción ínter usando la imagen decodificada (la imagen de referencia) adquirida desde la memoria 219 de cuadros, en el modo de predicción ínter (el modo de predicción ínter óptimo) representado en la
información del modo de predicción óptimo que se adquiere desde la unidad 212 de decodificación reversible, generándose por ello una imagen pronosticada.
La unidad 223 de selección de la imagen pronosticada suministra la imagen pronosticada, suministrada desde la unidad 221 de predicción intra o la imagen pronosticada suministrada desde la unidad 222 de predicción ínter, a la unidad 215 de cálculo. Entonces, la imagen pronosticada y los datos residuales decodificados (la información de la imagen de la diferencia) suministrados desde la unidad 214 de transformación ortogonal inversa se suman mediante la unidad 215 de cálculo, por lo cual se adquiere una imagen de reconstrucción.
Además, la memoria 219 de cuadros suministra la imagen decodificada de la capa base a la unidad 203 de decodificación de la imagen de la capa de mejoramiento.
Unidad de Decodificación de la imagen de la Capa de
Mejoramiento
La Fig. 46 es un diagrama de bloques que ilustra un ejemplo de la configuración principal de la unidad 203 de decodificación de la imagen de la capa de mejoramiento ilustrada en la Fig. 44. Como se ilustra en la Fig.46, la unidad 203 de decodificación de la imagen de la capa de mejoramiento básicamente tiene la configuración similar como la unidad 202 de decodificación de la imagen de la capa base
ilustrada en la Fig.45.
En otras palabras, la unidad 203 de decodificación de la imagen de la capa de mejoramiento, como se ilustra en la Fig. 46, incluye: una memoria 231 intermedia de acumulación; una unidad 232 de decodificación reversible; una unidad 233 de cuantificación inversa; una unidad 234 de transformación ortogonal inversa; una unidad 235 de cálculo; un filtro 236 de bucle; una memoria 237 intermedia de rearreglo de la pantalla; y una unidad 238 de conversión D/A. Además, la unidad 203 de decodificación de la imagen de la capa de mejoramiento incluye: una memoria 239 de cuadros; una unidad 240 de selección; una unidad 241 de predicción intra; una unidad 242 de predicción ínter; y una unidad 243 de selección de la imagen pronosticada.
La memoria 231 intermedia de acumulación a la unidad 243 de selección de la imagen pronosticada corresponden a la memoria 211 intermedia de acumulación a la unidad 223 de selección de la imagen pronosticada ilustradas en la Fig.45 y llevan a cabo procesos similares a aquellos de las unidades de procesamiento correspondientes. Sin embargo, cada unidad de la unidad 203 de decodificación de la imagen de la capa de mejoramiento lleva a cabo el proceso no para codificar la capa base sino para codificar la información de la imagen la capa de mejoramiento. Por lo tanto, aunque la descripción presentada anteriormente de la memoria 211 intermedia de
acumulación a la unidad 223 de selección de la imagen pronosticada ilustradas en la Fig.45 puede ser aplicada al proceso de la memoria 231 intermedia de acumulación a la unidad 243 de selección de la imagen pronosticada, en tal caso, los datos a ser procesados necesitan ser no los datos de la capa base sino los datos de la capa de me oramiento. Además, es necesario reemplazar la unidad de procesamiento de la fuente de entrada o el destino de la salida de los datos con una unidad de procesamiento correspondiente de la unidad 203 de decodificación de la imagen de la capa de mejoramiento.
La memoria 239 de cuadros adquiere la imagen decodificada de la capa base, suministrada desde la unidad 202 de decodificación de la imagen de la capa base, y, por ejemplo, almacena la imagen decodificada de la capa base adquirida, como la imagen de referencia a largo plazo, o las similares, esta imagen decodificada de la capa base, por ejemplo, se usa como la imagen de referencia para la predicción ínter capas en el proceso de predicción llevado a cabo por la unidad 241 de predicción intra o la unidad 242 de predicción ínter.
Además, la unidad 203 de decodificación de la imagen de la capa de mejoramiento incluye una unidad 251 de análisis de la información del encabezamiento y una unidad 252 de control de la predicción.
La unidad 232 de decodificación reversible, por ejemplo, adquiere la información del encabezamiento, tal como el
conjunto de parámetros de la secuencia (SPS) o el encabezamiento de la sección, desde el flujo codificado de la imagen de la capa de mejoramiento. En esta información del encabezamiento, existe la posibilidad de que se incluya la información relacionada con la predicción ínter capas que se transmite desde el lado de la codificación. La unidad 232 de decodificación reversible suministra la información del encabezamiento a la unidad 251 de análisis de la información del encabezamiento.
Cuando se adquiere la información del encabezamiento suministrada desde la unidad 232 de decodificación reversible, la unidad 251 de análisis de la información del encabezamiento analiza la información el encabezamiento. La unidad 251 de análisis de la información del encabezamiento, por ejemplo, adquiere la información relacionada con la predicción ínter capas, desde la información del encabezamiento, al analizar la información del encabezamiento usando un método correspondiente al método de control descrito en la primera modalidad. La información relacionada con la predicción ínter capas es la información que se transmite desde el lado de la codificación (por ejemplo, el aparato 100 para codificación de imagen) y es la información relacionada con la predicción ínter capas llevada a cabo en el momento de la codificación de los datos. Por lo tanto, también en el lado de la decodificación (el aparato 200 para decodificación de imagen),
al controlar la predicción ínter capas con base en la información, de forma similar a aquella llevada a cabo en el momento de la codificación de los datos, se puede llevar a cabo una predicción ínter capas, por lo cual se puede llevar a cabo correctamente la decodificación.
Por consiguiente, la unidad 252 de control de la predicción controla la predicción ínter capas llevada a cabo por la unidad 241 de predicción intra o la unidad 242 de predicción ínter con base en el resultado del análisis llevado a cabo por la unidad 251 de análisis de la información del encabezamiento.
Como anteriormente, el aparato 200 para decodificación de imagen puede materializar la mejoría de la eficiencia de la codificación de acuerdo con el proceso de control descrito en la primera modalidad.
Unidad de Generación de la información del Encabezamiento
La Fig. 47 es un diagrama de bloques que ilustra un ejemplo de la configuración la unidad 251 de análisis de la información del encabezamiento ilustrada en la Fig.46. En la unidad 251 de análisis de la información del encabezamiento, por ejemplo, se lleva a cabo el proceso descrito anteriormente, por ejemplo, al ejecutar un programa leído desde la ROM o las similares usando la RAM, usando la CPU, por lo cual, se materializan varios bloques funcionales ilustrados en la Fig.47.
Como se ilustra en la Fig.47, la unidad 251 de análisis de la información del encabezamiento incluye una unidad 261 de análisis del encabezamiento de la sección; una unidad 262 de análisis del conjunto de parámetros de la secuencia; y una unidad 263 de análisis del conjunto de imágenes de referencia ínter capas.
La unidad 261 de análisis del encabezamiento de la sección analiza el encabezamiento de la sección, de la sección actual. La unidad 262 de análisis del conjunto de parámetros de la secuencia analiza el conjunto de parámetros de la secuencia (SPS) de la secuencia (conocida también como la secuencia actual) a la cual pertenece la sección actual. La unidad 263 de análisis del conjunto de imágenes de referencia Ínter capas analiza los parámetros que configuran cada conjunto de imágenes de referencia ínter capas definido por la unidad 262 de análisis del conjunto de parámetros de la secuencia.
La unidad 261 de análisis del encabezamiento de la sección incluye: una unidad 271 de determinación de la dependencia; una unidad 272 de determinación del tipo de la sección; una unidad 273 de determinación de la capa; una unidad 274 de determinación del número de las capas de referencia; una unidad 275 de determinación de la predictibilidad ínter capas; una unidad 276 de determinación del conjunto de imágenes de referencia ínter capas; una unidad
277 de determinación del número de los conjuntos; una unidad
278 de análisis de la sintaxis relacionada con la predicción ínter capas; una unidad 279 de análisis del conjunto de parámetros; y una unidad 280 de análisis de índices.
La unidad 271 de determinación de la dependencia determina si o no el encabezamiento de la sección de la sección actual es dependiente de otra sección. La unidad 272 de determinación del tipo de la sección determina el tipo de la sección de la sección actual. La unidad 273 de determinación de la capa hace una determinación relacionada con la capa de la sección actual. La unidad 274 de determinación del número de las capas de referencia hace una determinación relacionada con el nuero de las capas de referencia. La unidad 275 de determinación de la predictibilidad ínter capas determina si o no se puede realizar la predicción Ínter capas. La unidad 276 de determinación del conjunto de imágenes de referencia ínter capas determina si o no se usa el conjunto de imágenes de referencia ínter capas, predefinido. La unidad 277 de determinación del número de los conjuntos determina el número de los conjuntos de imágenes de referencia ínter capas. La unidad 278 de análisis de la sintaxis relacionada con la predicción ínter capas lleva a cabo un proceso relacionado con el análisis de la información relacionada con la predicción ínter capas. La unidad 279 de análisis del conjunto de
parámetros lleva a cabo un proceso relacionado con el análisis del conjunto de imágenes de referencia ínter capas. La unidad 280 de análisis de índices lleva a cabo un proceso relacionado con el análisis del índice que designa el conjunto de imágenes de referencia ínter capas.
La unidad 278 de análisis de la sintaxis relacionada con la predicción ínter capas incluye: una unidad 281 de análisis de la información de predictibilidad ínter capas; una unidad 282 de análisis de la información el número de las capas de referencia; una unidad 283 de análisis de la información de designación de las capas de referencia; y una unidad 284 de análisis de la información de predictibilidad Ínter.
La unidad 281 de análisis de la información de predictibilidad ínter capas lleva a cabo un proceso relacionado con el análisis de la información de predictibilidad ínter capas. La unidad 282 de análisis de la información el número de las capas de referencia lleva a cabo un proceso relacionado con el análisis de la información del número de las capas de referencia. La unidad 283 de análisis de la información de designación de las capas de referencia lleva a cabo un proceso relacionado con el análisis de la información de designación de las capas de referencia. La unidad 284 de análisis de la información de predictibilidad ínter lleva a cabo un proceso relacionado con el análisis de la información de predictibilidad ínter.
La unidad 262 de análisis del conjunto de parámetros de la secuencia incluye una unidad 285 de análisis de la información del número de los conjuntos y una unidad 286 de análisis del conjunto de parámetros.
La unidad 285 de análisis de la información del número de los conjuntos analiza la información del número de los conjuntos que representa el número de los conjuntos de parámetros (los conjuntos de imágenes de referencia ínter capas) definidos en el conjunto de parámetros de la secuencia. La unidad 286 de análisis del conjunto de parámetros analiza el conjunto de parámetros (el conjunto de imágenes de referencia ínter capas).
La unidad 263 de análisis del conjunto de imágenes de referencia ínter capas incluye una unidad 287 de análisis de la información del número de las capas de referencia y una unidad 288 de análisis de la información de designación de las capas de referencia.
La unidad 287 de análisis de la información del número de las capas de referencia es una unidad de procesamiento que lleva a cabo un proceso similar a aquel de la unidad 282 de análisis de la información del número de las capas de referencia y analiza la información del número de las capas de referencia del conjunto de imágenes de referencia ínter capas. La unidad 288 de análisis de la información de designación de las capas de referencia es una unidad de procesamiento que
lleva a cabo un proceso similar a aquel de la unidad 283 de análisis de la información de designación de las capas de referencia y analiza la información de designación de las capas de referencia que representa todas las capas de referencia designadas en el conjunto de imágenes de referencia ínter capas.
Como se ha descrito en la primera modalidad, existe una pluralidad de métodos para controlar la información relacionada con la predicción ínter capas, y los métodos pueden ser combinados. Por lo tanto, entre los bloques funcionales ilustrados en la Fig.47, los bloques funcionales que no son necesarios para el método de control empleado o una combinación de los métodos pueden ser omitidos cuando sea apropiado.
Flujo del Proceso para Decodificación de Imagen
Enseguida, se describirá el flujo de cada proceso ejecutado por el aparato 200 para decodificación de imagen como se describe anteriormente. Primero, se describirá un ejemplo del flujo del proceso para decodificación de imagen, con referencia al diagrama de flujo representado en la Fig. 48.
Cuando se inicia el proceso para decodificación de la imagen, en la Etapa S201, la unidad 201 de desmultiplexión del aparato 200 para decodificación de imagen desmultiplexa el flujo codificado de la imagen jerárquica transmitido desde el
lado de la codificación para cada capa.
En la Etapa S202, la unidad 202 de decodificación de la imagen de la capa base decodifica el flujo codificado de la imagen de la capa base que se extrae por el proceso de la Etapa S201. La unidad 202 de decodificación de la imagen de la capa base transmite los datos de la imagen de capa pase generados por la decodificación.
En la Etapa S203, la unidad 203 de decodificación de la imagen de la capa de mejoramiento decodifica el flujo codificado de la imagen de la capa de mejoramiento que se extrae mediante el proceso de la Etapa S201. La unidad 203 de decodificación de la imagen de la capa de mejoramiento transmite los datos de la imagen de la capa de mejoramiento generada por la decodificación.
Cuando se termina el proceso de la Etapa S203, el aparato
200 para decodificación de imagen termina el proceso para decodificación de la imagen. Una imagen se procesa mediante tal proceso para decodificación de imagen. Por lo tanto, el aparato 200 para decodificación de imagen ejecuta repetidamente tal proceso para decodificación de imagen para cada imagen de los datos de imagen en movimiento jerárquica.
Flujo del Proceso para Decodificación de la Capa Base
Enseguida, se describirá un ejemplo del flujo del proceso para decodificación de la capa base, ejecutado en la Etapa S202 representada en la Fig.48, con referencia al diagrama de
flujo representado en la Fig.49.
Cuando se inicia el proceso para decodificación de la capa base, en la Etapa S221, la memoria 211 intermedia de acumulación de la unidad 202 de decodificación de la imagen de la capa base acumula el flujo codificado de la capa base, transmitido. En la Etapa S222, la unidad 212 de decodificación reversible decodifica un flujo codificado de la capa base que se suministra desde la memoria 211 intermedia de acumulación. En otras palabras, los datos de la imagen de una sección I, una sección P, una sección B, y las similares, codificados por la unidad 116 de codificación reversible, se decodifican. En este momento varios tipos de información distintos a los datos de la imagen, que se incluyen en el flujo de bitios, tal como la información del encabezamiento, también se decodifican.
En la Etapa S223, la unidad 213 de cuantificación inversa lleva a cabo la cuantificación inversa de los coeficientes cuantificados que se adquirieren mediante el proceso de la Etapa S222.
En la Etapa S224, la unidad 214 de transformación ortogonal inversa lleva a cabo una transformación ortogonal inversa de los coeficientes adquiridos a través del proceso de cuantificación inversa en la Etapa S223.
En la Etapa S225, la unidad 221 de predicción intra y la unidad 222 de predicción ínter llevan a cabo un proceso de predicción, generándose por ello una imagen pronosticada. En
otras palabras el proceso de predicción se lleva a cabo en el modo de predicción, el cual se determina por la unidad 212 de decodificación reversible, que se aplica en el momento de la codificación de los datos. Más específicamente, por ejemplo, en el caso donde la predicción intra se aplica en el momento de la codificación de los datos, la unidad 221 de predicción intra genera una imagen pronosticada en el modo de predicción intra seleccionado como óptimo en el momento de la codificación de los datos. Por otro lado, por ejemplo, en un caso donde la predicción ínter se aplica en el momento de la codificación de los datos, la unidad 222 de predicción ínter genera una imagen pronosticada en el modo de predicción ínter seleccionado como óptimo en el momento de la codificación de los datos.
En la Etapa S226, la unidad 215 de cálculo suma la imagen pronosticada, generada en la Etapa S226, a la imagen de la diferencia adquirida al llevar a cabo la transformación ortogonal inversa en la Etapa S225. De esta forma, se adquieren los datos de la imagen, de la imagen de reconstrucción.
En la Etapa S227, el filtro 216 de bucle lleva a cabo apropiadamente un proceso de filtro de bucle que incluye un proceso de filtro de desbloqueo, un filtro de bucle adaptativo, y los similares, para los datos de la imagen de la imagen de reconstrucción que se adquieren mediante el proceso
de la Etapa S227.
En la Etapa S228, la memoria 217 intermedia de rearreglo de la pantalla rearregla cada cuadro de la imagen de reconstrucción para la cuales se lleva a cabo el proceso del filtro en la Etapa S227. En otras palabras, con el orden de los cuadros rearreglados en el momento de la codificación de los datos se rearregla para ser el orden de despliegue original.
En la Etapa S229, la unidad 218 de conversión D/A lleva a cabo una conversión D/A de la imagen de la cual se rearregla el orden de los cuadros en la Etapa S228. Esta imagen se transmite a una pantalla, no ilustrada, por lo cual se despliega la imagen.
En la Etapa S230, la memoria 219 de cuadros almacena los datos de la imagen decodificada, adquiridos mediante el proceso de la Etapa S227, la imagen de reconstrucción adquirida mediante el proceso de la Etapa S226, y los similares.
En la Etapa S231, la memoria 219 de cuadros suministra la imagen decodificada de la capa base adquirida mediante el proceso de decodificación de la capa base, como se describe anteriormente, al proceso de decodificación de la capa de mejoramiento.
Cuando se termina el proceso de la Etapa S231, el proceso de decodificación de la capa base se termina, y el proceso se
devuelve al proceso representado en la Fig.48.
Flujo del Proceso de Decodificación de la Capa de Mejoramiento
Enseguida, se describirá un ejemplo del flujo del proceso de decodificación del a capa de mejoramiento ejecutado en la Etapa S203 representado en la Fig. 48, con referencia al diagrama de flujo ilustrado en la Fig.50.
Cuando se inicia el proceso de decodificación de la capa de mejoramiento, la unidad 251 de análisis de la información del encabezamiento de la unidad 203 de decodificación de la imagen de la capa de mejoramiento analiza la información del encabezamiento, extraída desde el flujo codificado por la unidad 232 de decodificación reversible en la Etapa S241. La unidad 252 de control de la predicción controla la predicción ínter capas con base en el resultado del análisis.
En la etapa S242, la memoria 239 de cuadros adquiere y almacena la imagen decodificada de la capa base, suministrada. Por ejemplo, la memoria 239 de cuadros almacena la imagen decodificada de la capa base en un cuadro de referencia de largo plazo.
Cada proceso de las etapas S243 a S252 corresponde respectivamente a cada proceso de las Etapas S221 a S230 representados en la Fig. 49, y se ejecuta básicamente de manera similar como aquellos de tales procesos. Sin embargo, mientras que los procesos de las Etapas S221 a S230
representado en la Fig.49 se llevan a cabo para la capa base, los proceso de las Etapas S243 a S252 se llevan a cabo para la capa de mejoramiento. Además, en la Etapa S247, existen casos donde la predicción ínter capas se lleva a cabo como el proceso de predicción para generar la imagen pronosticada.
Cuando se termina el proceso de la Etapa S252, se termina el proceso de decodificación de la capa de mejoramiento, y el proceso se devuelve al proceso ilustrado en la Fig.48.
Flujo del Proceso de Análisis de la información del Encabezamiento relacionado con la Predicción Inter Capas
La unidad 251 de análisis de la información del encabezamiento y la unidad 252 de control de la predicción llevan a cabo un proceso de análisis de la información del encabezamiento relacionado con la predicción Ínter capas, en la Etapa S241 representada en la Fig.50 y, como se describe en la primera modalidad, llevan a cabo el análisis de la información relacionada con la predicción ínter capas incluida en la información del encabezamiento (encabezamiento de la sección) y el control de la predicción ínter capas.
A continuación, un ejemplo del flujo del proceso de analizar la información de encabezamiento con respecto a la predicción ínter capas se describirá con referencia a un diagrama de flujo representado en la Figura 51. En la Figura 51, se describirá el flujo del proceso de un caso donde el método descrito en Control de acuerdo con el Tipo de Sección
de la primera modalidad y el método descrito en Control de acuerdo con el Número de Capas de Referencia, están combinados.
Cuando se inicia el proceso de análisis de la información de encabezamiento en relación con una predicción Ínter capas, la unidad 271 de determinación de dependencia analiza un valor de la información de dependencia
(dependiente_sección_segmento_bandera) incluido en el encabezamiento de sección y determina si o no el encabezamiento de sección de la sección actual es dependiente de cualquier otra sección en la Etapa S261. En un caso donde la sección se determina que es dependiente (!dependiente_sección_segmento_bandera), el proceso continúa al Paso S262.
En la Etapa S262, la unidad 272 de determinación del tipo de la sección analiza el tipo de sección (sección_tipo) incluido en el encabezamiento de sección y determina si o no el tipo de sección de la sección actual es una sección P o una sección B. En un caso donde el tipo de sección de la sección actual se determina que es la sección P o la sección B
(sección_tipo == P | | sección_tipo == B), el proceso continúa en la Etapa S263.
En la Etapa S263, la unidad 273 de determinación de la capa analiza la información de la capa (nuh_capa_id) incluido en el encabezamiento de sección y en la información de la capa
de referencia (NumDirectaRefcapas[nuh_capa_id]) con respecto a la capa de la sección actual que se incluye en el conjunto de parámetros de video (VPS) y determina si o no la capa de la sección actual es una capa de mejoramiento, y una o más capas se define para ser atribuibles en el conjunto de parámetros de video (VPS). En un caso donde se determina que la capa de la sección actual es una capa de mejoramiento, y una o más capas se define para ser atribuibles en el conjunto de parámetros de video (VPS (nuh_capa_id >0 && NumDirectaRefcapas[nuh_capa_id]> 0), los proceso pasan al Paso S264.
En la Etapa S264, la unidad 281 de análisis de información de predictibilidad ínter capas analiza la información predictibilidad de ínter capas (inter_capas_pred_habilitada_bandera) incluido en el encabezamiento de la sección y adquiere la información de la predictibilidad ínter capas (inter_capas_pred_habilitada_bandera) como la información relativa a una predicción de ínter capas.
En la Etapa S265, la unidad 282 analizando la información del número de capa de referencia analiza la información del número de capas de referencia (num_inter_capas_ref_imágenes_menosl) incluido en el encabezamiento de la sección y adquiere la información del número de capa de referencia (num_inter_capas_ref_imágeness_menosl) como la información
relativa a la predicción ínter capas.
En la Etapa S266, la unidad 284 de análisis de información predictibilidad ínter analiza la información de predictibilidad ínter (inter_capas_muestra_pred_sólo_bandera) incluido en el encabezamiento de la sección y adquiere la información de predictibilidad ínter (inter_capas_muestra_pred_sólo_bandera) como la información relativa a la predicción ínter capas.
En la Etapa S267, la unidad 274 de determinación del número de capas de referencia analiza la información de capa de referencia (NumDirectaRefcapas[nuh_capa_id]) con respecto a la capa de la sección actual que se incluye en el conjunto de parámetros de vídeo (VPS) y la información de número de la capa activa (!=NumActiveRefCapaImágenes) incluido en el encabezamiento de la sección y determina si o no el número de capas de referencia definidos en el conjunto de parámetros de vídeo (VPS) y el número de capas de referencia definidos en el encabezamiento de sección son mutuamente el mismo. En un caso donde ambos el número de las capas de referencia están determinadas a no ser mutuamente las mismas (NumDirectaRefcapas[nuh_capa_id]!= NumActiveRefCapalmágenes), el proceso continúa en la Etapa S268.
En la Etapa S268, la unidad 283 analizando la información de designación de la capa de referencia analiza la información de designación de la capa de referencia
(inter_capas_pred_capa_idc[i]) incluido en el encabezamiento de la sección y adquiere la información de designación de la capa de referencia (inter_capas_pred_capa_idc[i]) como la información relativa a una predicción ínter capas. Cuando el proceso de la Etapa S268 termina, el proceso continúa al Paso S269.
Además, en la Etapa S267, en un caso donde el número de las capas de referencia definidos en el conjunto de parámetros de vídeo (VPS) y el número de las capas de referencia definidos en el encabezamiento de sección se determina que son mutuamente el mismo, el proceso de la Etapa S268 se omite, y el proceso continúa con la Etapa S269.
En la Etapa S269, la unidad 252 de control de predicción controla una predicción ínter capas basado en cada parámetro adquirido por la unidad 251 analizando la información de encabezamiento como anteriormente como la información relativa a la predicción ínter capas. Cuando el proceso de la Etapa S269 termina, el proceso de análisis de la información de encabezamiento en relación con la predicción ínter capas termina.
Además, en un caso donde el encabezamiento de sección de la sección actual se determina que es dependiente de cualquier otra sección en la Etapa S261, un caso donde el tipo de sección de la sección actual se determina que es la sección I en la Etapa S262 y un caso donde la capa de la sección actual
es la capa base en la Etapa S263 o un caso donde una o más capas no están determinadas para ser definidas para ser atribuibles en el conjunto de parámetros de video (VPS), no se realiza la predicción ínter capas en el proceso de codificación, y en consecuencia, el proceso de analizar la información de encabezamiento en relación con la predicción ínter capas termina.
Mediante la ejecución de cada proceso como anteriormente, el aparato 200 para decodificación de imagen puede realizar la supresión de la transmisión innecesaria de la información relativa a la predicción ínter capas y suprimir una disminución en la eficiencia de codificación.
En un caso donde sólo el método descrito en Control de acuerdo con el Tipo de Sección se utiliza, el proceso de la Etapa S267 representado en la Figura 51 puede ser omitido. Además, en un caso donde sólo el método descrito en Control de acuerdo con el Número de Capas de Referencia se utiliza, el proceso de la Etapa S262 representado en la Figura 51 puede ser omitido.
El Flujo 2 del Proceso de Análisis de Información del Encabezamiento con relación a la Predicción Inter capa
A continuación, como otro ejemplo del proceso de analizar la información de encabezamiento con relación a la predicción de ínter capas, un ejemplo de un caso donde el método descrito en Control de acuerdo al Tipo de Sección de la primera
modalidad, el método descrito en Control de acuerdo con el Número de Capas de Referencia, y el método descrito en Predefinición de Patrón de Referencia son combinados se describirá con referencia a un diagrama de flujo ilustrado en la Figura 52.
Cuando se inicia el proceso de análisis de la información de encabezamiento en relación con la predicción ínter capas, la unidad 285 de análisis de la información del número de los conjuntos (num_inter_capas_ref_imágenes_conjuntos) del conjunto de parámetros de secuencia y adquiere la información del número de los conjuntos (num_inter_capas_ref_imágenes_conjuntos) como la información relativa a la predicción de ínter capas en la Etapa S281.
En la Etapa S282, la unidad 286 de análisis del conjunto de parámetros analiza un conjunto de imágenes de referencia ínter capas (ínter_ capas_ref_imágenes__conjunto(i)) del conjunto de parámetros de secuencia y adquiere el conjunto de referencia de ínter capas (inter_capas_ref_imágenes_conjunto(i)) como la información relativa a la predicción de ínter capas.
En la Etapa S283, la unidad 287 de análisis de la información del número de las capas de referencia de analiza la información del número de capas (num_inter_capas_ref_imágeness_ enosl) de cada conjunto de imágenes de referencia de ínter capas
(num_inter_capas_ref_imágeness_menosl) como la información relativa a la predicción de ínter capas.
En la Etapa S284, la unidad 288 de análisis de la información de designación de las capas de referencia analiza la información de designación de las capas de referencia (inter_capas_pred_capa_idc[i]) de cada conjunto de imagen de referencia de ínter capas y adquiere la información de designación de las capas de referencia (inter_capas_pred_capa_idc[i]) como la información relativa a la predicción de ínter capas.
En la Etapa S285, la unidad 272 de determinación del tipo de la sección y la unidad 273 de determinación de la capa analiza la información de la capa (capas_id) y el tipo de sección (sección_tipo) de la sección actual incluida en el encabezamiento de la sección y determina si o no la capa de la sección actual es una capa de mejoramiento, y el tipo de sección de la sección actual es una sección P o una sección B. En un caso donde se determina que la capa de la sección actual es una capa de mejoramiento (capas_id > 0), y el tipo de sección de la sección actual es determinada para ser una sección P o una sección B (sección_tipo == P || sección_tipo == B), el proceso continúa en la Etapa S286.
En la Etapa S286, la unidad 281 de análisis de la información de predictibilidad Ínter capas analiza la información de la predictibilidad ínter capas
(inter_capas_pred_habilitada_bandera) incluido en la encabezamiento de la sección y adquiere la información de la predictibilidad de ínter capas (inter_capas_pred_habilitada_bandera) como la información relativa a la predicción de ínter capas. Entonces, la unidad 275 de determinación de la predictibilidad ínter capas determina si o no una predicción ínter capas se puede hacer desde la sintaxis del conjunto de parámetros de vídeo (VPS) en la sección actual basada en la información de la predictibilidad ínter capas (inter_capas_pred_habilitada__bandera). En un caso donde se determina que la predicción de las ínter capas se puede hacer, el proceso continúa en la Etapa S287.
En la Etapa S287, la unidad 276 de determinación del conjunto de imágenes de referencia ínter capas determinan si o no se hace una predicción desde los parámetros del conjunto (SPS) de parámetros de secuencia, en otras palabras, el conjunto de imágenes de referencia ínter capas basado en el valor de la información del conjunto de imágenes de referencia ínter capas (inter_capas_ref_imágenes_ con unto_sps_bandera) incluido en el encabezamiento de la sección. En un caso donde se determina que la predicción se hace, el proceso continúa en la Etapa S288.
En la Etapa S288, la unidad 277 de determinación del número de los conjuntos determina si o no una pluralidad de
conjuntos de imágenes de referencia ínter capas está presente basada en el número de conjunto (num_inter_capas_ref_imágenes_conjuntos) adquiridos en la Etapa S281. En un caso donde una pluralidad de conjuntos de imágenes de referencia ínter capas se determina para estar presentes (num_inter_ capas_ref_imágenes_conjuntos > 1), el proceso continúa en la Etapa S289.
En la Etapa S289, la unidad 280 de análisis de índices analiza un índice (inter_capas_ref_imágenes_conjunto_idx) incluido en el encabezamiento de la sección y adquiere el índice (inter_capas_ref_imágenes_conjunto_idx). La unidad 280 de análisis de índices designa un conjunto de imágenes de referencia de ínter capas utilizando el índice (inter_capas_ref_imágenes_conjunto_idx). Cuando el proceso de la Etapa S289 termina, el proceso continúa en la Etapa S292.
Por otro lado, en la Etapa S288, en un caso donde el número del conjunto de imágenes de referencia de las ínter capas se determina que es única, el proceso pasa al Paso S290.
En la Etapa S290, la unidad 280 de análisis de índices omite el análisis del índice (inter_capas_ref_imágenes_conjunto_idx). En este caso, incluso sin ningún índice, ya que sólo un conjunto de parámetros cero-ésimo (conjunto de imágenes de referencia ínter capas) está presente, la unidad 280 de análisis de índices designa el conjunto de imágenes de referencia ínter capas cero-ésimo sin
utilizar el indice. Cuando el proceso de la Etapa S290 termina, el proceso continúa en la Etapa S292.
Además, en la Etapa S287, en un caso donde los parámetros del conjunto (MSF) de parámetros de secuencia, en otras palabras, el conjunto de imágenes de referencia de ínter capas está determinado a no ser utilizado, el proceso pasa al Paso S291.
En la Etapa S291, la unidad 279 de análisis del conjunto de parámetros adquiere un conjunto de parámetros (un conjunto de imágenes de referencia ínter capas dedicado para la imagen actual) (inter_capas_ref_imágenes_conjunto (num_inter_capas_ref_imágenes_conjuntos)) dedicada para la imagen actual que se incluye en la encabezamiento de la sección. Cuando el proceso en la Etapa S291 termina, el proceso continúa en la Etapa S292.
En la Etapa S292, la unidad 252 de control de predicción controla una predicción de ínter capas basado en el conjunto de parámetros (conjunto de imágenes de referencia ínter capas) Establecido anteriormente. Cuando el proceso de la Etapa S292 termina, el proceso de analizar la información de encabezamiento en relación con la predicción ínter capas termina.
Además, en la Etapa S285, en un caso donde la unidad 273 de determinación de la capa determina que la capa de la sección actual es una capa base o determina que el tipo de
sección de la sección actual es la sección I, o, en un caso donde se determina que una predicción ínter capas no se puede realizar desde la sintaxis del conjunto (VPS) de parámetros de vídeo en la sección actual en la Etapa S286, no se realiza la predicción ínter capas, y en consecuencia, el proceso de generación de información de encabezamiento en relación con la predicción ínter capas termina.
Mediante la ejecución de cada proceso como anteriormente, el aparato 200 para la decodificación de imagen puede realizar la supresión de la transmisión innecesaria de la información relativa a la predicción de ínter capas y suprimir una disminución en la eficiencia de codificación.
En el ejemplo ilustrado en la Figura 52, una comparación entre el número de las capas de referencia, como en el proceso de la Etapa S267 representado en la Figura 51, se lleva a cabo utilizando la semántica, y por lo tanto, la descripción de los mismos no se presentará. Es evidente que, de forma similar al ejemplo ilustrado en la Figura 52, la comparación se puede realizar utilizando la sintaxis.
En un caso donde el método descrito en el Control de acuerdo con el Tipo de Sección se omite, el proceso de la
Etapa S285 representado en la Figura 52 puede ser omitido. Además, en un caso donde el método descrito en Control de acuerdo con el Número de Capas de Referencia se omite, en el proceso de la Etapa S284 o S291 representados en la Figura 52,
una comparación entre el número de capas de referencia como en el proceso de la Etapa S267 representado en la Figura 51 pueden estar configurados pero no se realizan.
La configuración del aparato 200 para decodificación de imagen y el contenido de procesamiento del proceso de decodificación de imágenes no se limitan a los descritos en el ejemplo presentado anteriormente, siempre y cuando la transmisión de la información relativa a la predicción de ínter capas puede ser controlada como se describe en la primera modalidad.
Como el rango de aplicación de la teenología actual, la tecnología actual se puede aplicar a todos los aparatos de codificación de imagen y todos los aparatos de decodificación de imágenes que se basan en sistemas de codificación y decodificación escalables.
Además, la tecnología actual, por ejemplo, se puede aplicar a un aparato de codificación de imágenes y un aparato de decodificación de imágenes que se utiliza cuando la información de imagen (flujo de bitios) comprimido utilizando una transformada ortogonal tal como una transformada de coseno discreta y una compensación de movimiento, como MPEG, H. 26x, o similares, se recibe a través de un medio de red tal como la radiodifusión por satélite, televisión por cable, la Internet, o un teléfono móvil. Además, la presente tecnología se puede aplicar a un aparato de codificación de imágenes y un aparato
de decodificación de imágenes que se utilizan cuando la información se procesa en un medio de almacenamiento tal como un disco óptico, un disco magnético, o una memoria flash.
4.- Cuarta Modalidad
Aplicación a la Codificación de Imágenes de Múltiple Puntos de vista y Decodificación de Imágenes de múltiple Puntos de vista
Una serie de los procesos descritos anteriormente se pueden aplicar a la codificación de imágenes de múltiples puntos de vista/decodificación de imágenes de múltiples puntos de vista. La Figura 53 es un diagrama que ilustra un ejemplo de un sistema de codificación de imágenes de puntos de vista múltiples.
Como se ilustra en la Figura 53, una imagen de punto de vista múltiple incluye imágenes de puntos de vista múltiples (vistas). Las vistas múltiples de la imagen de punto de vista múltiple se configuran mediante una vista base que se codifica y decodifica mediante el uso de sólo la imagen de la vista base sin necesidad de utilizar la información de otra vista y una vista no-base que se codifica y decodifica usando la información de otras vistas. Para codificar/decodificar la vista no-base, la información de la vista base o la información de cualquier otra vista no-base de base puede ser utilizada.
En otras palabras, una relación de referencia entre las
vistas en la imagen el punto de vista múltiple de codificación/decodificación es similar a una relación de referencia entre las capas en la imagen jerárquica de codificación/decodificación. Por lo tanto, mediante la aplicación de la presente teenología para la codificación/decodificación de la imagen de punto de vista múltiple como se ilustra en la Figura 53, similar a la aplicación a la codificación jerárquica/decodificación jerárquica descrita anteriormente con referencia a las Figuras 1 a 52, las ventajas similares a las ventajas descritas anteriormente con referencia a las Figuras 1 a 52 pueden ser adquiridas .
Aparato de Codificación de Imágenes de Punto de Vista
La Figura 54 es un diagrama que ilustra un aparato de codificación de imágenes de punto de vista múltiple realizando la codificación de la imagen de punto de vista múltiple descrito anteriormente. Como se ilustra en la Figura 54, el aparato 600 de codificación de la imagen de punto de vista múltiple incluye: una unidad 601 de codificación; una unidad 602 de codificación; y una unidad 603 de multiplexión.
La unidad 601 de codificación codifica una imagen de vista base, generando asi un flujo codificado de la imagen de vista base. Además, la unidad 602 de codificación codifica una imagen de vista no base, generando asi un flujo de la imagen
codificada de vista no base. La unidad 603 de multiplexado multiplexa el flujo codificado de la imagen de vista base generada por la unidad 601 de codificación y el flujo codificado de la imagen de vista no-base generada por la unidad 602 de codificación, generando de este modo un flujo codificado de imagen de punto de vista múltiple.
Mediante la aplicación de la teenología actual al aparato 600 de codificación de imagen del punto de vista múltiple, similar a la aplicación para el proceso de codificación jerárquica descrito anteriormente con referencia a las Figuras 1 a 52, las ventajas similares a las descritas anteriormente con referencia a las Figuras 1 a 52 pueden ser adquiridas.
Aparato Decodificador de Punto de Vista Múltiple
La Figura 55 es un diagrama que ilustra un aparato de decodificación de imágenes de punto de vista múltiples realizando la decodificación de punto de vista múltiple descrito anteriormente. Como se ilustra en la Figura 55, el aparato 610 de decodificación de imágenes de punto de vista múltiple incluye: una unidad 611 de desmultiplexión; una unidad 612 de decodificación; y una unidad 613 de decodificación.
La unidad 611 de desmultiplexión desmultiplexa un flujo codificado de imagen punto de vista múltiple adquirida por multiplexión el flujo codificado de la imagen vista base y el flujo codificado de la imagen vista no base, extrayendo de
este modo el flujo codificado de la imagen vista base. La unidad 612 de decodificación decodifica el flujo codificado de la imagen vista base extraída por la unidad 611 de desmultiplexión, adquiriendo así una imagen vista base. La unidad 613 de decodificación decodifica el flujo codificado de la imagen vista no base extraída por la unidad 611 de desmultiplexión, adquiriendo así una imagen de vista no-base.
Al aplicar la presente teenología al aparato 610 de decodificación de imágenes de puntos de vista múltiples, al igual que la aplicación al proceso de decodificación jerárquica descrito anteriormente con referencia a las Figs.1 a 52, se pueden adquirir ventajas similares a aquellas descritas anteriormente con referencia a las Figs.1 a 52.
5. Quinta Modalidad
Computadora
La serie de procesos descrita anteriormente puede ser ejecutada ya sea mediante componentes físicos o mediante componentes lógicos. En un caso donde la serie de procesos se ejecuta por medio de componentes lógicos, programas que configuran los componentes lógicos se instalan en una computadora. Aquí, la computadora incluye una computadora que se construye en componentes físicos dedicados, una computadora tal como una computadora personal de propósito general que puede ejecutar varias funciones al instalar varios programas en la misma, y las similares.
La Fig. 56 es un diagrama de bloques que ilustra un ejemplo de la configuración de los componentes físicos de una computadora que ejecuta la serie de procesos descrita anteriormente de acuerdo con un programa.
En la computadora 800 ilustrada en la Fig.56 una Unidad 801 Central de Procesamiento (CPU), una Memoria 802 de Solo Lectura (ROM) 802, y una Memoria 803 de Acceso Aleatorio (RAM) se interconectan a través de una línea común de comunicación 804.
Además, una interfaz 810 de entrada/salida se conecta a la línea 804 común de comunicación. Una unidad 811 de entrada, una unidad 812 de salida, una unidad 813 de almacenamiento, una unidad 814 de comunicación, y un accionador 815 se conectan a la interfaz 810 de entrada/salida.
La unidad 811 de entrada, por ejemplo, se configura por un teclado, un ratón, un micrófono, un panel táctil, una terminal de entrada, y los similares. La unidad 812 de salida, por ejemplo, se configura por una pantalla, un altavoz, una terminal de salida y los similares. La unidad 813 de almacenamiento, por ejemplo, se configura por un disco duro, un disco de RAM, una memoria no volátil, y los similares. La unidad 814 de comunicación, por ejemplo, se configura por una interfaz de red. El accionador 815, acciona un disco magnético, un disco óptico, un disco magneto-óptico, o un medio 821 removible tal como una memoria de semiconductores.
En la computadora configurada como se menciona anteriormente, la CPU 801, por ejemplo, carga a la RAM 803 un programa almacenado en la unidad 813 de almacenamiento, a través de la interfaz 810 de entrada/salida y la línea 804 común de comunicación, y ejecuta el programa cargado, ejecutándose por ello la serie de procesos descrita anteriormente. Además, los datos requeridos por la CPU 810 para ejecutar carios procesos y los similares, se almacenan apropiadamente en la RAM 803.
El programa ejecutado por la computadora (CPU 801), por ejemplo, puede ser usado al ser registrado en un medio 821 removible como un medio de paquete o los similares. En tal caso, al cargar el medio 821 removible en el accionador 815, el programa puede ser instalado en la unidad 813 de almacenamiento a través de la interfaz 810 de entrada/salida.
Además, el programa puede ser proporcionado a través de un medio de transmisión cableado o inalámbrico, tal como una red de área local, la Red Internacional, o radiodifusión digital por satélite. En tal caso, el programa puede ser recibido por la unidad 814 de comunicación y se instala en la unidad 813 de almacenamiento.
Además, el programa puede ser instalado en la ROM 802 o la unidad 813 de almacenamiento por adelantado.
Además, el programa ejecutado por la computadora puede ser una computadora que ejecuta los procesos en una serie de
tiempo a lo largo de la secuencia descrita en esta especificación o un programa que ejecuta los procesos en paralelo o con una temporización necesaria, como por ejemplo, en el momento de ser llamados.
Además, en esta especificación, una etapa que describe el programa registrado en un medio de registro incluye no solo el proceso llevado a cabo en una serie de tiempo a lo largo de la secuencia descrita sino también el proceso que se ejecuta en paralelo o de forma individual sin ser procesados necesariamente en una serie de tiempo.
Además, en esta especificación, un sistema representa un conjunto de una pluralidad de elementos constituyentes (un dispositivo, un módulo (componente), y los similares), y todos los elementos constituyentes no necesitan estar dispuestos en un mismo alojamiento. Por lo tanto, una pluralidad de aparatos que se alojan en alojamientos separados y se conectan a través de una red y un aparato en el cual una pluralidad de módulos se aloja en un alojamiento, son sistemas.
Además, la configuración descrita anteriormente como un dispositivo (o una unidad de procesamiento) puede ser dividida para estar configurada como una pluralidad de dispositivos o (unidades de procesamiento). Por el contrario, la configuración descrita anteriormente como una pluralidad de dispositivos (o unidades de procesamiento) puede estar dispuesta para ser configurada como un dispositivo (o una
unidad de procesamiento. Además, una configuración que no ha sido descrita anteriormente puede ser agregada a la configuración de cada dispositivo (o cada unidad de procesamiento). Siempre y cuando la configuración global y la operación global del sistema sean sustancialmente las mismas, una parte de la configuración de un dispositivo especifico (o una unidad de procesamiento especifica), puede ser configurada para ser incluida en la configuración de otro dispositivo (u otra unidad de procesamiento).
Aunque las modalidades preferidas de la presente descripción han sido descritas en detalle con referencia a los dibujos anexos, el ámbito téenico de la presente descripción no se limita a tales ejemplos. Es aparente que las personas que tiene conocimiento ordinario en el campo técnico de la presente descripción pueden diseñar varios cambios o modificaciones dentro del ámbito de la idea técnica descrita en las reivindicaciones, y, naturalmente, se entiende que tales cambios y modificaciones pertenecen al ámbito técnico de la presente descripción.
Por ejemplo, la presente tecnología puede tomar una configuración de computo de nube, en la cual, una función se divide y se procesa cooperativamente por una pluralidad de aparatos a través de una red.
Además, cada etapa descrita en cada diagrama de flujo descritos anteriormente puede ser ejecutada ya sea por un
aparato o ejecutada por una pluralidad de aparatos en una manera compartida.
Además, en un caso donde una pluralidad de procesos se incluye en una etapa, la pluralidad de procesos incluidos en la etapa, pueden ser ejecutados ya sea por un aparato o ejecutados por una pluralidad de aparatos en una manera compartida.
El aparato para codificación de imagen y el aparato para decodificación de imagen de acuerdo con las modalidades descritas anteriormente pueden ser aplicados a varios aparatos electrónicos tales como un transmisor o un receptor para radiodifusión por cable, tal como radiodifusión por satélite o TV por cable, la transmisión por la Red Internacional, transmisión a una terminal a través de comunicación celular, o las similares, un aparato de registro que registra la imagen en un medio, tal como un disco óptico, un disco magnético, una memoria de destello, o un aparato de reproducción que reproduce una imagen desde el medio de almacenamiento. A partir de aquí, se describirán cuatro ejemplos de aplicación.
6. Sexta Modalidad
Primer Ejemplo de Aplicación: Receptor de Televisión
La Figura 57 ilustra un ejemplo de la configuración esquemática de un aparato de televisión al que se aplica la modalidad anteriormente descrita. El aparato 900 de televisión incluye una antena 901, un sintonizador 902, un desmultiplexor
903, un decodificador 904, una unidad 905 de procesamiento de señal de video, una unidad 906 de visualización, una unidad 907 de procesamiento de señales de audio, un altavoz 908, una unidad 909 de interfaz (I/F) externa, una unidad 910 de control, una unidad 911 de interfaz (I/F) de usuario, y un bus 912.
El sintonizador 902 extrae una señal de un canal deseado a partir de una señal de emisión recibida a través de la antena 901 y desmodula la señal extraída. Entonces, el sintonizador 902 da salida a un flujo de bitios codificado adquirido a través de la demodulación al demultiplexor 903. En otras palabras, el sintonizador 902 sirve como una unidad de transmisión del aparato 900 de televisión que recibe un flujo codificado en el que se codifica una imagen.
El desmultiplexor 903 separa un flujo de vídeo y otro de audio de un programa que se observaba desde el flujo de bitios codificados y emite cada flujo separado al decodificador 904. Además, el desmultiplexor 903 extrae datos auxiliares, tales como la Guía de Programación Electrónica (EPG) a partir del flujo de bitios codificado y suministra los datos extraídos a la unidad 910 de control. Además, el desmultiplexor 903 puede realizar la aleatorización en un caso en el que el flujo de bitios codificado es revuelto.
El decodificador 904 decodifica el flujo de vídeo y la entrada de flujo de audio desde el desmultiplexor 903.
Entonces, los datos de vídeo emitidos del decodificador 904 generados por un proceso de decodificación a la unidad 905 de procesamiento de señal de vídeo. Además, el decodificador 904 emitidos de datos de audio generados por el proceso de decodificación a la unidad 907 de procesamiento de señales de audio.
La unidad 905 de procesamiento de señal de vídeo reproduce la entrada de datos de vídeo desde el decodificador
904 y hace que la unidad 906 de visualización para mostrar el vídeo. La unidad 905 de procesamiento de señal de vídeo puede también causar la unidad 906 de visualización para visualizar una pantalla de aplicación suministrada a través de la red. Además, la unidad 905 de procesamiento de señal de vídeo puede realizar un proceso adicional, tal como la eliminación de ruido para los datos de vídeo de acuerdo con un ajuste. Por otra parte, la unidad 905 de procesamiento de señal de vídeo puede generar una imagen de Interfaz Gráfica de Usuario (GUI), tal como un menú, un botón y un cursor y sobreponer la imagen generada en una imagen de salida.
La unidad 906 de visualización es accionado de acuerdo con una señal de accionamiento suministrada desde la unidad
905 de procesamiento de señal de vídeo con el fin de visualizar un vídeo o una imagen en una pantalla de vídeo de un dispositivo de visualización (por ejemplo, una pantalla de cristal líquido, una pantalla de plasma, una OELD (Pantalla de
Electroluminiscencia Orgánica (Pantalla EL Orgánica), o similares).
La unidad 907 de procesamiento de señales de audio realiza un proceso de reproducción tales como una conversión y amplificación D/A para la entrada de datos de audio desde el decodificador 904 y hace que el altavoz 908 para emitir el audio. Además, la unidad 907 de procesamiento de señal de audio puede realizar un proceso adicional, tal como la eliminación de ruido para los datos de audio.
La unidad 909 de interfaz externa es una interfaz para conectar el aparato 900 de televisión a un dispositivo externo o de la red. Por ejemplo, un flujo de video o un flujo de audio recibido a través de la unidad 909 de interfaz externa pueden ser decodificadas por el decodificador 904. En otras palabras, la unidad 909 de interfaz externa también sirve como una unidad de transmisión del aparato 900 de televisión que recibe un flujo codificado en el que se codifica una imagen.
La unidad 910 de control incluye un procesador tal como una CPU y una memoria tal como una RAM o una ROM. La memoria almacena un programa ejecutado por la CPU, los datos de programa, datos de la EPG, los datos adquiridos a través de la red, y similares. El programa almacenado en la memoria, por ejemplo, es leído por la CPU en la activación del aparato 900 de televisión y se ejecuta. La CPU controla el funcionamiento del aparato 900 de televisión, por ejemplo, de acuerdo a una
entrada de señal de funcionamiento desde la unidad 911 de interfaz de usuario mediante la ejecución del programa.
La unidad 911 de interfaz de usuario está conectada a la unidad 910 de control. La unidad 911 de interfaz de usuario, por ejemplo, incluye un botón y un interruptor por un usuario para operar el aparato 900 de televisión, una unidad de recepción para una señal de control remoto, y similares. La unidad 911 de interfaz de usuario detecta la operación de un usuario a través de dichos componentes, genera una señal de operación, y envía la señal de operación generada a la unidad 910 de control.
El bus 912 conecta el sintonizador 902, el desmultiplexor 903, el decodificador 904, la unidad 905 de procesamiento de señal de vídeo, la unidad 907 de procesamiento de señal de audio, la unidad 909 de interfaz externa, y la unidad 910 de control el uno al otro.
En el aparato 900 de televisión configurado de esta manera, el decodificador 904 tiene la función del aparato 200 de decodificación de imágenes de acuerdo con la modalidad descrita anteriormente. Por consiguiente, una disminución en la eficiencia de la codificación puede ser suprimida.
Segundo Ejemplo de Aplicación: Teléfono Móvil
La Figura 58 ilustra un ejemplo de la configuración esquemática de un teléfono móvil al que se aplica la modalidad anteriormente descrita. El teléfono 920 móvil incluye una
antena 921, una unidad 922 de comunicación, un códec 923 de audio, un altavoz 924, un micrófono 925, una unidad 926 de cámara, una unidad 927 de procesamiento de imagen, una unidad
928 de multiplexión/separación, una unidad 929 de grabación/reproducción, una unidad 930 de visualización, una unidad 931 de control, una unidad 932 de operación, y un bus 933.
La antena 921 está conectada a la unidad 922 de comunicación. El altavoz 924 y el micrófono 925 están conectados al códec 923 de audio. La unidad 932 de funcionamiento está conectada a la unidad 931 de control. El bus 933 conecta la unidad 922 de comunicación, el códec 923 de audio, la unidad 926 de cámara, la unidad 927 de procesamiento de imagen, la unidad 928 de multiplexión/separación, la unidad
929 de grabación/reproducción, la unidad 930 de visualización, y la unidad 931 de control el uno al otro.
El teléfono 920 móvil lleva a cabo un funcionamiento, tal como la transmisión/recepción de una señal de audio, la transmisión/recepción de un correo electrónico o datos de imagen, captura de imágenes y grabación de datos en varios modos de operación, incluyendo un modo de llamada de voz, un modo de comunicación de datos, un modo de imagen, y un modo de televisión-teléfono.
En el modo de llamada de voz, una señal de audio analógica generada por el micrófono 925 se suministra al códec
923 de audio. El codee 923 de audio convierte la señal de audio analógica en datos de audio, lleva a cabo la conversión A/D de los datos de audio convertidos, y comprime los datos de audio. Entonces, el códec 923 de audio emite los datos de audio comprimidos a la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula los datos de audio para generar una señal de transmisión. Entonces, la unidad 922 de comunicación transmite la señal de transmisión generada a una estación base (no ilustrada) a través de la antena 921. Además, la unidad 922 de comunicación amplifica una señal inalámbrica recibida a través de la antena 921 y realiza la conversión de frecuencia de la señal inalámbrica, de ese modo la adquisición de una señal de recepción. Entonces, la unidad 922 de comunicación genera datos de audio por demodulación y decodificación de la señal de recepción y emite los datos de audio generados al códec 923 de audio. El códec 923 de audio lleva a cabo la descompresión y la conversión de D/A de los datos de audio, generando asi una señal de audio analógica. Entonces, el códec 923 de audio suministra la señal de audio generada al altavoz 924 para causar el audio que ha de ser emitida.
En el modo de comunicación de datos, por ejemplo, la unidad 931 de control genera datos de caracteres que configuran un correo electrónico de acuerdo con la operación de un usuario realizada a través de la unidad 932 de
operación. Además, la unidad 931 de control hace que la unidad
930 de visualización para mostrar los caracteres. La unidad
931 de control genera datos de correo electrónico de acuerdo con una instrucción de transmisión desde el usuario a través de la unidad 932 de operación y emite los datos de correo electrónico generados a la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula los datos de correo electrónico, de este modo la generación de una señal de transmisión. Entonces, la unidad 922 de comunicación transmite la señal de transmisión generada a una estación base (no ilustrada) a través de la antena 921. Además, la unidad 922 de comunicación lleva a cabo la amplificación y la conversión de frecuencia de la señal inalámbrica recibida a través de la antena 921, de este modo adquiriendo una recepción señal. Entonces, la unidad 922 de comunicación desmodula y decodifica la señal de recepción para restaurar los datos de correo electrónico y envía los datos de correo electrónico restaurados a la unidad 931 de control. La unidad 931 de control hace que la unidad 930 de visualización para mostrar un contenido de los datos de correo electrónico y suministra los datos de correo electrónico para la unidad 929 de grabación/reproducción para hacer que los datos de correo electrónico que se escriben en un medio de grabación del mismo.
La unidad 929 de grabación/reproducción incluye un medio
de almacenamiento de lectura y escritura arbitraria. Por ejemplo, el medio de almacenamiento puede ser un medio de almacenamiento incorporada tal como una RAM y una memoria flash o puede ser un medio de almacenamiento de tipo de montaje externo, como un disco duro, un disco magnético, un disco magneto-óptico, un óptico disco, una memoria (USB) Universal Serial Bus,Puerto bus serie universal, o una tarjeta de memoria.
En el modo de imagen, por ejemplo, la unidad 926 de la cámara de imágenes de un objeto para generar datos de imagen y emite los datos de imagen generados a la unidad 927 de procesamiento de imágenes. La unidad 927 de procesamiento de imágenes codifica los datos de imagen de entrada desde la unidad 926 de la cámara y suministra un flujo codificado a la unidad 929 de grabación/reproducción para hacer que el flujo codificado que se escribirá en un medio de grabación del mismo.
En un modo de visualización de la imagen, la unidad 929 de grabación/reproducción lee un flujo codificado grabado en el medio de grabación y emite el flujo codificado de lectura a la unidad 927 de procesamiento de imágenes. La unidad 927 de procesamiento de imágenes decodifica el flujo codificado de entrada desde la unidad 929 grabación/reproducción y suministra los datos de imagen a la unidad 930 de visualización con el fin de hacer que la imagen de los mismos
se mostrará .
Además, en el modo de televisión-teléfono, por ejemplo, la unidad 928 multiplexión/separación multiplexa el flujo de video codificado por la unidad 927 de procesamiento de imágenes y la entrada de flujo de audio desde el códec 923 de audio y emite una flujo multiplexado resultante a la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula el flujo, de este modo generando una señal de transmisión. Entonces, la unidad 922 de comunicación transmite la señal de transmisión generada a una estación base (no ilustrada) a través de la antena 921. Además, la unidad 922 de comunicación lleva a cabo la amplificación y la conversión de la frecuencia de una señal inalámbrica recibida a través de la antena 921, de este modo adquiriendo una recepción señal. La señal de transmisión y la señal de recepción se adquieren con el flujo de bitios codificados que se incluye en el mismo. Entonces, la unidad 922 de comunicación restaura el flujo por demodulación y decodificando la señal de recepción y emite el flujo restaurado a la unidad 928 de multiplexión/ separación. La unidad 928 de multiplexión/separación separa un flujo de video y un flujo de audio desde la entrada de flujo y salida al flujo de video y el flujo de audio, respectivamente, a la unidad 927 de procesamiento de imágenes y el códec 923 de audio. La unidad 927 de procesamiento de imágenes decodifica el flujo de video para generar datos de video. Los datos de
video se suministra a la unidad 930 de visualización, y una serie de imágenes se muestra por la unidad 930 de visualización. El códec 923 de audio lleva a cabo la descompresión y conversión D/A del flujo de audio, generando de ese modo una señal de audio analógica. Entonces, el códec
923 de audio suministra la señal de audio generada al altavoz
924 para causar un audio que ha de ser emitida.
En el teléfono 920 móvil configurado de esta manera, la unidad 927 de procesamiento de imágenes tiene las funciones del aparato 100 de codificación de imagen y el aparato 200 de decodificación de imágenes de acuerdo con las modalidades descritas anteriormente. Por consiguiente, una disminución en la eficiencia de la codificación puede ser suprimida.
Tercer Ejemplo de Aplicación: Aparato de Grabación y
Reproducción
La Figura 59 es un diagrama de bloques que ilustra un ejemplo de la configuración esquemática de un aparato de grabación/reproducción al que se aplica la modalidad descrita anteriormente. El aparato 940 de grabación/reproducción por ejemplo, codifica datos de audio y datos de video de un programa de emisión que recibe y registra los datos codificados en un medio de grabación. Además, el aparato 940 de grabación/reproducción, por ejemplo, puede codificar los datos de video y los datos de audio adquiridos desde otro aparato y registrar los datos codificados en un medio de
grabación. Además, el aparatos 940 de grabación/reproducción, por ejemplo, reproduce los datos grabados en el medio de grabación utilizando el monitor y el altavoz de acuerdo con la instrucción de los usuarios. En ese momento, el aparato 940 de grabación/reproducción decodifica los datos de audio y los datos de video.
El aparato 940 de grabación/reproducción incluye un sintonizador 941, una unidad 942 interfaz (E/F) externa, un codificador 943, una unidad 944 de disco duro (HDD), una unidad 945 de disco, un selector 946, un decodificador 947, una visualización (OSD) 948 en pantalla, una unidad 949 de control, y una Unidad 950 de interfaz (I/F) de usuario.
El sintonizador 941 extrae una señal de un canal deseado a partir de una señal de emisión recibida a través de una antena (no ilustrada) y desmodula la señal extraída. Entonces, el sintonizador 941 da salida a un flujo de bitios codificado adquirido por el proceso de demodulación al selector 946. En otras palabras, el sintonizador 941 sirve como una unidad de transmisión del aparato 940 de grabación/reproducción.
La unidad 942 de interfaz externa es una interfaz que se utiliza para la conexión del aparato 940 de grabación/reproducción y un dispositivo externo o la red. La unidad 942 de interfaz externa, por ejemplo, puede ser una interfaz 1394 del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE), una interfaz de red, una interfaz de USB,
una interfaz de memoria flash o similares. Por ejemplo, los datos de video y los datos de audio recibidos a través de la unidad 942 de interfaz externa se introducen en el codificador 943. En otras palabras, la unidad 942 de interfaz externa sirve como la unidad de transmisión del aparato 940 de grabación/reproducción.
En un caso donde la entrada de los datos de video y los datos de audio desde la unidad 942 de interfaz externa no están codificados, el codificador 943 codifica los datos de video y los datos de audio cuando la entrada de los datos de video y los de datos de audio desde la unidad 942 de interfaz externa. Entonces, el codificador 943 emite un flujo de bitios codificados al selector 946.
El HDD 944 registra el flujo de bitios codificados en el que los datos contenidos tales como un video y un audio se comprime, diversos programas, y otros datos en un disco duro interno. Cuando un video y un audio se reproducen, el HDD 944 lee los datos desde el disco duro.
La unidad 945 de disco registra y lee los datos en/desde un medio de grabación cargado. El medio de grabación cargado dentro de la unidad 945 de disco, por ejemplo, puede ser un disco (DVD) Disco Versátil Digital (un DVD-Video, un DVD-RAM (DVD- Memoria de Acceso Aleatorio), un DVD - Grabable (DVD-R), un DVD - Regrabable (DVD-RW), DVD + Grabable (DVD + R), un DVD + Regrabable (DVD + RW) o similares), un disco Blu-ray (marca
registrada), o similares.
Cuando un video y un audio se graban, el selector 946 selecciona una entrada de flujo de bitios codificados desde el sintonizador 941 o el codificador 943 y emite el flujo de bitios codificado seleccionado a la HDD 944 o la unidad 945 de disco. Además, cuando el video y el audio se reproducen, el selector 946 emite la entrada de flujo de bitios codificado desde el HDD 944 o la unidad 945 de disco al decodificador 947.
El decodificador 947 decodifica el flujo de bitios codificados para generar datos de video y datos de audio. Entonces, el decodificador 947 da salida a los datos de video generados al OSD 948. Además, el decodificador 947 da salida a los datos de audio generados a un altavoz externo.
El OSD 948 reproduce la entrada de datos de video desde el decodificador 947, mostrando de ese modo el video. El OSD 948 puede superponer una imagen de una GUI Interfaz Gráfica de Usuario tales como un menú, un botón, un cursor, en el video mostrado.
La unidad 949 de control incluye un procesador tal como una CPU y una memoria tal como una RAM o una ROM. La memoria almacena un programa ejecutado por la CPU, los datos del programa, y similares. El programa almacenado en la memoria, por ejemplo, se lee y se ejecuta por la CPU en la activación del aparato 940 de grabación/reproducción. La CPU controla el
funcionamiento del aparato 940 de grabación/reproducción, por ejemplo, de acuerdo a una entrada de señal de funcionamiento desde la unidad 950 de interfaz de usuario mediante la ejecución del programa.
La unidad 950 de interfaz de usuario está conectada a la unidad 949 de control. La unidad 950 de interfaz de usuario, por ejemplo, incluye un botón y un interruptor para que el usuario operare el aparato 940 registro/reproducción y una unidad de recepción para la señal de control remoto. La unidad 950 de interfaz de usuario detecta una operación de usuarios a través de los elementos constitutivos para generar una señal de funcionamiento y envía la señal de operación generada a la unidad 949 de control.
En el aparato 940 de grabación/reproducción configurado de esta manera, el codificador 943 tiene la función del aparato 100 de codificación de imagen de acuerdo con la modalidad descrita anteriormente. Además, el decodificador 947 tiene la función del aparato 200 de decodificación de imágenes de acuerdo con la modalidad descrita anteriormente. Por consiguiente, una disminución en la eficiencia de la codificación puede ser suprimida.
Cuarto Ejemplo de Aplicación: Aparato de Imágenes
La Figura 60 ilustra un ejemplo de la configuración esquemática de un aparato de formación de imágenes al que se aplica la modalidad anteriormente descrita. Las imágenes del
aparato 960 de formación de imágenes un objeto para generar una imagen, los códigos de los datos de imagen, y registra los datos de imagen codificados en un medio de grabación.
El aparato 960 de formación de imágenes incluye un bloque 961 óptico, una unidad 962 de imagen, una unidad 963 de procesamiento de señal, una unidad 964 de procesamiento de imagen, una unidad 965 de visualización, una unidad 966 de interfaz externa (I/F), una unidad 967 de memoria, una unidad 968 de medio, un OSD 969, una unidad 970 de control, una unidad 971 de interfaz (I/F) de usuario, y un bus 972.
El bloque 961 óptico está conectado a la unidad 962 de formación de imágenes. La unidad 962 de formación de imágenes está conectada a la unidad 963 de procesamiento de señal. La unidad 965 de visualización está conectada a la unidad 964 de procesamiento de imágenes. La unidad 971 de interfaz de usuario está conectada a la unidad 970 de control. El bus 972 conecta la unidad 964 de procesamiento de imágenes, la unidad 966 de interfaz externa, la unidad 967 de memoria, la unidad de medio 968, la OSD 969, y la unidad 970 de control el uno al otro.
El bloque 961 óptico incluye una lente de enfoque, un mecanismo de diafragma, y similares. El bloque 961 óptico forma una imagen óptica del objeto sobre una superficie de formación de imágenes de la unidad 962 de formación de imágenes. La unidad 962 de formación de imágenes incluye un
sensor de imagen tal como un Dispositivo de Carga Acoplada (CCD) y un Complementary Metal Oxide Semiconductor (CMOS) Semiconductor Oxido Metálico Complementario y convierte la imagen óptica formada sobre la superficie de formación de imágenes en una señal de imagen como una señal eléctrica a través de la conversión fotoeléctrica. Entonces, la unidad 962 de formación de imágenes da salida a la señal de imagen a la unidad 963 de procesamiento de señal.
La unidad 963 de procesamiento de señales realiza diversos procesos de señal de cámara tales como una corrección de la rodilla, una corrección gamma, una corrección de color, y similares, para la entrada de señal de imagen desde la unidad 962 de imagen. La unidad 963 de procesamiento de señales emite los datos de imagen después de los procesos de la señal de la cámara a la unidad 964 de procesamiento de imágenes.
La unidad 964 de procesamiento de imágenes codifica la entrada de datos de imagen desde la unidad 963 de procesamiento de señal para generar datos codificados. Entonces, la unidad 964 de procesamiento de imagen emite los datos codificados generados a la unidad 966 de interfaz externa o la unidad de medio 968. Además, la unidad 964 de procesamiento de imágenes descodifica la entrada de datos codificados desde la unidad 966 de interfaz externa o la unidad de medio 968 para generar datos de imagen. Entonces, la
unidad 964 de procesamiento de imagen emite los datos de imagen generados a la unidad 965 de visualización. Además, la unidad 964 de procesamiento de imágenes puede emitir la entrada de datos de imagen desde la unidad 963 de procesamiento de señales a la unidad 965 de visualización para mostrar la imagen. Además, la unidad 964 de procesamiento de imágenes puede superponer los datos de visualización que se adquirieron desde el OSD 969 en la salida de la imagen a la unidad 965 de visualización.
El OSD 969, por ejemplo, genera una imagen de una Interfaz Gráfica de Usuario GUI tales como un menú, un botón, un cursor, o similar, y da salida a la imagen generada a la unidad 964 de procesamiento de imágenes.
La unidad 966 de interfaz externa, por ejemplo, se configura como un terminal USB de entrada/salida. La unidad 966 de interfaz externa, por ejemplo, se conecta el aparato 960 de formación de imágenes y una impresora cuando se imprime una imagen. Además, una unidad está conectada a la unidad 966 de interfaz externa como sea necesario. Un medio extraible tal como un disco magnético o un disco óptico se carga en la unidad, y un programa leído desde el medio removible se puede instalar en el aparato 960 de formación de imágenes. Además, la unidad 966 de interfaz externa puede estar configurado como una interfaz de red que está conectado a una red tal como una LAN, la Internet, o similares. En otras palabras, la unidad
966 de interfaz externa sirve como una unidad de transmisión del aparato 960 de formación de imágenes.
El medio de grabación cargado en la unidad de medio 968, por ejemplo, puede ser un medio arbitrario legible/escribible extraible tal como un disco magnético, un disco magneto-óptico, un disco óptico, o una memoria de semiconductor. Además, puede configurarse de manera que un medio de grabación se monta de manera fija a la unidad de medio 968 para configurar una unidad de almacenamiento no portátil, tal como una unidad de disco duro incorporado o una Unidad de Estado Sólido (SSD).
La unidad 970 de control incluye un procesador tal como una CPU y una memoria tal como una RAM o una ROM. La memoria almacena un programa ejecutado por la CPU, los datos del programa, y similares. El programa almacenado en la memoria es leído por la CPU, por ejemplo, en la activación del aparato 960 de formación de imágenes y se ejecuta. La CPU controla el funcionamiento del aparato 960 de formación de imágenes, por ejemplo, de acuerdo a una entrada de señal de funcionamiento desde la unidad 971 de interfaz de usuario mediante la ejecución del programa.
La unidad 971 de interfaz de usuario está conectada a la unidad 970 de control. La unidad 971 de interfaz de usuario, por ejemplo incluye un botón, un interruptor, y similares para un usuario para hacer funcionar el aparato 960 de formación de
imágenes. La unidad 971 de interfaz de usuario detecta una operación del usuario a través de los elementos constitutivos para generar una señal de funcionamiento y envía la señal de operación generada a la unidad 970 de control.
En el aparato 960 de formación de imágenes configurado de esta manera, la unidad 964 de procesamiento de imágenes tiene las funciones del aparato 100 de codificación de imagen y el aparato 200 de decodificación de imágenes de acuerdo con las modalidades anteriormente descritas. Por consiguiente, una disminución en la eficiencia de la codificación puede ser suprimida.
7. Séptima Modalidad
Ejemplo de Aplicación de Codificación Escalable: Primer Sistema
A continuación, se describirá un ejemplo de dato codificado escalable que es codificado escalablemente (jerárquicamente (imagen) codificada) . La codificación escalable, por ejemplo, similar a un ejemplo ilustrado en la Figura 61, se utiliza para seleccionar los datos a transmitir.
En un sistema 1000 de transmisión de datos se ilustra en la Figura 61, un servidor 1002 de distribución lee los datos codificados escalables almacenados en una unidad 1001 de almacenamiento de datos codificados escalables y distribuye los datos codificados escalables leídos a los dispositivos terminales, tales como una computadora 1004 personal, equipos
1005 AV, un dispositivo 1006 de tableta, y un teléfono 1007 móvil a través de una red 1003.
En ese momento, el servidor 1002 de distribución selecciona datos codificados que tiene una calidad apropiada basada en la capacidad de un dispositivo terminal, los entornos de comunicación, y similares. Incluso cuando el servidor 1002 de distribución transmite datos que tiene una alta calidad innecesaria, una imagen que tiene una alta calidad no se adquiere en el dispositivo terminal, y existe la preocupación de que puedan producirse un retraso o un desbordamiento. Además, existe la preocupación de que una banda de comunicación está ocupada innecesariamente, o la carga del dispositivo terminal aumenta innecesariamente. Por el contrario, también cuando el servidor 1002 de distribución transmite datos que tienen una innecesariamente baja calidad, existe la preocupación de que una imagen que tiene una calidad de imagen suficiente no puede ser adquirida en el dispositivo terminal. En consecuencia, el servidor 1002 de distribución lee los datos codificados escalables almacenados en la unidad 1001 de almacenamiento de datos codificados escalables como datos codificados que tienen una calidad adecuada para la capacidad del dispositivo terminal, los entornos de comunicación, y similares, y transmiten los datos codificados escalables leídos.
Por ejemplo, la unidad 1001 de almacenamiento de datos
codificados escalables se supone para almacenar los datos codificados escalables (BL + EL) 1011 que se codifica escalablemente. Este dato (BL + EL) 1011 escalable codificado es dato codificado que incluye tanto la capa base y la capa de mejoramiento, y, mediante la decodificación de los datos codificados escalables, ambas imágenes de la capa base y la capa de mejoramiento se pueden adquirir.
El servidor 1002 de distribución selecciona una capa adecuada de acuerdo a la capacidad del dispositivo terminal que transmite datos, los entornos de comunicación, y similares y lee los datos de la capa seleccionada. Por ejemplo, el servidor 1002 de distribución lee los datos (BL + EL) 1011 codificados escalables que tienen una alta calidad desde la unidad 1001 de almacenamiento de los datos codificados escalables y transmite los datos escalables leídos como lo es para la computadora 1004 personal o el dispositivo 1006 de tableta que tiene una alta capacidad de procesamiento. En contraste con esto, el servidor 1002 de distribución extrae datos de la capa base desde los datos (BL + EL) 1011 codificados escalables y transmite los datos extraídos, por ejemplo, para el equipo 1005 AV y el teléfono 1007 móvil como datos (BL) 1012 codificados escalables, que son datos del mismo contenido como la de los datos (BL + EL) 1011 codificados escalables, que tienen una calidad inferior a los datos (BL + EL) 1011 codificados escalables.
De esta manera, mediante el uso de los datos codificados escalables, la cantidad de datos se puede ajustar fácilmente. En consecuencia, la aparición de un retraso o un desbordamiento o un aumento innecesario en la carga del dispositivo terminal o el medio de comunicación pueden ser suprimidos. Además, dado que los datos (BL + EL) 1011 codificados escalables tiene una baja redundancia entre capas, la cantidad de datos puede ser más pequeño que el de un caso donde los datos codificados de cada capa se configura como datos individuales. En consecuencia, el área de almacenamiento de la unidad 1001 de almacenamiento de datos codificado escalable 1001 se puede utilizar de manera más eficiente.
Como el dispositivo terminal, diversos dispositivos tales como la computadora 1004 personal y el teléfono 1007 móvil pueden ser aplicados, y el rendimiento del hardware del dispositivo terminal es diferente dependiendo del dispositivo aplicado. Además, hay varias aplicaciones ejecutadas por el dispositivo terminal, y hay varias capacidades de software de los mismos. Además, como la red 1003 que es un medio de comunicación, todos los tipos de redes de comunicación, incluyendo una red cableada, una red inalámbrica, y ambos tipos de redes tales como la Internet y una Red de Área Local (LAN) pueden ser aplicados, y por lo tanto, la capacidad de transmisión de datos puede variar. Además, existe la preocupación de que la capacidad de transmisión de datos
cambia de acuerdo con las otras comunicaciones y similares.
Por lo tanto, antes de iniciar la transmisión de datos, el servidor 1002 de distribución puede comunicarse con un dispositivo terminal que es un destino de transmisión de los datos con el fin de adquirir información relativa a la capacidad del dispositivo terminal tal como el rendimiento del hardware del dispositivo terminal y el rendimiento de una aplicación (software) ejecutado por el dispositivo terminal y la información relativa a los entornos de comunicación de tales como un ancho de banda utilizable de la red de 1003. Además, el servidor 1002 de distribución puede estar configurado para seleccionar una capa base apropiada en la información adquirida como anteriormente.
Además, la extracción de una capa puede ser realizada por el dispositivo terminal. Por ejemplo, la computadora 1004 personal puede decodificar los datos (BL + EL) 1011 codificados escalables transmitidos y mostrar una imagen de la capa base o mostrar una imagen de la capa de mejoramiento. Además, la computadora 1004 personal puede extraer los datos (BL) 1012 codificados escalables de la capa base a partir de los datos (BL + EL) 1011 codificados escalables transmitidos, almacenar los datos codificados escalables extraídos o transmitir los datos codificados escalables extraídos a otro dispositivo, decodificar los datos codificados escalables extraídos, y mostrar la imagen de la capa base.
Es evidente que todos los números de las unidades 1001 de almacenamiento de datos codificados escalables, los servidores 1002 de distribución, las redes 1003, y los dispositivos terminales son arbitrarios. Además, mientras que un ejemplo ha sido descrito en el que el servidor 1002 de distribución transmite los datos al dispositivo terminal, el ejemplo de uso no se limita a ello. Un sistema arbitrario que selecciona y transmite una capa adecuada de acuerdo con la capacidad del dispositivo terminal, los entornos de comunicación, y similares en el momento de la transmisión de los datos codificados que es escalablemente codificado al dispositivo terminal se puede aplicar como el sistema 1000 de transmisión de datos.
También en el sistema 1000 de transmisión de datos como se ilustra en la Figura 61, mediante la aplicación de la teenología actual, similar a la aplicación de la codificación jerárquica/decodificación jerárquica descrita anteriormente con referencia a las Figuras 1 a la 52, ventajas similares a las ventajas descritas anteriormente descritas con referencia a las Figuras 1 a 52 pueden ser adquiridas.
Ejemplo de Aplicación de Codificación Escalable: Segundo Sistema
Además, la codificación escalable, por ejemplo, similar al ejemplo ilustrado en la Figura 62, se utiliza para la transmisión realizada a través de una pluralidad de medios de
comunicación.
En el sistema 1100 de transmisión de datos se ilustra en la Figura 62, una estación 1101 de radiodifusión transmite los datos (BL) 1121 codificados escalables de la capa base a través de la radiodifusión lili terrestre. Además, la estación 1101 de radiodifusión transmite los datos (EL) 1122 codificados escalables de la capa de mejoramiento (por ejemplo, los datos se empaquetan y se transmite) a través de una red 1112 arbitraria que está configurada por una red cableada, una red inalámbrica, o ambos tipos de redes de comunicación.
El dispositivo 1102 terminal tiene una función de recepción de la radiodifusión lili terrestre se transmite por la estación 1101 de radiodifusión y recibe los datos (BL) 1121 codificados escalables de la capa base que se transmite a través de la radiodifusión lili terrestre. Además, el dispositivo 1102 terminal tiene además una función de comunicación para realizar la comunicación a través de la red 1112 y recibe los datos (EL) 1122 codificados escalables de la capa de mejoramiento que se transmite a través de la red 1112.
El dispositivo 1102 terminal, por ejemplo, de acuerdo con una instrucción de usuario o similar, decodifica los datos (BL) 1121 codificados escalables de la capa base que se adquiere a través de la radiodifusión lili terrestre y adquiere una imagen de la capa base, almacena la imagen, o
transmite la imagen a otro dispositivo.
Además, el dispositivo 1102 terminal, por ejemplo, de acuerdo con una instrucción de usuario o similar, compone los (BL) 1121 datos codificados escalables de la capa base que se adquiere a través de la radiodifusión lili terrestre y los datos (EL) 1122 codificados escalables de la capa de mejoramiento que se adquiere a través de la red 1112, adquiriendo de ese modo datos (BL + EL) codificados escalables, la adquisición de una imagen de la capa de mejoramiento mediante la decodificación de los datos codificados escalables adquiridos, el almacenamiento de los datos codificados escalables adquiridos, o transmitir los datos codificados escalables adquiridos a otro dispositivo.
Como el anterior, los datos codificados escalables, por ejemplo, pueden ser transmitidos a través de un medio de comunicación que es diferente para cada capa. En consecuencia, la carga puede ser distribuida, por lo que la aparición de un retraso o un desbordamiento puede ser suprimido.
Además, dependiendo de la situación, el medio de comunicación utilizado para la transmisión puede estar configurado para ser seleccionable para cada capa. Por ejemplo, puede ser configurado de tal manera que los datos (BL) 1121 codificados escalables de la capa base, de las cuales la cantidad de datos es relativamente grande, se transmite a través de un medio de comunicación que tiene un
gran ancho de banda, y los datos (EL) 1122 codificados escalables de la capa de mejoramiento, de los cuales la cantidad de datos es relativamente pequeño, se transmite a través de un medio de comunicación que tiene un pequeño ancho de banda. Además, por ejemplo, el medio de comunicación a través del cual los datos (EL) 1122 codificados escalables de la capa de mejoramiento son transmitidos, se pueden configurar para conmutar a la red 1112 o la radiodifusión lili terrestre de acuerdo con el ancho de banda utilizable de la red 1112. Es evidente que esto puede de manera similar aplicar a los datos de una capa arbitraria.
Al realizar el control de esta manera, un aumento en la carga se puede suprimir aún más en la transmisión de datos.
Es evidente que el número de capas es arbitrario, y el número de medios de comunicación utilizado para la transmisión es arbitrario. Además, el número de los dispositivos 1102 de terminal que son los destinos de distribución de datos es arbitrario. En la descripción presentada anteriormente, mientras que el caso de la radiodifusión desde la estación 1101 de radiodifusión ha sido descrito como un ejemplo, el uso de ejemplo no se limita a los mismos. Como el sistema 1100 de transmisión de datos, un sistema arbitrario que divide los datos codificados, que se codifica escalablemente, en múltiples partes en unidades de capas y transmite los datos codificados divididos a través de una pluralidad de lineas de
comunicación puede ser aplicado.
Mediante la aplicación de la presente teenología a tal sistema 1100 de transmisión de datos, similar a la aplicación del mismo a la codificación jerárquica y la decodificación jerárquica descrita anteriormente con referencia a las Figuras 1 a 52, ventajas similares a las descritas anteriormente con referencia a las Figuras 1 a 52 pueden ser adquiridas.
Ejemplo de Aplicación de Codificación Escalable: Tercer Sistema
La codificación escalable, por ejemplo, similar al ejemplo ilustrado en la Figura 63, se utiliza para almacenar datos codificados.
En un sistema 1200 de formación de imágenes se ilustra en la Figura 63, un aparato 1201 de imagen los datos de imagen códigos escalablemente que se adquiere mediante imágenes de un objeto 1211 y los suministros de datos adquiridos a un dispositivo 1202 de almacenamiento de datos codificados escalables como los datos (BL + EL) 1221 codificados escalables.
El dispositivo 1202 de almacenamiento de datos codificados escalables almacena los datos (BL + EL) 1221 codificados de forma escalable suministrados desde el aparato 1201 de formación de imágenes con una calidad de acuerdo con la situación. Por ejemplo, en el caso de un tiempo normal, el dispositivo 1202 de almacenamiento de datos codificados
escalables extrae datos de una capa base desde los datos (BL + EL) 1221 codificados escalables y almacena los datos extraídos como los datos (BL) 1222 codificados escalables de la capa base, de las cuales la cantidad de datos es pequeña, que tiene una baja calidad. En contraste con esto, por ejemplo, en el caso de un tiempo de interés, el dispositivo 1202 de almacenamiento de datos codificados escalables almacena los datos que se mantienen como los datos (BL + EL) 1221 codificados escalables, de los cuales la cantidad de datos es más grande, que tiene una alta calidad.
Haciendo como tal, el dispositivo 1202 de almacenamiento de datos codificados escalables puede almacenar la imagen con una alta calidad de imagen sólo en un caso necesario, y en consecuencia, un aumento en la cantidad de datos se puede suprimir mientras que una disminución en el valor de la imagen debido a la degradación de la calidad de la imagen se suprime, por lo que la eficiencia de uso del área de almacenamiento se puede mejorar.
Por ejemplo, el aparato 1201 de formación de imágenes se asume que es una cámara de vigilancia. En un caso en el que un objetivo de la vigilancia (por ejemplo, un intruso) no se muestra en una imagen capturada (en el caso del tiempo normal), existe una alta posibilidad de que el contenido de la imagen capturada no es significativa, y por lo tanto, una disminución en la cantidad de datos tiene prioridad, y los
datos de imagen (datos codificados escalable) se almacena con una baja calidad. En contraste con esto, en un caso donde se muestra un objetivo de seguimiento hasta en la imagen capturada como el objeto 1211 (en el caso del tiempo de interés), hay una alta posibilidad de que el contenido de la imagen capturada es significativa, la calidad de la imagen tiene prioridad, y los datos de imagen (datos codificados escalables) se almacena con una alta calidad.
En este caso, el tiempo normal o el tiempo de interés se puede determinar mediante el análisis de la imagen utilizando el dispositivo 1202 de almacenamiento de datos codificados escalables. Por otra parte, el aparato 1201 de imagen puede configurarse para hacer la determinación y transmitir un resultado de la determinación al dispositivo 1202 de almacenamiento de datos codificados escalables.
Aquí, el criterio de determinación utilizado para determinar el tiempo normal o el tiempo de interés es arbitrario, y el contenido de una imagen utilizada como criterio de determinación es arbitrario. Aquí, una condición que no sea el contenido de la imagen se puede usar como el criterio de determinación. Por ejemplo, la conmutación entre el tiempo normal y el tiempo de interés pueden llevarse a cabo de conformidad con el volumen, la forma de onda, y similares de audio grabado, para cada tiempo predeterminado, o de acuerdo con una instrucción suministrada desde el exterior,
tales como una instrucción de usuario.
Además, mientras que un ejemplo se ha descrito en el que se realiza la conmutación entre dos estados del tiempo normal y el tiempo de interés, el número de estados es arbitrario, y, por ejemplo, la conmutación entre tres o más estados tales como el tiempo normal, el tiempo de interés de bajo nivel, el tiempo de interés, y el tiempo de interés de alto nivel puede configurarse para ser realizado. Sin embargo, el limite superior del número de estados para ser conmutados depende del número de capas de los datos codificados escalables.
Además, el aparato 1201 de formación de imágenes puede estar configurado para determinar el número de capas de la codificación escalable de acuerdo con los estados. Por ejemplo, en el caso del tiempo normal, el aparato 1201 de formación de imágenes puede estar configurado para generar los datos (BL) 1222 codificados escalables de la capa base, de las cuales la cantidad de datos es pequeña, que tiene una baja calidad y suministra los datos codificados escalables generados al dispositivo 1202 de almacenamiento de datos codificados escalables. Por otro lado, por ejemplo, en el caso del tiempo de interés, el aparato 1201 de formación de imágenes puede estar configurado para generar los datos (BL + EL) 1221 codificados escalables de la capa base, de las cuales la cantidad de datos es grande, teniendo una alta calidad y suministra los datos codificados escalables generados al
dispositivo 1202 de almacenamiento de datos codificados escalables.
Mientras que la cámara de supervisión se ha descrito como anteriormente, el uso del sistema 1200 de formación de imágenes es arbitrario y no se limita a la cámara de vigilancia.
También en el sistema 1200 de formación de imágenes como se ilustra en la Figura 63, mediante la aplicación de la teenología actual, similar a la aplicación a la codificación jerárquica/decodificación jerárquica descrito anteriormente con referencia a las Figuras 1 a 52, las ventajas similares a las ventajas descritas anteriormente descritas con referencia a las Figuras 1 a 52 pueden ser adquiridas.
Además, la tecnología actual se pueden también aplicar a transmisión HTTP tal como MPEG o DASH que selecciona y utiliza los datos codificados apropiados en unidades de segmentos desde entre una pluralidad piezas de datos codificados que tengan mutuamente diferentes resoluciones y similares que es preparado de antemano. En otras palabras, entre la pluralidad de piezas de datos codificados, la información relativa a la codificación y descodificación puede ser compartida.
8. Octava Modalidad
Otros Ejemplos
Si bien los ejemplos del aparato, el sistema, y similares, para las los cuales la presente tecnología se
aplica han sido descritos como anteriormente, la presente teenología no se limita a ello. Así, la presente tecnología puede ser también implementada como todos los componentes montados en el aparato o un aparato configurando el sistema, tales como un procesador como un sistema Large Scale Integration (LSI) Integración en Gran Escala o similar, un módulo usando una pluralidad de procesadores y similares, una unidad usando una pluralidad de módulos y similares, y un conjunto adquirido mediante la adición de otra función a la unidad (en otras palabras, una parte de la configuración del aparato).
Conjunto de Video
Un ejemplo de un caso donde la tecnología actual se implementa como un conjunto se describirá con referencia a la Figura 64. La Figura 64 ilustra un ejemplo de la configuración esquemática de un conjunto de vídeo al cual se aplica la presente tecnología.
Recientemente, la implementación de múltiples funciones en los aparatos electrónicos se ha progresado, y, en el desarrollo o la fabricación de cada aparato electrónico, en un caso donde una parte de la configuración se ejecuta en ventas, disposición, o similar, con frecuencia, no sólo hay un caso donde la parte se ejecuta como una configuración que tiene una función sino también un caso en el que se ejecuta como parte de un conjunto que tiene múltiples funciones mediante la
combinación de una pluralidad de configuraciones que tienen funciones relacionadas.
El conjunto 1300 de video se ilustra en la Figura 64 tiene tal configuración que tiene múltiples funciones y se adquiere mediante la combinación de un dispositivo que tiene una función relativa a la codificación/decodificación (uno de codificación y decodificación o ambos de los mismos) de una imagen con dispositivos que tienen otras funciones relativas a la función.
Como se ilustra en la Figura 64, el conjunto 1300 de video incluye: un grupo de módulos, tal como un módulo 1311 de vídeo, una memoria 1312 externa, un módulo 1313 de administración de energía, y un módulo 1314 de extremo frontal y los dispositivos que tienen funciones relacionadas tales como la conectividad 1321, una cámara de 1322, y un sensor 1323.
Un módulo es un componente que tiene funciones que han adquirid la coherencia mediante la recopilación de varias funciones de los componentes relacionados el uno al otro. Una configuración física específica es arbitraria, y, por ejemplo, una configuración puede considerarse en el cual una pluralidad de procesadores que tienen respectivas funciones, los componentes de circuitos electrónicos tales como una resistencia y un condensador, y otros dispositivos están dispuestos para ser integrado en una placa de circuitos o
similares. Además, puede ser considerado para formar un nuevo módulo mediante la combinación de un módulo con otros módulos, un procesador, o similares.
En el caso del ejemplo ilustrado en la Figura 64, el módulo 1311 de video se construye mediante la combinación de configuraciones que tienen funciones relacionadas con el procesamiento de imágenes e incluye: un procesador de aplicaciones, un procesador de video, un módem 1333 de banda ancha, y un módulo 1334 RF.
Un procesador se forma mediante la integración de una configuración que tiene una función predeterminada en un chip semiconductor a través de un Sistema En un Chip (SoC) y, por ejemplo, hay un procesador Large Scale Integration (LSI) llamado Integración a Gran Escala o similares. La configuración que tiene una función predeterminada puede ser un circuito lógico (configuración de hardware), una configuración que incluye una CPU, una ROM, una RAM, y similares y un programa (configuración de software) ejecutado utilizando los componentes, o una configuración adquirida por la combinación de ambos. Por ejemplo, puede estar configurado de tal manera que un procesador incluye circuitos lógicos, una CPU, una ROM, una RAM, y similares, algunas funciones de los mismos se realizan mediante circuitos lógicos (configuración hardware), y las otras funciones se realizan mediante un programa (configuración de software) ejecutado por la CPU.
Un procesador 1331 de aplicaciones se ilustra en la Figura 64 es un procesador que ejecuta una solicitud relacionada con el procesamiento de imágenes. A fin de realizar una función predeterminada, la aplicación ejecutada por este procesador 1331 de aplicaciones no sólo realiza un proceso de cálculo, pero también puede controlar las configuraciones del interior/exterior del módulo 1311 de video, tal como un procesador 1332 de video y similares, como es necesario.
Un procesador 1332 de video es un procesador que tiene una función relativa a la codificación/decodificación (uno de codificación y decodificación o ambos de codificación y descodificación) de una imagen.
El módem 1333 de banda ancha convierte los datos (señal digital) transmitidos a través de cable o inalámbrico (o cableado e inalámbrico) la comunicación de banda ancha que se realiza a través de lineas de comunicación de banda ancha, tal como Internet o una red conmutada de teléfono público dentro de una señal analógica a través de un proceso de modulación digital o similares, o convierte una señal analógica recibida a través de la comunicación de banda ancha dentro de datos (señal digital) a través de un proceso de demodulación. La información arbitraria de proceso tal como datos de imagen procesados por el procesador 1332 de video, un flujo en el que los datos de imagen se codifican, un programa de aplicación, y
los datos de ajuste.
El módulo 1334 RF es un módulo que realiza la conversión de frecuencia, la modulación/demodulación, amplificación, un proceso de filtro, y similares, para una señal de Radio Frecuencia (RF) que se transmite o se recibe a través de una antena. Por ejemplo, el módulo 1334 RF realiza la conversión de frecuencia y similares, para una señal de sistema de conexión de línea dedicada generada por el módem 1333 de banda ancha, generando asi una señal RF. Además, por ejemplo, el módulo 1334 RF realiza la conversión de frecuencia y similares, para una señal RF recibida a través del módulo 1314 de extremo frontal, generando asi una señal de sistema de conexión de línea dedicada.
Como denotado por una línea 1341 de puntos en la Figura 64, el procesador 1331 de aplicaciones y el procesador 1332 de vídeo pueden estar integrados de manera que se configura como un procesador.
La memoria 1312 externa es un módulo que está dispuesto fuera del módulo 1311 de vídeo y tiene un dispositivo de memoria utilizada por el módulo 1311 de vídeo. Mientras que el dispositivo de memoria de la memoria 1312 externa puede ser realizado por una cierta configuración física, en general, el dispositivo de memoria se utiliza con frecuencia para almacenar datos de un gran volumen, tales como datos de imagen configurados en unidades de transmisión de imágenes. Por
consiguiente, es preferible que el dispositivo de memoria es realizada por una memoria de semiconductores de una gran capacidad tal como una Memoria de Acceso Aleatorio Dinámica (DRAM) a un costo relativamente bajo.
El módulo 1313 de administración de energía gestiona y controla el suministro de energía al módulo 1311 de vídeo (cada configuración dispuesta dentro del interior del módulo 1311 de vídeo).
El módulo 1314 de extremo frontal es un módulo que proporciona una función de extremo frontal (un circuito en el extremo de transmisión/recepción en el lado de la antena) para el módulo 1334 RF. Como se ilustra en la Figura 64, el módulo 1314 de extremo frontal, por ejemplo, incluye una unidad 1351 de antena, un filtro 1352, y una unidad 1353 de amplificación.
La unidad 1351 de antena incluye una antena que transmite y recibe señales inalámbricas y configuraciones periféricas. La unidad 1351 de antena transmite una señal suministrada desde la unidad 1353 de amplificación como una señal inalámbrica y suministra la señal inalámbrica recibida al filtro 1352 como una señal (señal RF) eléctrica. El filtro 1352 realiza un proceso de filtro y similares para la señal RF recibida a través de la unidad 1351 de antena y suministra la señal RF después el proceso al módulo 1334 RF. La unidad 1353 de amplificación amplifica la señal RF suministrada desde el módulo 1334 RF y suministra la señal RF amplificada a la
unidad 1351 de antena.
La conectividad 1321 es un módulo que tiene una función que relaciona a una conexión con el exterior. La configuración física de la conectividad 1321 es arbitraria. Por ejemplo, la conectividad 1321 incluye una configuración que tiene una función de comunicación de acuerdo con un estándar de comunicación que no sea un estándar de comunicación con el módem 1333 de banda ancha complaciente, una terminal de entrada/salida externa, y similares.
Por ejemplo, la conectividad 1321 puede configurarse para incluir un módulo que tiene una complaciente función de comunicación con un estándar de comunicación de radio, tal como Bluetooth (marca registrada), IEEE 802.11 (por ejemplo, Fidelidad Inalámbrica, marca registrada (Wi-Fi)), Near Field Communication (NFC) Comunicación de Campo Cercano, o la Asociación de Datos por Infrarrojos (IrDA), una antena que transmite y recibe señales compatibles con la norma, y similares. Además, por ejemplo, la conectividad 1321 puede configurarse para incluir un módulo que tiene una función de comunicación compatible con un estándar de comunicación inalámbrica tal como Universal Serial Bus (USB) Puerto Bus Serie Universal o High-Definition Multimedia Interface Interfaz Multimedia Alta Definición (HDMI (marca registrada)) y terminales compatibles con el estándar. Además, por ejemplo, la conectividad 1321 puede ser configurada para tener otra
función de transmisión de^ datos (señal) de una terminal entrada/salida analógica o similar.
Además, la conectividad 1321 puede estar configurada para incluir un dispositivo de destino de la transmisión de los datos (señal). Por ejemplo, la conectividad 1321 puede configurarse para incluir una unidad (incluyendo no sólo una unidad de un medio extraible, sino también un disco duro, una unidad de estado sólido Solid State Orive (SSD), un Network Attached Storage almacenamiento conectado a red (ÑAS), y similares) que lee/escribe datos desde/dentro un medio de grabación tal como un disco magnético, un disco óptico, un disco magneto-óptico, o una memoria de semiconductor. Además, la conectividad 1321 puede estar configurada para incluir un dispositivo de salida (un monitor, un altavoz, o similares) de una imagen o una voz.
La cámara 1322 es un módulo que tiene una función para la adquisición de datos de imagen de un objeto mediante la formación de imágenes del objeto. Los datos de imagen adquiridos mediante el proceso de formación de imágenes realizado mediante la cámara 1322, por ejemplo, se suministran al procesador 1332 de video y se codifica.
El sensor 1323 es un módulo que tiene la función de un sensor arbitrario tal sensor de sonido, un sensor ultrasónico, un sensor óptico, un sensor de iluminancia, un sensor de infrarrojos, un sensor de imagen, un sensor de rotación, un
sensor de ángulo, un sensor de velocidad angular, un sensor de velocidad, un sensor de aceleración, un sensor de inclinación, un sensor de identificación magnético, un sensor de impacto, o un sensor de temperatura. Los datos detectados por el sensor 1323, por ejemplo, se suministra al procesador 1331 de aplicaciones y es utilizado mediante la aplicación y similares.
La configuración descrita anteriormente como el módulo puede considerarse realizada como el procesador. Por el contrario, la configuración descrita anteriormente como el procesador puede ser realizado como el módulo.
En el conjunto 1300 de video que tiene la configuración descrita anteriormente, como se describirá más adelante, la presente teenología se puede aplicar al procesador 1332 de vídeo. En consecuencia, el conjunto 1300 de video puede ser ejecutado como un conjunto a la que la tecnología actual se aplica.
Ejemplo de Configuración del Procesador de Video
La Figura 65 ilustra un ejemplo de la configuración esquemática del procesador 1332 de vídeo (Figura 64) a la que se aplica la presente tecnología.
En el caso del ejemplo ilustrado en la Figura 65, el procesador 1332 de vídeo tiene una función para recibir entradas de una señal de vídeo y una señal de audio y la codificación de la señal de vídeo y la señal de audio de
acuerdo con un sistema predeterminado y una función para la decodificación de datos de video codificados y datos de audio codificados y reproduciendo y enviando una señal de video y señal de audio.
Como se ilustra en la Figura 65, el procesador 1332 de video incluye: una unidad 1401 de procesamiento de entrada de vídeo; una primera unidad 1402 de ampliación/reducción de imagen; una segunda unidad 1403 de ampliación/reducción de imagen; una unidad 1404 de procesamiento de salida de vídeo; una memoria 1405 de transmisión de imágenes; y una unidad 1406 de control de memoria. Además, el procesador 1332 de vídeo incluye: un motor 1407 de codificación/decodificación; Flujo Elemental de Vídeo (ES) memorias intermedias 1408A y 1408B; y una ES memoria intermedia 1409A y 1409B de audio. Además, el procesador 1332 de vídeo incluye: un codificador 1410 de audio; un decodificador 1411 de audio; una unidad de multiplexión (Multiplexor (UX) ) 1412; una unidad de desmultiplexión (Demultiplexor (DMUX)) 1413; y un flujo de memoria intermedia 1414.
La unidad 1401 de procesamiento de entrada de vídeo, por ejemplo, adquiere una entrada de señal de vídeo desde la conectividad 1321 (Figura 64) o similar, y convierte la señal de vídeo en datos de imagen digitales. La primera unidad 1402 de ampliación/reducción de imagen realiza una conversión de formato, un proceso de ampliación/reducción de imágenes, y
similares, para los datos de imagen. La segunda unidad 1403 de ampliación/reducción de imagen lleva a cabo un proceso de ampliación/reducción de imagen de acuerdo con un formato de destino de salida a través de la unidad 1404 de procesamiento de salida de video, similar formato de conversión como el de la primera unidad 1402 de ampliación/reducción de imagen, un proceso de ampliación/reducción de imagen, y similares, para los datos de imagen. La unidad 1404 de procesamiento de salida de video realiza una conversión de formato, una conversión en una señal analógica, y similares, para los datos de imagen y emite una señal resultante, por ejemplo, a la conectividad 1321 (Figura 64) o similar como una señal de video reproducido.
La memoria 1405 de transmisión de datos es una memoria para los datos de imagen que es compartida por la unidad 1401 de procesamiento de entrada de video, la primera unidad 1402 de ampliación/reducción de imagen, la segunda unidad 1403 de ampliación/reducción de imagen, la unidad 1404 de procesamiento de salida de video, y el motor 1407 de codificación/decodificación. La memoria 1405 de transmisión de datos, por ejemplo, se realiza por una memoria de semiconductores tal como una DRAM.
La unidad 1406 de control de memoria recibe una señal de sincronización del motor 1407 de codificación/decodificación y los controles de accesos a la memoria 1405 de transmisión de
imágenes para escritura/lectura de acuerdo con un programa de acceso para acceder a la memoria 1405 de transmisión de imágenes que se escribe en una tabla 1406A de gestión de acceso. La tabla 1406A de gestión de acceso se actualiza mediante la unidad 1406 de control de memoria de acuerdo con los procesos ejecutados por el motor 1407 de codificación/decodificación, la primera unidad 1402 de ampliación/reducción de imagen, la segunda unidad 1403 de ampliación/reducción de imagen, y similares.
El motor 1407 codificación/decodificación realiza un proceso de codificación de datos de imágenes y un proceso de decodificación de un flujo de video que es los datos adquiridos por la codificación de los datos de imagen. Por ejemplo, el motor 1407 de codificación/decodificación codifica los datos de imagen leídos desde la memoria 1405 de transmisión de imágenes y secuencialmente escribe los datos de imagen dentro de la memoria 1408A intermedia ES de vídeo como un flujo de vídeo. Además, por ejemplo, el motor 1407 de codificación/decodificación lee secuencialmente y decodifica los flujos de vídeo suministrados desde la memoria 1408B intermedia ES de vídeo y secuencialmente escribe los flujos de video decodificados dentro de la memoria 1405 de transmisión de datos como los datos de imagen. El motor 1407 codificación/decodificación utiliza la memoria 1405 de transmisión de datos como un área de trabajo en tales procesos
de codificación y decodificación. Además, el motor 1407 de codificación/decodificación da salida a una señal de sincronización a la unidad 1406 de control de memoria, por ejemplo, en el momento cuando se inicia un proceso para cada macrobloque.
La memoria 1408A intermedia ES de video almacena temporalmente un flujo de video generado por el motor 1407 de codificación/decodificación y suministra el flujo de video almacena temporalmente a la unidad (MUX) 1412 de multiplexión. La memoria intermedia 1408B ES de video almacena temporalmente un flujo de video suministrada desde la unidad 1413 (DMUX) de desmultiplexión y suministra el flujo de video almacena temporalmente con el motor 1407 de codificación/decodificación.
La memoria intermedia 1409A ES de audio almacena temporalmente un flujo de audio generado por el codificador 1410 de audio y suministra el flujo de audio almacena temporalmente a la unidad (MUX) 1412 de multiplexión. La memoria intermedia 1409B ES de audio almacena temporalmente un flujo de audio suministrado desde el (DMUX) 1413 desmultiplexor y suministra el flujo de audio almacena temporalmente con el decodificador 1411 de audio.
El codificador 1410 de audio, por ejemplo, convierte una señal de audio, por ejemplo, entrada desde la conectividad 1321 o similar dentro de una señal digital y los códigos de la
señal digital convertida de acuerdo con un sistema predeterminado tal como un sistema de audio MPEG o un sistema (AC3) de número 3 de Código de Audio. El codificador 1410 de audio de forma secuencial escribe flujos de audio siendo cada uno de los datos adquiridos mediante la codificación de una señal de audio dentro de la memoria intermedia 1409A ES de audio. El decodificador 1411 de audio decodifica el flujo de audio suministrada desde la memoria intermedia 1409B ES de audio y, por ejemplo, lleva a cabo una conversión dentro de una señal analógica, y similares, para el flujo de audio decodificada y suministra una señal resultante, por ejemplo, para la conectividad 1321 o similares como una señal de audio reproducida.
La unidad (MUX) 1412 de multiplexión multiplexa un flujo de video y un flujo de audio. Un método de este proceso de multiplexión (en otras palabras, el formato de un flujo de bitios generado por el proceso de multiplexión) es arbitrario. Además, en el proceso de multiplexión, la unidad (MUX) 1412 de multiplexión puede añadir información de encabezamiento predeterminado y similar, para el flujo de bitios. En otras palabras, la unidad (MUX) 1412 de multiplexión puede convertir el formato de un flujo a través del proceso de multiplexión. Por ejemplo, por multiplexión un flujo de video y un flujo de audio, la unidad (MUX) 1412 de multiplexión convierte los flujos en un flujo de transporte que es un flujo de bitios de
un formato de transmisión. Además, por ejemplo, mediante la multiplexión del flujo de video y el flujo de audio, la unidad (MUX) 1412 de multiplexión convierte los flujos en datos (datos de archivos) de un formato de archivo de grabación.
La unidad 1413 (DMUX) de desmultiplexión desmultiplexa un flujo de bitios en el que un flujo de video y un flujo de audio son multiplexados usando un método correspondiente al proceso de multiplexión realizado por la unidad (MUX) 1412 de multiplexión. En otras palabras, la unidad 1413 (DMUX) de desmultiplexión extrae un flujo de video y un flujo de audio del flujo de bitios leído desde la memoria intermedia 1414 de flujo (que separa el flujo de vídeo y el flujo de audio el uno del otro). En otras palabras, la unidad 1413 (DMUX) de desmultiplexión puede convertir el formato de un flujo a través del proceso de desmultiplexión (una conversión inversa de la conversión realizada por la unidad (MUX) 1412 de multiplexión). Por ejemplo, la unidad 1413 (DMUX) de desmultiplexión adquiere una flujo de transporte suministrado, por ejemplo, desde la conectividad 1321, el módem 1333 de banda ancha, o similar a través de la memoria intermedia 1414 de flujo y desmultiplexa el flujo de transporte suministrado, convirtiendo de este modo el flujo de transporte en un flujo de vídeo y flujo de audio. Además, por ejemplo, la unidad 1413 (DMUX) de desmultiplexión adquiere datos de archivos, por ejemplo, leer desde los distintos medios de grabación por la
conectividad 1321 a través de la memoria intermedia 1414 de flujo y demultiplexa los datos del archivo adquiridos, convirtiendo de este modo los datos de archivo en un flujo de video y un flujo de audio.
La memoria intermedia 1414 de flujo almacena temporalmente el flujo de bitios. Por ejemplo, la memoria intermedia 1414 de flujo almacena temporalmente el flujo de transporte suministrado desde la unidad (MUX) 1412 de multiplexado y suministra la flujo de transporte almacena temporalmente, por ejemplo, a la conectividad 1321, el módem 1333 de banda ancha, o similares al tiempo predeterminado o basado en una solicitud desde el externo, o similares.
Además, por ejemplo, la memoria intermedia 1414 de flujo almacena temporalmente los datos del archivo suministrados desde la unidad (MUX) 1412 de multiplexión y suministra los datos de archivos almacenados temporalmente, por ejemplo, para la conectividad 1321 o similar al tiempo predeterminado, una solicitud desde el exterior, o similares de modo que se grabará en diversos medios de grabación.
Además, la memoria intermedia 1414 de flujo almacena temporalmente un flujo de transporte, por ejemplo, adquirido a través de la conectividad 1321, el módem 1333 de banda ancha, o similar, y suministra el flujo de transporte almacenada temporalmente a la unidad 1413 (DMUX) de desmultiplexión en predeterminado tiempo o basada a petición desde el exterior o
similares.
Además, la memoria intermedia 1414 de flujo almacena temporalmente datos de archivo leídos desde diversos medios de grabación por la conectividad 1321 o similar, y suministra los datos de archivos almacenados temporalmente a la unidad 1413 (DMUX) de desmultiplexión al tiempo predeterminado o una solicitud del exterior o similares.
A continuación, un ejemplo de la operación del procesador 1332 de video que tiene tal configuración como se describirá. Por ejemplo, una entrada de señal de vídeo desde la conectividad 1321 o similar al procesador 1332 de vídeo se convierte en datos de imagen digital de un sistema predeterminado tal como un sistema 4:2:2 Y/Cb/Cr en la unidad
1401 de procesamiento de entrada de vídeo y se escriben secuencialmente en la memoria 1405 de transmisión de datos. Estos datos de imagen digital es leído por la primera unidad
1402 de ampliación/reducción de imagen o la segunda unidad
1403 de ampliación/reducción de imagen, una conversión de formato en un sistema predeterminado tal como un sistema de 4:2:0 Y/Cb/Cr y un proceso de ampliación/reducción se realiza para los datos de imagen digitales leídos, y los datos de imagen digital resultante se vuelven a escribir en la memoria 1405 de transmisión de datos. Estos datos de imagen se codifican por el motor 1407 de codificación/decodificación y se escribe dentro de la memoria 1408A ES intermedia de video
como un flujo de vídeo.
Además, una entrada de señal de audio desde la conectividad 1321 o similar para el procesador 1332 de vídeo está codificada por el codificador 1410 de audio y se escribe en la memoria 1409A intermedia ES de audio como un flujo de audio.
Un flujo de vídeo en la memoria 1408A intermedia ES de vídeo y un flujo de audio en la memoria 1409A intermedia ES de audio se leen y se multiplexan por la unidad (MUX) 1412 de multiplexión y se convierte en un flujo de transporte, los datos de archivo, o similares. El flujo de transporte generado por la unidad (MUX) 1412 de multiplexión se almacena temporalmente en la memoria 1414 intermedia de flujo y a continuación, se emite a una red externa, por ejemplo, a través de la conectividad 1321, el módem 1333 de banda ancha, o similares. Además, los datos de archivo generado por la unidad (MUX) 1412 de multiplexión se almacena temporalmente en la memoria 1414 intermedia de flujo y, a continuación, se emite, por ejemplo, a la conectividad 1321 o similar y se registra en diversos medios de grabación.
Además, la entrada de flujo de transporte para el procesador 1332 de vídeo desde una red externa, por ejemplo, a través de la conectividad 1321, el módem 1333 de banda ancha, o similares se almacenan temporalmente en la memoria 1414 intermedia de flujo y, a continuación, se desmultiplexa por la
unidad 1413 (DMUX) de demultiplexión. Además, los datos del archivo que se lea desde los distintos medios de grabación y se introduce al procesador 1332 de video, por ejemplo, por la conectividad 1321 o similar se almacena temporalmente en la memoria 1414 intermedia de flujo y, a continuación, es desmultiplexada por la unidad 1413 (DMUX) de demultiplexión. En otras palabras, el flujo de transporte o la entrada de datos de archivo para el procesador 1332 de video se separa en un flujo de video y un flujo de audio por la unidad 1413 (DMUX) de desmultiplexión.
El flujo de audio se suministra al decodificador 1411 de audio a través de la memoria 1409B intermedia ES de audio y se descodifica, y una señal de audio se reproduce. Además, el flujo de video se escribe en la memoria intermedia 1408B ES de video y a continuación se lee secuencialmente y decodificado por el motor 1407 codificación/decodificación y se escribe en la memoria 1405 de transmisión de datos. Los datos de imagen decodificado se procesan para ser ampliada o reducida por la segunda unidad 1403 de ampliación/reducción de la imagen y se escribe en la memoria 1405 de transmisión de imágenes. Entonces, los datos de imagen decodificada es leído por la unidad 1404 de procesamiento de salida de vídeo, se convierte en otro formato de acuerdo con un sistema predeterminado, tal como el sistema 4:2:2 Y/Cb/Cr o similar, y se convierte además en una señal analógica y una señal de vídeo se reproduce y
sale .
En un caso donde se aplica la presente teenología para el procesador 1332 de vídeo configurado como tal, la presente tecnología relativa a cada modalidad descrita anteriormente se puede aplicar al motor 1407 codificación/decodificación. En otras palabras, por ejemplo, el motor 1407 de codificación/decodificación puede ser configurado para tener las funciones del aparato 100 de decodificación de imágenes y el aparato 200 de codificación de imagen descrito anteriormente. Mediante la configuración como tal, el procesador 1332 de vídeo puede tener las mismas ventajas como esas descritas anteriormente con referencia a las Figuras 1 a 52.
Además, en el motor 1407 de codificación/decodificación, la tecnología actual (en otras palabras, las funciones del aparato de codificación de imágenes y el aparato de decodificación de imágenes de acuerdo a cada modalidad descrita anteriormente) puede realizarse mediante el hardware, tales como circuitos lógicos o software, tal como un programa incorporado o puede ser realizado tanto por el hardware y el software.
Otro Ejemplo de Configuración del Procesador de Video
La Figura 66 ilustra otro ejemplo de la configuración esquemática de un procesador 1332 de vídeo (Figura 64) a la que se aplica la presente tecnología. En el caso del ejemplo
ilustrado en la Figura 66, el procesador 1332 de video tiene una función para la codificación y decodificación de datos de video de acuerdo a un sistema predeterminado.
Más específicamente, como se ilustra en la Figura 66, el procesador 1332 de vídeo incluye: una unidad 1511 de control; una interfaz 1512 de pantalla de visualización; un motor 1513 de pantalla de visualización; un motor 1514 de procesamiento de imágenes; y una memoria 1515 interna. Además, el procesador 1332 de vídeo incluye: un motor 1516 de códec; una memoria 1517 de interfaz; una unidad (MUX DMUX) 1518 de multiplexión/demultiplexión; una interfaz 1519 de red; y una interfaz 1520 de vídeo.
La unidad 1511 de control controla las operaciones de cada unidad de procesamiento dispuesto dentro del procesador 1332 de vídeo, tal como la una interfaz 1512 de pantalla de visualización, el motor 1513 de pantalla de visualización, el motor 1514 de procesamiento de imágenes, y el motor 1516 de códec.
Como se ilustra en la Figura 66, la unidad 1511 de control, por ejemplo, incluye una CPU 1531 principal, una sub CPU 1532, y un sistema controlador 1533. La CPU 1531 principal ejecuta un programa utilizado para controlar el funcionamiento de cada unidad de procesamiento dispuesto dentro del procesador 1332 de video y similares. La CPU 1531 principal genera una señal de control de acuerdo con el programa o
similar, y suministra la señal de control a cada unidad de procesamiento (en otras palabras, controla el funcionamiento de cada unidad de procesamiento). El sub CPU 1532 logra un papel auxiliar de la CPU 1531 principal. Por ejemplo, la sub CPU 1532 ejecuta un proceso hijo, una subrutina, o similar de un programa ejecutado por la CPU 1531 principal. El controlador 1533 del sistema controla las operaciones de la CPU 1531 principal y el sub CPU 1532 por la formación de designación de los programas para ser ejecutados por la CPU 1531 principal y el sub CPU 1532 y similares.
La interfaz 1512 de pantalla de visualización los datos de imagen salen, por ejemplo, a la conectividad 1321 y similares bajo el control de la unidad 1511 de control. Por ejemplo, la interfaz 1512 de pantalla de visualización convierte los datos de imagen que es dato digital en una señal analógica y sale la señal analógica como una señal de video reproducido o los datos de imagen que es el dato digital a un dispositivo de monitor de la conectividad 1321 o similar.
El motor 1513 de pantalla de visualización, bajo el control de la unidad 1511 de control, realiza varios procesos de conversión tales como una conversión de formato, una conversión de tamaño, y una conversión de gama de color para los datos de imagen a fin de que coincida con la especificación de hardware de un dispositivo de monitor visualizando la imagen y similares.
El motor 1514 de procesamiento de imágenes realiza un procesamiento de imágenes predeterminado tal como un proceso de filtro utilizado para mejorar la calidad de imagen y similares, para los datos de imagen bajo el control de la unidad 1511 de control.
La memoria 1515 interna es una memoria que es compartida por el motor 1513 de pantalla de visualización, el motor 1514 de procesamiento de imágenes, y el motor 1516 de códec y está dispuesto dentro del procesador 1332 de video. La memoria 1515 interna, por ejemplo, se utiliza para la transferencia de datos entre el motor 1513 de pantalla de visualización, el motor 1514 de procesamiento de imágenes, y el motor 1516 de códec. Por ejemplo, la memoria 1515 interna almacena los datos suministrados desde el motor 1513 de pantalla de visualización, el motor 1514 de procesamiento de imágenes, o el motor 1516 de códec y suministra los datos al motor 1513 de pantalla de visualización, el motor 1514 de procesamiento de imágenes, o el motor 1516 de códec como sea necesario (por ejemplo, de acuerdo a una solicitud). Esta memoria 1515 interna puede realizarse mediante el uso de cualquier tipo de dispositivo de memoria. Sin embargo, generalmente, la memoria interna se utiliza con frecuencia para el almacenamiento de datos que tienen un volumen tan pequeño como los datos de imagen en unidades de bloques y parámetros, y en consecuencia, es preferible realizar la memoria interna utilizando una
memoria de semiconductores que tiene una capacidad relativamente pequeña (en comparación a la memoria 1312 externa) y que tiene alta velocidad de respuesta tal como una Memoria de Acceso Aleatorio Estática (SRAM).
El motor 1516 de códec realiza los procesos relacionados con la codificación y decodificación de los datos de imagen. El sistema de codificación/decodificación con la que el motor 1516 de códec es compatible es arbitrario, y el número de los sistemas de codificación/decodificación puede ser uno o plural. Por ejemplo, puede ser configurado de tal manera que el motor 1516 de códec puede tener una función códec para una pluralidad de sistemas de codificación/decodificación y ser configurado para realizar la codificación de los datos de imagen o decodificación de datos codificados mediante el uso de seleccionado uno de los sistemas de codificación/decodificación .
En el ejemplo ilustrado en la Figura 66, el motor 1516 de códec, por ejemplo, incluye un Video 1541 MPEG-2, AVC/H.264 1542, HEVC/H.2651543, HEVC/H.265 (Escalable) 1544, HEVC/H.265 (Multi-visión) 1545, y MPEG-DASH 1551 bloques funcionales para el proceso relacionado con el códec.
El MPEG-2 Video 1541 es un bloque funcional que codifica o decodifica los datos de imagen de acuerdo con el sistema MPEG-2. El AVC/H.264 1542 es un bloque funcional que codifica o descodifica los datos de imagen de acuerdo con el sistema de
AVC. El HEVC/H.265 1543 es un bloque funcional que codifica o decodifica los datos de imagen de acuerdo con el sistema de HEVC. El HEVC/H.265 (Escalable) 1544 es un bloque funcional que realiza la codificación escalable o decodificación escalable de datos de imagen de acuerdo con el sistema de HEVC. El HEVC/H.265 (Multi-visión) 1545 es un bloque funcional que realiza múltiples vistas de codificación o múltiples vistas de decodificación de datos de imágenes de acuerdo con el sistema HEVC.
El MPEG-DASH 1551 es un bloque funcional que transmite y recibe datos de imagen de acuerdo con un MPEG-Dinámico Transmisión Adaptativo sobre el sistema HTTP (MPEG-DASH). El MPEG-DASH es una teenología para llevar a cabo la transmisión de vídeo utilizando un Protocolo de Transferencia de HiperTexto (HTTP), y uno de las características de la misma es que los datos codificados adecuados entre una pluralidad de piezas de datos codificados que tienen mutuamente diferentes resoluciones y similares, que se prepara en antelación, se selecciona y se transmite en unidades de segmentos. El MPEG-DASH 1551 realiza la generación de una flujo que es compatible con el estándar, el control de la transmisión del flujo, y similares y usa el MPEG-2 Video 1541 a HEVC/H.265 (Multi-visión) 1545 se describió anteriormente para los datos de imagen codificados y decodificados.
La interfaz 1517 de memoria es una interfaz para la
memoria 1312 externa. Los datos suministrados desde el motor
1514 de procesamiento de imagen o el motor 1516 de códec se suministra a la memoria 1312 externa a través de la interfaz 1517 de memoria. Además, los datos leídos desde la memoria 1312 externa se suministra al procesador 1332 de video (el motor 1514 de procesamiento de imágenes o el motor 1516 de códec) a través de la interfaz 1517 de memoria.
La unidad (MUX DMUX) 1518 de multiplexión/desmultiplexión realiza la multiplexión y desmultiplexión de diversos tipos de datos en relación con una imagen tal como un flujo de bitios de datos codificados, datos de imagen, y una señal de vídeo. Un método de la multiplexión/desmultiplexión es arbitrario. Por ejemplo, en el momento de realizar el multiplexado, la unidad (MUX DMUX) 1518 de multiplexión/desmultiplexión no sólo puede disponer de una pluralidad de piezas de datos en una sola, sino también añadir información de encabezamiento predeterminado o similar a los datos. Además, en el momento de realizar la desmultiplexión, la unidad (MUX DMUX) 1518 de multiplexión/desmultiplexión no sólo puede dividir una pieza de datos en múltiples partes, sino también añadir información de encabezamiento predeterminado o similar para cada parte de datos dividida. En otras palabras, la unidad (MUX DMUX) 1518 de multiplexión/desmultiplexión puede convertir el formato de los datos a través del proceso de multiplexión/desmultiplexión. Por ejemplo, la unidad (MUX
DMUX) 1518 de multiplexión/desmultiplexión puede convertir un flujo de bitios en un flujo de transporte que es un flujo de bitios del formato de transmisión o datos (datos de archivo) del formato de archivo de grabación por el flujo de bitios multiplexado. Es evidente que una conversión inversa de la misma puede ser realizada por el proceso de desmultiplexión.
La interfaz 1519 de red es una interfaz, por ejemplo, dedicada para el módem 1333 de banda ancha, la conectividad
1321, o similares. La interfaz 1520 de video es una interfaz, por ejemplo, dedicada para la conectividad 1321, la cámara
1322, o similares.
A continuación, un ejemplo de la operación de tal procesador 1332 de video como se describirá. Por ejemplo, cuando se recibe un flujo de transporte desde una red externa a través de la conectividad 1321, el módem 1333 de banda ancha, o similar, el flujo de transporte se suministra a la unidad (MUX DMUX) 1518 de multiplexión/desmultiplexión a través de la interfaz 1519 de red, es desmultiplexada, y es decodificada por el motor 1516 códec. Para los datos de imagen adquiridos por el proceso de descodificación realizado por el motor 1516 de códec, se realiza el procesamiento de imagen predeterminado, por ejemplo, por el motor 1514 de procesamiento de imágenes, y una conversión predeterminada se realiza por el motor 1513 de pantalla de visualización. Entonces, los datos de imagen resultante se suministran, por
ejemplo, a la conectividad 1321 o similares a través de la interfaz 1512 de pantalla de visualización, y una imagen del mismo se muestra en un monitor. Además, los datos de imagen, por ejemplo, adquiridos por el proceso de descodificación realizado por el motor 1516 códec se recodifica por el motor 1516 códec, se multiplexan por la unidad (MUX DMÜX) 1518 de multiplexión/demultiplexión, se convierte en datos de archivo, se da salida, por ejemplo, a la conectividad 1321 o similares a través de la interfaz 1520 de video, y se graba en diversos medios de grabación.
Además, los datos de archivo de los datos codificados adquiridos mediante la codificación de los datos de imagen, que se lee desde un medio de grabación no ilustrado, por ejemplo, por la conectividad 1321 o similares se suministra a la unidad (MUX DMUX) 1518 de multiplexión/desmultiplexión a través de la interfaz 1520 de video, se desmultiplexa, y se decodifica por el motor 1516 códec. Para los datos de imagen adquiridos por el proceso de descodificación realizado por el motor 1516 códec, de procesamiento de imagen predeterminado se realiza por el motor 1514 de procesamiento de imágenes y una conversión predeterminada se realiza por el motor 1513 de pantalla de visualización. Entonces, los datos de imagen resultante se suministra, por ejemplo, a la conectividad 1321 o similares a través de la una interfaz 1512 de pantalla de visualización, y una imagen del mismo se muestra en el
monitor. Además, los datos de imagen, por ejemplo, adquiridos por el proceso de descodificación realizado por el motor 1516 códec se recodifica por el motor 1516 códec, se multiplexan por la unidad (MUX DMUX) 1518 de multiplexión/desmultiplexión, se convierte en un flujo de transporte, se suministra, por ejemplo, a la conectividad 1321, el módem 1333 de banda ancha, o similares a través de la interfaz 1519 de red, y se transmite a otro aparato que no se ilustra.
En este caso, la transmisión/recepción de los datos de imagen y los otros datos entre cada unidad de procesamiento dispuesto dentro del procesador 1332 de video, por ejemplo, se lleva a cabo utilizando la memoria 1515 interna o la memoria 1312 externa. Además, el módulo 1313 de gestión de potencia, por ejemplo, controla el suministro de energía a la unidad 1511 de control.
En un caso donde se aplica la presente teenología para el procesador 1332 de vídeo configurado como tal, la tecnología actual de acuerdo a cada modalidad descrita anteriormente se puede aplicar al motor 1516 códec. En otras palabras, por ejemplo, el motor 1516 códec puede estar configurado para incluir los bloques funcionales dando cuenta del aparato 100 de codificación de imagen y el aparato 200 de decodificación de imágenes de acuerdo con la modalidad descrita anteriormente. Mediante la configuración como tal, el procesador 1332 de vídeo puede adquirir ventajas similares a
las ventajas descritas anteriormente con referencia a las Figuras 1 a 52.
Además, en el motor 1516 de códec, la teenología actual (en otras palabras, las funciones del aparato de codificación de imágenes y el aparato de decodificación de imágenes de acuerdo con cada modalidad descrita anteriormente) puede realizarse mediante el hardware, tales como circuitos lógicos o el software tal como un programa incorporado o puede ser realizado tanto por el hardware y el software.
Mientras que dos ejemplos de la configuración del procesador 1332 de vídeo se han descrito como anteriormente, la configuración del procesador 1332 de vídeo es arbitraria y puede ser una configuración distinta de los dos ejemplos descritos anteriormente. Aquí, el procesador 1332 de vídeo puede configurarse como un chip semiconductor o una pluralidad de chips semiconductores. Por ejemplo, el procesador de vídeo puede ser configurado como un LSI apilado tridimensional. Además, el procesador de vídeo puede ser realizado por una pluralidad de LSI.
Ejemplo de Aplicación al Aparato
El conjunto 1300 de video podrán construirse de diversos aparatos que procesan datos de imagen. Por ejemplo, el conjunto 1300 de vídeo puede ser construido en el aparato 900 de televisión (Figura 57), el teléfono 920 móvil (Figura 58), el aparato 940 de grabación/reproducción (Figura 59), el
aparato 960 de imagen (Figura 60), y similares. Al construir el conjunto 1300 de video en el mismo, el aparato puede adquirir ventajas similares a las descritas anteriormente con referencia a las Figuras 1 a 52.
Además, por ejemplo, el conjunto 1300 de video, por ejemplo, puede ser también construido en dispositivos terminales tales como la computadora 1400 personal, el equipo 1005 AV, el dispositivo 1006 de tableta, y el teléfono 1007 móvil del sistema 1000 de transmisión de datos ilustrado en la Figura 61, la estación 1101 de radiodifusión y el dispositivo 1102 terminal del sistema 1100 de transmisión de datos se ilustra en la Figura 62, el aparato 1201 de formación de imágenes y el dispositivo 1202 de almacenamiento de datos codificados escalables del sistema 1200 formación de imagen se ilustra en la Figura.63, y similares. Por la construcción del conjunto 1300 de video en el mismo, el aparato puede adquirir ventajas similares a las descritas anteriormente con referencia a las Figuras 1 a 52.
Además, aunque una configuración es una parte de cada una de las configuraciones del conjunto 1300 de video se describió anteriormente, en un caso donde la configuración incluye el procesador 1332 de video, la configuración puede ser ejecutada como una configuración a la que se aplica la presente teenología. Por ejemplo, sólo el procesador 1332 de vídeo puede ser ejecutado como un procesador de vídeo a la que se
aplica la presente teenología. Además, por ejemplo, como se describe anteriormente, el procesador indicado por la línea 1341 de puntos, el módulo 1311 de vídeo, y similares puede ser ejecutado como un procesador, un módulo, y similares a los que se aplica la presente tecnología. Además, por ejemplo, el módulo 1311 de vídeo, la memoria 1312 externa, el módulo 1313 de gestión de potencia, y el módulo 1314 de extremo frontal se pueden combinar con el fin de ser ejecutado como una unidad 1361 de vídeo a la que se aplica la presente tecnología. De acuerdo con cualquiera de las configuraciones, ventajas similares a las descritas anteriormente con referencia a las Figuras 1 a 52 pueden ser adquiridos.
En otras palabras, cualquier configuración puede ser construida en diversos aparatos que procesan datos de imagen, similar al caso del conjunto 1300 de video, siempre y cuando la configuración incluya el procesador 1332 de vídeo. Por ejemplo, el procesador 1332 de vídeo, el procesador denotado por la línea 1341 de puntos, el módulo 1311 de vídeo, o la unidad 1361 de vídeo puede ser construida en el aparato 900 de televisión (Figura 57), el teléfono 920 móvil (Figura 58), el aparato 940 de grabación/reproducción (Figura 59), el aparato 960 de formación de imágenes (Figura 60), los dispositivos terminales tales como la computadora 1400 personal, el equipo 1005 AV, el dispositivo 1006 de tableta, el teléfono 1007 móvil, y similares del sistema 1000 de transmisión de datos se
ilustra en la Figura 61, la estación 1101 de radiodifusión y el dispositivo 1102 terminal del sistema 1100 de transmisión de datos se ilustra en la Figura 62, el aparato 1201 de formación de imágenes y el dispositivo 1202 de almacenamiento de datos codificados escalables del sistema 1200 formación de imagen se ilustra en la Figura 63, y similares. Mediante la construcción de una configuración cualquiera a la que la presente teenología se desea para aplicar en un aparato, similar al caso del conjunto 1300 de video, el aparato puede adquirir ventajas similares a los descritos anteriormente con referencia a las Figuras 1 a 52.
9. Novena Modalidad
Ejemplo de Aplicación de MPEG-DASH
Además, la tecnología actual también se puede aplicar a un sistema de reproducción de contenido de una transmisión HTTP como MPEG DASH que se describirá posteriormente que selecciona y utiliza los datos apropiados en unidades de segmentos de entre una pluralidad de piezas de datos codificados, que se prepara de antemano, teniendo mutuamente diferentes resoluciones y similares.
Descripción General del Contenido del Sistema de Reproducción
En primer lugar, un sistema de reproducción de contenido a la que se puede aplicar la tecnología actual se describirá esquemáticamente con referencia a las Figuras 67 a 69.
En lo sucesivo, primero, una configuración básica que es común a tales cada modalidad se describirá con referencia a las Figuras 67 y 68.
La Figura 67 es un diagrama explicativo que ilustra la configuración del sistema de reproducción de contenido. Como se ilustra en la Figura 67, el sistema de reproducción de contenido incluye: servidores 1610 y 1611 de contenido; una red 1612; y un aparato 1620 de reproducción de contenido (aparato del cliente).
Los servidores 1610 y 1611 de contenido y el aparato 1620 de reproducción de contenido están conectados a través de la red 1612. Esta red 1612 es una linea de transmisión por cable o inalámbrica de la información que se transmite desde un aparato conectado a la red 1612.
Por ejemplo, la red 1612 incluye la Internet, una red telefónica, una red pública tal como una red de comunicaciones por satélite, varias Redes de Área Local (LAN), incluyendo Ethernet (marca registrada), una Red de Área Amplia (WAN), y similares. Además, la red 1612 puede incluir una red dedicada, tal como un Protocolo de Internet de Red Privada Virtual (IP-VPN).
El servidor 1610 de contenido códigos de contenido de datos y genera y almacena un archivo de datos que incluye información de datos codificados y la meta información de los datos codificados. En un caso donde el servidor 1610 de
contenido genera un archivo de datos de un formato MP4, los datos codificados corresponden a "mdat", y la información meta corresponde a "moov".
A continuación, el contenido de datos pueden ser datos de música de la música, una conferencia, un programa de radio, o similares, datos de video tales como una película, un programa de televisión, un programa de vídeo, una fotografía, un documento, una pintura, o un gráfico, un juego, software.
Aquí, el servidor 1610 de contenido genera una pluralidad de archivos de datos con diferentes tasas de bitios para un mismo contenido. Además, en respuesta a una solicitud de reproducción de contenido desde el aparato 1620 de reproducción de contenido, el servidor 1611 de contenido, en la información de una URL del servidor 1610 de contenido, incluye información de parámetros añadidos a la URL por el aparato 1620 de reproducción de contenido y transmite información resultante al aparato 1620 de reproducción de contenido. En lo sucesivo, materias relacionadas se describirán más específicamente con referencia a la Figura 68.
La Figura 68 es un diagrama explicativo que ilustra el flujo de datos en el sistema de reproducción de contenido se ilustra en la Figura 67. Los códigos del servidor 1610 de contenido de los mismos datos contenidos con diferentes tasas de bitios y, como se ilustra en la Figura 68, por ejemplo, generando de este modo un archivo A de 2 Mbps, un archivo B de
1.5 Mbps, y un archivo C de 1 Mbps. Relativamente, el archivo A tiene una alta tasa de bitios, el archivo B tiene una tasa de bitios estándar, y el archivo C tiene una tasa de bitios baja.
Como se ilustra en la Figura 68, los datos codificados de cada archivo se dividen en una pluralidad de segmentos. Por ejemplo, los datos codificados del archivo A se divide en segmentos de "Al", "A2", "A3", ···, "An", los datos codificados del archivo B se divide en segmentos de "Bl", "B2", "B3", ···, "Bn", y los datos codificados del archivo C se dividen en segmentos de "CI", "C2", "C3", ···, "Cn".
Además, cada segmento puede ser configurado como un ejemplo de configuración utilizando uno o dos o más piezas de datos codificados de video y datos codificados de audio comenzando con una muestra de sincronización (por ejemplo, un IDR-imagen en la codificación de video de AVC/H0.264) del MP4 que se puede reproducir de forma independiente. Por ejemplo, en un caso donde los datos de video de 30 fotogramas por segundo se codifica con un Grupo de Imágenes (GOP) que tiene una longitud fija de 15 fotogramas, cada segmento puede ser datos codificados de audio y datos codificados de video de dos segundos correspondientes a 4 GOP o datos codificados de video y datos codificados de audio de 10 segundos que corresponden a 20 GOP.
Además, los rangos de reproducción (rango de una posición
de tiempo desde el inicio del contenido) de segmentos que tengan el mismo orden de disposición en cada archivo son los mismos. Por ejemplo, los rangos de reproducción del segmento "A2", el segmento "B2", y el segmento "C2" son los mismos. Además, en un caso en el que cada segmento es dato codificado de dos segundos, cada uno de los rangos de reproducción del segmento "A2", el segmento "B2", y el segmento "C2" es de dos segundos a cuatro segundos de un contenido correspondiente.
Cuando se generan los archivos de la A a la C cada uno configurados por tal pluralidad de segmentos, el servidor 1610 de contenido almacena los archivos de la A a la C. A continuación, el servidor 1610 de contenido, como se ilustra en la Figura 68, transmite secuencialmente los segmentos de la configuración de diferentes archivos al aparato 1620 de reproducción de contenido, y el aparato 1620 de reproducción de contenido realiza la transmisión de reproducción de segmentos recibidos.
Aquí, el servidor 1610 de contenido de acuerdo con esta modalidad transmite un archivo de lista de reproducción (en lo sucesivo, referido como una Descripción de Presentación de medios (MPD)), incluyendo información de tasa de bitios y la información de acceso de cada uno de los datos codificados al aparato 1620 de reproducción de contenido, y el aparato 1620 de reproducción de contenido selecciona una tasa de bitios de entre una pluralidad de tasas de bitios basado en el MPD y
pide al servidor 1610 de contenido para transmitir segmentos correspondientes a la tasa de bitios seleccionado.
Mientras que sólo un servidor 1610 de contenido se ilustra en la Figura 67, es evidente que la presente descripción no se limita a un ejemplo tan relacionado.
La Figura 69 es un diagrama explicativo que ilustra un ejemplo especifico de la MPD. Como se ilustra en la Figura 69, la MPD, se incluye el acceso a la información relativa a una pluralidad de piezas de datos codificados que tengan mutuamente diferentes tasas de bitios (ANCHO DE BANDA). Por ejemplo, el MPD se ilustra en la Figura 69 representa la presencia de cada uno de los datos codificados de 256 Kbps, 1.024 Mbps, 1.384 Mbps, 1.536 Mbps y 2.048 Mbps e incluye el acceso a la información relativa a cada uno de los datos codificados. El aparato 1620 de reproducción de contenido puede cambiar dinámicamente la tasa de bitios de los datos codificados que se reproducen de una manera de transmisión basada en el MPD.
En la Figura 67, mientras que la terminal móvil se ilustra como un ejemplo del aparato 1620 de reproducción de contenido, el aparato 1620 de reproducción de contenido no se limita a tal ejemplo. Por ejemplo, el aparato 1620 de reproducción de contenido puede ser un aparato de proceso de información tal como una computadora (PC) personal, un aparato de procesamiento de video casero (una grabadora de DVD, una
videograbadora, o similares), un Asistente Digital Personales (PDA), un dispositivo de juego en casa, o un aparato electrodoméstico. Además, el aparato 1620 de reproducción de contenido puede ser un aparato de proceso de información tal como un teléfono móvil, un Sistema de Telefonía portátil Personal (PHS), un dispositivo de reproducción de música móvil, un dispositivo de procesamiento de video móvil o un dispositivo de juego móvil.
Configuración del Servidor 1610 de Contenido
Como anteriormente, la visión general del sistema de reproducción de contenido se ha descrito con referencia a las Figuras 67 a 69. Posteriormente, la configuración del servidor 1610 de contenido se describirá con referencia a la Figura 70.
La Figura 70 es un diagrama de bloques funcional que ilustra la configuración del servidor 1610 de contenido. Como se ilustra en la Figura 70, el servidor 1610 de contenido incluye: una unidad 1631 de generación de archivo; una unidad 1632 de almacenamiento; y una unidad 1633 de comunicación.
La unidad 1631 de generación de archivo incluye un codificador 1641 que los datos de contenido de códigos y genera una pluralidad de piezas de datos codificados que tienen mutuamente diferentes tasas de bitios utilizando un mismo contenido y el MPD descrito anteriormente. Por ejemplo, en un caso donde se generan los datos codificados de cada uno de 256 Kbps, 1.024 Mbps, 1.384 Mbps, 1.536 Mbps, y 2.048 Mbps,
la unidad 1631 generadora de archivo genera el MPD como se ilustra en la Figura 69.
La unidad 1632 de almacenamiento almacena la pluralidad de piezas de datos codificados que tienen diferentes tasas de bitios y el MPD generado por la unidad 1631 de generación de archivo. Esta unidad 1632 de almacenamiento puede ser un medio de almacenamiento tal como una memoria no volátil, un disco magnético, un disco óptico, o un disco (MO) Magneto óptico. Ejemplos de la memoria no volátil incluye una memoria (EPROM) Eléctricamente Programable y Borrable de Sólo Lectura y una ROM Programable y Borrable ROM (EPROM). Además, los ejemplos del disco magnético incluyen un disco duro y un disco de material magnético en forma de disco. Los Ejemplos del disco óptico incluyen un Disco Compacto (CD), un Disco Versátil Digital Grabable (DVD-R), y un disco Blu-Ray (BD (marca registrada)).
La unidad 1633 de comunicación es una interfaz con el aparato 1620 de reproducción de contenido y se comunica con el aparato 1620 de reproducción de contenido a través de la red 1612. Descrito con más detalle, la unidad 1633 de comunicación tiene una función como un servidor HTTP para comunicarse con el aparato 1620 de reproducción de contenido de acuerdo con el HTTP. Por ejemplo, la unidad 1633 de comunicación transmite el MPD al aparato 1620 de reproducción de contenido, los extractos de datos codificados desde la unidad 1632 de
almacenamiento que se solicita de acuerdo con el HTTP desde el aparato 1620 de reproducción de contenido basado en el MPD, y transmite los datos codificados al aparato 1620 de reproducción de contenido como una respuesta HTTP.
Configuración de Aparato 1620 de Reproducción de Contenido
Como anteriormente, se ha descrito la configuración del servidor 1610 de contenido de acuerdo a esta modalidad. Subsecuentemente, la configuración del aparato 1620 de reproducción de contenido se describirá con referencia a la figura 71.
La figura 71 es un diagrama de bloques funcional que ilustra la configuración del aparato 1620 de reproducción de contenido. Como se ilustra en la figura 71, el aparato 1620 de reproducción de contenido incluye: una unidad 1651 de comunicación; una unidad 1652 de almacenamiento; una unidad 1653 de reproducción; una unidad 1654 de selección; y una unidad 1656 de adquisición de localización actual.
La unidad 1651 de comunicación es una interfaz con el servidor 1610 de contenido y solicita datos del servidor 1610 de contenido, y adquiere los datos del servidor 1610 de contenido. Descrito en más detalle, la unidad 1651 de comunicación tiene una función como un cliente HTTP que comunica con el aparato 1620 de reproducción de contenido de acuerdo al HTTP. Por ejemplo, usando el Rango HTTP, la unidad 1651 de comunicación puede adquirir selectivamente el MPD y
los segmentos de los datos codificados del servidor 1610 de contenido.
La unidad 1652 de almacenamiento almacena varios tipos de información relacionada a la reproducción de contenidos. Por ejemplo, la unidad 1652 de almacenamiento amortigua secuencialmente segmentos adquiridos por la unidad 1651 de comunicación del servidor 1610 de contenido. Los segmentos de los datos codificados amortiguados en la unidad 1652 de almacenamiento se suministran secuencialmente a la unidad 1653 de reproducción de acuerdo a Primero en Entrar Primero en Salir (FIFO).
Además, la unidad 1652 de almacenamiento, basado en una instrucción para añadir un parámetro a una URL del contenido descrito en la MPD, que se solicita del servidor 1611 de contenido se describe después, añadir el parámetro a la URL que usa la unidad 1651 de comunicación y almacena una definición para acceder a la URL.
La unidad 1653 de reproducción reproduce secuencialmente los segmentos suministrados de la unidad 1652 de almacenamiento. Más específicamente, la unidad 1653 de reproducción realiza la decodificación, una conversión DA, la representación, y los similares de los segmentos.
La unidad 1654 de selección selecciona secuencialmente los segmentos de los datos codificados que corresponden a una relación de bitios incluida en la MPD, que son para ser
adquiridos, dentro del mismo contenido. Por ejemplo, cuando la unidad 1654 de selección selecciona secuencialmente los segmentos "Al", "B2", y "A3" de acuerdo a la banda de la red 1612, como se ilustra en la figura 68, la unidad 1651 de comunicación adquiere secuencialmente los segmentos "Al", "B2", y "A3" del servidor 1610 de contenido.
La unidad 1656 de adquisición de localización actual adquiere la corriente localización actual del aparato 1620 de reproducción de contenido y, por ejemplo, se puede configurar por un módulo que adquiere la locación actual de un recibidor Sistema de Posicionamiento Global (GPS) o los similares. Además, la unidad 1656 de adquisición de localización actual se puede configurar para adquirir la localización actual del aparato 1620 de reproducción de contenido que usa una red inalámbrica.
Configuración del Servidor 1611 de Contenido
La figura 72 es un diagrama de bloques funcional que ilustra un ejemplo de configuración del servidor 1611 de contenido. Como se ilustra en la figura 72, el servidor 1611 de contenido incluye una unidad 1671 de almacenamiento y una unidad 1672 de comunicación.
La unidad 1671 de almacenamiento almacena información de la URL de la MPD. La información de la URL de la MPD se transmite desde el servidor 1611 de contenido al aparato 1620 de reproducción de contenido en respuesta a una solicitud del
aparato 1620 de reproducción de contenido que solicita la reproducción de un contenido. Además, cuando la información de la URL de la MPD se proporciona para el aparato 1620 de reproducción de contenido, la unidad 1671 de almacenamiento almacena la información de definición en el momento de añadir el parámetro a la URL descrita en la MPD al aparato 1620 de reproducción de contenido.
La unidad 1672 de comunicación es una interfaz con el aparato 1620 de reproducción de contenido y comunica con el aparato 1620 de reproducción de contenido a través de la red 1612. En otras palabras, la unidad 1672 de comunicación recibe una solicitud para la información de la URL de la MPD del aparato 1620 de reproducción de contenido que solicita para la reproducción de un contenido y transmite la información de la URL de la MPD al aparato 1620 de reproducción de contenido. En la URL de la MPD que se transmite desde la unidad 1672 de comunicación, se incluye la información usada para añadir un parámetro usando el aparato 1620 de reproducción de contenido.
El parámetro añadido a la URL de la MPD por el aparato 1620 de reproducción de contenido se puede ajustar diversamente en la información de definición que se comparte por el servidor 1611 de contenido y al aparato 1620 de reproducción de contenido. Por ejemplo, la información de la locación actual del aparato 1620 de reproducción de contenido, un usuario ID de un usuario que usa el aparato 1620 de
reproducción de contenido, un tamaño de memoria del aparato 1620 de reproducción de contenido, una capacidad de almacenamiento del aparato 1620 de reproducción de contenido, y los similares se pueden añadir a la URL de la MPD por el aparato 1620 de reproducción de contenido.
En el sistema de reproducción de contenido que tiene la configuración descrita anteriormente, aplicando la presente teenología como se describe anteriormente con referencia a las figuras 1 a 52, se pueden adquirir ventajas similares a aquellas descritas anteriormente con referencia a las figuras 1 a 52.
En otras palabras, le codificador 1641 del servidor 1610 de contenido tiene la función del aparato 100 de codificación de imagen de acuerdo a la modalidad descrita anteriormente. Además, la unidad de reproducción 1653 de reproducción del aparato 1620 de reproducción de contenido tiene la función del aparato 200 de decodificación de imagen de acuerdo a la modalidad descrita anteriormente. En consecuencia, se puede mejorar la eficiencia de codificación de una predicción intra de un caso donde el formato de una señal de diferencia de color es 4:2:2 en la imagen.
Además, en el sistema de reproducción de contenido, transmitiendo y recibiendo datos codificados de acuerdo a la presente tecnología, se puede mejorar la eficiencia de codificación de una predicción intra de un caso donde el
formato de una señal de diferencia de color es 4:2:2 en la imagen.
10. Décima modalidad
Ejemplo de Aplicación del Sistema de Radiocomunicación del estándar Wi-Fi
Además, la presente teenología también se puede aplicar a un sistema de radiocomunicación del estándar Wi-Fi que selecciona y usa datos codificados apropiados en unidades de segmentos de entre una pluralidad de piezas de datos codificados, que se prepara por adelantado, que tiene resoluciones mutuamente diferentes y los similares.
Ejemplo de Operación Básica del Dispositivo de Radiocomunicación
Se describirá un ejemplo de la operación básica de un dispositivo de radiocomunicación de un sistema de radiocomunicación al que la presente tecnología se puede aplicar.
Primero, se estabiliza una conexión Red de Pares (P2P), y se transmiten y reciben paquetes inalámbricos hasta la operación de una aplicación específica.
Después, antes de una conexión en una segunda capa, después se designa una aplicación específica a usar, se estabiliza una conexión P2P, y se transmiten y reciben los paquetes inalámbricos hasta la operación de la aplicación especifica. Por lo tanto, después la conexión en la segunda
capa, se transmiten y reciben los paquetes inalámbricos de un caso donde se activa la aplicación específica.
Ejemplo de Comunicación en el Momento de la Operación de Arranque de la aplicación especifica
Las figuras 73 y 74 ilustran un ejemplo de transmisión/recepción de paquetes inalámbricos hasta que se estabiliza la conexión de Red de Pares (P2P), y una se opera aplicación especifica y son diagramas de secuencia que ilustra un ejemplo de un proceso de comunicación realizado por cada dispositivo que forma una base de la radiocomunicación. Más específicamente, un ejemplo de una secuencia de establecimiento de conexión directa que lleva a una conexión de un estándar de Wi-Fi Directo (también se puede llamar Wi-Fi P2P) que se estandariza por la Alianza Wi-Fi.
Aquí, en el Wi-Fi Directo, una pluralidad de dispositivos de radiocomunicación detecta respectivamente la presencia de los otros (descubrimiento de dispositivo, descubrimiento de servicio). Entonces, cuando se realiza una selección del dispositivo de conexión, entre los dispositivos seleccionados, se realiza la autentificación del dispositivo que usa WPS (Configuración Wi-Fi Protegida), por lo cual se estabiliza una conexión directa. Además, en el Wi-Fi Directo, se determina cualquier rol de un propietario del grupo o rol de un cliente que se toma por cada una de una pluralidad de dispositivos de radiocomunicación, por lo cual se forma un grupo de
comunicación.
Sin embargo, en el ejemplo del proceso de comunicación, no se ilustra ningún proceso de transmisión/recepción del paquete. Por ejemplo, en el momento de la primera conexión, como se describe anteriormente, los intercambios de paquete son necesarios para usar el WPS, y los intercambios de paquete son también necesarios en los intercambios de Solicitud/Respuesta de Autentificación y los similares. Sin embargo, en las figuras 73 y 74, no se ilustran tales intercambios de paquete, y aquellos en solo una segunda conexión y se ilustran conexiones subsecuentes.
En las figuras 73 y 74, mientras que se ilustra un ejemplo de un proceso de comunicación entre un primer dispositivo 1701 de radiocomunicación y un segundo dispositivo 1702 de radio comunicación, un proceso de comunicación entre los otros dispositivos de radiocomunicación es similar al mismo.
Primero, se realiza un descubrimiento del dispositivo entre el primer dispositivo 1701 de radiocomunicación y el segundo dispositivo 1702 de radiocomunicación (1711). Por ejemplo, el primer dispositivo 1701 de radiocomunicación transmite una solicitud de prueba (señal de solicitud de respuesta) y recibe una respuesta de prueba (señal de respuesta) para esta solicitud de prueba del segundo dispositivo 1702 de radiocomunicación. En consecuencia, uno
del primer dispositivo 1701 de radiocomunicación y el segundo dispositivo 1702 de radiocomunicación puede descubrir la presencia del otro. Además, a través del descubrimiento del dispositivo, se puede adquirir un nombre de dispositivo y un tipo (una TV, una PC, un teléfono inteligente, o los similares) del dispositivo interlocutor.
Subsecuentemente, un descubrimiento del servicio se realiza entre el primer dispositivo 1701 de radiocomunicación y el segundo dispositivo 1702 de radiocomunicación (1712). Por ejemplo, el primer dispositivo 1701 de radiocomunicación transmite una consulta de descubrimiento de servicio para consultar un servicio soportado por el segundo dispositivo 1702 de radiocomunicación que se descubre a través del descubrimiento del dispositivo. Entonces, el primer dispositivo 1701 de radiocomunicación recibe una respuesta de descubrimiento del servicio desde el segundo dispositivo 1702 de radiocomunicación, por lo que adquiere un servicio que se soporta por el segundo dispositivo 1702 de radiocomunicación. En otras palabras, un servicio y los similares que se pueden ejecutar por la consulta se puede adquirir a través del descubrimiento del servicio. Los ejemplos del servicio que se puede ejecutar por la consulta incluyen un servicio y un protocolo (Alianza de Red Digital en Vivo (DLNA), Reproductor de Medios Digital (DMR), y los similares).
Subsecuentemente, se realiza una operación de seleccionar
una consulta de conexión (operación de selección de consulta de conexión) por el usuario (1713). Esta operación de selección de consulta de conexión se puede realizar en solo uno del primer dispositivo 1701 de radiocomunicación y el segundo dispositivo 1702 de radiocomunicación. Por ejemplo, se visualiza una pantalla de selección de consulta de conexión en una unidad del primer dispositivo 1701 de radiocomunicación, y se selecciona el segundo dispositivo de radiocomunicación por una operación del usuario como una consulta de conexión en esta pantalla de selección de consulta de conexión.
Cuando se realiza la operación de selección de consulta de conexión por el usuario (1713), una negociación del propietario del grupo se realiza entre el primer dispositivo 1701 de radiocomunicación y el segundo dispositivo 1702 de radiocomunicación (1714). En las figuras 73 y 74, se ilustra un ejemplo en que, como resultado de la negociación del propietario del grupo, el primer dispositivo 1701 de radiocomunicación se vuelve un propietario 1715 del grupo, y el segundo dispositivo de radiocomunicación se vuelve un cliente 1716.
Subsecuentemente, realizando los procesos (1717 a 1720) entre el primer dispositivo 1701 de radiocomunicación y el segundo dispositivo 1702 de radiocomunicación, se estabiliza una conexión directa. En otras palabras, se realiza secuencialmente la asociación (establecimiento (1717) de
enlace L2 (segunda capa)) y el establecimiento (1718) de enlace seguro. Además, la configuración L4 (1720) en L3 de acuerdo a una asignación (1719) de dirección IP, un Protocolo de Descubrimiento de Servicio Simple (SSDP), y los similares se realizan secuencialmente. Aquí, L2 (capa 2) representa una segunda capa (capa de enlace de datos), L3 (capa 3) representa una tercera capa (capa de red), y L4 (capa 4) representa una cuarta capa (capa de transporte).
Subsecuentemente, se realiza una operación de designación/activación de una aplicación especifica (operación de designación/activación de aplicación) por el usuario (1721). Esta operación de designación/activación de aplicación se puede realizar en solo uno del primer dispositivo 1701 de radiocomunicación y el segundo dispositivo 1702 de radiocomunicación. Por ejemplo, una pantalla de operación de designación/activación de aplicación se visualiza en la unidad de visualización del primer dispositivo 1701 de radiocomunicación, y una aplicación especifica se selecciona por una operación de usuario en esta pantalla de operación de designación/activación de aplicación.
Cuando se realiza la operación de designación/activación de aplicación por el usuario (1721), una aplicación especifica que corresponde a esta operación de designación/activación de aplicación se ejecuta entre el primer dispositivo 1701 de radiocomunicación y el segundo dispositivo 1702 de
radiocomunicación ( 1722 ) .
Aquí, se considerará un caso en que una conexión entre un Punto de Acceso (AP) y una Estación (STA) se realiza dentro del rango de un estándar (especificación estandarizada por IEEE 802.11) antes del estándar de Wi-Fi directo. En este caso, andes que se realice una conexión en la segunda capa (antes de la asociación en términos de IEEE 802.11), un dispositivo con el que una conexión podrá ser realizada pueda no se conocido por adelantado.
En contraste a esto, como se ilustra en la figura 73 y 74, en el wi-Fi directo, cuando una solicitud para una consulta del candidato de conexión se realiza en el descubrimiento del dispositivo o el descubrimiento del servicio (opción), se puede adquirir la información de consultas de conexión. Esta información de consultas de conexión, por ejemplo, es un tipo de dispositivo básico, una aplicación especifica con el que se compila cada consulta de conexión, y los similares. Entonces, basado en la información adquirida de consultas de conexión, el usuario puede permitir seleccionar una consulta de conexión.
Extendiendo esta estructura, un sistema de radiocomunicación se puede realizar en el cual, antes que se realice una conexión en la segunda capa, se designa una aplicación especifica, se selecciona una consulta de conexión, y, después de esta selección, se activa automáticamente una
aplicación especifica. Un ejemplo de la secuencia hasta una conexión de tal caso se ilustra en la figura 76. Además, se ilustra un ejemplo de configuración del formato de cuados de los cuadros que se transmiten y reciben en este proceso de comunicación en la figura 75.
Ejemplo de Configuración del Formato de Cuadro
La figura 75 es un diagrama que ilustra esquemáticamente un ejemplo de configuración de un formato de cuadro de un cuadro que se transmite y recibe en el proceso de comunicación realizado por cada aparato del sistema de radiocomunicación. En otras palabras, la figura 75 ilustra un ejemplo de configuración de un cuadro MAC usado para estabilizar una conexión en la segunda capa. Más específicamente, la figura 75 es un ejemplo del formato de cuadro de una solicitud/respuesta (1787) de asociación usado para realizar la secuencia ilustrada en la figura 76.
Aquí, una cabecera o encabezamiento MAC se configura por un control (1751) de cuadro a un control (1756) de secuencia. Para transmitir una solicitud de asociación B3B2 = "ObOO" y B7B6B5B4 = "ObOOOO" se ajustan en el control (1751) de cuadro. Además, para encapsular una respuesta de asociación B3B2 = "ObOO" y B7B6B5B4 = "ObOOOl" se ajustan en el control (1751) de cuadro. Aquí, "OBOO" representa "00" en binario, "ObOOOO" representa "0000" en binario, y "ObOOOl" representa "0001" en binario.
Aquí, el cuadro MAC ilustrado en la figura 75 básicamente tiene un formato de cuadro solicitud/respuesta de asociación descrito en las secciones 7.2.3.4 y 7.2.3.5 de la especificación IEEE 802.11-2007. Sin embargo, el cuadro MAC incluye no solo un elemento de información (en lo sucesivo, abreviado como IE) definido en la especificación de IEEE 802.11 sino también un IE extendido que se extiende únicamente, el cual es diferente del que el definido en la especificación.
Además, para representar un vendedor (1760) especifico IE, "127" que es un numero decimal se ajusta en el tipo IE (ID (1761) de elemento de información)). En este caso, de acuerdo a la sección 7.3.2.26 de la especificación IEEE 802.11-2007, un campo (1762) de longitud y un campo (1763) sigue el tipo IE, y por lo tanto, se dispone un contenido (1764) específico del vendedor.
Como un contenido del contenido (1764) especifico del vendedor, primero, un campo (tipo de IE (1765)) que representa el tipo de IE especifico del vendedor. Por lo tanto, una configuración se puede considerar en que se puede almacenar una pluralidad de subelementos (1766).
Un contenido del subelemento (1766) se puede considerar para incluir un nombre (1767) de una aplicación específica a usar y un rol (1768) del dispositivo en el momento de la operación de la aplicación específica. Además, la información
(1769) (información usada para la configuración L4) tal como un número de puerto usado para la aplicación especifica o el control del mismo y la información (información de capacidad) que se relaciona a la capacidad interior de la aplicación especifica se puede considerar a incluir en la misma. Aquí, por ejemplo, en un caso donde la aplicación especifica diseñada es la DLNA, la información de capacidad es información usada para especificar la conformidad con la reproducción/transmisión, conformidad con reproducción/transmisión, o los similares.
En el sistema de radiocomunicación que tiene la configuración descrita anteriormente, aplicando la presente teenología como se describe anteriormente con referencia a las figuras 1 a 53, se pueden adquirir ventajas similares a las ventajas descritas anteriormente con referencia a las figuras 1 a 52. En otras palabras, se puede mejorar la eficiencia de codificación de una predicción intra de un caso donde el formato de una señal de diferencia de color es 4:2:2 en la imagen. Además, en el sistema de radiocomunicación descrito anteriormente, transmitiendo y recibiendo datos codificados al que se aplica la presente tecnología, se puede mejorar la eficiencia de codificación de una predicción intra de un caso donde el formato de una señal de diferencia de color es 4:2:2 en la imagen.
En esta especificación, un ejemplo se ha descrito en el
cual varios tipos de información se multiplexa en una corriente codificada y se transmite del lado de codificación al lado de decodificación. Sin embargo, una téenica para transmitir tal información no se limita a tal técnica. Por ejemplo, tal información se puede transmitir o regrabar como datos individuales asociados con la corriente de bitios codificados sin ser multiplexados en la corriente codificada. Aguí, el término "asociado" representa gue una imagen (puede ser una parte de una imagen tal como una porción, bloque, o los similares) incluidos en una corriente de bitios y la información que corresponde a la imagen se adquiere con ser enlazada una con otra en el momento de decodificación de imagen y la información. En otras palabras, la información se puede transmitir en una linea de transmisión otra que la de la imagen (o la corriente de bitios). Además, la información se puede regrabar en un medio de grabación otro que para la imagen (o la corriente de bitios) (o un área de grabación diferente del mismo medio de grabación). Además, la información y la imagen (o la corriente de bitios), por ejemplo se puede asociar una con otra en unidades de partes arbitrarias tal como cuadros múltiples, un cuadro, o una parte del cuadro.
La presente tecnología puede tomar una configuración como se describe anteriormente.
(1) Un aparato de codificación de imagen que incluye: una
unidad de generación de información de designación de capa de referencia que genera información de designación de capa de referencia que designa una capa que se refiere a una predicción de entre capas en un caso donde un número máximo de otras capas referidas en el momento de realizar la predicción entre capas y el número de otras capas referidas en el momento de realizar la predicción entre capas, que se ajusta a los datos de imagen totales configurados por una pluralidad de capas, no coinciden una con otra; y una unidad que codifica los datos de imagen.
(2) El aparato de codificación de imagen descrito en (1), que además incluye una unidad de control de predicción que controla la predicción entre capas basado en la información de designación de capa de referencia generada por la unidad de generación de información de designación de capa de referencia.
(3) El aparato de codificación de imagen descrito en (1) o (2), además incluye una unidad de transmisión que transmite la información de designación de capa de referencia con una cabecera de porción.
(4) El aparato de codificación de imagen descrito en cualquiera de (1) a (3), en que la unidad de generación de información de designación de capa de referencia genera la información de designación de capa de referencia en un caso donde una capa actual no es la capa 0, y el número de capas de
referencia de la capa actual no es "0".
(5) El aparato de codificación de imagen descrito en (4), que además incluye una unidad de generación de imagen de previsibilidad entre capas que genera información de previsibilidad entre capas que representa si se permite una predicción entre capas.
(6) El aparato de codificación de imagen descrito en (5), en donde la unidad de generación de información de designación de capa de referencia además genera la información de designación de capa de referencia en un caso donde la predicción entre capas se representa ser permitida por la información de previsibilidad entre capas, y el número de las capas de referencia de la capa actual es plural.
(7) El aparato de codificación de imagen descrito en (6), que además incluye una unidad de generación de información del número de capa de referencia que genera información del número de capa de referencia que representa el número de otra capa referida al momento de realizar la predicción entre capas.
(8) El aparato de codificación de imagen descrito en (7), en donde la unidad de generación de información del número de capas de referencia genera la información del número de capas de referencia en un caso donde el número de capas referibles en la predicción entre capas no se limita a uno solo.
(9) Un método de codificación de imagen que incluye: generar información de designación de capa de referencia que
designa una capa que se refiere a una predicción entre capas en un caso donde un número máximo de otra capa referida al momento de realizar una predicción entre capas y el número de otras capas referidas en el momento de realizar la predicción entre capas, que se ajusta a los datos de imagen total configurada por una pluralidad de capaz, no coinciden una con otra; y codifica los datos de imagen.
LISTADO DE NUMEROS DE REFERENCIA
100 Aparato para codificación de imagen
101 Unidad de codificación de la imagen de la capa base
102 Unidad de codificación de la imagen de la capa de mejoramiento
103 Unidad de multiplexión
104 Unidad de control
151 Unidad de generación de la información del encabezamiento
152 Unidad de control de la predicción
161 Unidad de generación del encabezamiento de la sección
162 Unidad de generación del conjunto de parámetros de la secuencia
163 Unidad de generación del conjunto de imágenes de referencia ínter capas
171 Unidad de determinación de la dependencia
172 Unidad de determinación del tipo de la sección
173 Unidad de determinación de la capa
174 Unidad de determinación del número de las capas de referencia
175 Unidad de determinación de la predictibilidad ínter capas
176 Unidad de determinación del conjunto de imágenes de referencia ínter capas
177 Unidad de determinación del número de los conjuntos
178 Unidad de generación de la sintaxis relacionada con la predicción ínter capas
179 Unidad de generación del conjunto de parámetros
180 Unidad de generación de índices
181 Unidad de generación de la información de predictibilidad ínter capas
182 Unidad de generación de la información del número de las capas de referencia
183 Unidad de generación de la información de designación de las capas de referencia
184 Unidad de generación de la información de predictibilidad ínter
185 Unidad de generación de la información del número de los conjuntos
186 Unidad de generación del conjunto de parámetros
187 Unidad de generación de la información del número de las capas de referencia
188 Unidad de generación de la información de designación de las capas de referencia
200 Aparato para decodificación de imagen
201 Unidad de desmultiplexión
202 Unidad de decodificación de la imagen de la capa base
203 Unidad de decodificación de la imagen de la capa de mejoramiento
251 Unidad de análisis de la información del encabezamiento
252 Unidad de control de la predicción
261 Unidad de análisis del encabezamiento de la sección
262 Unidad de análisis del conjunto de parámetros de la secuencia
263 Unidad de análisis del conjunto de imágenes de referencia ínter capas
271 Unidad de determinación de la dependencia
272 Unidad de determinación del tipo de la sección
273 Unidad de determinación de la capa
274 Unidad de determinación del número de las capas de referencia
275 Unidad de determinación de la predictibilidad ínter capas
276 Unidad de determinación del conjunto de imágenes de referencia ínter capas
277 Unidad de determinación del número de los conjuntos
278 Unidad de análisis de la sintaxis relacionada con la predicción ínter capas
279 Unidad de análisis del conjunto de parámetros
280 Unidad de análisis de índices
281 Unidad de análisis de la información de predictibilidad ínter capas
282 Unidad de análisis de la información del número de las capas de referencia
283 Unidad de análisis de la información de designación de las capas de referencia
284 Unidad de análisis de la información de predictibilidad ínter
285 Unidad de análisis de la información del número de los conjuntos
286 Unidad de análisis del conjunto de parámetros
287 Unidad de análisis de la información del número de las capas de referencia
288 Unidad de análisis de la información de designación de las capas de referencia.
Claims (18)
1. Un aparato para codificación de imagen, caracterizado porque comprende: una unidad de generación de la información de designación de las capas de referencia, que genera la información de designación de las capas de referencia que designa las capas a las que se hace referencia en la predicción ínter capas solamente en un caso donde el número máximo de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas, y el número de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas, los cuales se establecen para los datos de la imagen completa configurada por una pluralidad de capas, no coinciden entre sí; y una unidad de codificación, que codifica los datos de la imagen.
2. El aparato para codificación de imagen de acuerdo con la reivindicación 1, caracterizado porque comprende además una unidad de control de la predicción, que controla la predicción ínter capas con base en la información de designación de las capas de referencia, generada por la unidad de generación de la información de designación de las capas de referencia.
3. El aparato para codificación de imagen de acuerdo con la reivindicación 1, caracterizado porque comprende además una unidad de transmisión que transmite la información de designación de las capas de referencia con el encabezamiento de la sección.
4. El aparato para codificación de imagen de acuerdo con la reivindicación 1, caracterizado porque, la unidad de generación de la información de designación de las capas de referencia genera la información de designación de las capas de referencia en un caso donde la capa actual no es la capa 0, y el número de las capas de referencia de la capa actual no es "0".
5. El aparato para codificación de imagen de acuerdo con la reivindicación 4, caracterizado porque comprende además, una unidad de generación de la información de predictibilidad ínter capas, que genera la información de la predictibilidad ínter capas que representa si se permite la predicción ínter capas.
6. El aparato para codificación de imagen de acuerdo con la reivindicación 5, caracterizado porque, la unidad de generación de la información de designación de las capas de referencia genera además la información de designación de las capas de referencia en un caso donde se representa que se permite la reducción ínter capas, por la uno de la predictibilidad ínter capas, y el número de las capas de referencia de la capa actual es plural.
7. El aparato para codificación de imagen de acuerdo con la reivindicación 6, caracterizado porque comprende además una unidad de generación de la información del número de las capas de referencia, que genera la información del número de las capas de referencia que representa el número de las otras capas a las se hace referencia en el momento de llevar a cabo la predicción ínter capas.
8. El aparato para codificación de imagen de acuerdo con la reivindicación 7, caracterizado porque, la unidad de generación de la información del número de las capas de referencia genera la información del número de las capas de referencia en un caso donde el número de las capas de referencia en la predicción ínter capas no se limita a una sola.
9. El método para codificación de imagen, caracterizado porque comprende: generar la información de designación de las capas de referencia que designa las capas a las que se hace referencia en la predicción ínter capas solo en un caso donde el número máximo de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas y el número de las otras capas a las que se hace referencia en el omento de llevar a cabo la predicción ínter capas, los cuales se establecen para los datos de la imagen completa configurada por una pluralidad de capas, no coinciden entre sí; y codificar los datos de la imagen.
10. Un aparato para decodificación de imagen, caracterizado porque comprende: una unidad de análisis de la información de designación de las capas de referencia que adquiere la información de designación de las capas de referencia que designa las capas a las que se hace referencia en la predicción ínter capas desde la información del encabezamiento, solo en un caso donde el número máximo de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas y el número de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas, los cuales se establecen para los datos de la imagen completa configurada por una pluralidad de capas, no coinciden entre sí; y una unidad para decodificación, que decodifica los datos codificados en los cuales se codifican los datos de la imagen al llevar a cabo la predicción ínter capas con base en la información de designación de las capas de referencia adquirida por la unidad de análisis de la información de designación de las capas de referencia.
11. El aparato para decodificación de imagen de acuerdo con la reivindicación 10, caracterizado porque comprende además una unidad de control de la predicción que controla la predicción ínter capas en la decodificación de los datos codificados que se lleva a cabo por la unidad de decodificación con base en la información de designación de las capas de referencia adquirida por la unidad de análisis de la información de designación de las capas de referencia.
12. El aparato para decodificación de imagen de acuerdo con la reivindicación 10, caracterizado porque la unidad de análisis de la información de designación de las capas de referencia adquiere la información de designación de las capas de referencia del encabezamiento de la sección.
13. Un aparato para decodificación de imagen de acuerdo con la reivindicación 10, caracterizado porque la unidad de análisis de la información de designación de las capas de referencia adquiere la información de designación de las capas de referencia en un caso donde la capa actual no es la capa 0, y el número de las capas de referencia de la capa actual no es "0".
14. El aparato para decodificación de imagen de acuerdo con la reivindicación 13, caracterizado porque comprende además una unidad de análisis de la información de la predictibilidad ínter capas que adquiere la información de la predictibilidad ínter capas que representa si se permite la predicción ínter capas, desde la información del encabezamiento.
15. El aparato para decodificación de imagen de acuerdo con la reivindicación 14, caracterizado porque la unidad de análisis de la información de designación de las capas de referencia adquiere la información de designación de las capas de referencia en un caso donde la información de la predictibilidad ínter capas representa que se permite la predicción ínter capas, y el número de las capas de referencia de la capa actual es plural.
16. El aparato para decodificación de imagen de acuerdo con la reivindicación 15, caracterizado porque, comprende además una unidad de análisis de la información del número de las capas de referencia que adquiere la información del número de las capas de referencia que representa el número de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas, desde la información del encabezamiento.
17. El aparato para decodificación de imagen de acuerdo con la reivindicación 16, caracterizado porque, la unidad de análisis de la información el número de las capas de referencia adquiere la información del número de las capas de referencia en un caso donde el número de las capas de referencia en la predicción ínter capas no se limita a una sola.
18. Un método para decodificación de imagen, caracterizado porque comprende: adquiere la información de designación de las capas de referencia que designa las capas a las que se hace referencia en la predicción ínter capas, desde la información del encabezamiento solo en un caso donde el número máximo de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas, y el número de las otras capas a las que se hace referencia en el momento de llevar a cabo la predicción ínter capas, las cuales se establecen para los datos de la imagen completa configurada por una pluralidad de capas, no coinciden entre sí; y decodificar los datos codificados en los cuales se codifican los datos de la imagen al llevar a cabo la predicción ínter capas con base en la información de designación de las capas de referencia adquirida. RESUMEN DE LA INVENCIÓN La presente descripción se refiere a un aparato y un método para codificación de imagen capaz de suprimir la reducción en la eficiencia de la codificación. El aparato para codificación de imagen incluye; una unidad de codificación que codifica los datos de la imagen configurada por una pluralidad de capas; una unidad de generación de la información relacionada con la predicción ínter capas que genera la información relacionada con la predicción ínter capas de la sección actual en un caso donde la capa de la sección actual es una capa de mejoramiento, y el tipo de la sección de la sección actual es una sección P o una sección B, y una unidad de transmisión que transmite los datos codificados de los datos de la imagen, generados por la unidad de codificación y la información relacionada con la predicción ínter capas, generada por la unidad de generación de la información relacionada con la predicción ínter capas. La presente descripción, por ejemplo, puede ser aplicada a un aparato para procesamiento de imagen tal como un aparato para codificación de imagen que codifica de forma escalable los datos de la imagen o un aparato para decodificación de imagen que decodifica los datos codificados adquiridos al llevar a cabo la codificación escalable de los datos de la imagen.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013146807 | 2013-07-12 | ||
| PCT/JP2014/067121 WO2015005137A1 (ja) | 2013-07-12 | 2014-06-27 | 画像符号化装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| MX2015002870A true MX2015002870A (es) | 2015-07-14 |
| MX348561B MX348561B (es) | 2017-06-20 |
Family
ID=52279823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| MX2015002870A MX348561B (es) | 2013-07-12 | 2014-06-27 | Aparato y método para la codificación de imágenes. |
Country Status (11)
| Country | Link |
|---|---|
| US (2) | US10085034B2 (es) |
| EP (1) | EP3021590A4 (es) |
| JP (1) | JPWO2015005137A1 (es) |
| KR (1) | KR20160031990A (es) |
| CN (1) | CN104604234B (es) |
| AU (1) | AU2014288482A1 (es) |
| BR (1) | BR112015004956A2 (es) |
| CA (1) | CA2883580A1 (es) |
| MX (1) | MX348561B (es) |
| RU (1) | RU2662922C2 (es) |
| WO (1) | WO2015005137A1 (es) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2965524B1 (en) | 2013-04-08 | 2021-11-24 | ARRIS Enterprises LLC | Individual buffer management in video coding |
| US9756335B2 (en) * | 2013-07-02 | 2017-09-05 | Qualcomm Incorporated | Optimizations on inter-layer prediction signalling for multi-layer video coding |
| EP3146724A1 (en) * | 2014-05-21 | 2017-03-29 | ARRIS Enterprises LLC | Signaling and selection for the enhancement of layers in scalable video |
| CA2949823C (en) | 2014-05-21 | 2020-12-08 | Arris Enterprises Llc | Individual buffer management in transport of scalable video |
| JP6642427B2 (ja) * | 2014-06-30 | 2020-02-05 | ソニー株式会社 | 情報処理装置および方法 |
| US10412387B2 (en) | 2014-08-22 | 2019-09-10 | Qualcomm Incorporated | Unified intra-block copy and inter-prediction |
| US9918105B2 (en) * | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
| US10283091B2 (en) * | 2014-10-13 | 2019-05-07 | Microsoft Technology Licensing, Llc | Buffer optimization |
| EP3041233A1 (en) * | 2014-12-31 | 2016-07-06 | Thomson Licensing | High frame rate-low frame rate transmission technique |
| US10834419B2 (en) | 2016-04-13 | 2020-11-10 | Qualcomm Incorporated | Conformance constraint for collocated reference index in video coding |
| WO2018020299A1 (en) * | 2016-07-29 | 2018-02-01 | Chan Kam Fu | Lossless compression and decompression methods |
| WO2018037985A1 (ja) * | 2016-08-22 | 2018-03-01 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| JP2019054417A (ja) * | 2017-09-15 | 2019-04-04 | ソニー株式会社 | 画像処理装置およびファイル生成装置 |
| JP7035401B2 (ja) * | 2017-09-15 | 2022-03-15 | ソニーグループ株式会社 | 画像処理装置およびファイル生成装置 |
| CN110662071B (zh) * | 2019-09-27 | 2023-10-24 | 腾讯科技（深圳）有限公司 | 视频解码方法和装置、存储介质及电子装置 |
| FR3101608B1 (fr) | 2019-10-02 | 2021-09-10 | Seair | Siège à foil pour bateau semi-rigide |
| MX2022005366A (es) * | 2019-11-05 | 2022-06-23 | Lg Electronics Inc | Metodo y aparato de codificacion de imagenes/video con base en tipo de segmento. |
Family Cites Families (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ITMI20041971A1 (it) * | 2004-10-15 | 2005-01-15 | Uni Degli Studi Brescia | Metodo di codifica video scalabile |
| US20080008241A1 (en) * | 2004-11-29 | 2008-01-10 | Park Seung W | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer |
| US8619860B2 (en) * | 2005-05-03 | 2013-12-31 | Qualcomm Incorporated | System and method for scalable encoding and decoding of multimedia data using multiple layers |
| KR100878812B1 (ko) * | 2005-05-26 | 2009-01-14 | 엘지전자 주식회사 | 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법 |
| WO2007018670A1 (en) * | 2005-07-21 | 2007-02-15 | Thomson Licensing | Method and apparatus for weighted prediction for scalable video coding |
| US8422548B2 (en) * | 2006-07-10 | 2013-04-16 | Sharp Laboratories Of America, Inc. | Methods and systems for transform selection and management |
| US7535383B2 (en) * | 2006-07-10 | 2009-05-19 | Sharp Laboratories Of America Inc. | Methods and systems for signaling multi-layer bitstream data |
| US7840078B2 (en) * | 2006-07-10 | 2010-11-23 | Sharp Laboratories Of America, Inc. | Methods and systems for image processing control based on adjacent block characteristics |
| US8130822B2 (en) * | 2006-07-10 | 2012-03-06 | Sharp Laboratories Of America, Inc. | Methods and systems for conditional transform-domain residual accumulation |
| US8532176B2 (en) * | 2006-07-10 | 2013-09-10 | Sharp Laboratories Of America, Inc. | Methods and systems for combining layers in a multi-layer bitstream |
| US7885471B2 (en) * | 2006-07-10 | 2011-02-08 | Sharp Laboratories Of America, Inc. | Methods and systems for maintenance and use of coded block pattern information |
| US8059714B2 (en) * | 2006-07-10 | 2011-11-15 | Sharp Laboratories Of America, Inc. | Methods and systems for residual layer scaling |
| US7991236B2 (en) * | 2006-10-16 | 2011-08-02 | Nokia Corporation | Discardable lower layer adaptations in scalable video coding |
| EP2084909A4 (en) * | 2006-10-25 | 2012-11-21 | Thomson Licensing | NEW SYNTAXIC ELEMENTS FOR SVC TO ENABLE SCALE DEPTH OF COLOR BIT DEPTH |
| WO2008060125A1 (en) * | 2006-11-17 | 2008-05-22 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
| EP1933563A1 (en) * | 2006-12-14 | 2008-06-18 | Thomson Licensing | Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction |
| EP2127395B1 (en) * | 2007-01-10 | 2016-08-17 | Thomson Licensing | Video encoding method and video decoding method for enabling bit depth scalability |
| CN101796841B (zh) * | 2007-06-27 | 2012-07-18 | 汤姆逊许可公司 | 用增强层残差预测对视频数据编码/解码的方法和设备 |
| EP2051527A1 (en) * | 2007-10-15 | 2009-04-22 | Thomson Licensing | Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs |
| KR20090079838A (ko) * | 2008-01-17 | 2009-07-22 | 엘지전자 주식회사 | Ｉｐｔｖ 수신 시스템 및 그 데이터 처리 방법 |
| CN101981936B (zh) * | 2009-04-28 | 2013-03-06 | 松下电器产业株式会社 | 图像解码方法及图像解码装置 |
| DE102009039095A1 (de) * | 2009-08-27 | 2011-03-10 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms |
| EP2580919A1 (en) * | 2010-06-14 | 2013-04-17 | Thomson Licensing | Method and apparatus for encapsulating coded multi-component video |
| US20130097334A1 (en) * | 2010-06-14 | 2013-04-18 | Thomson Licensing | Method and apparatus for encapsulating coded multi-component video |
| US20120075436A1 (en) * | 2010-09-24 | 2012-03-29 | Qualcomm Incorporated | Coding stereo video data |
| CN108391137B (zh) * | 2011-06-15 | 2022-07-19 | 韩国电子通信研究院 | 可伸缩解码方法/设备、可伸缩编码方法/设备和介质 |
| WO2013042359A1 (ja) * | 2011-09-22 | 2013-03-28 | パナソニック株式会社 | 動画像符号化方法、動画像符号化装置、動画像復号化方法、および、動画像復号化装置 |
| EP2810438A1 (en) * | 2012-01-31 | 2014-12-10 | VID SCALE, Inc. | Reference picture set (rps) signaling for scalable high efficiency video coding (hevc) |
| CN104255031B (zh) * | 2012-02-29 | 2017-12-22 | Lg 电子株式会社 | 层间预测方法和使用层间预测方法的装置 |
| WO2013145021A1 (ja) * | 2012-03-30 | 2013-10-03 | 株式会社日立製作所 | 画像復号方法及び画像復号装置 |
| KR20140016823A (ko) * | 2012-07-24 | 2014-02-10 | 한국전자통신연구원 | 영상의 복호화 방법 및 이를 이용하는 장치 |
| WO2014075552A1 (en) * | 2012-11-15 | 2014-05-22 | Mediatek Inc. | Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates |
| US10021388B2 (en) * | 2012-12-26 | 2018-07-10 | Electronics And Telecommunications Research Institute | Video encoding and decoding method and apparatus using the same |
| KR20140087971A (ko) * | 2012-12-26 | 2014-07-09 | 한국전자통신연구원 | 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치 |
| US9948951B2 (en) * | 2012-12-26 | 2018-04-17 | Sharp Kabushiki Kaisha | Image decoding device which generates a predicted image of a target prediction unit |
| CN105075261B (zh) * | 2013-01-10 | 2018-07-24 | 三星电子株式会社 | 用于对多层视频进行编码的方法和设备以及用于对多层视频进行解码的方法和设备 |
| GB2509953B (en) * | 2013-01-18 | 2015-05-20 | Canon Kk | Method of displaying a region of interest in a video stream |
| CN105284115B (zh) * | 2013-04-05 | 2018-11-23 | 三星电子株式会社 | 用于对多层视频进行解码的方法和设备以及用于对多层视频进行编码的方法和设备 |
| US10334263B2 (en) * | 2013-04-05 | 2019-06-25 | Samsung Electronics Co., Ltd. | Interlayer video encoding method and apparatus and interlayer video decoding method and apparatus for compensating luminance difference |
| US8958477B2 (en) * | 2013-04-05 | 2015-02-17 | Vidyo, Inc. | Multiple reference layer prediction signaling techniques |
| TWI667911B (zh) * | 2013-06-18 | 2019-08-01 | Ｖｉｄ衡器股份有限公司 | 視訊編碼裝置及方法及視訊解碼裝置 |
| US9756335B2 (en) * | 2013-07-02 | 2017-09-05 | Qualcomm Incorporated | Optimizations on inter-layer prediction signalling for multi-layer video coding |
| US9510001B2 (en) * | 2013-07-09 | 2016-11-29 | Electronics And Telecommunications Research Institute | Video decoding method and apparatus using the same |
| WO2015004606A1 (en) * | 2013-07-09 | 2015-01-15 | Nokia Corporation | Method and apparatus for video coding involving syntax for signalling motion information |
| EP3021589A4 (en) * | 2013-07-10 | 2017-02-15 | Sharp Kabushiki Kaisha | Image decoding device and image encoding device |
| US20150016502A1 (en) * | 2013-07-15 | 2015-01-15 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| US9762909B2 (en) * | 2013-07-30 | 2017-09-12 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
| CN105453562B (zh) * | 2013-07-30 | 2018-12-25 | 株式会社Kt | 支持多个层的图像编码和解码方法以及使用该方法的装置 |
| KR20150026927A (ko) * | 2013-09-03 | 2015-03-11 | 주식회사 케이티 | 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015053598A1 (ko) * | 2013-10-12 | 2015-04-16 | 삼성전자 주식회사 | 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치 |
| US9648348B2 (en) * | 2013-10-23 | 2017-05-09 | Qualcomm Incorporated | Multi-layer video file format designs |
| US9628820B2 (en) * | 2013-11-19 | 2017-04-18 | Qualcomm Incorporated | POC value design for multi-layer video coding |
| US9674544B2 (en) * | 2013-11-25 | 2017-06-06 | Qualcomm Incorporated | POC value design for multi-layer video coding |
| US9654774B2 (en) * | 2013-12-12 | 2017-05-16 | Qualcomm Incorporated | POC value design for multi-layer video coding |
| US9854270B2 (en) * | 2013-12-19 | 2017-12-26 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| US9948950B2 (en) * | 2014-01-03 | 2018-04-17 | Qualcomm Incorporated | Disparity vector and/or advanced residual prediction for video coding |
-
2014
- 2014-06-27 US US14/420,068 patent/US10085034B2/en active Active
- 2014-06-27 MX MX2015002870A patent/MX348561B/es active IP Right Grant
- 2014-06-27 RU RU2015107824A patent/RU2662922C2/ru active
- 2014-06-27 AU AU2014288482A patent/AU2014288482A1/en not_active Abandoned
- 2014-06-27 BR BR112015004956A patent/BR112015004956A2/pt not_active Application Discontinuation
- 2014-06-27 WO PCT/JP2014/067121 patent/WO2015005137A1/ja active Application Filing
- 2014-06-27 CN CN201480002300.1A patent/CN104604234B/zh active Active
- 2014-06-27 KR KR1020157005449A patent/KR20160031990A/ko not_active Application Discontinuation
- 2014-06-27 CA CA2883580A patent/CA2883580A1/en not_active Abandoned
- 2014-06-27 EP EP14823488.3A patent/EP3021590A4/en not_active Withdrawn
- 2014-06-27 JP JP2015505760A patent/JPWO2015005137A1/ja active Pending
-
2016
- 2016-11-16 US US15/353,404 patent/US10075719B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| RU2015107824A (ru) | 2016-09-27 |
| RU2015107824A3 (es) | 2018-05-21 |
| US20170070741A1 (en) | 2017-03-09 |
| AU2014288482A1 (en) | 2015-02-26 |
| KR20160031990A (ko) | 2016-03-23 |
| CN104604234B (zh) | 2019-07-16 |
| CA2883580A1 (en) | 2015-01-15 |
| RU2662922C2 (ru) | 2018-07-31 |
| CN104604234A (zh) | 2015-05-06 |
| EP3021590A1 (en) | 2016-05-18 |
| US10085034B2 (en) | 2018-09-25 |
| US10075719B2 (en) | 2018-09-11 |
| US20150195532A1 (en) | 2015-07-09 |
| WO2015005137A1 (ja) | 2015-01-15 |
| BR112015004956A2 (pt) | 2018-04-17 |
| JPWO2015005137A1 (ja) | 2017-03-02 |
| MX348561B (es) | 2017-06-20 |
| EP3021590A4 (en) | 2017-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10075719B2 (en) | Image coding apparatus and method | |
| JP6610735B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP6607414B2 (ja) | 画像符号化装置および方法 | |
| CN109257606B (zh) | 图像处理设备和图像处理方法 | |
| MX2015003591A (es) | Dispositivo y metodo para procesamiento de imagen. | |
| KR102138407B1 (ko) | 색 공간 스케일러빌리티에 대한 3d 칼라 예측을 위한 비트 심도 값들의 시그널링 | |
| MX2015006474A (es) | Dispositivo y metodo de procesamiento de imagenes. | |
| CN104584551A (zh) | 解码装置、解码方法、编码装置以及编码方法 | |
| WO2015005136A1 (ja) | 画像符号化装置および方法、並びに、画像復号装置および方法 | |
| WO2015005132A1 (ja) | 画像符号化装置および方法、並びに画像復号装置および方法 | |
| WO2014208326A1 (ja) | 画像符号化装置および方法、並びに、画像復号装置および方法 | |
| WO2015064401A1 (ja) | 画像処理装置および方法 | |
| WO2014162916A1 (ja) | 画像符号化装置および方法、並びに、画像復号装置および方法 | |
| WO2014203505A1 (en) | Image decoding apparatus, image encoding apparatus, and image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG | Grant or registration |